搜索引擎工作原理:抓取、索引、召回、排序四步拆解
从蜘蛛调度到倒排索引,再到向量召回与排序模型。理解这四步,才能判断一个页面为什么收录了却排不上去。
把搜索引擎当成一个黑盒,所有优化都只能靠猜。拆开看,它其实是一条流水线,每一步都有明确的输入输出。
一、抓取:URL 从哪来
蜘蛛不是随机漫游。它拿到的 URL 主要有四个来源:历史队列、sitemap、外链、以及页面里的链接。调度时会考虑站点权重、更新频率、服务器压力。
关键点:抓取是有配额的。 一个日更 5 篇的资讯站和一个 50 万页的电商站,配额完全不同。配额不是固定值,会根据你的响应速度、内容质量、重复率动态调整。
如果你发现新页面一周都没被爬,先看两个地方:日志里蜘蛛来不来、来了抓的是不是老页面。
二、索引:不只是存下来
抓回来的 HTML 要经过解析、去重、正文提取、语言识别、实体识别,最后写进倒排索引。这一步会淘汰大量页面:
- 内容太薄(几百字且没有独立信息)
- 与站内其它页面高度重复
- 参数组合产生的无限 URL
- 需要 JS 才能渲染出内容,而渲染队列排不上
「已发现,尚未编入索引」就是卡在这一步,不是抓取问题。
三、召回:从几十亿里捞出候选
用户输入查询后,系统先做查询理解:分词、纠错、意图分类、同义扩展,然后从倒排索引里召回候选集。中文的分词歧义、错别字、口语化表达,都在这一步处理。
召回看的是「相关性覆盖」:页面的标题、正文、锚文本、结构化数据里,有没有覆盖查询及其近义表达。
很多「排名上不去」其实是召回问题:你的页面根本没进候选池,自然不会有排名。
四、排序:候选集里的打分
候选集可能有几千个页面,最终只展示十个。排序模型会综合:
| 维度 | 具体信号 |
|---|---|
| 相关性 | 查询与标题、正文的匹配度,语义相似度 |
| 权威性 | 外链、品牌提及、站点历史表现 |
| 体验 | 加载速度、移动适配、广告密度、跳出行为 |
| 新鲜度 | 时效性查询会加权新内容 |
五、这套模型对实操的三个含义
- 先保证进池子:标题和首段要覆盖核心词及其近义表达,别只写品牌口号。
- 再争取排序:内容要有别处没有的信息——实测数据、价格、流程、失败经验。
- 别忽略体验分:同样内容,LCP 2 秒和 6 秒的站,长期表现会拉开差距。
理解了流水线,你就知道每个「SEO 技巧」到底作用在哪一步。作用点不清的技巧,多半是玄学。
本文由 361网站优化 编辑整理,数据与结论以发布时的实测为准。发现错误欢迎邮件指正。