Baiduspider抓取：多域名相似内容怎样说明用途并让旧域名退出
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e634eb08733c.html
📄
Baiduspider抓取：多域名相似内容怎样说明用途并让旧域名退出
结论先给：如果多个域名承载相似内容，不要靠 robots.txt 一禁了之，而要把每个域名的用途写成可验证的说明，并用 301 把仍有价值的旧 URL 归并到主域名。只有旧域名不再需要被用户访问、也没有外部链接价值时，才考虑整站停止服务。下面这个反例会让结论失效：旧域名上仍有大量来自外部链接的访问，或旧系统仍在生成新 URL，此时直接封锁抓取只会让差异长期存在。
先分清三类域名，再决定谁退出
多域名相似内容通常不是同一种情况。第一类是主域名，承担品牌与主要入口；第二类是功能域名，例如旧商城、旧帮助中心，仍有用户在用；第三类是历史域名，只因为旧合作关系或旧系统遗留而存在。三类域名的处理动作不同。
对功能域名，保留但明确标注用途，例如在页面标题和页脚说明它属于哪个业务线，并只让有价值的部分被 Baiduspider 抓取。对历史域名，如果确认没有继续服务的必要，把旧 URL 逐条 301 到主域名对应页面，而不是整站跳首页。整站跳首页会让搜索引擎难以判断新旧页面的对应关系，也让用户多走一步。
判断依据可以看三个信号：旧域名是否还有自然外部链接、旧系统是否还在生成新 URL、旧页面是否还有用户直接访问。三个信号都弱，才适合退出。
说明用途的写法要落到具体页面
“说明用途”不是写一句“本域名用于品牌展示”就够。可验证的做法是让每个域名的用途体现在可抓取的内容上：
- 主域名页面用 canonical 指向自身，明确它是首选版本。
- 功能域名页面用 canonical 指向主域名对应内容，或保留自身 canonical 但在页面中写清两者关系。
- 历史域名页面在退出前保持可访问，返回 301 到最接近的主域名页面。
这里有一个假设例子：假设旧帮助中心域名上有 200 个页面，其中 30 个仍有外部链接。比较两种做法：整站 robots.txt 禁止抓取，和把 30 个页面 301 到主域名、其余页面保留但标注用途。前者的结果是旧链接继续指向一个不再被详细抓取的域名，用户和搜索引擎都拿不到替代地址；后者的结果是外部链接价值被转移到主域名，其余页面仍可服务老用户。这个比较只用于说明判断方法，不表示任何实际流量变化。
robots.txt 不是索引移除工具
一个常见误判是：在旧域名 robots.txt 里写 Disallow: /，就以为旧内容会从搜索结果里消失。抓取限制不等于可靠的索引移除。已经建立索引的 URL 仍可能出现在结果中，只是描述信息可能变旧。要真正处理，应优先用 301 或页面级 noindex，并确认这些页面仍可被抓取到，否则 noindex 也无法被读到。
站点地图也不保证收录。把旧域名页面全部放进站点地图，并不会让搜索引擎一定保留或删除它们。站点地图的作用是帮助发现 URL，不是控制索引状态。
当抓取量、请求量或某个统计归零时，也不能单独证明处理正确。归零还可能来自服务器临时不可达、DNS 变化、抓取预算重新分配，或该域名本来就没有多少可抓 URL。要结合服务器日志、页面返回状态和外部链接变化一起看。
什么情况下不要急着让旧域名退出
如果旧域名上仍有活跃的外部链接，或者旧系统仍在批量生成新 URL，那么“退出”这个动作本身会制造更多问题。此时更合理的动作是先冻结新增：停止旧系统生成新页面，把已有高价值 URL 301 到主域名，其余页面保留并标注用途，观察一段时间再决定是否整体退出。
另一个反例是旧域名与主域名分属不同业务或不同地区。这种情况下，两个域名各自有独立用途，不应合并。强行 301 会让用户到达不相关页面，也会让搜索引擎难以判断哪个版本更合适。
下一步动作：先做一次可回退的映射
具体动作是：导出旧域名所有可访问 URL，按“有外部链接”“有用户访问”“仅系统生成”三类标记，先只对第一类和第二类做 301 映射，第三类暂时保留并加 noindex。做完后检查服务器日志中这些 URL 的返回状态，确认 301 生效、目标页面可访问、没有跳转链。
这一步的结果会直接决定下一步：如果映射后外部链接访问能正常到达主域名，说明可以继续扩大 301 范围；如果出现大量 404 或跳转错误，说明映射表还不完整，应先修正再考虑退出。整个过程不要承诺收录或排名结果，只以返回状态和访问是否可达作为判断依据。
