识别日志实际显示的内容
用户代理字符串可以伪造。在将流量认定为爬虫流量前，请查看相关提供方发布的请求模式和验证方法。区分页面请求、资源请求、错误和重复访问。日志能显示服务器交互情况，但无法证明页面是否用于训练、是否在答案中被引用，或是否带来了客户。
- ✓ 记录响应状态、路径、时间及适用的请求元数据。
- ✓ 避免在日志分析中保留不必要的个人数据。
在基础设施边界控制负载
使用适当的缓存、速率控制和滥用防护措施来保障可用性。robots 指令向愿意遵循的客户端传达抓取偏好；它们并非身份验证机制，也不是通用的强制执行手段。设置针对智能体的策略时，请查阅服务提供商的最新文档。应通过访问控制保护私人和付费内容，而不是依赖 robots 文件。
- ✓ 区分有意制定的政策与意外拦截。
- ✓ 测试更改是否会影响普通搜索引擎和真实访客。
使用可重复的记录评估权衡
比较基础设施成本、实际观察到的引荐流量和内容目的。屏蔽爬虫并不意味着所有 AI 问答系统都会出现可预测的变化，因为它们可能采用不同的检索路径。保留带日期的政策记录，监测影响，并在行为发生变化时重新审视决策。避免声称存在普遍适用的 AI 抓取预算，或将其类比为有保证的排名因素。
- ✓ 权限变更后，检查重要页面和服务器错误。
- ✓ 只有在数据支持的情况下，才将流量观察与结果关联起来。