Crea un inventario actualizado de agentes pertinentes
Distintos proveedores pueden operar diferentes clientes para la indexación, la recuperación, el acceso relacionado con el entrenamiento o la navegación solicitada por el usuario. Identifica los agentes pertinentes para tu sitio consultando la documentación vigente de los proveedores. No des por hecho que una cadena de user-agent demuestra la identidad ni que una sola regla cubre todas las vías de acceso a un sistema de respuesta de IA. Incluye el enlace a la documentación y la fecha de revisión en el registro de políticas.
- ✓ Clasifica las solicitudes observadas antes de cambiar las reglas de acceso.
- ✓ Revisa las tasas de error, las rutas sensibles y los volúmenes de solicitudes inusuales.
Aplica controles en la capa adecuada
Usa directivas robots para expresar preferencias de rastreo a las que los rastreadores puedan ajustarse y controles del lado del servidor para aplicar restricciones de acceso. La autenticación protege el contenido privado; los controles de frecuencia y la caché protegen la disponibilidad. Comprueba si una regla del perímetro bloquea involuntariamente a los rastreadores de búsqueda o a los visitantes habituales. El sitemap público y los metadatos de las páginas deben ser coherentes con la política de publicación prevista.
- ✓ Pruebe las directivas y el comportamiento de respuesta en URL representativas.
- ✓ Mantén los endpoints privados fuera de los archivos públicos de descubrimiento.
Mantén una política mesurada
Registre qué cambió, por qué, quién lo aprobó y cómo se comprobará el impacto. Supervise el comportamiento de la infraestructura y cualquier evidencia atribuible de referencias, sin suponer que las solicitudes equivalen a citas. Las directrices, como un archivo de texto orientado a LLM, pueden ser experimentales y no deben sustituir la rastreabilidad habitual, el contenido preciso ni el control de acceso. Revise la política a medida que evolucionen los proveedores y las necesidades empresariales.
- ✓ Haz seguimiento de las decisiones de acceso por separado de las afirmaciones sobre resultados de marketing.
- ✓ Conserva una opción sencilla para revertir las reglas recién incorporadas.