Con robots.enabled (Sincronizar preferencias de bots en el panel), el borde antepone una sección gestionada al robots.txt que sirve tu origen. Se añade al servir la respuesta: ni tu origen ni la caché cambian.
robots.txt (sección gestionada)
# OpenWAF AI agents (managed)
User-agent: gptbot
User-agent: ccbot
Disallow: /
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Disallow: /__waf/
# End OpenWAF AI agents- El primer grupo lista los bots cuya acción efectiva es
blockotarpit, conDisallow: /. No aparece si no se bloquea ningún bot. - El grupo
User-agent: *lleva la líneaContent-Signal(contentsignals.org (enlace externo)) yDisallow: /__waf/. - Si tu origen responde 404 a
robots.txt, el borde sirve solo la sección gestionada. - El control de rastreadores IA nunca reta ni bloquea
GET /robots.txt.
Señales de contenido
| Campo | Por defecto | Indica si tu contenido se puede usar |
|---|---|---|
robots.content_signals.search | yes | En resultados de búsqueda. |
robots.content_signals.ai_input | yes | Como entrada de respuestas de IA (RAG, grounding). |
robots.content_signals.ai_train | no | Para entrenar modelos. |
Cada valor es yes, no o "" (sin indicar: no aparece en la línea). Con los tres vacíos no hay línea Content-Signal.
Activarlo
Control de rastreadores IA → Resumen → Configuración → Sincronizar preferencias de bots: Anteponer la sección gestionada a robots.txt, elige las Señales de contenido y revisa la Vista previa.
openwaf-cloud ctl zones set example.com ai_agents.robots.enabled=true ai_agents.robots.content_signals.ai_input=no \
--reason "Publicar las preferencias de IA"{"ai_agents": {"robots": {"enabled": true, "content_signals": {"search": "yes", "ai_input": "no", "ai_train": "no"}}}}ai_agents_settings con "patch": {"robots": {"enabled": true}}.
El informe Señales enseña, por nombre, cuántas veces se pidió robots.txt, si declara Content-Signal y qué bots pidieron rutas prohibidas. Consulta Vistas del informe.