Google, Microsoft, OpenAI y Anthropic adoptarán una señal común en robots.txt para excluir contenido del entrenamiento de IA

Según WWWhat's New, el borrador introduce una entrada en robots.txt dedicada al uso, no a un rastreador concreto. En lugar del nombre de un bot, la web escribe el identificador __usage_ai-training y, debajo, las rutas que no quiere que se usen para entrenar, con las mismas reglas de siempre. El ejemplo del borrador bloquea toda la web salvo la sección de prensa: User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/. Una web que no incluya esa entrada no ha expresado ninguna preferencia.