¿Qué es GPTBot? GPTBot es el rastreador web de OpenAI. OpenAI lo utiliza para explorar la web, adquirir conocimiento para sus funciones de inteligencia artificial (por ejemplo, ChatGPT) y proporcionar respuestas generadas por IA a preguntas (o instrucciones).
Agente de usuario. El token del agente de usuario de GPTBot es «GPTBot». Su cadena completa de agente de usuario es: «Mozilla/5.0 AppleWebKit/537.36 (KHTML, como Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)».
Robots.txt. Puede utilizar robots.txt para bloquear el acceso de GPTBot a su sitio web o a partes del mismo. Para evitar que GPTBot acceda a su sitio, puede agregar GPTBot al archivo robots.txt de su sitio de la siguiente manera:
- User-agent: GPTBot
- Disallow: /
Para permitir que GPTBot acceda solo a partes de su sitio, puede agregar el token GPTBot a su archivo robots.txt de la siguiente manera:
- User-agent: GPTBot
- Allow: /directory-1/
- Disallow: /directory-2/
Documentación de GPTBot. Puedes consultar la documentación sobre GPTBot.
Rangos de IP de GPTBot. OpenAI también ha publicado los rangos de direcciones IP que utiliza GPTBot. Por el momento, solo lista uno, pero sospecho que agregarán más con el tiempo.
Razón por la que nos importa. Puedes impedir que GPTBot explore tu sitio si no deseas que OpenAI utilice tu contenido de ninguna manera. Este es el mismo protocolo que usarías para bloquear a GoogleBot, BingBot u otros rastreadores web. Estas empresas también están buscando una alternativa a robots.txt para estos propósitos.
