OpenAI 发布网络爬虫工具 GPTBot

8月8日讯，据 The Verge 报道，OpenAI 现已发布网络爬虫工具GPTBot，可用于收集网页信息来训练 AI 模型。

据悉，能够在注重版权的基础上，使用透明的方式收集网页信息。GPTBot 使用专有网页 UA 表示其爬虫身份，任何网站管理者都可以自由允许或阻止该爬虫工具进行数据采集。

OpenAI 表示，若网站管理员不希望被爬虫搜集资料，管理员可以在网站服务器的 robots.txt 文件中完全禁止 GPTBot 抓取信息，或自行决定 GPTBot 抓取网站上的指定信息。