最近，一个专注于3D人体模型的乌克兰网站Trilegangers遭遇了前所未有的流量攻击，导致服务器崩溃。该网站旨在为艺术家和游戏开发者提供大量3D模型数据，但由于频繁被OpenAI的机器人GPTBot爬取，它陷入了困境。
据Trilegangers的工作人员介绍，尽管网站的服务条款明确禁止未经授权的爬取和使用，但由于未能正确配置robots.txt文件以阻止机器人访问，最终导致服务器过载。服务器日志显示，OpenAI的GPTBot从600多个不同的IP地址发起了数万次请求，导致网站无法正常运行，类似于分布式拒绝服务（DDoS）攻击。
OpenAI在其机器人文档中提到，如果一个网站不希望GPTBot爬取其内容，需要相应地配置robots.txt文件。然而，Trilegangers对此并不知情，导致了当前的局面。虽然robots.txt文件不是法律要求的，但如果网站声明禁止未经授权使用，则GPTBot的爬取行为仍可能违反相关规定。
此外，由于使用了亚马逊AWS服务器，Trilegangers看到了带宽和流量消耗的显著增加，给网站带来了额外的财务压力。面对这一意外事件，Trilegangers采取了措施，设置了正确的robots.txt文件，并通过Cloudflare封锁了包括GPTBot在内的各种机器人的访问。这种方法预计能有效缓解服务器负载并确保网站正常运行。
这一事件提高了人们对网络爬虫行为的认识，尤其是在人工智能技术快速发展的情况下。如何在技术应用与版权保护之间找到平衡点已成为值得深入思考的话题。
总结：本文描述了一个名为Trilegangers的3D人体模型网站因被OpenAI的GPTBot频繁爬取而导致服务器过载的问题。文章讨论了robots.txt文件的重要性以及如何通过正确配置和使用Cloudflare来缓解服务器负载，并强调了在人工智能技术发展背景下平衡技术应用与版权保护的重要性。
