مواقع الويب تتهم Anthropic الناشئة في الذكاء الاصطناعي بتجاوز قواعدها

اتهم Freelancer شركة Anthropic، وهي شركة الذكاء الاصطناعي الناشئة التي تقف وراء نماذج لغة Claude الكبيرة، بتجاهل بروتوكول "عدم الزحف" الخاص بها robots.txt لكشط بيانات مواقع الويب الخاصة بها. وفي الوقت نفسه، قال الرئيس التنفيذي لشركة iFixit كايل وينز إن Anthropic تجاهلت سياسة الموقع التي تحظر استخدام محتواها لتدريب نموذج الذكاء الاصطناعي. أخبر مات باري، الرئيس التنفيذي لشركة Freelancer، The Information أن ClaudeBot من Anthropic هو "أكثر أداة كشط عدوانية على الإطلاق". يُزعم أن موقعه على الويب حصل على 3.5 مليون زيارة من أداة الزحف الخاصة بالشركة في غضون أربع ساعات، وهو "ربما حوالي خمسة أضعاف حجم أداة الزحف الثانية للذكاء الاصطناعي". وبالمثل، نشر وينز على X/Twitter أن روبوت Anthropic ضرب خوادم iFixit مليون مرة في 24 ساعة. "أنت لا تأخذ محتوانا دون دفع فحسب، بل إنك تربط مواردنا في مجال التطوير والعمليات"، كما كتب.

في يونيو الماضي، اتهمت Wired شركة ذكاء اصطناعي أخرى، Perplexity، بتتبع موقعها على الويب على الرغم من وجود بروتوكول استبعاد الروبوتات، أو robots.txt. يحتوي ملف robots.txt عادةً على تعليمات لبرامج الزحف على الويب حول الصفحات التي يمكنها الوصول إليها والصفحات التي لا يمكنها الوصول إليها. في حين أن الامتثال طوعي، إلا أنه تم تجاهله في الغالب من قبل الروبوتات السيئة. بعد نشر مقال Wired، ذكرت شركة ناشئة تسمى TollBit تربط شركات الذكاء الاصطناعي بناشري المحتوى أن Perplexity ليست هي الوحيدة التي تتجاوز إشارات robots.txt. وبينما لم تذكر أسماء، قالت Business Insider إنها علمت أن OpenAI وAnthropic يتجاهلان البروتوكول أيضًا.

قال باري إن Freelancer حاول رفض طلبات وصول الروبوت في البداية، لكنه اضطر في النهاية إلى حظر برنامج الزحف الخاص بـ Anthropic بالكامل. "هذا كشط فظيع [يجعل] الموقع أبطأ لكل من يعمل عليه ويؤثر في النهاية على إيراداتنا"، أضاف. أما بالنسبة لـ iFixit، قال وينز إن الموقع قد ضبط تنبيهات لحركة مرور عالية، واستيقظ موظفوه في الساعة 3 صباحًا بسبب أنشطة Anthropic. توقف برنامج الزحف الخاص بالشركة عن كشط iFixit بعد أن أضاف سطرًا في ملف robots.txt الخاص به يحظر روبوت Anthropic، على وجه الخصوص.

أخبرت شركة الذكاء الاصطناعي الناشئة The Information أنها تحترم ملف robots.txt وأن برنامج الزحف الخاص بها "احترم هذه الإشارة عندما نفذته iFixit". كما قالت إنها تهدف إلى "الحد الأدنى من الاضطراب من خلال التفكير في مدى سرعة [زحفها] إلى نفس المجالات"، وهذا هو السبب في أنها تحقق الآن في القضية.

تستخدم شركات الذكاء الاصطناعي برامج الزحف لجمع المحتوى من مواقع الويب التي يمكنها استخدامها لتدريب تقنيات الذكاء الاصطناعي التوليدية الخاصة بها. لقد كانوا هدفًا لدعاوى قضائية متعددة نتيجة لذلك، حيث اتهمهم الناشرون بانتهاك حقوق النشر. ولمنع رفع المزيد من الدعاوى القضائية، كانت شركات مثل OpenAI تبرم صفقات مع الناشرين ومواقع الويب. ومن بين شركاء المحتوى في OpenAI، حتى الآن، News Corp وVox Media وFinancial Times وReddit. ويبدو أن Wiens من iFixit منفتح على فكرة توقيع صفقة لمقالات موقع الويب الخاص بكيفية الإصلاح أيضًا، حيث أخبر Anthropic في تغريدة أنه على استعداد لإجراء محادثة حول ترخيص المحتوى للاستخدام التجاري.