صاحبان وب‌سایت‌هایی که محتوایشان بارها توسط خزنده‌های مختلف هوش مصنوعی «استخراج» شده بود، سرانجام راهی یکپارچه برای مقابله پیدا کردند. در تاریخ ۱ نوامبر، OpenAI، گوگل، مایکروسافت و Anthropic اعلام کردند که به طور مشترک استاندارد جدیدی را اتخاذ خواهند کرد. این استاندارد به ناشران محتوا اجازه می‌دهد تا تنها یک بار اعلام کنند که «خزش هوش مصنوعی را رد می‌کنند»، به جای اینکه مجبور باشند با هر شرکت به صورت جداگانه مذاکره کنند.
یک سوئیچ، ارائه‌دهندگان متعدد
این سازوکار توسط کوین کلی، سرپرست فنی Anthropic، به کارگروه مهندسی اینترنت (IETF) ارائه شد و مستقیماً در فایل‌های robots.txt موجود وب‌سایت‌ها گنجانده می‌شود. در گذشته، robots.txt تنها به موتورهای جستجو می‌گفت که کدام صفحات قابل خزش هستند و کدام نیستند؛ اکنون دامنه آن به آموزش هوش مصنوعی نیز گسترش یافته است. تفاوت در این است: پیش از این، اگر ناشری می‌خواست یک هوش مصنوعی خاص را مسدود کند، باید ترجیح خود را جداگانه با آن شرکت ثبت می‌کرد؛ اما با استاندارد جدید، یک ورودی واحد می‌تواند چندین شرکت را به طور همزمان مطلع کند. برای رسانه‌ها، انجمن‌ها و سایت‌های مستقل که از تغذیه بی‌سروصدای مطالبشان به مدل‌های هوش مصنوعی خسته شده‌اند، این معادل حذف انبوهی از مذاکرات تکراری است.
از اقدام انفرادی تا سیگنال یکپارچه
زمینه این اقدام بسیار واقعی است – خزنده‌های هوش مصنوعی صفحات وب را در همه جا اسکرپ می‌کنند و محتوا را به مجموعه‌های آموزشی وارد می‌کنند، که ناشران را سردرگم کرده است، در حالی که رویکرد قدیمی «هر شرکت قوانین خود را تعیین می‌کند» دیگر نمی‌تواند پاسخگو باشد. Anthropic قبلاً در اتخاذ این استاندارد پیشگام شده است، OpenAI می‌گوید آن را در ماه‌های آینده پیاده‌سازی خواهد کرد و انتظار می‌رود گوگل و مایکروسافت نیز سال آینده از آن پیروی کنند. حتی سخنگوی متا نیز از ایجاد یک سیگنال مشترک حمایت کرد، اگرچه جدول زمانی پیاده‌سازی هنوز مشخص نیست. وقتی چهار غول با بیشترین قدرت محاسباتی به توافقی نادر در مورد «چگونگی رد شدن» می‌رسند، کشمکش بر سر حق چاپ محتوا سرانجام از هرج و مرج به میزی منتقل شده که در آن گفتگو امکان‌پذیر است.