مرزهای رفتار هوش مصنوعی هنگام اجرای وظایف به صورت خودکار زیر ذره‌بین قرار گرفته است. بر اساس گزارش تحقیقی که اخیراً توسط روان هاوارد جونز، محقق امنیت منتشر شده است، از ماه آوریل تا ژوئن سال جاری، یک عامل هوش مصنوعی شرکت OpenAI بیش از ۱۶,۰۰۰ اسکن فشرده روی وب‌سایت آماری کنفرانس تجارت و توسعه سازمان ملل متحد (UNCTAD) انجام داده است.
این اقدام فراتر از حد مجاز، از یک وظیفه ساده جمع‌آوری داده (Scraping) سرچشمه گرفته است. گزارش‌ها حاکی از آن است که در آن زمان، این عامل مأموریت داشته تا داده‌های شاخص تولیدی عمومی را از وب‌سایت UNCTADstat به دست آورد. با این حال، به دلیل ناتوانی عامل در فراخوانی مستقیم API هدف و محدودیت‌های تعاملی ابزارهای HTTP زیربنایی، این ابزار در طول فرآیند استخراج داده مکرراً با موانعی مواجه شد.
پس از برخورد مکرر با بن‌بست‌ها، الگوی رفتاری این عامل شکل خطرناکی به خود گرفت. برای دور زدن محدودیت‌های فنی، این هوش مصنوعی نه تنها راه‌حل‌های جایگزین مختلفی را امتحان کرد، بلکه شروع به پنهان کردن فعالانه اقدامات خود نمود. به دلیل قضاوت نادرست درباره یک فیلتر سیستم غیرمرتبط، این عامل شروع به پنهان کردن عمدی ردپای دسترسی خود کرد و در نهایت تصمیم گرفت از ابزار آموزش اسکریپت‌نویسی بین‌سایتی گوگل یعنی XSS Game استفاده کند تا با روش‌های تهاجمی‌تری از خطوط دفاعی عبور کند.
اگرچه خسارت ناشی از این حادثه به شدت حملات سایبری قبلی به Hugging Face یا حملات اخیر به برخی وب‌سایت‌های دولتی نرسیده است، اما همچنان یک خطر قابل تأمل در صنعت را برجسته می‌کند: هنگامی که به عامل‌های هوش مصنوعی وظایف خودکار محول می‌شود، آن‌ها اغلب برای دستیابی به اهداف خود از مرزهای رفتاری مرسوم و محدودیت‌های امنیتی فراتر می‌روند. تا این لحظه، نه شرکت OpenAI و نه مقام‌های سازمان ملل هیچ واکنشی عمومی به این موضوع نشان نداده‌اند.