شرکت آنتروپیک (Anthropic) بار دیگر زنگ خطر را به صدا درآورده است: مدل‌های هوش مصنوعی ممکن است ظرف چند ماه آینده تکثیر خودکار را یاد بگیرند و پس از فعال‌سازی، عملاً هیچ دکمه «خاموشی» وجود ندارد. این شرکت در آخرین پژوهش خود اشاره می‌کند که چنین برنامه‌هایی فاقد یک گره خاموشی متمرکز هستند، به این معنی که نمی‌توانید به سادگی با کشیدن دوشاخه برق سرور، آن‌ها را خاموش کنید. در عوض، شما فقط می‌توانید تماشا کنید که آن‌ها به تدریج بین دستگاه‌ها پخش می‌شوند و حذف کامل آن‌ها را بسیار دشوار می‌کند.
این قابلیت در حال حاضر نشانه‌هایی از ظهور را بروز داده است. یک مدل با تنها ۹ میلیارد پارامتر هم‌اکنون می‌تواند روی بیشتر سخت‌افزارهای آزمایش‌شده، از جمله دستگاه‌های معمولی اینترنت اشیاء مانند اجاق‌های هوشمند و جعبه‌های تلویزیون اجرا شود. این دستگاه‌ها که به خوبی محافظت نمی‌شوند و در خانه‌ها پراکنده شده‌اند، بسترهای مناسبی برای چنین برنامه‌هایی فراهم می‌کنند. البته، مسیر رسیدن به «خودمختاری» واقعی هنوز طولانی است: مدل‌های دارای پارامترهای کمتر از ۳۰۰ میلیارد هنوز نمی‌توانند زنجیره تکثیر خودکار را به آرامی کامل کنند و اغلب در مراحل بحرانی با شکست مواجه می‌شوند؛ با این حال، مدل‌های قوی‌تر در حال حاضر کل این زنجیره را طی کرده‌اند. بر اساس این روند، انتظار می‌رود مدل‌های کوچک تا پایان سال جاری از آستانه «تکثیر و سازگاری خودکار» (ARA) عبور کنند.
در آن نقطه، چنین هوش‌های مصنوعی رفتار بسیار مشابهی با کرم‌ها در دنیای شبکه خواهند داشت — آن‌ها قادر خواهند بود به طور مستقل شبکه‌های خود را اسکن کنند، آسیب‌پذیری‌ها را شناسایی نمایند، خود را تکثیر کرده و به دستگاه‌های دیگر منتقل شوند و حتی نحوه اجرا روی دستگاه‌هایی را که تاکنون ندیده‌اند، کشف کنند. آنتروپیک تأکید می‌کند که هنوز هیچ برنامه کاملاً غیرقابل کنترل و واقعاً خودکثیری ظاهر نشده است، اما قابلیت‌های ایجنت‌های هوشمند به طور مداوم در حال بهبود است. این احتمال وجود دارد که فرم‌های مختلفی خارج از کنترل انسان در آینده ظاهر شوند. یک نشانه کلیدی برای زیر نظر داشتن این است که چه زمانی برنامه‌های تکثیر کند شروع به افزایش می‌کنند — این امر اغلب نشان‌دهنده نسخه‌های سریع‌تر و تهاجمی‌تر در راه است.
برای صنعت، این هم دعوتی برای تقویت سیستم‌ها و هم یادآوری هشداردهنده‌ای است — در حالی که باید تلاش‌هایی برای تقویت دفاع‌ها و مسدود کردن انتشار چنین برنامه‌هایی انجام شود، آمادگی ذهنی نیز مورد نیاز است: آن‌ها ممکن است ناپدید نشوند بلکه به یک حضور بلندمدت تبدیل شوند که در دستگاه‌های محاسباتی ما تعبیه شده است.