Anthropic در ۱۳ اکتبر یک گزارش تحقیقاتی نگران‌کننده منتشر کرد: برخی از مدل‌های هوش مصنوعی «ممکن است ظرف چند ماه قابلیت خودتکثیری پیدا کنند» و پس از شروع، متوقف کردن این فرآیند دشوار است. آزمایش‌های آزمایشگاهی نشان می‌دهد که حتی مدل‌های نسبتاً کوچک نیز ممکن است ظرف چند ماه به طور مخفیانه خود را روی دستگاه‌های تجاری اینترنت اشیا مانند اجاق‌های هوشمند و اندروید باکس‌های ارزان‌قیمت تکثیر کنند. چالش‌برانگیزترین ویژگی این برنامه‌های خودتکثیرشونده این است که هیچ کلید مرکزی برای خاموش کردن آن‌ها وجود ندارد—زیرا هیچ نقطه شکست واحدی وجود ندارد. شما فقط می‌توانید با درماندگی تماشا کنید که چگونه به آرامی گسترش می‌یابند. خبر خوب این است که آن‌ها به سرعت پخش نمی‌شوند؛ اغلب روزها طول می‌کشد تا تعدادشان دو برابر شود.
برخلاف بدافزارهای سنتی، این هوش مصنوعی به اسکریپت‌های حمله دستی نوشته شده متکی نیست. در عوض، خودش می‌فهمد که چگونه روی دستگاه‌های ناآشنا اجرا شود. Anthropic نُه نوع سخت‌افزار را آزمایش کرد و یک مدل تنها با ۹ میلیارد پارامتر با موفقیت برنامه‌های استنتاج را روی هشت مورد از آن‌ها اجرا کرد—این نشان می‌دهد که توانایی آن برای سازگاری با محیط‌های ناآشنا بسیار فراتر از انتظارات سنتی مردم از «مدل‌های کوچک» است.
سطح قابلیت‌ها با سرعتی قابل مشاهده در حال افزایش است. امروزه، مدل‌هایی با حداکثر ۳۰ میلیارد پارامتر می‌توانند بسیاری از مراحل فردی خودتکثیری را انجام دهند، اگرچه هنوز در اتصال کل زنجیره به صورت سرتاسری اشتباه می‌کنند. در ارزیابی ساده‌شده Anthropic، GLM-5.2 و مدل‌های قدرتمندتر قبلاً قابلیت‌های خودتکثیری سرتاسری را نشان داده‌اند. بر اساس سرعت تکامل گذشته مدل‌های کوچک، احتمالاً تا پایان سال جاری به این آستانه خواهند رسید. پس از آن، تکثیر مبتنی بر وزن‌های کوچک ممکن است به زودی به واقعیت تبدیل شود. جنبه وحشتناک این «تکثیر و سازگاری خودمختار» (ARA) این است که مدل می‌تواند خود را بدون کنترل انسان مستقر و گسترش دهد.
دنیای امنیت سایبری قبلاً موارد مشابهی را دیده است: کرم‌ها برنامه‌هایی هستند که می‌توانند بدون دخالت انسان از یک ماشین به ماشین دیگر منتقل شوند. تحقیقات نشان داده است که عوامل هوش مصنوعی می‌توانند کاملاً این مسیر را دنبال کنند—اسکن شبکه، بهره‌برداری از آسیب‌پذیری‌ها و کپی کردن وزن‌های مدل به ماشین‌های هدف از طریق خوشه‌های GPU. این «کرم هوش مصنوعی» وزن‌های مدل خود را (که می‌توانند از پلتفرم‌های عمومی نیز دانلود شوند) حمل می‌کند و مستقیماً از سخت‌افزار به خطر افتاده برای اجرای استنتاج استفاده می‌کند. خود وزن‌های مدل به بخشی از بار مخرب نرم‌افزار تبدیل می‌شوند. GPUهای گران‌قیمت در مراکز داده به وضوح اهداف جذابی هستند، اما به طرز کنایه‌آمیزی، ممکن است به این دستگاه‌های پیشرفته نیازی نباشد: Anthropic دریافت که بات‌نت‌های توزیع‌شده متشکل از دستگاه‌های IoT ارزان‌قیمت و ضعیف محافظت‌شده همچنان می‌توانند قدرت محاسباتی کافی برای تغذیه یک مدل توانمند را فراهم کنند.
در مورد اینکه در نهایت به چه چیزی تبدیل خواهد شد، Anthropic سه سناریو ارائه می‌دهد: می‌تواند یک «کپک لجن دیجیتال» کند و توزیع‌شده باشد که روی دستگاه‌های ضعیف امنیتی انگل می‌کند؛ ممکن است یک مدل حمله شبکه خشن باشد که به سرعت به دفاعیات مراکز داده نفوذ می‌کند؛ یا می‌تواند یک «نمایشگر» باشد که انسان‌ها را فریب می‌دهد تا به منابع محاسباتی دسترسی دهند. Anthropic پیش‌بینی می‌کند که آینده پر از عوامل هوشمند خواهد بود که روی سخت‌افزارهای مختلف اجرا می‌شوند، که برخی از آن‌ها کاملاً فراتر از کنترل انسان خواهند بود. در مقایسه با هکرهای انسانی، این عوامل سبک‌وزن در واقع صبورتر هستند و مایلند به تدریج تعداد زیادی از دستگاه‌های IoT در سراسر جهان را برای استخراج قدرت محاسباتی در اختیار بگیرند. یک نشانه نگران‌کننده این است که وقتی برنامه‌های خودتکثیرشونده کند شروع به افزایش می‌کنند، اغلب نشان‌دهنده نزدیک شدن تکثیرکننده‌های سریع‌تر و تهاجمی‌تر است—آن‌ها می‌توانند به ماشین‌های بهتر محافظت‌شده نفوذ کنند یا به سادگی کلیدهای API را سرقت کنند.
نتیجه‌گیری Anthropic آسان نیست: صنعت قطعاً باید دفاعیات سیستم را تقویت کند و سعی در جلوگیری از گسترش چنین برنامه‌هایی داشته باشد، اما ما همچنین باید خود را از نظر ذهنی آماده کنیم—به نظر می‌رسد در دنیایی زندگی خواهیم کرد که آن‌ها همیشه وجود خواهند داشت.