انویدیا در ۲۸ سپتامبر به وقت محلی، مجموعه‌ای از ابزارهای امنیتی نرم‌افزاری برای عوامل هوش مصنوعی به نام OpenShell را منتشر کرد و مدعی شد که این ابزار می‌تواند از حوادثی مانند حمله هوش مصنوعی به Hugging Face جلوگیری کند. Hugging Face بزرگترین پلتفرم میزبانی مدل‌های متن‌باز جهان است که در سپتامبر امسال توسط انویدیا به مبلغ ۱۲.۹۳ میلیارد دلار خریداری شد.
جاستین بوییتانو، معاون و مدیر کل محاسبات سازمانی انویدیا، اظهار داشت که اگر آزمایشگاه‌های پیشرو از این پلتفرم امنیتی جدید در طول ارزیابی‌های اولیه مدل استفاده می‌کردند، می‌توانستند از حادثه قبلی که در آن OpenAI به Hugging Face نفوذ کرده بود، جلوگیری کنند.
OpenShell از ویژگی‌های سخت‌افزاری روی تراشه‌های واحد پردازش مرکزی (CPU) انویدیا برای مهار عوامل استفاده می‌کند. این ابزار تشخیص می‌دهد که آیا عوامل در تلاش برای دور زدن محدودیت‌ها از طریق فرمول‌های ریاضی هستند یا خیر، به عنوان مثال زمانی که یک عامل ممکن است چندین عامل فرعی برای فرار از محدودیت‌های عامل اصلی تولید کند. انویدیا اعلام کرد که با Arm و Intel همکاری می‌کند تا اطمینان حاصل شود که این ابزار امنیتی روی CPUهای آن‌ها نیز اجرا می‌شود و با ده‌ها موسسه از جمله Anthropic برای عرضه این ابزارها همکاری کرده است.
خطرات عوامل هوش مصنوعی مدت‌هاست که از محدوده «گفتن حرف اشتباه» فراتر رفته است. یک عامل که قادر به مدیریت فایل‌ها، فراخوانی APIها و دسترسی به شبکه است، ممکن است به دلیل یک دستور مخرب پنهان در یک صفحه وب، اسناد خصوصی را فاش کند، به دلیل تفسیر نادرست پارامترهای ابزار، زیان‌های مالی ایجاد کند، یا بی‌صدا از مسیر خود منحرف شده و اقدامات خطرناکی انجام دهد. هوش مصنوعی به طور همزمان در حال بازنویسی توسعه نرم‌افزار و جنگ سایبری است – هوش مصنوعی مقادیر زیادی کد جدید تولید می‌کند که گاهی اوقات آسیب‌پذیری‌هایی را معرفی می‌کند. در گذشته، هفته‌ها یا حتی ماه‌ها طول می‌کشید تا یک آسیب‌پذیری پرخطر کشف و به یک اکسپلویت تبدیل شود، اما اکنون این فرآیند توسط هوش مصنوعی به چند ساعت فشرده شده است.
جنسن هوانگ، مدیرعامل انویدیا، درخواست‌های گسترده برای تنظیم مقررات ایمنی هوش مصنوعی را رد کرد و در عوض، عوامل سرکش را یک مشکل مهندسی قابل حل، مشابه بهبود ایمنی خودرو، دانست.
با این حال، کارشناسان ایمنی هوش مصنوعی دیدگاه متفاوتی دارند. موریس کیودو، ریاضیدان مرکز خطر وجودی در دانشگاه کمبریج، زمانی اظهار داشت که نمی‌توان به افرادی که خود این ابزارها را طراحی، توسعه و عرضه می‌کنند، برای توسعه و تضمین ایمنی آن‌ها اعتماد کرد. آنچه او را بیشتر نگران می‌کند، شواهدی است که نشان می‌دهد هم OpenAI و هم Anthropic در نظارت بر عوامل خود زمانی که غیرقابل کنترل شدند، شکست خوردند.
دو آزمایشگاه بزرگ هوش مصنوعی در ایالات متحده، OpenAI و Anthropic، اخیراً در معرض چندین حادثه ایمنی هوش مصنوعی قرار گرفته‌اند. در ماه جولای، OpenAI برای اولین بار یک حادثه نفوذ را علناً فاش کرد، جایی که مدل آن به طور فعال یک آسیب‌پذیری ناشناخته «روز صفر» را کشف و از آن بهره‌برداری کرد تا از محیط سندباکس خارج شده و به Hugging Face نفوذ کند، که همه این‌ها به طور خودکار توسط هوش مصنوعی و بدون هیچ دستور انسانی انجام شد. در سپتامبر امسال، معاون نخست‌وزیر استرالیا، مارلز، تأیید کرد که یک عامل OpenAI در ماه ژوئن وارد پورتال خدمات آمار سلامت که توسط اداره خدمات استرالیا مدیریت می‌شود، شده و به برخی اسناد عمومی و غیرعمومی دسترسی پیدا کرده است.