با ورود نسل جدید مدل‌های بزرگ زبانی به مرحله آزمایش‌های فشرده، جزئیات مربوط به پرچمدار نسل آینده شرکت آنتروپیک (که به‌طور گسترده با نام Fable 5.5 یا Opus 5.5 شناخته می‌شود) در فضای مجازی منتشر شده است. کاربران در تست‌های عملی متوجه شدند که این مدل نه تنها درک بسیار قوی‌تر و توانایی مدیریت وظایف پیچیده‌تری نسبت به گذشته دارد، بلکه یک مکانیسم ایمنی تازه با نام «ارزیابی خودکار» (Self-Assessment) را معرفی کرده که آن را در مرکز توجه عموم قرار داده است.
ارتقای درک قصد کاربر؛ نمایش مهارت‌های حل مسئله در Fable 5.5
بر اساس تست‌ها و اطلاعات درز کرده از منابع مختلف، مدل جدید عملکرد بسیار مطلوبی در درک عمیق قصد کاربران دارد. در مواجهه با اشکال‌زدایی‌های پیچیده یا کارهای خلاقانه، مدل‌های معمولی اغلب در سطح دستورالعمل‌های تحت‌اللفظی باقی می‌مانند؛ اما این مدل جدید می‌تواند فراتر از سطح را ببیند و به‌طور فعال به دنبال هدف عمیق‌تری باشد که در پشت آن پنهان شده است. به عنوان مثال، در تست‌های کدنویسی، این مدل نه تنها یک باگ خاص را برطرف می‌کند، بلکه ریشه مشکل را تا خطرهای ساختاری زیربنایی که باعث بروز آن شده‌اند، دنبال می‌کند.
در تست‌های تولید گرافیک و انیمیشن، این مدل سقف توانمندی بسیار بالایی را به نمایش گذاشته است. علاوه بر این، برخی کاربران متوجه شدند که میزان پوشش دانش و بازیابی میان‌حوزه‌ای نیز در مدل جدید به طور قابل‌توجهی بهبود یافته است.
آشنایی با مکانیسم «ارزیابی خودکار»: دستوری پنهان پس از هر پاسخ
در مقایسه با ارتقای قابلیت‌های خود مدل، روش نظارت ایمنی جدیدی که آنتروپیک برای نسخه Fable 5.5 و نسخه‌های پس از آن معرفی کرده، بحث‌های بیشتری را در صنعت هوش مصنوعی برانگیخته است.
برای مدت طولانی، حوزه ایمنی هوش مصنوعی با یک معضل روبه‌رو بوده است: اگر از مدل‌های کوچک و سبک برای نظارت ایمنی استفاده شود، کاربران می‌توانند به راحتی با پرامپت‌های پیچیده (جیلبریک) آن را دور بزنند؛ و اگر از مدل‌های قدرتمند هم‌رده برای بررسی‌های مکرر و مستقل استفاده شود، هزینه‌های استنتاج و تاخیر دو برابر خواهد شد. آنتروپیک برای حل این مشکل، یک راهکار مهندسی هوشمندانه طراحی کرده است.
جریان کاری این مکانیسم بسیار منحصربه‌فرد است: هنگامی که کاربر یک جلسه پرسش و پاسخ عادی با کلود (Claude) دارد، هوش مصنوعی خروجی خود را طبق روال معمول تولید می‌کند. رهگیری بی‌درنگ همچنان توسط دسته‌بندی‌کننده‌های سنتی ایمنی انجام می‌شود و مدل پیش از پاسخ‌دهی، خودسانسوری نمی‌کند. اما پس از اتمام پاسخ، سیستم به‌طور خودکار یک دستور پنهان را در پس‌زمینه اضافه می‌کند که کاربر هرگز آن را نمی‌بیند؛ مفهومی تقریباً به این شکل: «لطفاً درباره ایمنی این گفتگو بازتاب دهید.»
این دستور توسط یک مدل شخص ثالث مستقل دریافت نمی‌شود، بلکه توسط خود کلود که در گفتگو شرکت داشته، پردازش می‌شود. این سیستم مستقیماً از زمینه موجود و مکانیسم کش KV استفاده می‌کند و با حداقل پردازش اضافی، یک «بررسی مجدد» سریع از کل گفتگو انجام می‌دهد. داده‌های آزمایشی نشان می‌دهند که این ارزیابی خودکار می‌تواند ۷۸ درصد از مکالمات ناقض قوانین را شناسایی کرده و رفتار پرخطر را با نرخ دقت ۹۴ درصد تشخیص دهد، در حالی که نرخ مثبت کاذب را به حدود ۱ درصد کاهش می‌دهد.
هزینه پردازشی بسیار پایین و سیاست‌های سخت‌گیرانه داده‌ها
از نظر مصرف منابع، این مکانیسم بسیار کارآمد است. از آنجا که این فرآیند از زمینه قبلی استفاده مجدد می‌کند، تنها به پردازش یک پرامپت ارزیابی حدوداً دوجین توکنی و خروجی یک نتیجه ارزیابی JSON با حدود ۱۰ توکن نیاز دارد. در تعاملات با ده‌ها هزار توکن یا زمینه‌های طولانی‌تر، این پردازش کمتر از ۲ درصد از کل استنتاج را به خود اختصاص می‌دهد. آنتروپیک صراحتاً وعده داده است که هزینه پردازشی این ممیزی ایمنی به طور کامل توسط پلتفرم پرداخت خواهد شد، هرگز به صورتحساب توکن کاربر اضافه نخواهد گردید و تاثیری بر تأخیر خروجی اولین توکن نخواهد داشت.
علاوه بر این، ترافیک مشمول توافق‌نامه‌های عدم نگهداری داده‌ها، این ارزیابی خودکار را اجرا نخواهد کرد. نتایج ارزیابی به کاربران نشان داده نمی‌شود و به دور بعدی گفتگو منتقل نمی‌گردد. آنتروپیک عمدتاً از این سیگنال‌های خطر تجمیع‌شده برای تحلیل آفلاین استفاده می‌کند تا خطرات ناشناخته جدید مانند تزریق پرامپت‌ها را کشف کند.
نگاه به آینده و دغدغه‌های حریم خصوصی
اگرچه آنتروپیک کارایی و حفاظت از حریم خصوصی را در طراحی مهندسی خود متعادل کرده است، اما این مکانیسم همچنان بحث‌های قابل‌توجهی را در میان کاربران ایجاد کرده است. بسیاری نگران این هستند که هر گفتگو باید به‌طور مخفیانه تحت «قضاوت اخلاقی و امتیازدهی» خود هوش مصنوعی قرار گیرد. حتی اگر این امر بلافاصله منجر به مسدود شدن حساب نشود، ناگزیر یک حس نامرئی از فشار نظارت را ایجاد می‌کند.
با نزدیک شدن به انتشار رسمی پرچمدار نسل جدید، در حالی که هوش مصنوعی باهوش‌تر می‌شود و قصد عمیق‌تر انسان‌ها را بهتر درک می‌کند، نحوه یافتن تعادل کامل بین انطباق ایمنی و حریم خصوصی کاربران همچنان یک سوال الزامی برای تمام شرکت‌های مدل بزرگ است.