بایتدنس سید (ByteDance Seed) اخیراً تأسیس بخش جدیدی به نام «همسوسازی مدل و آمادگی سید» (Seed Model-Alignment & Preparedness) را اعلام کرد. ریاست این بخش بر عهده یان لین است که به وو یونگهویی، رئیس بخش سید، گزارش میدهد. اعضای تیم اصلی هوش مصنوعی مسئولیتپذیر و برخی از اعضای تیم چت به این بخش جدید ملحق شدهاند تا سرمایهگذاری روی ایمنی و همسوسازی مدلها را بیش از پیش تقویت کنند.
این بخش جدید بر ارتقای قابلیتهای امنیتی مدلهای عامل هوشمند (Agent Models) و پیشگیری از خطرات بالقوه ناشی از قابلیتهای نوظهور مانند تهدیدات شیمیایی، بیولوژیکی، رادیولوژیکی و هستهای (CBRN) تمرکز خواهد کرد. فعالیتهای این بخش شامل توسعه قوانین مدل، ساخت سیستم ارزیابی امنیتی، آموزش همسوسازی، ایجاد سیستمهای حفاظتی و پایش ریسک خواهد بود و در عین حال همکاریهای باز با مؤسسات پژوهشی خارجی و سازمانهای ارزیابی شخص ثالث را تقویت میکند.
گزارشها حاکی از آن است که با رشد مداوم قابلیتها و استقلال مدلهای زبانی بزرگ، مسائل امنیتی مانند انحراف رفتار مدل از انتظارات، سوءاستفاده از ایجنتها و حملات سایبری توجهات بیشتری را به خود جلب کرده است. پیش از این، کار ایمنی و همسوسازی تیمهای مدل بزرگ داخلی عمدتاً در سیستم انضباطی و ایمنی کلی شرکت ادغام شده بود. این تغییر نشان میدهد که سید در حال تبدیل ایمنی و همسوسازی به یک کارکرد مستقل است. بر اساس اطلاعات موجود، بایتدنس سید اولین آزمایشگاه پیشروی هوش مصنوعی در چین است که یک بخش اختصاصی برای ایمنی و همسوسازی تأسیس میکند.
مدیران داخلی سید بر این باورند که ایمنی و همسوسازی نه تنها با پیشگیری از ریسک مرتبط است، بلکه بر امکان کاربرد مقیاسپذیر مدلها در سناریوهای پیچیده نیز تأثیر میگذارد. بخش جدید تلاش خواهد کرد تا اطمینان حاصل کند مدلهای پیشرفته وظایف خود را تحت استانداردهای ایمن و محدودیتهای مجاز به طور مؤثری انجام میدهند، خطرات سوءاستفاده از مدل و انحراف رفتاری را به طور مداوم کاهش میدهند و سیستم امنیتی را در برابر خطرات ناشناخته بهبود میبخشند.
