با رشد مداوم مقیاس مدلهای بزرگ و تقاضای خدمات، کاهش هزینه بالای رمزگشایی خودرگرسیو به یک مشکل اصلی در صنعت تبدیل شده است. برای حل این مشکل، تیم فنی تنسنت به طور رسمی فریمورک آموزشی یکپارچه AngelSpec را متنباز کرده است. هدف این فریمورک، بهبود جامع توان عملیاتی استنتاج مدلهای بزرگ در سناریوهای واقعی از طریق همکاری چند طرحی و تطبیق ناهمگونی بار کاری است.
با در نظر گرفتن تفاوتها در ویژگیهای متنی تحت سناریوهای کاربردی مختلف، AngelSpec استراتژیهای آموزشی متفاوتی را اتخاذ میکند. برای وظایف گفتگوی چندنوبتی با آنتروپی بالا و باز، این سیستم از یک مکانیزم پیشبینی چند توکن (MTP) سبک و پایدار، همراه با تست در زمان آموزش (TTT) و از دست دادن واریانس کلی سرتاسری استفاده میکند که به آن امکان میدهد به طور موثر با توزیع حالت در طول گسترش خودرگرسیو سازگار شود. در حالی که برای تولید کد و وظایف استدلال ریاضی با محدودیتهای ساختاری قویتر، عملکرد را از طریق یک مدل انتشار بلوکی اختصاصی افزایش میدهد و به طور کامل از پتانسیل توالیهای قابل پیشبینی با دامنه طولانی بهره میبرد.
در طراحی معماری، این فریمورک یک فریمورک انتشار بلوکی نوآورانه به نام DFly را معرفی میکند. این فریمورک با ترکیب یک ستون فقرات کدگذاری شرطی هدف هیبریدی با یک سر خودرگرسیو شرطی قبلی، استفاده از ویژگیهای هدف و مدلسازی وابستگی درون بلوکی را بهینه میکند و در عین حال تولید موازی با توان عملیاتی بالا را حفظ میکند. علاوه بر این، این سیستم شامل یک مکانیزم تأیید پویا است که عمق تأیید را در زمان اجرا بر اساس بار آنلاین فعلی، شرایط سختافزاری و اطمینان پیشوند به طور تطبیقی تنظیم میکند و تعادلی بین منابع محاسباتی و کارایی توان عملیاتی برقرار میسازد.
در آزمایشات سیستمی سری مدل Hy3، راهحل مجهز به DFly مزایای عملکردی قابل توجهی را نشان داد. در تمام آزمایشات با همزمانی از 4 تا 64، این راهحل بالاترین توان عملیاتی متوسط را به دست آورد و بهبودهای قابل توجهی نسبت به رمزگشایی خودرگرسیو سنتی نشان داد، که پشتیبانی ابزارهای متنباز محکمی را برای استقرار مهندسی و استنتاج کارآمد مدلهای بزرگ فراهم میکند.