تیم Seed بایت‌دنس در آخرین مقاله تحقیقاتی خود، دلایل فنی نوسانات عملکرد مدل‌های زبان بزرگ هنگام پردازش متن‌های فوق‌طولانی را فاش کرد. تیم تحقیقاتی اشاره کرد که این پدیده عمدتاً از «حساسیت فاز» ناشی از فناوری فشرده‌سازی کش KV مبتنی بر بلوک سرچشمه می‌گیرد.
مکانیزم اصلی ایجاد سوگیری بازیابی
این فناوری برای کاهش مصرف حافظه در استدلال با متن‌های طولانی، پنجره‌های توکن پیوسته را با گام‌های ثابت به ورودی‌های کمتری فشرده می‌کند. با این حال، این مکانیزم فشرده‌سازی یک مختصات موقعیتی جدید—«فاز» یک توکن نسبت به مرزهای پنجره فشرده‌شده—را معرفی می‌کند.
آزمایش‌ها نشان می‌دهند که در مواجهه با اطلاعات یکسان، فازهای مختلف می‌توانند تغییرات چشمگیری در دشواری بازیابی ایجاد کنند. در برخی از مدل‌های بزرگ متن‌باز، تفاوت در دقت بازیابی متن طولانی ناشی از تفاوت‌های فاز می‌تواند تا ۴۰ واحد درصد باشد.
نقاط ضعف دوره‌ای نیازمند بهینه‌سازی
این کشف محدودیت‌های تست‌های معیار میانگین سنتی را برجسته می‌کند. در زیر نمرات میانگین به ظاهر عالی برخی مدل‌ها، نقاط ضعف دوره‌ای جدی ممکن است پنهان شده باشند. با گسترش روزافزون کاربرد مدل‌های بزرگ برای متن‌های طولانی، این تحقیق مبنای نظری مهمی برای بهینه‌سازی معماری مدل در آینده و بهبود پایداری استدلال با متن‌های طولانی فراهم می‌کند.