مدل‌های بزرگ زبانی به محض خروج از کارخانه ثابت و بدون تغییر باقی می‌مانند. اگر اطلاعات جدیدی به آن‌ها داده شود، یا به محض پایان گفتگو ناپدید می‌شود یا با تزریق اجباری، باعث می‌شود مدل تمام آموخته‌های قبلی خود را فراموش کند. گوگل در تاریخ ۲۷ اکتبر تلاش کرد با رونمایی از یک «چارچوب خواب» (Sleep Framework) این معما را حل کند. مقاله مرتبط با این تحقیق با عنوان «مدل‌های زبانی به خواب نیاز دارند» (Language Models Need Sleep) به صراحت بیان می‌کند که مدل‌ها نیز باید درست مانند انسان‌ها خاطرات خود را از طریق خواب تثبیت کنند. این رویکرد که توسط گوگل ریسرچ (Google Research) به صورت عمومی منتشر شده، مشکل دیرینه «تاریخ قطع دانش» (Knowledge Cutoff) در این صنعت را هدف قرار داده است.
کار در زمان بیداری، سازماندهی در زمان خواب
این چارچوب فعالیت مدل را به دو فاز تقسیم می‌کند. در فاز بیداری، مدل به طور معمول ورودی‌ها را دریافت کرده و اطلاعات را ابتدا در حافظه کوتاه مدت قرار می‌دهد؛ پس از انتقال به فاز خواب، پذیرش وظایف را متوقف کرده و بر تثبیت حافظه و بهبود خود تمرکز می‌کند. نکته کلیدی «تثبیت حافظه» است: با کمک گسترش پارامترها، بلوک‌های حافظه ترکیبی از متخصصان (Mixture-of-Experts) و تقطیر دانش، متن شکننده کوتاه مدت در پارامترهای بلند مدت نوشته می‌شود بدون اینکه دانش موجود بازنویسی شود. همچنین یک فاز «رؤیاپردازی» وجود دارد که در آن مدل نمونه‌های آموزشی مصنوعی را خودش تولید و فیلتر می‌کند و از طریق یادگیری تقویتی به طور مکرر تمرین می‌کند تا استدلال و تعمیم‌دهی روان‌تر شود. در مقایسه با تنظیم دقیق (Fine-tuning) مکرر سنتی که باعث «فراموشی فاجعه‌بار» می‌شود، تثبیت به سبک خواب مانند نصب یک دروازه ضد فراموشی در مدل است.
طموحِ صفر کردن فراموشی
داده‌های آزمایشی جذاب هستند: این چارچوب در ترجمه مداوم، درک متن طولانی، جذب حقایق و استدلال ریاضی از بیشتر معیارهای پایه عملکرد بهتری دارد؛ این مدل می‌تواند زمینه‌هایی تا حدود ۱۰ میلیون توکن را هضم کند و در یادگیری مداوم چند مرحله‌ای روی زبان‌های جدید، افت عملکرد تقریبا صفر است؛ همچنین به دقت بالاتری در بنچمارک‌های ریاضی مانند AIME 24/25 دست می‌یابد. اگر این ایده واقعاً عملیاتی شود، به این معناست که «تاریخ قطع دانش» ممکن است شکسته شود—مدل‌ها دیگر به محض انتشار قدیمی نمی‌شوند، بلکه توانایی‌های خود را در حین استفاده رشد می‌دهند بدون اینکه نقاط قوت قدیمی خود را فراموش کنند. برای حوزه‌های مراقبت‌های بهداشتی، مالی و حقوقی که نیاز به جذب مداوم اطلاعات جدید دارند، این مکانیسم به وضوح مقرون‌به‌صرفه‌تر از بازآموزی دوره‌ای است.