ابزار هوش مصنوعی محلی متن‌باز Strata رسماً نسخه 0.2.10 خود را منتشر کرد. این به‌روزرسانی، به‌عنوان یک راه‌انداز مدل بزرگ محلی که به‌طور خاص برای پردازنده‌های گرافیکی مصرف‌کننده طراحی شده است، پیشرفت‌های چشمگیری در کاهش نیازهای VRAM، افزایش سرعت استنتاج و بهینه‌سازی همکاری چند GPU به ارمغان می‌آورد و اجرای مدل‌های بزرگ صد میلیارد پارامتری را برای رایانه‌های شخصی معمولی آسان‌تر می‌کند.
صرفه‌جویی عمده در VRAM: چگونه یک GPU با 8 گیگابایت می‌تواند از کانتکست فوق‌طولانی 128K پشتیبانی کند؟
در سناریوهای اجرای محلی قبلی، اگر کاربران تلاش می‌کردند کانتکست 64K یا حتی بزرگ‌تر را روی یک دستگاه با 8 گیگابایت VRAM فعال کنند، راه‌اندازی اغلب به دلیل اتمام فضای کش متخصص (expert cache) با شکست مواجه می‌شد و گاهی اوقات مجبور بودند با کاهش آن به حدود 48K سازش کنند.
در Strata 0.2.10، تیم رسمی مکانیسم تخصیص منابع سطح پایین را بهینه‌سازی کرده است: هنگامی که VRAM کافی نیست، سیستم اولویت را به تنظیم پویا تخصیص داده‌ها بین VRAM و حافظه سیستم می‌دهد و طول کانتکست تعیین‌شده توسط کاربر را تا حد امکان حفظ می‌کند. این بدان معناست که کاربران اکنون می‌توانند مدل‌های بزرگی مانند Qwen3.8IQ3_S را روی یک دستگاه با 8 گیگابایت VRAM با موفقیت راه‌اندازی کرده و یک کانتکست فوق‌طولانی تا 128K (131,072 توکن) را حفظ کنند.
اصل اساسی این است که Strata به‌طور خودکار پنجره کش KV را که در GPU قرار دارد، بر اساس فضای خالی VRAM در زمان واقعی کوچک می‌کند و در صورت لزوم، بخشی از کش را به حافظه سیستم یا دیسک منتقل می‌کند. داده‌های بنچمارک رسمی نشان می‌دهد که تحت محدودیت 8 گیگابایت VRAM با فعال بودن حالت DFlash2، سرعت تولید می‌تواند به 63 تا 73 توکن بر ثانیه برسد؛ حتی با یک GPU فیزیکی Intel Arc A750 8GB، می‌تواند با موفقیت یک کانتکست 128K را راه‌اندازی کرده و سرعت تولید 12.7 تا 14.8 توکن بر ثانیه را حفظ کند.
با این حال، توسعه‌دهندگان باید توجه داشته باشند: اگرچه فشار بر سخت‌افزار VRAM توسط حافظه سیستم و SSDها تقسیم می‌شود، اما این امر نیازهای بالاتری را برای پیکربندی حافظه رایانه ایجاد می‌کند. توصیه رسمی این است که حداقل با 32 گیگابایت RAM شروع کنید، 48 گیگابایت مناسب‌تر است و 64 گیگابایت چیزی است که واقعاً به شما امکان می‌دهد سناریوهای پیچیده مختلف را به راحتی مدیریت کنید.
شتاب‌دهنده DFlash2 به‌طور پیش‌فرض فعال شد: 4 گیگابایت VRAM اضافی صرفه‌جویی می‌کند
یکی دیگر از نکات برجسته اصلی این به‌روزرسانی این است که DFlash2 جدید رسماً به رمزگشای حدسی پیش‌فرض تبدیل شده است. به‌عنوان یک فناوری رمزگشایی حدسی کارآمد، منطق اساسی DFlash2 این است که یک مدل کم‌حجم کمکی، محتوای تولیدی آینده را از قبل پیش‌بینی کند، سپس آن را برای تأیید دسته‌ای به مدل اصلی بسپارد. در مقایسه با لایه حدسی MTP که قبلاً استفاده می‌شد و حدود 5.2 گیگابایت VRAM نیاز داشت، مصرف VRAM توسط DFlash2 به حدود 625 مگابایت به شدت کاهش یافته است که تنها از این یک تغییر، حدود 4 گیگابایت VRAM ارزشمند اضافی صرفه‌جویی می‌شود.
از نظر سرعت تولید، چه در دستگاه‌های ویندوزی مجهز به Ryzen AI Max، RTX PRO5000، یا دستگاه‌های Apple M5Max، DFlash2 مزیت عملکردی واضحی در درخواست‌های تکی نشان می‌دهد. با این حال، MTP سنتی همچنان نقاط قوت منحصر به فردی در پردازش چند همزمان و سازگاری سخت‌افزاری دارد، بنابراین تیم رسمی DFlash2 را به‌عنوان استراتژی ترجیحی برای سناریوهای درخواست تکی قرار می‌دهد.
تقسیم بار کاری چند GPU دوباره ارتقا یافت: سرعت تولید ویرایش کد تقریباً دو برابر شد
برای کاربران علاقه‌مند حرفه‌ای با چندین GPU، Strata 0.2.10 موتور تقسیم تمام کارت‌ها (All-cards Split Engine) (موتور تقسیم مشترک چند GPU) جدید را معرفی می‌کند.
در گذشته، هنگام اجرای مدل‌ها روی چندین GPU، لایه‌های مختلف مدل معمولاً به‌طور مکانیکی به GPUهای مختلف اختصاص داده می‌شدند؛ نسخه جدید از پردازش همزمان هر لایه مدل توسط چندین GPU پشتیبانی می‌کند و به آن‌ها اجازه می‌دهد همزمان در محاسبات موازی شرکت کنند. آزمایش‌های رسمی نشان می‌دهد که هنگام استفاده از دو GPU RTX A6000 برای اجرای یک مدل تحت لینوکس، سرعت پردازش وظایف ویرایش کد مستقیماً از 195 توکن بر ثانیه قبلی به 377 تا 394 توکن بر ثانیه افزایش یافته است که تقریباً عملکرد را دو برابر می‌کند.
بهبود مدل کدنویسی اختصاصی و تجربه Agent
برای برآوردن نیازهای پیشرفته توسعه‌دهندگان، نسخه جدید یک مدل کدنویسی اختصاصی به نام ISTA-DAS Coder را نیز معرفی می‌کند. این مدل بر پایه DeepSeek-V4.1-Flash با هرس متخصص (expert pruning) استوار است که قابلیت‌های کدنویسی و Agent قوی را حفظ کرده و در عین حال سربار اضافی را کاهش می‌دهد. با این حال، از آنجایی که وزن‌های مدل و فایل‌های داده Engram آن نسبتاً بزرگ هستند، اولین دانلود و اجرای کامل همچنان به فضای ذخیره‌سازی قابل توجهی نیاز دارد.
علاوه بر این، نسخه 0.2.10 با هدف رفع نقاط ضعف تعاملی در Agentها و رابط‌های گرافیکی روزمره، شامل اصلاحات و ارتقاهای جامعی است:
- هنگامی که پاسخ هوش مصنوعی طولانی است، دکمه‌های تأیید (Approve) و رد (Deny) در رابط کاربری دیگر با اسکرول صفحه پنهان نمی‌شوند.
- زیر-Agentها مجاز به دریافت دستورالعمل‌های تکمیلی اضافه شده توسط کاربر هستند.
- ویژگی خلاصه‌سازی خودکار تاریخچه چت، اولویت را به مطابقت با ترجیح زبان اصلی کاربر می‌دهد.
- در حالی که هوش مصنوعی در حال تولید محتوا است، کاربران می‌توانند آزادانه انتخاب کنند که منتظر بمانند، پیام‌های جدید را در صف قرار دهند یا مستقیماً قطع کنند.
- از نقل قول دقیق یک نوبت مکالمه قبلی یا متن خاص انتخاب شده پشتیبانی می‌کند.
- اعلان خطای Claude Code هنگام مواجهه با سرریز کانتکست بهبود یافته و آن را به تلاش برای فشرده‌سازی خودکار راهنمایی می‌کند.
- یک باگ ویندوز که در آن بارگذاری مدل در برخی سناریوهای راه‌اندازی پس‌زمینه به دلیل اولویت بسیار پایین خواندن دیسک کند می‌شد، رفع شد.
در حال حاضر، Strata به‌طور کامل از پلتفرم‌های ویندوز، macOS و لینوکس پشتیبانی می‌کند. کاربران رابط کاربری گرافیکی (GUI) می‌توانند مستقیماً از طریق کانال به‌روزرسانی داخلی به آخرین نسخه ارتقا دهند، در حالی که کاربران ترمینال می‌توانند به‌روزرسانی را از طریق دستورات مربوطه تکمیل کنند.