در تاریخ ۵ آگوست، استارتاپ هوش مصنوعی Liquid AI رسماً از انتشار LFM2.5-2.6B، یک مدل سمت ترمینال که برای گردشکارهای عاملمحور طراحی شده است، خبر داد. این مدل دارای ۲.۶ میلیارد پارامتر است و میتواند کاملاً محلی روی دستگاههای ترمینال مانند گوشیهای هوشمند بدون نیاز به API ابری اجرا شود و راهکاری کمهزینه، با تأخیر پایین و محافظتشده از حریم خصوصی را برای توسعهدهندگان ارائه دهد.
معماری فنی و رویکرد آموزشی
از نظر معماری فنی و رویکرد آموزشی، LFM2.5-2.6B روی حدود ۳۴ تریلیون توکن پیشآموزش دیده است و واژگان آن به ۱۲۸ هزار کلمه گسترش یافته است. فرآیند پسآموزش آن چهار مرحله را شامل میشود: تنظیم دقیق نظارتشده (supervised fine-tuning)، تخصصسازی معلم (teacher specialization)، تقطیر استراتژی چند دامنهای (multi-domain strategy distillation) و یادگیری تقویتی عامل (agent reinforcement learning). این مراحل به مدل قابلیتهای عالی در برنامهریزی، فراخوانی ابزار و مدیریت وظایف پیچیده چند مرحلهای میبخشد. آزمایشهای بنچمارک نشان میدهد که عملکرد این مدل در پیروی از دستورالعملها و استفاده از ابزارها با مدلهای بزرگی که تقریباً چهار برابر اندازه آن هستند، قابل مقایسه است.
سازگاری سختافزاری و عملکرد استنتاج
علاوه بر این، این مدل در سازگاری سختافزاری و عملکرد استنتاج نیز خوب عمل میکند و به سرعت استنتاج ۲۲۰ توکن بر ثانیه روی تراشه M5Max دست مییابد و سرعت پاسخ پایدار ۳۰ توکن بر ثانیه را روی دستگاههای موبایل حفظ میکند. در حال حاضر، LFM2.5-2.6B و نسخه پایه آن به طور کامل در Hugging Face متنباز شدهاند و به طور بومی از فریمورکهای استنتاج اصلی مانند llama.cpp، MLX و vLLM پشتیبانی میکنند که نشاندهنده ورود به مرحله عملی عاملهای لبهای با کارایی بالا است.