شرکت دیپ‌سیک (DeepSeek) فریم‌ورک استنتاج داخلی خود به نام DeepInfer را به صورت کاملاً متن‌باز منتشر کرد. این اقدام پس از انتشار مدل‌های بزرگ زبانی، ابزار کامپایلر TileLang و کتابخانه عملگرهای استنتاج صورت می‌گیرد.
به گفته این شرکت، اگرچه مرزهای توانمندی یک مدل هوش مصنوعی توسط خود آن تعیین می‌شود، اما ارائه خدمات در مقیاس وسیع با هزینه‌ای معقول، وابستگی مستقیمی به لایه میانی یعنی فریم‌ورک استنتاج دارد. این فریم‌ورک وظیفه مدیریت خوشه‌های پردازشی بزرگ را بر عهده دارد و کارایی آن به صورت مستقیم بر هزینه‌های سخت‌افزاری و مصرف برق تأثیر می‌گذارد.
فریم‌ورک DeepInfer از عملگرهای با کارایی بالا و موتورهای استنتاج بهینه‌سازی‌شده بهره می‌برد. این ابزار از استنتاج توزیع‌شده، گمانه‌زنی رمزگشایی (Speculative Decoding)، قابلیت SWA Bounded Replay و خروجی‌های ساختاریافته پشتیبانی می‌کند و همچنین با تراشه‌های انویدیا (NVIDIA) و هوآوی اسکندر (Huawei Ascend) سازگار است. دیپ‌سیک با استفاده از این فریم‌ورک توانسته است خدمات استنتاج مقیاس‌پذیر با پهنای باند بالا و تأخیر کم را برای DeepSeek V4.1Flash پیاده‌سازی کند.
همچنین، کامپوننت تولیدی رمزگذار و رمزگشای توکن با نام deepseek-recipe همزمان متن‌باز شده است که با منطق پردازشی API رسمی دیپ‌سیک تطابق کامل دارد. کدهای هر دو پروژه هم‌اکنون در گیت‌هاب در دسترس توسعه‌دهندگان قرار گرفته است.
مخزن‌های گیت‌هاب
- DeepInfer: https://github.com/deepseek-ai/DeepInfer
- deepseek-recipe: https://github.com/deepseek-ai/deepseek-recipe