شرکت فایرورکس ای‌آی (Fireworks AI) اخیراً از محصول جدید خود به نام فایرروتر با اوپوس (FireRouter with Opus) رونمایی کرد؛ اولین مسیریاب آگاه از کَش در بازار که برای سری مدل‌های کلود اوپوس (Claude Opus) بهینه‌سازی شده و اکنون برای نخستین بار به عنوان یک مدل مسیریابی مستقل از طریق یک پایانه بدون سرور (serverless) عرضه می‌شود. پس از بیش از یک ماه تست A/B داخلی، این راهکار به دقت اجرای ۹۸.۱ درصدی برای وظایف کدنویسی در مقایسه با استفاده خالص از اوپوس دست یافت، در حالی که هزینه‌ها را ۵۷ درصد کاهش داد.
منطق اصلی فایرروتر این است که در هر مرحله از تعامل کاربر، میزان تناسب هر مدل در مجموعه مدل‌ها را برای وظیفه فعلی ارزیابی کند، هزینه پردازش هر مدل (از جمله هزینه کش کردن پرامپت) را تخمین بزند، بسنجد که آیا صرفه‌جویی ناشی از تغییر مدل ارزش از دست رفتن محتوای کش‌شده را دارد یا خیر، و در نهایت درخواست را به مدلی هدایت کند که بهترین تعادل را میان کیفیت و هزینه برقرار می‌کند. استخر مسیریابی فعلی شامل مدل‌های Claude Opus5.5، GLM5.3 و GLM5.3Flash است و با انتشار مدل‌های جدید به روزرسانی خواهد شد.
داده‌های آزمایشی از ترافیک داخلی کدنویسی به‌دست آمده است؛ به‌طوری‌که جلسات به‌صورت تصادفی به گروه فایرروتر با اوپوس یا گروه کنترل (که تنها از اوپوس استفاده می‌کند) با بار کاری و کاربران یکسان اختصاص یافتند. نتایج نشان می‌دهد که هزینه هر جلسه از ۱۵.۳۶ دلار به ۶.۶۳ دلار کاهش یافته است که نشان‌دهنده افت ۵۷ درصدی (با فاصله اطمینان ۹۵ درصد) است. از نظر دقت، فایرروتر با اوپوس در رشدهای امتیازبندی نمره ۷۸.۷ درصد را کسب کرد، در حالی که استفاده خالص از اوپوس نمره ۸۰.۲ درصد را به ثبت رساند؛ یعنی تنها ۱.۵ درصد اختلاف که معادل ۹۸.۱ درصد از دقت کلی اوپوس است.
در زمینه نرخ اصابت کش (cache hit rate)، فایرروتر با اوپوس به ۹۴.۲ درصد رسید، در حالی که استفاده از اوپوس به تنهایی ۹۷.۸ درصد (با اختلاف ۳.۶ درصدی) را ثبت کرد. فایرورکس ای‌آی توضیح داد که این یک سازش کوچک اما عمدی است؛ از آنجا که مدل‌های متن‌باز می‌توانند بسیاری از مراحل روزمره را در کارهای کدنویسی داخلی مدیریت کنند، مسیریابی آگاه از کش با هدایت تسک‌های ساده به سمت مدل‌های ارزان‌تر، هزینه‌های کلی را به طور قابل توجهی کاهش می‌دهد.
