مدل محلی روی سیستم شما

اگر GPU انویدیا دارید از preset کارت شروع کنید؛ در غیر این صورت حالت CPU را فعال کنید. سرعت CPU معمولاً چند ده برابر کندتر است، اما برای آزمایش مدل‌های سبک هنوز مفید است.

کوانتیزاسیون Q4 حجم و VRAM کمتری می‌خواهد؛ Q5 و Q8 کیفیت بهتری دارند اما سخت‌افزار قوی‌تری می‌طلبند. برای متن فارسی، خانواده‌های چندزبانه مثل Qwen اغلب گزینه بهتری هستند.

وضعیت ایده‌آل یعنی فضای کافی برای کانتکست و کار روزمره؛ وضعیت ممکن یعنی اجرا می‌شود اما ممکن است مجبور به کوانت پایین‌تر یا کانتکست کوتاه‌تر شوید. روی لپ‌تاپ‌های نازک، مدل‌های خیلی بزرگ اغلب به‌خاطر توان و دما throttle می‌شوند.

قبل از دانلود مدل سنگین، فضای دیسک، خنک‌کاری و پایداری latency را هم در نظر بگیرید. برای اوج ترافیک، داشتن یک مسیر پشتیبان ابری در کنار اجرای محلی معمولاً تصمیم عاقلانه‌تری است.