زندهمحاسبهگرهای چشم
بررسی کنید چند سند یا پیام در پنجره کانتکست مدل انتخابی جا میشود
پنجره کانتکست حداکثر توکنی است که مدل در یک درخواست میبیند: پرامپت سیستم، تاریخچه چت، اسناد بازیابیشده و فضای پاسخ. اگر از این حد بگذرد، بخشی از ورودی حذف میشود یا درخواست خطا میدهد.
این محاسبهگر کمک میکند ببینید با مدل انتخابی، چند سند هماندازه یا چه حجم تاریخچه چت قابل استفاده است. برای RAG، چتبات سازمانی و تحلیل سند، این تصویر قبل از طراحی معماری ضروری است.
روش ورودی
نوع محتوا
مدل را انتخاب کنید، سپس نوع سند آماده یا متن واقعی را وارد کنید. ابزار تخمین میزند چند سند در فضای باقیمانده جا میشود و نوار پرشدگی نشان میدهد یک سند بههمراه تاریخچه چقدر از پنجره را میگیرد.
هر پیام قبلی در چت فضای کانتکست را کم میکند. برای گفتوگوهای بلند، خلاصهسازی تاریخچه یا پنجره لغزان لازم است؛ وگرنه فضای مفید برای سند جدید سریع تمام میشود.
در RAG، تعداد chunk بازیابیشده بهعلاوه پرامپت و پاسخ باید داخل کانتکست بگنجد. اگر usage نزدیک صد درصد است، chunk کمتر بردارید یا مدل با کانتکست بزرگتر انتخاب کنید.
مدلهای با کانتکست بسیار بزرگ جذاباند، اما قیمت و تأخیر هم بالا میرود. گاهی تکهتکه کردن سند و مدل ۱۲۸K اقتصادیتر از فشردن همه چیز در یک درخواست غولپیکر است. متن PDF را قبل از چسباندن از نویز OCR پاک کنید تا توکن بیهوده مصرف نشود.
کانتکست حداکثر توکنهایی است که مدل در یک درخواست میبیند — شامل system prompt، تاریخچه چت، اسناد RAG و پاسخ تولیدی.
اگر از حد بگذرد، API خطا میدهد یا بخشی از ورودی را truncate میکند.
