حداکثر توکن خروجی چیست؟

این پارامتر طول پاسخ را محدود می‌کند و برای کنترل هزینه و زمان مفید است. اگر مقدار را کم بگذارید، پاسخ ممکن است وسط جمله قطع شود (در پاسخ API، finish_reason برابر length می‌شود). اگر خیلی بزرگ بگذارید، ممکن است هزینه‌ی رزرو شده بیشتر باشد.

در برخی ارائه‌دهنده‌ها نام پارامتر max_completion_tokens است و در قالب Anthropic پارامتر max_tokens الزامی است. حاصل جمع ورودی و خروجی نباید از پنجره‌ی زمینه بیشتر شود.

برای خروجی‌های ساخت‌یافته (مثل JSON) سقف را کمی بیشتر از حد لازم بگذارید تا خروجی ناقص نشود.

مثال کاربردی

خلاصه‌ساز شما باید حداکثر ۱۵۰ توکن بدهد. max_tokens را ۲۰۰ می‌گذارید تا هم هزینه کنترل شود و هم پاسخ وسط جمله قطع نشود؛ سپس finish_reason را بررسی می‌کنید که length نباشد.

چطور در عمل بررسی کنیم؟

بهترین راه یادگرفتن این مفهوم، دیدن آن در یک درخواست واقعی است. یک کلید بسازید، فهرست مدل‌ها را با /v1/models بگیرید، یک درخواست کوچک بفرستید و فیلدهای پاسخ (از جمله usage و finish_reason) را بخوانید. سپس همان درخواست را با پارامتر یا مدل دیگر تکرار و در داشبورد مصرف و هزینه را مقایسه کنید. نمونه‌های آماده در راهنمای cURL و راهنمای پایتون هست.

اصطلاحات نزدیک

• توکن: توکن کوچک‌ترین واحد متنی است که مدل زبانی پردازش می‌کند؛ می‌تواند یک کلمه، بخشی از کلمه یا یک نویسه باشد و هزینه و محدودیت‌ها بر پایه‌ی آن سنجیده می‌شود.
• پنجره‌ی زمینه: پنجره‌ی زمینه حداکثر تعداد توکنی است که مدل در یک درخواست می‌تواند هم‌زمان ببیند؛ شامل پرامپت، تاریخچه و پاسخ.
• Top-p: Top-p پارامتری است که انتخاب توکن بعدی را به کوچک‌ترین مجموعه‌ای از توکن‌ها محدود می‌کند که احتمال تجمعی‌شان به p برسد.
• دمای نمونه‌برداری: Temperature پارامتری است که میزان تصادفی بودن انتخاب توکن بعدی را تنظیم می‌کند؛ مقدار پایین پاسخ‌های قابل‌پیش‌بینی‌تر و مقدار بالا پاسخ‌های خلاقانه‌تر می‌دهد.

در پیکو هوش

در هر درخواست، رزرو هزینه با توجه به مدل و حداکثر خروجی انجام و پس از پایان بر اساس مصرف واقعی تسویه می‌شود؛ مابه‌التفاوت برمی‌گردد.

اشتباهات رایج

• قطع شدن JSON به‌خاطر سقف کم.
• ندیدن finish_reason.