پنجره‌ی زمینه چیست؟

مدل زبانی حافظه‌ی دائمی ندارد. هر بار فقط متنی را می‌بیند که در همان درخواست فرستاده‌اید. اندازه‌ی این متن به پنجره‌ی زمینه محدود است؛ مثلاً مدلی با پنجره‌ی ۱۲۸ هزار توکنی می‌تواند تقریباً چند ده هزار کلمه را در یک درخواست ببیند.

اگر ورودی از پنجره بزرگ‌تر شود، یا خطا می‌گیرید یا باید متن را کوتاه کنید. حتی در مرزهای مجاز هم هرچه متن طولانی‌تر باشد، توجه مدل به جزئیات میانی ممکن است کمتر شود؛ پس بزرگ بودن پنجره تضمین دقت نیست.

پنجره‌ی زمینه با «حداکثر طول خروجی» فرق دارد: خروجی معمولاً سقف جداگانه‌ی کوچک‌تری دارد. در طراحی چت‌بات باید تصمیم بگیرید تاریخچه را چگونه کوتاه یا خلاصه کنید.

مثال کاربردی

تیم حقوقی می‌خواهد قرارداد ۸۰ صفحه‌ای را خلاصه کند. اگر متن در پنجره‌ی مدل جا شود، یک درخواست کافی است؛ اگر نشود، قرارداد را به بخش‌های موضوعی تقسیم می‌کنید، هر بخش را جدا خلاصه می‌کنید و در پایان خلاصه‌ها را در یک درخواست دیگر ترکیب می‌کنید.

چطور در عمل بررسی کنیم؟

بهترین راه یادگرفتن این مفهوم، دیدن آن در یک درخواست واقعی است. یک کلید بسازید، فهرست مدل‌ها را با /v1/models بگیرید، یک درخواست کوچک بفرستید و فیلدهای پاسخ (از جمله usage و finish_reason) را بخوانید. سپس همان درخواست را با پارامتر یا مدل دیگر تکرار و در داشبورد مصرف و هزینه را مقایسه کنید. نمونه‌های آماده در راهنمای cURL و راهنمای پایتون هست.

اصطلاحات نزدیک

• توکن: توکن کوچک‌ترین واحد متنی است که مدل زبانی پردازش می‌کند؛ می‌تواند یک کلمه، بخشی از کلمه یا یک نویسه باشد و هزینه و محدودیت‌ها بر پایه‌ی آن سنجیده می‌شود.
• تولید مبتنی بر بازیابی: RAG روشی است که پیش از پاسخ، بخش‌های مرتبط از اسناد شما بازیابی و همراه پرسش به مدل داده می‌شود تا پاسخ بر پایه‌ی داده‌ی شما باشد.
• حداکثر توکن خروجی: Max tokens سقف تعداد توکنی است که مدل مجاز است در پاسخ تولید کند؛ با رسیدن به آن، پاسخ قطع می‌شود.
• پرامپت کش: پرامپت کش یعنی بخش تکراری ابتدای پرامپت (مثل دستورالعمل ثابت یا سند بلند) در سمت ارائه‌دهنده نگه داشته شود تا در درخواست‌های بعدی ارزان‌تر و سریع‌تر پردازش شود.

در پیکو هوش

اندازه‌ی پنجره‌ی زمینه‌ی هر مدل در صفحه‌ی همان مدل در کاتالوگ آمده است. برای متن‌های بلندتر از پنجره، تکه‌بندی یا RAG را بررسی کنید.

اشتباهات رایج

• فرض اینکه مدل گفتگوهای قبلی را در سشن دیگر به یاد دارد.
• ارسال کل تاریخچه در هر پیام بدون خلاصه‌سازی و پرداخت هزینه‌ی اضافه.