مدل ارزان یا مدل قوی‌تر؟ آزمون انتخاب برای یک کار واقعی

قیمت توکن به‌تنهایی نشان نمی‌دهد که یک مدل برای کار شما ارزان‌تر تمام می‌شود. اگر ده خروجی از مدل کم‌هزینه نیاز به اصلاح دستی داشته باشد، نتیجه ممکن است با مدلی که همان کار را در اولین تلاش انجام می‌دهد فرق کند. مقایسه را روی یک کار مشخص انجام دهید.

ده نمونه و یک معیار بسازید

برای دسته‌بندی تیکت، چند نمونه از هر دسته بردارید و پاسخ درست را از قبل ثبت کنید. نمونه‌های دشوار مثل یک پیام با دو موضوع یا یک درخواست مبهم را هم در مجموعه بگذارید. برای خلاصه‌سازی، معیار می‌تواند حفظ مبلغ، تاریخ و تصمیم اصلی باشد. نمونه‌ها را از اطلاعات شخصی پاک کنید.

برای هر دو مدل، پرامپت، سقف خروجی و قالب پاسخ را ثابت نگه دارید. این سه معیار را ثبت کنید.

• تعداد پاسخ‌های قابل استفاده بدون اصلاح
• مجموع هزینه و تعداد تلاش‌ها
• زمان پاسخ برای کاربر

اگر مدل اول ۱۰ پاسخ با هزینهٔ مجموع ۳٬۰۰۰ تومان بدهد ولی فقط ۶ پاسخ قابل استفاده باشد، هزینهٔ هر پاسخ قابل استفاده ۵۰۰ تومان است. مدل دوم با هزینهٔ مجموع ۴٬۰۰۰ تومان و ۱۰ پاسخ قابل استفاده، در این نمونه ۴۰۰ تومان به ازای هر پاسخ قابل استفاده تمام می‌شود.

از نتیجه برای انتخاب مسیر استفاده کنید

مدل کم‌هزینه را برای بخش‌هایی نگه دارید که معیار پذیرش روشن دارند. نمونه‌های مبهم یا حساس را جدا ارزیابی کنید. برای دیدن عرضهٔ جاری کاتالوگ و برای قیمت‌های روز تعرفهٔ پیکو را بررسی کنید. عددهای نمونهٔ بالا تعرفهٔ پیکو نیستند.