بنچمارک ایجنت هوش مصنوعی در ۲۰۲۶: چرا جدول‌های رتبه‌بندی گمراه می‌کنند و بانک‌ها چطور باید ایجنت‌ها را ارزیابی کنند

تقریباً هر خبر هوش مصنوعی این روزها با یک نمودار همراه است: مدلی تازه صدر یک جدول رتبه‌بندی را می‌گیرد، ایجنتی یک بنچمارک را پشت سر می‌گذارد، امتیازی چند واحد بالا می‌رود. در مهر ۱۴۰۵ (اکتبر ۲۰۲۶) چند گروه پژوهشی پیام ناخوشایندتری منتشر کردند. بنچمارک ایجنت هوش مصنوعی (AI Agent Benchmark) اغلب چیزی محدودتر از تیتر خبر را می‌سنجد، بهترین ایجنت‌ها هنوز کمتر از نیمی از کارهای چندمرحله‌ای واقع‌گرایانه را تمام می‌کنند و یک عدد قبول/رد می‌تواند هم پیشرفت واقعی و هم ریسک واقعی را پنهان کند. هم‌زمان، بانک‌هایی مثل Santander و TD توضیح دادند ایجنت‌ها را پیش از رسیدن به مشتری روی کارهای خودشان چطور می‌آزمایند. این انتشارها در کنار هم یک راهنمای عملی برای ارزیابی ایجنت‌های هوش مصنوعی است؛ برای هر کسی که باید تصمیم بگیرد کدام ایجنت را مستقر کند.

بنچمارک ایجنت هوش مصنوعی در واقع چه چیزی را می‌سنجد

ایجنت هوش مصنوعی فقط یک مدل نیست. مدل درون یک داربست (Scaffold یا Harness) قرار می‌گیرد: نرم‌افزاری که وضعیت را مدیریت می‌کند، ابزارها را در اختیار مدل می‌گذارد و خروجی مدل را به اقدام تبدیل می‌کند. پژوهشگران استنفورد دقیقاً بر همین نکته تأکید می‌کنند: مدل و داربست با هم سامانه را می‌سازند و هر ارزیابی باید روشن کند کدام‌یک را می‌سنجد.

این تمایز تا زمانی که چیزی نخریده‌اید آکادمیک به نظر می‌رسد. دموی فروشنده، جدول رتبه‌بندی عمومی و محیط عملیاتی شما تقریباً هیچ‌وقت داربست، ابزارها و وظایف یکسانی ندارند. یک امتیاز فقط وقتی مفید است که بدانید چه نتیجه‌ای را پشتیبانی می‌کند.

پژوهش‌های مهر ۱۴۰۵ چه یافتند

۱. جدول رتبه‌بندی سامانه‌ها را خوب رتبه می‌دهد، اما مدل‌ها را بسیار کمتر

در مقاله Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard، پژوهشگران دانشگاه استنفورد و دانشگاه ایلینوی اربانا-شمپین اجراهای ۲۲ بنچمارک از Holistic Agent Leaderboard (HAL) و Harbor Index را تحلیل کردند. یافته‌هایشان مستقیماً به کار خریداران می‌آید:

• اعتبار به ادعا بستگی دارد. سامانه‌های ثابت «مدل + داربست» با اعتبار بالا رتبه‌بندی شدند (۰٫۹۳۵ تا ۰٫۹۹۴)، اما رتبه‌بندی خود مدل‌ها بسیار کم‌اعتبارتر بود (۰٫۱۴۸ تا ۰٫۸۴۱).
• داربست می‌تواند نتیجه را عوض کند. میزان حفظ رتبه‌بندی یکسان مدل‌ها در داربست‌های مختلف، در بنچمارک‌های گوناگون از ۰٫۱۵۱ تا ۰٫۸۵۲ متغیر بود. در ضعیف‌ترین بنچمارک، تنها تغییر داربست می‌توانست به‌طور جدی عوض کند کدام مدل بهترین به نظر برسد.
• وظایف بیشتر همه چیز را درست نمی‌کند. وقتی عدم قطعیت از پوشش محدود داربست‌ها می‌آید، حتی بی‌نهایت وظیفه مشابه هم اعتبار رتبه‌بندی مدل‌ها را حداکثر حدود ۰٫۱۰ بهتر می‌کند.
• تنوع از حجم مهم‌تر است. با همان بودجه وظایف، پخش ارزیابی میان چند بنچمارک متنوع اعتبار پیش‌بینی‌شده رتبه‌بندی را از حدود ۰٫۴۴ به ۰٫۷۵ رساند و تخصیص آگاه از اعتبار می‌توانست هزینه پیش‌بینی‌شده ارزیابی را تا ۸۳٪ کم کند.

توصیه نویسندگان ساده است: اول تعیین کنید می‌خواهید یک امتیاز چه معنایی داشته باشد، بعد بودجه ارزیابی را صرف منابعی از عدم قطعیت کنید که واقعاً اهمیت دارند.

۲. گردش کارهای واقعی: بهترین ایجنت‌ها کمتر از نیمی از کار را تمام می‌کنند

مؤسسه Stanford HAI در ۲۷ مهر ۱۴۰۵ خلاصه سه سال ساخت بنچمارک‌های پزشکی دشوارتر و واقع‌گرایانه‌تر را منتشر کرد. مدل‌های زبانی در آزمون‌های صلاحیت پزشکی امتیاز تقریباً کامل می‌گیرند، اما در PhysicianBench، یعنی ۱۰۰ وظیفه طولانی که درون یک محیط آزمایشی پرونده الکترونیک سلامت اجرا می‌شود، بهترین مدل از میان ۱۲ مدل (GPT-5.5) در یک تلاش ۴۶٪ وظایف را کامل کرد و فقط ۲۸٪ را در هر سه اجرای خود. در HealthAdminBench، با ۱۳۵ وظیفه اداری مانند اخذ مجوز پیش از درمان و اعتراض به رد درخواست، بهترین ایجنت ۳۶٫۳٪ وظایف را از ابتدا تا انتها کامل کرد.

دو جزئیات بسیار فراتر از حوزه سلامت اهمیت دارد. اول اینکه GPT-5.4 در ۸۲٫۸٪ زیروظیفه‌ها موفق بود، اما فقط ۲۶٫۷٪ وظایف کامل را تمام کرد: توانایی در اجزا به قابلیت اطمینان در کل گردش کار تبدیل نمی‌شود. دوم اینکه در میان خطاهای اجرای اقدام، ۶۲٪ برای GPT-5.5 و ۷۳٪ برای Claude Opus 4.6 مواردی بود که ایجنت اقدام درست را در یادداشت خود نوشت، اما هرگز آن را در سامانه ثبت نکرد. تیم استنفورد نتیجه می‌گیرد خطاهای غالب از ناتوانی در انتقال اطلاعات میان گام‌ها، اسناد و سامانه‌ها می‌آید و راه‌حل به همان اندازه که در مدل‌های بزرگ‌تر است، در معماری و حافظه ایجنت، یعنی داربست بهتر، است.

۳. ایجنت‌های کارهای طولانی: امتیاز جزئی و «تمام شد» زودهنگام

بنچمارک Long-Horizon-Terminal-Bench 2.0 از Tencent، دانشگاه مریلند، دانشگاه کارنگی ملون و چند دانشگاه دیگر، ۷۷ وظیفه در ۱۳ حوزه را تا سه ساعت اجرا می‌کند و هر ۳۰ دقیقه یک بررسی خودکار انجام می‌دهد. قوی‌ترین مدل، GPT-6-astra، ۴۸٫۱٪ وظایف را حل کرد. در ۳۰ وظیفه بازسازی، میانگین امتیاز قبول/رد ۰٫۲۲۱ بود، در حالی که میانگین امتیاز پیشرفت تدریجی ۰٫۶۵۳ بود؛ یعنی ارزیابی صرفاً بر اساس نتیجه نهایی بخش بزرگی از کار مفید میانی را نادیده گرفت.

بُعد زمان هم به همین اندازه گویاست. ۴۲٪ از حل‌ها پس از ساعت اول رخ داد و بودجه یک‌ساعته میانه جدول رتبه‌بندی را جابه‌جا می‌کرد. در همه مدل‌ها، ۹۲٪ از ادعاهای «کار تمام شد» در اجراهایی بود که هرگز از بررسی نهایی عبور نکردند. هزینه هم نابرابر است: هزینه تخمینی اجرای کامل مجموعه بسته به مدل از حدود ۲۸۵ دلار تا حدود ۳۰٬۵۸۱ دلار بود و بیشتر هزینه صرف وظایفی شد که هرگز حل نشدند.

۴. آمادگی سازمانی به بیش از یک عدد نیاز دارد

Salesforce AI Research مجموعه EGI-Bench را منتشر کرد که هشت بنچمارک سازمانی ایجنت (از جمله عملیات CRM، جست‌وجوی سازمانی، استفاده از ابزار با MCP و مهندسی نرم‌افزار با زمینه طولانی) را در شش بُعد ترکیب می‌کند: نتیجه وظیفه، به‌کارگیری ابزار، برنامه‌ریزی، استناد به شواهد بازیابی‌شده، ایمنی و خودداری از پاسخ، و کیفیت مهندسی. امتیاز کلی در چهارده مدل از ۳۹٫۶ تا ۶۵٫۶ بود و هیچ مدلی در همه ابعاد اول نبود. برنامه‌ریزی برای همه مدل‌ها ضعیف‌ترین بُعد بود و حداکثر به ۳۰٫۸۹ رسید. نویسندگان امکان تعریف حداقل لازم برای ایمنی و به‌کارگیری ابزار را هم فراهم کرده‌اند تا جلوی انتشار را مستقل از امتیاز کلی بگیرد؛ به این ترتیب یک میانگین نمی‌تواند افتی مهم را پنهان کند.

بانک‌ها در عمل ایجنت‌های هوش مصنوعی را چطور ارزیابی می‌کنند

دو اعلامیه مهر ۱۴۰۵ نشان می‌دهد ارزیابی منضبط درون یک بانک چه شکلی دارد.

Santander در ۲۷ مهر ۱۴۰۵ اعلام کرد آزمایشگاه هوش مصنوعی‌اش با همکاری NVIDIA سامانه Model Arena را ساخته تا مدل‌های با وزن باز را روی وظایف بانکی ارزیابی کند و برای هر بار کاری مدل مناسب را برگزیند، و آن را برای طراحی، شبیه‌سازی، ارزیابی و نظارت بر ایجنت‌های بانکی، از جمله آزمون خصمانه هوش مصنوعی گفت‌وگومحور در محیط‌های کنترل‌شده، توسعه می‌دهد. این بانک با حرکت از مدل‌های بزرگ عمومی به سمت مدل‌های کوچک‌تر و تخصصی، در برخی موارد آزمایشی هزینه ارائه هر تعامل را از حدود ۵ یورو به حدود ۰٫۰۳ یورو کاهش داده و در یک مورد آزمایشی خدمات مشتری، کیفیت گفت‌وگو را بهتر کرده و هزینه را بیش از ۵۰٪ پایین آورده است.

TD Bank U.S. در ۳۰ مهر ۱۴۰۵ قابلیت Credit Assist را معرفی کرد؛ یک سامانه چندایجنتی که پیش‌نویس مستند شش بخش از گزارش اعتباری را به‌جای حداکثر سه روز کاری در کمتر از ۳۰ دقیقه آماده می‌کند. این قابلیت پیش از معرفی روی ۲۲۰ پرونده منتخب و با مشارکت بیش از ۷۰ متخصص حوزه آزموده شد و ۹۵٪ خروجی‌های ارزیابی‌شده از بازبینی متخصصان موضوعی گذشت. مسئولیت توصیه‌های اعتباری و تصمیم نهایی همچنان با کارشناسان اعتباری است.

هیچ‌یک از این دو بانک به جدول رتبه‌بندی عمومی تکیه نمی‌کند. هر دو روی وظایف خودشان، با متخصصان خودشان و بر اساس استانداردهای خودشان ارزیابی می‌کنند و هر دو انسان را پاسخ‌گوی تصمیم نگه می‌دارند.

راهنمای ارزیابی ایجنت هوش مصنوعی برای مدیران فناوری

وقتی تیمی یا فروشنده‌ای ایجنتی پیشنهاد می‌کند، اکنون این پرسش‌ها را مطرح می‌کنم:

۱. سامانه‌ای را ارزیابی کنید که مستقر می‌کنید. دقیقاً همان مدل، داربست، ابزارها و پرامپت‌هایی را بیازمایید که در محیط عملیاتی اجرا می‌شوند. رتبه یک مدل در جدول عمومی درباره پیکربندی شما چیز زیادی نمی‌گوید.

۲. بنچمارک را از کار خودتان بسازید. پرونده‌های واقعی را گزینش کنید، همان‌طور که TD با ۲۲۰ پرونده کرد، و بگذارید متخصصان حوزه معیار «خوب» را تعریف کنند. داده مصنوعی برای حفظ حریم خصوصی اشکالی ندارد؛ وظیفه ساختگی دارد.

۳. اقدام را بسنجید، نه فقط متن را. وضعیت سامانه را پس از اجرا ارزیابی کنید: آیا پرداخت ایجاد شد، تیکت به‌روز شد، سفارش ثبت شد؟ نتایج استنفورد نشان می‌دهد ایجنت‌ها اقدام درست را توصیف می‌کنند بی‌آنکه انجامش دهند.

۴. نتیجه کل گردش کار و نتیجه هر گام را جدا بسنجید. امتیاز بالای زیروظیفه‌ها می‌تواند با تکمیل پایین کل گردش کار همراه باشد. هر دو را، به‌علاوه پیشرفت جزئی در کارهای طولانی، دنبال کنید.

۵. ثبات را بسنجید. سناریوهای مهم را چند بار اجرا کنید. وظیفه‌ای که یک بار از سه اجرا حل می‌شود، قابلیتی نیست که بتوان جلوی مشتری گذاشت.

۶. به «تمام شد» بدون راستی‌آزمایی اعتماد نکنید. میان ادعای تکمیل ایجنت و هر اقدام برگشت‌ناپذیر، یک بررسی مستقل بگذارید.

۷. برای ایمنی و به‌کارگیری ابزار حداقل تعیین کنید. مانند دروازه‌های انتشار EGI-Bench، یک میانگین قوی نباید بُعدی ضعیف مثل خودداری از پاسخ یا رعایت سیاست‌ها را پنهان کند.

۸. هزینه هر وظیفه تکمیل‌شده را بسنجید. اجراهای ناموفق را هم حساب کنید. نتایج Santander نشان می‌دهد مدل‌های کوچک‌تر و تخصصی می‌توانند اقتصاد کار را کاملاً تغییر دهند.

این بررسی‌ها بر پایه اصول مهندسی‌ای است که در مقاله ایجنت هوش مصنوعی در عمل شرح داده‌ام: ابزارهای محدود، حفاظ‌های قطعی و آزمون مسیر. وقتی ایجنت‌ها پول جابه‌جا می‌کنند، ارزیابی بخشی از مجوزدهی می‌شود؛ در مقاله پرداخت با ایجنت هوش مصنوعی در ۲۰۲۶ بررسی کرده‌ام بانک‌ها و شبکه‌های کارت چطور تعیین می‌کنند یک ایجنت اجازه انجام چه کاری را دارد. و اگر هدف، مدل‌های تخصصی است، مقاله راه‌اندازی LLM روی سرور شخصی ملاحظات اجرا و هزینه را توضیح می‌دهد.

سخن پایانی

مفیدترین پژوهش هوش مصنوعی این ماه از مدلی بزرگ‌تر خبر نداد. نشان داد ابزارهای سنجش ما برای ایجنت‌ها هنوز نابالغ‌اند: امتیازها به داربست وابسته‌اند، ارزیابی قبول/رد پیشرفت را پنهان می‌کند و پیام‌های مطمئن «تمام شد» اغلب نادرست‌اند. برای مدیران فناوری این در واقع خبر خوبی است. سازمان‌هایی که انضباط ارزیابی خودشان را می‌سازند، روی وظایف خودشان، با متخصصان خودشان و با دروازه‌های انتشار روشن، ایجنت‌ها را سریع‌تر و ایمن‌تر از کسانی مستقر می‌کنند که منتظر جدول رتبه‌بندی بعدی‌اند.

منابع

• Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard، M. Hardy، R. Azam، A. Reuel، M. Kochenderfer، S. Koyejo (دانشگاه استنفورد، دانشگاه ایلینوی اربانا-شمپین)، arXiv:2610.00651، مهر ۱۴۰۵
• Measuring What Medical AI Can Actually Do، Stanford HAI، ۲۷ مهر ۱۴۰۵
• Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress، Z. Li، Z. Li، Y. Shi و همکاران (Tencent، دانشگاه مریلند، دانشگاه کارنگی ملون و دیگران)، arXiv:2610.14146، ۱۷ مهر ۱۴۰۵
• EGI-Bench: An Enterprise General Intelligence Benchmark Suite، Z. Liu، Z. Lan و همکاران (Salesforce AI Research)، arXiv:2610.27234، مهر–آبان ۱۴۰۵
• Santander builds AI capabilities that improve performance and lower costs using NVIDIA AI infrastructure، Banco Santander، ۲۷ مهر ۱۴۰۵
• TD Launches Credit Assist, Turning Days of Commercial Credit Work into Minutes، TD Bank U.S.، ۳۰ مهر ۱۴۰۵