چکیده
ابزارهای پویای عامل به مدلهای زبانی اجازه میدهند نرمافزاری را که اجرای خود را شکل میدهد، تغییر دهند. این انعطافپذیری بار استدلالی جدیدی به همراه دارد: یک تغییر محلی در افزونه میتواند از طریق وابستگیها و فرآیند پاکسازی منتشر شود. در این مقاله، CordisBench را معرفی میکنیم؛ معیاری متشکل از ۱٬۲۰۰ پرسش برای سنجش این استدلال چرخۀ حیات. این معیار یک محیط رسمی کنترلشده را با برنامههایی ترکیب میکند که در زمان اجرای Cordis — محیطی که وابستگیهای میان مؤلفهها و پاکسازی منابع را مدیریت میکند — اجرا میشوند، و از مدلها میخواهد مؤلفههای متأثر را شناسایی کنند، حالت پس از یک ترتیب خاتمۀ مشخص را پیشبینی نمایند، تعیین کنند کدام شرایط در همۀ ترتیبها یا برخی از آنها برقرار هستند، و پیکربندیهای مجددی را برگزینند که هنگام اجرا موفق باشند. در سراسر این وظایف، سه مدل کارآمدگرا را در سطوح مختلف تلاش استدلالی با ۲، ۴، ۸، ۱۶، ۲۴ یا ۳۲ تعامل مرتبط ارزیابی کردهایم، و از امتیازدهی قطعی و مختص هر وظیفه بهره بردهایم. مدلها عموماً در سیستمهای کوچک عملکرد مطلوبی دارند، اما با افزایش تعداد تعاملات مرتبط، قابلیت اطمینان آنها کاهش مییابد؛ بهویژه در پیشبینی حالت نهایی و هنگام استدلال دربارۀ ترتیبهای خاتمه. تلاش استنتاجی اضافی، بهبودهای قابلتوجهی را برای برخی مدلها به همراه دارد. هزینه نیز قابلتوجه است: در زیرمجموعۀ ۱۶ تعاملی، مدل GPT-5.6 Luna در تلاش متوسط تقریباً ۳٬۰۰۰ توکن استدلالی به ازای هر پرسش مصرف میکند. برای این نمونههای کنترلشده، این هزینه قابلاجتناب است: یک معناشناسی مرجع متناهی مستقل، در هر مشاهده و نتیجۀ عمل مورد استفاده برای امتیازدهی، در سراسر تمام ۵۲۸ پرسش قابلاجرا، با اجرای Cordis همخوانی دارد.