مدل‌های جهانی تمایزی برای نمایندگان وب

عنوان: مدل‌های جهانی تمایزدهنده (WM) برای عوامل وب نویسندگان: Kelvin Li, Dhruv Pendharkar, Anish Pahilajani, Chuyi Shang, Leon Oks, Leonid Karlinsky, Rogerio Feris, Trevor Darrell, Roei Herzig چکیده: عوامل وب اخیراً از مدل‌های جهانی برای انتخاب عمل در زمان آزمون استفاده می‌کنند؛ بدین صورت که اقدامات کاندیدا را نمونه‌برداری کرده، وضعیت‌های وب حاصل را پیش‌بینی می‌کنند و سپس آن‌ها را با استفاده از یک مدل رتبه‌بندی یا یک مدل پاداش فرآیندی (PRM) ارزیابی می‌نمایند. این مدل‌های جهانی عموماً از طریق پیش‌بینی نظارت‌شده‌ی حالت بعدی بر روی نمایش‌های ثابت مانند اسنپ‌شات‌های HTML یا AXTree آموزش می‌بینند. با این حال، این تابع هدف با رتبه‌بندی downstream ناهمخوان است، زیرا آنچه برای امتیازدهی دقیق به آن‌ها نیاز است این است که وضعیت‌های پیش‌بینی‌شده بین کاندیداها تمایزپذیر باشند. برای رفع این مشکل، ما تابع هدف پیش‌بینی حالت تطبیقی را معرفی می‌کنیم؛ در این تابع هدف، نمایش پیش‌بینی‌شده باید حالت واقعی حاصل را از حالت‌هایی که توسط اقدامات جایگزین ایجاد می‌شوند، متمایز کند. ما این مدل‌ها را با استفاده از یک مجموعه داده عامل وب شاخه‌ای که از مسیرهای Go-Browse وب‌آرنا استخراج شده، آموزش می‌دهیم؛ در این مجموعه داده، هر نقطه تصمیم شامل چندین اقدام جایگزین و وضعیت‌های حاصل آن‌ها است. آزمایش‌ها بر روی معیار تطبیقی پیش‌بینی حالت ما نشان می‌دهد که رویکرد ما نسبت به مدل‌های جهانی که با پیش‌بینی نظارت‌شده‌ی حالت بعدی آموزش دیده‌اند، برتری دارد. همچنین نشان می‌دهیم که رویکرد ما رتبه‌بندی عمل به سبک PRM را بر روی WebPRMBench بهبود می‌بخشد، در مقایسه با PRMهای صرفاً عمل‌محور و PRMهایی که با مدل‌های جهانی پیش‌بینی نظارت‌شده‌ی حالت بعدی تقویت شده‌اند. در نهایت، در WebArena-Lite، استفاده از مدل جهانی ما برای انتخاب عمل در زمان آزمون، موفقیت سراسری وظیفه را افزایش می‌دهد. صفحه پروژه ما در دسترس است: this https URL موضوعات: هوش مصنوعی (cs.AI); یادگیری ماشین (cs.LG) نحوه استناد: arXiv:2609.02885 [cs.AI] (یا arXiv:2609.02885v1 [cs.AI] برای این نسخه) https://doi.org/10.48550/arXiv.2609.02885