چکیده
فرضیه «Neural Thickets» بیان می‌کند که مدل‌های زبانی پیش‌آموزش‌شده در مناطق متراکم از فضای وزن، متخصصان خاص وظیفه‌ای را در بر دارند که اختلالات گوسی تصادفی می‌توانند آنها را فاش کنند. ما بهبودهای گزارش‌شده را بازتولید می‌کنیم، اما نشان می‌دهیم که این بهبودها به توضیح هندسی‌ای نیاز ندارند. اختلال تنها در یک بلوک انکودر بخش زیادی از این بهبود را بازیابی می‌کند، در حالی که مدل را کاملاً ثابت نگه می‌داریم و یک لوگیت تصادفی به خروجی‌های آن اضافه می‌کنیم؛ این رویکرد در اکثر وظایف استدلال، با اختلالات کامل وزن مطابقت دارد یا از آن بهتر عمل می‌کند. این موضوع نشان‌دهنده یک توضیح جایگزین مبتنی بر تنوع خروجی، انتخاب مبتنی بر اعتبارسنجی و رای‌گیری است. ما این دیدگاه را به عنوان Perturb-Select-Vote (PSV) رسمی می‌سازیم، یک روش کلی که پیش‌بینی‌کننده‌های اختلال‌زده را تولید می‌کند، اعضای با عملکرد بالا را در یک مجموعه اعتبارسنجی کوچک انتخاب می‌کند و پیش‌بینی‌های آنها را جمع‌آوری می‌کند. این تفسیر، Neural Thickets را به روش‌های استنتاجی موجود، از جمله نمونه‌برداری، خودسازگاری و انتخاب راهنمایی‌شده توسط تأییدکننده، مرتبط می‌کند. یک تحلیل درجه اول نیز نشان می‌دهد که اختلالات کوچک وزن عمدتاً از طریق تغییرات لوگیت تأثیر می‌گذارند. ما این تحلیل را به حوزه بینایی گسترش می‌دهیم، جایی که PSV لوگیت به طور قابل توجهی عملکرد را در شرایط تغییر دامنه، از جمله در مشاهده زمین، بهبود می‌بخشد، در حالی که اختلالات کامل وزن مزایای اضافی کمی ارائه می‌دهند. در مجموع، این نتایج نشان می‌دهند که بهبودهایی که به متخصصان نزدیک در فضای وزن نسبت داده می‌شوند، می‌توانند از طریق تنوع خروجی، انتخاب و رای‌گیری به دست آیند. PSV لوگیت این مزایا را با یک مدل کاملاً ثابت به دست می‌آورد و یک جایگزین ساده و بدون نیاز به آموزش برای مجموعه‌های اختلال‌زده کامل وزن در زبان و بینایی ارائه می‌دهد.