arXiv:2610.40636ترجمه شده

تحقیق نمایندگی‌های حالت فضایی در مدل‌های پایه بصری

Baiqiao Yin، Zhongang Cai، Ruisi Wang، Qiwei Liang، Lei Yang، Ziwei Liu

چکیده

یک ناظر تنها بخشی از جهان اطراف خود را می‌بیند، با این حال باید از آنچه در خارج از دید فعلی قرار دارد آگاه بماند. در نتیجه، ادراک فضایی بیش از شناسایی تصاویر جداگانه است: به یک حالت فضایی پایدار نیاز دارد که تحت حرکت خود به‌روزرسانی شود و برای هدایت اقدام به کار رود. آیا مدل‌های پایه بصری نمایش‌هایی ارائه می‌دهند که از چنین حالتی پشتیبانی کنند؟ ما این سوال را از طریق چهار سطح توانایی فضایی — ساختار فضایی، پایداری اشیاء، به‌روزرسانی فضایی پیش‌بینی‌شده و قابلیت اجرا — با استفاده از سونده‌های ویژگی‌های منجمد بر ده نمایش در زیر مشاهدات egocentric streaming در محیط‌های داخلی استاتیک بررسی می‌کنیم. پروفایل‌های توانایی حاصل شده در میان وظایف، لایه‌های شبکه و طول پیشوندها متفاوت است: خواندن قوی از صحنه قابل مشاهده تضمین‌کننده پایداری دقیق اشیاء یا بازیابی ویژگی‌های آینده نیست. کنترل‌های تطبیقی دقت خواندن را از وابستگی به تاریخچه بصری و حرکت جدا می‌کنند. پیش‌بینی آینده بومی ساختار فضایی بازیابی‌پذیر را حفظ می‌کند، اما یک خواننده فضایی آموزش دیده بر ویژگی‌های واقعی بدون تغییر به ویژگی‌های پیش‌بینی‌شده منتقل نمی‌شود. در نهایت، انتخاب کاندیدا وابسته به هدف فایده قابل اعتماد اقدام پیوسته را ایجاد نمی‌کند: اقدامات پیش‌بینی‌شده به تغییرات هدف پاسخ می‌دهند، با این حال ارائه هدف صحیح تضمین‌کننده بهبود پیشرفت نیست. در میان چهار سطح، پایداری اشیاء و قابلیت اجرا بر خواندن پوز دوربین استوار است، در حالی که پیش‌بینی ویژگی بر خواندن صحنه قابل مشاهده استوار است. با هم، این یافته‌ها به ارزیابی نمایش‌های فضایی نه تنها بر اساس آنچه می‌تواند از آن‌ها رمزگشایی شود، بلکه بر اساس اینکه آیا آن اطلاعات در خارج از مشاهده حفظ شود، به صورت پیش‌بینی‌شده به‌روزرسانی شود و برای اقدام هدف‌محور به کار رود، انگیزه می‌بخشند.