چکیده
مدل‌های ترانسفورمر تولیدی فضای پیکسلی معمولاً از یک توکن برای هر قطعه‌ی تصویر استفاده می‌کنند، بنابراین برای استخراج جزئیات دقیق‌تر، نیاز به توکن‌های بیشتری دارند و هزینه‌های جهانی بالا می‌رود. مشاهده می‌کنیم که جزئیات دقیق‌تر لزوماً به ارتباط جهانی بیشتری نیاز ندارند: ساختارهای پایین‌فرکانس از تبادل جهانی بهره‌مند می‌شوند، در حالی که جزئیات فرکانس بالا می‌توانند به‌صورت محلی مدل‌سازی شوند. بر پایه این درک، SpecSlot را معرفی می‌کنیم؛ یک ترانسفورمر تولیدی فضای پیکسلی با جریان تصحیح‌شده که جزئیات خروجی را از طول توالی جهانی جدا می‌کند. SpecSlot هر نقطه‌ی ارجاع فضایی را به چندین اسلات گسترش می‌دهد، به‌طوری‌که هر اسلات به یک باند جدا شده‌ی ضرایب دی‌سی‌تی اختصاص یابد؛ این امر چگالی نقطه‌ی ارجاع را از تقسیم‌بندی باندی جدا می‌کند. تنها اسلات‌های فرکانس پایین‌ترین بخش از هر نقطه‌ی ارجاع در توالی جهانی مشارکت می‌کنند، در حالی که تمام اسلات‌ها به‌صورت محلی با یکدیگر تعامل دارند. این امکان را فراهم می‌کند که مدل بتواند جزئیات باندی را افزایش دهد بدون اینکه توالی جهانی را گسترش دهد. سر فضایی به‌علاوه، یک اصلاح محلی به پیش‌بینی باندی اضافه می‌کند، در حالی که حالت تولیدی، هدف، و تابع هدف در فضای پیکسل باقی می‌مانند. در ImageNet-256، SpecSlot فیدالیتی نهایی‌اش را مشابه کنترل JiT با مصرف FLOPs مطابقت‌دار حاصل می‌کند، در حالی که سریع‌تر همگرا می‌شود. در ImageNet-512، FID آن ۲.۸۴ واحد بهتر از کنترل است با ۳.۹٪ کمترین FLOPs، و تنها ۰.۶۹ واحد FID از JiT-B/16 در ۳۸.۲٪ هزینه‌ی پایین‌تر نزدیک می‌شود. در تولید تصویر با توجه به متن، SpecSlot بر DPG-Bench را با ۱.۰۶ بهتر از JiT-B/8 می‌کند با ۴۰.۶٪ هزینه‌ی جلو پایین‌تر.
متن کامل
**علوم کامپیوتر > بینایی ماشین و تشخیص الگو arXiv:2610.40647v1 (cs) [ارائه شده در ۲۹ اکتبر ۲۰۲۶]**
**عنوان:** خواندن، تخصیص، مسیریابی: توکنی‌سازی جفتی‌شده نقش برای ترنسفورمرهای مولد در فضای پیکسل
**نویسندگان:** جیونگ‌فان یانگ، وایچن فان، هاییون دیائو، جونگ‌آنگ تسای، زی‌وی ليو
**مشاهده PDF مقاله با عنوان «خواندن، تخصیص، مسیریابی: توکنی‌سازی جفتی‌شده نقش برای ترنسفورمرهای مولد در فضای پیکسل»، نوشته جیونگ‌فان یانگ و ۴ نویسنده دیگر**
**مشاهده HTML (تجربی)**
**چکیده:**
ترنسفورمرهای مولد در فضای پیکسل معمولاً از یک توکن برای هر تکه (patch) تصویر استفاده می‌کنند، بنابراین گرفتن جزئیات دقیق‌تر نیازمند توکن‌های بیشتر است و توجه سراسری (global attention) را به‌مرور گران‌تر می‌سازد. ما مشاهده می‌کنیم که جزئیات دقیق‌تر لزوماً نیازمند ارتباطات سراسری بیشتر نیست: ساختارهای باند پایین (low-frequency) از تبادل سراسری بهره‌مند می‌شوند، در حالی که جزئیات باند بالا (high-frequency) می‌توانند به‌صورت محلی مدل‌سازی شوند. بر اساس این بینش، ما **SpecSlot** را معرفی می‌کنیم، یک ترنسفورمر جریان اصلاح‌شده (rectified-flow) در فضای پیکسل که جزئیات خروجی را از طول توالی توجه سراسری جدا می‌کند. SpecSlot هر لنگر فضایی (spatial anchor) را به چندین یuva (slot) گسترش می‌دهد، که هر کدام یک باند مجزا از ضرایب DCT را به خود اختصاص می‌دهند؛ این کار تراکم لنگر را از زیرتقسیم طیف (spectral subdivision) جدا می‌سازد. تنها یuva باند پایین‌ترین از هر لنگر در توجه سراسری مشارکت می‌کند، در حالی که تمام یuvaها به‌صورت موضعی با هم تعامل دارند. این امر به مدل اجازه می‌دهد تا جزئیات طیفی را افزایش دهد بدون اینکه توالی سراسری را بزرگ کند. یک سر فضایی (spatial head) تصحیح موضعی را به پیش‌بینی طیفی اضافه می‌کند، در حالی که حالت مولد، هدف و ضرر (loss) در فضای پیکسل باقی می‌مانند. در ImageNet-256، SpecSlot یک FID نهایی قابل مقایسه با کنترل JiT هم‌فлопس (FLOPs-matched) حاصل می‌کند در حالی که سریع‌تر همگرا می‌شود. در ImageNet-512، آن FID را به میزان ۲.۸۴ نسبت به کنترل با ۳.۹٪ فلوپ کمتر بهبود می‌بخشد، و تنها با اختلاف ۰.۶۹ FID از JiT-B/16 با ۳۸.۲٪ هزینه کمتر قرار می‌گیرد. در تولید تصویر از متن، SpecSlot بر JiT-B/8 در DPG-Bench به میزان ۱.۰۶ با ۴۰.۶٪ هزینه پیش‌رو (forward cost) کمتر برتری می‌یابد.
**نظرات:**
**موضوعات:** بینایی ماشین و تشخیص الگو (cs.CV)؛ هوش مصنوعی (cs.AI)؛ یادگیری ماشین (ML); محاسبه عصبی و تکاملی (cs.NE)
**استناد به صورت:** arXiv:2610.40647 [cs.CV] (یا arXiv:2610.40647v1 [cs.CV] برای این نسخه)
https://doi.org/10.48550/arXiv.2610.40647
**تمرکز برای کسب اطلاعات بیشتر**
DOI صادرشده توسط arXiv از طریق DataCite
**تاریخچه ارسال**
**از:** جیونگ‌فان یانگ [مشاهده ایمیل]
[v1] پنج‌شنبه، ۲۹ اکتبر ۲۰۲۶ ۱۷:۵۹:۲۱ UTC (۹،۸۵۳ KB)
**ابزارهای کتابشناسی**
**ابزارهای کتابشناسی و استناد**
**کاوشگر کتابشناسی** - تغییر وضعیت کاوشگر کتابشناسی (کاوشگر کتابشناسی چیست؟)
**مقالات مرتبط** - تغییر وضعیت مقالات مرتبط (مقالات مرتبط چیست؟)
**Litmaps** - تغییر وضعیت Litmaps (Litmaps چیست؟)
**scite.ai** - تغییر وضعیت استنادات هوشمند scite (استنادات هوشمند scite چیست؟)
**کد، داده، رسانه**
**کد، داده و رسانه مرتبط با این مقاله**
**alphaXiv** - تغییر وضعیت alphaXiv (alphaXiv چیست؟)
**لینک‌های کد** - تغییر وضعیت یابنده کد CatalyzeX برای مقالات (یابنده کد CatalyzeX چیست؟)
**DagsHub** - تغییر وضعیت DagsHub (DagsHub چیست؟)
**GotitPub** - تغییر وضعیت Gotit.pub (GotitPub چیست؟)
**Huggingface** - تغییر وضعیت Hugging Face (Huggingface چیست؟)
**ScienceCast** - تغییر وضعیت ScienceCast (W
سایت را باز کنید؟ نمونه‌ها نمونه‌ها تکثیر کنید ترکیب (What is Replicate؟) فضاها ترکیب فضاهای Hugging Face (What is Spaces؟) فضاها ترکیب TXYZ.AI (What is TXYZ.AI؟) مقالات مرتبط پیشنهاددهنده و ابزارهای جستجو لینک به گل اثر گل اثر (What are Influence Flowers؟) هسته پیشنهاددهنده ترکیب پیشنهاددهنده هسته (What is CORE؟) نویسنده محل نهاد موضوع درباره arXivLabs arXivLabs: پروژه‌های تجربی با همکاران جامعه arXivLabs چارچوبی است که اجازه می‌دهد همکاران به‌طور مستقیم در وب‌سایت ما ویژگی‌های جدید arXiv را توسعه و به اشتراک بگذارند. هر گروه یا فردی که با arXivLabs کار می‌کند، به ارزش‌های باز بودن، جامعه، برتری و حریم خصوصی داده‌های کاربران پذیرفته و قبول کرده است. arXiv متعهد به این ارزش‌ها است و فقط با شرکایی که این ارزش‌ها را احترام می‌گذارند کار می‌کند. ایده‌ای برای یک پروژه دارید که ارزش افزوده‌ای برای جامعه arXiv ایجاد می‌کند؟ درباره arXivLabs بیشتر بیاموزید. کدام نویسندگان این مقاله پیشنهاددهنده هستند؟ | غیرفعال کردن MathJax (What is MathJax؟)