چکیده Test-time adaptation (TTA) aims to improve model generalizability when test data diverges from training distribution, offering the distinct advantage of not requiring access to training data and processes, especially valuable in the context of large pre-trained models. However, current TTA methods fail to address the fundamental issue: covariate shift, i.e., the decreased generalizability can be attributed to the model’s reliance on the marginal distribution of the training data, which may impair model calibration and introduce confirmation bias. To address this, we propose a novel energy-based perspective, enhancing the model’s perception of target data distributions without requiring access to training data or processes. Building on this perspective, we introduce $\textbf{T}$est-time $\textbf{E}$nergy $\textbf{A}$daptation ($\textbf{TEA}$), which transforms the trained classifier into an energy-based model and aligns the model’s distribution with the test data’s, enhancing its ability to perceive test distributions and thus improving overall generalizability. Extensive experiments across multiple tasks, benchmarks and architectures demonstrate TEA’s superior generalization performance against state-of-the-art methods. Further in-depth analyses reveal that TEA can equip the model with a comprehensive perception of test distribution, ultimately paving the way toward improved generalization and calibration.

چکیده به فارسی (ترجمه ماشینی) تطبیق زمان تست (TTA) با هدف بهبود تعمیم مدل در هنگام واگرایی داده های آزمون از توزیع آموزش ، مزیت مشخصی از عدم نیاز به دسترسی به داده ها و فرآیندهای آموزش ، به ویژه در زمینه مدل های بزرگ از پیش آموزش ارائه می دهد.با این حال ، روشهای فعلی TTA در رسیدگی به مسئله اساسی ناکام هستند: تغییر متغیر متغیر ، یعنی کاهش تعمیم پذیری را می توان به اعتماد به نفس مدل به توزیع حاشیه داده های آموزشی نسبت داد ، که ممکن است کالیبراسیون مدل را مختل کند و تعصب تأیید را معرفی کند.برای پرداختن به این موضوع ، ما یک دیدگاه جدید مبتنی بر انرژی را پیشنهاد می کنیم ، و درک مدل از توزیع داده های هدف را بدون نیاز به دسترسی به داده های آموزش یا فرآیندها ، تقویت می کنیم.با تکیه بر این دیدگاه ، ما $ textbf {t} $ est-time $ textbf {e} $ nergy $ textBf {a} $ daptation ($ textbf {چای} $) را معرفی می کنیم ، که طبقه بندی کننده آموزش دیده را به یک طبقه بندی کننده تبدیل می کندمدل مبتنی بر انرژی و توزیع مدل با داده های آزمون را تراز می کند و توانایی آن در درک توزیع های آزمون و در نتیجه بهبود کلی پذیری کلی را افزایش می دهد.آزمایش های گسترده در بین چندین کار ، معیارها و معماری ها عملکرد کلی عمومی چای را در برابر روشهای پیشرفته نشان می دهد.تجزیه و تحلیل های عمیق بیشتر نشان می دهد که چای می تواند مدل را با درک جامع از توزیع آزمون تجهیز کند ، در نهایت راه را به سمت بهبود تعمیم و کالیبراسیون هموار می کند.

دسته بندی موضوعات Machine Learning,فراگیری ماشین،

عنوان مقاله به انگلیسی TEA: Test-time Energy Adaptation

عنوان مقاله به فارسی TEA: سازگاری انرژی زمان آزمایش

لینک دانلود مقاله دانلود مقاله

نویسندگان Yige Yuan, Bingbing Xu, Liang Hou, Fei Sun, Huawei Shen, Xueqi Cheng

مشاهده بیشتر