چکیده As pretrained transformer language models continue to achieve state-of-the-art performance, the Natural Language Processing community has pushed for advances in model compression and efficient attention mechanisms to address high computational requirements and limited input sequence length. Despite these separate efforts, no investigation has been done into the intersection of these two fields. In this work, we provide an evaluation of model compression via knowledge distillation on efficient attention transformers. We provide cost-performance trade-offs for the compression of state-of-the-art efficient attention architectures and the gains made in performance in comparison to their full attention counterparts. Furthermore, we introduce a new long-context Named Entity Recognition dataset, GONERD, to train and test the performance of NER models on long sequences. We find that distilled efficient attention transformers can preserve a significant amount of original model performance, preserving up to 98.6% across short-context tasks (GLUE, SQUAD, CoNLL-2003), up to 94.6% across long-context Question-and-Answering tasks (HotpotQA, TriviaQA), and up to 98.8% on long-context Named Entity Recognition (GONERD), while decreasing inference times by up to 57.8%. We find that, for most models on most tasks, performing knowledge distillation is an effective method to yield high-performing efficient attention models with low costs.

چکیده به فارسی (ترجمه ماشینی) از آنجا که مدل های زبان ترانسفورماتور پیش ساخته به عملکرد پیشرفته ترین هنر ادامه می دهند ، جامعه پردازش زبان طبیعی به پیشرفت در فشرده سازی مدل و مکانیسم های توجه کارآمد برای پرداختن به نیازهای محاسباتی بالا و طول توالی ورودی محدود فشار آورده است.با وجود این تلاش های جداگانه ، هیچ تحقیقاتی در مورد تقاطع این دو زمینه انجام نشده است.در این کار ، ما ارزیابی فشرده سازی مدل را از طریق تقطیر دانش در ترانسفورماتورهای توجه کارآمد ارائه می دهیم.ما برای فشرده سازی معماری های توجه کارآمد و کارآمد و دستاوردهای حاصل از عملکرد در مقایسه با همتایان توجه کامل آنها ، معاملات مقرون به صرفه را ارائه می دهیم.علاوه بر این ، ما یک مجموعه جدید با نام طولانی به نام Entity Residition ، Gonerd را معرفی می کنیم تا عملکرد مدل های NER را در توالی های طولانی آموزش و آزمایش کنیم.ما می دانیم که ترانسفورماتورهای توجه کارآمد مقطر می توانند مقدار قابل توجهی از عملکرد مدل اصلی را حفظ کنند ، تا 98.6 ٪ را در کارهای کوتاه با متن حفظ کنند (چسب ، تیم ، CONLL-2003) ، تا 94.6 ٪ در مورد پرسش و پاسخ با متن طولانیوظایف (HotPotqa ، Triviaqa) و حداکثر 98.8 ٪ در متن طولانی به نام Entity Decentition (GONERD) ، در حالی که زمان استنباط را تا 57.8 ٪ کاهش می دهد.ما می دانیم که ، برای اکثر مدلها در بیشتر کارها ، انجام تقطیر دانش روشی مؤثر برای ارائه مدلهای توجه کارآمد با عملکرد بالا با هزینه های کم است.

دسته بندی موضوعات Computation and Language,Machine Learning,محاسبه و زبان ، یادگیری ماشین ،

عنوان مقاله به انگلیسی Efficient Transformer Knowledge Distillation: A Performance Review

عنوان مقاله به فارسی استخراج دانش ترانسفورماتور کارآمد: بررسی عملکرد

لینک دانلود مقاله دانلود مقاله

نویسندگان Nathan Brown, Ashton Williamson, Tahj Anderson, Logan Lawrence

مشاهده بیشتر