چکیده
In the current landscape of large models, the Transformer stands as a cornerstone, playing a pivotal role in shaping the trajectory of modern models. However, its application encounters challenges attributed to the substantial computational intricacies intrinsic to its attention mechanism. Moreover, its reliance on high-precision floating-point operations presents specific hurdles, particularly evident in computation-intensive scenarios such as edge computing environments. These environments, characterized by resource-constrained devices and a preference for lower precision, necessitate innovative solutions. To tackle the exacting data processing demands posed by edge devices, we introduce the Bitformer model, an inventive extension of the Transformer paradigm. Central to this innovation is a novel attention mechanism that adeptly replaces conventional floating-point matrix multiplication with bitwise operations. This strategic substitution yields dual advantages. Not only does it maintain the attention mechanism’s prowess in capturing intricate long-range information dependencies, but it also orchestrates a profound reduction in the computational complexity inherent in the attention operation. The transition from an $O(n^2d)$ complexity, typical of floating-point operations, to an $O(n^2T)$ complexity characterizing bitwise operations, substantiates this advantage. Notably, in this context, the parameter $T$ remains markedly smaller than the conventional dimensionality parameter $d$. The Bitformer model in essence endeavors to reconcile the indomitable requirements of modern computing landscapes with the constraints posed by edge computing scenarios. By forging this innovative path, we bridge the gap between high-performing models and resource-scarce environments, thus unveiling a promising trajectory for further advancements in the field.
چکیده به فارسی (ترجمه ماشینی)
در چشم انداز فعلی مدل های بزرگ ، ترانسفورماتور به عنوان یک سنگ بنای سنگ بنای سنگ بنای در شکل گیری مسیر مدل های مدرن نقش اساسی دارد.با این حال ، کاربرد آن با چالش های منتسب به پیچیدگی های محاسباتی قابل توجه ذاتی به مکانیسم توجه آن روبرو می شود.علاوه بر این ، اعتماد به نفس آن به عملیات شناور با دقت بالا ، موانع خاصی را نشان می دهد ، به ویژه در سناریوهای محاسباتی مانند محیط های محاسباتی لبه مشهود است.این محیط ها ، که توسط دستگاه های محدود شده از منابع و اولویت برای دقت پایین تر مشخص می شوند ، نیاز به راه حل های نوآورانه دارند.برای مقابله با تقاضای دقیق پردازش داده های مطرح شده توسط دستگاه های Edge ، ما مدل BitFormer را معرفی می کنیم ، یک گسترش مبتکر از الگوی ترانسفورماتور.اصلی برای این نوآوری یک مکانیسم توجه جدید است که به طور واضح جایگزین ضرب ماتریس نقطه شناور معمولی با عملیات بیت می شود.این تعویض استراتژیک مزایای دوگانه را به همراه دارد.نه تنها دلاوری مکانیسم توجه را در ضبط وابستگی های پیچیده اطلاعات دوربرد حفظ می کند ، بلکه کاهش عمیقی در پیچیدگی محاسباتی ذاتی در عملکرد توجه را نیز ایجاد می کند.انتقال از پیچیدگی $ O (n^2d) $ ، معمولی برای عملیات نقطه شناور ، به یک پیچیدگی $ O (n^2T) $ که عملکردهای بیت را توصیف می کند ، این مزیت را اثبات می کند.نکته قابل توجه ، در این زمینه ، پارامتر $ t $ به طور قابل توجهی کوچکتر از پارامتر ابعاد معمولی $ D $ است.مدل BitFormer در اصل تلاش می کند تا الزامات غیرقابل انکار مناظر محاسباتی مدرن را با محدودیت های ارائه شده توسط سناریوهای محاسباتی لبه آشتی دهد.با جعل این مسیر نوآورانه ، ما شکاف بین مدل های با کارایی بالا و محیط های دارای منابع را ایجاد می کنیم ، بنابراین از یک مسیر امیدوارکننده برای پیشرفت های بیشتر در این زمینه رونمایی می کنیم.
دسته بندی موضوعات
Machine Learning,Artificial Intelligence,یادگیری ماشین ، هوش مصنوعی ،
زبان مقاله
انگلیسی
عنوان مقاله به انگلیسی
Bitformer: An efficient Transformer with bitwise operation-based attention for Big Data Analytics at low-cost low-precision devices
عنوان مقاله به فارسی
Bitformer: یک ترانسفورماتور کارآمد با توجه مبتنی بر عملکرد bitwise برای تجزیه و تحلیل داده های بزرگ در دستگاه های کم هزینه با دقت کم
فرمت مقاله
PDF
نویسندگان
Gaoxiang Duan, Junkai Zhang, Xiaoying Zheng, Yongxin Zhu