مدل پیشرفته اپل برای تولید متنهای طولانی با سرعت شگفتانگیز, تیم تحقیقاتی اپل با معرفی یک معماری نوین مبتنی بر دیفیوژن، راهکاری ارائه کرده که امکان ساخت متون طولانی و پیچیده را با سرعت بسیار بالا و دقت قابلتوجه فراهم میکند. بر اساس گزارشهای منتشرشده، این مدل نوین میتواند پردازش متن را تا ۱۲۸ برابر سریعتر از روشهای همرشن سنتی انجام دهد.
تفاوت بنیادین با معماریهای خودرگرسیو مدلهای رایج نظیر چتجیپیتی از نوع خودرگرسیو هستند و متن را بهصورت توکنبهتوکن و ترتیبی تولید میکنند. در این روش، هر واحد جدید با در نظر گرفتن تمام توکنهای پیشین شکل میگیرد که باعث کندی در متون طولانی میشود. مکانیزم کارکرد مدلهای دیفیوژن و فلومچینگ در مقابل، مدلهای دیفیوژن چندین توکن را بهصورت همزمان ایجاد کرده و در مراحل تکراری آنها را اصلاح میکنند تا خروجی نهایی حاصل شود.
مدل جدیدی به نام معرفی میکند.
این سیستم قادر است متون طولانی را تنها با هشت مرحله اصلاح و با سرعت بسیار بالا تولید کند، در حالی که مدلهای دیفیوژن معمولی اغلب بیش از هزار مرحله را برای رسیدن به کیفیت مشابه نیاز داشتند.
سه استراتژی کلیدی برای افزایش سرعت تحقیقکنندگان برای دستیابی به این عملکرد از سه تکنیک اصلی بهره بردهاند ابتدا مدل را طوری آموزش دادهاند که بتواند چندین مرحله اصلاح را مدیریت نماید، سپس یک مدل معلم برای انجام بهروزرسانیهای دقیقتر و گستردهتر در هر مرحله به کار گرفتهاند، و در نهایت نحوه اجرای هر مرحله را بهینه کردهاند تا مدل با گامهای کمتر و آرامش بیشتر به نتیجه برسد.
در مقایسه با مدلهای بزرگ همجنسی، در معیارهای آنتروپی و پرپلکستی (سردرگمی) نتایج قابلتوجهی ثبت کرده است. پرپلکستی کیفیت و طبیعی بودن متن را نشان میدهد؛ هرچه کمتر باشد، متن منسجمتر و دقیقتر است.
مدل با پارامترهای ۱.۷، ۱.۳ و ۰.۱۷ میلیاردی، در مقایسه با مدلهایی نظیر و که ۷ تا ۸ میلیارد پارامتر دارند، پرپلکستی پایینتر و آنتروپی پایدارتر بهدست آورده است. با توجه به عملکرد برتر و کارایی بالا، تیم تحقیقاتی تصمیم به انتشار کد و چکپوینتهای مدل گرفته است تا امکان بازتولید نتایج و تحقیقات گستردهتر فراهم شود.
متن کامل مقاله در آرکایو شامل مثالهای عملی و نمودارهایی است که مراحل اصلاح توکنها و نحوه تغییرات آنها را به تفصیل تشریح میکند.
