همکاری اپل و انویدیا در فناوری؛ سرعت ۲.۷ برابر استنتاج مدلهای زبانی, اپل و انویدیا با همکاری تازه خود در زمینه فناوری، یک رویکرد پیشرفته برای تسریع استنتاج مدلهای زبانی بزرگ (LLM) را ارائه دادهاند. این فناوری که در نوامبر ۲۰۲۴ توسط اپل معرفی شد، با استفاده از روش ré، جستجوی پرتویی و دقت پویای درخت، به بهبود بارگذاری توکنهای خودکار میپردازد.
هدف اصلی این همکاری، رفع چالشهای محاسباتی موجود در تولید توکنهای خودکار است که تاکنون منجر به افت کارایی و افزایش تاخیر در برنامههای مبتنی بر LLM شده است. بر اساس تستهای انجامشده توسط اپل، فناوری توانسته است تا ۲.۷ برابر توکن بیشتری در ثانیه نسبت به روشهای سنتی ارائه دهد.
اجازه میدهد تا به سرعت و کارایی بیشتری روی پردازندههای گرافیکی NVIDIA اجرا شوند.
انویدیا نیز برای بهینهسازی، عملگرهای جدیدی را در چارچوب معرفی کرده و عملگرهای موجود را بهروز کرده است. این تغییرات بهطور خاص برای بهبود عملکرد م انجام شدهاند و به توسعهدهندگان امکان میدهند تا مدلهای بزرگمقیاس را با بهینهسازی کارایی بالاتر اجرا کنند.
در čém لحظه، این فناوری برای عموم دسترسپذیر است و میتوان آن را در پروژههای مختلف هوش مصنوعی به کار برد..apple المؤمن است که نه تنها سرعت استنتاج را افزایش میدهد، بلکه بهتبع ö تاخیر برای کاربران نیز منجر میشود.
میآید.
اگرچه تمرکز فعلی همکاری بر روی پلتفرمهای NVIDIA متمرکز شده، اما هر دو شرکت تأکید دارند که در آینده امکان انتقال این به سختافزارهای رقابتی مانند AMD یا نیز وجود دارد. این انعطافپذیری میتواند بهوسیله ‘ و بهروزرسانیهای تضمین شود. در نهایت، هدف این است که vš Vý čipů สามารถ hưở کنند از مزایای فناوری بدون وابستگی به یک خاص.
انور لئون، از مسؤلین انویدیا، در خصوص این همکاری گفت این همکاری نه تنها را تقویت میکند، بلکه به جامعه LLM امکان میدهد مدلهای پیچیدهتری را بسازد و بهراحتی در این پلتفرم مستقر نماید.
ما امیدواریم نسل بعدی مدلهای زبانی بزرگ از این پیشرفتها بهره ببرند و بهس نوآوریهای دست یابند. این اظهارات نشان میدهد که طویلالمدى این همکاری شامل ایجاد یک بومان هوشمندکثر béné است که نه تنها به دو شرکت، بلکه به کل هوش مصنوعی خدمت خواهد کرد.
