ثبت لوکیشن
طراحی لوگو حرفه ای
تیم تحریریه استاد آی تی گزارش می دهد: در یک تحول مهم در دنیای هوش مصنوعی موبایل، گوگل از شتاب دهنده جدیدی برای LiteRT پرده برداشت که به طور خاص برای دستگاه های اندرویدی مجهز به تراشه های اسنپدراگون کوالکام طراحی شده است. این شتاب دهنده که شتاب دهنده LiteRT Snapdragon نام دارد، با هدف بهینه سازی و افزایش چشمگیر سرعت اجرای مدل های هوش مصنوعی روی دستگاه (On-Device AI) توسعه یافته است. این اقدام گوگل نشان دهنده تمرکز فزاینده شرکت های بزرگ فناوری بر انتقال پردازش های سنگین هوش مصنوعی از فضای ابری به خود دستگاه های کاربران است.
انقلاب هوش مصنوعی روی دستگاه با QNN
شتاب دهنده جدید گوگل از Qualcomm AI Engine Direct (QNN) به عنوان جایگزینی برای TFLite QNN delegate قبلی استفاده می کند. این تغییر، یکپارچگی و ساده سازی قابل توجهی را در گردش کار توسعه دهندگان به ارمغان می آورد. QNN با ادغام طیف گسترده ای از کامپایلرها و زمان های اجرا (Runtimes) در تراشه، یک رابط برنامه نویسی کاربردی (API) ساده شده را در اختیار قرار می دهد.
چرا شتاب دهنده LiteRT Snapdragon تا این حد حیاتی است؟
تا پیش از این، اجرای بارهای کاری سنگین هوش مصنوعی روی دستگاه های موبایل اغلب به واحد پردازش گرافیکی (GPU) متکی بود. با این حال، همانطور که مهندسان نرم افزار گوگل اشاره کرده اند، تکیه صرف بر GPU می تواند گلوگاه های عملکردی ایجاد کند. به عنوان مثال، اجرای همزمان یک مدل تولید متن به تصویر و پردازش زنده فید دوربین با استفاده از یادگیری ماشین، می تواند حتی قدرتمندترین GPUهای موبایل را نیز تحت فشار قرار دهد. نتیجه این امر، تجربه کاربری ناپایدار و افت فریم های تصویری است.
قدرت نهفته در واحد پردازش عصبی (NPU)
بسیاری از دستگاه های موبایل مدرن اکنون شامل یک واحد پردازش عصبی (NPU) هستند. این واحدها شتاب دهنده های هوش مصنوعی سفارشی هستند که می توانند بارهای کاری هوش مصنوعی را با سرعت بسیار بیشتری نسبت به GPU و با مصرف انرژی کمتر اجرا کنند. شتاب دهنده LiteRT Snapdragon با هدف قرار دادن مستقیم این NPUها، به توسعه دهندگان اجازه می دهد تا از حداکثر توان سخت افزاری دستگاه استفاده کنند.
عملکرد و نتایج شگفت انگیز
گوگل برای اثبات کارایی QNN، آن را روی ۷۲ مدل یادگیری ماشین مختلف آزمایش کرد. نتایج این بنچمارک ها بسیار چشمگیر بودند و نشان دادند که ۶۴ مدل با موفقیت کامل به NPU واگذار شده اند.
| معیار عملکرد | افزایش سرعت نسبت به CPU | افزایش سرعت نسبت به GPU |
|---|---|---|
| حداکثر افزایش سرعت | تا ۱۰۰ برابر | تا ۱۰ برابر |
این جهش عملکردی به ویژه در جدیدترین تراشه پرچمدار کوالکام، یعنی Snapdragon 8 Elite Gen 5، بسیار قابل توجه است. در این تراشه، بیش از ۵۶ مدل در کمتر از ۵ میلی ثانیه روی NPU اجرا می شوند، در حالی که تنها ۱۳ مدل می توانند این سرعت را روی CPU به دست آورند. این دستاورد، امکان ارائه تجربه های هوش مصنوعی زنده را فراهم می کند که پیش از این غیرقابل دسترس بودند.
کاربرد عملی: مدل FastVLM
مهندسان گوگل برای نمایش قابلیت های این شتاب دهنده، یک اپلیکیشن مفهومی توسعه دادند. این اپلیکیشن از نسخه بهینه سازی شده مدل بینایی FastVLM-0.5B اپل استفاده می کند و می تواند صحنه زنده دوربین را تقریباً به صورت آنی تفسیر کند. روی NPU تراشه Snapdragon 8 Elite Gen 5، این اپلیکیشن به زمان اولین توکن (TTFT) تنها ۰.۱۲ ثانیه برای تصاویر ۱۰۲۴×۱۰۲۴ دست یافت. این سرعت، معادل بیش از ۱۱۰۰۰ توکن در ثانیه برای پیش پر کردن (Prefill) و بیش از ۱۰۰ توکن در ثانیه برای رمزگشایی (Decoding) است.
نظارت سوندار پیچای بر X: مدیرعامل گوگل چگونه با عرضه محصول، نظرات را می سنجد؟
کارشناسان استاد آی تی معتقدند: این سطح از بهینه سازی، که با استفاده از کوانتیزاسیون وزن ۸ بیتی (int8) و کوانتیزاسیون فعال سازی ۱۶ بیتی (int16) به دست آمده است، کلید اصلی برای فعال سازی هسته های پرسرعت NPU است. این امر نه تنها سرعت را افزایش می دهد، بلکه مصرف انرژی را نیز به شدت کاهش می دهد و عمر باتری دستگاه را حفظ می کند.
آینده هوش مصنوعی موبایل و دسترسی توسعه دهندگان
در حال حاضر، QNN تنها از زیرمجموعه محدودی از سخت افزارهای اندروید، عمدتاً دستگاه های مجهز به تراشه های Snapdragon 8 و Snapdragon 8+ پشتیبانی می کند. با این حال، گوگل قصد دارد با پشتیبانی از ۹۰ عملیات LiteRT، امکان واگذاری کامل مدل (Full Model Delegation) را فراهم کند که عامل کلیدی برای دستیابی به عملکرد بهینه است.
این شتاب دهنده همچنین شامل هسته ها و بهینه سازی های تخصصی است که عملکرد مدل های زبان بزرگ (LLM) مانند Gemma و FastLVM را تقویت می کند. این بهینه سازی ها، اجرای مدل های پیچیده هوش مصنوعی را روی دستگاه های شخصی کاربران، بدون نیاز به اتصال دائم به اینترنت یا سرورهای ابری، ممکن می سازد.
جمع بندی و چشم انداز
معرفی شتاب دهنده LiteRT Snapdragon توسط گوگل، نقطه عطفی در توسعه هوش مصنوعی موبایل است. این فناوری نه تنها سرعت پردازش را به سطحی بی سابقه می رساند، بلکه با کاهش وابستگی به GPU، تجربه کاربری روان تر و کارآمدتری را تضمین می کند. این پیشرفت ها، زمینه را برای نسل جدیدی از اپلیکیشن های هوشمند و تعاملی فراهم می سازد که می توانند به صورت لحظه ای و محلی به نیازهای کاربران پاسخ دهند.
منابع:
InfoQ – Google’s New LiteRT Accelerator Supercharges AI Workloads on Snapdragon-powered Android Devices: https://www.infoq.com/news/2025/11/litert-snapdragon-accelerator/
