رونمایی LiteRT-LM گوگل: آینده هوش مصنوعی روی دستگاه های کاربر

تیم تحریریه استاد آی تی گزارش می دهد: در تاریخ ۲۴ سپتامبر ۲۰۲۵، گوگل در وبلاگ توسعه دهندگان خود اعلام کرد که LiteRT-LM به عنوان یک فریم ورک تولیدی برای استنتاج محلی مدل های زبانی بزرگ آماده شده است.
این فریم ورک هم اکنون در محصولات گوگل مانند کروم، Chromebook Plus و ساعت هوشمند پیکسل (برای قابلیت هایی مانند پاسخ هوشمند) به کار گرفته شده است.

هدف اصلی LiteRT-LM این است که امکان اجرای مدل های ژنراتیو مانند Gemini Nano و Gemma را به صورت محلی و با تأخیر کم بر روی دستگاه فراهم کند.

چیستی LiteRT-LM و ساختار فنی آن

چه چیزی LiteRT-LM را متمایز می‌کند؟

LiteRT-LM یک فریم ورک متن باز به زبان C++ است که برای اجرای مدل های زبانی بزرگ طراحی شده است. این فریم ورک بخشی از پشته Google AI Edge محسوب میشود که شامل لایه‌ه های مختلفی از اجرای مدل ها تا رابط های سطح بالاست.

چند ویژگی کلیدی:

• چند سکویی (Cross-platform): امکان اجرا روی سیستم عامل های مختلف از جمله اندروید، لینوکس، macOS، ویندوز و رزبری پای.
• شتاب سخت‌افزاری: پشتیبانی از CPU، GPU و NPU از طریق لایه های پایین تر (LiteRT).
• معماری ماژولار: اجزای مختلف (مانند tokenizer، sampler و executor) قابل ترکیب برای ساخت خطوط استنتاج سفارشی.
• بهینه سازی حافظه و کارایی: شامل مواردی مانند Session Cloning، Copy-on-Write KV-cache، و مدیریت وضعیت بین تسک ها.

معماری Engine و Session

LiteRT-LM از دو مؤلفه اصلی در معماری خود استفاده می‌کند:

• Engine (یک بار مصرف – singleton): مدیریت منابع مشترک مانند مدل های پایه، حافظه، لود و آنلود کردن ماژول ها
• Session: نماینده هر مکالمه یا تسک، مدیریت وضعیت، تاریخچه و سفارشی سازی مربوطه (با استفاده از LoRA و سایر افزونه‌ها).

این تفکیک باعث می شود که چند قابلیت مختلف (مثلاً خلاصه سازی، سوال پاسخ، پردازش تصویر) بتوانند منابع مشترک را به طور مؤثر استفاده کنند بدون اینکه هر بار مدل کامل بارگیری شود.

کاربرد در دستگاه هایی با محدودیت سخت افزاری: Pixel Watch

در دستگاه‌ه هایی مانند ساعت هوشمند، منابع حافظه و محاسباتی محدود هستند. LiteRT-LM امکان ساخت خط استنتاجی سبک و سفارشی را فراهم کرده است تا فقط ماژول های لازم (مثل tokenizer و executor) در آن دستگاه فعال باشند، و سایر بخش ها حذف شوند.
به این ترتیب، قابلیت هایی مانند “پاسخ هوشمند (Smart Replies)” روی ساعت قابل اجرا باشند بدون فشار زیاد بر منابع دستگاه.

نمونه های کاربردی در محصولات گوگل

• Web AI در کروم: افزودن API‌ داخلی که به توسعه دهندگان وب اجازه میدهد وظایف هوشمند مانند خلاصه سازی و پردازش متن را به طور محلی اجرا کنند.
• Chromebook Plus: کمک به کاربر برای مدیریت تعداد زیادی تب، فهم متن های پیچیده و بهبود تجربه کاربری بر بستر لپ تاپ های کروم بوک.
• Pixel Watch: ویژگی هایی مثل پاسخ هوشمند به پیام ها بدون نیاز به ارسال درخواست به سرور ابری.

تحلیل: فرصت ها و چالش ها

کارشناسان ostadit معتقدند که معرفی LiteRT-LM یک نقطه عطف در مسیر هوش مصنوعی در لبه (Edge AI) به‌ه شمار می رود. با این حال، چالش هایی نیز در ادامه راه وجود دارد:

فرصت ها

1. حفظ حریم خصوصی: چون مدل ها به صورت محلی اجرا می شوند، داده کاربر از دستگاه خارج نمی شود.
2. کاهش وابستگی به اینترنت و API: با اجرای محلی، زمان پاسخ دهی کمتر و هزینه های مرتبط با API کاهش می یابد.
3. پشتیبانی از کاربردهای فرکانس بالا: مانند بررسی املا، ترجمه فوری و خلاصه سازی متن بدون نیاز به تماس مکرر با سرور.
4. مقیاس پذیری گسترده: امکان استفاده در طیف وسیعی از دستگاه ها از ساعت تا لپ تاپ.

چالش ها و ملاحظات

1. محدودیت منابع سخت افزاری: در دستگاه های کوچک، مجبور به حذف ماژول ها یا سبک سازی خط استنتاجی هستیم.
2. سازگاری سخت افزاری گسترده: باید با معماری های متنوع CPU/GPU/NPU سازگار باشد.
3. پشتیبانی و اکوسیستم مدل: مدل های مناسب برای اجرا روی دستگاه باید بهینه شده باشند (کوچک، کم‌حافظه).
4. به روزرسانی و امنیت: در محیط محلی، چالش هایی برای به روزرسانی امن مدل ها و محافظت از داده ها وجود دارد.

جمع بندی و توصیه ها

با رونمایی LiteRT-LM گوگل، گامی مهم برای آوردن هوش مصنوعی قدرتمند به دستگاه های نهایی برداشته شد. این فریم ورک نشان می دهد که اجرای مدل های زبانی بزرگ روی دستگاه های لبه ای نه تنها ممکن است، بلکه می تواند از لحاظ کارایی و حریم خصوصی مزیت بزرگی باشد.

منابع: Google Developers Blog