ریشه یابی خطای زیرساخت داده OpenAI ؛ کشف باگ ۱۸ ساله در هسته ChatGPT

تیم تحریریه استاد آی تی گزارش می دهد: شرکت پیشرو OpenAI در یکی از جدیدترین گزارشهای فنی خود، پرده از روند حل یک چالش بسیار بزرگ و پیچیده در سیستمهای خود برداشته است که به اختلال در عملکرد ابزارهای جستجوی ChatGPT منجر می شد.

این مشکل که در نگاه اول شبیه به یک نقص امنیتی یا خطای کدنویسی ساده به نظر می رسید، در نهایت به عنوان یک خطای زیرساخت داده OpenAI شناسایی شد که ریشه در ساختارهای قدیمی نرم افزاری داشت. مهندسان این شرکت با به کارگیری روشهای تحلیل کلان داده موفق شدند فرآیند عیب یابی را دگرگون کنند. این دستاورد بزرگ نه تنها پایداری پلتفرمهای مبتنی بر هوش مصنوعی را ارتقا می دهد، بلکه استانداردهای جدیدی را برای مهندسی نرم افزار در عصر پردازش ابری تعریف می کند.

شرح کامل خطای زیرساخت داده OpenAI

بخش مهندسی OpenAI به رهبری نیتن برانسن اعلام کرد که چند ماه پیش، الگوهای عجیبی از کراش و توقف ناگهانی در سرویس راک ست مشاهده شد. سرویس راک ست که در سال ۲۰۲۴ توسط این شرکت تصاحب شد، به عنوان یک زیرساخت داده ای بومی ابری برای انجام پردازش های بلادرنگ و جستجو در تاریخچه مکالمات کاربران ChatGPT استفاده می شود.

این خطای زیرساخت داده OpenAI باعث می شد که توابع نوشته شده به زبان سی پلاس پلاس پس از پایان اجرای خود، به آدرس های حافظه نامعتبر یا مقدار تهی بازگردند و سیستم عامل فوراً دستور توقف برنامه را صادر کند. ابتدا تیم فنی تلاش کرد تا با بررسی تک تک فایل های موسوم به کور دامپ یا همان نسخه پشتیبان از وضعیت حافظه در لحظه وقوع خطا، مشکل را ریشه یابی کند. اما به دلیل پیچیدگی بالای ساختار کدها، فرضیات اولیه یکی پس از دیگری رد شدند و تیم مهندسی در یک بن بست فنی طولانی مدت قرار گرفت.

معرفی GeneBench-Pro توسط OpenAI؛ تحولی در هوش مصنوعی و بیولوژی محاسباتی

تیم تحریریه برای درک عمیق تر این پدیده، کدهای کامپایل شده را با جزییات بیشتری مورد واکاوی قرار داد. مهندسان متوجه شدند که ثبات پردازنده مرکزی یا همان ایندکس اشاره گر پشته حافظه در برخی مواقع به اندازه هشت بایت جابجا می شود. این انحراف ناچیز اما مخرب، ساختار بازگشت توابع را به طور کامل از بین می برد و مانع از ادامه فعالیت عادی برنامه می شد. هیچ کدام از ابزارهای استاندارد مانیتورینگ سیستم قادر به شناسایی مبدا این ناهنجاری پردازشی نبودند. در این مرحله بود که مدیران فنی تصمیم گرفتند استراتژی سنتی عیب یابی نرم افزاری خود را به طور کامل تغییر دهند.

قابلیت ها و ویژگی های جدید در مدیریت بحران داده

برای درک بهتر این قابلیت ها، شناخت اصطلاحات تخصصی این حوزه مانند کور دامپ که همان فایل پشتیبان از حافظه در لحظه سقوط است اهمیت دارد. اصطلاح دیگر منطقه قرمز است که محدوده ای ۱۲۸ بایتی در معماری پردازنده برای حفظ داده های موقت توابع محسوب می شود. همچنین مفهوم مسابقه داده ای به وضعیتی اطلاق می شود که توابع همزمان برای دسترسی به یک منبع مشترک با یکدیگر رقابت می کنند.

شرکت OpenAI برای خروج از بن بست عیب یابی، رویکرد خود را از حالت پزشک بالینی که روی یک بیمار تمرکز می کند، به حالت اپیدمیولوژیست تغییر داد. آنها با استفاده از ابزارهای هوش مصنوعی یک اسکریپت خودکار توسعه دادند که فایلها و پورتالهای کور دامپ یک سال گذشته را به طور کامل تحلیل و دسته بندی کرد. این خط لوله پردازشی جدید نشان داد که پدیده ای که یک باگ واحد تصور می شد، در واقع برآیند دو مشکل کاملاً مستقل از یکدیگر بوده است. این تغییر پارادایم در عیب یابی، یک ویژگی جدید و ابزار قدرتمند برای پایش سلامت سیستم های توزیع شده به شمار می رود. تحلیل کلان آماری روی هزاران مورد سقوط سرور، الگوهای پنهانی را آشکار کرد که در بررسیهای انفرادی هرگز قابل رویت نبودند.

باگ اول مربوط به یک اختلال سخت افزاری پنهان در یکی از سرورهای فیزیکی پلتفرم ابری مایکروسافت آژور بود که در آن پردازنده مرکزی محاسبات ریاضی را به درستی انجام نمی داد. این نقص سخت افزاری باعث تغییر ناگهانی در ثبات های پردازنده و در نتیجه سقوط برنامه می شد که با قرار دادن آن سرور در لیست سیاه، این بخش از مشکل به کلی برطرف شد.

باگ دوم که بسیار شگفت انگیزتر بود، به یک مسابقه داده ای ۱۸ ساله در کتابخانه متن باز معروف GNU libunwind ارتباط داشت. این کتابخانه به طور گسترده برای ردیابی پشته حافظه و مدیریت استثناها در زبان سی پلاس پلاس استفاده می شود. به دلیل استفاده شدید سرویس های OpenAI از سیگنال های زمان بندی متناوب برای محاسبه دقیق زمان پردازنده، این پنجره رقابتی تک دستوری پس از نزدیک به دو دهه فعال شد و خود را نشان داد.

اهمیت این خطای زیرساخت داده OpenAI برای کاربران

اگرچه این فرآیند پیچیده فنی کاملاً در لایه های زیرین شبکه و سرور رخ داده است، اما پایداری سرویس ها مستقیماً به آن وابسته است. کاربران نهایی سیستم های هوش مصنوعی انتظار دارند که پاسخ های خود را بدون تاخیر و به صورت کاملاً بلادرنگ دریافت کنند. حل این خطای زیرساخت داده OpenAI تضمین می کند که افزونه های افزوده شده به مدل ها و ابزارهای جستجو در میان داده های بزرگ دچار قطعی ناگهانی نشوند. بهبود این ساختار باعث افزایش ضریب اطمینان پلتفرم در کسب و کارهای بزرگی می شود که پایداری ثانیه ای پلتفرم برای آنها اهمیت حیاتی دارد. در واقع این اقدام مانع از بروز قطعی های سراسری در شبکه هوش مصنوعی و چت بات محبوب جهانی می شود.

پایداری پلتفرم های هوش مصنوعی ابزار اصلی جلب اعتماد مشتریان سازمانی در مسیر تحول دیجیتال است. وقتی یک سیستم شرکتی برای تحلیل رفتارهای بازار یا مدیریت کلان داده خود به هوش مصنوعی متصل می شود، هرگونه قطعی می تواند خسارتهای مالی سنگینی به همراه داشته باشد.

ریشه یابی این خطا نشان داد که حتی ریزترین ایرادات زیرساختی می توانند تجربه کاربری میلیون ها انسان را در سراسر جهان تحت تاثیر قرار دهند. توسعه دهندگان با رفع این باگ، بستری امن تر برای تعامل روزمره کاربران با سیستم های شناختی فراهم کردند. این امر رضایت عمومی کاربران را در بلندمدت به شدت افزایش خواهد داد.

تحلیل استاد آی تی

تحلیل عمیق این رویداد بی سابقه نشان می دهد که معماری های مدرن نرم افزاری تا چه حد به سیستم های قدیمی و متن باز وابسته هستند. کارشناسان استاد آی تی معتقدند خطای زیرساخت داده OpenAI زنگ خطری جدی برای تمام غول های فناوری است که میلیاردها دلار روی هوش مصنوعی سرمایه گذاری می کنند اما لایه های زیرساختی آنها بر دوش ابزارهای متن باز توسعه یافته در دهه های گذشته استوار است.

توسعه هوش مصنوعی مولد نیازمند پردازشهای فوق سنگین و همزمان است که پتانسیل فعال سازی باگ های خفته در سیستمهای عامل و کتابخانه های قدیمی را به شدت افزایش می دهد. شرکت ها باید بودجه های بیشتری را به بازبینی کدهای پایه سیستم های عامل اختصاص دهند تا از بروز بحران های زیرساختی مشابه جلوگیری کنند. این موضوع یک مزیت رقابتی بزرگ برای شرکت هایی ایجاد می کند که کنترل کاملی روی سخت افزار و نرم افزار اختصاصی خود دارند.

آینده بازار و چشم انداز تحول دیجیتال

صنعت پردازش ابری و فناوری های هوش مصنوعی پس از این تجربه بزرگ به سمت ابزارهای عیب یابی خودکار حرکت خواهد کرد. استفاده از مدلهای زبانی بزرگ برای نوشتن اسکریپت های تحلیل هسته سیستم به یک استاندارد رایج در مدیریت مراکز داده تبدیل خواهد شد.

پیش بینی می شود سازمانهای بزرگی مانند گارتنر فرآیندهای بازبینی کدهای متن باز را به عنوان یکی از معیارهای اصلی ارزیابی تاب آوری دیجیتال معرفی کنند. رقابت در بازار هوش مصنوعی دیگر صرفاً بر سر بزرگتر کردن اندازه مدلها نخواهد بود، بلکه بر سر کارآمدی و پایداری زیرساختهای توزیع شده جریان خواهد داشت. این تغییر جهت، موازنه قدرت را در میان ارائه دهندگان خدمات ابری تغییر می دهد.

پلتفرم های ابری در آینده نزدیک مجبور خواهند شد ابزارهای پایش سخت افزاری پیشرفته تری را برای شناسایی فساد خاموش داده ها مستقر کنند. خطاهای سخت افزاری پنهان که محاسبات را بدون ایجاد آلارم های رسمی خراب می کنند، تهدیدی جدی برای تمام فرآیندهای یادگیری ماشین هستند. شرکتهای پیشرو سرمایه گذاری های سنگینی را روی توسعه تراشه های خودمحاسبگر با قابلیت اصلاح خودکار خطا انجام خواهند داد. این روند، بازار سخت افزارهای سرور را به سمت هوشمندسازی بیشتر سوق می دهد. در نهایت، سیستم هایی برنده بازار خواهند بود که بالاترین پایداری را در شرایط پردازش سنگین ارائه دهند.

جمع بندی

اقدام موفقیت آمیز OpenAI در کشف یک باگ ۱۸ ساله با استفاده از متدولوژی اپیدمیولوژی داده ها، نقطه عطفی در مهندسی نرم افزار مدرن است. تفکیک خطای سخت افزاری آژور از خطای نرم افزاری کتابخانه محاسباتی، نشان داد که داده های کلان پتانسیل حل مبهم ترین مسائل فنی را دارند.

پایداری ChatGPT و سرویسهای مشابه پاداشی است که کاربران از این بازبینی های عمیق دریافت می کنند. صنایع تکنولوژی محور باید یاد بگیرند که نگاه کلان نگر و تحلیل جمعیتی خطاها، راهکار نهایی بقا در عصر سیستم های توزیع شده ابری است. مدیریت بهینه این بحران های فنی زیرساختی مسیر رشد پایدار فناوری را در آینده هموارتر می سازد.

منبع: Core dump epidemiology: fixing an 18-year-old bug