با تمرکز صنعت هوش مصنوعی بر شفافیت و امنیت، بحث‌ها پیرامون مفهوم واقعی «متن‌باز بودن» شدت گرفته است. کارشناسان شرکت Endor Labs، که در حوزه امنیت متن‌باز فعالیت می‌کند، دیدگاه خود را درباره این مسائل مهم ارائه کرده‌اند.
آیا درس‌های امنیت نرم‌افزار می‌توانند به هوش مصنوعی کمک کنند؟
اندرو استیفل، مدیر ارشد بازاریابی محصولات در Endor Labs، بر اهمیت استفاده از تجربه‌های امنیت نرم‌افزار در توسعه سیستم‌های هوش مصنوعی تأکید کرد.
او به فرمان اجرایی دولت آمریکا در سال ۲۰۲۱ اشاره کرد که سازمان‌ها را ملزم می‌کند تا برای محصولات فروخته‌شده به نهادهای دولتی، صورتحسابی از اجزای نرم‌افزاری (SBOM) تهیه کنند.
SBOM فهرستی از اجزای متن‌باز موجود در یک محصول را ارائه می‌دهد و به شناسایی آسیب‌پذیری‌ها کمک می‌کند. استیفل استدلال می‌کند که “به‌کارگیری این اصول در سیستم‌های هوش مصنوعی گام منطقی بعدی است.”
او توضیح داد:
“شفافیت بیشتر برای شهروندان و کارکنان دولت نه‌تنها امنیت را بهبود می‌بخشد، بلکه دید کاملی از داده‌های آموزشی، وزن‌ها و دیگر اجزای مدل‌های هوش مصنوعی ارائه می‌دهد.”
معنای واقعی «متن‌باز بودن» در هوش مصنوعی چیست؟
جولین سوبریه، مدیر ارشد محصولات در Endor Labs، به بحث درباره شفافیت هوش مصنوعی و «متن‌باز بودن» پرداخت. او اشاره کرد که تعریف یک مدل هوش مصنوعی به‌عنوان «متن‌باز» پیچیدگی‌های زیادی دارد.
“یک مدل هوش مصنوعی از اجزای مختلفی تشکیل شده است: مجموعه داده‌های آموزشی، وزن‌ها، برنامه‌های آموزشی و آزمایشی و غیره. برای اینکه یک مدل واقعاً «متن‌باز» تلقی شود، همه این اجزا باید در دسترس باشند.”
سوبریه به نبود یک تعریف یکسان و استاندارد در میان شرکت‌های بزرگ اشاره کرد که باعث ابهام در مفهوم متن‌باز بودن شده است.
“اولین بحث‌ها درباره تعریف «متن‌باز» با OpenAI شروع شد. اکنون متا نیز با مدل LLAMA در مرکز توجه قرار دارد، اگرچه نسبت به سایر مدل‌ها «متن‌بازتر» است. ما نیاز به یک تعریف مشترک برای مدل‌های متن‌باز داریم و باید مراقب «ظاهرسازی متن‌باز» باشیم، همان‌طور که در گذشته بین نرم‌افزارهای «رایگان» و «متن‌باز» شاهد آن بودیم.”
خطر «ظاهرسازی متن‌باز» در هوش مصنوعی
یکی از چالش‌های مهم در این زمینه، روندی است که سوبریه آن را «ظاهرسازی متن‌باز» می‌نامد، یعنی سازمان‌هایی که ادعای شفافیت دارند اما در عمل محدودیت‌هایی اعمال می‌کنند.
“بسیاری از ارائه‌دهندگان خدمات ابری، نسخه‌های پولی از پروژه‌های متن‌باز (مانند پایگاه‌های داده) را بدون مشارکت در توسعه آن‌ها ارائه می‌کنند. این باعث شده است که بسیاری از پروژه‌های متن‌باز تغییر مسیر دهند: کد منبع هنوز باز است، اما محدودیت‌های تجاری جدیدی به آن اضافه شده است.”
او هشدار داد که “متا و سایر شرکت‌های ارائه‌دهنده مدل‌های «متن‌باز» ممکن است همین مسیر را دنبال کنند: شفافیت بیشتر درباره مدل‌ها، اما اعمال محدودیت برای رقبا در استفاده از آن‌ها.”
DeepSeek و تلاش برای افزایش شفافیت در هوش مصنوعی
یکی از شرکت‌هایی که در مسیر افزایش شفافیت در هوش مصنوعی گام برداشته، DeepSeek است. این شرکت، که یکی از بازیگران نوظهور و بحث‌برانگیز این صنعت محسوب می‌شود، بخش‌هایی از مدل‌ها و کد خود را متن‌باز کرده است.
استیفل توضیح داد:
“DeepSeek قبلاً مدل‌ها و وزن‌های خود را به‌صورت متن‌باز منتشر کرده است. این گام بعدی، شفافیت بیشتری در مورد سرویس‌های میزبانی آن‌ها ارائه می‌دهد و نشان می‌دهد که چگونه این مدل‌ها را در محیط عملیاتی خود تنظیم و اجرا می‌کنند.”
وی افزود:
“این کار نه‌تنها امکان بررسی امنیت سیستم‌های آن‌ها را فراهم می‌کند، بلکه به سازمان‌ها و افراد اجازه می‌دهد نسخه‌های اختصاصی خود را اجرا کنند.”
علاوه بر امنیت، DeepSeek راهی برای مدیریت زیرساخت‌های هوش مصنوعی در مقیاس وسیع ارائه می‌دهد.
محبوبیت فزاینده هوش مصنوعی متن‌باز
گزارش IDC نشان می‌دهد که ۶۰٪ از سازمان‌ها مدل‌های هوش مصنوعی متن‌باز را به جای مدل‌های تجاری برای پروژه‌های هوش مصنوعی مولد (GenAI) خود انتخاب می‌کنند.
تحقیقات Endor Labs نیز نشان می‌دهد که سازمان‌ها به‌طور متوسط بین ۷ تا ۲۱ مدل متن‌باز را در هر برنامه استفاده می‌کنند که دلیل آن بهینه‌سازی هزینه API و انتخاب بهترین مدل برای هر وظیفه خاص است.
“تا ۷ فوریه، Endor Labs کشف کرد که بیش از ۳,۵۰۰ مدل جدید بر اساس مدل اصلی DeepSeek R1 آموزش داده یا تقطیر شده‌اند. این نشان‌دهنده رشد پرانرژی جامعه هوش مصنوعی متن‌باز و اهمیت درک نسب‌شناسی (Lineage) مدل‌ها و خطرات بالقوه آن‌ها برای تیم‌های امنیتی است.”
سوبریه تأکید کرد که سازمان‌ها باید مدل‌های هوش مصنوعی را مانند سایر وابستگی‌های مهم نرم‌افزاری در نظر بگیرند:
“شرکت‌ها باید اطمینان حاصل کنند که این مدل‌ها نه‌تنها از نظر قانونی مجاز به استفاده هستند، بلکه از نظر امنیتی، عملیاتی و زنجیره تأمین نیز ایمن هستند، دقیقاً مانند کتابخانه‌های متن‌باز.”
چگونه می‌توان ریسک مدل‌های هوش مصنوعی را مدیریت کرد؟
با رشد استفاده از هوش مصنوعی متن‌باز، مدیریت ریسک اهمیت بیشتری پیدا می‌کند. استیفل یک رویکرد سه مرحله‌ای برای این کار پیشنهاد می‌کند:
- کشف: شناسایی مدل‌های هوش مصنوعی مورد استفاده در سازمان
- ارزیابی: بررسی مدل‌ها از نظر ریسک‌های امنیتی و عملیاتی
- پاسخ: ایجاد و اعمال سیاست‌های ایمن برای پذیرش مدل‌ها
“چالش اصلی، یافتن تعادل میان نوآوری و مدیریت ریسک است. ما باید به تیم‌های مهندسی نرم‌افزار آزادی عمل بدهیم، اما در عین حال، تیم‌های امنیتی باید دید کامل و ابزارهای لازم برای مداخله را داشته باشند.”
فراتر از شفافیت: ایجاد آینده‌ای مسئولانه برای هوش مصنوعی
برای رشد مسئولانه هوش مصنوعی، صنعت باید کنترل‌هایی در چندین سطح اعمال کند:
- مدل‌های SaaS: اطمینان از استفاده امن کارکنان از مدل‌های ابری-
- یکپارچه‌سازی API: مدیریت استفاده از APIهای شخص ثالث مانند DeepSeek
- مدل‌های متن‌باز: اطمینان از استفاده قانونی و ایمن از مدل‌های توسعه‌یافته توسط جامعه
سوبریه هشدار داد:
“جامعه هوش مصنوعی باید بهترین روش‌ها را برای توسعه مدل‌های ایمن و متن‌باز ایجاد کند و یک متدولوژی مشخص برای ارزیابی آن‌ها از نظر امنیت، کیفیت، ریسک‌های عملیاتی و شفافیت تدوین کند.”
استیفل در پایان گفت:
“باید امنیت را در تمام ابعاد در نظر گرفت و کنترل‌های مناسب را برای هر بخش اعمال کرد.”
منبع: اخبار هوش مصنوعی
