امروز تصور کردن سیستم کامپیوتری مدرنی که با هوش مصنوعی یا AI بهبود نیافته باشد، دشوار است. مثلاً وقتی با دوربین گوشی هوشمند خود عکسی می‌گیرید، به‌طور متوسط بیش از بیست مدل یادگیری عمیق (DL) به کار می‌افتند که شامل تشخیص شیء تا ادراک عمیق هستند که همگی به‌طور یکپارچه به کاربر کمک می‌کنند به آن تصویر بی‌نقص برسد.
فرایندهای کسب‌و‌کار، برنامه‌های کاربردی بهره‌وری و تجربیات کاربری، همگی با استفاده از نوعی هوش مصنوعی بهبود پیدا می‌کنند و تکنولوژی‌های اندکی هستند که با چنین حجم، سرعت و دامنه‌ای رشد کرده باشند. اما AI نیز مثل هر تکنولوژی دیگری دارای ریسک‌های منحصر به خود است که شامل مسائلی امنیتی و حتی قانونی می‌باشد. در این مقاله، نگاه کوتاهی به برخی از این نگرانی‌های امنیتی خواهیم انداخت، مخصوصاً مواردی که در مورد AI مولد وجود دارند و خواهیم دید که چطور می‌توانیم سیستم‌های AI ایمن‌تر و قابل‌اطمینان‌تری بسازیم.

تمایز بین امنیت و ایمنی

سیستم‌های AI نیز مثل هر سیستم رایانه‌ای دیگری (سخت‌افزاری یا نرم‌افزاری)، می‌توانند برای اهداف مخرب مورداستفاده قرار بگیرند، مثلاً Jailbreaking، یادگیری ماشینی خصمانه، Prompt Injection و موارد دیگر. اما سیستم‌های AI یک الگوی جدید را وارد صنعت کرده‌اند که مفهوم امنیت داده‌های خروجی است. دلیل اصلی این موضوع موارد زیر است:

خروجی‌های مدل ممکن است برای کمک به اتخاذ تصمیمات مربوط به کسب‌و‌کار و کاربر و تصمیمات فنی مورداستفاده قرار بگیرند. این امر ریسک ضررهای مالی را ایجاد می‌کند و همچنین ممکن است عواقب امنیتی و قانونی داشته باشد. مثلاً کدهای ناامن زیادی در اینترنت وجود دارد، پس هر مدلی که روی اینترنت آموزش ببیند، ریسک ایجاد کدهای ناامن را به همراه خواهد داشت. اگر این کدهای ایجاد شده مستقیماً در یک پروژه‌ی نرم‌افزاری مورداستفاده قرار گیرد، ممکن است تبدیل به یک حمله‌ی زنجیره‌ی تأمین کاملاً جدید شود.

خروجی AI معمولاً بر اساس آموزش قبلی مدل تولید می‌شود و کیفیت خروجی بستگی به کیفیت داده‌های مورداستفاده در آموزش دارد. مدل‌های شناخته‌شده سعی می‌کنند هرچقدر که می‌توانند از داده‌های بیشتری استفاده کنند که معمولاً نسبت به تعداد Tokenهای مورداستفاده برای آموزش مدل اندازه‌گیری می‌شود. نظریه این است که هرچقدر از Tokenهای بیشتری استفاده شود، آموزش مدل کارآمدتر خواهد بود.

بااینکه برخی از جوانب امنیت و ایمنی AI درهم‌تنیده هستند، اکثر چارچوب‌های ایمنی به‌طور جداگانه با آن‌ها برخورد می‌کنند. استانداردهای ایمنی برای رایانه‌ها برای اکثر شرکت‌ها موضوع جدیدی هستند و ما هنوز سعی داریم به‌درستی درک‌شان کنیم.

ملاحظات ایمنی در هنگام استفاده از مدل‌های AI

به‌طور خلاصه، مدل‌های AI مولد با پیشبینی کردن واژه‌ی بعدی در یک جمله کار می‌کنند. بااینکه این مدل‌ها تکامل پیدا کرده و بسیار پیشرفته‌تر شده‌اند، هنوز هم اساساً برمبنای همین اصل کار می‌کنند. این یعنی وقتی در مورد ایمنی AI صحبت می‌کنیم، باید موارد قابل‌توجهی را مدنظر قرار دهیم.

Garbage in, garbage out

Garbage in, garbage outیک اصل بسیار مبنایی در رایانش است که می‌توان آن را با اندکی تفاوت به مدل‌های AI نیز تعمیم داد. یک مدل AI مولد در فاز آموزش، از مجموعه‌ داده‌ی به‌خصوصی «یاد می‌گیرد». معمولاً این مرحله‌ی آموزش به دو بخش تقسیم می‌شود. بخش اول فاز پیش از آموزش است که در آن پیکره‌ی بزرگی از داده (که معمولاً از اینترنت به دست می‌آید) مورداستفاده قرار می‌گیرد. بخش دوم فاز تنظیم دقیق است که در آن داده‌هایی که مخصوص هدف مدل هستند مورداستفاده قرار می‌گیرند تا مدل برای یک وظیفه‌ی متمرکزتر یا مجموعه‌ای از وظایف بهبود یابد. برخی از مدل‌ها ممکن است بیش از دو فاز را طی کنند که این بستگی به معماری و هدف مدل دارد.

توهم مدل‌ها

معمولاً مدل‌های AI را با کودکان کوچک مقایسه می‌کنند. وقتی کودکان جواب یک سؤال را نمی‌دانند معمولاً یک داستان کاملاً خیالی اما قانع‌کننده را ایجاد می‌کنند. مدل‌ها نیز خیلی به این حالت شباهت دارند، اما نتایج آن‌ها می‌تواند خطرناک‌تر و آسیب‌زننده‌تر باشد، مخصوصاً وقتی‌که مدل‌ها جواب‌هایی را ایجاد کنند که می‌توانند تأثیرات مالی، اجتماعی و امنیتی داشته باشند.

تست امنیت و بنچمارک

درحالی‌که صنعت AI هنوز در مراحل نوپای خود است، پیشنهاداتی برای استانداردهای بنچمارک ارائه‌شده است که  جالب هستند و ارزش توجه دارند:

• گروه MLCommons AI Safety اثبات مفهوم بنچمارک MLCommons AI Safety v0.5 را منتشر کرده است. این اثبات مفهوم (POC) با ارزیابی پاسخ مدل‌ها به پیام‌هایی در چندین دسته‌بندی مختلف، روی سنجش امنیت مدل‌های زبانی بزرگ یا LLMها تمرکز می‌کند.
• مؤسسه ملی فناوری و استانداردها (NIST) تحت وزارت بازرگانی ایالات‌متحده چارچوب Risk Management Framework (AI RMF 1.0) هوش مصنوعی را منتشر کرده است.  AI RMF در این مورد بحث می‌کند که چطور می‌توان ریسک‌ها را شناسایی کرده و تعدادشان را مشخص کرد و همچنین نمودها، تأثیرات و نحوه‌ی مدیریت‌شان را درک نمود.
• Trusty AI یک پروژه‌ی Open Source است که توسط Red Hat آغاز شده و کاربردش رفع مشکلات مربوط به سوگیری AI است.

ساختن سیستم‌های حفاظتی

برنامه‌های کاربردی و مدل‌های حفاظتی از روش‌های مختلفی استفاده می‌کنند تا اطمینان حاصل کنند که خروجی مدل مطابق با الزامات ایمنی و امنیت است. ابزار و پروژه‌های Open Source مختلفی وجود دارند که می‌توانند به تنظیم این سیستم‌های حفاظتی کمک کنند. اما سیستم حفاظتی فقط یک نرم‌افزار است و دارای ریسک‌ها و محدودیت‌های به‌خصوص خود خواهد بود. بر عهده‌ی سازندگان مدل است که مکانیزم‌هایی را بسازند که مضر بودن مدل‌های خود را اندازه‌گیری و بنچمارک کنند و سپس آن را وارد چرخه تولید نمایند.

دلیل اهمیت Open Source

درحالی‌که در صنعت هنوز این بحث مطرح است که چه چیزی مدل Open Source برای AI محسوب می‌شود و این مدل باید چه شکلی داشته باشد، IBM و Red Hat استانداردهای Open Source و داده‌های باز را برای مدل‌های AI پیاده‌سازی می‌کنند. این امر شامل موارد زیر است:

• مدل‌های مبنایی Granite متعلق به IBM که همراه با Red Hat Enterprise Linux (RHEL) AI ارائه می‌شوند از قبل برمبنای داده‌های باز آموزش دیده‌اند. این یعنی تمام منابع داده منتشر شده و برای بررسی در دسترس هستند. چندین تکنیک Data Scrubbing نیز روی داده‌های از پیش آموزش دیده مورداستفاده قرار می‌گیرند تا به فیلتر کردن محتوای حساس، ناامن و توهین‌آمیز قبل از اینکه وارد مدل شوند کمک شود.
• پروژه‌ی Red Hat’s InstructLab به تسهیل فاز تنظیم دقیق آموزش مدل کمک می‌کند. این امر علاوه بر مسائل دیگر به کاهش مشکلات امنیتی و اخلاقی احتمالی در خروجی مدل کمک می‌کند. مقدار قابل‌توجهی از پژوهش‌های اخیر از این نظریه پشتیبانی می‌کنند.

سیستم‌های هوش مصنوعی هنوز در مراحل اولیه توسعه هستند و ضروری است که ما هم‌اکنون در مورد امنیت و ایمنی آن فکر کنیم، نه اینکه در آینده بخواهیم این ایمنی را به‌طور مجزا اضافه نماییم. همچنین باید توجه شود که در این حوزه‌ از توسعه‌ی AI سیستم‌های Open Source و سیستم‌های باز می‌توانند تفاوت عمیقی ایجاد کنند.