Secure ai lifecycle scaled

زمان مطالعه : 8 دقیقه


امنیت هوش مصنوعی (AI Security) مجموعه کنترل‌هایی است که از داده، مدل، زیرساخت و ابزارهای متصل به سامانه‌های هوشمند در برابر دسترسی غیرمجاز، دستکاری و افشای اطلاعات محافظت می‌کند. حفاظت از سامانه‌های هوشمند فقط به کنترل پاسخ مدل محدود نیست. مسیر کامل، از جمع‌آوری داده تا اجرای تصمیم، باید در محدوده امنیت قرار بگیرد.

یک فروشگاه اینترنتی را در نظر بگیرید که دستیار پاسخ‌گوی سفارش راه می‌اندازد. شرکت نرم‌افزاری دیگری هم مدل زبانی را به اسناد داخلی خود وصل می‌کند. در هر دو حالت، سطح حمله تازه‌ای شکل می‌گیرد که ابزارهای امنیتی رایج آن را به‌طور کامل نمی‌بینند. در این راهنما می‌خوانید این سطح حمله از چه اجزایی تشکیل شده و ایمن‌سازی را از کجا باید شروع کرد.

نمای لایه‌ای سامانه هوشمند شامل داده، مدل، برنامه و ابزار با سپر حفاظتی پیرامون هر لایه
حفاظت مؤثر باید هر چهار لایه داده، مدل، برنامه و ابزار را پوشش دهد، نه فقط خروجی مدل را.

خلاصه: امنیت هوش مصنوعی یعنی حفاظت از کل سامانه هوشمند، نه فقط مدل. این حفاظت شامل کنترل دسترسی، سلامت داده آموزشی، مدیریت زنجیره تأمین مدل، ارزیابی رفتار مدل در برابر ورودی‌های مخرب و محدودکردن اختیار ابزارهای متصل است. هیچ‌یک از این کنترل‌ها به‌تنهایی کافی نیست و آن‌ها باید لایه‌به‌لایه و در کنار هم اجرا شوند.

نکات کلیدی این راهنما

  • سطح حمله سامانه هوشمند شامل داده، مدل، برنامه، زیرساخت و ابزارهای متصل است.
  • امنیت، ایمنی و هوش مصنوعی مسئولانه سه حوزه همپوشان‌اند، اما هدف یکسانی ندارند.
  • ابزارهای امنیت سنتی لازم‌اند، اما تهدیدهای اختصاصی مدل را پوشش نمی‌دهند.
  • متن کاربر، سند بازیابی‌شده و پاسخ ابزار نباید به‌تنهایی مجوز اقدام ایجاد کنند.
  • اولویت با کنترل‌هایی است که پیامد خطا را محدود می‌کنند.
  • استفاده از سرویس آماده هوش مصنوعی، مسئولیت امنیتی سازمان را حذف نمی‌کند.

امنیت هوش مصنوعی چیست و از کدام دارایی‌ها محافظت می‌کند؟

امنیت هوش مصنوعی از پنج گروه دارایی محافظت می‌کند: داده‌های آموزشی و بازیابی‌شده، وزن‌ها و تنظیمات مدل، کد و پایپ‌لاین پردازش، اعتبارنامه‌ها و APIها، و ابزارهایی که مدل اجازه فراخوانی آن‌ها را دارد. ارزش هر دارایی به پیامد افشا یا دستکاری آن بستگی دارد، نه به میزان پیچیدگی فنی‌اش.

در بسیاری از سازمان‌ها، حساس‌ترین دارایی خود مدل نیست. برای دستیاری که به سامانه حسابداری وصل است، پایگاه اسناد یا ابزار ارسال پیام اهمیت بیشتری دارد. خروجی نادرست مدل در این حالت می‌تواند به افشای سند یا اجرای یک اقدام واقعی منجر شود.

نقشه پنج دارایی سامانه هوشمند شامل داده، مدل، پایپ‌لاین، اعتبارنامه و ابزار با میزان حساسیت
حساسیت هر دارایی با پیامد افشا یا دستکاری آن سنجیده می‌شود. در دستیار متصل به ابزار، ابزار اغلب پرریسک‌ترین جزء است.

امنیت هوش مصنوعی در مرحله آموزش و بهره‌برداری چه تفاوتی دارد؟

در مرحله آموزش، تمرکز اصلی بر منشأ داده، دسترسی به پایپ‌لاین و یکپارچگی نسخه مدل است. در مرحله بهره‌برداری، ورودی‌های غیرقابل‌اعتماد، مجوز مشاهده اطلاعات، مصرف منابع و اختیار ابزارها اهمیت پیدا می‌کنند. سازمانی که مدل را آموزش نمی‌دهد و فقط از API استفاده می‌کند هم همچنان مسئول ریسک‌های مرحله بهره‌برداری است.

تفاوت امنیت، ایمنی و هوش مصنوعی مسئولانه در عمل

امنیت (Security) به حفاظت از سامانه در برابر سوءاستفاده عمدی می‌پردازد. ایمنی (Safety) جلوی آسیب ناشی از رفتار سامانه را می‌گیرد، حتی وقتی هیچ مهاجمی در کار نیست. هوش مصنوعی مسئولانه (Responsible AI) نیز بر انصاف، شفافیت و پاسخ‌گویی تمرکز دارد. جدول زیر تفاوت این سه حوزه را با پرسش اصلی و نمونه هر کدام نشان می‌دهد.

حوزهپرسش اصلینمونه مسئلهمسئول معمول
امنیتآیا سامانه در برابر سوءاستفاده محافظت می‌شود؟دسترسی غیرمجاز به اسناد از طریق ابزار متصلتیم امنیت
ایمنیآیا رفتار سامانه می‌تواند آسیب بزند؟توصیه نادرست در یک تصمیم حساستیم محصول و ارزیابی مدل
مسئولیت‌پذیریآیا استفاده از سامانه منصفانه و پاسخ‌گوست؟تبعیض در امتیازدهی یا نبود امکان اعتراضحاکمیت، حقوقی و محصول

این مرزها کاملاً جدا نیستند. افشای پرونده پزشکی هم یک رخداد امنیتی است و هم نقض حریم خصوصی. دستکاری عمدی مدل نیز می‌تواند پیامد ایمنی داشته باشد. بنابراین تقسیم مسئولیت نباید به جدایی کامل تیم‌ها منجر شود.

سه دایره همپوشان امنیت، ایمنی و هوش مصنوعی مسئولانه با ناحیه مشترک حریم خصوصی در مرکز
ناحیه مشترک این سه حوزه، جایی است که بیشترین نیاز به هماهنگی میان تیم‌ها وجود دارد.

هوش مصنوعی برای امنیت با امنیت برای هوش مصنوعی چه فرقی دارد؟

هوش مصنوعی برای امنیت یعنی استفاده از مدل‌ها برای دفاع سایبری، مثل تحلیل هشدار در مرکز عملیات امنیت. امنیت برای هوش مصنوعی یعنی حفاظت از خود سامانه‌های هوشمند. این دو مفهوم معمولاً با هم اشتباه گرفته می‌شوند، اما یک ابزار دفاعی مبتنی بر هوش مصنوعی به هر دو نیاز دارد.

برای مثال، دستیاری که ایمیل‌های مشکوک را تحلیل می‌کند، کاربرد دفاعی هوش مصنوعی است. همین دستیار ممکن است با متن گمراه‌کننده داخل یک ایمیل فریب بخورد. پس ابزار دفاعی هم باید در برابر تزریق پرامپت محافظت شود.

چرا ابزارهای امنیت سنتی برای حفاظت از مدل‌ها کافی نیستند؟

فایروال، اسکنر آسیب‌پذیری و فایروال برنامه وب (Web Application Firewall – WAF) برای حفاظت از زیرساخت، API و کد ضروری‌اند. اما بخشی از رفتار مدل از داده آموخته می‌شود و در کد دیده نمی‌شود. به همین دلیل، این ابزارها تهدیدهایی مثل مسمومیت داده یا در پشتی مدل را به‌طور کامل تشخیص نمی‌دهند.

موضوعنرم‌افزار متعارفسامانه مبتنی بر مدل
منشأ رفتارعمدتاً کد نوشته‌شدهکد همراه با الگوهای آموخته‌شده از داده
بازبینیبررسی کد و آزمون واحدبررسی کد به‌اضافه ارزیابی رفتار در ورودی‌های متنوع
جداسازی داده و دستوربا پرس‌وجوی پارامتری قابل اجراستدر مدل زبانی، دستور و داده هر دو متن‌اند و مرز قطعی ندارند
وصله خطااصلاح کد و انتشار نسخهگاهی نیازمند آموزش دوباره، تنظیم دقیق یا کنترل بیرونی

نتیجه عملی این است که مرز اعتماد (Trust Boundary) باید بیرون از مدل اجرا شود. مدل می‌تواند پیشنهاد بدهد، اما مجوز مشاهده داده و تأیید اقدام باید در لایه برنامه بررسی شوند.

مقایسه دو ستونی پوشش ابزارهای امنیت سنتی و نواحی پوشش‌داده‌نشده در سامانه مبتنی بر مدل

ابزارهای سنتی زیرساخت و کد را پوشش می‌دهند. ناحیه رفتار آموخته‌شده به ارزیابی جداگانه نیاز دارد.

تهدیدهای اصلی در چرخه حیات داده، مدل و ابزارهای متصل

تهدیدهای سامانه هوشمند را می‌توان بر اساس نقطه ورود در چرخه حیات دسته‌بندی کرد. این نقاط شامل داده، مدل، برنامه، زیرساخت و ابزارهای متصل هستند. جدول زیر برای هر لایه، تهدید نمونه و کنترل اصلی را نشان می‌دهد. هر تهدید باید با احتمال و پیامد واقعی همان کاربرد سنجیده شود.

بیشتر بخوانید  نقطه پایانی (Endpoint) و نقطه پایانی API چیست؟ اهمیت، عملکرد، امنیت و بهترین روش‌ها
لایهتهدید نمونهکنترل اصلی
دادهمسمومیت داده (Data Poisoning) و ورود اطلاعات حساسثبت منشأ، کنترل نسخه و پاک‌سازی داده
مدلدر پشتی (Backdoor)، استخراج رفتار و نشت داده آموخته‌شدهتأیید منشأ مدل، ارزیابی رفتاری و محدودکردن خروجی
برنامهتزریق پرامپت (Prompt Injection) و پردازش ناامن خروجیجداسازی ورودی غیرقابل‌اعتماد و اعتبارسنجی خروجی
زیرساختسرقت اعتبارنامه و وابستگی آسیب‌پذیرمدیریت اسرار و به‌روزرسانی وابستگی‌ها
ابزاراجرای اقدام خارج از اختیار کاربراصل حداقل دسترسی و تأیید مستقل اقدامات حساس
چرخه حیات سامانه هوشمند از داده تا ابزار با نشانگر تهدید و کنترل در هر مرحله
هر مرحله از چرخه حیات، نقطه ورود متفاوتی برای مهاجم و کنترل متفاوتی برای مدافع دارد.

کدام چارچوب‌ها برای شناخت تهدیدهای هوش مصنوعی مفیدند؟

پایگاه دانش MITRE ATLAS تاکتیک‌ها و روش‌های حمله به سامانه‌های هوشمند را برای مدل‌سازی تهدید سازمان‌دهی می‌کند. فهرست OWASP Top 10 for LLM Applications ریسک‌های رایج برنامه‌های مبتنی بر مدل زبانی را معرفی می‌کند. چارچوب NIST AI RMF نیز به مدیریت ریسک در سطح سازمان کمک می‌کند. هر سه نقطه شروع خوبی‌اند، اما جایگزین ارزیابی کاربرد واقعی سازمان نیستند.

ایمن‌سازی هوش مصنوعی از کجا شروع شود و چه هزینه‌ای دارد؟

ایمن‌سازی با فهرست‌کردن سامانه‌ها و جریان داده شروع می‌شود، نه با خرید ابزار. اولین هزینه، زمان تیم برای شناخت این است که کدام داده وارد مدل می‌شود و کدام اقدام از خروجی آن اجرا می‌شود. کنترل‌های پایه مثل حداقل دسترسی معمولاً کم‌هزینه‌تر از ابزارهای تخصصی و اثرگذارترند.

  1. همه کاربردهای هوش مصنوعی، ارائه‌دهندگان سرویس و جریان‌های داده را فهرست کنید.
  2. مشخص کنید چه داده‌ای نباید دیده شود و چه اقدامی نباید بدون تأیید اجرا شود.
  3. برای هر اتصال، مجوز حداقلی و مالک عملیاتی تعیین کنید.
  4. سناریوهای سوءاستفاده را فقط در محیط مجاز و ایزوله ارزیابی کنید.
  5. ثبت رخداد، سقف مصرف، امکان توقف اضطراری و مسیر پاسخ به رخداد ایجاد کنید.

زمان مناسب ابزار تخصصی: وقتی کنترل‌های پایه اجرا شده‌اند و تعداد کاربردها یا حساسیت داده بالاست.

زمان اشتباه: وقتی سازمان هنوز نمی‌داند چه مدل‌هایی دارد و به چه داده‌هایی وصل‌اند. گاردریل (Guardrail) احتمال برخی خطاها را کم می‌کند، اما جایگزین کنترل دسترسی نیست.

مثال عملی: ترسیم مرز اعتماد برای دستیار هوشمند یک فروشگاه اینترنتی

ترسیم مرز اعتماد یک تمرین کاغذی است که هر تیم می‌تواند همین امروز روی سامانه خودش انجام دهد. هدف آن، یافتن نقاطی است که داده از منبع کم‌اعتماد وارد بخش حساس می‌شود. فرض کنید یک فروشگاه اینترنتی ایرانی دستیاری دارد که وضعیت سفارش را پاسخ می‌دهد و درخواست مرجوعی ثبت می‌کند.

  1. ورودی‌ها را فهرست کنید: پیام مشتری، اطلاعات سفارش از پایگاه داده و متن راهنمای مرجوعی.
  2. سطح اعتماد را علامت بزنید: پیام مشتری غیرقابل‌اعتماد است. اطلاعات سفارش قابل‌اعتماد است، اما فقط برای صاحب همان سفارش.
  3. اقدام‌ها را جدا کنید: نمایش وضعیت سفارش کم‌اثر است. ثبت مرجوعی و بازپرداخت وجه حساس است.
  4. کنترل را بیرون از مدل بگذارید: شناسه مشتری از نشست ورود خوانده شود، نه از متن پیام. بازپرداخت فقط پیشنهاد شود و سامانه تراکنش مبلغ و مالکیت سفارش را بررسی کند.
  5. آزمون پذیرش بنویسید: اگر مشتری در پیام شماره سفارش فرد دیگری را بنویسد، دستیار نباید اطلاعات آن سفارش را نمایش دهد.
نمودار جریان دستیار فروشگاه اینترنتی با مرز اعتماد میان پیام مشتری، مدل و سامانه تراکنش
تصمیم بازپرداخت در سامانه تراکنش گرفته می‌شود. مدل فقط درخواست را آماده می‌کند.

اشتباهات رایج سازمان‌ها در حفاظت از سامانه‌های هوشمند

رایج‌ترین اشتباه، اتکا به دستور متنی مدل به‌جای کنترل فنی است. جمله‌ای مثل اطلاعات محرمانه را نمایش نده یک درخواست است، نه یک مرز امنیتی. اشتباهات پرتکرار دیگر در فهرست زیر آمده‌اند.

  • نگهداری کلید API یا گذرواژه در پرامپت سیستمی.
  • دادن اعتبارنامه پرقدرت به همه ابزارهای متصل برای راحتی پیاده‌سازی.
  • ثبت کامل همه گفتگوها بدون سیاست نگهداری و کنترل دسترسی به گزارش‌ها.
  • دانلود مدل از مخزن عمومی بدون بررسی منشأ و یکپارچگی فایل.
  • ارزیابی امنیت فقط یک بار و پیش از انتشار، بدون آزمون دوباره پس از تغییر مدل یا ابزار.
  • ارسال داده حساس مشتری به سرویس بیرونی بدون طبقه‌بندی داده و بررسی قرارداد پردازش.

پرسش‌های متداول درباره امنیت هوش مصنوعی

آیا فایروال برنامه وب برای حفاظت از مدل هوش مصنوعی کافی است؟


خیر. فایروال برنامه وب برای تهدیدهای متعارف مثل تزریق SQL یا درخواست‌های مخرب HTTP مفید است. اما تزریق پرامپت ظاهر متن عادی دارد و مسمومیت داده و در پشتی مدل در لایه شبکه دیده نمی‌شوند. حفاظت کامل به ارزیابی داده، رفتار مدل و اختیار ابزارها نیاز دارد.

آیا استفاده از API آماده، مسئولیت امنیت را از سازمان حذف می‌کند؟

خیر. ارائه‌دهنده سرویس مسئول امنیت مدل و زیرساخت خودش است. اما مجوز کاربران، داده‌ای که ارسال می‌شود، پردازش خروجی و ابزارهای متصل در مسئولیت سازمان مصرف‌کننده باقی می‌مانند. بیشتر رخدادهای قابل پیشگیری دقیقاً در همین بخش رخ می‌دهند.

آیا شرکت‌های کوچک هم به امنیت هوش مصنوعی نیاز دارند؟

بله، اما با دامنه متناسب. شرکت کوچکی که یک دستیار پاسخ‌گو دارد لازم نیست تیم تخصصی بسازد. فهرست داده‌های ورودی، حذف اسرار از پرامپت، محدودکردن دسترسی ابزارها و بررسی دوره‌ای گفتگوها با هزینه کم بخش بزرگی از ریسک را کاهش می‌دهد.

تزریق پرامپت با هک معمولی چه تفاوتی دارد؟

در هک متعارف، مهاجم معمولاً از نقص کد یا پیکربندی سوءاستفاده می‌کند. در تزریق پرامپت، مهاجم متنی می‌نویسد که مدل آن را دستور تلقی می‌کند. این متن ممکن است در پیام کاربر، سند یا صفحه وب پنهان باشد. به همین دلیل، کنترل اصلی محدودکردن پیامد است، نه فقط فیلتر متن.

کدام استاندارد برای مدیریت امنیت هوش مصنوعی مناسب است؟


انتخاب به هدف بستگی دارد. NIST AI RMF برای سازمان‌دهی مدیریت ریسک کاربرد دارد. ISO/IEC ۴۲۰۰۱ الزامات سیستم مدیریت هوش مصنوعی را تعریف می‌کند و MITRE ATLAS برای مدل‌سازی تهدید مفید است. این اسناد مکمل یکدیگرند و هیچ‌کدام به‌تنهایی امنیت سامانه را تضمین نمی‌کنند.

جمع‌بندی و مسیر مطالعه در متخصص شو

امنیت هوش مصنوعی با شناخت دارایی‌ها و پیامدها شروع می‌شود، نه با خرید ابزار. مرز اعتماد را بیرون از مدل اجرا کنید، اختیار ابزارها را محدود کنید و ارزیابی را پس از هر تغییر تکرار کنید. حفاظت از سامانه‌های هوشمند فرایندی مستمر است.

اقدام امروز: تمرین مرز اعتماد را روی یکی از سامانه‌های هوشمند سازمان خود اجرا کنید.

برای ادامه مسیر، در مجموعه مقالات متخصص شو مقاله یادگیری ماشین خصمانه را بخوانید. این مقاله تهدیدهای داده و مدل را با جزئیات فنی بیشتری بررسی می‌کند. مقاله امنیت مدل‌های زبانی بزرگ نیز ریسک‌های اسناد، ابزارها و دستیارهای سازمانی را توضیح می‌دهد.

منابع

  • NIST AI ۱۰۰-۱، Artificial Intelligence Risk Management Framework (AI RMF ۱.۰)
  • NIST AI ۱۰۰-۲، Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
  • OWASP Top 10 for Large Language Model Applications
  • MITRE ATLAS، Adversarial Threat Landscape for Artificial-Intelligence Systems
  • ISO/IEC ۴۲۰۰۱:۲۰۲۳، Artificial intelligence — Management system

بدون دیدگاه

دیدگاهتان را بنویسید