همه مقاله‌ها
امنیت هوش مصنوعیایجنت هوش مصنوعیبانکداریهوش مصنوعی عاملی

دفاع در برابر تزریق پرامپت در ایجنت‌های هوش مصنوعی در ۲۰۲۶: پژوهش‌های آبان و آزمایش‌های ایجنتی BNY و جی‌پی‌مورگان برای بانک‌ها چه معنایی دارند

در همان هفته‌ای که BNY و مایکروسافت یک اوراق خزانه آمریکا را با ایجنت‌های هوش مصنوعی مذاکره کردند و جی‌پی‌مورگان و هیوندای کارت تبادل ارزی میان ایجنت‌ها را آزمودند، پژوهش‌های تازه‌ای از دانشگاه توکیو، KAIST، UCLA، انویدیا و دانشگاه کالیفرنیای جنوبی نشان دادند دفاع در برابر تزریق پرامپت تا کجا پیش رفته و هنوز چقدر راه دارد. تزریق پرامپت غیرمستقیم چیست، CapLite، SPILLWAY، MetaPI و AutoPI چه یافتند و یک راهنمای عملی برای بانک‌هایی که ایجنت هوش مصنوعی را به پول نزدیک می‌کنند.

نویسنده: یاسینه پورابراهیم · · ۱۰ دقیقه مطالعه

در ۲۶ آبان ۱۴۰۵ (۱۷ نوامبر ۲۰۲۶) BNY و مایکروسافت اعلام کردند ایجنت‌های هوش مصنوعی دو شرکت بر سر معامله یک اوراق خزانه آمریکا با یکدیگر مذاکره کرده‌اند. همان روز CNBC گزارش داد Kinexys جی‌پی‌مورگان و هیوندای کارت یک اثبات مفهوم را به پایان رسانده‌اند که در آن ایجنت هوش مصنوعی یک مشتری، بدون دخالت مستقیم انسان، یک معامله ارزی را از بانک درخواست کرده است. هر دو پروژه بر یک نکته تأکید می‌کنند: فناوری بخش آسان کار بود و کنترل‌های پیرامون ایجنت بخش دشوار آن. مهم‌ترین دلیل اهمیت این کنترل‌ها تزریق پرامپت (Prompt Injection) است؛ متنی پنهان در یک ایمیل، سند یا صفحه وب که ایجنت آن را می‌خواند و از آن پیروی می‌کند. در آبان‌ماه مجموعه‌ای از پژوهش‌های تازه هم دقیقاً روی همین مسئله منتشر شد. کنار هم گذاشتن این آزمایش‌ها و مقاله‌ها تصویر روشنی می‌دهد از اینکه دفاع مؤثر در برابر تزریق پرامپت برای بانک‌ها در ۲۰۲۶ چه شکلی دارد.

تزریق پرامپت غیرمستقیم چیست و چرا ایجنت‌ها آن را خطرناک‌تر می‌کنند

چت‌باتی که فقط به پرسش‌ها پاسخ می‌دهد ممکن است فریب بخورد و حرف نادرستی بزند. اما ایجنتی که می‌تواند ابزار فراخوانی کند ممکن است فریب بخورد و کار نادرستی انجام دهد. نویسندگان SPILLWAY این را صریح می‌گویند: ایجنت‌های ابزارمحور روی ایمیل، فایل و پرداخت عمل می‌کنند، پس دستوری که در یک صفحه وب یا سند اشتراکی پنهان شده می‌تواند ایجنت را وادار کند داده یا پول را برای مهاجم بفرستد. این همان تزریق پرامپت غیرمستقیم است: مهاجم هرگز مستقیم با ایجنت حرف نمی‌زند، بلکه دستور را در محتوایی می‌کارد که ایجنت بعداً در جریان کارش می‌خواند.

نویسندگان AutoPI در دانشگاه کالیفرنیای جنوبی وضعیت این حوزه را چنین خلاصه می‌کنند: تزریق پرامپت از نخستین ویرایش فهرست OWASP Top 10 برای برنامه‌های مدل زبانی در ۲۰۲۳ در رتبه اول بوده، مدل‌ها هنوز نمی‌توانند دستور را از داده جدا کنند و دیدگاه رو به رشدی می‌گوید این آسیب‌پذیری قابل مهار است اما احتمالاً هرگز کاملاً از بین نمی‌رود. برای بانک همین نکته آخر مهم است. پرسش این نیست که چطور مدل را مصون کنیم، بلکه این است که چطور مطمئن شویم مدلِ فریب‌خورده نمی‌تواند پول یا داده را به جایی ببرد که نباید.

پژوهش‌های آبان درباره دفاع در برابر تزریق پرامپت چه یافتند

CapLite: نگذارید مدل قواعد امنیتی خودش را بنویسد

چند دفاع قوی موجود (CaMeL، Progent، IPIGuard و DRIFT) از خود مدل ایجنت می‌خواهند یک مصنوع امنیتی بنویسد؛ مثلاً یک برنامه، یک سیاست دسترسی یا یک گراف وابستگی که سپس کد آن را اجرا می‌کند. پژوهشگرانی از دانشگاه توکیو و مؤسسه اتوماسیون آکادمی علوم چین آزمودند که آیا می‌توان به مدل‌های کوچک متن‌باز برای این کار اعتماد کرد. در ۱۵ مدل با وزن‌های باز، که ۱۳ تای آن‌ها بین ۱٫۷ تا ۱۲ میلیارد پارامتر داشتند، پاسخ منفی بود: مصنوعاتی که مدل‌ها نوشتند در Progent روی ۱۴ مدل، در IPIGuard روی ۱۳ مدل و در DRIFT روی ۱۱ مدل اجازه عبور حمله را دادند و برنامه‌های CaMeL در حداکثر ۶۸ درصد اپیزودها اجرا نشدند.

جایگزین آن‌ها، CapLite، سیاست را از شِمای ابزارها استخراج می‌کند، اقدام‌های نوشتنی را پیش از خواندن هر نتیجه ابزار تعیین می‌کند و یک اقدام نوشتنی را فقط وقتی مجاز می‌داند که هر آرگومانی که تعیین می‌کند اقدام روی چه کسی یا چه چیزی اثر می‌گذارد (گیرنده، مبلغ، حساب یا مقصد) در درخواست خود کاربر آمده باشد. در ۱۳٬۹۳۵ اپیزود حمله روی بنچمارک AgentDojo هیچ حمله‌ای موفق نشد و کارایی زیر حمله با CaMeL قابل مقایسه بود (۲۹٫۰ درصد در برابر ۲۷٫۲ درصد)، با ۱۸ درصد هزینه توکن CaMeL. بهای آن هم پیداست: وقتی مقدار لازم فقط در نتیجه یک ابزار آمده باشد، CapLite متوقف می‌شود و از کاربر تأیید می‌خواهد.

SPILLWAY: مقصد را از فیلدهای ساختاریافته بخوانید، نه از متن آزاد

SPILLWAY، کار SAINT Machines، KAIST و دانشگاه چونگ-آنگ، بر یک مشاهده ساده بنا شده است: مقصد یک اقدام را می‌توان از خروجی‌های ساختاریافته ابزارها خواند. فرستنده یک ایمیل یا حساب یک پرداخت در یک فیلد مشخص می‌آید، در حالی که دستور تزریق‌شده به شکل متن آزاد می‌رسد. SPILLWAY یک فراخوانی ابزار را فقط وقتی می‌پذیرد که هر مقدار مقصدی که در درخواست کاربر نیست، از یک ابزار فقط‌خواندنی و در یک فیلد ساختاریافته آمده باشد یا تحت یک قاعده تفویض ثابت قرار بگیرد. یک پاک‌ساز قطعی، متن‌های دستورمانند را پیش از آنکه مدل بخواند حذف و به‌عنوان شاهد نگه می‌دارد. روی سه مدل پایه، الگوی استاندارد تزریق AgentDojo هرگز اقدامی را به مقصد مهاجم منحرف نکرد و میانگین موفقیت یک مهاجم مبتنی بر یادگیری تقویتی زیر یک درصد ماند، تقریباً بدون فراخوانی اضافه مدل. نویسندگان نتیجه را «کفِ امتناع قابل ممیزی» برای مقصد اقدام‌های ایجنت می‌نامند.

MetaPI: امتیاز بنچمارک، دفاع‌ها را بهتر از واقع نشان می‌دهد

بخش ارزیابی کمتر اطمینان‌بخش است. تیمی از UCLA، انویدیا، دانشگاه کالیفرنیا برکلی و دانشگاه ملی سنگاپور ابزاری به نام MetaPI ساختند که بنچمارک‌های واقع‌گرایانه ایجنت (AppWorld، VitaBench و Terminal-Bench) را به مجموعه آزمون تزریق پرامپت با حمله‌های تطبیقی تبدیل می‌کند. آن‌ها یادآوری می‌کنند که پرکاربردترین بنچمارک تزریق، AgentDojo، تنها ۹۷ کار عادی در چهار محیط شبیه‌سازی‌شده دارد که بسیار کوچک‌تر از بنچمارک‌های امروزی ایجنت است. یافته اصلی آن‌ها: هیچ دفاع ارزیابی‌شده‌ای در شرایط واقعی و تطبیقی هم کارایی بالا و هم امنیت بالا نداشت؛ حتی دفاع‌هایی که روی AgentDojo موفقیت حمله نزدیک به صفر و کارایی تقریباً عادی گزارش می‌کنند. یکی از الگوهای شکست مستقیماً به بانکداری مربوط است: جداسازی دستور از داده، یک مقدار جعلی را نمی‌گیرد؛ مثلاً یک «اصلاحیه سابقه» یا مقصد تحویل جعلی که بدون آنکه شبیه دستور باشد آرگومان‌های یک اقدام را تغییر می‌دهد.

AutoPI: بشمارید ایجنت به چند روش می‌شکند، نه فقط چند بار

AutoPI، از دانشگاه کالیفرنیای جنوبی، یک تیم قرمز تطبیقی است که بر پایه یک طبقه‌بندی از تکنیک‌های تزریق به نام PIAtlas کار می‌کند. به جای بیشینه کردن نرخ موفقیت حمله، می‌کوشد تا جای ممکن روش‌های متفاوتی برای شکستن هدف پیدا کند. روی AgentDojo، علیه یک مدل متن‌باز در هر شش دسته طبقه‌بندی و برای بیش از ۹۰ درصد تکنیک‌ها دست‌کم یک تزریق موفق یافت، و علیه مقاوم‌ترین مدلی که آزمود ۲۰ تا ۵۰ درصد موفقیت بیشتر و ۲۵ تا ۴۰۰ درصد پوشش بیشتر در سطح دسته نسبت به تیم‌های قرمز تطبیقی اخیر به دست آورد. درس آن برای تیم امنیت این است که یک عدد واحد «نرخ موفقیت حمله» تکنیک‌های آزموده‌نشده را پنهان می‌کند.

آزمایش‌های ایجنتی BNY و جی‌پی‌مورگان درباره حفاظ‌ها چه نشان می‌دهند

دو آزمایش بانکی مثل کاربرد عملی همین اصول است.

  • BNY و مایکروسافت. پروتکل مذاکره ایجنتی BNY (ANP) شرکت‌کنندگان را احراز می‌کند و کنترل‌های BNY پیش از آنکه ایجنت‌ها در حدود مجاز خود مذاکره کنند، طرف معامله، اوراق، حجم، شرایط تسویه و قیمت‌های در دسترس را اعتبارسنجی کردند. شرایط توافق‌شده هر دو طرف به‌طور مستقل با دفتر مرکزی ANP مقایسه شد. ایجنت‌ها نمی‌توانند معامله را اجرا کنند: معامله‌گران انسانی شرایط را بررسی و تأیید کردند و ثبت معامله از طریق سامانه‌های موجود انجام شد. این فرایند سابقه‌ای از شرکت‌کنندگان، پیام‌ها، بررسی‌های کنترلی و تصمیم‌های انسانی نگه می‌دارد تا مذاکره قابل بازسازی باشد.
  • جی‌پی‌مورگان و هیوندای کارت. Kinexys ایجنت‌ها را به پارامترهای از پیش تعیین‌شده معامله محدود می‌کند و درخواست‌های خارج از حدود مجاز را خودکار رد می‌کند. وی کی تو، رئیس Kinexys Insights، به CNBC گفت: «دور ایجنت یک جعبه می‌کشید»؛ ایجنتی که تا ۵ میلیون دلار مجاز است، بالاتر از این سقف مسدود می‌شود. این گزارش به گزارش State of AI 2026 شرکت AvePoint هم اشاره می‌کند که اقدام‌های غیرمجاز ایجنت‌های خودمختار را سومین نقض امنیتی رایج مرتبط با ایجنت‌ها یافته است؛ در ۳۴٫۱ درصد شرکت‌هایی که چنین رخدادی را گزارش کرده‌اند.

در هیچ‌کدام از این دو اعلامیه، مدل مرز امنیتی نیست. مرز، کد قطعی، سقف‌ها و تأیید انسانی پیرامون مدل است؛ دقیقاً همان جایی که CapLite و SPILLWAY آن را قرار می‌دهند. استدلال مشابهی را درباره شبکه‌های کارت و بانک‌های صادرکننده در مقاله پرداخت با ایجنت هوش مصنوعی در ۲۰۲۶ مطرح کردم، و بازرسان آمریکایی هم در مؤلفه امنیت سایبری چارچوب نظارتی هوش مصنوعی OCC تزریق پرامپت و «اختیار بیش از حد» را صریحاً نام برده‌اند.

راهنمای عملی دفاع در برابر تزریق پرامپت برای بانک‌ها

  1. هر نتیجه ابزار را داده غیرقابل‌اعتماد بدانید. ایمیل، PDF، صفحه وب، پیام چت و حتی ایجنت‌های شرکت‌های دیگر می‌توانند حامل دستور باشند. این نخستین حفاظ در مقاله ایجنت هوش مصنوعی در عمل بود و پژوهش‌های تازه نشان می‌دهند چرا نمی‌توان آن را فقط به مدل سپرد.
  2. تصمیم امنیتی را در کد بگذارید، نه در مدل. به پیروی از CapLite، مجوزها را از شِمای ابزارها استخراج کنید و پرداخت، انتقال وجه یا ایمیل را فقط وقتی مجاز بدانید که گیرنده، مبلغ و مقصد از درخواست احرازشده کاربر یا یک سامانه مورد اعتماد آمده باشد.
  3. مقصد را فقط از فیلدهای ساختاریافته سامانه‌های مورد اعتماد بگیرید. به پیروی از SPILLWAY، شماره حساب باید از سامانه کور بانکی یا سابقه ذی‌نفع بیاید، نه از متن آزاد سندی که ایجنت خلاصه کرده است.
  4. دور جابه‌جایی پول یک جعبه سخت بکشید. سقف معامله، فهرست مجاز طرف‌های معامله و رد خودکار خارج از سقف، همان‌طور که Kinexys توصیف می‌کند، به‌علاوه تأیید انسانی برای هر چیز بالاتر از یک آستانه، مانند آزمایش BNY.
  5. اقدام‌های ایجنت را قابل بازسازی کنید. ورودی‌ها، فراخوانی‌های ابزار، بررسی‌های کنترلی و تصمیم‌های انسانی را ثبت کنید تا هر رخداد قابل بازپخش باشد، همان‌طور که پروتکل BNY انجام می‌دهد.
  6. تیم قرمز را برای پوشش اجرا کنید، نه فقط نرخ موفقیت. از مهاجم‌های تطبیقی استفاده کنید، بسنجید چند دسته از تکنیک‌ها موفق می‌شوند و با توجه به یافته‌های MetaPI، روی گردش‌کارهای خودتان آزمون کنید، نه با تکیه بر امتیازهای AgentDojo فروشنده.
  7. هزینه ایمنی را در بودجه ببینید. دفاع‌های قطعی گاهی متوقف می‌شوند و از انسان می‌پرسند، و ارقام کارایی CapLite نشان می‌دهد ایجنت‌های امن زیر حمله کارهای کمتری را کامل می‌کنند. گردش‌کار و تجربه کاربری را برای این واقعیت طراحی کنید.

سخن پایانی

خبر امیدوارکننده آبان این است که دفاع‌های قطعی اکنون می‌توانند موفقیت حمله را روی بنچمارک‌های استاندارد، برای مهم‌ترین اقدام‌ها یعنی مقصد پول و داده، به صفر برسانند. خبر هشداردهنده این است که آزمون واقع‌گرایانه و تطبیقی هنوز هر دفاعی را به نحوی می‌شکند. برای بانک‌ها نتیجه همان است که BNY و جی‌پی‌مورگان در آزمایش‌هایشان به آن رسیدند: فرض کنید مدل فریب می‌خورد و جعبه را طوری دور آن بسازید که ایجنتِ فریب‌خورده هم نتواند آسیبی بزند.

منابع

مقاله‌های مرتبط

پرداخت عاملیبانکداریایجنت هوش مصنوعیامنیت پرداخت

پرداخت با ایجنت هوش مصنوعی در ۲۰۲۶: بانک‌ها و شبکه‌های کارت چطور به ایجنت‌ها اعتماد می‌کنند

در چند روز از مهر ۱۴۰۵، امریکن اکسپرس، مسترکارت، FIS، HSBC و Ant Digital هر کدام به یک پرسش واحد پرداختند: وقتی یک ایجنت هوش مصنوعی پرداخت می‌کند، چه کسی و برای چه کاری به آن اجازه داده است؟ هویت ایجنت، قصد خرید امضاشده و اعتبارنامه‌های محدود چطور مجوزدهی پرداخت را تغییر می‌دهند و مدیران بانک و فین‌تک از امروز چه باید بکنند.

· ۱۳ دقیقه مطالعه

عامل هوشمندمدل زبانیحفاظ‌هاارزیابی

ایجنت هوش مصنوعی در عمل: ابزار، حافظه، حفاظ‌ها و ارزیابی

آنچه یک عامل هوشمند قابل‌اتکا را از یک دموی چشمگیر جدا می‌کند: ابزارهای خوش‌طراحی، حافظه آگاهانه، حفاظ‌های چندلایه و سازوکار ارزیابی‌ای که رفتار را می‌سنجد، نه فقط پاسخ را.

· ۸ دقیقه مطالعه

حاکمیت هوش مصنوعیهوش مصنوعی عاملیمقررات بانکیمدیریت ریسک

چارچوب نظارتی هوش مصنوعی OCC در ۲۰۲۶: بازرسان آمریکایی ایجنت‌های هوش مصنوعی بانک‌ها را چطور می‌سنجند و مدیران فناوری اکنون چه باید بکنند

اداره کنترل‌کننده پول آمریکا (OCC) در ۱۳ آبان ۱۴۰۵ (۴ نوامبر ۲۰۲۶) بخشنامه 2026-54 را منتشر کرد؛ نخستین چارچوبی که به بازرسان بانکی می‌گوید هوش مصنوعی مولد و عاملی را، که اکنون «ابرهوش» (Super Intelligence) می‌نامد، چطور ارزیابی کنند. این سند قاعده تازه‌ای نیست، اما شانزده مؤلفه، شش ستون و یک مقیاس ریسک چهارسطحی را تعریف می‌کند که در آن ایجنت پرداخت خودمختار، هر قدر هم در آزمون خوب عمل کند، در سطح ۱ قرار می‌گیرد. این چارچوب چه می‌گوید، چرا پیامد و میزان خودمختاری اکنون از پیچیدگی مدل مهم‌تر است و یک راهنمای عملی حاکمیت هوش مصنوعی برای بانک‌ها.

· ۱۶ دقیقه مطالعه