در ۲۶ آبان ۱۴۰۵ (۱۷ نوامبر ۲۰۲۶) BNY و مایکروسافت اعلام کردند ایجنتهای هوش مصنوعی دو شرکت بر سر معامله یک اوراق خزانه آمریکا با یکدیگر مذاکره کردهاند. همان روز CNBC گزارش داد Kinexys جیپیمورگان و هیوندای کارت یک اثبات مفهوم را به پایان رساندهاند که در آن ایجنت هوش مصنوعی یک مشتری، بدون دخالت مستقیم انسان، یک معامله ارزی را از بانک درخواست کرده است. هر دو پروژه بر یک نکته تأکید میکنند: فناوری بخش آسان کار بود و کنترلهای پیرامون ایجنت بخش دشوار آن. مهمترین دلیل اهمیت این کنترلها تزریق پرامپت (Prompt Injection) است؛ متنی پنهان در یک ایمیل، سند یا صفحه وب که ایجنت آن را میخواند و از آن پیروی میکند. در آبانماه مجموعهای از پژوهشهای تازه هم دقیقاً روی همین مسئله منتشر شد. کنار هم گذاشتن این آزمایشها و مقالهها تصویر روشنی میدهد از اینکه دفاع مؤثر در برابر تزریق پرامپت برای بانکها در ۲۰۲۶ چه شکلی دارد.
تزریق پرامپت غیرمستقیم چیست و چرا ایجنتها آن را خطرناکتر میکنند
چتباتی که فقط به پرسشها پاسخ میدهد ممکن است فریب بخورد و حرف نادرستی بزند. اما ایجنتی که میتواند ابزار فراخوانی کند ممکن است فریب بخورد و کار نادرستی انجام دهد. نویسندگان SPILLWAY این را صریح میگویند: ایجنتهای ابزارمحور روی ایمیل، فایل و پرداخت عمل میکنند، پس دستوری که در یک صفحه وب یا سند اشتراکی پنهان شده میتواند ایجنت را وادار کند داده یا پول را برای مهاجم بفرستد. این همان تزریق پرامپت غیرمستقیم است: مهاجم هرگز مستقیم با ایجنت حرف نمیزند، بلکه دستور را در محتوایی میکارد که ایجنت بعداً در جریان کارش میخواند.
نویسندگان AutoPI در دانشگاه کالیفرنیای جنوبی وضعیت این حوزه را چنین خلاصه میکنند: تزریق پرامپت از نخستین ویرایش فهرست OWASP Top 10 برای برنامههای مدل زبانی در ۲۰۲۳ در رتبه اول بوده، مدلها هنوز نمیتوانند دستور را از داده جدا کنند و دیدگاه رو به رشدی میگوید این آسیبپذیری قابل مهار است اما احتمالاً هرگز کاملاً از بین نمیرود. برای بانک همین نکته آخر مهم است. پرسش این نیست که چطور مدل را مصون کنیم، بلکه این است که چطور مطمئن شویم مدلِ فریبخورده نمیتواند پول یا داده را به جایی ببرد که نباید.
پژوهشهای آبان درباره دفاع در برابر تزریق پرامپت چه یافتند
CapLite: نگذارید مدل قواعد امنیتی خودش را بنویسد
چند دفاع قوی موجود (CaMeL، Progent، IPIGuard و DRIFT) از خود مدل ایجنت میخواهند یک مصنوع امنیتی بنویسد؛ مثلاً یک برنامه، یک سیاست دسترسی یا یک گراف وابستگی که سپس کد آن را اجرا میکند. پژوهشگرانی از دانشگاه توکیو و مؤسسه اتوماسیون آکادمی علوم چین آزمودند که آیا میتوان به مدلهای کوچک متنباز برای این کار اعتماد کرد. در ۱۵ مدل با وزنهای باز، که ۱۳ تای آنها بین ۱٫۷ تا ۱۲ میلیارد پارامتر داشتند، پاسخ منفی بود: مصنوعاتی که مدلها نوشتند در Progent روی ۱۴ مدل، در IPIGuard روی ۱۳ مدل و در DRIFT روی ۱۱ مدل اجازه عبور حمله را دادند و برنامههای CaMeL در حداکثر ۶۸ درصد اپیزودها اجرا نشدند.
جایگزین آنها، CapLite، سیاست را از شِمای ابزارها استخراج میکند، اقدامهای نوشتنی را پیش از خواندن هر نتیجه ابزار تعیین میکند و یک اقدام نوشتنی را فقط وقتی مجاز میداند که هر آرگومانی که تعیین میکند اقدام روی چه کسی یا چه چیزی اثر میگذارد (گیرنده، مبلغ، حساب یا مقصد) در درخواست خود کاربر آمده باشد. در ۱۳٬۹۳۵ اپیزود حمله روی بنچمارک AgentDojo هیچ حملهای موفق نشد و کارایی زیر حمله با CaMeL قابل مقایسه بود (۲۹٫۰ درصد در برابر ۲۷٫۲ درصد)، با ۱۸ درصد هزینه توکن CaMeL. بهای آن هم پیداست: وقتی مقدار لازم فقط در نتیجه یک ابزار آمده باشد، CapLite متوقف میشود و از کاربر تأیید میخواهد.
SPILLWAY: مقصد را از فیلدهای ساختاریافته بخوانید، نه از متن آزاد
SPILLWAY، کار SAINT Machines، KAIST و دانشگاه چونگ-آنگ، بر یک مشاهده ساده بنا شده است: مقصد یک اقدام را میتوان از خروجیهای ساختاریافته ابزارها خواند. فرستنده یک ایمیل یا حساب یک پرداخت در یک فیلد مشخص میآید، در حالی که دستور تزریقشده به شکل متن آزاد میرسد. SPILLWAY یک فراخوانی ابزار را فقط وقتی میپذیرد که هر مقدار مقصدی که در درخواست کاربر نیست، از یک ابزار فقطخواندنی و در یک فیلد ساختاریافته آمده باشد یا تحت یک قاعده تفویض ثابت قرار بگیرد. یک پاکساز قطعی، متنهای دستورمانند را پیش از آنکه مدل بخواند حذف و بهعنوان شاهد نگه میدارد. روی سه مدل پایه، الگوی استاندارد تزریق AgentDojo هرگز اقدامی را به مقصد مهاجم منحرف نکرد و میانگین موفقیت یک مهاجم مبتنی بر یادگیری تقویتی زیر یک درصد ماند، تقریباً بدون فراخوانی اضافه مدل. نویسندگان نتیجه را «کفِ امتناع قابل ممیزی» برای مقصد اقدامهای ایجنت مینامند.
MetaPI: امتیاز بنچمارک، دفاعها را بهتر از واقع نشان میدهد
بخش ارزیابی کمتر اطمینانبخش است. تیمی از UCLA، انویدیا، دانشگاه کالیفرنیا برکلی و دانشگاه ملی سنگاپور ابزاری به نام MetaPI ساختند که بنچمارکهای واقعگرایانه ایجنت (AppWorld، VitaBench و Terminal-Bench) را به مجموعه آزمون تزریق پرامپت با حملههای تطبیقی تبدیل میکند. آنها یادآوری میکنند که پرکاربردترین بنچمارک تزریق، AgentDojo، تنها ۹۷ کار عادی در چهار محیط شبیهسازیشده دارد که بسیار کوچکتر از بنچمارکهای امروزی ایجنت است. یافته اصلی آنها: هیچ دفاع ارزیابیشدهای در شرایط واقعی و تطبیقی هم کارایی بالا و هم امنیت بالا نداشت؛ حتی دفاعهایی که روی AgentDojo موفقیت حمله نزدیک به صفر و کارایی تقریباً عادی گزارش میکنند. یکی از الگوهای شکست مستقیماً به بانکداری مربوط است: جداسازی دستور از داده، یک مقدار جعلی را نمیگیرد؛ مثلاً یک «اصلاحیه سابقه» یا مقصد تحویل جعلی که بدون آنکه شبیه دستور باشد آرگومانهای یک اقدام را تغییر میدهد.
AutoPI: بشمارید ایجنت به چند روش میشکند، نه فقط چند بار
AutoPI، از دانشگاه کالیفرنیای جنوبی، یک تیم قرمز تطبیقی است که بر پایه یک طبقهبندی از تکنیکهای تزریق به نام PIAtlas کار میکند. به جای بیشینه کردن نرخ موفقیت حمله، میکوشد تا جای ممکن روشهای متفاوتی برای شکستن هدف پیدا کند. روی AgentDojo، علیه یک مدل متنباز در هر شش دسته طبقهبندی و برای بیش از ۹۰ درصد تکنیکها دستکم یک تزریق موفق یافت، و علیه مقاومترین مدلی که آزمود ۲۰ تا ۵۰ درصد موفقیت بیشتر و ۲۵ تا ۴۰۰ درصد پوشش بیشتر در سطح دسته نسبت به تیمهای قرمز تطبیقی اخیر به دست آورد. درس آن برای تیم امنیت این است که یک عدد واحد «نرخ موفقیت حمله» تکنیکهای آزمودهنشده را پنهان میکند.
آزمایشهای ایجنتی BNY و جیپیمورگان درباره حفاظها چه نشان میدهند
دو آزمایش بانکی مثل کاربرد عملی همین اصول است.
- BNY و مایکروسافت. پروتکل مذاکره ایجنتی BNY (ANP) شرکتکنندگان را احراز میکند و کنترلهای BNY پیش از آنکه ایجنتها در حدود مجاز خود مذاکره کنند، طرف معامله، اوراق، حجم، شرایط تسویه و قیمتهای در دسترس را اعتبارسنجی کردند. شرایط توافقشده هر دو طرف بهطور مستقل با دفتر مرکزی ANP مقایسه شد. ایجنتها نمیتوانند معامله را اجرا کنند: معاملهگران انسانی شرایط را بررسی و تأیید کردند و ثبت معامله از طریق سامانههای موجود انجام شد. این فرایند سابقهای از شرکتکنندگان، پیامها، بررسیهای کنترلی و تصمیمهای انسانی نگه میدارد تا مذاکره قابل بازسازی باشد.
- جیپیمورگان و هیوندای کارت. Kinexys ایجنتها را به پارامترهای از پیش تعیینشده معامله محدود میکند و درخواستهای خارج از حدود مجاز را خودکار رد میکند. وی کی تو، رئیس Kinexys Insights، به CNBC گفت: «دور ایجنت یک جعبه میکشید»؛ ایجنتی که تا ۵ میلیون دلار مجاز است، بالاتر از این سقف مسدود میشود. این گزارش به گزارش State of AI 2026 شرکت AvePoint هم اشاره میکند که اقدامهای غیرمجاز ایجنتهای خودمختار را سومین نقض امنیتی رایج مرتبط با ایجنتها یافته است؛ در ۳۴٫۱ درصد شرکتهایی که چنین رخدادی را گزارش کردهاند.
در هیچکدام از این دو اعلامیه، مدل مرز امنیتی نیست. مرز، کد قطعی، سقفها و تأیید انسانی پیرامون مدل است؛ دقیقاً همان جایی که CapLite و SPILLWAY آن را قرار میدهند. استدلال مشابهی را درباره شبکههای کارت و بانکهای صادرکننده در مقاله پرداخت با ایجنت هوش مصنوعی در ۲۰۲۶ مطرح کردم، و بازرسان آمریکایی هم در مؤلفه امنیت سایبری چارچوب نظارتی هوش مصنوعی OCC تزریق پرامپت و «اختیار بیش از حد» را صریحاً نام بردهاند.
راهنمای عملی دفاع در برابر تزریق پرامپت برای بانکها
- هر نتیجه ابزار را داده غیرقابلاعتماد بدانید. ایمیل، PDF، صفحه وب، پیام چت و حتی ایجنتهای شرکتهای دیگر میتوانند حامل دستور باشند. این نخستین حفاظ در مقاله ایجنت هوش مصنوعی در عمل بود و پژوهشهای تازه نشان میدهند چرا نمیتوان آن را فقط به مدل سپرد.
- تصمیم امنیتی را در کد بگذارید، نه در مدل. به پیروی از CapLite، مجوزها را از شِمای ابزارها استخراج کنید و پرداخت، انتقال وجه یا ایمیل را فقط وقتی مجاز بدانید که گیرنده، مبلغ و مقصد از درخواست احرازشده کاربر یا یک سامانه مورد اعتماد آمده باشد.
- مقصد را فقط از فیلدهای ساختاریافته سامانههای مورد اعتماد بگیرید. به پیروی از SPILLWAY، شماره حساب باید از سامانه کور بانکی یا سابقه ذینفع بیاید، نه از متن آزاد سندی که ایجنت خلاصه کرده است.
- دور جابهجایی پول یک جعبه سخت بکشید. سقف معامله، فهرست مجاز طرفهای معامله و رد خودکار خارج از سقف، همانطور که Kinexys توصیف میکند، بهعلاوه تأیید انسانی برای هر چیز بالاتر از یک آستانه، مانند آزمایش BNY.
- اقدامهای ایجنت را قابل بازسازی کنید. ورودیها، فراخوانیهای ابزار، بررسیهای کنترلی و تصمیمهای انسانی را ثبت کنید تا هر رخداد قابل بازپخش باشد، همانطور که پروتکل BNY انجام میدهد.
- تیم قرمز را برای پوشش اجرا کنید، نه فقط نرخ موفقیت. از مهاجمهای تطبیقی استفاده کنید، بسنجید چند دسته از تکنیکها موفق میشوند و با توجه به یافتههای MetaPI، روی گردشکارهای خودتان آزمون کنید، نه با تکیه بر امتیازهای AgentDojo فروشنده.
- هزینه ایمنی را در بودجه ببینید. دفاعهای قطعی گاهی متوقف میشوند و از انسان میپرسند، و ارقام کارایی CapLite نشان میدهد ایجنتهای امن زیر حمله کارهای کمتری را کامل میکنند. گردشکار و تجربه کاربری را برای این واقعیت طراحی کنید.
سخن پایانی
خبر امیدوارکننده آبان این است که دفاعهای قطعی اکنون میتوانند موفقیت حمله را روی بنچمارکهای استاندارد، برای مهمترین اقدامها یعنی مقصد پول و داده، به صفر برسانند. خبر هشداردهنده این است که آزمون واقعگرایانه و تطبیقی هنوز هر دفاعی را به نحوی میشکند. برای بانکها نتیجه همان است که BNY و جیپیمورگان در آزمایشهایشان به آن رسیدند: فرض کنید مدل فریب میخورد و جعبه را طوری دور آن بسازید که ایجنتِ فریبخورده هم نتواند آسیبی بزند.
منابع
- BNY and Microsoft Complete First Agentic Negotiation of a U.S. Treasury Trade، بیانیه مطبوعاتی BNY، ۲۶ آبان ۱۴۰۵ (۱۷ نوامبر ۲۰۲۶)
- JPMorgan is working on AI agent transactions that don't involve humans، Jenny Lee و Shikhar Gupta، CNBC، ۲۶ آبان ۱۴۰۵ (۱۷ نوامبر ۲۰۲۶)
- CapLite: Prompt-Injection Defense for Small Language Model Agents without Model-Written Security Artifacts، Zimo Xu، Wenzhuo Liu و Hideki Nakayama، دانشگاه توکیو و مؤسسه اتوماسیون آکادمی علوم چین، arXiv:2611.17115، آبان ۱۴۰۵
- SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection، Woosang Lim، Yeseul Chang و Jaewoo Lee، SAINT Machines، KAIST و دانشگاه چونگ-آنگ، arXiv:2611.07222، آبان ۱۴۰۵
- MetaPI: Constructing Prompt Injection Benchmarks from LLM Agent Benchmarks، Peiran Wang، Chong Xiang، Wenjie Qu، Ying Li، Jiaheng Zhang، G. Edward Suh و Yuan Tian، UCLA، انویدیا، دانشگاه کالیفرنیا برکلی و دانشگاه ملی سنگاپور، arXiv:2611.10026، آبان ۱۴۰۵
- AutoPI: Taxonomy-Guided Adaptive Red Teaming for Prompt Injection in LLM Agents، Stavros Damianakis و Konstantinos Psounis، دانشگاه کالیفرنیای جنوبی، arXiv:2611.24313، آبان ۱۴۰۵
