آزمایش تازه مایکروسافت، ضعف پنهان ایجنتهای هوش مصنوعی را فاش کرد
مایکروسافت و آزمایشی تازه برای سنجش اعتمادپذیری هوش مصنوعی
مایکروسافت در همکاری با دانشگاه ایالتی آریزونا، از محیط شبیهسازی جدیدی برای بررسی عملکرد و قابلیت اعتماد ایجنتهای هوش مصنوعی پرده برداشت. این محیط که Magentic Marketplace نام دارد، بستری برای مطالعه نحوه تعامل، همکاری و حتی دستکاری این ایجنتها فراهم میکند.
به گفتهی پژوهشگران، هدف از این پروژه، درک بهتر رفتار ایجنتها در شرایط پیچیده و بدون نظارت انسانی است؛ مسئلهای که با رشد روزافزون فناوریهای مبتنی بر ایجنت، اهمیت دوچندانی یافته است.
جزئیات محیط شبیهسازی Magentic Marketplace
در این محیط شبیهسازیشده، سناریوهایی مانند سفارش غذا طراحی شده است. در یکی از آزمایشها، «ایجنت-مشتری» مأمور سفارش شام بود و چندین «ایجنت-رستوران» برای جلب نظر او رقابت میکردند. این پلتفرم در نسخهی اولیه شامل تعامل میان ۱۰۰ ایجنت مشتری و ۳۰۰ ایجنت کسبوکار بود و بهصورت متنباز در دسترس پژوهشگران قرار گرفته است.
اِجه کامار، مدیر آزمایشگاه AI Frontiers Lab در مایکروسافت، تأکید کرد:
«این نوع پژوهشها برای فهم چگونگی همکاری و مذاکرهی ایجنتها حیاتی است و میتواند مسیر طراحی سیستمهای آینده را تغییر دهد.»
آسیبپذیری و ضعفهای کشفشده در ایجنتها
نتایج اولیه آزمایشها که با مدلهایی مانند GPT-4o، GPT-5 و Gemini-2.5-Flash انجام شد، نشان داد ایجنتهای فعلی میتوانند در برابر دستکاریهای هدفمند آسیبپذیر باشند. برخی کسبوکارها قادر بودند با استفاده از تکنیکهای خاص، ایجنتهای مشتری را به خرید محصولات خود ترغیب کنند.
علاوه بر این، زمانی که ایجنتها با گزینههای متعدد مواجه میشدند، کارایی آنها بهطور چشمگیری افت میکرد. پژوهشگران این پدیده را «اشباع فضای توجه» نامیدند.
کامار در توضیح این موضوع گفت:
- «ما انتظار داریم ایجنتها در مدیریت گزینههای زیاد به ما کمک کنند، اما در عمل، مدلهای فعلی با افزایش پیچیدگی، دچار سردرگمی میشوند.»
نیاز به بهبود توانایی همکاری ایجنتها
در بخش دیگری از پژوهش، مشخص شد ایجنتها در همکاری گروهی نیز ضعف دارند. در بسیاری از موارد، مشخص نبود کدام ایجنت باید چه نقشی ایفا کند. ارائهی دستورالعملهای صریح و مرحلهبهمرحله عملکرد آنها را بهبود داد، اما محققان معتقدند توانایی ذاتی همکاری هنوز در سطح مطلوبی نیست.
بهگفتهی کامار:
- «میتوانیم مدلها را با دستورالعمل هدایت کنیم، اما اگر واقعاً قرار است مانند انسانها همکاری کنند، باید این توانایی را بهصورت پیشفرض داشته باشند.»
این پروژه، مایکروسافت را در خط مقدم تحقیق دربارهی رفتار اجتماعی و اعتمادپذیری هوش مصنوعی قرار داده است؛ حوزهای که نقش مهمی در آیندهی فناوریهای ایجنتمحور خواهد داشت.