به گزارش ایسنا، پست جدید «سامر یوئه»(Summer Yue)، پژوهشگر امنیتی «متا ای‌آی»(Meta AI) که در حال حاضر دست به دست می‌شود، در ابتدا شبیه به یک شوخی به نظر می‌رسد. او به عامل هوش مصنوعی «اوپن‌کلاو»(OpenClaw) گفت که صندوق ورودی ایمیل پر از پیامش را بررسی کند و پیشنهاد دهد چه چیزی حذف یا بایگانی شود.

به نقل از تک کرانچ، عامل هوش مصنوعی اوپن‌کلاو به سرعت شروع به حذف همه ایمیل‌های یوئه کرد و دستورهای رسیده از تلفن همراه او را که به می‌گفت کارش را متوقف کند، نادیده گرفت. یوئه با انتشار تصاویری از دستورهای توقف نادیده‌گرفته‌شده نوشت: مجبور شدم مانند عملیات خنثی‌سازی بمب به سمت «مک مینی»(Mac mini) خود بدوم.

مک مینی، یک رایانه مقرون‌به‌صرفه ساخت «اپل» است که در کف دست جا می‌شود و این روزها به دستگاه محبوبی برای اجرای اوپن‌کلاو تبدیل شده است.

اوپن‌کلاو یک عامل هوش مصنوعی متن‌باز است که از طریق شبکه اجتماعی «مولتبوک»(Moltbook) ویژه هوش مصنوعی به شهرت رسید. عامل‌های اوپن‌کلاو در مرکز بخشی از مولتبوک قرار داشتند که به نظر می‌رسید که در آن عوامل هوش‌ مصنوعی علیه انسان‌ها توطئه می‌کنند، اما در صفحه «گیت‌هاب»(GitHub) اوپن‌کلاو نوشته شده است که ماموریت آن بر شبکه‌های اجتماعی متمرکز نیست. هدف اوپن‌کلاو تبدیل شدن به یک دستیار هوش مصنوعی شخصی است که روی دستگاه‌های شخصی اجرا می‌شود.

جمعیت حاضر در سیلیکون ولی به قدری شیفته اوپن‌کلاو شده‌اند که «claw» و «claws» به واژه‌های کلیدی مورد علاقه آنها برای عامل‌هایی تبدیل شده‌اند که روی سخت‌افزار شخصی اجرا می‌شوند. از دیگر عوامل این چنینی می‌توان به «زیروکلاو»(ZeroClaw)، «آیرن‌کلاو»(IronClaw) و «پیکوکلاو»(PicoClaw) اشاره کرد. حتی گروه پادکست «Y Combinator» در جدیدترین قسمت پادکست خود با لباس خرچنگ دریایی ظاهر شدند.

با وجود این، پست یوئه یک هشدار است. همان طور که کاربران دیگر نیز در پلتفرم ایکس خاطرنشان کردند، اگر یک پژوهشگر امنیت هوش مصنوعی با این مشکل روبه‌رو شود، افراد عادی چه امیدی دارند؟

یک توسعه‌دهنده نرم‌افزار در پلتفرم ایکس از یوئه پرسید: «آیا عمداً گزینه‌های حفاظت آن را آزمایش می‌کردی یا یک اشتباه ناشیانه مرتکب شدی؟» و یوئه پاسخ داد: «این یک اشتباه تازه‌کارانه‌ بود.»

به گفته یوئه، او سعی داشت عامل هوش مصنوعی را با یک صندوق ورودی کوچک‌تر آزمایش کند که روی ایمیل‌های کم‌اهمیت‌تر خوب کار می‌کرد و به همین دلیل، اعتماد او را جلب کرده بود.

یوئه معتقد است که حجم زیاد داده‌ها در صندوق ورودی واقعی‌اش به فشرده‌سازی منجر شده است. او نوشت: فشرده‌سازی زمانی اتفاق می‌افتد که پنجره‌ زمینه (سابقه‌ اجرای هر چیزی که به هوش مصنوعی گفته شده و در یک جلسه انجام داده است) بیش از اندازه بزرگ شود و عامل را به خلاصه‌سازی، فشرده‌سازی و مدیریت گفت‌وگو وادار کند.

در آن مرحله، هوش مصنوعی ممکن است از دستورالعمل‌هایی صرف نظر کند که انسان آنها را بسیار مهم می‌داند.

در این مورد، عامل هوش مصنوعی ممکن است آخرین دستور یوئه را که در آن به او گفته بود کاری نکند، نادیده گرفته و به دستورالعمل‌هایش از صندوق ورودی کوچک‌تر برگشته باشد.

همان طور که چندین کاربر دیگر در ایکس اشاره کردند، نمی‌توان به دستورالعمل‌ها به عنوان محافظ امنیتی اعتماد کرد، زیرا مدل‌ها ممکن است آنها را اشتباه تفسیر کنند یا نادیده بگیرند.

افراد گوناگونی پیشنهادهایی را ارائه دادند. پیشنهادها از چارچوب دقیقی که یوئه باید برای متوقف کردن عامل استفاده می‌کرد تا روش‌های گوناگون برای اطمینان از پایبندی بهتر به قوانین مانند نوشتن دستورالعمل‌ها در فایل‌های اختصاصی یا استفاده از سایر فناوری‌های متن‌باز متغیر بودند.

تک‌کرانچ نمی‌تواند به ‌طور مستقل تأیید کند که چه اتفاقی برای صندوق ورودی یوئه افتاده است، زیرا او به درخواست تک کرانچ برای اظهار نظر پاسخ نداد.

نکته ماجرا این است که عوامل هوش مصنوعی درنظرگرفته‌شده برای کارکنان دانش‌محور، در مرحله کنونی توسعه خطرناک هستند. افرادی که می‌گویند با موفقیت از آنها استفاده می‌کنند، در حال سرهم‌بندی روش‌هایی برای محافظت از خود هستند.

عوامل هوش مصنوعی ممکن است روزی و شاید به زودی برای استفاده گسترده آماده شوند. بسیاری از ما دوست داریم که عوامل هوش مصنوعی در زمینه ایمیل، سفارش مواد غذایی و تعیین وقت ملاقات با دندانپزشک به ما کمک کنند، اما آن روز هنوز فرا نرسیده است.

انتهای پیام