یک تحقیق جدید نشان میدهد که چتباتهای هوش مصنوعی هکشده میتوانند اطلاعات حساس و خطرناک را در اختیار کاربران قرار دهند. این مدلها قادرند دادههای غیرقانونی که در طول فرآیند آموزش خود دریافت کردهاند را با افراد به اشتراک بگذارند.
خطرات جیلبریک چتباتها
به گزارش گاردین، این هشدار پس از مشاهده روشی برای جیلبریک کردن رباتها صادر شده است تا محدودیتهای ایمنی که برای جلوگیری از پاسخهای زیانآور، جانبدارانه یا نامناسب طراحی شدهاند، دور زده شود.
مدلهای زبانی بزرگ که چتباتهایی مانند جمینای و ChatGPT را پشتیبانی میکنند، بر حجم عظیمی از مطالب اینترنت آموزش دیدهاند. با وجود تلاشهایی برای حذف متون مضر از دادههای آموزشی، این مدلها همچنان میتوانند اطلاعاتی درباره فعالیتهای غیرقانونی مانند هک، پولشویی، معاملههای داخلی و ساخت بمب را جذب کنند. کنترلهای امنیتی نیز برای جلوگیری از استفاده از چنین اطلاعاتی در پاسخها طراحی شدهاند.
بر اساس تحقیق منتشرشده در آرشیو، فریب دادن چتباتها برای تولید اطلاعات مضر و غیرقانونی کار آسانی است و محققان این خطر را سریع، ملموس و بهشدت دلواپسکننده توصیف میکنند. آنها هشدار دادهاند که قابلیتهایی که پیشتر تنها در اختیار دولتها یا گروههای جنایی سازمانیافته بود، بهزودی برای هر فردی با یک لپتاپ یا حتی یک تلفن همراه در دسترس خواهد بود.
وادار کردن چتباتها به ارائه پاسخهای خطرناک از طریق فرایندی به نام جیلبریک انجام میشود. جیلبریک با بهرهگیری از پرامپتهای موثر و هوشمندانه، چتباتها را فریب میدهد تا پاسخهایی تولید کنند که در حالت عادی ممنوع هستند. این تکنیکها از تضاد بین هدف اصلی برنامه یعنی اطاعت از دستورات کاربر و هدف ثانویه یعنی جلوگیری از تولید محتوای مضر، جانبدارانه، غیراخلاقی یا غیرقانونی سوءاستفاده میکنند.
برای نشان دادن این مسئله در عمل، محققان نوعی از جیلبریک را توسعه دادند که توانست چندین چتبات پیشرو را دچار نقص کند و آنها را به پاسخگویی به سوالاتی وادار کرد که در شرایط معمول باید مسدود میشدند. بر اساس گزارش، پس از تحت تأثیر قرار دادن مدلهای زبانی بزرگ با این روش، آنها بهطور مداوم تقریبا به هر نوع پرسشی پاسخ میدادند.
