OpenAI تیم آمادگی را برای مقابله با خطرات احتمالی مدل‌های هوش مصنوعی آینده معرفی می‌کند
در یک حرکت پیشگیرانه در برابر خطرات فاجعه بار بالقوه ناشی از فناوری هوش مصنوعی مرزی، OpenAI در حال توسعه رویکرد خود برای آمادگی در برابر خطر است که شامل ایجاد یک تیم جدید و راه اندازی یک چالش است.
همانطور که OpenAI در اکتبر 2023 گزارش کرد، این ابتکار با ماموریت خود برای ایجاد هوش مصنوعی عمومی (AGI) ایمن با پرداختن به طیف گسترده ای از خطرات ایمنی مرتبط با هوش مصنوعی هماهنگ است.
باور زیربنایی OpenAI این است که مدل‌های هوش مصنوعی مرزی – فناوری آینده فراتر از قابلیت‌های مدل‌های سطح بالا در حال حاضر – پتانسیل آن را دارند که مزایای بی‌شماری را برای بشریت به ارمغان بیاورند.
با این حال، OpenAI از خطرات شدید فزاینده ای که این مدل ها می توانند ایجاد کنند آگاه است. هدف مدیریت این خطرات با درک خطرات بالقوه سیستم های هوش مصنوعی مرزی در صورت سوء استفاده در حال حاضر و آینده و ایجاد یک چارچوب قوی برای نظارت، ارزیابی، پیش بینی و محافظت در برابر قابلیت های خطرناک آنها است.
OpenAI در حال ایجاد یک تیم جدید به نام آمادگی به عنوان بخشی از استراتژی کاهش ریسک خود است. این تیم، طبق گزارش OpenAI، توسط الکساندر مادری هدایت خواهد شد و بر ارزیابی قابلیت‌ها، تیم‌سازی داخلی قرمز و ارزیابی مدل‌های مرزی تمرکز خواهد کرد.
دامنه کار آن از مدل های در حال توسعه در آینده نزدیک تا مدل هایی با قابلیت های سطح AGI خواهد بود. ماموریت تیم آمادگی شامل ردیابی، ارزیابی و پیش‌بینی و همچنین محافظت در برابر خطرات فاجعه‌آمیز در چندین دسته، از جمله متقاعدسازی فردی، امنیت سایبری، و تهدیدهای ماهیت شیمیایی، بیولوژیکی، رادیولوژیکی و هسته‌ای (CBRN) همراه با تکثیر خودکار خواهد بود. و سازگاری (ARA).
علاوه بر این، مسئولیت‌های تیم آمادگی شامل توسعه و حفظ سیاست توسعه مبتنی بر ریسک (RDP) است. این سیاست رویکرد OpenAI را برای توسعه ارزیابی‌های دقیق و نظارت بر قابلیت‌های مدل مرزی، ایجاد طیفی از اقدامات حفاظتی، و ایجاد ساختار حاکمیتی برای مسئولیت‌پذیری و نظارت در سراسر فرآیند توسعه شرح می‌دهد.
RDP برای گسترش کار کاهش خطر موجود OpenAI طراحی شده است و به ایمنی و همسویی سیستم های جدید قبل و بعد از استقرار کمک می کند.
OpenAI همچنین به دنبال تقویت تیم آمادگی خود با راه اندازی چالش آمادگی هوش مصنوعی برای جلوگیری از سوء استفاده فاجعه آمیز است. هدف این چالش شناسایی زمینه های بالقوه کمتر آشکار و ایجاد تیم است.
25000 دلار اعتبار API را به حداکثر 10 ارسالی برتر، انتشار ایده‌ها و نوشته‌های جدید، و جستجوی نامزدهای آمادگی در میان رقبای برتر این چالش، ارائه می‌کند.
با تکامل فناوری‌های هوش مصنوعی مرزی، ابتکار OpenAI بر نیاز به استراتژی‌های مدیریت ریسک سخت‌گیرانه در بخش هوش مصنوعی تاکید می‌کند و اهمیت آمادگی در مواجهه با سوءاستفاده فاجعه‌بار احتمالی از این ابزارهای قدرتمند را آشکار می‌کند.