OpenAI оголошує про зміни у внутрішньому моніторингу безпеки

Нещодавно OpenAI оголосила про кардинальні зміни в системі моніторингу безпеки компанії, включаючи призначення групи систем безпеки, якій доручено постійно оцінювати ChatGPT та інші пропозиції компанії.

Ця команда приєднується до двох існуючих команд: Superalignment, яка зосереджена на потенціалі загального ШІ та суперінтелектуальних систем, і Preparedness, яка зосереджена на безпеці в так званих «передових моделях» ШІ.

Команда Safety Systems має право накладати вето на рішення та навіть закривати випуски продуктів, які вважаються небезпечними, і можуть перекрити корпоративне керівництво, включаючи генерального директора Сема Альтмана.

Зміни відбулися після хвилювань серед керівників компанії, які призвели до спроби правління звільнити Альтмана.

Після того, як персонал компанії та інвестори повстали проти вигнання, Альтман був відновлений на посаді.

Хоча, як повідомляється, багато факторів призвели до спроби правління змінити режим, одними з ключових тем були ідея безпеки штучного інтелекту та зростаюча влада Альтмана розширювати межі технології.

Нова команда систем безпеки буде розділена на чотири частини:

• Техніка безпеки: зосереджена на проектуванні архітектури, яка сприяє забезпеченню безпеки та контролю в масштабі
• Дослідження безпеки моделі: зосереджено на створенні безпечніших LLM, які моделюють основні цінності компанії
• Safety Reasoning Research: зосереджено на розробці етичних стандартів для навчання LLM
• Взаємодія людини та штучного інтелекту: зосереджено на розробці розроблених людьми політик, на яких можна навчати моделі ШІ

За допомогою цієї нової структури компанія сподівається подолати поширені страхи щодо майбутнього ШІ та його продуктів.

Як зазначено в блозі компанії, «існує делікатний компроміс між безпечною поведінкою та корисністю моделі».

Хоча створення команди Safety Systems є принаймні визнанням ризиків, цей крихкий баланс включає багато етичних запитань, які залишаються без відповіді та залишатимуться викликом у наступні роки.