Представлен способ обезвреживания искусственного интеллекта

Исследователи из Оксфордского университета и лаборатории DeepMind, принадлежащей Google, начали работу над системой аварийного выключения для самообучающихся алгоритмов. Он сможет помочь в тех случаях, когда ИИ выйдет из-под контроля.

По словам исследователей, цель работы — создание фреймворка, который не позволит искусственному интеллекту найти способ игнорирования команды отключения. Речь идет о некой «большой красной кнопке». Работа, посвященная ей, представляет собой математический анализ, который описывает методы построения защиты.

Если такой агент [искусственный интеллект] работает в режиме реального времени под наблюдением человека, то иногда может возникнуть ситуация, при которой оператор будет вынужден нажать на большую красную кнопку, чтобы остановить агента от выполнения действий, опасных для самого агента или его окружения.

Также «большая красная кнопка» должна гарантированно прервать текущую деятельность робота и максимально обезопасить его и окружающих при потенциально опасной ситуации, а также предотвратить совершение действий, которые могут привести к «необратимым последствиям», сообщает Naked Science.www.naked-science.ru