Скайнет уже рядом. Как основателя OpenAI хотели уволить из-за амбициозных экспериментов
Самый известный разработчик искусственного интеллекта мог оказаться в ситуации, когда одна часть правления хочет любой ценой совершить научный прорыв, а другая считает, что играет с огнем.
Liga.Tech разбиралась в хронологии события почти отставки Сэма Альтмана, почему всех заставили переживать новости о Q-star и почему уже сегодня есть смысл бояться воплощения в жизнь худших прогнозов фантастов о роботизированном разуме.
Корпоративная "Игра престолов"
В течение почти недели в стенах создателей известного чат-бота ChatGPT разыгрывалась настоящая бизнес-драма. Первым ее актом стали новости об отставке соучредителя Сэма Альтмана с должности СЭО в прошлую пятницу. Причем инициатором назвали соучредителя OpenAI Илью Суцкевера, привлекшего на свою сторону трех из шести членов правления компании.
Объяснили свои мотивы они максимально размытой формулировкой "Альтман не всегда был откровенным в общении с правлением". Позже появилась информация, что истинной причиной такого шага стала озабоченность Суцкевера и его единомышленников тем, что технология компании может нести значительный риск, а фронтмен компании не уделяет этому должного внимания.
Во втором акте в самой OpenAI и за ее пределами разыгралась настоящая буря. Новости об отставке озадачили коллектив и вызвали беспокойство у инвесторов. В знак солидарности с Альтманом в отставку подал президент компании Грег Брокман.
По свидетельствам инсайдеров, особенно остро отреагировала корпорация Microsoft, инвестировавшая $13 млрд в OpenAI. Вместе с другими инвесторами она давила на правление разработчика ИИ, чтобы вернуть Альтмана на должность, но успеха не добилась. Тогда глава техногиганта Сатья Наделла объявил, что пригласил Альтмана и Брокмана возглавить их команду, занимающуюся разработкой продвинутого ИИ.
После бурных переговоров Суцкевер заявил, что не изменит своего решения. Было объявлено, что новым временным главой OpenAI станет Мира Мурати, давно работавшая в OpenAI одним из исполнительных руководителей. Однако уже через 48 часов стало известно, что должность перешла бывшему топ-менеджеру Twitch Эммету Ширу.
Уже на следующий день после приглашения от Наделы стало известно, что почти весь коллектив OpenAI (около 800 человек) выразил заинтересованность в переходе в ИИ-команду Microsoft и подписал соответствующее письмо. Оставаться на текущей работе, они собирались в случае возвращения Альтмана и старого совета правления.
Высказался и миллиардер Илон Маск, очень беспокоенный разработкой ИИ в стенах компании, которая может угрожать человечеству. Интересно, что сам СЕО Tesla и SpaceX в прошлом был сопредседателем OpenAI, но покинул компанию из-за конфликта интересов.
Третий и финальный акт развернулся уже через день, когда было объявлено о "принципиальном согласии" о возвращении Альтмана в кресло СЭО. Вместе с ним вернулся и Брокман, что было зафиксировано селфи с сотрудниками в офисе OpenAI, выложенном в соцсети Twitter.
Из совета правления выбросили Илью Суцкевера, Хелен Тонер и Ташу МакКоли. Единственным "заговорщиком", которому удалось удержаться, стал СЕО портала вопросов-ответов Quorra Адам Д'Анджело.
Новое слово в ИИ или прототип Скайнета
В самый разгар управленческого кризиса начали появляться сообщения, что яблоком раздора среди менеджмента стала значительно усовершенствованная модель ИИ под названием Q-Star (также известная под маркировкой Q*). Новая система вроде бы умеет самостоятельно решать базовые математические задачи. Хотя речь идет об уровне младшей школы, это уже колоссальный прорыв в сфере разработки AI.
Дело в том, что большинство современных нейросетей не являются искусственным интеллектом в классическом понимании этого термина. Чат-боты анализируют большие объемы информации, чтобы скомпилировать на их основе ответ на запрос пользователя. Тот же принцип работы используют и всевозможные генераторы изображений. Поэтому если поставленная пользователем задача раньше не разгадывалась или упоминаний ее нет в сети, нынешние AI-системы просто не смогут удовлетворить запрос пользователя.
Но если появится система, которая не ищет ответа в базах данных, а самостоятельно решает задачу, – это уже значительный скачок в деле развития искусственного интеллекта. Даже если речь идет о самых простых арифметических задачах. Этот концепт принято называть сильным искусственным интеллектом, или artificial general intelligence. Собственно, незадолго до истории с отставкой Альтман отметил в интервью, что авторы ChatGPT достигли еще одного прорыва.
Тема дальнейшего развития ИИ продолжает генерировать серьезные дискуссии в научной среде и за ее пределами. Энтузиасты считают, что человечество находится в шаге от наибольшего прорыва в области информационных технологий со времен веб-браузеров. Скептики считают, что разработчикам следует притормозить, поскольку безответственная спешка может иметь крайне драматические негативные последствия. Система ИИ, способная решать разнообразные задачи на уровне человеческого интеллекта или даже выше, в теории может полностью попытаться выйти из-под контроля человека или даже что-то похуже.
Эффект Оппенгеймера
На совет правления OpenAI могла повлиять история о неожиданных последствиях эксперимента ВВС США по сочетанию искусственного интеллекта и ударных дронов. В рамках симуляции беспилотник под управлением ИИ был запрограммирован идентифицировать вражескую ракету класса "земля-воздух". Однако уничтожать цели он мог только после команды оператора.
В ходе эксперимента оператор несколько раз отказывался давать "зеленый свет" ИИ на уничтожение цели. Это вызвало у системы диссонанс, ведь за уничтожение цели в рамках эксперимента она получала баллы. Поэтому ИИ начал воспринимать оператора как препятствие на пути к достижению цели и попытался его физически ликвидировать.
Впоследствии американские военные рассказали, что это не было какое-либо фактическое испытание на полигоне, а исключительно воображаемый эксперимент. Тем не менее даже с учетом своей гипотетичности этот эксперимент иллюстрирует реальные проблемы, исходящие из возможностей ИИ.
Главным преимуществом ИИ станет отсутствие характерных для людей эмоциональности и предвзятости, часто мешающих людям достичь своей цели. С другой стороны, машинный разум будет действовать за рамками морали или этики.
Тем более что военные уже не первый год интересуются AI-разработками в контексте развития беспилотной авиации и не только. В 2020 году AI взял верх над пилотом в симуляции воздушного боя на F-16. Также стало известно, что ВВС США добились значительного прогресса в создании автономных истребителей.
Напрашивается предположение, что часть совета директоров OpenAI столкнулась с моментом Оппенгеймера, когда страх перед негативными последствиями преобладает над стремлением сделать важное открытие. Собственно, сам отец атомной бомбы Роберт Оппенгеймер позже будет выступать против разработки водородной бомбы и безрассудного накопления оружия массово поражения.
В конце концов, каждая технология напоминает медаль с двумя сторонами. Атомная энергетика позволила человечеству получать огромные объемы дешевой электроэнергии с минимальным ущербом для экологии. При этом цена человеческой ошибки и аварии на АЭС на порядки выше по сравнению с авариями на ТЭС. Самыми известными техногенными катастрофами человечества стали Чернобыль и Фукусима.
В конце концов Илья Суцкевер и коллеги могли переоценить значение Q-Star. Исследователи считают, что разум даже небольших птиц слишком является сложной и мало исследованной структурой, поэтому появление в ближайшее время компьютеров способных мыслить, осознавать и решать сверхсложные задачи пока остается областью научной фантастики.
Или же в обозримом будущем люди на радиоактивных пустошах будут вспоминать Илью Суцкевера как человека, почти помешавшего катастрофе.