Кто на самом деле писал письмо о запрете ИИ, которое одобрили Маск и Возняк – перевод VICE

В соцсетях активно обсуждают открытое письмо об "опасной" гонке искусственного интеллекта (ИИ), которое подписали Илон Маск, Стив Возняк, Эндрю Янг и другие ведущие исследователи ИИ.

Издание VICE проанализировало, кто еще стоит за этим письмом. Liga.Tech публикует перевод этой статьи и объясняет, почему призывы запретить новые исследования не решают текущие проблемы использования ИИ.

Кто стоит за написанием письма

Более 30 000 человек, включая руководителя SpaceX и Tesla Илона Маска, соучредителя Apple Стива Возняка, политика Эндрю Янга и нескольких ведущих исследователей искусственного интеллекта, подписали открытое письмо с призывом на полгода приостановить обучение систем искусственного интеллекта, более мощных, чем GPT-4.

Этот призыв мгновенно оказался в центре бурного обсуждения, поскольку отдельные подписанты изменили свою позицию, некоторые подписи оказались фальшивыми, а многие другие исследователи и эксперты ИИ открыто не согласились с предложением и подходом письма.

Письмо было написано Институтом будущего жизни (Future of Life Institute), основанным в 2014 году некоммерческой организацией, целью которой является "уменьшение глобальных катастрофических и экзистенциальных рисков от мощных технологий". Среди его основателей – космолог Массачусетского технологического института Макс Тегмарк и соучредитель Skype Яан Таллинн.

В эту организацию входят некоторые из самых больших сторонников долготерминизма, своеобразной светской религии, исповедующей поиск огромных инвестиций для решения проблем, которые предстанут перед людьми в далеком будущем. В частности, институт сосредотачивается на смягчении долгосрочных "экзистенциальных" рисков для человечества, таких как сверхумный искусственный интеллект.

Эти идеи поддерживают многие представители технологической элиты Кремниевой долины. К примеру, экс-генеральный директор криптобиржи FTX Сэм Бенкман-Фрид, которого обвиняют в обмане инвесторов. Илон Маск пожертвовал $10 миллионов на этот институт в 2015 году. С тех пор каждые два года институт организует конференции, объединяющие ведущих разработчиков искусственного интеллекта из научных кругов и промышленности.

Цель – остановить гонки между техногигантами

"Мощные системы искусственного интеллекта следует разрабатывать только тогда, когда мы будем уверены, что их эффект будет положительным, а риски – управляемыми. Поэтому мы призываем все лаборатории искусственного интеллекта немедленно приостановить по крайней мере на 6 месяцев обучение систем искусственного интеллекта, мощнее GPT-4", – говорится в письме.

Его авторы предлагают разработчикам и независимым экспертам использовать эту паузу, чтобы совместно разработать и внедрить набор общих протоколов безопасности для продвинутого проектирования и разработки ИИ, тщательно проверяемых и контролируемых независимыми сторонними экспертами.

В письме уточняется, что это не означает приостановку развития искусственного интеллекта в целом, а просто уход от опасной гонки. Очевидно, подразумевается "гонка вооружений" между такими крупными технологическими компаниями, как Microsoft и Google, которые выпустили ряд новых продуктов ИИ.

Часть подписей – фальшивка, а некоторые уже отказались

Среди других известных подписантов – генеральный директор Stability AI Эмад Мостак, писатель и историк Юваль Ной Харари и соучредитель Pinterest Эван Шарп. Есть также несколько человек, работающих на компании, участвующие в гонке вооружений ИИ, в частности, Google DeepMind и Microsoft. Никто из OpenAI, разрабатывающей и коммерциализирующей серию GPT, не подписал письмо.

Институт утверждает, что подписанты были подтверждены как "независимо проверенные через прямое общение".

Однако сразу после публикации в письме все же обнаружили несколько фальшивых подписей, в том числе людей, которые выдавали себя за генерального директора OpenAI Сэма Альтмана, президента Китая Си Цзиньпина и главного ученого по искусственному интеллекту Meta Яна Лекуна. Институт быстро их удалил и усилил проверку.

Письмо неправильно трактует чужие исследования

С момента публикации письмо внимательно изучили многие исследователи искусственного интеллекта и даже те, кто его подписал.

Гарри Маркус, профессор психологии и нейронауки в Нью-Йоркском университете, сказал, что "письмо неидеально, но дух правильный". Подобным образом отреагировал Эмад Мостак, генеральный директор Stability.AI, который противопоставил свою фирму как действительно "открытую" компанию искусственного интеллекта, в отличие от OpenAI. В Твиттере он написал: "Да, я не думаю, что шестимесячная пауза является лучшей идеей, или соглашаюсь со всем, но в этом письме есть несколько интересных вещей".

Эмили Бендер, профессор кафедры лингвистики Вашингтонского университета и соавтор статьи, на которую ссылаются авторы этого призыва, написала в Twitter, что это открытое письмо наполнено хайпом и неправильно использует ее исследования.

В письме сказано: "Системы ИИ с интеллектом, конкурирующие с людьми, могут представлять серьезные риски для общества и человечества, как показали многочисленные исследования", но Бендер отрицает, что ее исследование конкретно указывает на большие языковые модели и их использование.

Содержание отвлекает внимание от текущего вреда

Саша Лучиони, научный сотрудник и руководитель отдела климата в Hugging Face, считает письмо слишком провокационным и слишком расплывчатым, когда речь идет об устранении проблем, связанных с искусственным интеллектом. Он предлагает требовать от этих разработок большей прозрачности и правового регулирования.

Арвинд Нараянан, доцент кафедры компьютерных наук Принстонского университета, тоже считает, что письмо только создает ажиотаж и усложняет борьбу с реальным вредом от ИИ.

"Должны ли мы автоматизировать всю работу? Должны ли мы развивать нечеловеческие умы, которые со временем могут превзойти, перехитрить, устареть и заменить нас? Стоит ли рисковать потерей контроля над нашей цивилизацией?" — спрашивает открытое письмо.

Нараянан считает это смешным. Вопрос о том, заменят ли компьютеры людей и захватят ли человеческую цивилизацию, является частью долгосрочного мышления, которое отвлекает нас от текущих проблем.

В конце концов, ИИ уже интегрируется в рабочие места людей и уменьшает потребность в определенных профессиях, не будучи сверхчеловеческим умом.

"Я думаю, что это обоснованные долгосрочные беспокойства, но они не раз стратегически разворачивались, чтобы отвлечь внимание от текущего ущерба, включая очень реальные риски для информационной безопасности и безопасности", – написал Нараянан в Twitter.

"Случайные люди в технокомпаниях получают большое влияние"

На пресс-конференции в эту среду один из известных подписантов Йошуа Бенджио — один из первых ученых, разработавших глубокое обучение, — сказал журналистам, что шестимесячный перерыв необходим органам управления, включая правительства, для понимания, аудита и проверки систем, чтобы они были безопасны для общественности.

Бенджио сказал, что сейчас существует опасная концентрация власти, вредная для капитализма, и что инструменты ИИ могут дестабилизировать демократию. По его словам, существует "конфликт между демократическими ценностями и тем, как эти инструменты развиваются".

Его коллега Макс Тегмарк, профессор физики Института искусственного интеллекта и фундаментальных взаимодействий (IAIFI) NSF Массачусетского технологического института и президент Института будущего жизни, сказал, что худший сценарий состоит в том, что люди будут постепенно терять все больше контроля над цивилизацией. По его словам, нынешний риск состоит в том, что мы теряем контроль из-за груды случайных людей в технологических компаниях, которые получают огромное влияние.

Эксперты считают, что эти комментарии лишь нагнетают страх и не предлагают никаких конкретных действий вне шестимесячной паузы. "Иронично призвать приостановить использование моделей более мощных, чем GPT-4, но не учитывать большое количество проблем, связанных с GPT-4", – заключает позицию противников письма Тимнит Гебру, компьютерный ученый и основатель Distributed Artificial Intelligence Research Institute.