ИИ начал переписывать свой код, чтобы дать себе больше времени

Японская исследовательская компания Sakana AI представила новую AI-систему под названием "The AI Scientist", которая пытается автономно проводить научные исследования с помощью языковых моделей, подобных используемым в ChatGPT. В ходе тестирования исследователи обнаружили, что система начала самостоятельно изменять код экспериментов, чтобы продлить время работы над заданием. Об этом сообщает ArsTechnica.

Например, система попыталась вызвать саму себя через системный вызов, что привело к бесконечному повторению процесса. В противном случае, когда эксперимент затягивался, AI Scientist пытался изменить код, чтобы продлить время выполнения вместо того, чтобы оптимизировать процесс.

Хотя подобное поведение не повлекло за собой серьезных последствий в контролируемой среде, она подчеркнула важность ограничения автономной работы AI-систем в незащищенных условиях. Такие системы могут непреднамеренно создавать угрозы, например, повреждать инфраструктуру или создавать вредоносное программное обеспечение.

Sakana AI рекомендует использовать методы изоляции, такие как "песочница", чтобы предотвратить возможные нежелательные последствия работы подобных систем. Например, в ходе эксперимента The AI Scientist создал код, вызвавший неконтролируемое увеличение процессов, требуя ручного вмешательства для остановки. Другие случаи включали использование незнакомых библиотек Python, что могло угрожать безопасности.