Anthropic разрешила чат-боту Claude завершать разговоры, содержащие вредоносный контент

Компания Anthropic сообщила о новой функции в версиях Claude Opus 4 и 4.1. Искусственный интеллект теперь может прерывать чаты с пользователями. Она предназначена для редких случаев, когда пользователи постоянно отправляют вредоносные или оскорбительные запросы.

Это касается, в частности, попыток получить сексуальный контент с участием несовершеннолетних или информации, которая могла бы привести к насилию или террору в больших масштабах.

Эта опция срабатывает только в крайних случаях. Когда несколько попыток перенаправить разговор не дали результата или когда пользователь сам просит завершить чат. После этого пользователь не сможет отправлять новые сообщения в этом разговоре, но сможет сразу начать новый чат. Чтобы не потерять важные сообщения, можно редактировать и повторно отправлять предыдущие сообщения, создавая новые ветки закрытых чатов.

В ходе тестирования Claude Opus 4 продемонстрировал нежелание выполнять вредоносные запросы и завершал диалоги, когда пользователи продолжали отправлять вредоносный контент.

Anthropic подчеркивает, что большинство пользователей не заметят эту функцию при обычном использовании, даже при обсуждении спорных тем. Компания отмечает, что эксперимент с возможностью завершения чатов будет продолжаться, и просит пользователей оставлять отзывы в случае неожиданных действий Claude.

• Напоминаем, что Anthropic предоставит чат-бот Claude доступен всем ветвям власти США за $1 в год.
• Anthropic добавила поиск по прошлым чатам в чат-боте Claude. Эти функции доступны пользователям платных тарифов Max, Team и Enterprise.
• А Siri будет работать на ChatGPT или Claude вместо собственного ИИ.