Anthropic дозволила чат-боту Claude завершувати розмови зі шкідливим контентом

Компанія Anthropic повідомила про нову функцію у версіях Claude Opus 4 і 4.1. Штучний інтелект тепер може припиняти розмови у чатах з користувачами. Вона призначена для рідкісних випадків, коли користувачі постійно надсилають шкідливі або образливі запити.

Це стосується, зокрема, спроб отримати сексуальний контент із неповнолітніми або інформацію, що могла б призвести до насильства чи терору у великих масштабах.

Опція спрацьовує лише у крайніх випадках. Коли кілька спроб перенаправити розмову не дали результату або коли користувач сам просить завершити чат. Після цього користувач не зможе надсилати нові повідомлення у цій розмові, але зможе одразу почати новий чат. Щоб не втратити важливі розмови, можна редагувати та повторно надсилати попередні повідомлення, створюючи нові гілки закритих чатів.

Під час тестів Claude Opus 4 показав небажання виконувати шкідливі запити і завершував розмови, коли користувачі і далі надсилати шкідливий контент.

Anthropic підкреслює, що більшість користувачів не помітять цю функцію у звичайному використанні, навіть під час обговорення спірних тем. Компанія зазначає, що експеримент із можливістю завершення чатів триватиме, а користувачів закликають залишати відгуки у разі несподіваних дій Claude.

• Нагадаємо, що Anthropic надасть чатбот Claude усім гілкам влади США за $1 на рік.
• Anthropic додала пошук з минулих чатів у чатбот Claude. Ці функції доступні користувачам платних тарифів Max, Team та Enterprise.
• А Siri працюватиме на ChatGPT чи Claude замість власного ШІ.