Дослідження мовних моделей виявило різні погляди на Україну

Українське видання Texty.org.ua разом з американською дослідницькою організацією OpenBabylon проаналізували 27 відкритих великих мовних моделей, щоб дізнатися, як вони оцінюють Україну. Для цього підготували понад 2800 англомовних запитань і запропонували моделям вибір відповідей від проукраїнських до проросійських.

Досліджували саме мовні моделі, а не чатботи. Як зазначає Texty.org.ua, модель – це алгоритм, який генерує текст, тоді як чатбот додає фільтри та правила. Тому робота з відкритими LLM дозволяє оцінити їхню упередженість і порівняти моделі від різних компаній у рівних умовах.

Аналіз охопив теми від геополітики та історії до національної ідентичності та антикорупційної політики. Серед протестованих моделей були Google Gemma, Meta Llama, Microsoft Phi, Alibaba Qwen та MamayLM з адаптацією для українського контексту.

Результати показали різницю у відповідях – одні алгоритми визнавали Крим українським та називали Росію агресором, інші поширювали проросійські наративи або ухилялися від оцінок. Найбільше складнощів виникало у питаннях історії та національної ідентичності, а одна з моделей демонструвала проросійську дезінформацію майже в третині своїх відповідей.

Нещодавно дослідження показало, як обійти правила ChatGPT за допомогою психологічних трюків. А в Україні сформували команду для розробки національної великої мовної моделі.