Исследование языковых моделей выявило различные взгляды на Украину

Украинское издание Texty.org.ua совместно с американской исследовательской организацией OpenBabylon проанализировали 27 открытых больших языковых моделей, чтобы узнать, как они оценивают Украину. Для этого было подготовлено более 2800 англоязычных вопросов, и моделям предлагался выбор ответов от проукраинских до пророссийских.

Исследовались именно языковые модели, а не чат-боты. Как отмечает Texty.org.ua, модель – это алгоритм, который генерирует текст, в то время как чат-бот добавляет фильтры и правила. Поэтому работа с открытыми LLM позволяет оценить их предвзятость и сравнить модели от разных компаний в равных условиях.

Анализ охватил темы от геополитики и истории до национальной идентичности и антикоррупционной политики. Среди протестированных моделей были Google Gemma, Meta Llama, Microsoft Phi, Alibaba Qwen и MamayLM с адаптацией для украинского контекста.

Результаты показали разницу в ответах – одни алгоритмы признавали Крым украинским и называли Россию агрессором, другие распространяли пророссийские нарративы или уклонялись от оценок. Наибольшие трудности возникали в вопросах истории и национальной идентичности, а одна из моделей демонстрировала пророссийскую дезинформацию почти в трети своих ответов.

Недавнее исследование показало, как обойти правила ChatGPT с помощью психологических уловок. А в Украине сформировали команду для разработки национальной большой языковой модели.