Украинскую LLM обучат на базе модели Gemma от Google

Минцифра и Киевстар выбрали открытую модель Gemma 3 от Google в качестве базы для обучения украинской большой языковой модели. Об этом сообщили в Министерстве цифровой трансформации Украины.

Gemma 3 уже поддерживает 140 языков, в том числе украинский, имеет 128 000 токенов и обладает мультимодальными возможностями – может работать не только с текстом, но и с изображениями.

Модель адаптируют под украинские задачи. Планируется улучшить токенизатор для более точного распознавания слов. Также ее будут дообучать на уникальных украиноязычных текстах. Кроме того, будут созданы собственные бенчмарки – тесты для проверки качества.

Gemma уже использовалась в украинских проектах, таких как Lapa LLM и MamayLM, а также при создании болгарской LLM BgGPT.

Недавно стало известно, что чат-бот "Дія.AI" перейдет с Gemini на национальную языковую модель. А в Украине сформировали команду для разработки национальной большой языковой модели.