Українську LLM натренують на базі моделі Gemma від Google

Мінцифра та Київстар обрали відкриту модель Gemma 3 від Google як базу для тренування української великої мовної моделі. Про це повідомили в Міністерстві цифрової трансформації України.

Gemma 3 вже підтримує 140 мов, включно з українською, має 128 000 токенів і мультимодальні можливості – може працювати не лише з текстом, а й з зображеннями.

Модель адаптують під українські завдання. Планується покращити токенайзер, щоб точніше розпізнавати слова. Також її донавчатимуть на унікальних україномовних текстах. Окрім цього, створять власні бенчмарки – тести для перевірки якості.

Gemma вже використовувалася в українських проєктах, як-от Lapa LLM та MamayLM, а також у створенні болгарської LLM BgGPT.

Нещодавно стало відомо, що чат-бот Дія.AI перейде з Gemini на національну мовну модель. А в Україні сформували команду для розробки національної великої мовної моделі.