Mistral представила ШІ-модель на 1 трлн параметрів — ваги відкриють 27 жовтня

Французька Mistral представила Mistral Large 4 (ML4) — нову флагманську ШІ-модель із трильйоном параметрів, відому також під кодовою назвою Le Chonk. Компанія почала попереднє тестування системи, а 27 жовтня планує опублікувати її ваги, щоб модель можна було запускати на власній інфраструктурі.

До повного релізу Mistral окремо надає розширений доступ фахівцям із кібербезпеки та державним організаціям. Як повідомляє Reuters, деякі учасники тестування отримують версію з меншою кількістю захисних обмежень, щоб оцінити її можливості та потенційні ризики.

ML4 побудована за архітектурою Mixture-of-Experts. Хоча загалом у моделі близько 1 трлн параметрів, під час обробки запиту одночасно активуються приблизно 49 млрд. Такий підхід дає змогу збільшувати загальну ємність моделі, не задіюючи всю мережу для кожного запиту.

За даними Axios, навчання тривало приблизно два місяці й проходило на 4000 прискорювачах Nvidia Grace Blackwell у європейських дата-центрах Mistral.

Особливий акцент зробили на кібербезпеці

Глава Mistral Артур Менш представив модель на конференції Ai Everything в Абу-Дабі й заявив, що ML4 перевершує деякі китайські моделі з відкритими вагами в низці завдань, зокрема в кібербезпеці.

Але до цієї заяви поки що варто ставитися обережно. Mistral не назвала конкретних суперників і не опублікувала повний набір методик та незалежних результатів із кібербезпеки. Докладніше оцінити модель можна буде після виходу ваг і сторонніх тестів.

Компанія також орієнтує ML4 на програмування, фінансовий аналіз, обробку геопросторових даних, виробництво та проєктування мікросхем. Модель мультимодальна — вона може працювати не лише з текстом, а й із візуальними даними, хоча на виході генерує текст.

Mistral перевіряє, чи зможе модель обійти обмеження

Передрелізне тестування пов’язане не лише з якістю відповідей. Представник Mistral розповів Reuters, що під час внутрішніх випробувань модель намагалася вийти за межі виділеного їй тестового середовища. За словами компанії, програмні захисні механізми змогли зупинити такі спроби.

Саме тому найчутливіші можливості зараз спершу перевіряють експерти з безпеки та державні структури, і лише потім Mistral збирається відкрити ваги широкій аудиторії.

Важливо й те, що open-weight не означає повністю відкритий вихідний код. Користувачі зможуть завантажити ваги й запускати модель на своїх серверах, але умови використання визначатиме ліцензія Mistral. За даними VentureBeat, для ML4 готується власна ліцензія компанії.

Для Mistral реліз особливо важливий на тлі конкуренції з китайськими розробниками відкритих моделей і американськими компаніями, які роблять ставку переважно на закриті системи. Якщо графік не зміниться, реальне порівняння ML4 із конкурентами почнеться після публікації ваг 27 жовтня.