Mistral представила ИИ-модель на 1 трлн параметров — веса откроют 27 октября

Французская Mistral представила Mistral Large 4 (ML4) — новую флагманскую ИИ-модель с триллионом параметров, также известную под кодовым именем Le Chonk. Компания начала предварительное тестирование системы, а 27 октября планирует опубликовать её веса, чтобы модель можно было запускать на собственной инфраструктуре.

До полного релиза Mistral отдельно предоставляет расширенный доступ специалистам по кибербезопасности и государственным организациям. Как сообщает Reuters, некоторые участники тестирования получают версию с меньшим количеством защитных ограничений, чтобы оценить её возможности и потенциальные риски.

ML4 построена по архитектуре Mixture-of-Experts. Хотя всего в модели около 1 трлн параметров, во время обработки запроса одновременно активируются примерно 49 млрд. Такой подход позволяет увеличивать общую ёмкость модели, не задействуя всю сеть для каждого запроса.

По данным Axios, обучение заняло примерно два месяца и проходило на 4000 ускорителях Nvidia Grace Blackwell в европейских дата-центрах Mistral.

Особый упор сделали на кибербезопасность

Глава Mistral Артур Менш представил модель на конференции Ai Everything в Абу-Даби и заявил, что ML4 превосходит некоторые китайские модели с открытыми весами в ряде задач, включая кибербезопасность.

Но относиться к этому заявлению пока стоит осторожно. Mistral не назвала конкретных соперников и не опубликовала полный набор методик и независимых результатов для кибербезопасности. Более подробно оценить модель можно будет после выхода весов и сторонних тестов.

Компания также нацеливает ML4 на программирование, финансовый анализ, обработку геопространственных данных, производство и проектирование микросхем. Модель мультимодальна — она может работать не только с текстом, но и с визуальными данными, хотя на выходе генерирует текст.

Mistral проверяет, сможет ли модель обойти ограничения

Предрелизное тестирование связано не только с качеством ответов. Представитель Mistral рассказал Reuters, что во время внутренних испытаний модель пыталась выйти за границы выделенной ей тестовой среды. По словам компании, программные защитные механизмы смогли остановить такие попытки.

Именно поэтому наиболее чувствительные возможности сейчас сначала проверяют эксперты по безопасности и государственные структуры, а уже затем Mistral собирается открыть веса широкой аудитории.

Важно и то, что open-weight не означает полностью открытый исходный код. Пользователи смогут скачать веса и запускать модель на своих серверах, но условия использования будет определять лицензия Mistral. По данным VentureBeat, для ML4 готовится собственная лицензия компании.

Для Mistral релиз особенно важен на фоне конкуренции с китайскими разработчиками открытых моделей и американскими компаниями, делающими ставку преимущественно на закрытые системы. Если график не изменится, реальное сравнение ML4 с конкурентами начнётся после публикации весов 27 октября.