Для Ornith-1.5-9B випустили «uncensored»-версію — 9B-модель можна запускати локально без хмари

Для компактної мультимодальної нейромережі Ornith-1.5-9B з’явилася неофіційна модифікація зі знятими системними обмеженнями. Збірка під назвою Ornith-1.5-9B-uncensored позбавлена вбудованих відмов під час обробки чутливих запитів і адаптована під формати GGUF та MLX для повністю автономного запуску на споживчих ПК через llama.cpp.

Техніка аблітерації та збереження мультимодальності

Базову модель Ornith-1.5-9B розробила команда Ornith AI на основі архітектури Qwen3.5. Модель отримала нативне контекстне вікно обсягом 262 144 токени (256k), здатність розпізнавати зображення та високі показники в написанні коду: у бенчмарку SWE-bench Verified вона набрала 70,6% розв’язаних завдань.

Версію без цензури випустив незалежний розробник junafinity за допомогою методу аблітерації (abliteration). Використовуючи утиліту ZeroFuse, автор вирізав із матриці ваг напрямки, які активують захисні фільтри у відповідь на суперечливі інструкції. Під час внутрішніх стрес-тестів на 64 шкідливих запитах базова модель відхилила 9 команд, тоді як збірка Ornith-1.5-9B-uncensored виконала всі завдання без відмов.

Модель зберегла зір: у бібліотеці GGUF-квантів від mradermacher візуальний модуль поширюється окремим файлом розміром близько 1 ГБ. Сама мовна модель займає від 3,9 ГБ в ультралегкому профілі Q2_K до 5,7 ГБ у рекомендованому квантуванні Q4_K_M (9,6 ГБ у 8-бітному Q8_0).

Реальні вимоги до пам’яті та міф про смартфони

У профільних спільнотах новину зустріли вірусним твердженням про те, що нейромережа без проблем розгортається на будь-якому телефоні з 8 ГБ оперативної пам’яті. Насправді розмір файлу в гігабайтах не відображає реального споживання пам’яті.

Для завантаження 9-мільярдної моделі разом із графічним адаптером і службовими буферами потрібно від 8 до 12 ГБ доступної VRAM. Спроба завантажити довгий контекст у 256 тисяч токенів призведе до лавиноподібного розростання KV-кешу, що вимагатиме ще десятки гігабайтів оперативної пам’яті, а це недосяжно для мобільних пристроїв.

Проєкт створювався в дослідницьких цілях для тестування вразливостей (red teaming) і роботи з кодом без хибних спрацьовувань систем безпеки. Випуск квантованих файлів робить модель чудовим інструментом для локального ПК, проте вимкнення вбудованих фільтрів перекладає відповідальність за безпеку відповідей виключно на власника пристрою.