Как запустить нейросеть Ornith-1.5 на Android и iPhone: пошаговый гайд по локальному ИИ без интернета

Открытую языковую модель Ornith-1.5-9B можно использовать полностью автономно прямо на смартфоне без отправки данных на сторонние сервера. Ранее мы подробно разбирали характеристики и результаты тестов открытой линейки моделей Ornith-1.5, а данный гайд описывает процесс её локального развёртывания на Android и iOS.
Для запуска используется бесплатное мобильное приложение PocketPal AI, работающее на базе движка llama.cpp и поддерживающее модели в квантованном формате GGUF.
Требования к оперативной памяти смартфона
Для комфортной работы 9B-модели на телефоне учитывайте объём доступной RAM:
- 8 ГБ RAM: минимальный порог. Потребуется агрессивное 3-битное квантование и ограничение контекста до 2048–4096 токенов;
- 12 ГБ RAM: стабильная работа с 4-битным квантованием (Q4) при контексте 4096–8192 токена;
- 16 ГБ RAM и выше: оптимальный вариант для быстрой генерации без риска закрытия фоновых процессов системы.
Пошаговая инструкция по установке
- Установите клиент PocketPal AI из App Store или Google Play (исходный код доступен на GitHub проекта);
- Откройте вкладку Models и выберите поиск моделей напрямую с Hugging Face;
- Введите название репозитория: ornith-ai/Ornith-1.5-9B-GGUF;
- Выберите квантованную версию Q4_K_M (файл занимает около 5–6 ГБ);
- В настройках сессии установите начальный контекст на 4096 токенов;
- Нажмите кнопку загрузки, дождитесь инициализации весов в памяти и перейдите в чат. После загрузки интернет на смартфоне можно полностью отключить.
Рекомендуемые параметры генерации и запуск на ПК
Для общеразговорных сценариев разработчики советуют выставлять параметры temperature 1.0, top_p 0.95 и top_k 20. В задачах генерации программного кода температуру рекомендуется снизить до temperature 0.6.
Если вам требуется запустить модель на компьютере под управлением Windows, macOS или Linux, проще всего воспользоваться утилитой Ollama, выполнив в терминале команду:
ollama run ornith-1.5:9b
Компактная версия 9B занимает на диске около 6,6 ГБ, поддерживая интеграцию со сторонними редакторами кода и средами разработки через локальный API.