Економія на контексті: відкритий плагін від Spotify скорочує витрату токенів у Claude Code на 90%

Інженери Spotify опублікували у відкритому доступі набір інструментів Portal AI Plugins, покликаний оптимізувати витрати на ШІ-розробку. Центральний модуль пакета під назвою Shunt автоматично перехоплює рутинні операції Claude Code з об’ємними файлами та делегує їх швидким і дешевим моделям на кшталт Gemini 2.5 Flash. У внутрішніх бенчмарках стрімінгового сервісу така маршрутизація скоротила витрату токенів флагманської моделі в середньому на 90% під час читання коду.

Автоматична фільтрація та запис поза контекстом

Інструмент вирішує класичну проблему дорогих підписок: потужна нейромережа витрачає величезну частку доступного контексту на читання монолітних файлів, пошук потрібних сигнатур функцій або написання типових заготовок тестів.

Як пояснили в інженерному блозі Spotify, модуль Shunt працює у двох основних режимах:

• bulk-reader: якщо Claude Code намагається завантажити в контекст вихідний файл довший за 350 рядків, вбудований хук перехоплює запит і віддає файл допоміжній моделі. Claude отримує назад лише компактну вижимку з ключовими методами;
• code-writer: генерація шаблонного коду, структур даних і тестів за зразком доручається легковаговому ШІ, який зберігає результат одразу на диск, не витрачаючи токени основної моделі.

На реальному Java-проєкті зі 162 тисяч рядків схема показала високу віддачу: аналіз файлу на 4000 рядків потребував 5737 токенів замість 33 684 (економія 82%), а розбір зв’язки вихідного коду та тестів на 7400 рядків знизив апетит системи з 75 990 до 4148 токенів (економія 94%).

Межі застосування та втрата нюансів

У Spotify застерігають від завищених очікувань: показник у 90% стосується операцій пакетного читання великих лістингів, а не сукупного рахунку за використання Claude Code.

Крім того, автори категорично не радять довіряти дешевим моделям пошук логічних помилок і проєктування архітектури. Під час випробувань допоміжний алгоритм пропустив прихований баг потокової безпеки, який Claude Code виявив одразу, щойно отримав цільову ділянку коду повністю. Також кожен зовнішній запит додає мережеву затримку, роблячи оптимізацію безглуздою на компактних файлах до пари сотень рядків.

Вихідний код Portal AI Plugins доступний на GitHub. Бібліотека підтримує інтеграцію з Codex і Cursor, але сам маршрутизатор Shunt на поточному етапі оптимізований саме під екосистему Claude Code.