«Ни одна компания не действует ответственно»: ведущий исследователь Anthropic покинул индустрию из-за риска потери контроля над ИИ

Исследователь Джейкоб Коксон, ранее работавший в OpenAI и последние три года отвечавший за предварительное обучение моделей в Anthropic, объявил об уходе из компании и полном разрыве с индустрией искусственного интеллекта. Специалист заявил, что агрессивная коммерческая гонка вынуждает ведущие лаборатории пренебрегать протоколами безопасности ради ускоренного создания самосовершенствующихся алгоритмов.

Компромиссы ради выживания на рынке

В своем публичном заявлении и интервью газете The Wall Street Journal 27-летний специалист подробно объяснил мотивы увольнения. Коксон перешел в Anthropic именно из-за ее репутации лаборатории, ставящей этику и безопасность выше рыночной выгоды. Однако на практике необходимость удерживать темп в борьбе с OpenAI и другими гигантами свела эти принципы к формальности.

«Ни одна из компаний сейчас не действует ответственно. Внутри лабораторий многие всерьез допускают катастрофические сценарии уже к концу десятилетия, но никто не может позволить себе нажать на тормоз из страха уступить лидерство», — заявил разработчик.

По оценке Коксона, темпы развития опережают понимание архитектуры: современные нейросети уже способны автономно искать эксплойты в коде и участвовать в разработке софта, тогда как надежных методов математического контроля над поведением сверхразумных систем до сих пор не создано.

Угроза рекурсивного самосовершенствования

Опасения инженера прямо соотносятся с недавней аналитической запиской исследовательского института Anthropic, посвященной рекурсивному самообучению (RSI). В материале признается: когда алгоритмы начинают массово писать код для тренировки своих следующих итераций, вероятность критической потери управляемости резко возрастает.

Как подчеркивает издание Business Insider, демарш Коксона пополнил череду увольнений профильных исследователей из подразделений безопасности ведущих ИИ-компаний.

Коксон призывает правительства ввести жесткий регуляторный надзор за индустрией и законодательно зафиксировать временный мораторий на наращивание параметров сверхмощных моделей. Его уход не является доказательством того, что бесконтрольный сверхразум уже создан, однако наглядно иллюстрирует тревожные настроения внутри элитных команд разработчиков.