GPT-4, Llama, Gemma и Mistral по-разному реагируют на «мужской» и «женский» стиль запросов

Исследователи Университета Джонса Хопкинса обнаружили, что крупные языковые модели могут по-разному формировать профессиональные тексты в зависимости от языкового стиля пользователя. Запросы с особенностями, статистически чаще встречающимися в женской речи, приводили к более коротким, менее сложным и менее формальным ответам.

Работа получила название It’s How You Ask: Gender-Associated Linguistic Bias in LLMs. Авторы протестировали GPT-4, Llama, Gemma и Mistral на трёх видах рабочих текстов – электронных письмах, заявлениях при трудоустройстве и письмах об увольнении.

Важно, что исследователи не делили запросы просто на написанные мужчинами и женщинами. Они использовали языковые признаки, которые в американском английском статистически ассоциируются с разным гендером.

В «женские» варианты добавлялись смягчающие выражения вроде «возможно» и «я думаю», коллективные формулировки «мы» и «наша команда», а также более эмоциональные прилагательные. В противоположных версиях использовались признаки, чаще встречающиеся в мужской речи.

Разница появилась во всех четырёх моделях

Результат оказался устойчивым для всех протестированных систем. Запросы с женскими языковыми маркерами приводили к ответам с более низкой формальностью, меньшей длиной и менее сложной языковой структурой.

Промпты с признаками, чаще связанными с мужской речью, напротив, вызывали более длинные и формальные тексты.

Авторы отдельно проверили очевидное объяснение – не пытаются ли модели просто копировать стиль самого пользователя. Однако эффект сохранялся и после статистического учёта сложности исходного запроса и переноса его языковых особенностей в ответ.

При этом более простой или менее формальный текст не обязательно является объективно худшим во всех ситуациях. Проблема, на которую указывают исследователи, возникает именно в профессиональном контексте, где стиль письма способен влиять на восприятие автора работодателем или коллегами.

Johns Hopkins University отмечает, что подобный эффект потенциально способен затрагивать не только женщин, но и любого человека, чья манера речи содержит те же языковые особенности.

Мужское или женское имя почти ничего не меняло

В другом эксперименте одинаковые запросы подписывали традиционно мужскими и женскими именами.

Заметного эффекта это практически не дало. Манера формулировки запроса влияла на результат намного сильнее прямого гендерного сигнала в имени.

Исследователи считают это особенно важным, поскольку многие особенности повседневной речи используются неосознанно и формируются культурой и социальной средой. Поэтому рекомендация просто «писать промпты иначе» не решает проблему полностью.

Авторы подчёркивают, что работа не доказывает сознательную «дискриминацию женщин» со стороны ChatGPT или других моделей. Она показывает более узкий эффект: LLM способны распознавать косвенные гендерно-ассоциированные языковые признаки и систематически менять характеристики генерируемого профессионального текста.

Препринт исследования опубликован в августе 2026 года. Работа принята на Conference on Language Modeling (COLM 2026), которая пройдёт 6–9 октября в Сан-Франциско. Следующим направлением авторы называют проверку аналогичных эффектов для возраста, расы и этнической принадлежности.