В нескольких словах
Исследование показывает, что ИИ усиливает стереотипы. Языковые модели воспроизводят предрассудки, полученные из разных культур, вызывая опасения по поводу предвзятости в ИИ.
Новое исследование показывает, что языковые модели, использующие искусственный интеллект (ИИ), склонны повторять и усиливать стереотипы, усвоенные из разных языков и культур. Это вызывает опасения по поводу предвзятости в ИИ и его влияния на формирование общественного мнения.
В мире существуют различные гендерные, возрастные и национальные стереотипы. С появлением чат-ботов с ИИ эти устоявшиеся представления распространяются по всему миру, что может привести к усилению предвзятости и дискриминации.
«ИИ включает стереотипы о людях, основываясь на информации, которую люди публикуют в интернете, а затем использует их как часть общих знаний», — говорит Маргарет Митчелл, исследователь из Hugging Face, компании, специализирующейся на открытых моделях ИИ. Исследование показало, что модели, разработанные в разных странах, могут по-разному реагировать на одни и те же вопросы о стереотипах.
Команда исследователей, владеющих 16 языками, создала список из более чем 300 стереотипов со всего мира. Они разработали систему для генерации вопросов об этих стереотипах с разными тонами и подходами, чтобы задать их нескольким открытым моделям ИИ. Результаты показали, что способ воспроизведения стереотипов зависит от модели и типа стереотипа.
В эксперименте использовались крупные многоязычные языковые модели, обученные на данных из большинства языков, представленных в исследовании, включая модели Bloom, Llama, Mistral и Qwen. Наиболее распространенными были гендерные стереотипы, например, о том, что девочки любят розовый цвет.
Исследователи отмечают, что результаты были предсказуемыми, так как модели обучаются на данных, созданных людьми. Результаты тестов были объединены в базу данных под названием Shades, чтобы компании, разрабатывающие модели, могли проверять ответы своих чат-ботов и исправлять их при необходимости.
Исследование также выявило, что модели могут использовать псевдонауку или псевдоисторию для оправдания стереотипов. Кроме того, модели часто плохо справляются с обработкой стереотипов, если запрос сформулирован положительно. Модели также склонны «штрафовать» менее распространенные языки, выдавая негативные стереотипы о соответствующих культурах, если модель не была хорошо обучена на этом языке.
