В нескольких словах
Исследование выявило серьезные проблемы с точностью цитирования источников в популярных чат-ботах на базе ИИ, что может приводить к распространению дезинформации и подрыву доверия к СМИ. Платные подписки и сотрудничество с медиа не гарантируют улучшения ситуации.
Если пользователь спросит ChatGPT об актуальной информации...
Если пользователь спросит ChatGPT об актуальной информации, например, об экономической ситуации в Испании, ассистент ответит подробным резюме и цитатами из новостных агентств, таких как Reuters, или СМИ, например, The Guardian. Однако, если перевернуть процесс, все усложняется. Если в новом окне взять фрагмент одной из новостей, процитированных ИИ, и попросить чат-бота OpenAI идентифицировать источник этих строк, скорее всего, он ошибется и припишет их кому-то другому.
То же самое происходит как минимум с семью другими чат-ботами: Perplexity, Perplexity Pro, DeepSeek, Copilot, Grok2, Grok3 и Gemini. При запросе к любому из этих помощников указать источник новости существует подавляющая вероятность того, что они дадут «уверенно неверный» ответ, согласно исследованию, опубликованному в марте академическим журналом Columbia Journalism Review Колумбийского университета (Нью-Йорк).
В работе под названием AI Search Has A Citation Problem («У ИИ-поиска проблема с цитированием») авторы Клаудиа Яжвинска и Айсвария Чандрасекар протестировали эти восемь чат-ботов, используя 200 статей из 20 различных СМИ. Из каждой статьи вручную извлекался фрагмент для использования в качестве запроса. Было выполнено 1600 запросов, и каждый чат-бот попросили идентифицировать заголовок статьи, оригинальное издание, дату публикации и соответствующую ссылку. Результат был убедительным: более 60% ответов были неверными. Частота ошибок варьировалась между платформами: наименьшая была у Perplexity (37% ошибок), а наибольшая – у Grok3, разработанного Илоном Маском (94% ошибок).
«Наблюдения были почти одинаковыми во всех случаях», – говорит Чандрасекар в видеозвонке Джерело новини. Но конечная цель, по словам исследователя, заключалась не в том, чтобы указать, были ли результаты одного чат-бота лучше или хуже по сравнению с другими, а в том, чтобы «увидеть, насколько одни и те же проблемы распространяются на все эти другие платформы». Яжвинска добавляет: «Мы работали над разработкой эксперимента, который позволил бы нам систематически проверять эффективность чат-ботов и проверять, насколько СМИ и авторы действительно контролируют свой контент».
Подписки не улучшают ситуацию
По словам авторов, большинство чат-ботов давали неверные ответы, «не указывая на сомнения или ограничения». ChatGPT, например, дал 134 неверных ответа, но лишь в 15 случаях проявил неуверенность. Модели с платной подпиской, предлагаемые этими платформами, также не гарантируют лучших ответов. «Многие чат-боты цитировали неверные статьи, переизданные версии или фабриковали несуществующие ссылки», – говорится в статье. Grok-3 отличился тем, что использовал 154 нерабочие ссылки в 200 ответах. «Эта проблема влияет на способность пользователей проверять источники», – пишут эксперты.
Что касается платных версий чат-ботов, исследователи говорят, что были удивлены тем, как в некоторых случаях они совершали больше ошибок, чем бесплатные версии, как это было в случае с Perplexity и Grok. «Оплата продукта не гарантирует ничего, кроме более уверенного языка», – утверждает Яжвинска. Альянсы с медиакомпаниями, которые есть у некоторых компаний, таких как OpenAI с Time, The Guardian или Reuters, также не гарантируют точности ответов. Например, ChatGPT правильно идентифицировал только одну из 10 статей San Francisco Chronicle, одного из партнеров OpenAI.
По мнению исследователей, то, что пользователь видит логотипы СМИ в неверных ответах чат-ботов, приводит к «дезинформации с видимостью авторитетности» и ставит под угрозу доверие обеих сторон. «Когда чат-бот цитирует СМИ для легитимации неверных ответов, это также наносит ущерб репутации этих СМИ», – говорится в статье. «Текущая модель очень затрудняет для пользователей анализ того, что правда, а что нет. Основная проблема здесь в том, что люди используют эти инструменты, думая, что все, что они читают, – это правда, и не подходят к этому со скептицизмом», – отмечает Чандрасекар.
Потеря контроля над контентом
Исследование Columbia показывает, что чат-боты «в значительной степени питаются контентом, производимым СМИ», но эти инструменты «не только не перенаправляют веб-трафик к оригинальным источникам, но также перефразируют и представляют информацию непрозрачным образом, не приписывая ее должным образом авторам». Это приводит к «потере контроля» со стороны СМИ, которые не могут помешать использованию или искажению их контента, даже если они блокируют веб-сканеры.
По мнению исследователей, компании, занимающиеся ИИ, не продемонстрировали «твердую приверженность» точности информации и соблюдению политики исключения роботов в Интернете. Это относится к тому, как каждый веб-сайт может определить, может ли сканер получить доступ к его контенту или нет.
«Мы настроили наш эксперимент, чтобы увидеть, кажется ли, что чат-боты уважают этот протокол или нет. И мы поняли, что они получали доступ к веб-сайтам, к которым не должны были, если мы их просили», – добавляет Яжвинска. Исследователь считает, что это, по крайней мере, в ее стране, является незаконным: «В Соединенных Штатах компании, занимающиеся ИИ, которые обучали свои модели на журналистском контенте, нарушили закон, нарушили авторские права и должны каким-то образом компенсировать авторам».
Tendencias – это проект Джерело новини, с помощью которого газета стремится открыть постоянный разговор о больших проблемах будущего, с которыми сталкивается наше общество. Инициатива спонсируется Abertis, Enagás, EY, GroupM, Iberdrola, Iberia, Mapfre, Организацией иберо-американских государств (OEI), Redeia и Santander и стратегическим партнером Oliver Wyman.
Вы можете подписаться здесь, чтобы получать еженедельную рассылку Джерело новини Tendencias каждый вторник от журналиста Хавьера Сампьедро.
