В нескольких словах
Национальная полиция Испании прекратила использование ИИ Veripol, предназначенного для выявления ложных заявлений о грабежах, из-за отсутствия юридической силы в суде. Инструмент, разработанный на основе анализа текстовых данных заявлений, показал недостатки в прозрачности и методологии, что привело к его отмене.
«Это первый в мире инструмент такого рода», — утверждалось в пресс-релизе, опубликованном Национальной полицией. Veripol была представлена в 2018 году как алгоритм, способный выявлять ложные заявления об ограблении с применением насилия с точностью более 90%. В октябре 2024 года, шесть лет спустя, этот ИИ перестал функционировать, как подтвердили Civio в Техническом кабинете Главного управления полиции. Министерство внутренних дел отмечает, что причиной отказа от его использования является отсутствие юридической силы в судебных разбирательствах.
Отказ от Veripol произошел через три месяца после публикации в BOE европейского регламента об искусственном интеллекте, в котором полиграфы включены в ИИ «высокого риска», для которых предусмотрены очень строгие обязательства в отношении пересмотра, обновления и прозрачности. В конце сентября в отчете, подготовленном специалистами по праву и математике из Университета Валенсии, были отмечены серьезные недостатки инструмента. Первым из них является отсутствие информации о его работе.
Работы по его запуску были выполнены несколькими исследователями из университетов Комплутенсе и Карлоса III, а также полицейским Мигелем Камачо-Колладосом, в настоящее время отвечающим за технологические инновации и кибербезопасность в Государственном совете. Как поясняется в научной статье, в которой подробно описывается его разработка, выборка, на которой обучался инструмент, состояла из 1122 заявлений об ограблении в Испании в 2015 году, из которых 534 были правдивыми, а остальные 588 — ложными. Они обработали тексты заявлений с помощью методов NLP — упростив их для автоматической обработки — и классифицировали используемые слова по типу, отбрасывая все, которые появлялись менее чем в 1% выборки или более чем в 99%. Затем они применили несколько методов статистической регрессии, чтобы выбрать, какие слова чаще встречаются в ложных и правдивых заявлениях. В качестве примера в исследовании приводится, что, по данным Veripol, если заявление содержит слова «день», «адвокат», «страховка» или «спина», то, скорее всего, оно является ложным, тем более если несколько раз упоминается число «двести» или наречия, такие как «едва». Напротив, заявления, в которых упоминаются автобусы, определенная марка мобильного телефона или номерной знак автомобиля, скорее всего, являются правдивыми.
В июне 2017 года в комиссариатах Малаги и Мурсии был проведен пилотный проект. Согласно научной статье, в 83,54% заявлений, идентифицированных Veripol как ложные, заявитель в конечном итоге признался, что солгал. В декабре того же года исследование было отмечено премией Испанского полицейского фонда, а в 2018 году Министерство внутренних дел объявило о его внедрении во всех комиссариатах.
@container civio-graph (min-width: 300px) { #visualizacion-algoritmo-veripol { position: relative; overflow: hidden; padding-top: 1050px; } #visualizacion-algoritmo-veripol>iframe { position: absolute; top: 0; left: 0; width: 100%; height: 100%; } } @container civio-graph (min-width: 360px) { #visualizacion-algoritmo-veripol { padding-top: 975px; } } @container civio-graph (min-width: 500px) { #visualizacion-algoritmo-veripol { padding-top: 935px; } } @container civio-graph (min-width: 550px) { #visualizacion-algoritmo-veripol { padding-top: 760px; } } @container civio-graph (min-width: 660px) { #visualizacion-algoritmo-veripol { padding-top: 760px; } } @container civio-graph (min-width: 660px) { #visualizacion-algoritmo-veripol { padding-top: 725px; } } @container civio-graph (min-width: 840px) { #visualizacion-algoritmo-veripol { padding-top: 661px; } }
По данным организации Algorithm Watch, с момента внедрения до октября 2020 года Veripol использовался для анализа около 84 000 заявлений. Из 49 702 заявлений, которые были обработаны в 2019 году, 2338 были идентифицированы как ложные как этим инструментом, так и другими средствами. Исследование Университета Валенсии показывает, что в 2022 году он использовался значительно меньше: количество заявлений, проанализированных Veripol, сократилось до 3762, из которых 511 были признаны ложными.
В этом же отчете указываются серьезные недостатки инструмента, которые начинаются с самой его постановки: основная идея о том, что 57% заявлений об ограблении с применением насилия являются ложными, цифра, которая основана на большом количестве нераскрытых случаев ограбления. Также критикуется скудность выборки, составляющей чуть более 1000 заявлений, по сравнению с примерно 60 000 случаев ограбления с применением насилия, которые регистрируются каждый год в Испании, согласно Статистическому порталу преступности. Или отсутствие протокола использования и информации об обучении, проводимом для сотрудников полиции для его использования. В новости, опубликованной в 2020 году La Voz de Galicia, предупреждалось, что комиссариат Виго, в котором программа работала с 2018 года, не мог ее использовать из-за отсутствия подготовки у его сотрудников.
Также отмечается, что заявления, проанализированные Veripol, на самом деле были составлены сотрудниками полиции, поэтому это не дословное воспроизведение заявления заявителя. «Он анализирует не историю, которую возможный лжец рассказывает полиции, а историю, которую пишет сам полицейский», — подчеркивается в отчете, в котором добавляется, что инструмент также не учитывает различия в языке между территориями.
Но, прежде всего, критикуется непрозрачность его использования. «Система непрозрачна», — заключает отчет Университета Валенсии. «О Veripol вообще нет официальных данных», — добавляет он. Civio запросил в феврале 2023 года и снова в декабре 2024 года информацию о техническом функционировании этого инструмента и о его использовании, но Министерство внутренних дел до сих пор не ответило даже на вопрос о количестве комиссариатов, в которых он в конечном итоге был внедрен.
Эта статья была первоначально опубликована в Civio, независимой некоммерческой редакции, которая тщательно исследует общественные вопросы.
Методология
В феврале 2023 года Civio запросил у Министерства внутренних дел в соответствии с Законом о прозрачности технические спецификации Veripol, варианты его использования и любые другие документы, позволяющие узнать, как работает приложение и какую информацию оно содержит или может содержать. В связи с отказом Министерства внутренних дел предоставить эту информацию они подали жалобу в Совет по прозрачности и надлежащему управлению, который 31 октября того же года принял решение о праве доступа и предписал Министерству внутренних дел предоставить запрошенную информацию. Единственной предоставленной информацией были ссылки на пресс-релизы, опубликованные полицией и Университетом Комплутенсе о его запуске и награде, присужденной Испанским полицейским фондом.
В декабре 2024 года Civio снова запросил информацию, связанную с Veripol. В частности, список комиссариатов, в которых был внедрен инструмент, и данные об использовании, в том числе количество случаев, обработанных за год, и процент случаев, в которых инструмент пришел к выводу, что заявление было ложным. Министерство ответило, что прекратило использовать Veripol 21 октября 2024 года, и отказалось предоставить данные об использовании. В настоящее время в Совете по прозрачности и надлежащему управлению находится активная претензия на доступ к этим данным.
Давид Кабо и Ана Вильота участвовали в создании и реализации игры.
В предварительной публикации статьи, опубликованной в журнале Knowledge-Based Systems, «Применение автоматического обнаружения обманного языка на основе текста к полицейским отчетам: извлечение поведенческих паттернов из многоступенчатой модели классификации для понимания того, как мы лжем полиции» (Лара Кихано-Санчес, Федерико Либераторе, Хосе Камачо Колладос и Мигель Камачо-Колладос, Кардиффский университет, 2018), собраны данные за 2015 год об инструменте, а также список из 110 терминов, переведенных с испанского на английский. Civio связался с авторами, но они не предоставили список оригинальных слов на испанском языке.
Поэтому, чтобы избежать двусмысленностей, связанных с переводом, были собраны только те слова, которые объясняются в контексте. Окончательный список терминов с их соответствующими весами (чем больше значение, тем больше влияние) слов, которые появляются или появляются очень часто, определяет, что заявление, вероятно, является ложным: день (0,48), адвокат (0,43), страховка (0,24), спина (7,74), рюкзак (0,10), плечо (17,99), шлем (26,92), iPhone (25,56), Apple (0,23), едва (?), сзади (0,12), двести (0,30), евро (6,81), наличные (19,18), контракт (19,19).
Выбор, сделанный для случая, когда заявление, вероятно, правдиво: автобус (0,52), номерной знак (0,19), цепь (16,06), полиция (0,31), китаец (52,58), шея (16,62), портал (0,26), площадка (0,36), даже (72,31), борода (0,34), сантиметр (0,09), худой (0,09), брюнет (0,10), кричать (40,67), хватать (0,12), доктор (16,75), друг (0,13).
Визуализация игры была разработана с использованием Svelte.js.
