У Бристолі вимкнули ШІ-моделі для оцінки ризику злочинів проти дітей через помилки

Поліція Ейвона і Сомерсета та міська рада Бристоля припинили використовувати щонайменше дві ШІ-моделі, що оцінювали ризик злочинів проти дітей. Причина — низька точність, а перевірити системи виявилося майже неможливо: незалежні аудитори не знайшли вихідний код і перелік змінних, пише WIRED.

Видання разом із правозахисною групою Liberty Investigates, локальним медіа Bristol Cable та некомерційною редакцією Lighthouse Reports проаналізували сотні сторінок документів, отриманих через запити про доступ до інформації. Матеріал вийшов на тлі запуску PoliceAI — національного центру для тестування та масштабування інструментів ШІ в поліції Англії та Уельсу.

Як Бристоль збирав дані

Йдеться про Think Family Database — базу даних міської ради Бристоля, запущену у 2016 році для роботи з родинами та дітьми, яким може знадобитися підтримка. За даними WIRED, вона могла включати записи майже про 500 000 мешканців міста, хоча на сторінці проєкту зараз ідеться приблизно про 55 000 сімей. Розбіжність може пояснюватися різницею між індивідуальними записами та сімейними профілями.

Think Family Database зводила поліцейські та соціальні дані: житловий статус, відомості про психічне здоров’я, підліткові вагітності, участь у батьківських курсах, пропуски школи та отримання безкоштовного шкільного харчування. За даними видання, відомості збирали без прямої згоди мешканців, використовуючи правові підстави для обміну інформацією між держструктурами.

Один із фахівців із даних поліції описував підхід як змішування різних масивів інформації.

«Я складаю все це у велике відро», — говорив він.

На базі Think Family Database правоохоронці та влада будували моделі машинного навчання, які присвоювали дорослим і дітям оцінки ризику. Журналістам відомо щонайменше про 23 моделі поліції Ейвона і Сомерсета — від прогнозу крадіжок із проникненням і неявки до суду до ризику зникнення людини та ймовірності стати жертвою домашнього насильства.

Паралельно працював застосунок Offender Management App, розрахований приблизно на 300 000 людей у регіоні. Один із старших офіцерів називав його основою для «турнірної таблиці» найнебезпечніших злочинців.

Чому моделі відключили

Одна з ранніх моделей оцінювала ризик злочинів проти дітей. За даними WIRED, до неї включили дані поліції, міської ради та інших держструктур, а також знеособлені відомості благодійної організації Barnardo’s щодо 1000 дітей, які вже постраждали від таких злочинів.

На скоринг також впливали:

• статус дитини, що потребує допомоги;
• систематичні пропуски школи;
• проблеми з психічним здоров’ям.

Інша модель враховувала житлову підтримку, заборгованість з оренди та безкоштовне шкільне харчування.

У 2016 році етичний комітет поліції застерігав, що обрані дані та змінні можуть призвести до алгоритмічної упередженості. Він радив використовувати систему обережно і заздалегідь пояснити суспільству, навіщо і як застосовується така аналітика.

Згодом проєкт оцінювала британська некомерційна консалтингова організація Social Finance. В огляді ризик-скоринг назвали найслабшою ланкою, а низьку точність — фактором, що підірвав практичну цінність моделей. На момент перевірки дві моделі оцінки ризиків злочинів проти дітей уже не використовувалися, пише WIRED.

Social Finance пов’язала погіршення якості моделей зі зміною набору даних. Поліція намагалася масштабувати підхід на територію Ейвона і Сомерсета, яка охоплює п’ять місцевих рад, але не домовилася про обмін даними з усіма місцевими органами влади. В результаті в моделях лишилося переважно поліцейське «ядро» без колишніх соціальних індикаторів.

За даними журналістів, співробітники міських служб Бристоля скаржилися, що вразливі діти не потрапляють у результати. Один із працівників писав, що неповнолітні, які нещодавно стали жертвами злочинів, могли отримувати нижчий бал, ніж фігуранти справ про крадіжки з проникненням. Інші службовці говорили, що не готові спиратися на оцінки через непрозору методику.

Social Finance також не змогла повноцінно перевірити моделі: вихідний код і список змінних знайти не вдалося. За даними WIRED, ані поліція, ані міська рада Бристоля станом на червень 2023 року не зберегли документи про рішення відмовитися від двох моделей оцінки ризиків злочинів проти дітей.

Що показав аудит

Окремо WIRED отримало від поліції понад 36 000 оцінок продуктивності щодо 13 моделей, які використовувалися або тестувалися у 2017–2024 роках. Видання передало масив аудиторській компанії Eticas. Там дійшли висновку, що більшість моделей мали низьку точність позитивних спрацювань. Тобто значну частку людей система помилково позначала як ризик.

Згідно з цими даними, модель для виявлення потенційних крадіїв із проникненням понад три роки показувала точність позитивних спрацювань нижче 10%: менше одного з десяти позначених системою людей справді скоював такий злочин. Аудитори також вказали, що такі показники нехарактерні для добре керованих моделей в операційному використанні.

Поліція заявила WIRED, що частина моделей, включно з інструментом щодо крадіжок із проникненням, не впроваджувалася. Наявність багаторічних оцінок їхньої продуктивності відомство пояснило автоматичною перевіркою статичного файла, який не видалили після відмови від впровадження.

Окремо на сайті йдеться, що частина інструментів відомства використовує ШІ, а результати алгоритмів застосовуються лише як рекомендаційний сигнал для співробітників. У поліції підкреслили, що моделі не ухвалюють рішень автоматично.

Міська рада Бристоля заявила, що зараз використовує лише модель ризику NEET — оцінку ймовірності того, що дитина після закінчення школи не буде навчатися, працювати або проходити професійну підготовку. За словами влади, інструмент не замінює професійне судження.

PoliceAI

Історія вийшла на тлі розширення використання штучного інтелекту в правоохоронних органах країни. 10 червня МВС Великої Британії запустило центр PoliceAI для тестування та масштабування інструментів ШІ у 43 поліцейських управліннях Англії та Уельсу. Бюджет проєкту — 75 млн фунтів стерлінгів на три роки.

У перший рік PoliceAI зосередиться на інструментах для розбору, розкриття та підсумовування цифрових доказів. Випробування мають пройти в десяти управліннях у 2026–2027 роках, а потім масштабуватися на всі поліцейські сили.

PoliceAI працює на базі Коледжу поліції — професійного органу, що відповідає за стандарти й навчання силовиків в Англії та Уельсі. Його очолює колишній головний констебль поліції Ейвона і Сомерсета Енді Марш.

WIRED звернуло увагу на цей зв’язок: у регіоні, де розвивали спірну ШІ-аналітику, раніше працював керівник структури, що тепер бере участь у масштабуванні штучного інтелекту для поліції. На цьому тлі кейс Бристоля показує, що ризики таких моделей пов’язані не лише з точністю алгоритмів, а й із якістю даних, збереженням документації та можливістю незалежної перевірки.

Раніше видання повідомило про жителя Меріленда Алонзо Сойєра, який провів дев’ять днів у в’язниці після помилкового збігу в системі розпізнавання облич.

Нагадаємо, у травні мер Лондона Садік Хан заблокував контракт британського підрозділу Palantir із Metropolitan Police майже на £50 млн. Угода передбачала впровадження аналітичної системи Unified Operational Analytics на базі штучного інтелекту для пришвидшення кримінальних розслідувань. Однак голова міста наклав вето на угоду, пославшись на «серйозні порушення» процедури закупівель.