Заранее выявлять предубеждения в моделях машинного обучения довольно сложно, и иногда компании узнают о них только постфактум.

Компания Twitter объявила о своей готовности платить вознаграждение пользователям и исследователям за сообщения об «алгоритмических предубеждениях» на платформе. По словам руководства компании, это будет первым в истории соревнованием по обнаружению дискриминации пользователей со стороны алгоритмов машинного обучения. Сумма вознаграждения составит до $3,5 тыс.

«Обнаруживать предубеждения в моделях машинного обучения довольно сложно, и иногда компании узнают о непредумышленном этическом ущербе только тогда, когда они (алгоритмы – ред.) уже достигли публики», – сообщили исполнительные директоры Twitter Румман Чоудхури (Rumman Chowdhury) и Ютта Уильямс (Jutta Williams).

Челлендж по поиску предубеждений в алгоритмах машинного обучения будет базироваться на программе выплаты вознаграждения за уязвимости (bug bounty). Как отметили Чоудхури и Уильямс, модель выявления уязвимостей в сервисе с помощью хакерского сообщества также является перспективной в выявлении предубеждений.

«Мы вдохновлены тем, как сообщества исследователей и хакеров помогли специалистам в области безопасности разработать передовые методы выявления и устранения уязвимостей для защиты населения. Мы хотим создать подобное сообщество […] для упреждающего и коллективного выявления алгоритмического ущерба», — сообщили Чоудхури и Уильямс.

Twitter заявила о запуске новой программы на фоне растущей озабоченности по поводу автоматизированных алгоритмических систем, которые, несмотря на стремление быть нейтральными, могут включать расовые или другие формы предубеждений.

Twitter, ранее в этом году выступившая с инициативой алгоритмической справедливости, заявила в мае, что отказывается от автоматической системы обрезки изображений после того, как в ходе ее проверки была обнаружена предвзятость в алгоритме, управляющем этой функцией.

Источник: securitylab