Ингрид Луиза Дебора Раджи, работала в качестве стажера в компании по машинному обучению Clarifai, когда в 2017 году она обнаружила тревожный факт. В процессе разработки модели контент-модерации, предназначенной для фильтрации непристойных изображений, Раджи обнаружила, что модель несправедливо отмечает контент с людьми цвета кожи, который не является непристойным. Данные, на которых модель обучалась, были недостаточно разнообразными, и продукт отражал это. «В большинстве случаев модели, которые мы разрабатывали, имели данные, где порнографическое изображение, представляющее (непристойный) контент, было более разнообразным, чем стоковые изображения, представляющие безопасный контент». Другими словами, программа фильтровала мир, чтобы он был более белым, чем он есть на самом деле. Когда она подняла этот вопрос, она узнала, что отсутствие разнообразия — это не случайность, а норма в индустрии. «Если я говорила, что нам нужны более разнообразные данные, то получала ответ, что уже достаточно сложно получить любые данные, зачем нам заниматься созданием более сложных выборок?» (Компания Clarifai не ответила на запрос TIME для комментария). Это опыт побудил Раджи сменить свое внимание с мир стартапов на исследование искусственного интеллекта, где она начала заниматься разработкой методов аудита систем искусственного интеллекта как внутри компаний, так и за их пределами. Она сотрудничала с командой Ethical AI Google для внедрения более полного внутреннего процесса оценки систем искусственного интеллекта. Также она сотрудничала с Algorithmic Justice League, чтобы создать стратегии для «внешнего аудита» в рамках проекта Gender Shades, который оценивал точность инструментов классификации по гендеру от IBM, Microsoft и Face++, предназначенных для использования при классификации изображений и опознавании лиц. В то время как многие разговоры о регулировании искусственного интеллекта представляют собой будущее, Раджи отмечает, что нужно обращать внимание на ближайшее будущее. Когда компании не проводят должную оценку систем искусственного интеллекта перед их выпуском, это имеет реальные последствия, говорит она. Алгоритмы могут неправильно определять подозреваемых, приводя к ошибочным арестам, или поддерживать дискриминацию в жилищных вопросах в отношении людей цвета кожи. «Реальность заключается в том, что многие внедрения уже начались — и они выполняются довольно халатно», — говорит Раджи. В отсутствие государственного регулирования, Раджи отмечает, что в настоящее время задача лежит на разработчиках, чтобы предоставлять прозрачные оценки своих продуктов и вреда, который они могут причинить, хотя они могут не быть самыми надежными источниками. «Продукт компании оценивается на показателях, которые рассказывают очень красивую историю», — говорит она. «Им не требуется защищать своих пользователей ни в чем, начиная от конфиденциальности до честного общения о том, насколько хорошо система будет работать для этого пользователя». По программе стипендии с Mozilla Foundation, международной неправительственной организацией, охраняющей интернет, она работала над определением доступных инструментов аудита, которые позволят любому заинтересованному лицу — от правительственных чиновников до тех, кого вероятно затронут системы — лучше понять и оспаривать продукты до их внедрения в более широком масштабе. «Когда вы начинаете задавать вопросы на базовом уровне, это просто показывает, что вопрос намного сложнее, чем кажется на первый взгляд», — говорит она. «Это как открытие шкатулки Пандоры».
Другие специалисты
