Невидимый патруль: Как остановить диджитализацию насилия

Объясняет эксперт Amnesty Tech Джошуа Франко

Создатели Интернета верили, что их изобретение будут использовать для передачи особо важных данных. Но со временем мировая сеть стала отражением нашего мира — как всего лучшего, чего достигло человечество, так и его самых темных сторон. Дискриминация и насилие в интернете приобретают новые формы и становятся повсеместными: они могут добраться везде, где есть сеть. Как в таких условиях защищать права человека и не впадать в крайности, рассказывает Джошуа Франко, заместитель директора Amnesty Tech в Amnesty International.

Расскажите о своей работе в Amnesty Tech.

Это относительно новая программа, в которой задействованы юристы, адвокаты, инженеры из разных стран — Великобритании, Туниса, Германии, Китая. Мы занимаемся проблемами, связанными с тем, как технологии влияют на права человека. И в позитивном, и в негативном ключе.

С негативной стороны мы наблюдаем сталкинг (слежка при помощи социальных сетей и других средств коммуникации), порно-месть, распространение вирусов, абьюз по отношению к женщинам и меньшинствам. Сложно оценить, что приносит больший ущерб. В некоторых случаях все очевидно: например, порно-месть — распространение в сети эротических снимков или видео с участием человека без его согласия — может привести к серьезным проблемам с репутацией, самооценкой, даже к суициду. Считается, что абьюзивные посты менее опасны, но на деле все обстоит не совсем так. Например, если вы видите, какое количество оскорблений в своей адрес получают женщины-политики, вы можете заранее отказаться от такой карьеры — а ведь это повлияет на всю вашу жизнь.

Мы смотрим и на то, какие преимущества дают новые технологии для защиты прав человека. Мы используем микро-таскинговые платформы, которые называются декодерами,  работающие по модели Amazon Mechanical Turk. Есть много мелких задач, которые машинам сложно выполнить, здесь нужны добровольцы. Впервые мы попробовали это в Судане во время Дарфурского конфликта, когда просили волонтеров кликать на картинки со спутника и отмечать, есть ли на этом месте деревня или нет. Так мы могли отслеживать, когда совершались атаки. Мы не смогли бы этого сделать на месте.

Также у нас есть проект Troll Patrol. Волонтеры проанализировали около 600 000 абьюзивных твитов, направленных против женщин, и классифицировали их — действительно ли они абьюзивные, какой типа абьюза в них используется и на какую группу он направлен. Так нам удалось создать наиболее полную базу данных и в партнерстве с Element AI разработать алгоритм, позволяющий рассчитать масштабы интернет-абьюза. Это показало нам, как искусственный интеллект может помочь в модерировании контента.

Искусственный интеллект может решить проблему интернет-абьюза в будущем?

Есть большой соблазн поручить машинам разбираться с интернет-абьюзом из-за огромных масштабов этой проблемы. Человеку сложно справляться с такими объемами информации, кроме того, это может быть очень травматично — просматривать подобный контент в течение рабочего дня. Но искусственный интеллект не справится. Здесь нужен человек, только он может принять окончательное решение. С одной стороны, людям придется выполнять травматичную для них работу, с другой стороны, мы не можем доверить решения, связанные со свободой слова, несовершенным машинам.

Есть очень опасное убеждение в обществе, что алгоритмы намного более справедливы, чем люди, что только люди дискриминируют, а роботы нет, поэтому можно им поручить решение наших проблем. Но это не сработает, потому что они часть нашего мира — если обучать машину на стереотипизированных данных, мы получим стереотипизированные результаты. Это замкнутый круг.

Как вы решаете парадокс о цензуре и свободе слова? Ведь в какой-то момент одно исключает другое.

Я бы не назвал это парадоксом, это скорее внутреннее противоречие. Оно по-разному проявляется в разных сферах и для сферы digital оно не ново. Если посмотреть на проблему разжигания ненависти в международном праве, мы увидим, что там тоже нет четко сформулированной позиции, что это такое. И страны, и регионы видят ситуацию по-разному. Здесь всегда будет присутствовать некоторый уровень неопределенности.

Мы очень разумно подходим к этой проблеме и призываем не обращаться к цензуре или криминальным наказаниям и другим суровым мерам именно из-за того, что осознаем эту опасность. Контент модерируют частные компании, а не государственные, а значит, им будет сложно отстоять свою позицию в суде, если кто-то пожалуется, что его пост несправедливо удалили.

С другой стороны, абьюзивные посты могут наносить вполне осязаемый ущерб, насчет которого уже не может быть противоречивого мнения. Мы можем спорить о том, что легально, что не нелегально, но если речь идет о смертельных угрозах или о том, что потенциально приведет человека к самоубийству, это нелегально на всех уровнях, независимо от того, делаете ли вы это онлайн или вламываетесь к человеку в дом, угрожая ему.

Как доказать, что является абьюзом, а что нет?

У нас есть несколько ключевых определений. Но проблема в том, что недостаточно обратной связи. Если вы пожалуетесь на пользователя, вы в лучшем случае получите уведомление о том, что вашу жалобу расмотрели. Но ни вы, ни абьюзер, не получите внятного объяснения, почему контент был удален — из-за нарушения прав человека или, например, чьих-то авторских прав.

Нам бы хотелось видеть больше прозрачности в том, как принимают эти решения, потому что такая несогласованность заставляет людей гадать. А люди должны понимать, какие их права защищают, где их границы. Нужны прозрачные механизмы, которые будут предоставлять отчеты о том, сколько жалоб было получено, какие действия по ним предприняли, на каком основании.

Как родителям защитить своих детей от насилия в интернете?

В интернете есть много опасностей, на которые родителям стоит обращать внимание, но нужно учитывать права детей и потенциал их развития. Чем старше они становятся, тем больше свободы им нужно давать. В свою очередь, родителям нужно задумываться о том, какую информацию они публикуют и как это может повлиять на их жизнь в будущем. То, что однажды появляется в сети, остается там навсегда и может всплыть в самый неожиданный момент. Нужно учить детей на своем примере, показывать им, как обращаться с информацией.

Пользователю очень сложно отследить, куда попадают его данные, их могут использовать, чтобы прогнозировать его покупательское поведение, отслеживать его перемещения. Все это нужно учитывать.

А как защитить себя?

Нужно поднять проблему насилия на уровне мирового сообщества, обсудить, можем ли мы создать алгоритм, который не будет дискриминировать. Мы должны научиться жить в мире, где вся информация записывается, и определить, как она будет использоваться.

Проблему насилия сложно решить на уровне пользователя, она требует решения на государственном и международном уровне. Тем не менее, очень важно, чтобы женщины знали об инструментах, которые позволят им обезопасить себя. Они должны знать, как защитить свой аккаунт, заблокировать другого пользователя, отслеживать, кто находится в сети, оставлять жалобы на пользователей, которые распространяют абьюзивный контент. Для всего этого должны быть прозрачные механизмы.

Иллюстрация: Barbara Marini

Фото: Docudays Ua

Подготовила Оля Полякова

— Читайте также: Стереотипы и предрассудки: Чему мы научили искусственный интеллект

Мы в Facebook