На прошлой неделе стало известно, напомним , что Apple разработала и будет применять технологию поиска детской порнографии на устройствах пользователей. Официальное сообщение Apple по этому поводу см. здесь .
Apple не пионер в деле поиска детской порнографии на предмет идентификации её владельца – так, Microsoft располагает необходимой для этого технологией ( PhotoDNA ) с 2009 года.
Любые фото, загружаемые нами в Facebook или Twitter, автоматически проверяются на принадлежность к базе изображений CSAM (child sexual abuse material), делается это сравнением «цифрового слепка» фотографии (часто называемого «хэшем», что не вполне точно) с записями в базе данных CSAM.
О технологии
Подробности о технологии Apple можно прочесть здесь . Суть, если совсем коротко, такова. Если PhotoDNA используется только на серверах, куда загружаются изображения, но не на устройствах пользователей, то технология от Apple (она называется NeuralHash) отличается по способу применения – «цифровой слепок» изображения вычисляется в реальном времени прямо на iPhone и отправляется вовне на экспертизу, которая должна, тоже в реальном времени, ответить на вопрос: «Присутствует ли это изображение в базе изображений CSAM?» Сравнение проводит обученная нейросеть, отсюда «Neural» в названии.
Apple обещает хранить «цифровые слепки» фото на устройстве пользователя «надёжно», в виде «нечитаемого» (unreadable) набора данных. При передаче изображений с устройства в iCloud пользователь (точнее, учётная запись iCloud) получает так называемый ваучер безопасности (терминология Apple). По сути, это свидетельство не безопасности фото, а благонадёжности пользователя. «Ваучер» удостоверяет, что пользователь с такой-то учётной записью передал в облако картинки, которые, по мнению нейросети, детской порнографией не являются.
Apple утверждает, что не узнает ничего о содержимом «ваучера» до тех пор, пока число автоматически выявленных признаков принадлежности изображений к CSAM не превысит порог, определённый настройками системы. В случае превышения порога учётная запись блокируется, и в дело вступает полиция. Не сразу, сначала данные поступят в National Center for Missing & Exploited Children (NCMEC, это НКО, созданная Конгрессом США), но вступает.
Обладатель блокированной учётной записи может апеллировать по этому поводу, пишет Apple.
На словах Apple гарантирует, что ложных срабатываний у NeuralHash будет «менее одного на триллион [проверок] в год».
Об этике
Apple в официальном сообщении о NeuralHash этическую сторону дела игнорирует по понятным соображениям – не сто́ит технологической компании лезть не в свою предметную область. Однако этические проблемы тут есть.
Этика – главное, на что обращают внимание в Европе в связи с использованием ИИ-систем. Этические принципы в отечественной стратегии развития ИИ указаны как важнейшие.
На практике это означает, что ИИ-система должна быть прозрачна и подотчётна человеку.
Между тем о том, где в процедуре использования NeuralHash принимает участие человек, не сообщается – несмотря на то, что эта процедура фактически предусматривает решение компьютера о блокировке аккаунта с последующим дознанием.
Формальных претензий к Apple быть не может. Компания предлагает лишь инструмент, технологию, которая, возможно, даже не является технологией ИИ в полном смысле – утверждать иное на основании официальных сообщений нельзя хотя бы потому, что нововведения касаются не только поиска педофилов, но и усиления средств родительского контроля.
О потенциальных опасностях
И всё же Apple делает то, чего не должна. Производителю устройства нечего делать на устройстве после того, как он получил за него деньги. После покупки iPhone уже не принадлежит Apple. К чему разговоры о сквозном шифровании, об отказе дать доступ полиции к смартфону обвиняемого и пр., если сама же Apple следит за пользователем на его же смартфоне, какой благой ни была бы цель слежки.
Поступая так, Apple вступает если не в борьбу, то точно в конкуренцию с государствами.
Apple не может открыто сопротивляться государствам, если те 1) решительно настроены и 2) важны для прибыли. Национальные законодательства не поощряют расхищение персональных данных своих граждан. Например, в Китае Apple хранит данные китайцев в китайских ЦОД, и вообще исполняет законы КНР, за что её критикуют враги тоталитаризма.
В случае же пересылки на свои серверы не персональных данных, а некоего «цифрового слепка», коллизий с «неправильными» правительствами и национальными законами у Apple не возникает. Более того, Apple заявляет , что «ваучеры безопасности» защитят её от «давления правительств», которые требуют выявить материалы, отличные от CSAM.
Между тем, защита прав человека – дело не компаний, а государств. Это очевидно.
Правда, в данном случае есть и другая, более простая очевидность: с педофилами надо бороться, поэтому Apple молодец, всё правильно делает, рассуждает обыватель.
За скобками такого рассуждения остаётся небезразличное для обывателя обстоятельство: Apple может и не выдать ему «ваучер безопасности», причём сделает это преднамеренно, если правильному американскому правительству или какой-нибудь из двух десятков спецслужб этого правительства потребуется кого-либо скомпрометировать, шантажировать или арестовать. Читавшим Сноудена такое предположение дурацким не кажется.
Да и без того выдаваемая Apple «метка правильности», сертификат, предъявитель которого не подозревается Apple в педофилии, – странное явление для конца первой четверти XXI века. Ещё не процедура соответствия стандарту, принятая у инквизиторов, и не измерение черепов, но уже нечто столь же неотвратимое и неподвластное бедолаге, попавшему под проверку.
См. также: Popeline >>>
Автор выражает признательность Владимиру Каталову , благодаря беседе с которым был написан текст.