Apple ha anunciado cambios inminentes en sus sistemas operativos que incluyen nuevas funciones de "protección infantil" en iCloud e iMessage. Si has pasado algún tiempo siguiendo las Crypto Wars, sabes lo que esto significa: Apple está planeando construir una puerta trasera en su sistema de almacenamiento de datos y en su sistema de mensajería.

La explotación infantil es un problema grave, y Apple no es la primera empresa tecnológica que flexibiliza su postura de protección de la privacidad para intentar combatirla. Pero esa decisión tendrá un alto precio para la privacidad general del usuario. Apple puede explicar extensamente cómo su implementación técnica preservará la privacidad y la seguridad en su propuesta de puerta trasera, pero al final del día, incluso una puerta trasera completamente documentada, cuidadosamente pensada y de alcance limitado sigue siendo una puerta trasera.

Decir que estamos decepcionados por los planes de Apple es quedarse corto. Apple ha sido, históricamente, un defensor del cifrado de extremo a extremo, por las mismas razones sobre las cuales EFF ha escrito una y otra vez. El compromiso de Apple con cifrado de extremo a extremo puede apaciguar a las agencias gubernamentales en los Estados Unidos y en el extranjero, pero es un giro sorprendente para los usuarios que han confiado en el liderazgo de la compañía en materia de privacidad y seguridad.

Hay dos funciones principales que la empresa tiene previsto instalar en todos los dispositivos de Apple. Una de ellas es una función de escaneo que analizará todas las fotos cuando se suban a Fotos de iCloud para ver si coinciden con una foto de la base de datos de material conocido de abuso sexual infantil (CSAM) que mantiene el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC). La otra función escanea todas las imágenes de iMessage enviadas o recibidas por cuentas de niños -es decir, cuentas designadas como propiedad de un menor- en busca de material sexualmente explícito, y si el niño es lo suficientemente joven, notifica a los padres cuando se envían o reciben estas imágenes. Esta función puede ser activada o desactivada por los padres.

Cuando Apple libere estas funcionalidades de "escaneo del lado del cliente", los usuarios de Fotos en la Nube, los niños usuarios de iMessage y cualquiera que hable con un menor a través de iMessage tendrán que considerar cuidadosamente sus prioridades de privacidad y seguridad a la luz de los cambios, y posiblemente no podrán utilizar con seguridad lo que hasta este desarrollo es uno de los clientes de mensajería cifrados más importantes.

Apple está abriendo la puerta a abusos más amplios

Lo hemos dicho antes, y lo volveremos a decir ahora: es imposible construir un sistema de escaneo del lado del cliente que sólo pueda utilizarse para imágenes sexualmente explícitas enviadas o recibidas por niños. En consecuencia, incluso un esfuerzo bienintencionado por construir un sistema de este tipo romperá las promesas clave del propio cifrado del cliente de mensajería  y abrirá la puerta a abusos más amplios.

Eso no es una pendiente resbaladiza; es un sistema totalmente construido que sólo espera la presión externa para hacer el más mínimo cambio.

Todo lo que se necesitaría para ampliar la estrecha puerta trasera que Apple está construyendo es una expansión de los parámetros de aprendizaje automático para buscar tipos adicionales de contenido, o un ajuste de las banderas de configuración para escanear, no sólo las cuentas de los niños, sino las de cualquier persona. Eso no es una pendiente resbaladiza; es un sistema totalmente construido a la espera de la presión externa para hacer el más mínimo cambio. Tomemos el ejemplo de la India, donde las normas aprobadas recientemente incluyen peligrosos requisitos para que las plataformas identifiquen el origen de los mensajes y preseleccionen los contenidos. Las nuevas leyes de Etiopía, que exigen la retirada de contenidos de "desinformación" en 24 horas, pueden aplicarse a los servicios de mensajería. Y muchos otros países -a menudo con gobiernos autoritarios- han aprobado leyes similares. Los cambios de Apple permitirían este tipo de selección, retirada y notificación en su servicio de mensajería de extremo a extremo. Los casos de abuso son fáciles de imaginar: los gobiernos que prohíben la homosexualidad podrían exigir que el clasificador esté entrenado para restringir el contenido aparentemente LGBTQ+, o un régimen autoritario podría exigir que el clasificador sea capaz de detectar imágenes satíricas populares o folletos de protesta.

Ya hemos visto esta misión en acción. Una de las tecnologías creadas originalmente para escanear y eliminar imágenes de abusos sexuales a menores ha sido reutilizada para crear una base de datos de contenidos "terroristas" a la que las empresas pueden contribuir y a la que pueden acceder con el fin de prohibir dichos contenidos. La base de datos, gestionada por el Foro Global de Internet para la Lucha contra el Terrorismo (GIFCT), carece preocupantemente de supervisión externa, a pesar de los llamamientos de la sociedad civil. Aunque es imposible saber si la base de datos se ha excedido, sabemos que las plataformas marcan regularmente contenidos críticos como "terrorismo", incluyendo la documentación de la violencia y la represión, el contra-discurso, el arte y la sátira.

Escaneo de imágenes en Fotos de iCloud: Una disminución de la privacidad

El plan de Apple para escanear las fotos que se suben a Fotos de iCloud es similar en algunos aspectos a PhotoDNA de Microsoft. La principal diferencia del producto es que el escaneo de Apple se realizará en el dispositivo. La base de datos (no auditable) de imágenes CSAM procesadas se distribuirá en el sistema operativo (OS), las imágenes procesadas se transformarán para que los usuarios no puedan ver de qué imagen se trata, y el cotejo se realizará en esas imágenes transformadas utilizando la intersección de conjuntos privados en la que el dispositivo no sabrá si se ha encontrado una coincidencia. Esto significa que, cuando las funciones se pongan en marcha, se cargará una versión de la base de datos CSAM del NCMEC en cada uno de los iPhone. El resultado de esta intersección se enviará a Apple, pero ésta sólo podrá decir que se han encontrado coincidencias cuando un número suficiente de fotos haya alcanzado un umbral preestablecido.

Una vez detectado un determinado número de fotos, las fotos en cuestión se enviarán a revisores humanos dentro de Apple, que determinarán si las fotos forman parte efectivamente de la base de datos del CSAM. Si el revisor humano lo confirma, esas fotos se enviarán al NCMEC, y la cuenta del usuario se desactivará. Una vez más, la conclusión es que, independientemente de los aspectos de privacidad y seguridad de los detalles técnicos, todas las fotos subidas a iCloud serán escaneadas.

No te equivoques: se trata de una disminución de la privacidad para todos los usuarios de Fotos de iCloud, no de una mejora.

Actualmente, aunque Apple tiene las claves para ver las fotos almacenadas en iCloud Photos, no escanea estas imágenes. Las organizaciones de defensa de las libertades civiles han pedido a la empresa que elimine su capacidad de hacerlo. Pero Apple está optando por el enfoque opuesto y dotándose de más conocimiento del contenido de los usuarios.

Aprendizaje automático y notificaciones parentales en iMessage: Un cambio en el cifrado fuerte

La segunda novedad principal de Apple son dos tipos de notificaciones basadas en el escaneo de fotos enviadas o recibidas por iMessage. Para implementar estas notificaciones, Apple pondrá en marcha un clasificador de aprendizaje automático en el dispositivo diseñado para detectar "imágenes sexualmente explícitas". Según Apple, estas funciones estarán limitadas (en su lanzamiento) a los usuarios estadounidenses menores de 18 años que se hayan inscrito en una cuenta familiar. En estos nuevos procesos, si la cuenta de un menor de 13 años desea enviar una imagen que el clasificador de aprendizaje automático del dispositivo determine que es una imagen sexualmente explícita, aparecerá una notificación en la que se indicará al menor de 13 años que se notificará a sus padres sobre este contenido. Si el menor de 13 años decide enviar el contenido, tiene que aceptar que el "padre" sea notificado, y la imagen se guardará irremediablemente en la sección de control parental de su teléfono para que el padre pueda verla más tarde. Para los usuarios de entre 13 y 17 años, aparecerá una notificación de advertencia similar, aunque sin la notificación de los padres.

Del mismo modo, si el menor de 13 años recibe una imagen que iMessage considera "sexualmente explícita", antes de que se le permita ver la foto, aparecerá una notificación que indica al menor de 13 años que se notificará a sus padres que está recibiendo una imagen sexualmente explícita. De nuevo, si el usuario menor de 13 años acepta la imagen, se notifica al padre y la imagen se guarda en el teléfono. Los usuarios de entre 13 y 17 años recibirán igualmente una notificación de aviso, pero no se enviará una notificación sobre esta acción al dispositivo de sus padres.

Esto significa que si, por ejemplo, un menor que utiliza un iPhone sin estas funciones activadas envía una foto a otro menor que sí tiene las funciones activadas, no recibe una notificación de que iMessage considera que su imagen es "explícita" o de que se notificará a los padres del destinatario. Los padres del destinatario serán informados del contenido sin que el remitente consienta su participación. Además, una vez enviada o recibida, la "imagen sexualmente explícita" no puede ser eliminada del dispositivo del usuario menor de 13 años.

Tanto si envía como si recibe estos contenidos, el usuario menor de 13 años tiene la opción de rechazarlos sin que los padres sean notificados. Sin embargo, estas notificaciones dan la sensación de que Apple está vigilando al usuario, y en el caso de los menores de 13 años, eso es lo que Apple ha dado a los padres la posibilidad de hacer.

Estas notificaciones dan la sensación de que Apple está vigilando por encima del hombro del usuario, y en el caso de los menores de 13 años, eso es esencialmente lo que Apple ha dado a los padres.

También es importante señalar que Apple ha optado por utilizar la tecnología de aprendizaje automático, notoriamente difícil de auditar, para determinar lo que constituye una imagen sexualmente explícita. Sabemos por años de documentación e investigación que las tecnologías de aprendizaje automático, utilizadas sin supervisión humana, tienen la costumbre de clasificar erróneamente el contenido, incluido el contenido supuestamente "sexualmente explícito". Cuando la plataforma de blogs Tumblr instituyó un filtro para el contenido sexual en 2018, es famoso por haber atrapado todo tipo de otras imágenes en la red, incluyendo fotos de cachorros de Pomerania, selfies de individuos completamente vestidos, y más. Los intentos de Facebook de vigilar la desnudez han dado lugar a la eliminación de fotos de estatuas famosas como la Sirenita de Copenhague. Estos filtros tienen un historial de expresión escalofriante, y hay muchas razones para creer que los de Apple harán lo mismo.

Dado que la detección de una "imagen sexualmente explícita" utilizará el aprendizaje automático en el dispositivo para escanear el contenido de los mensajes, Apple ya no podrá afirmar de manera honesta que iMessage tiene un "cifrado de extremo a extremo". Apple y sus defensores pueden argumentar que el escaneo antes o después de cifrar o descifrar un mensaje mantiene intacta la promesa de "extremo a extremo", pero eso sería una maniobra semántica para encubrir un cambio tectónico en la postura de la compañía hacia el cifrado fuerte.

A pesar de como Apple lo llame, ya no es mensajería segura

Como recordatorio, un sistema de mensajería segura es un sistema en el que nadie, salvo el usuario y sus destinatarios, puede leer los mensajes o analizar su contenido para inferir de qué están hablando. A pesar de que los mensajes pasen por un servidor, un mensaje cifrado de extremo a extremo no permitirá al servidor conocer el contenido de un mensaje. Cuando ese mismo servidor tiene un canal para revelar información sobre el contenido de una parte significativa de los mensajes, eso no es un cifrado de extremo a extremo. En este caso, aunque Apple nunca verá las imágenes enviadas o recibidas por el usuario, sí ha creado el clasificador que escanea las imágenes que proporcionarían las notificaciones al padre. Por lo tanto, ahora sería posible que Apple añadiera nuevos datos de entrenamiento al clasificador enviado a los dispositivos de los usuarios o que enviara las notificaciones a un público más amplio, censurando y ahogando fácilmente la expresión.

Pero incluso sin esas ampliaciones, este sistema dará a los padres que no tienen en cuenta el interés superior de sus hijos una forma más de vigilarlos y controlarlos, limitando el potencial de Internet para ampliar el mundo de aquellos cuya vida estaría restringida de otro modo. Y como los planes para compartir la familia pueden ser organizados por parejas abusivas, no es descabellado imaginar el uso de esta función como una forma de acoso.

Las personas tienen derecho a comunicarse en privado sin puertas traseras ni censura, incluso cuando esas personas son menores. Apple debería tomar la decisión correcta: mantener estas puertas traseras fuera de los dispositivos de los usuarios.

Related Issues