Los mensajes privados, los archivos y las fotos de los usuarios de Internet son examinados cada vez más por las empresas tecnológicas, que cotejan los datos con las bases de datos gubernamentales. Aunque no se trata de una práctica nueva, se está diciendo al público que este escaneo masivo debe extenderse a casi todos los alcances de su actividad en línea para que la policía pueda investigar de forma más productiva los delitos relacionados con las imágenes de abuso sexual infantil, a veces denominadas CSAM.

No sabemos mucho sobre cómo se vigila al público de esta manera. Esto se debe a que ni las empresas tecnológicas que realizan el escaneo, ni las agencias gubernamentales con las que trabajan, comparten los detalles de su funcionamiento. Pero sí sabemos que el escaneo dista mucho de ser perfecto, a pesar de que se diga lo contrario. Comete errores, y esos errores pueden dar lugar a falsas acusaciones de abuso infantil. No sabemos con qué frecuencia se producen esas falsas acusaciones, ni cuántas personas resultan perjudicadas por ellas.

La propagación del CSAM causa daños reales, y las empresas tecnológicas deberían trabajar en nuevas formas de combatirlo. Hemos sugerido algunas buenas formas de hacerlo, como la creación de mejores herramientas de notificación, mensajes de advertencia que respeten la privacidad y análisis de metadatos.

Un artículo publicado ayer en el New York Times informa sobre cómo Google hizo dos de estas falsas acusaciones, y su seguimiento policial. También destaca la negativa de Google a corregir los daños causados por sus escaneos erróneos, y los fallidos procesos de revisión humana de la empresa. Este tipo de escaneo es cada vez más omnipresente en los productos tecnológicos que todos utilizamos, y los gobiernos de todo el mundo quieren ampliar su alcance aún más, para comprobar incluso nuestras conversaciones más privadas y encriptadas. El artículo es especialmente inquietante, no sólo por el daño que describe a los dos usuarios a los que Google acusó falsamente, sino también como advertencia de que podrían producirse muchos más errores de este tipo.

El sistema de IA de Google falló, y sus empleados también

En febrero del año pasado, los algoritmos de Google marcaron erróneamente las fotos tomadas por dos padres en dos estados diferentes como imágenes de abuso infantil. En ambos casos, los padres -uno en San Francisco y otro en Houston- tenían niños pequeños con infecciones en los genitales y habían tomado fotos de la zona a petición de los profesionales médicos.

Los algoritmos de Google, y los empleados que los supervisan, tenían una opinión diferente sobre las fotos. Sin informar a ninguno de los padres, Google los denunció al gobierno. El resultado fue que los departamentos de policía locales investigaron a los padres.

La empresa también optó por realizar su propia investigación. En el caso de Mark, el padre de San Francisco, los empleados de Google examinaron no sólo la foto que había sido marcada por su IA errónea, sino toda su colección de fotos de familiares y amigos.

Tanto el Departamento de Policía de Houston como el Departamento de Policía de San Francisco exoneraron rápidamente a los padres de cualquier infracción. Pero Google se negó a escuchar la apelación de Mark o a restablecer su cuenta, incluso después de que él llevara a la empresa la documentación que demostraba que el SFPD había determinado que "no se había cometido ningún delito". Sorprendentemente, incluso después de que el New York Times se pusiera en contacto con Google y se aclarara el error, la empresa sigue negándose a restablecer cualquiera de las cuentas de Google de Mark, o a ayudarle a recuperar cualquier dato.

Las falsas acusaciones de Google causan un daño real

Google tiene derecho a decidir qué usuarios quiere acoger. Pero fueron los algoritmos incorrectos de Google, y el fallido proceso de revisión humana de Google, los que provocaron que personas inocentes fueran investigadas por la policía en estos casos. También fue la decisión de Google de destruir sin previo aviso y sin el debido proceso las cuentas de correo electrónico, los vídeos, las fotos y, en un caso, el servicio telefónico de estos padres. Las consecuencias del error de la empresa no son triviales.

No sabemos a cuántas otras personas han sido acusadas erróneamente por  Google erróneamente de abuso de menores, pero es probable que sean muchas más que estas dos. Dado el enorme alcance del contenido que escanea, podrían ser cientos o miles.

Mark y Cassio, los dos padres señalados erróneamente por Google, fueron acusados con un día de diferencia en febrero de 2021. Podría tratarse de una coincidencia, o podría sugerir que uno o más fallos en el sistema de Google, ya sea en el software de IA o en el proceso de revisión humana, se manifestaron especialmente en ese momento.

Los escaneos defectuosos del CSAM de Google causaron un daño real en estos casos, y no es difícil imaginar cómo podrían ser más perjudiciales en otros casos. Una vez que tanto los empleados de Google como los agentes de policía han revisado los archivos de un padre acusado, podría haber consecuencias que no tienen nada que ver con el CSAM. La policía podría encontrar pruebas de consumo de drogas u otras infracciones, y optar por castigar a los padres por esos delitos no relacionados, sin haber sospechado de ellos en primer lugar. Google podría optar por administrar sus propias sanciones, como hizo con Mark y Cassio.

A pesar de lo que les había ocurrido, tanto Mark como Cassio, el padre de Houston, se sintieron con la fuerza de hablar con un periodista. Pero sistemas como éste podrían denunciar a minorías vulnerables, incluidos los padres LGBT en lugares donde la policía y los miembros de la comunidad no son amigables con ellos.  El sistema de Google podría denunciar erróneamente a los padres ante las autoridades de países autocráticos o de lugares con una policía corrupta, donde los padres acusados erróneamente no podrían tener la garantía de un proceso adecuado.

Los gobiernos quieren más escaneos de CSAM pero no la responsabilidad

Google no es la única empresa que realiza escaneos de este tipo. Pero cada vez hay más pruebas de que los escaneos no son precisos. Un estudio de Facebook sobre 150 cuentas que fueron denunciadas a las autoridades por presunto CSAM descubrió que el 75% de las cuentas enviaban imágenes que no eran "maliciosas" y que enviaban imágenes por razones "como la indignación o el mal humor." LinkedIn encontró 75 cuentas que fueron reportadas a las autoridades de la UE en la segunda mitad de 2021, debido a los archivos que coincidió con CSAM conocido. Pero tras una revisión manual, solo 31 de esos casos implicaban CSAM confirmado. (LinkedIn utiliza PhotoDNA, el producto de software recomendado específicamente por los patrocinadores estadounidenses del proyecto de ley EARN IT).

En los últimos años, los gobiernos han presionado para que se realicen más escaneos. El año pasado, Apple propuso una forma de escaneo en todos sus dispositivos que buscaría las fotos de los usuarios e informaría de las coincidencias a las autoridades. Ese programa se canceló tras una protesta pública. Este año, en Estados Unidos, el Comité Judicial del Senado estudió y aprobó la Ley EARN IT, que habría abierto la puerta a los estados para obligar a las empresas a utilizar escáneres CSAM. (La Ley EARN IT no ha sido considerada en un debate en el pleno de ninguna de las dos cámaras del Congreso). La Unión Europea también está considerando una nueva ley de detección de CSAM. La propuesta de la UE no sólo buscaría imágenes de abuso conocidas y nuevas, sino que utilizaría la IA para escanear los mensajes de texto en busca de "grooming", en un intento de juzgar los abusos que puedan producirse en el futuro.

A principios de este mes, la Comisaria de la UE Ylva Johnasson escribió una entrada de blog afirmando que los escáneres que se proponen utilizar tienen índices de precisión "significativamente superiores al 90%". Afirma que la detección del "grooming" tendrá una precisión del 88%, "antes de la revisión humana".

Estas tasas de precisión no son nada para presumir. Si se escanean miles de millones de mensajes privados en la UE con una tasa de falsos positivos "superior al 90%", se producirán millones de mensajes falsamente marcados. Esta avalancha de falsos positivos será un desastre humanitario incluso en las democracias ricas con estado de derecho, por no hablar de las autocracias y las democracias en retroceso, que exigirán sistemas similares. Los defensores de estos sistemas señalan los daños muy reales del CSAM, y algunos argumentan que los falsos positivos -el tipo de informes erróneos como los del artículo- son un daño colateral aceptable.

Lo que se nos pide que aceptemos aquí es nada menos que " micrófonos en nuestros bolsillos". Los gobiernos quieren que empresas como Google y Apple escaneen constantemente todos los espacios digitales que tenemos, incluidos los privados. Pero estamos viendo los resultados cuando empresas como Google cuestionan la vida familiar de sus propios usuarios, e incluso cuestionan a la policía.

La solución es la privacidad real

En la EFF llevamos más de 30 años luchando contra el espionaje de la vida digital de las personas. Cuando la policía quiere ver nuestros mensajes o archivos privados, debe seguir la 4ª Enmienda y obtener una orden judicial. Y punto.

En cuanto a las empresas privadas, deberían trabajar para limitar su necesidad y capacidad de rastrear nuestro contenido privado. Cuando mantenemos conversaciones privadas con amigos, familiares o profesionales de la medicina, deberían estar protegidas mediante un cifrado de extremo a extremo. En los sistemas cifrados de extremo a extremo, el proveedor de servicios no tiene la posibilidad de ver el mensaje, aunque quiera. Las empresas también deberían comprometerse a realizar copias de seguridad cifradas, algo que la EFF lleva pidiendo desde hace tiempo. 

La respuesta a una Internet mejor no es correr para conseguir el mejor software de escaneo. No hay manera de proteger los derechos humanos mientras dejamos que la inteligencia artificial escanee las comunicaciones de la gente buscando infractores. La verdadera respuesta está delante de nuestras narices: la aplicación de la ley, y los líderes elegidos, que trabajan para coexistir con una fuerte encriptación y privacidad, no para romperlas.

Related Issues