Este post es la primera parte de una serie de 2 partes. La segunda parte plantea recomendaciones para empresas y quienes formulan políticas públicas.

Hace seis años—a un mes de iniciada la pandemia global—planteamos que los procesos de moderación automatizada que muchas plataformas estaban adoptando rápidamente debían ser altamente transparentes, fácilmente apelables y temporales. Advertimos que "los protocolos adoptados en tiempos de crisis suelen persistir incluso cuando la crisis termina".

Esa advertencia resultó premonitoria. El uso de la automatización y la inteligencia artificial (IA) para identificar, marcar y moderar contenido se ha convertido en la nueva norma—una característica permanente de cómo las plataformas gobiernan la expresión en línea. En esta serie de dos partes, hacemos un balance de esta nueva norma y analizamos qué pueden y deben hacer las plataformas para garantizar que la IA sirva a la expresión en línea en lugar de asfixiarla.

Una breve historia de la moderación automatizada de contenido

Desde el filtrado de spam y las listas negras de palabras clave hasta las tecnologías de coincidencia de hash usadas para identificar material de abuso sexual infantil y contenido terrorista, las tecnologías automatizadas se han usado en la moderación comercial de contenido durante muchos años. Si bien estas herramientas siempre han representado riesgos para la libertad de expresión, su uso fue, durante bastante tiempo, relativamente limitado en alcance.

Luego, en 2017, un post de blog publicado por Facebook (ahora Meta) describió el uso "relativamente reciente" que la empresa hacía de la inteligencia artificial para identificar, clasificar y eliminar contenido extremista violento. Al mismo tiempo, Facebook enfatizó cautela, señalando que no quería sugerir que existiera "ninguna solución técnica sencilla".

Apenas un año después, Mark Zuckerberg compareció ante los comités de Comercio y Justicia del Senado de Estados Unidos y reveló que "el 99 por ciento del contenido de ISIS y Al Qaida" eliminado por Facebook había sido marcado por IA "antes de que cualquier persona lo viera". También declaró que Facebook estaba "desarrollando herramientas de IA capaces de identificar proactivamente ciertos tipos de actividad maliciosa y marcarla para nuestro equipo en Facebook". En su momento, manifestamos nuestra preocupación por las implicancias éticas de usar la IA de esta manera.

Luego llegó 2020. La repentina reducción de la fuerza laboral de moderación humana, combinada con un aumento dramático en el uso de redes sociales—y, con ello, un incremento de la desinformación—creó las condiciones perfectas para que las plataformas ampliaran su dependencia de la moderación impulsada por IA. Rápidamente se hizo evidente que el enfoque de moderación de las empresas—particularmente el de Meta—durante la pandemia representó un retroceso en materia de transparencia, libertad de expresión y acceso a remedios. La mayor dependencia de la automatización fue un factor determinante.

Los costos y beneficios de la moderación de contenido con IA

Ya sabíamos en 2020 que el uso de IA para moderar contenido plantearía problemas para la libertad de expresión en línea. Hoy, esos problemas están bien documentados. Una declaración conjunta de 2025 de relatores y representantes especiales de las Naciones Unidas (ONU), la Organización para la Seguridad y la Cooperación en Europa (OSCE), la Organización de los Estados Americanos (OEA) y la Comisión Africana de Derechos Humanos y de los Pueblos (ACHPR) establece:

"El uso de la moderación de contenido con IA puede provocar eliminación excesiva, discriminación y censura. La dependencia de conjuntos de datos con sesgos inherentes y procesos de entrenamiento opacos puede amplificar desigualdades preexistentes, con el riesgo de homogeneizar la expresión y borrar la diversidad lingüística y cultural."

EFF y muchos de nuestros aliados hemos documentado estos impactos. Por ejemplo, nuestro informe de 2019, coescrito con Witness y Syrian Archive, examinó el impacto de las regulaciones sobre contenido extremista—y su implementación mediante automatización e IA—en la documentación de derechos humanos. Un informe de 2020 de Human Rights Watch destacó las consecuencias de estas eliminaciones, señalando: "No hay forma de saber cuánta evidencia potencial de crímenes graves está desapareciendo sin que nadie se entere".

La reciente serie del Center for Democracy and Technology sobre moderación de contenido en el Sur Global muestra desigualdades persistentes en la moderación de contenido en cuatro idiomas "de bajos recursos"—llamados así porque la relativa escasez de datos de entrenamiento dificulta desarrollar modelos de IA precisos y equitativos para ellos.

La moderación de contenido a menudo afecta de forma desproporcionada a grupos vulnerables e históricamente marginados, y la moderación con IA no es la excepción. GLAAD reconoce el papel que juega la IA al escalar la moderación de contenido, pero señala que "cuando los sistemas de moderación carecen de matices, transparencia y supervisión humana, pueden fallar en frenar el acoso y suprimir erróneamente contenido LGBTQ legítimo".

Estas fallas no son incidentales. Son una consecuencia previsible de desplegar sistemas automatizados para tomar decisiones complejas sobre idioma, cultura, contexto e identidad a gran escala.

Dicho todo esto, la moderación automatizada de contenido sí puede ofrecer beneficios importantes. El principal: ayudar a proteger a los moderadores humanos de contenido, quienes deben revisar material que va de lo trivial a lo horrendo, a menudo por muy poca paga y con consecuencias devastadoras para su salud mental. Delegar este trabajo a los bots puede aliviar algo de esa carga—aunque vale la pena señalar que las personas contratadas para entrenar los modelos de IA enfrentan una dinámica similar.

Además, los modelos de IA podrían, con el tiempo, entrenarse para ser más precisos, exactos y dinámicos, ayudando a mitigar la censura excesiva y la desinformación. Aún está por verse si ese potencial se concretará; lo que sí sabemos es que se necesitan urgentemente nuevos enfoques para el problema persistente del exceso y la insuficiencia de aplicación de las normas.

La moderación automatizada ya no es un experimento

Lograr el equilibrio entre los costos reales y los beneficios potenciales depende en gran medida de los detalles: cómo se diseñan, entrenan, implementan y auditan los sistemas automatizados.

A pesar de los avances en la sofisticación y escala de los sistemas de moderación automatizada, muchas de las salvaguardas de transparencia, rendición de cuentas y debido proceso que han defendido la sociedad civil, investigadores y expertos en derechos humanos aún no se han hecho realidad. Al mismo tiempo, los sistemas automatizados se han vuelto cada vez más centrales en cómo las plataformas aplican sus reglas y gobiernan la expresión en línea.

La pregunta hoy ya no es si las empresas usarán IA para moderar contenido, sino bajo qué condiciones deberían hacerlo. Y ahora, como siempre, la respuesta no es que el público simplemente deba confiar en que el despliegue de sistemas cada vez más poderosos por parte de las plataformas servirá a la expresión en línea en lugar de inhibirla. De hecho, a medida que los sistemas automatizados se vuelven más sofisticados y se integran más profundamente en la gobernanza de las plataformas, la necesidad de transparencia y rendición de cuentas se vuelve más urgente.

Esta es la parte 1 de una serie de 2 partes. Puedes leer la segunda parte aquí.