Este post es la segunda parte de una serie sobre moderación automatizada de contenido. Lee el primer post aquí.

Cuando la denunciante Frances Haugen filtró un conjunto de documentos de Meta en 2020, entre las revelaciones había una estadística alarmante: los algoritmos de la empresa diseñados para detectar contenido terrorista eliminaron incorrectamente contenido no violento en árabe el 77 por ciento de las veces, mientras que no lograban detectar discurso de odio según las propias políticas de la empresa en muchos casos. El propio informe de transparencia de Meta publicado más tarde ese año mostró hallazgos similares. Cinco años después, investigadores de la región reportan que la moderación excesiva sigue siendo un problema, mientras que las vías para remediarlo prácticamente han desaparecido.

Donde estos sistemas ya fallan en árabe, fallan aún más gravemente en idiomas con menos recursos. Según un informe de 2025 del Center for Democracy and Technology, los conjuntos de datos etiquetados en ciertos idiomas y dialectos, como el árabe magrebí y el kiswahili, contienen inconsistencias, sesgos e imprecisiones debido a la contratación limitada de personas anotadoras que realmente hablan esos idiomas, así como a los cambios propios de las lenguas. Una investigación sobre los resultados de ChatGPT en varios idiomas de bajos recursos muestra la magnitud del problema.

Pero las disparidades de idioma son solo una de varias preocupaciones a medida que la moderación automatizada se vuelve más común. Desde la supresión sistemática de contenido sobre Palestina hasta la repetida clasificación errónea de contenido LGBTQ+ como material para adultos o explícito, estos diversos ejemplos muestran los riesgos de depender en exceso de la moderación automatizada, y la necesidad de contar con salvaguardas más sólidas.

Transparencia, competencia cultural, apelaciones

Como comentamos en la Parte 1 de esta serie, los sistemas automatizados pueden procesar contenido a una escala que los humanos nunca podrían alcanzar, lo que potencialmente permite una mejor moderación a gran escala y alivia la carga psicológica de moderadores mal pagados cuyo trabajo los obliga a ver contenido sumamente perturbador. Pero los sistemas automatizados también reproducen sesgos existentes, tienen dificultades para comprender el contexto y a menudo cometen errores que afectan de forma desproporcionada a periodistas, activistas, artistas y otras comunidades vulnerables y marginadas.

Como escribió Rachel Griffin en 2023, la moderación perfectamente precisa no solo está fuera de alcance técnico, sino que es intrínsecamente imposible. A pesar de esas fallas intrínsecas, hay mucho que las empresas, quienes formulan políticas públicas y la sociedad civil pueden hacer para ayudar a garantizar que los sistemas altamente automatizados operen respetando los derechos humanos, minimizando daños previsibles y ofreciendo una rendición de cuentas real cuando fallan. Si las empresas van a seguir dependiendo de la automatización para moderar la expresión de las personas usuarias—y hay pocas razones para pensar que no lo harán—entonces la rendición de cuentas debe evolucionar junto con estas tecnologías.

Esa evolución puede comenzar con el compromiso con los Principios de Santa Clara 2.0. Estos principios, esbozados por primera vez en 2020 y relanzados en 2021 tras un importante aporte internacional, reflejan las necesidades y expectativas de la comunidad global y abordan específicamente la automatización. El primer Principio Fundacional establece:

Las empresas deben garantizar que las consideraciones de derechos humanos y debido proceso se integren en todas las etapas del proceso de moderación de contenido, y deben publicar información que explique cómo se realiza esa integración. Las empresas solo deben usar procesos automatizados para identificar o eliminar contenido o suspender cuentas, ya sea que estén complementados por revisión humana o no, cuando exista un nivel suficientemente alto de confianza en la calidad y precisión de esos procesos. Las empresas también deben ofrecer a las personas usuarias métodos claros y accesibles para obtener ayuda en caso de acciones sobre su contenido o cuenta.

Basándonos en los Principios de Santa Clara 2.0, en estándares internacionales de derechos humanos, y en años de investigación que documentan las deficiencias de la moderación automatizada, proponemos ocho recomendaciones para quienes formulan políticas públicas en torno a la regulación y para las empresas que implementan sistemas de moderación de contenido asistidos por IA.

1. Las tecnologías automatizadas deben ayudar a los moderadores humanos, no reemplazarlos. Por ejemplo, los sistemas automatizados pueden ayudar a marcar y priorizar contenido para su revisión, mientras que las personas pueden interpretar el contexto, manejar casos delicados y ajustar el rendimiento del sistema.
2. Las empresas deben ser transparentes sobre cuándo y cómo se usa la automatización en las decisiones sobre contenido.
3. Las empresas deben auditar regularmente sus sistemas automatizados en busca de sesgos, prestando especial atención a los idiomas de bajos recursos, las comunidades vulnerables y marginadas, y las zonas de conflicto.
4. Las personas usuarias deben poder apelar y aportar contexto cuando consideren que una decisión de moderación humana o automatizada eliminó su contenido de forma injusta. Las apelaciones deben ser evaluadas y resueltas con prontitud por moderadores humanos.
5. Las empresas deben evaluar regularmente el impacto en los derechos humanos de sus decisiones de moderación, y publicar los resultados.
6. Si dependen de proveedores externos, las empresas deben auditarlos cuidadosa y periódicamente para verificar que cumplan con estos mismos principios.
7. Los legisladores deben evitar promover y aprobar legislación que, de forma efectiva o explícita, exija sistemas de moderación automatizada.
8. Quienes formulan políticas públicas también deben abstenerse de intentar dictar las decisiones técnicas y de diseño de las plataformas para favorecer o desfavorecer determinadas expresiones.

Estas recomendaciones parten de la base de que la moderación automatizada de contenido no es solo un problema técnico que ingenieros hábiles y equipos de producto deban resolver. Dado que la moderación de contenido moldea el discurso público y los derechos fundamentales, su diseño y supervisión deben responder a las inquietudes de quienes formulan políticas públicas, la sociedad civil, investigadores independientes y las comunidades más afectadas por estos sistemas.

Este es el segundo post de una serie de 2 partes sobre moderación automatizada de contenido. Lee el primer post aquí.