La IA de Facebook no es tan confiable para eliminar contenido de odio y violencia

Un nuevo informe de The Wall Street Journal revela que la tecnología de Inteligencia Artificial que emplea la red social registra muchos errores a la hora de identificar contenido que incita al odio.

372

En un nuevo capítulo de la polémica serie de documentos de Facebook filtrados por el diario estadounidense The Wall Street Journal (WSJ), se destaca lo difícil que es para la red social crear sistemas de Inteligencia Artificial (IA) que detecten de forma confiable el contenido que infringe sus reglas.

De acuerdo con el informe, los algoritmos de Facebook tienen problemas para identificar contenido como videos de disparos grabados en primera persona, discursos racistas, accidentes automovilísticos con “desmembramiento y entrañas visibles”, amenazas a niños transgénero e incluso peleas de gallos.

Un ejemplo es el tiroteo de Christchurch, en Nueva Zelanda, que fue grabado en directo por el perpetrador en primera persona y se mantuvo en línea durante varias horas.

Algunos ingenieros de Facebook estiman que el uso de esta tecnología apenas logra borrar de la red entre el 3 y el 5 por ciento del contenido violento o de odio. Y pronostican que, a menos que haya un cambio de estrategia, “será muy difícil que la empresa logre subir estas cifras más allá del 10 al 20 por ciento en el corto o mediano plazo”.

También aseguran que Facebook está haciendo un mal uso de las herramientas de Aprendizaje Automático, dado que estas apenas funcionan relativamente bien en áreas como el spam, pero se quedan cortos en otras más sensibles y controvertidas que requieren la atención humana con el mismo contexto cultural.

La respuesta de Facebook

Guy Rosen, vicepresidente de Integridad de Facebook, respondió al informe diciendo que los documentos están desactualizados y confirmó que casi un 50 por ciento del contenido problemático en la red social ha sido eliminado por la IA, incluso antes de que los usuarios lo denunciaran.

Destaca que su estrategia de moderación se basa en la “prevalencia”, la cantidad de contenido de odio que las personas visualizan en la plataforma, más que en la eliminación como tal.

“La prevalencia es la métrica más importante y no representa lo que detectamos, sino lo que nos perdimos y lo que la gente vio, y es la métrica principal de la que somos responsables”, dijo Rosen. “Hemos tenido éxito en moverlo hacia abajo, y es en lo que realmente nos enfocamos”.

Es decir, que cuando los algoritmos de Facebook no están completamente seguros de que un contenido infringe las reglas, el material sospechoso se muestra con menos frecuencia a los usuarios. Pero las cuentas que lo publican quedan impunes.

El WSJ también denuncia que debido a que la compañía apoya ampliamente el uso de su tecnología de IA desde 2019, prescindió de parte del equipo humano que se encargaba de revisar el contenido para ahorrar costos. La revisión humana costaba 2 millones de dólares a la semana ó 104 millones al año, según el documento interno.