Meta sigue adelante con sus planes para delegar la mayor parte de su trabajo de revisión de contenido a la IA. Según informa el Financial Times, actualmente la IA se encarga del 50 % de todas las actividades de moderación de contenido que realiza Meta, incluyendo plataformas como Facebook, Instagram y otras.
Eso significa que casi todas las decisiones sobre si una publicación o un anuncio permanece publicado o se elimina pronto serán tomadas por un sistema de IA, y no por un revisor humano.
Cabe destacar el momento en que se produce este anuncio. Llega apenas unas semanas después de un importante incidente de seguridad que involucró a los sistemas de IA de Meta en Instagram, lo que plantea serias dudas sobre cuánta confianza debería depositar la empresa en la IA para gestionar decisiones delicadas de la plataforma a esta escala.
Qué significa realmente el objetivo del 90%
La moderación de contenido es uno de los trabajos más complejos y de mayor responsabilidad en cualquier plataforma social importante. Los revisores deben evaluar publicaciones, anuncios, comentarios y cuentas según las normas de la comunidad, y a menudo deben tomar decisiones sobre contenido que se encuentra en zonas grises. Las publicaciones relacionadas con la violencia, la desinformación, el acoso, las imágenes explícitas y los anuncios que infringen las normas se procesan mediante la moderación de contenido.
Trasladar el 90 % de la moderación de contenido a la IA es una señal de la situación actual de los sistemas de Meta y de los riesgos que está dispuesta a asumir. Dado que actualmente la IA se encarga del 50 % de todas las decisiones de moderación, aumentar su cobertura al 90 % representa un gran avance.
Esta decisión será crucial para creadores y anunciantes, ya que su contenido y publicidad serán verificados y aprobados por IA, sin intervención humana.
La brecha de seguridad de Instagram que complicó este anuncio
Coincidiendo con este anuncio, se produjo un grave incidente en Instagram. Más de 20 000 cuentas de Instagram fueron comprometidas mediante una vulnerabilidad que no requería conocimientos técnicos avanzados. Los hackers solo tuvieron que contactar con el bot de soporte de Meta y solicitarle que enviara códigos de verificación de cuenta a una nueva dirección de correo electrónico.
Como señala Social Media Today, es difícil afirmar que estos hackers sean verdaderos profesionales, ya que este ataque no requirió conocimientos de programación. Se trató simplemente de una manipulación de una herramienta de IA conversacional diseñada para ayudar a los usuarios, pero que carecía de un mecanismo para verificar si la persona que realizaba la solicitud era realmente la propietaria de la cuenta.
Meta ya ha solucionado la vulnerabilidad. Sin embargo, el incidente puso al descubierto un problema fundamental en la implementación de la IA para tareas delicadas como la gestión de cuentas.
Dado que estos bots utilizan técnicas de procesamiento del lenguaje natural y son capaces de comprender millones de frases diferentes, resulta muy difícil protegerlos contra su uso indebido. Cuantos más permisos se le otorguen al bot, mayor será el número de maneras de explotar su vulnerabilidad.
¿Por qué Meta avanza tan rápido?
Pero, ¿por qué Meta se apresura a implementar su IA, a pesar de que acaba de ocurrir un grave incidente de seguridad? La razón es bastante simple: tiene que ver con la estrategia comercial y la escala de la empresa.
Meta invierte cientos de miles de millones de dólares en el desarrollo de IA, y algunas estimaciones incluso sugieren que esta cantidad podría alcanzar el billón. La estrategia consiste en desarrollar sistemas de IA que reemplacen a los humanos y realicen tareas que actualmente solo pueden ser llevadas a cabo por personas. Posteriormente, estos sistemas podrán venderse a otras empresas.
Un ejemplo de esta práctica será la contratación de menos moderadores de contenido y su sustitución por agentes de IA. Si la IA realiza bien la tarea, validará la estrategia de Meta. De lo contrario, se convertirá en un fracaso que afectará la credibilidad de la empresa en su conjunto.
El problema radica en que, para poder vender su IA, Meta necesita que sus sistemas funcionen a la perfección. Sin embargo, intentar avanzar hacia una moderación de contenido basada en IA en un 90%, especialmente justo después de haber comprometido la seguridad de sus bots de IA, pone en peligro la credibilidad de Meta.
El riesgo que conlleva un mayor acceso a la IA
La filtración de datos de Instagram no fue un caso aislado. Revela un problema estructural en el sistema de agentes de IA con capacidad para realizar diversas acciones, como enviar códigos a una dirección de correo electrónico específica o aprobar contenido y otorgar acceso a una cuenta.
Estos sistemas están diseñados para ser útiles y responder a las solicitudes de los usuarios. Precisamente por eso son útiles. Pero también es por eso que son vulnerables. Si un atacante logra que el bot realice una acción indebida debido al mal uso del procesamiento del lenguaje, el bot no tiene forma de identificar si la persona actúa con mala intención o no.
Como se mencionó anteriormente, este mismo problema es común en muchos tipos de modelos de IA. Incluso cuando se bloquean ciertos tipos de consultas, la enorme variedad de formas en que una persona puede formular una solicitud hace casi imposible anticipar todos los enfoques. Y este problema se agrava aún más cuando los agentes de IA con amplios permisos se vuelven más comunes.
Esto no significa que la moderación basada en IA no pueda funcionar. Simplemente significa que el perfil de riesgo aumenta, y Meta lo está incrementando rápidamente en comparación con otras empresas del sector.
Qué significa esto para los usuarios y los anunciantes
Para los usuarios habituales, la transición a la moderación mediante IA pasará desapercibida la mayor parte del tiempo, ya que la mayoría de las decisiones sobre el contenido se toman automáticamente. Sin embargo, cuando surgen problemas —como eliminaciones erróneas, cuentas marcadas incorrectamente y errores en la aplicación de las políticas publicitarias—, la resolución se vuelve mucho más difícil sin la intervención humana en el proceso de revisión.
Los anunciantes que publican anuncios en Facebook e Instagram deben considerar las implicaciones que esta noticia podría tener en los plazos de revisión de anuncios y los procesos de apelación. Como se mencionó anteriormente, los sistemas basados en IA pueden trabajar más rápido que las personas, lo que podría agilizar las aprobaciones en algunos casos. Sin embargo, también cometen errores que siguen patrones, lo que significa que un lote de anuncios similares podría ser marcado o rechazado por la misma razón incorrecta, con pocas posibilidades de recurso.
Preguntas frecuentes
P 1: ¿Qué planes tiene Meta para su equipo de revisión de contenido?
Según el Financial Times, Meta planea que la IA se encargue del 90% de la moderación de contenido para finales de 2026. Según las estimaciones de Meta, la IA modera actualmente el 50% de las tareas en sus plataformas.
P 2: ¿Significa esto que Meta está reemplazando a todos sus moderadores de contenido humanos?
No del todo. La cifra del 90 % significa que el 10 % de la revisión de contenido se seguirá realizando sin la ayuda de la IA. Meta no especificó la forma exacta de este 10 % ni cuántos moderadores de contenido humanos permanecerán en el equipo.
P 3: ¿Qué sucedió con la filtración de datos de Instagram?
Veinte mil cuentas de Instagram fueron hackeadas debido a la manipulación del bot de soporte basado en IA de Meta para enviar códigos de verificación a cuentas de correo electrónico controladas por el atacante. El ataque no requirió conocimientos de programación. Meta afirma que el fallo ya ha sido corregido.
P 4: ¿Por qué Meta sigue ampliando la moderación mediante IA después del incidente de Instagram?
Meta ha invertido cientos de miles de millones de dólares en el desarrollo de IA y está trabajando activamente para consolidar su modelo de negocio y vender soluciones de IA a otras empresas. Para demostrar la eficacia de sus servicios basados en IA, necesitan demostrar su capacidad para gestionar sus plataformas mediante IA a gran escala.
P 5: ¿Cómo funciona la moderación de contenido mediante IA en Facebook e Instagram?
Los sistemas basados en inteligencia artificial revisan publicaciones, comentarios, anuncios y cuentas de usuario según los términos de servicio y los eliminan o marcan como tales. El sistema funciona de forma continua y gestiona un volumen de contenido inalcanzable para los moderadores humanos.
P 6: ¿Cuáles son los riesgos de la moderación de contenido impulsada por IA?
Los sistemas de IA pueden ser engañados mediante el lenguaje natural, pueden cometer errores de escala y no pueden juzgar casos ambiguos como lo hacen los humanos. Cuanto mayor sea su acceso a funciones sensibles, más problemáticos pueden ser sus errores.
P 7: ¿Se verán afectados los anunciantes por este cambio?
Sí, probablemente. Las decisiones sobre anuncios en las plataformas meta se tomarán cada vez con mayor frecuencia mediante sistemas de IA. Por lo tanto, esto podría afectar los tiempos de aprobación y la gestión de errores en la aplicación de las políticas publicitarias.
P 8: ¿Pueden los usuarios apelar las decisiones tomadas por la IA de Meta?
Meta cuenta con un proceso de apelación para las decisiones relativas al contenido y las cuentas de los usuarios, pero no ha proporcionado información específica sobre cómo se gestionan las apelaciones cuando la decisión original fue tomada por inteligencia artificial en lugar de por un moderador humano.
P 9: ¿Es Meta la única empresa que hace esto?
No. Grandes competidores como Google y TikTok también cuentan con moderación de contenido basada en IA, pero el ambicioso plan de Meta para alcanzar el 90% a finales de año hace que su enfoque sea único.
P 10: ¿Qué deberían hacer los creadores y las empresas en respuesta?
Los creadores y las empresas que gestionan campañas en plataformas Meta deben mantenerse informados sobre las políticas de la plataforma, llevar un registro de las actividades realizadas en ella y familiarizarse con los procesos de apelación de Meta.
