El gigante tecnológico ya había dispuesto alertas parecidas en las cuentas de Instagram que utilizan la supervisión parental. Además, detallaron que trabajan con más de 75 profesionales clínicos para mejorar la respuesta de su modelo en estos casos.
Meta anunció una nueva batería de medidas de seguridad para su chatbot de inteligencia artificial. A partir de ahora, la compañía notificará a los padres cuando detecte que un adolescente mantiene conversaciones relacionadas con suicidio o autolesiones y, además, trabaja en un sistema para contactar a los servicios de emergencia cuando identifique un riesgo inminente.
La decisión llega en medio del creciente escrutinio que enfrentan Meta y otras empresas tecnológicas por la forma en que sus asistentes de IA interactúan con usuarios en situaciones de crisis, especialmente cuando se trata de menores de edad. Según detallaron desde la compañía, el sistema de inteligencia artificial es capaz de identificar conversaciones en las que un adolescente hace referencias claras a autolesiones. Antes de enviar cualquier notificación, todos los chats marcados serán revisados manualmente.
El sistema de alertas de Meta
En su blog, la empresa conducida por Mark Zuckerberg dio detalles del sistema de alertas que comenzarán a implementar. En este sentido, explicaron: "Comprendemos lo angustiantes que pueden ser estas alertas para un padre o madre. Por eso, a medida que mejoramos nuestra detección, todos los chats marcados por nuestra IA se revisarán manualmente antes de enviar una alerta. Si la intención de un adolescente es ambigua, seremos precavidos y alertaremos a los padres".
Meta
La empresa reconoció que esto significa que a veces podrían enviarse notificaciones a los padres "cuando no haya un motivo real de preocupación". Sin embargo, remarcaron que tras la notificación, la empresa continuará monitoreando para asegurarse de que está "en el camino correcto".
Las alertas no son una novedad en el ecosistema de Meta. Las mismas ya son implementadas en las cuentas de quienes utilizan la herramienta de Supervisión Parental de Instagram en Estados Unidos, Reino Unido, Australia y Canadá. La empresa anticipó que la función estará disponible a nivel mundial antes de fin de año.
La actualización amplía las herramientas de protección que Meta ya ofrecía. Hasta ahora, la plataforma avisaba a los padres cuando un adolescente realizaba búsquedas reiteradas sobre suicidio o autolesiones en Instagram y les permitía consultar los temas que sus hijos habían conversado con Meta AI durante la última semana.
Más restricciones para los adolescentes
En medio de una oleada de críticas, leyes y denuncias que apuntan contra la poca protección que ofrece Meta - y otras redes sociales - a sus usuarios menores de edad, la empresa busca modificar su imagen y avanza en la implementación de mayores restricciones para los jóvenes internautas. En este sentido, más allá del anuncio de su IA, la compañía también confirmó que la configuración de "Contenido limitado", que permite a los padres restringir la experiencia de sus hijos en Instagram, comenzará a aplicarse también a Meta AI.
El chatbot ya estaba entrenado para evitar conversaciones de contenido sexual, romántico o vinculadas al consumo de alcohol con adolescentes. Con esta actualización, la herramienta rechazará un conjunto más amplio de solicitudes cuando la función de protección esté activada.
Por otra parte, Meta indicó que avanza en el desarrollo de un mecanismo para comunicarse con los servicios de emergencia cuando una conversación con Meta AI - ya sea de un adolescente o de un adulto - sugiera un riesgo inminente de suicidio. La compañía ya aplica un procedimiento similar cuando detecta publicaciones de ese tipo en Facebook o Instagram, y ahora busca extenderlo también a las interacciones con su asistente de inteligencia artificial.
