Desde su lanzamiento a principios de agosto de 2022, Blenderbot, un proyecto de investigación impulsado por la IA de Meta, ha estado en los titulares. Blenderbot es un bot conversacional, y sus afirmaciones sobre personas, empresas o política parecen ser inesperadas y a veces radicales. Este es uno de los retos del aprendizaje automático, y es importante que las organizaciones que utilizan el ML en sus negocios lo afronten.
Otros proyectos similares se enfrentaron con anterioridad al mismo problema que Meta con Blenderbot, como, por ejemplo, el chatbot Tay de Microsoft para Twitter, que acabó haciendo declaraciones racistas. Esto refleja las particularidades de los modelos de aprendizaje automático generativo entrenados con textos e imágenes de Internet. Para que sus resultados sean convincentes, utilizan muchísimos datos en bruto, pero es difícil evitar que estos modelos capten sesgos si se entrenan en la web.
Por ahora, estos proyectos tienen sobre todo objetivos científicos y de investigación. Sin embargo, las organizaciones también utilizan modelos lingüísticos en ámbitos prácticos, como la atención al cliente, la traducción, la redacción de textos de marketing, la corrección de textos, etc. Para que estos modelos estén menos sesgados, los desarrolladores pueden perfeccionar los conjuntos de datos utilizados para el entrenamiento. Sin embargo, esto es muy difícil en el caso de los conjuntos de datos a escala web. Para evitar errores comprometedores, un procedimiento común es filtrar los datos en busca de sesgos, por ejemplo, utilizando determinadas palabras o frases para eliminar los respectivos documentos e impedir que el modelo aprenda con ellos. Otra opción consiste en filtrar las salidas inapropiadas cuando el modelo genere un texto problemático antes de que llegue a los usuarios.
En términos más generales, los mecanismos de protección son necesarios para cualquier modelo de inteligencia artificial, y no sólo contra los sesgos. Si los desarrolladores utilizan datos abiertos para entrenar el modelo, los atacantes pueden aprovecharse de ello con una técnica llamada "envenenamiento de datos", en la que los atacantes añaden al conjunto de datos, algunos específicamente elaborados de forma incorrecta. Como resultado, el modelo podría no identificar algunos eventos o confundirlos con otros y tomar decisiones equivocadas.
Aunque en realidad este tipo de amenazas siguen siendo poco frecuentes, ya que requieren mucho esfuerzo y experiencia por parte de los atacantes, las empresas deben seguir prácticas de protección. Esto también ayudará a minimizar los errores en el proceso de formación de modelos. En primer lugar, las organizaciones deben saber qué datos se utilizan para el entrenamiento y de dónde proceden. En segundo lugar, el uso de datos diversos dificulta la intoxicación. Por último, es importante probar el modelo en profundidad antes de ponerlo en marcha y supervisar constantemente su rendimiento.
Las organizaciones también pueden consultar MITRE ATLAS, una base de datos dedicada a orientar a las empresas y a los expertos sobre las amenazas para los sistemas de aprendizaje automático. ATLAS también proporciona una matriz de tácticas y técnicas utilizadas en los ataques contra el ML.
En Kaspersky, realizamos pruebas específicas en nuestros sistemas de detección de malware y antispam imitando ciberataques para revelar posibles vulnerabilidades, entender los posibles daños y cómo mitigar el riesgo de dicho ataque.
El aprendizaje automático se utiliza ampliamente en los productos y servicios de Kaspersky para la detección de amenazas, el análisis de alertas en Kaspersky SOC o la detección de anomalías en la protección de procesos de producción.
Para saber más sobre el aprendizaje automático en los productos de Kaspersky, visite esta página.
Kaspersky
Kaspersky es una compañía global de ciberseguridad y privacidad digital fundada en 1997. La profunda experiencia de Kaspersky en inteligencia de amenazas y seguridad se está continuamente transformando en innovadoras soluciones y servicios de seguridad para proteger a empresas, infraestructuras críticas, gobiernos y consumidores en todo el mundo. El extenso portfolio de productos de seguridad de la empresa incluye su reputada solución de protección de endpoints, junto con una serie de soluciones y servicios de seguridad especializados para combatir las sofisticadas y cambiantes amenazas digitales. Más de 400 millones de usuarios son protegidos por las tecnologías de Kaspersky y ayudamos a 240.000 clientes corporativos a proteger lo que más les importa. Obtenga más información en www.kaspersky.es
