{"id":29998,"date":"2024-05-06T14:42:17","date_gmt":"2024-05-06T12:42:17","guid":{"rendered":"https:\/\/www.kaspersky.es\/blog\/?p=29998"},"modified":"2024-05-06T14:58:28","modified_gmt":"2024-05-06T12:58:28","slug":"ai-chatbot-side-channel-attack","status":"publish","type":"post","link":"https:\/\/www.kaspersky.es\/blog\/ai-chatbot-side-channel-attack\/29998\/","title":{"rendered":"C\u00f3mo pueden los piratas inform\u00e1ticos leer tus chats con ChatGPT o Microsoft Copilot"},"content":{"rendered":"

Investigadores israel\u00edes de Offensive AI Lab han publicado un art\u00edculo<\/a> que describe un m\u00e9todo para restaurar el texto de los mensajes de chatbots de IA interceptados. Hoy vamos a ver c\u00f3mo funciona este ataque y lo peligroso que es en realidad.<\/p>\n

\u00bfQu\u00e9 informaci\u00f3n se puede extraer de los mensajes de chatbot de IA interceptados?<\/h2>\n

Naturalmente, los chatbots env\u00edan mensajes de forma cifrada. De todos modos, la implementaci\u00f3n de grandes modelos de lenguaje<\/a> (LLM) y los chatbots basados en ellos albergan una serie de funciones que debilitan gravemente el cifrado. Al combinarse, estas funciones permiten llevar a cabo un ataque de canal lateral<\/a> cuando el contenido de un mensaje se restaura a partir de fragmentos de informaci\u00f3n filtrada.<\/p>\n

Para comprender lo que sucede durante este ataque, debemos profundizar un poco en los detalles de los LLM y el funcionamiento de los chatbots. Lo primero<\/strong> que debes saber es que los LLM no funcionan con caracteres individuales o palabras como tales, sino con tokens, que pueden describirse como unidades sem\u00e1nticas de texto. La p\u00e1gina de Tokenizer<\/a> en el sitio web de OpenAI permite vislumbrar el funcionamiento interno.<\/p>\n

\"Ejemplo<\/a>

Este ejemplo demuestra c\u00f3mo funciona la tokenizaci\u00f3n de mensajes con los modelos GPT-3.5 y GPT-4. Fuente<\/a>.<\/p><\/div>\n

Si has interactuado con los chatbots de IA seguramente conocer\u00e1s la segunda<\/strong> funci\u00f3n que facilita este ataque: no env\u00edan respuestas largas, sino de forma gradual, casi como si una persona las estuviera escribiendo. Pero a diferencia de una persona, los LLM escriben en tokens, no en caracteres individuales. Es decir que los chatbots env\u00edan tokens generados en tiempo real, uno tras otro; o, mejor dicho, la mayor\u00eda de los chatbots lo hacen. La excepci\u00f3n es Google Gemini, lo que lo hace invulnerable a este ataque.<\/p>\n

La tercera<\/strong> peculiaridad es la siguiente: en el momento de la publicaci\u00f3n del art\u00edculo, la mayor\u00eda de los chatbots no usaban compresi\u00f3n, codificaci\u00f3n ni relleno<\/a> (incorporaci\u00f3n de datos basura a un texto significativo para reducir la previsibilidad y aumentar la fuerza criptogr\u00e1fica) antes de cifrar un mensaje.<\/p>\n

Los ataques de canal lateral aprovechan estas tres peculiaridades. Aunque los mensajes de chatbot interceptados no se pueden descifrar<\/em>, los atacantes pueden extraer datos \u00fatiles de ellos, espec\u00edficamente, la longitud de cada token enviado por el chatbot. El resultado es similar al de un rompecabeza de la ruleta de la suerte. No se puede ver qu\u00e9 est\u00e1 cifrado exactamente, pero se revela la longitud de los tokens de palabras<\/span> individuales.<\/p>\n

\"Los<\/a>

Si bien es imposible descifrar el mensaje, los atacantes pueden extraer la longitud de los tokens enviados por el chatbot. La secuencia resultante es similar a una frase oculta en el programa La ruleta de la suerte. Fuente<\/a>.<\/p><\/div>\n

Uso de informaci\u00f3n extra\u00edda para restaurar el texto del mensaje<\/h2>\n

Lo \u00fanico que resta es adivinar qu\u00e9 palabras se esconden detr\u00e1s de los tokens. Y adivina qui\u00e9nes son buenos para las adivinanzas: exacto, los LLM<\/a>. De hecho, esta es su finalidad principal en la vida: adivinar las palabras correctas en el contexto dado. Entonces, para restaurar el texto del mensaje original a partir de la secuencia resultante de longitudes de tokens, los investigadores recurrieron a un LLM.<\/p>\n

A dos LLM, para ser precisos, ya que los investigadores observaron que los primeros mensajes en las conversaciones con los chatbots casi siempre siguen una f\u00f3rmula y, por lo tanto, pueden adivinarse f\u00e1cilmente por medio de un modelo especialmente entrenado con una variedad de mensajes introductorios generados por modelos de lenguaje populares. Por lo tanto, el primer modelo se utiliza para restaurar los mensajes introductorios y pasarlos al segundo modelo, que se encarga del resto de la conversaci\u00f3n.<\/p>\n

\"Descripci\u00f3n<\/a>

Esquema general del ataque. Fuente<\/a>.<\/p><\/div>\n

Se produce un texto en el que las longitudes de los tokens se corresponden con las del mensaje original. Sin embargo, las palabras espec\u00edficas se descifran a la fuerza con diversos niveles de \u00e9xito. Ten en cuenta que es poco frecuente que el mensaje restaurado coincida exactamente con el original. Por lo general, una parte del texto se adivina mal. A veces el resultado es satisfactorio:<\/p>\n

\"Ejemplo<\/a>

En este ejemplo, el texto se restaur\u00f3 con bastante fidelidad al original. Fuente<\/a>.<\/p><\/div>\n

Sin embargo, en un caso fallido, el texto reconstruido podr\u00eda tener poco en com\u00fan con el original o incluso no parecerse en nada. Por ejemplo, el resultado podr\u00eda ser este:<\/p>\n

\"Ejemplo<\/a>

Aqu\u00ed las conjeturas dejan mucho que desear. Fuente<\/a>.<\/p><\/div>\n

O incluso este:<\/p>\n

\"Ejemplo<\/a>

Como dijo una vez Alicia, en el Pa\u00eds de las Maravillas, \u201cesas no son las palabras correctas\u201d. Fuente<\/a>.<\/p><\/div>\n

En total, los investigadores examinaron m\u00e1s de una docena de chatbots de IA y descubrieron que la mayor\u00eda eran vulnerables a este ataque. Las excepciones fueron Google Gemini (antes conocido como Bard) y GitHub Copilot (que no debe confundirse con Microsoft Copilot).<\/p>\n

\"Lista<\/a>

En el momento de la publicaci\u00f3n del documento, muchos chatbots eran vulnerables al ataque. Fuente<\/a>.<\/p><\/div>\n

\u00bfDeber\u00eda preocuparme?<\/h2>\n

Cabe se\u00f1alar que este ataque es retrospectivo. Supongamos que alguien se tom\u00f3 la molestia de interceptar y guardar tus conversaciones con ChatGPT (no es tan f\u00e1cil, pero es posible), en las que revelas algunos secretos horribles. En este caso, utilizando el m\u00e9todo descrito anteriormente, esa persona, en teor\u00eda<\/em>, podr\u00eda leer los mensajes.<\/p>\n

Por suerte, las posibilidades de la persona que intercepta los mensajes no son muy altas. Como se\u00f1alan los investigadores, incluso el tema general de la conversaci\u00f3n se determin\u00f3 solo el 55\u00a0% de las veces. En cuanto a la reconstrucci\u00f3n exitosa, alcanz\u00f3 apenas un 29\u00a0%. Vale la pena mencionar que los criterios de los investigadores para una reconstrucci\u00f3n completamente exitosa se cumplieron, por ejemplo, en el siguiente caso:<\/p>\n

\"Ejemplo<\/a>

Ejemplo de una reconstrucci\u00f3n de texto que los investigadores consideraron totalmente exitosa. Fuente<\/a>.<\/p><\/div>\n

T\u00fa decides la importancia de estos matices sem\u00e1nticos. Sin embargo, ten en cuenta que lo m\u00e1s probable es que este m\u00e9todo no extraiga datos concretos reales (nombres, valores num\u00e9ricos, fechas, direcciones, datos de contacto u otra informaci\u00f3n vital<\/em>) con ning\u00fan grado de fiabilidad.<\/p>\n

Y el ataque tiene otra limitaci\u00f3n que los investigadores no mencionan: el \u00e9xito de la restauraci\u00f3n del texto depende en gran medida del idioma en el que est\u00e9n escritos los mensajes interceptados. El \u00e9xito de la tokenizaci\u00f3n var\u00eda mucho de un idioma a otro. Este estudio se centr\u00f3 en el ingl\u00e9s, que se caracteriza por tokens muy largos que suelen equivaler a una palabra entera. Por lo tanto, el texto en ingl\u00e9s tokenizado muestra patrones distintos que hacen que la reconstrucci\u00f3n sea relativamente sencilla.<\/p>\n

Ning\u00fan otro idioma est\u00e1 en una situaci\u00f3n similar. Incluso para los idiomas de los grupos germ\u00e1nico y romance, que son los m\u00e1s parecidos al ingl\u00e9s, la longitud media de los tokens es de 1,5 a 2 veces m\u00e1s corta; y para el ruso, 2,5 veces. Un token ruso t\u00edpico tiene solo un par de caracteres, lo que probablemente reduzca la efectividad de este ataque a cero.<\/p>\n

\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Ejemplos\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tLos textos en diferentes idiomas se tokenizan de manera diferente. Una muestra en ingl\u00e9s \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Ejemplos\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tLos textos en diferentes idiomas se tokenizan de manera diferente. Una muestra en alem\u00e1n \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Ejemplos\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tLos textos en diferentes idiomas se tokenizan de manera diferente. Una muestra en ruso \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Ejemplos\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tLos textos en diferentes idiomas se tokenizan de manera diferente. Una muestra en hebreo \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl><\/div>\n

Al menos dos desarrolladores de chatbots de inteligencia artificial, Cloudflare y OpenAI, ya han reaccionado al estudio al a\u00f1adir el m\u00e9todo de relleno mencionado anteriormente, que se dise\u00f1\u00f3 espec\u00edficamente con este tipo de amenaza en mente. Otros desarrolladores de chatbots de IA est\u00e1n preparados para hacer lo mismo. Por lo que, con suerte, la comunicaci\u00f3n futura con los chatbots estar\u00e1 protegida contra este ataque.<\/p>\n\n","protected":false},"excerpt":{"rendered":"

C\u00f3mo aprovechan los piratas inform\u00e1ticos las funciones de los chatbots para restaurar los chats cifrados de OpenAI ChatGPT, Microsoft Copilot y la mayor\u00eda de los dem\u00e1s chatbots de IA.<\/p>\n","protected":false},"author":2726,"featured_media":30003,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[1348,2019],"tags":[378,2093,551,1994,3518,184,3653,630,1307,1305,30,3652,61,612],"class_list":{"0":"post-29998","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-threats","8":"category-technology","9":"tag-amenazas","10":"tag-aprendizaje-automatico","11":"tag-ataques","12":"tag-chatbots","13":"tag-chatgpt","14":"tag-cifrado","15":"tag-copilot","16":"tag-criptografia","17":"tag-ia","18":"tag-inteligencia-artificial","19":"tag-microsoft","20":"tag-openai","21":"tag-seguridad","22":"tag-tecnologia"},"hreflang":[{"hreflang":"es","url":"https:\/\/www.kaspersky.es\/blog\/ai-chatbot-side-channel-attack\/29998\/"},{"hreflang":"en-in","url":"https:\/\/www.kaspersky.co.in\/blog\/ai-chatbot-side-channel-attack\/27365\/"},{"hreflang":"en-ae","url":"https:\/\/me-en.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/22693\/"},{"hreflang":"ar","url":"https:\/\/me.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/11629\/"},{"hreflang":"en-us","url":"https:\/\/usa.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/30042\/"},{"hreflang":"en-gb","url":"https:\/\/www.kaspersky.co.uk\/blog\/ai-chatbot-side-channel-attack\/27523\/"},{"hreflang":"es-mx","url":"https:\/\/latam.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/27340\/"},{"hreflang":"it","url":"https:\/\/www.kaspersky.it\/blog\/ai-chatbot-side-channel-attack\/28811\/"},{"hreflang":"ru","url":"https:\/\/www.kaspersky.ru\/blog\/ai-chatbot-side-channel-attack\/37315\/"},{"hreflang":"tr","url":"https:\/\/www.kaspersky.com.tr\/blog\/ai-chatbot-side-channel-attack\/12312\/"},{"hreflang":"x-default","url":"https:\/\/www.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/51064\/"},{"hreflang":"fr","url":"https:\/\/www.kaspersky.fr\/blog\/ai-chatbot-side-channel-attack\/21841\/"},{"hreflang":"pt-br","url":"https:\/\/www.kaspersky.com.br\/blog\/ai-chatbot-side-channel-attack\/22582\/"},{"hreflang":"de","url":"https:\/\/www.kaspersky.de\/blog\/ai-chatbot-side-channel-attack\/31244\/"},{"hreflang":"ja","url":"https:\/\/blog.kaspersky.co.jp\/ai-chatbot-side-channel-attack\/36301\/"},{"hreflang":"ru-kz","url":"https:\/\/blog.kaspersky.kz\/ai-chatbot-side-channel-attack\/27666\/"},{"hreflang":"en-au","url":"https:\/\/www.kaspersky.com.au\/blog\/ai-chatbot-side-channel-attack\/33525\/"},{"hreflang":"en-za","url":"https:\/\/www.kaspersky.co.za\/blog\/ai-chatbot-side-channel-attack\/33188\/"}],"acf":[],"banners":"","maintag":{"url":"https:\/\/www.kaspersky.es\/blog\/tag\/inteligencia-artificial\/","name":"inteligencia artificial"},"_links":{"self":[{"href":"https:\/\/www.kaspersky.es\/blog\/wp-json\/wp\/v2\/posts\/29998","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.kaspersky.es\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.kaspersky.es\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.kaspersky.es\/blog\/wp-json\/wp\/v2\/users\/2726"}],"replies":[{"embeddable":true,"href":"https:\/\/www.kaspersky.es\/blog\/wp-json\/wp\/v2\/comments?post=29998"}],"version-history":[{"count":3,"href":"https:\/\/www.kaspersky.es\/blog\/wp-json\/wp\/v2\/posts\/29998\/revisions"}],"predecessor-version":[{"id":30014,"href":"https:\/\/www.kaspersky.es\/blog\/wp-json\/wp\/v2\/posts\/29998\/revisions\/30014"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.kaspersky.es\/blog\/wp-json\/wp\/v2\/media\/30003"}],"wp:attachment":[{"href":"https:\/\/www.kaspersky.es\/blog\/wp-json\/wp\/v2\/media?parent=29998"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.kaspersky.es\/blog\/wp-json\/wp\/v2\/categories?post=29998"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.kaspersky.es\/blog\/wp-json\/wp\/v2\/tags?post=29998"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}