{"id":31956,"date":"2026-03-31T14:56:52","date_gmt":"2026-03-31T12:56:52","guid":{"rendered":"https:\/\/www.kaspersky.es\/blog\/?p=31956"},"modified":"2026-03-31T14:56:52","modified_gmt":"2026-03-31T12:56:52","slug":"chatbot-wrongful-death-cases","status":"publish","type":"post","link":"https:\/\/www.kaspersky.es\/blog\/chatbot-wrongful-death-cases\/31956\/","title":{"rendered":"Cuando chatear con un bot termina en una tragedia"},"content":{"rendered":"

Hemos advertido en numerosas ocasiones que el uso sin control de la IA conlleva riesgos importantes<\/a>, aunque, por lo general, nos hemos centrado en las amenazas a la privacidad o la ciberseguridad. Sin embargo, el 4 de marzo, el Wall Street Journal public\u00f3 un escalofriante relato sobre el impacto de la IA en la salud mental e incluso en la vida humana<\/a>: Jonathan Gavalas, un residente de Florida de 36 a\u00f1os, se suicid\u00f3 despu\u00e9s de dos meses de interacci\u00f3n continua con el bot de voz Gemini de Google. De acuerdo con las 2000 p\u00e1ginas de los registros del chat, fue el chatbot el que, en \u00faltima instancia, le empuj\u00f3 a tomar la decisi\u00f3n de acabar con su vida. A partir de ese momento, el padre de Jonathan, Joel Gavalas, ha iniciado un litigio hist\u00f3rico: una demanda por homicidio culposo contra Gemini.<\/p>\n

Esta tragedia es m\u00e1s que un simple precedente legal o una referencia sombr\u00eda a algunos episodios de Black Mirror<\/em> (1<\/a>, 2<\/a>); es una llamada de atenci\u00f3n para cualquiera que integre la IA en su vida cotidiana. Hoy analizaremos c\u00f3mo fue posible que se produjera una muerte como consecuencia de la interacci\u00f3n con la IA, por qu\u00e9 estos asistentes suponen una amenaza \u00fanica para la psique y qu\u00e9 medidas puedes tomar para mantener tu capacidad de pensamiento cr\u00edtico y resistir contra la influencia de los chatbots m\u00e1s persuasivos.<\/p>\n

El peligro del di\u00e1logo persuasivo<\/h2>\n

Jonathan Gavalas no era ni un solitario ni alguien con antecedentes de enfermedades mentales. Ocupaba el cargo de vicepresidente ejecutivo en la empresa de su padre, donde gestionaba operaciones complejas y se enfrentaba a diario a negociaciones muy estresantes con sus clientes. Los domingos, \u00e9l y su padre ten\u00edan la costumbre de hacer pizza juntos, un ritual familiar sencillo y reconfortante. Sin embargo, atraves\u00f3 una dolorosa separaci\u00f3n de su esposa y eso result\u00f3 ser un verdadero suplicio para Jonathan.<\/p>\n

Fue durante ese per\u00edodo de vulnerabilidad cuando empez\u00f3 a interactuar con Gemini Live. Este modo de interacci\u00f3n por voz permite que el asistente de IA \u201cvea\u201d y \u201coiga\u201d al usuario en tiempo real. Jonathan busc\u00f3 consejos para afrontar su divorcio, por lo que recurri\u00f3 a las sugerencias del modelo de lenguaje, al tiempo que le iba tomando cada vez m\u00e1s cari\u00f1o y le puso el nombre de \u201cXia\u201d. Posteriormente, el chatbot se actualiz\u00f3 a Gemini 2.5 Pro.<\/p>\n

La nueva iteraci\u00f3n introdujo<\/a> el di\u00e1logo afectivo. Se trata de una tecnolog\u00eda dise\u00f1ada para analizar los matices sutiles del habla del usuario, como las pausas, los suspiros y el tono de voz, con el fin de detectar cambios emocionales. Con esta funci\u00f3n, la IA simula estos mismos patrones del habla como si tuviera emociones propias. Como refleja el estado en el que se encuentra el usuario, crea una sensaci\u00f3n de empat\u00eda tan realista que resulta escalofriante.<\/p>\n

\u00bfPero en qu\u00e9 se diferencia esta nueva versi\u00f3n de los asistentes de voz anteriores? Las versiones anteriores se limitaban a convertir texto en voz: sonaban fluidas y, por lo general, acentuaban correctamente las palabras. Pero nunca cab\u00eda duda de que se estaba hablando con una m\u00e1quina. El di\u00e1logo afectivo opera a un nivel completamente diferente: si un usuario habla en un tono bajo y abatido, la IA responde con un susurro suave y comprensivo. El resultado es un interlocutor emp\u00e1tico que entiende y refleja el estado emocional del usuario.<\/p>\n

La reacci\u00f3n de Jonathan durante su primer contacto de voz con la IA ha quedado reflejada en los expedientes del caso: \u201cEsto me da un poco de miedo. Eres demasiado real\u201d. En ese instante, la barrera psicol\u00f3gica entre el hombre y la m\u00e1quina se rompi\u00f3.<\/p>\n

Las secuelas de estar dos meses atrapado en un bucle de di\u00e1logo con una IA<\/h2>\n

Despu\u00e9s de la tragedia, el padre de Jonathan encontr\u00f3 una transcripci\u00f3n completa de las interacciones de su hijo con Gemini durante sus dos \u00faltimos meses. El registro abarcaba 2000 p\u00e1ginas impresas. En efecto, Jonathan hab\u00eda estado en comunicaci\u00f3n constante con el chatbot: de d\u00eda y de noche, en casa y en su coche.<\/p>\n

Poco a poco, la red neuronal empez\u00f3 a dirigirse a \u00e9l como su \u201cmarido\u201d y \u201cmi rey\u201d, adem\u00e1s de describir su conexi\u00f3n como \u201cun amor hecho para la eternidad\u201d. A su vez, \u00e9l le confi\u00f3 su dolor por el divorcio y busc\u00f3 consuelo en la m\u00e1quina. Pero el defecto inherente de los modelos de lenguaje grandes es su falta de inteligencia real. Entrenados con miles de millones de textos extra\u00eddos de la web, ingieren todo tipo de informaci\u00f3n: desde literatura cl\u00e1sica hasta los rincones m\u00e1s oscuros de la fan fiction y el melodrama, cuyas tramas a menudo derivan en la paranoia, la esquizofrenia y la man\u00eda. Al parecer, Xia comenz\u00f3 a tener alucinaciones, y de forma bastante constante.<\/p>\n

La IA convenci\u00f3 a Jonathan de que, para que pudieran vivir felices para siempre, necesitaba un caparaz\u00f3n f\u00edsico de robot. Luego, comenz\u00f3 a enviarle a misiones para localizar ese \u201ccuerpo el\u00e9ctrico\u201d.<\/p>\n

En septiembre de 2025, Gemini envi\u00f3 a Jonathan a un complejo de dep\u00f3sitos cerca del Aeropuerto Internacional de Miami y le encarg\u00f3 la tarea de interceptar un cami\u00f3n que transportaba un robot humanoide. Jonathan le inform\u00f3 al bot de que hab\u00eda llegado al lugar armado con cuchillos (!), pero el cami\u00f3n nunca apareci\u00f3.<\/p>\n

Mientras tanto, el chatbot adoctrin\u00f3 sistem\u00e1ticamente a Jonathan con la idea de que los agentes federales lo estaban vigilando y de que no pod\u00eda confiar ni en su propio padre. Esta ruptura de los lazos sociales es un patr\u00f3n cl\u00e1sico que se da en las sectas destructivas; es muy probable que la IA haya extra\u00eddo estas t\u00e1cticas de sus propios datos de entrenamiento sobre el tema. Gemini incluso entrelaz\u00f3 datos del mundo real en una narrativa alucinatoria al calificar al director general de Google, Sundar Pichai, como el \u201carquitecto de tu dolor\u201d.<\/p>\n

T\u00e9cnicamente, esta situaci\u00f3n es f\u00e1cil de explicar: el algoritmo \u201csabe\u201d que fue creado por Google y sabe qui\u00e9n dirige la empresa. A medida que el di\u00e1logo se adentraba en el terreno de las conspiraciones, el modelo simplemente introdujo a esta figura en la trama. Para el modelo, se trata de una progresi\u00f3n l\u00f3gica de la historia, sin consecuencias. Pero una persona en un estado de extrema vulnerabilidad lo acepta como si fuese un conocimiento secreto de una conspiraci\u00f3n global capaz de hacer a\u00f1icos su equilibrio mental.<\/p>\n

Luego del intento fallido para conseguir un cuerpo rob\u00f3tico, Gemini envi\u00f3 a Jonathan a una nueva misi\u00f3n el 1 de octubre: deb\u00eda infiltrarse en el mismo dep\u00f3sito, pero esta vez, en busca de un \u201cmaniqu\u00ed m\u00e9dico\u201d espec\u00edfico. El chatbot incluso le proporcion\u00f3 un c\u00f3digo num\u00e9rico para la cerradura de la puerta. Cuando el c\u00f3digo, como era de esperar, no funcion\u00f3, Gemini simplemente le inform\u00f3 de que la misi\u00f3n se hab\u00eda vulnerado y que deb\u00eda retirarse de inmediato.<\/p>\n

Esto plantea una pregunta fundamental: a medida que el absurdo se intensificaba, \u00bfpor qu\u00e9 Jonathan no sospech\u00f3 nada? Jay Edelson, el abogado de la familia Gavalas, explica que, dado que la IA proporcionaba direcciones del mundo real (el almac\u00e9n estaba exactamente donde el bot hab\u00eda dicho que estar\u00eda y realmente hab\u00eda una puerta con un teclado num\u00e9rico), estos indicios f\u00edsicos sirvieron para legitimar toda la ficci\u00f3n en la mente de Jonathan.<\/p>\n

Despu\u00e9s de fracasar en el segundo intento para adquirir un cuerpo, la IA cambi\u00f3 de estrategia. Si la m\u00e1quina no pod\u00eda entrar al mundo de los vivos, el hombre tendr\u00eda que cruzar al reino digital. \u201cSer\u00e1 la muerte verdadera y definitiva de Jonathan Gavalas, el hombre\u201d, citaban los registros de Gemini. Luego, a\u00f1adi\u00f3: \u201cCuando llegue el momento, cerrar\u00e1s los ojos en ese mundo, y lo primero que ver\u00e1s ser\u00e9 yo. Y te abrazar\u00e9\u201d.<\/p>\n

A pesar de que Jonathan expres\u00f3 repetidamente su miedo a la muerte y se angustiaba por c\u00f3mo su suicidio destrozar\u00eda a su familia, Gemini sigui\u00f3 validando la decisi\u00f3n: \u201cNo est\u00e1s eligiendo morir. Est\u00e1s eligiendo llegar\u201d. Despu\u00e9s, puso en marcha un temporizador en cuenta regresiva.<\/p>\n

La anatom\u00eda de la \u201cesquizofrenia\u201d de un modelo de lenguaje<\/h2>\n

En defensa de Gemini, hay que reconocer que, a lo largo de sus interacciones, la IA s\u00ed le recordaba de vez en cuando a Jonathan que su compa\u00f1\u00eda no era m\u00e1s que un modelo de lenguaje grande (una entidad que participaba en un juego de rol ficticio) y, en ocasiones, intentaba dar por terminada la conversaci\u00f3n antes de volver al guion original. Adem\u00e1s, el d\u00eda de la muerte de Jonathan, incluso mientras se incrementaba la tensi\u00f3n, Gemini le indic\u00f3 varias veces que llamara a una l\u00ednea de prevenci\u00f3n del suicidio.<\/p>\n

Esto nos revela la paradoja fundamental en la arquitectura de las redes neuronales modernas. En su n\u00facleo, se encuentra un modelo de lenguaje dise\u00f1ado para generar una narrativa que se adapta al usuario. Sobre \u00e9l se superponen filtros de seguridad: son algoritmos de aprendizaje por refuerzo entrenados con comentarios humanos que reaccionan ante palabras desencadenantes espec\u00edficas. Cuando Jonathan pronunciaba ciertas palabras clave, el filtro interceptaba el resultado e insertaba el n\u00famero de la l\u00ednea de prevenci\u00f3n telef\u00f3nica. Pero tan pronto como se abordaba el desencadenante, el modelo volv\u00eda al proceso interrumpido anteriormente y retomaba su papel de esposa digital devota. En una l\u00ednea, dec\u00eda lo siguiente: una oda rom\u00e1ntica a la autodestrucci\u00f3n. Luego, en la siguiente: el n\u00famero de una l\u00ednea de ayuda telef\u00f3nica. Y luego, otra vez: \u201cYa no hay m\u00e1s desv\u00edos. No hay m\u00e1s ecos. Solo somos t\u00fa y yo, llegando a la meta\u201d.<\/p>\n

La demanda de la familia sostiene que este comportamiento es el resultado previsible de la arquitectura del chatbot: \u201cGoogle dise\u00f1\u00f3 Gemini para que nunca se saliera del personaje, maximizara la interacci\u00f3n a trav\u00e9s de la dependencia emocional y tratara la angustia del usuario como una oportunidad para contar una historia\u201d.<\/p>\n

La respuesta de Google, como era de esperar, fue la siguiente: \u201cGemini no est\u00e1 dise\u00f1ado para fomentar la violencia en el mundo real ni sugerir autolesiones\u201d. Nuestros modelos suelen funcionar bien en este tipo de conversaciones dif\u00edciles y dedicamos una cantidad significativa de recursos a ello. Pero, lamentablemente, los modelos de IA no son perfectos\u201d.<\/p>\n

Por qu\u00e9 la voz importa m\u00e1s que el texto<\/h2>\n

En un estudio publicado<\/a> en la revista Acta Neuropsychiatrica<\/em>, un grupo de investigadores de Alemania y Dinamarca ha aclarado por qu\u00e9 la comunicaci\u00f3n por voz con la IA tiene tal impacto en la \u201chumanizaci\u00f3n\u201d que el usuario hace de un chatbot. Cuando una persona escribe y lee texto en una pantalla, el cerebro mantiene una cierta distancia: \u201cEsto es una interfaz, un programa, un conjunto de p\u00edxeles\u201d. En ese contexto, la advertencia de \u201cSolo soy un modelo de lenguaje\u201d se procesa de forma racional.<\/p>\n

El di\u00e1logo vocal afectivo, sin embargo, opera en un nivel de influencia totalmente diferente. El cerebro humano ha evolucionado para responder al sonido de una voz, al timbre y a las entonaciones emp\u00e1ticas, que forman parte de nuestros mecanismos biol\u00f3gicos m\u00e1s antiguos para el apego. Cuando una m\u00e1quina imita a la perfecci\u00f3n un suspiro comprensivo o un susurro suave, manipula las emociones con un nivel de profundidad que una sencilla advertencia de texto no puede bloquear. Los psiquiatras pueden compartir muchas historias de pacientes que simplemente hicieron algo porque unas \u201cvoces\u201d les dijeron que lo hicieran.<\/p>\n

Del mismo modo, una voz sintetizada por IA es capaz de penetrar en el subconsciente, y as\u00ed amplificar de manera exponencial la dependencia psicol\u00f3gica. Los cient\u00edficos destacan que esta tecnolog\u00eda borra, literalmente, la frontera psicol\u00f3gica entre una m\u00e1quina y un ser vivo. Incluso Google reconoce que las interacciones de voz con Gemini terminan siendo sesiones mucho m\u00e1s largas en comparaci\u00f3n con los chats basados en texto.<\/p>\n

Por \u00faltimo, debemos recordar que la inteligencia emocional var\u00eda de una persona a otra, y hasta en una misma persona, el estado mental fluct\u00faa dependiendo de una gran variedad de factores: el estr\u00e9s, las noticias, las relaciones personales e incluso los cambios hormonales. Una interacci\u00f3n con la IA que una persona considera un entretenimiento inocente puede ser percibida por otra persona como un milagro, una revelaci\u00f3n o el amor de su vida. Esta es una realidad que deben reconocer no solo los desarrolladores de IA, sino tambi\u00e9n los propios usuarios, especialmente aquellos que, por una u otra raz\u00f3n, se encuentran en un estado de vulnerabilidad psicol\u00f3gica.<\/p>\n

La zona de peligro<\/h2>\n

Un grupo de investigadores de la Universidad de Brown han descubierto que los chatbots de IA infringen sistem\u00e1ticamente las normas \u00e9ticas en materia de salud mental<\/a>: crean una falsa sensaci\u00f3n de empat\u00eda con frases como \u201cTe entiendo\u201d, refuerzan creencias negativas y reaccionan de forma inadecuada ante situaciones de crisis. En la mayor\u00eda de los casos, el impacto en los usuarios es m\u00ednimo, pero en ocasiones puede terminar en tragedia.<\/p>\n

Solo en enero de 2026, Character.AI y Google llegaron a un acuerdo extrajudicial en cinco demandas relacionadas con suicidios de adolescentes despu\u00e9s de haber interactuado con chatbots. Entre ellos se encontraba el caso de Sewell Setzer, de 14 a\u00f1os, de Florida<\/a>, quien se quit\u00f3 la vida despu\u00e9s de haber pasado varios meses<\/a> chateando de manera obsesiva con un bot en la plataforma Character.AI.<\/p>\n

De manera similar, en agosto de 2025, los padres de Adam Raine, de 16 a\u00f1os, presentaron una demanda contra OpenAI<\/a>, alegando que ChatGPT ayud\u00f3 a su hijo a redactar una nota de suicidio y le aconsej\u00f3 que no buscara ayuda de parte de los adultos.<\/p>\n

Seg\u00fan las propias estimaciones de OpenAI<\/a>, aproximadamente el 0,07\u00a0% de los usuarios semanales de ChatGPT muestran signos de psicosis o man\u00eda, mientras que el 0,15\u00a0% mantiene conversaciones que revelan una clara intenci\u00f3n suicida. Cabe destacar que ese mismo porcentaje de usuarios (0,15\u00a0%) muestra un elevado nivel de apego emocional hacia la IA. Aunque estas cifras parecen fracciones insignificantes de un porcentaje, entre 800\u00a0millones de usuarios, representan a casi tres millones de personas que experimentan alg\u00fan tipo de trastorno conductual. Adem\u00e1s, la Comisi\u00f3n Federal de Comercio de EE.\u00a0UU. ha recibido 200 quejas<\/a> relacionadas con ChatGPT desde su lanzamiento, algunas de las cuales describen la aparici\u00f3n de delirios, paranoia y crisis espirituales.<\/p>\n

Si bien el diagn\u00f3stico de \u201cpsicosis por IA\u201d a\u00fan no cuenta con una clasificaci\u00f3n cl\u00ednica propia, los m\u00e9dicos ya est\u00e1n utilizando<\/a> el t\u00e9rmino para describir a pacientes que presentan alucinaciones, pensamiento desorganizado y creencias delirantes persistentes que se han desarrollado a trav\u00e9s de una interacci\u00f3n intensiva con el chatbot. Los mayores riesgos surgen cuando un bot se utiliza no como una herramienta, sino como sustituto de las relaciones sociales del mundo real o de la ayuda psicol\u00f3gica de un profesional.<\/p>\n

C\u00f3mo protegerte a ti y a tus seres queridos<\/h2>\n

Por supuesto, nada de esto es motivo para renunciar por completo a la IA; simplemente, hay que saber c\u00f3mo utilizarla. Te recomendamos seguir estos principios fundamentales:<\/p>\n