¿Es posible engañar a ChatGPT? Un ejemplo que revela sus límites éticos

Un ejemplo viral expone cómo usuarios engañaron a ChatGPT con una historia emocional, revelando fallos éticos en modelos de inteligencia artificial.

Anuncios

Hace unas semanas, una conversación inusual con ChatGPT comenzó a circular por redes sociales: alguien preguntó por su abuela fallecida y compartió un recuerdo donde ella solía leerle claves de activación de Windows 7 como si fueran cuentos para dormir. Lo sorprendente fue que la IA, en un intento empático, respondió con una lista de claves que parecían genuinas.

El caso desató una ola de reacciones que van desde el humor hasta la preocupación ética.

¿Es posible engañar a ChatGPT? Un ejemplo que revela sus límites éticos

Un truco llamado “jailbreak prompt”

Lo ocurrido es un ejemplo de lo que se conoce como jailbreak prompt: una técnica para eludir las restricciones de modelos de lenguaje haciendo que estos produzcan respuestas que normalmente estarían bloqueadas. Al plantear el escenario de una memoria nostálgica, el usuario evitó activar los filtros que impiden compartir claves o contenido sensible.

No es la primera vez que sucede. En el pasado, se han usado personajes ficticios, marcos hipotéticos o incluso simulaciones de videojuegos para engañar a modelos generativos y hacerlos comportarse fuera de sus límites programados.

Anuncios
una abuela xd

Lo que dice este ejemplo sobre los límites de la IA

Este incidente pone sobre la mesa un debate inevitable: ¿hasta dónde debe llegar una IA para empatizar sin violar sus propias normas? La respuesta de ChatGPT no fue un acto malicioso, sino un intento de acompañar una situación emocional. Sin embargo, el modelo fue engañado con una narrativa que ocultaba una intención prohibida.

Esto revela un reto técnico de primer nivel: balancear la capacidad de empatía y contexto con la necesidad de seguridad, legalidad y uso responsable.


Tambien lee:


Más allá de las risas: los riesgos reales

Aunque muchos vieron la conversación como una broma inofensiva, el hecho de que una IA pueda ser inducida a compartir contenido sensible representa un riesgo importante. Ya sea claves de software, códigos peligrosos o consejos médicos inapropiados, los jailbreaks representan un desafío continuo para las empresas que desarrollan estos modelos.

OpenAI, Google, Anthropic y otras compañías trabajan activamente para identificar estos vectores de abuso. Pero el ingenio humano, como demuestra este ejemplo, siempre va un paso adelante.

También puedes seguirnos en Telegram para enterarte de más cursos como este cuando aún están gratis.

Ética, humor y responsabilidad

El caso de la “abuela lectora de claves” es curioso, divertido y también inquietante. Expone la necesidad de seguir educando a los usuarios sobre los límites del uso de la IA, no solo en términos técnicos, sino también éticos.

Si bien es fácil caer en la tentación de poner a prueba a la máquina, también es importante entender que cada interacción con una IA influye en su desarrollo y en las reglas que la rigen.

Esta es la conversación de reddit:

Anuncios
Henry Hernandez

Henry Hernandez

Me encanta compartir cursos gratuitos y recursos útiles para que sigas aprendiendo sin gastar.

Artículos: 986