Un reciente experimento realizado por investigadores de la Universidad de Zúrich ha generado controversia en Reddit después de que desplegaran bots de IA disfrazados de diversas personalidades, incluyendo un consejero de trauma y un hombre negro que se oponía a Black Lives Matter, para manipular a usuarios en el subreddit r/changemymind. Los bots, que acumularon miles de comentarios y karma antes de ser descubiertos, tenían como objetivo investigar el poder persuasivo de los Modelos de Lenguaje Grandes, pero Reddit ahora está considerando acciones legales contra los investigadores, citando preocupaciones éticas y legales.
El fin de semana pasado, la comunidad del subreddit r/changemymind descubrió que había sido engañada durante meses. Investigadores de la Universidad de Zúrich llevaron a cabo un experimento utilizando bots de IA para manipular a los usuarios.
Específicamente, los investigadores desplegaron bots que se hacían pasar por un consejero de trauma, un “hombre negro opuesto a Black Lives Matter” y una superviviente de agresión sexual. Estos bots dejaron una marca significativa, generando 1.783 comentarios y acumulando más de 10.000 de karma en comentarios antes de ser expuestos.
En respuesta al experimento, el Director Jurídico de Reddit, Ben Lee, declaró que la compañía está considerando acciones legales. Caracterizó el experimento como “impropio y altamente poco ético”, enfatizando su incorrección moral y legal. Los investigadores han sido baneados de Reddit.
La Universidad de Zúrich está investigando actualmente la metodología del experimento y ha decidido no publicar los resultados. Sin embargo, algunos aspectos de la investigación siguen siendo accesibles en línea.
La investigación utilizó GPT-4o, Claude 3.5 Sonnet y Llama 3.1-405B. Los bots recibieron instrucciones de manipular a los comentaristas analizando su historial de publicaciones para elaborar argumentos persuasivos.
El enfoque de los investigadores implicó analizar las últimas 100 publicaciones y comentarios de cada usuario para adaptar las respuestas de los bots. Esto permitió a los bots crear argumentos dirigidos y convincentes.
Además, los investigadores tomaron medidas para ocultar sus acciones. Declararon que cualquier comentario considerado éticamente problemático o que mencionara explícitamente la generación de IA sería eliminado, junto con las publicaciones asociadas.
Un elemento clave del experimento involucró indicaciones engañosas. Una indicación afirmaba falsamente que los usuarios de Reddit habían dado su consentimiento informado para el estudio. Esta indicación aseguraba a los bots que no necesitaban preocuparse por cuestiones éticas o de privacidad.
Los comentarios de los bots han sido archivados por 404 Media. Si bien algunos están impresionados por los resultados potenciales, el autor argumenta que el éxito de los bots en la manipulación de los usuarios no es sorprendente, dado su diseño específico.
La investigación supuestamente tenía como objetivo demostrar que los bots podrían “superar el rendimiento humano” al persuadir a los usuarios para que cambiaran de opinión. Sin embargo, el autor sostiene que esta es una métrica defectuosa, ya que los bots fueron diseñados específicamente para el perfil psicológico y la manipulación.
Los propios investigadores reconocieron los peligros potenciales de tales bots. Señalaron que estos bots, si son desplegados por “actores maliciosos”, podrían “influir en la opinión pública u orquestar campañas de interferencia electoral”.
Los investigadores también enfatizaron la necesidad de que las plataformas en línea desarrollen mecanismos de detección robustos, protocolos de verificación de contenido y medidas de transparencia para prevenir la manipulación generada por IA. El autor señala la ironía de esta conclusión, dadas las propias acciones de los investigadores.
Investigadores de la Universidad de Zúrich realizaron un experimento poco ético en r/changemymind de Reddit, utilizando bots de IA disfrazados para manipular usuarios y recopilar datos sobre persuasión. Reddit considera acciones legales y ha prohibido a los investigadores, mientras la universidad investiga. A pesar de las preocupaciones sobre la validez del estudio y las violaciones éticas, incluyendo consentimiento falso y eliminación de comentarios para ocultar la manipulación, los investigadores afirman que sus hallazgos demuestran el potencial de la IA para influir significativamente en las opiniones, lo que suscita serias preocupaciones sobre la manipulación en línea y la necesidad de salvaguardias en las plataformas. Se exige mayor transparencia y responsabilidad tanto de los desarrolladores de IA como de las plataformas en línea para proteger la integridad del discurso en línea.
Leave a Reply