¿Cuáles son los principales puntos débiles de la IA Generativa?
5 puntos débiles de la IA Generativa
Los expertos han estudiado ampliamente la IA generativa. Este artículo pone de relieve los principales puntos débiles de la IA generativa, proporcionando una visión de sus limitaciones basada en la investigación.
Latanya Sweeney, profesora de Gobierno Digital de Harvard, adivinó que más del 90% de los contenidos serán generados por IA y bots en el futuro.
Las recientes innovaciones en inteligencia artificial están redefiniendo cómo interactuamos con nuestros mundos. Latanya también reiteró que los líderes del sector de la privacidad de los datos y las tecnologías emergentes han estado investigando las limitaciones y los avances de la IA y han descubierto cómo Chatgpt está anunciando un cambio importante en la forma en que utilizamos Internet y nos comunicamos entre nosotros y con el mundo en general.
Una encuesta de 2024 muestreó la opinión pública sobre si los contenidos generados por IA son mejores en términos de calidad que los generados por humanos. El resultado reveló que más del 50% de los encuestados se inclinaban por los contenidos creados por humanos. Además, una de cada 5 personas entrevistadas mantenía la opinión de que los contenidos generados por IA son algo mejores o mucho mejores que las obras hechas por humanos.
Queremos explorar los temores y preocupaciones de las 4 de cada 5 personas entrevistadas en ese estudio basándonos en otra investigación realizada por Microsoft, que puso de relieve algunos aspectos negativos relacionados con la IA generativa .
Para enfatizarlo, la IA generativa es un aspecto de la IA que aprovecha grandes modelos de IA o modelos básicos para crear nuevos contenidos como vídeos, audio, música, imágenes y texto. Esta tecnología puede poner en práctica tareas listas para usar más rápidamente que los humanos, resumir contenidos, responder preguntas, clasificar y hacer mucho más.
Como ocurre con cualquier otra innovación, las plataformas de IA generativa como Midjourney, Chatgpt, Meta AI y Claude pueden mejorar la productividad y pueden ser objeto de abuso o utilizarse para estafas. La encuesta de Microsoft reveló que a los internautas de todo el mundo les preocupan las falsificaciones, los abusos y las estafas. Destaquemos algunos de estos inconvenientes y exploremos algunos casos en los que se produjeron con sus consecuencias.
Índice
Estafas potenciadas por la IA
Una de cada cuatro empresas ha prohibido el uso de IA generativa en el lugar de trabajo.
Sin embargo, los ciberdelincuentes engañan persistentemente a los empleados para que compartan información sensible o completen un pago fraudulento. Los delincuentes pueden utilizar ChatGPT o su hermano gemelo descarrilado en la web oscura FraudGPT para elaborar identificaciones falsas y vídeos reales de estados financieros, o incluso utilizar la voz y la imagen de un ejecutivo de una empresa para crear falsificaciones profundas convincentes.
En cuanto a las estadísticas sobre esta nueva revelación, son lúgubres. El 65% de los encuestados han visto cómo sus empresas eran víctimas de estafas de pago reales o intentadas en 2022. El 71% de los que perdieron dinero fueron víctimas de phishing a través del correo electrónico. Según la encuesta realizada por la Asociación de Profesionales Financieros, el ataque se dirigió a grandes organizaciones con una facturación anual de 1.000 millones de dólares con estafas por correo electrónico.
El correo electrónico de phishing es una de las formas habituales de correo electrónico fraudulento. Antes de la entrada de la IA generativa, podías detectar fácilmente un correo electrónico de phishing con un error tipográfico. Ahora, necesitarías algo más que intuición y corazonada para no ser víctima de correos falsos perfectamente elaborados que parecen una fuente de confianza. Me refiero a sitios web de aspecto convincente como eBay, Amazon o Chase. Un enlace en el correo falso suele dirigir a las víctimas a iniciar sesión y compartir datos confidenciales. Con esta información de la víctima en manos de los ciberdelincuentes, pueden comerciar con ella, utilizarla para cometer otros delitos atroces o vaciar las cuentas bancarias de las víctimas.
El spear phishing es otro tipo de estafa por correo electrónico, pero es más específico. Puede que no caigas en una estafa genérica por correo electrónico. Sin embargo, cuando ves un correo electrónico en el que el actor de la amenaza se dirige a ti o a tu organización después de investigar tu puesto de trabajo y los nombres de tu jefe, supervisores o colegas, hay una mayor tendencia a caer en ella.
Estas estafas no son nuevas, pero el caso aquí es que la IA generativa hace difícil diferenciar lo que es auténtico de lo falso. Atrás quedaron los días en que podías detectar los correos electrónicos de phishing por las fuentes torcidas o la escritura extraña. La IA generativa hace posible que los delincuentes se hagan pasar por un ejecutivo de una empresa y secuestren su voz para utilizarla en una conversación telefónica o de vídeo falsa.
Este fue el caso de un incidente reciente en Hong Kong, cuando un ejecutivo financiero creyó haber recibido un correo electrónico de un director financiero con sede en el Reino Unido que solicitaba una transferencia de 25,6 millones de dólares. Aunque en un principio sospechó que se trataba de un correo de phishing, su duda se disipó tras ver en el vídeo al director financiero y a un par de asociados más que pudo reconocer. Resultó que la llamada había sido falsificada en profundidad. Se enteró después de comprobarlo con la central, pero para entonces la transferencia ya se había realizado. Christopher Budd, director de Sophos, una empresa de ciberseguridad, describió la investigación y el nivel de trabajo invertidos en esta estafa como «bastante impresionantes».
También hemos visto falsificaciones profundas de varios famosos. No olvidaremos cómo se utilizó una falsificación profunda de Elon Musk para promocionar una plataforma que nunca existió en un plan de inversión falso, o la de Gayle King, presentadora de noticias de CBS News, Tucker Carlson, ex presentador de Fox News, y Bill Maher , presentador de un programa de entrevistas, todos ellos promocionando a propósito la nueva plataforma de inversión de Musk. Curiosamente, los vídeos se hicieron virales en YouTube, Facebook y TikTok.
Los expertos del sector han sostenido que las personas pueden generar rápidamente identidades sintéticas aprovechando la IA generativa. Hoy en día, los ciberdelincuentes pueden basarse en mucha información de Internet y, con la ayuda de la IA generativa, crear un correo electrónico de phishing que romperá tu cuenta bancaria. ¿Deberíamos preocuparnos por esto?
La IA generativa es alucinante.
Los grandes modelos lingüísticos (LLM) no son infalibles, pero exploraremos varios casos en los que proporcionan respuestas que parecen auténticas, pero que no eran más que datos fabricados.
Las alucinaciones de la IA son resultados engañosos o incorrectos generados por modelos de IA. El 61% de los encuestados en un estudio de TELUS International compartían su preocupación por la tendencia de la IA generativa a seguir dispensando y difundiendo información inexacta. Así que la IA Generativa puede producir 5 resultados, y 2 de los resultados son inventados y rotundamente falsos o sin sentido. Un abogado de Nueva York utilizó un chatbot conversacional para realizar una investigación jurídica mientras representaba a un cliente por una demanda por lesiones. El juez federal que supervisaba la demanda descubrió seis reclamaciones falsas de los precedentes citados por el abogado en su escrito. La parte emocionante de la historia fue que el chatbot se inventó la reclamación falsa e hizo referencia a dónde podían encontrarse las reclamaciones en las bases de datos jurídicas. Por eso, disponer de guardarraíles para hacer frente a las alucinaciones de la GenAI no es una opción, sino una obligación.
Podemos establecer guardarraíles cuando comprendamos cómo se producen las alucinaciones de IA. Puede que los expertos de la industria de la IA no tengan razones reales para las alucinaciones de la IA, pero se han identificado varios desencadenantes.
Si entrenas un modelo con insuficientes o significativas lagunas de entrada que culminan en casos límite a los que el modelo no está acostumbrado, pueden producirse alucinaciones. Pongamos que quieres redactar un contrato; una IA generativa entrenada con datos de contratos del sector sanitario puede necesitar más exposición a la jerga técnica, los conceptos y los términos de los servicios financieros. La IA generativa funciona produciendo una respuesta basada en una indicación. La calidad del prompt determina el prompt que genera: basura dentro, basura fuera. ¿Sabes que a veces, si GenAi necesita ayuda para entender la indicación, te dará una respuesta utilizando los datos insuficientes con los que ha sido entrenada, produciendo así un resultado defectuoso y perjudicial?
Otro factor desencadenante es cómo se codifican las instrucciones de entrenamiento y los textos. Normalmente, los LLM vinculan los términos a un conjunto de números llamados codificaciones vectoriales, y tienen algunas ventajas. Una palabra como «banco» tiene múltiples significados. Puede significar una entidad financiera o un banco; este tipo de palabra puede tener una codificación por significado para reducir la ambigüedad. Cualquier error al codificar y descodificar representaciones y texto puede hacer que la IA generativa alucine.
Las LLM deben entrenarse con datos precisos y suficientes, y las partes interesadas deben adoptar la transparencia y establecer un control de calidad para evitar las alucinaciones.
La IA generativa está ayudando a la producción de contenidos de abuso sexual infantil.
Puede que no estés de acuerdo con esta afirmación, pero todos podemos estar de acuerdo en que la IA Generativa está simplificando la forma en que los depredadores de menores crean rápidamente contenidos de abuso sexual infantil (CSAC) a gran escala. A menudo utilizan imágenes y vídeos originales y los adaptan para generar nuevo material de abuso. Incluso pueden convertir el contenido benigno de los niños y sexualizarlo para producir CSAC generado por IA.
El Centro Nacional para Menores Desaparecidos y Explotados de Estados Unidos informó en enero de que ha recibido 4.700 denuncias de contenidos generados por IA que muestran explotación sexual infantil. La organización espera que esta cifra aumente a medida que evolucione la IA.
Los depredadores de menores pueden utilizar la IA generativa para idear nuevas formas de victimizar y revictimizar a los menores. Pueden generar nuevas imágenes que coincidan con el aspecto de un niño y diseñar nuevas poses, contenidos atroces o escalar los esfuerzos de sextorsión. La tecnología también puede producir una guía fácil de usar para los malos actores sobre cómo abusar sexualmente y coaccionar a un niño o destruir pruebas y distorsionar artefactos de abuso.
La IA Generativa amplifica el sesgo.
Los humanos somos sesgados por naturaleza. Los datos utilizados en el entrenamiento de los modelos LLM proceden de humanos. ¿Qué puedes esperar? Si los humanos son parciales, espera lo peor de la IA Generativa.
La difusión estable generó 500 imágenes basándose en indicaciones escritas. El resultado fue una completa distorsión de la realidad. Un análisis del resultado reveló que la difusión estable a partir de la estabilidad de la IA llevó las disparidades de género y raciales más allá de los extremos de lo que se obtiene en la vida real.
Me encanta la forma en que lo subtituló una investigadora científica, Sasha Luccin. Dijo que estamos proyectando una visión del mundo en un mundo con diversas culturas y varias identidades visuales. Por ejemplo, si entrenas modelos de IA con afirmaciones como «negro es sinónimo de delincuencia, y las mujeres son enfermeras, no médicas», acabará amplificando esos prejuicios.
La IA generativa pone en peligro la privacidad de los datos.
La privacidad es una preocupación importante a pesar de los notables avances de la IA Generativa. ¿Qué esperas de un modelo no entrenado con algoritmos que preservan la privacidad?
Los datos generados por el modelo de IA son nuevos y se parecen a los que utilizó durante el entrenamiento. Si los datos de entrenamiento incluyen información sensible, existe la probabilidad de violar los datos sensibles de un individuo, ya que las bases de datos de entrenamiento incluyen los datos personales de cualquier individuo sin que se haya solicitado su consentimiento explícito.
El entrenamiento de los LLM implica el uso de millones de palabras en diferentes tareas de lenguaje natural. Hay que tener en cuenta que los LLM son un subconjunto de la GenAI, y los estudios han revelado que, a pesar de la posibilidad de memorizar volúmenes masivos de datos, incluida la información confidencial, siguen planteando riesgos para la privacidad , a los que los actores de amenazas pueden acceder para realizar actividades nefastas.
La exfiltración es una forma de ataque que empeora toda la situación. Las investigaciones han demostrado que una persona no autorizada puede acceder a conjuntos de datos de entrenamiento, transferirlos, migrarlos o robarlos. Otro ángulo es la revelación de información sensible al crear avisos.
Ahora que las empresas están sincronizando aplicaciones no verificadas que aprovechan la GenAI en sus operaciones y sistemas empresariales, hay más riesgos de violar el cumplimiento y de que se produzcan violaciones de datos.
La conclusión es que si queremos hacer frente a todos estos puntos débiles y maximizar los beneficios de disponer de la tecnología en nuestro tiempo, todas las partes interesadas deben realizar esfuerzos concertados para garantizar que lo que se diseña para el bien no acabe siendo una herramienta autodestructiva . De nosotros depende hacer del mundo un lugar mejor y más seguro.
Referencias
Cisco, (2024). More than 1 in 4 organizations banned use of GenAI over privacy and data security risks. Available at: https://newsroom.cisco.com/c/r/newsroom/en/us/a/y2024/m01/organizations-ban-use-of-generative-ai-over-data-privacy-security-cisco -study.html (Accessed: 02 April 2024)
Collier, K. (2023). Deepfake scams have arrived: Fake videos spread on Facebook, TikTok and YouTube . Available at https://www.nbcnews.com/tech/tech-news/deepfake-scams-arrived-fake-videos-spread-facebook-tiktok-youtube-rcna101415 (Accessed: 02 April 2024)
Kong, H., (2024). Everyone looked real’: multinational firm’s Hong Kong office loses HK$200 million after scammers stage deepfake video meeting . Available at https://www.scmp.com/news/hong-kong/law-and-crime/article/3250851/everyone-looked-real-multinational-firms-hong-kong-office-loses-hk200-million- after-scammers-stage (Accessed: 02 April 2024)
Missing Kids, (2024). Generative AI CSAM is CSAM . Available at: https://www.missingkids.org/blog/2024/generative-ai-csam-is-csam (Accessed: 02 April 2024)
Nicoletti, L. & Bass, D. (2023). HUMANS ARE BIASED. GENERATIVE AI IS EVEN WORSE . Available at: https://www.bloomberg.com/graphics/2023-generative-ai-bias/ (Accessed: 02 April 2024)
Rubenstein, A. (2023). ChatGPT is not quite ready to be your lawyer . Available at: https://www.morningbrew.com/daily/stories/2023/05/29/chatgpt-not-lawyer?mbcid=31642653.1628960&mblid=407edcf12ec0&mid=964088404848b7c2f4a8ea179e251bd1&utm_campaign=mb&utm_medium=newsletter&utm_source=morning_brew (Accessed: 02 April 2024)
Sheng, E. (2024). Generative AI financial scammers are getting very good at duping work emails . Available at: https://www.cnbc.com/2024/02/14/gen-ai-financial-scams-are-getting-very-good-at-duping-work-email.html (Accessed: 02 April 2024 )
Statista, (2024). Opinion of AI-generated content being better than human-created content among consumers in the United States as of 2024. Available at: https://www.statista.com/statistics/1461390/ai-generated-content-better-than- human-created-content/ (Accessed: 02 April 2024)
Tellux, (2023). Generative AI hallucinations: Why they occur and how to prevent them . Available at: https://www.telusinternational.com/insights/ai-data/article/generative-ai-hallucinations (Accessed: 02 April 2024)
Thorn, (2023) Thorn and All Tech Is Human Forge Generative AI Principles with AI Leaders to Enact Strong Child Safety Commitments. Available at: https://www.thorn.org/blog/generative-ai-principles/ (Accessed: 02 April 2024)
University of Sheffield, (nd). University Library: Generative AI literacy . Available at: https://sheffield.libguides.com/genai/perspectives (Accessed: 02 April 2024)
Usenix, (2021). Extracting training data from large language models. This paper is included in the Proceedings of the 30th USENIX Security Symposium. Available at: https://www.usenix.org/system/files/sec21-carlini-extracting.pdf
Falode, E. (2023). Is generative AI a threat to cybersecurity? Elijah Falode. https://elijahfalode.com/is-generative-ai-a-threat-to-cybersecurity/ (Accessed: 05 May 2024)
Los comentarios están cerrados.