Quais são os principais pontos fracos da IA generativa?

Latanya Sweeney, professora de Governo Digital em Harvard, prevê que mais de 90% dos conteúdos serão gerados por IA e bots no futuro.

As recentes inovações no domínio da inteligência artificial estão a redefinir a forma como interagimos com o nosso mundo. Latanya também reiterou que os líderes do sector da privacidade de dados e das tecnologias emergentes têm investigado as limitações e os desenvolvimentos da IA e descobriram como o Chatgpt está a anunciar uma grande mudança na forma como utilizamos a Internet e comunicamos uns com os outros e com o mundo em geral.

Um inquérito realizado em 2024 analisou a opinião pública sobre se os conteúdos gerados por IA são melhores em termos de qualidade do que os conteúdos gerados por humanos. Os resultados revelaram que mais de 50% dos inquiridos preferiam os conteúdos criados por humanos. Além disso, um em cada cinco indivíduos entrevistados mantém a opinião de que os conteúdos gerados por IA são um pouco melhores ou muito melhores do que as obras feitas por humanos.

Queremos explorar os receios e preocupações das 4 em cada 5 pessoas entrevistadas nesse estudo, baseando-nos noutra investigação realizada pela Microsoft, que destacou algumas desvantagens relacionadas com a IA generativa.

Para dar ênfase, a IA generativa é um aspeto da IA que utiliza grandes modelos de IA ou modelos de base para criar novos conteúdos, como vídeos, áudio, música, imagens e texto. Esta tecnologia pode implementar tarefas prontas a utilizar mais rapidamente do que os humanos, resumir conteúdos, responder a perguntas, classificar e fazer muito mais.

Tal como acontece com qualquer outra inovação, as plataformas de IA generativa, como Midjourney, Chatgpt, Meta AI e Claude, podem melhorar a produtividade e podem ser abusadas ou utilizadas para burlas. O inquérito da Microsoft revelou que os utilizadores da Internet em todo o mundo estão preocupados com falsificações, abusos e burlas. Vamos destacar algumas destas desvantagens e explorar alguns casos em que se verificaram as suas consequências.

Fraudes com IA

Uma em cada quatro empresas proibiu a utilização de IA generativa no local de trabalho.

No entanto, os cibercriminosos enganam persistentemente os funcionários para que partilhem informações sensíveis ou efectuem um pagamento fraudulento. Os criminosos podem utilizar o ChatGPT ou o seu irmão gémeo descarrilado na dark web FraudGPT para criar identidades falsas e vídeos reais de declarações financeiras ou até utilizar a voz e a imagem de um executivo da empresa para criar falsificações profundas convincentes.

Quanto às estatísticas sobre esta nova revelação, são lúgubres. 65% dos inquiridos viram as suas empresas serem vítimas de fraudes de pagamento, reais ou tentadas, em 2022. 71% das pessoas que perderam dinheiro foram vítimas de phishing por correio eletrónico. O ataque visou grandes organizações com um volume de negócios anual de mil milhões de dólares, com base no inquérito realizado pela Associação de Profissionais Financeiros com fraudes por correio eletrónico.

O e-mail de phishing é uma das formas mais comuns de e-mail fraudulento. Antes da entrada da IA generativa, podias facilmente detetar um e-mail de phishing com um erro tipográfico. Neste momento, precisarias de mais do que intuição e sentido de humor para não seres vítima de e-mails falsos perfeitamente elaborados que parecem ser de uma fonte de confiança. Estou a falar de sites com um aspeto convincente, como o eBay, a Amazon ou o Chase. Uma hiperligação no falso e-mail normalmente leva a vítima a iniciar sessão e a partilhar dados confidenciais. Com esta informação da vítima nas mãos dos cibercriminosos, estes podem negociar com os IDs, utilizá-la para cometer outros crimes hediondos ou esvaziar as contas bancárias das vítimas.

O Spear phishing é outro tipo de golpe por e-mail, mas é mais específico. É provável que não caias num esquema genérico de e-mail. No entanto, quando vês uma mensagem de correio eletrónico em que o autor da ameaça se dirige a ti ou à tua organização depois de pesquisar o teu cargo e os nomes do teu diretor, supervisores ou colegas, há uma maior tendência para caires nela.

Estas fraudes não são novas, mas o caso aqui é que a IA generativa torna difícil diferenciar o que é autêntico do que é falso. Longe vão os dias em que podias detetar e-mails de phishing através de fontes estranhas ou de uma escrita estranha. A IA generativa permite que os criminosos se façam passar por um executivo de uma empresa e sequestrem a sua voz para a utilizar numa conversa telefónica ou vídeo falsa.

Foi o que aconteceu num incidente recente em Hong Kong, quando um executivo financeiro pensou ter recebido um e-mail de um diretor financeiro sediado no Reino Unido a pedir a transferência de 25,6 milhões de dólares. Embora inicialmente suspeitasse de que se tratava de um e-mail de phishing, a sua dúvida foi dissipada depois de ver o diretor financeiro e alguns outros colaboradores que reconheceu no vídeo. Afinal, a chamada tinha sido falsificada. Soube disto depois de verificar com a sede, mas a transferência já tinha sido feita nessa altura. Christopher Budd, diretor da Sophos, uma empresa de cibersegurança, descreveu a investigação e o nível de trabalho investido nesta fraude como “bastante impressionante”.

Também já vimos deep fakes de várias celebridades. Não nos esquecemos de como um falso Elon Musk foi usado para promover uma plataforma que nunca existiu num esquema de investimento falso, ou o de Gayle King, uma apresentadora de notícias da CBS News, Tucker Carlson, antigo apresentador da Fox News, e Bill Maher, um apresentador de talk show, todos promovendo propositadamente a nova plataforma de investimento de Musk. Curiosamente, os vídeos tornaram-se virais no YouTube, no Facebook e no TikTok.

Os especialistas do sector afirmam que as pessoas podem criar rapidamente identidades sintéticas utilizando a IA generativa. Os cibercriminosos podem aproveitar muita informação que existe hoje na Internet e, com a ajuda da IA generativa, criar um e-mail de phishing que vai dar cabo da tua conta bancária. Devemos preocupar-nos com isto?

A IA generativa está a alucinar

Os modelos de linguagem de grande dimensão (LLM) não são infalíveis, mas vamos explorar vários casos em que dão respostas que parecem autênticas mas que não passam de dados fabricados.

As alucinações da IA são resultados enganadores ou incorrectos gerados por modelos de IA. Sessenta e um por cento dos inquiridos num inquérito internacional da TELUS mostraram-se preocupados com a tendência da IA generativa para continuar a distribuir e a divulgar informações incorrectas. Assim, a IA generativa pode produzir 5 resultados, e 2 deles são fabricados e completamente falsos ou sem sentido. Um advogado de Nova Iorque utilizou um chatbot de conversação para fazer investigação jurídica enquanto representava um cliente numa ação por danos. O juiz federal que supervisionava o processo descobriu seis alegações falsas entre os precedentes citados pelo advogado no seu relatório. A parte emocionante da história foi o facto de o chatbot ter inventado a alegação falsa e ter indicado onde as alegações podiam ser encontradas nas bases de dados jurídicas. É por isso que ter uma proteção para lidar com as alucinações da GenAI não é uma opção, mas sim uma obrigação.

Podemos estabelecer protecções quando compreendermos como ocorrem as alucinações da IA. Os especialistas do sector da IA podem não ter as verdadeiras razões para as alucinações da IA, mas foram identificados vários factores desencadeantes.

Se treinares um modelo com lacunas insuficientes ou significativas de entrada que culminem em casos extremos a que o modelo não está habituado, podem ocorrer alucinações. Digamos que queres redigir um contrato; uma IA generativa treinada com dados de contratos do sector da saúde pode precisar de mais exposição ao jargão técnico, aos conceitos e aos termos dos serviços financeiros. A IA generativa funciona produzindo uma resposta com base num pedido. A qualidade da mensagem determina a mensagem que geras: lixo dentro, lixo fora. Sabias que, por vezes, se a GenAi precisar de ajuda para compreender a mensagem, mesmo assim vai dar-te uma resposta utilizando os dados insuficientes com que foi treinada, produzindo assim um resultado defeituoso e prejudicial?

Outro fator é a forma como os avisos de treino e os textos são codificados. Normalmente, os LLM associam os termos a um conjunto de números chamados codificações vectoriais, que têm algumas vantagens. Uma palavra como “banco” tem vários significados. Pode significar uma instituição financeira ou um banco; este tipo de palavra pode ter uma codificação por significado para reduzir a ambiguidade. Qualquer erro durante a codificação e a descodificação de representações e de texto pode provocar alucinações na IA generativa.

Os LLM devem ser treinados com dados exactos e suficientes e as partes interessadas devem adotar a transparência e estabelecer um controlo de qualidade para evitar alucinações.

A IA generativa está a ajudar a produção de conteúdos sobre abuso sexual de crianças

Podes discordar desta afirmação, mas todos podemos concordar que a IA generativa está a simplificar a forma como os predadores de crianças estão a criar rapidamente conteúdos de abuso sexual de crianças (CSAC) em grande escala. Utilizam frequentemente imagens e vídeos originais e adaptam-nos para gerar novo material de abuso. Podem até transformar o conteúdo benigno de crianças e sexualizá-lo para produzir CSAC gerado por IA.

O Centro Nacional para Crianças Desaparecidas e Exploradas dos Estados Unidos informou em janeiro que recebeu 4.700 denúncias de conteúdos gerados por IA que retratam a exploração sexual de crianças. A organização espera que este número aumente à medida que a IA evolui.

Os predadores de crianças podem utilizar a IA generativa para conceber novas formas de vitimizar e revitimizar crianças. Podem gerar novas imagens que correspondam à aparência de uma criança e conceber novas poses, conteúdos flagrantes ou esforços de sextorsão em grande escala. A tecnologia também pode produzir um guia fácil de usar para os maus actores sobre como abusar sexualmente e coagir uma criança ou destruir provas e distorcer artefactos de abuso.

A IA generativa amplifica a parcialidade

Os seres humanos são naturalmente tendenciosos. Os dados utilizados no treino dos modelos LLM provêm de seres humanos. O que é que esperas? Se os humanos são tendenciosos, espera o pior da GenAI.

A difusão estável gerou 500 imagens com base em instruções escritas. O resultado foi uma distorção completa da realidade. Uma análise do resultado revelou que a difusão estável da estabilidade da IA levou as disparidades de género e raciais para além dos extremos mais do que os obtidos na vida real.

Adoro a forma como uma cientista investigadora, Sasha Luccin, colocou a legenda. Diz que estamos a projetar uma visão do mundo num mundo com diversas culturas e várias identidades visuais. Por exemplo, se treinares modelos de IA com afirmações do tipo “negro é sinónimo de crime e as mulheres são enfermeiras, não médicas”, acabará por amplificar esses preconceitos.

A IA generativa põe em risco a privacidade dos dados

A privacidade é uma preocupação importante, apesar dos progressos notáveis da IA generativa. O que esperas de um modelo não treinado com algoritmos que preservam a privacidade?

Os dados gerados pelo modelo de IA são novos e parecem-se com os que foram utilizados durante o treino. Se os dados de treino incluírem informações sensíveis, existe a probabilidade de violar os dados sensíveis de um indivíduo, uma vez que as bases de dados de treino incluem os dados pessoais de qualquer indivíduo sem que seja pedido um consentimento explícito.

O treino de LLM envolve a utilização de milhões de palavras em diferentes tarefas de linguagem natural. Tem em conta que os LLM são um subconjunto da GenAI e que os estudos revelaram que, apesar da possibilidade de memorizar grandes volumes de dados, incluindo informações confidenciais, continuam a representar riscos para a privacidade, aos quais os agentes de ameaças podem ter acesso para realizar actividades nefastas.

Uma exfiltração é uma forma de ataque que piora toda a situação. A investigação demonstrou que um indivíduo não autorizado pode aceder a conjuntos de dados de formação, transferi-los, migrá-los ou roubá-los. Outro ângulo é a divulgação de informações sensíveis durante a criação de prompts.

Agora que as empresas estão a sincronizar aplicações não aprovadas que tiram partido da GenAI nas suas operações e sistemas empresariais, há mais riscos de violação da conformidade e de violações de dados.

O resultado final é que, se quisermos lidar com todas estas fraquezas e maximizar os benefícios de ter a tecnologia no nosso tempo, todos os intervenientes têm de abraçar esforços concertados para garantir que o que foi concebido para o bem não acabe por ser uma ferramenta auto-destrutiva. Cabe-nos a nós fazer do mundo um lugar melhor e mais seguro.

Referências

Cisco, (2024). More than 1 in 4 organizations banned use of GenAI over privacy and data security risks. Available at: https://newsroom.cisco.com/c/r/newsroom/en/us/a/y2024/m01/organizations-ban-use-of-generative-ai-over-data-privacy-security-cisco -study.html (Accessed: 02 April 2024)

Collier, K. (2023). Deepfake scams have arrived: Fake videos spread on Facebook, TikTok and YouTube . Available at https://www.nbcnews.com/tech/tech-news/deepfake-scams-arrived-fake-videos-spread-facebook-tiktok-youtube-rcna101415 (Accessed: 02 April 2024)

Kong, H., (2024). Everyone looked real’: multinational firm’s Hong Kong office loses HK$200 million after scammers stage deepfake video meeting . Available at https://www.scmp.com/news/hong-kong/law-and-crime/article/3250851/everyone-looked-real-multinational-firms-hong-kong-office-loses-hk200-million- after-scammers-stage (Accessed: 02 April 2024)

Missing Kids, (2024). Generative AI CSAM is CSAM . Available at: https://www.missingkids.org/blog/2024/generative-ai-csam-is-csam (Accessed: 02 April 2024)

Nicoletti, L. & Bass, D. (2023). HUMANS ARE BIASED. GENERATIVE AI IS EVEN WORSE . Available at: https://www.bloomberg.com/graphics/2023-generative-ai-bias/ (Accessed: 02 April 2024)

Rubenstein, A. (2023). ChatGPT is not quite ready to be your lawyer . Available at: https://www.morningbrew.com/daily/stories/2023/05/29/chatgpt-not-lawyer?mbcid=31642653.1628960&mblid=407edcf12ec0&mid=964088404848b7c2f4a8ea179e251bd1&utm_campaign=mb&utm_medium=newsletter&utm_source=morning_brew (Accessed: 02 April 2024)

Sheng, E. (2024). Generative AI financial scammers are getting very good at duping work emails . Available at: https://www.cnbc.com/2024/02/14/gen-ai-financial-scams-are-getting-very-good-at-duping-work-email.html (Accessed: 02 April 2024 )

Statista, (2024). Opinion of AI-generated content being better than human-created content among consumers in the United States as of 2024. Available at: https://www.statista.com/statistics/1461390/ai-generated-content-better-than- human-created-content/ (Accessed: 02 April 2024)

Tellux, (2023). Generative AI hallucinations: Why they occur and how to prevent them . Available at: https://www.telusinternational.com/insights/ai-data/article/generative-ai-hallucinations (Accessed: 02 April 2024)

Thorn, (2023) Thorn and All Tech Is Human Forge Generative AI Principles with AI Leaders to Enact Strong Child Safety Commitments. Available at: https://www.thorn.org/blog/generative-ai-principles/ (Accessed: 02 April 2024)

University of Sheffield, (nd). University Library: Generative AI literacy . Available at: https://sheffield.libguides.com/genai/perspectives (Accessed: 02 April 2024)

Usenix, (2021). Extracting training data from large language models. This paper is included in the Proceedings of the 30th USENIX Security Symposium. Available at: https://www.usenix.org/system/files/sec21-carlini-extracting.pdf

Falode, E. (2023). Is generative AI a threat to cybersecurity? Elijah Falode. https://elijahfalode.com/is-generative-ai-a-threat-to-cybersecurity/ (Accessed: 05 May 2024)

Elijah Falode

Elijah is an expert tech content writer and a sought-after technology ebook ghostwriter with over ten years of experience helping businesses become visible and stay secure online. He holds the Cybersecurity & Infrastructure Security Agency's Certificates on the cybersecurity of industrial control systems(ICS) and a Crisis Management Certificate from the London School of Public Relations Limited. He writes blog articles, books, whitepapers, and web copies on digital transformation, blockchain technology, information security, governance, risk and compliance (GRC), emerging technologies, and NFTs. He currently provides cybersecurity content development and SEO services for Cybersecurity/SaaS/B2B companies via Upwork and Fiverr. He is also the Editor at Claribel.net.