生成式人工智能的主要弱点是什么？
生成式人工智能的 5 大弱点
专家们对生成式人工智能进行了广泛的研究。本文重点介绍了生成式人工智能的主要弱点，并在研究的基础上对其局限性提出了见解。
哈佛大学数字政府教授拉坦亚-斯威尼（Latanya Sweeney）猜测，未来 90% 以上的内容将由人工智能和机器人生成。
人工智能领域的最新创新正在重新定义我们与世界的互动方式。拉坦亚还重申，数据隐私和新兴技术领域的行业领导者一直在研究人工智能的局限性和发展，并发现 Chatgpt 如何预示着我们使用互联网以及与他人和整个世界交流的方式正在发生重大转变。
2024 年的一项调查就人工智能生成的内容在质量上是否优于人类生成的内容对公众进行了抽样调查。结果显示，超过 50%的受访者支持人工制作的内容。此外，每 5 位受访者中就有 1 位认为人工智能生成的内容比人类制作的作品要好一些或好得多。
微软公司进行的另一项研究强调了生成式人工智能的一些弊端。
作为重点，生成式人工智能是人工智能的一个方面，它利用大型人工智能模型或基础模型来创建视频、音频、音乐、图像和文本等新内容。这项技术可以比人类更快地执行开箱即用的任务，总结内容，回答问题，进行分类，以及做更多的事情。
与其他创新一样，Midjourney、Chatgpt、Meta AI 和 Claude 等生成式人工智能平台可以提高工作效率，也可能被滥用或用于诈骗。微软的调查显示，全球网民都在为假货、滥用和诈骗而烦恼。让我们聚焦其中的一些弊端，并探究它们的一些实例和后果。
Index
人工智能增强型诈骗
每四家公司中就有一家禁止在工作场所使用生成式人工智能。(source)
然而，网络犯罪分子却不断诱骗员工共享敏感信息或完成欺诈性支付。犯罪分子可以使用 ChatGPT 或其在暗网中脱轨的孪生兄弟 FraudGPT 来制作假身份证和财务报表的真实视频，甚至使用公司高管的声音和形象来制作令人信服的深度伪造。
关于这一新发现的统计数字，令人啼笑皆非。65% 的受访者的公司在 2022 年成为实际或未遂支付诈骗的受害者。71%的损失者是通过电子邮件被钓鱼的。根据金融专业人士协会进行的电子邮件诈骗调查，攻击目标是年营业额达 10 亿美元的大型组织。
网络钓鱼电子邮件是欺诈性电子邮件的常见形式之一。在生成式人工智能出现之前，你可以很容易地发现一封有排印错误的网络钓鱼电子邮件。而现在，你需要的不仅仅是直觉和感觉，还要避免成为制作完美、看起来像是可信来源的虚假电子邮件的受害者。我说的是看起来很有说服力的网站，如 eBay、亚马逊或大通银行。虚假电子邮件中的链接通常会引导受害者登录并共享机密信息。网络犯罪分子掌握了这些受害者信息后，就可以利用这些 ID 进行交易，利用这些信息实施其他令人发指的犯罪，或清空受害者的银行账户。
鱼叉式网络钓鱼是另一种类型的电子邮件欺诈，但它更加具体。你可能不会上一般电子邮件骗局的当。但是，当您看到威胁行为者在研究了您的职称以及您的经理、主管或同事的姓名后，向您或您的组织发送电子邮件时，上当受骗的可能性就会增加。
这些骗局并不新鲜，但现在的情况是，生成式人工智能很难区分真假。通过奇怪的字体或奇怪的文字来识别钓鱼邮件的时代已经一去不复返了。生成式人工智能使犯罪分子有可能冒充公司高管，并劫持他们的声音用于虚假电话或视频对话。
最近在香港发生的一起事件就属于这种情况，当时一名财务主管以为自己收到了一封来自英国首席财务官的电子邮件，要求转账 2560 万美元。虽然他起初怀疑这是一封网络钓鱼邮件，但在看到视频中的首席财务官和其他几位他能认出的同事后，他的疑虑就烟消云散了。原来，这个电话是经过深度伪造的。他是在向总部核实后才得知此事的，但当时转账已经完成。克里斯托弗-巴德（Christopher Budd）是网络安全公司 Sophos 的一名主管，他用 “令人印象深刻 “来形容这个骗局的研究和投入的工作水平。
我们还看到过一些名人的深度伪造。我们不会忘记伊隆-马斯克（Elon Musk）是如何被用来宣传一个根本不存在的虚假投资计划平台的，我们也不会忘记哥伦比亚广播公司（CBS）新闻主播盖尔-金（Gayle King）、前福克斯新闻主持人塔克-卡尔森（Tucker Carlson）和脱口秀主持人比尔-马赫（Bill Maher）是如何被用来宣传马斯克的新投资平台的。有趣的是，这些视频在 YouTube、Facebook 和 TikTok 上疯传。
业内专家认为，人们可以利用生成式人工智能快速生成合成身份。如今，网络犯罪分子可以利用互联网上的大量信息，并在生成式人工智能的帮助下，制作出一封会让你的银行账户崩溃的钓鱼邮件。我们应该为此烦恼吗？
生成式人工智能正在产生幻觉。
大型语言模型（LLM）并非无懈可击，但我们将探讨几种情况，即它们提供的回复看似真实，实则只是捏造的数据。
人工智能幻觉是人工智能模型产生的误导性或不正确的结果。在 TELUS 国际调查中，61% 的受访者对生成式人工智能不断分发和传播不准确信息的倾向表示担忧。因此，GenAI 可以产生 5 个结果，其中 2 个结果是捏造的、彻头彻尾的错误或无稽之谈。一位纽约律师在代表客户进行伤害索赔时，使用对话聊天机器人进行法律研究。负责监督该诉讼的联邦法官从该律师在其辩护状中引用的先例中发现了六项虚假索赔。令人兴奋的是，聊天机器人编造了虚假索赔，并在法律数据库中找到了这些索赔的出处。这就是为什么建立防护栏来应对 GenAI 的幻觉不是一种选择，而是一种必须。
当我们了解了人工智能幻觉是如何产生的，我们就能建立起防范机制。人工智能行业专家可能不知道人工智能幻觉产生的真正原因，但已经确定了几种触发因素。
如果您在训练模型时存在不足或输入的重大差距，最终导致模型不习惯的边缘情况，就会出现幻觉。比方说，您想起草一份合同；使用医疗保健领域的合同数据训练的生成式人工智能可能需要更多地接触金融服务领域的专业术语、概念和术语。生成式人工智能的工作原理是根据提示做出响应。提示的质量决定了你生成的提示：垃圾进，垃圾出。你知道吗，有时如果 GenAi 需要帮助来理解提示，它仍然会使用训练过的不充分的数据为你提供响应，从而产生错误的、有害的结果。
另一个诱因是训练提示和文本的编码方式。通常，LLM 会将术语与一组称为矢量编码的数字联系起来，这样做有一些好处。像 “银行 “这样的词具有多重含义。这种类型的单词可以按含义进行编码，以减少歧义。在对表述和文本进行编码和解码时，任何错误都可能导致生成式人工智能产生幻觉。
必须使用准确、充足的数据对 LLM 进行训练，利益相关者必须接受透明度并建立质量控制，以防止产生幻觉。
生成式人工智能正在帮助制作儿童性虐待内容。
你可能不同意这种说法，但我们都同意，GenAI 正在简化儿童掠夺者如何快速大规模制作儿童性虐待内容（CSAC）的过程。他们经常使用原始图片和视频，并将其改编生成新的虐待材料。他们甚至可以将儿童的良性内容加以性化，生成人工智能生成的 CSAC。
美国国家失踪与被剥削儿童中心今年 1 月报告称，它已收到 4,700 份关于人工智能生成的描述儿童性剥削内容的报告。该组织预计，随着人工智能的发展，这一数字还会增长。
儿童掠夺者可以利用人工智能生成器设计出新的方法来伤害和再次伤害儿童。他们可以生成符合儿童长相的新图片，并设计新的姿势、恶劣的内容或大规模的色情信息勒索行为。该技术还能为坏人制作易于使用的指南，指导他们如何对儿童进行性虐待和胁迫，或破坏审判和歪曲虐待证据。
生成式人工智能会放大偏见。
人类天生就有偏见。用于训练 LLM 模型的数据来自人类。你能期待什么？如果人类是有偏见的，那么对 GenAI 的期望也是最差的。
稳定扩散根据书面提示生成了 500 张图片。结果完全扭曲了现实。对结果的分析表明，人工智能的稳定扩散使性别和种族差异超出了现实生活中的极端情况。
我喜欢研究科学家萨沙-卢克辛（Sasha Luccin）给它配的标题。她说，我们正在将一种世界观投射到一个拥有多元文化和多种视觉身份的世界中。例如，如果你用 “黑人是犯罪的代名词，女性是护士而不是医生 “这样的语句来训练人工智能模型，最终会放大这些偏见。
生成式人工智能危及数据隐私。
尽管在生成式人工智能方面取得了显著进展，但隐私仍是一个重大问题。如果一个模型没有经过保护隐私的算法训练，你还能期待什么呢？
人工智能模型生成的数据是新的，看起来就像训练时使用的数据。如果训练数据包括敏感信息，就有可能侵犯个人的敏感数据，因为训练数据库包括任何个人的个人数据，而且没有征求明确同意。
LLM 训练涉及在不同的自然语言任务中使用数百万个单词。需要注意的是，LLM 是 GenAI 的一个子集，研究表明，尽管 LLM 可以记忆包括机密信息在内的海量数据，但它们仍然会带来隐私风险，威胁行为者可以通过获取这些数据来执行邪恶活动。
数据外渗是一种使整个情况恶化的攻击形式。研究表明，未经授权的个人可以访问训练数据集，转移、迁移或窃取这些数据集。另一个角度是在创建提示时泄露敏感信息。
现在，企业正在将未经审查的、利用 GenAI 的应用程序同步到其业务运营和系统中，这就增加了违反合规性和数据泄露的风险。
最重要的一点是，如果我们想解决所有这些弱点，并最大限度地利用我们时代的技术，每个利益相关者都必须齐心协力，确保设计的初衷不会成为自我毁灭的工具。我们有责任让世界变得更美好、更安全。
参考文献
Cisco, (2024). More than 1 in 4 organizations banned use of GenAI over privacy and data security risks. Available at: https://newsroom.cisco.com/c/r/newsroom/en/us/a/y2024/m01/organizations-ban-use-of-generative-ai-over-data-privacy-security-cisco -study.html (Accessed: 02 April 2024)
Collier, K. (2023). Deepfake scams have arrived: Fake videos spread on Facebook, TikTok and YouTube . Available at https://www.nbcnews.com/tech/tech-news/deepfake-scams-arrived-fake-videos-spread-facebook-tiktok-youtube-rcna101415 (Accessed: 02 April 2024)
Kong, H., (2024). Everyone looked real’: multinational firm’s Hong Kong office loses HK$200 million after scammers stage deepfake video meeting . Available at https://www.scmp.com/news/hong-kong/law-and-crime/article/3250851/everyone-looked-real-multinational-firms-hong-kong-office-loses-hk200-million- after-scammers-stage (Accessed: 02 April 2024)
Missing Kids, (2024). Generative AI CSAM is CSAM . Available at: https://www.missingkids.org/blog/2024/generative-ai-csam-is-csam (Accessed: 02 April 2024)
Nicoletti, L. & Bass, D. (2023). HUMANS ARE BIASED. GENERATIVE AI IS EVEN WORSE . Available at: https://www.bloomberg.com/graphics/2023-generative-ai-bias/ (Accessed: 02 April 2024)
Rubenstein, A. (2023). ChatGPT is not quite ready to be your lawyer . Available at: https://www.morningbrew.com/daily/stories/2023/05/29/chatgpt-not-lawyer?mbcid=31642653.1628960&mblid=407edcf12ec0&mid=964088404848b7c2f4a8ea179e251bd1&utm_campaign=mb&utm_medium=newsletter&utm_source=morning_brew (Accessed: 02 April 2024)
Sheng, E. (2024). Generative AI financial scammers are getting very good at duping work emails . Available at: https://www.cnbc.com/2024/02/14/gen-ai-financial-scams-are-getting-very-good-at-duping-work-email.html (Accessed: 02 April 2024 )
Statista, (2024). Opinion of AI-generated content being better than human-created content among consumers in the United States as of 2024. Available at: https://www.statista.com/statistics/1461390/ai-generated-content-better-than- human-created-content/ (Accessed: 02 April 2024)
Tellux, (2023). Generative AI hallucinations: Why they occur and how to prevent them . Available at: https://www.telusinternational.com/insights/ai-data/article/generative-ai-hallucinations (Accessed: 02 April 2024)
Thorn, (2023) Thorn and All Tech Is Human Forge Generative AI Principles with AI Leaders to Enact Strong Child Safety Commitments. Available at: https://www.thorn.org/blog/generative-ai-principles/ (Accessed: 02 April 2024)
University of Sheffield, (nd). University Library: Generative AI literacy . Available at: https://sheffield.libguides.com/genai/perspectives (Accessed: 02 April 2024)
Usenix, (2021). Extracting training data from large language models. This paper is included in the Proceedings of the 30th USENIX Security Symposium. Available at: https://www.usenix.org/system/files/sec21-carlini-extracting.pdf
Falode, E. (2023). Is generative AI a threat to cybersecurity? Elijah Falode. https://elijahfalode.com/is-generative-ai-a-threat-to-cybersecurity/ (Accessed: 05 May 2024)
Comments are closed.