Каковы основные недостатки генеративного ИИ?

Латанья Суини, профессор цифрового управления из Гарварда, догадалась, что в будущем более 90% контента будет генерироваться искусственным интеллектом и ботами.

Последние инновации в области искусственного интеллекта переосмысливают то, как мы взаимодействуем с нашими мирами. Латанья также повторил, что лидеры индустрии в области конфиденциальности данных и развивающихся технологий исследовали ограничения и разработки в области ИИ и обнаружили, что Chatgpt предвещает серьезные изменения в том, как мы используем интернет и общаемся друг с другом и миром в целом.

В ходе опроса, проведенного компанией 2024, выяснялось общественное мнение о том, является ли контент, созданный ИИ, лучше по качеству, чем контент, созданный человеком. В результате выяснилось, что более 50% респондентов болеют за контент, созданный человеком. Кроме того, каждый пятый опрошенный придерживается мнения, что контент, созданный ИИ, в некоторой степени лучше или намного лучше человеческих работ.

Мы хотим разобраться в страхах и опасениях 4 из 5 человек, опрошенных в этом исследовании, опираясь на другое исследование, проведенное Microsoft, в котором были отмечены некоторые минусы, связанные с генеративным ИИ.

Для справки: генеративный ИИ — это аспект ИИ, который использует большие модели ИИ или базовые модели для создания нового контента, такого как видео, аудио, музыка, изображения и текст. Эта технология может реализовывать нестандартные задачи быстрее человека, обобщать контент, отвечать на вопросы, классифицировать и делать многое другое.

Как и любые другие инновации, платформы генеративного ИИ, такие как Midjourney, Chatgpt, Meta AI и Claude, могут повысить продуктивность, а могут стать предметом злоупотребления или использоваться для мошенничества. Опрос, проведенный Microsoft, показал, что интернет-пользователей по всему миру беспокоят подделки, злоупотребления и мошенничество. Давай остановимся на некоторых из этих минусов и рассмотрим несколько случаев, когда они проявлялись с последствиями.

Мошенничество с использованием искусственного интеллекта

Каждая четвертая компания запретила использовать генеративный ИИ на рабочем месте.

Тем не менее киберпреступники упорно обманывают сотрудников, заставляя их поделиться конфиденциальной информацией или совершить мошеннический платеж. Преступники могут использовать ChatGPT или его зарвавшегося брата-близнеца в темной паутине FraudGPT для создания поддельных удостоверений личности и настоящих видео с финансовыми отчетами или даже использовать голос и изображение руководителя компании для создания убедительных глубоких подделок.

Что касается статистики по этому новому откровению, то она лютует. 65% респондентов столкнулись с тем, что в 2022 году их компании стали жертвами либо реальных, либо попыток мошенничества с платежами. 71% из тех, кто потерял деньги, были фишингованы через электронную почту. Согласно опросу, проведенному Ассоциацией финансовых профессионалов, атаке подверглись крупные организации с годовым оборотом в 1 миллиард долларов, используя аферы с электронной почтой.

Фишинговая электронная почта — одна из распространенных форм мошеннических писем. До появления генеративного ИИ ты мог легко распознать фишинговое письмо по опечатке. Сейчас же тебе потребуется нечто большее, чем интуиция и чутье, чтобы не стать жертвой идеально составленных фальшивых писем, которые выглядят как доверенный источник. Я говорю об убедительно выглядящих сайтах вроде eBay, Amazon или Chase. Ссылка в фальшивом письме обычно направляет жертв войти в систему и поделиться конфиденциальными данными. Попав в руки киберпреступников, эти данные жертвы могут торговать идентификаторами, использовать их для совершения других отвратительных преступлений или опустошать банковские счета жертв.

Спир-фишинг — это еще один вид мошенничества с электронной почтой, но он более специфичен. Ты можешь не попасться на общую почтовую аферу. Но если ты видишь письмо, в котором угрожающий субъект обращается к тебе или твоей организации, изучив твою должность и имена твоего менеджера, начальников или коллег, то вероятность того, что ты попадешься на эту удочку, будет выше.

Подобные аферы не новы, но дело в том, что генеративный ИИ затрудняется отличить подлинное от подделки. Прошли те времена, когда ты мог распознать фишинговые письма по неровному шрифту или странному почерку. Генеративный ИИ позволяет преступникам выдавать себя за руководителя компании и перехватывать его голос, чтобы использовать его в поддельном телефонном или видео разговоре.

Так было в недавнем инциденте в Гонконге, когда финансовый директор думал, что получил письмо от финансового директора, находящегося в Великобритании, с просьбой перевести 25,6 миллиона долларов. Изначально он подозревал, что это фишинговое письмо, но его сомнения развеялись после того, как он увидел на видео финансового директора и еще нескольких сотрудников, которых он смог узнать. Оказалось, что звонок был глубоко подделан. Он узнал об этом после проверки в головном офисе, но к тому времени перевод уже был осуществлен. Кристофер Бадд, директор компании Sophos, специализирующейся на кибербезопасности, назвал исследование и уровень работы, вложенные в эту аферу, «довольно впечатляющими».

Мы также видели глубокие подделки нескольких знаменитостей. Мы не забудем, как глубокая подделка Элона Маска была использована для продвижения платформы, которая никогда не существовала в фальшивой инвестиционной схеме, или как Гейл Кинг, ведущая новостей на CBS News, Такер Карлсон, бывший ведущий Fox News, и Билл Махер, ведущий ток-шоу, целенаправленно рекламировали новую инвестиционную платформу Маска. Интересно, что ролики стали вирусными на YouTube, Facebook и TikTok.

Эксперты отрасли утверждают, что люди могут быстро генерировать синтетические личности, используя генеративный ИИ. Сегодня киберпреступники могут воспользоваться большим количеством информации в интернете и с помощью генеративного ИИ создать фишинговое письмо, которое разорит твой банковский счет. Стоит ли нам беспокоиться по этому поводу?

Генеративный ИИ вызывает галлюцинации.

Большие языковые модели (БЯМ) не являются непогрешимыми, однако мы рассмотрим несколько случаев, когда они выдают ответы, которые кажутся подлинными, но на самом деле являются всего лишь сфабрикованными данными.

Галлюцинации ИИ — это вводящие в заблуждение или неправильные результаты, генерируемые моделями ИИ. Шестьдесят один процент респондентов, принявших участие в опросе TELUS International, выразили обеспокоенность тенденцией генеративного ИИ постоянно выдавать и распространять недостоверную информацию. Так, GenAI может выдать 5 результатов, и 2 из них — сфабрикованные, откровенно ложные или вздорные. Один нью-йоркский адвокат использовал разговорный чатбот для проведения юридического исследования, представляя интересы клиента по иску о травме. Федеральный судья, курировавший иск, обнаружил шесть фиктивных претензий из прецедентов, которые адвокат приводил в своей записке. Самое интересное в этой истории заключалось в том, что чатбот придумал фальшивые претензии и указал, где их можно найти в юридических базах данных. Вот почему наличие защитных ограждений для борьбы с галлюцинациями GenAI — не вариант, а необходимость.

Мы сможем установить защитные ограждения, когда поймем, как возникают галлюцинации ИИ. Возможно, у экспертов индустрии ИИ нет реальных причин возникновения галлюцинаций ИИ, но несколько триггеров уже определены.

Если ты тренируешь модель с недостаточными или значительными пробелами во входных данных, что приводит к появлению краевых случаев, к которым модель не привыкла, могут возникнуть галлюцинации. Допустим, ты хочешь составить контракт; генеративному ИИ, обученному на данных о контрактах из сферы здравоохранения, может потребоваться дополнительное знакомство с техническим жаргоном, понятиями и терминами из сферы финансовых услуг. Генеративный ИИ работает, выдавая ответ на основе подсказки. Качество подсказки определяет, какой ответ ты сгенерируешь: мусор внутрь, мусор наружу. Знаешь ли ты, что иногда, если GenAi нужна помощь в понимании подсказки, он все равно предоставит тебе ответ, используя недостаточное количество данных, на которых он был обучен, тем самым выдавая ошибочный и вредный результат?

Еще один триггер — то, как кодируются обучающие подсказки и тексты. Обычно LLM связывают термины с набором чисел, называемых векторными кодировками, и у них есть свои плюсы. Такое слово, как «банк», имеет несколько значений. Оно может означать финансовое учреждение или банк; у этого типа слов может быть кодировка на каждое значение, чтобы уменьшить двусмысленность. Любая ошибка при кодировании и декодировании представлений и текста может привести генеративный ИИ к галлюцинациям.

LLM должны обучаться на точных и достаточных данных, а заинтересованные стороны должны принять прозрачность и установить контроль качества, чтобы предотвратить галлюцинации.

Генеративный ИИ способствует созданию контента о сексуальном насилии над детьми.

Ты можешь не соглашаться с этим утверждением, но мы все можем согласиться с тем, что GenAI упрощает то, как детские хищники быстро создают контент для сексуального насилия над детьми (CSAC) в больших масштабах. Они часто используют оригинальные картинки и видео и адаптируют их для создания нового материала о насилии. Они даже могут перевернуть доброкачественный контент детей и сексуализировать его, чтобы создать CSAC, сгенерированный ИИ.

Национальный центр США по поиску пропавших и эксплуатируемых детей в январе сообщил, что получил 4700 сообщений о сгенерированном ИИ контенте, изображающем сексуальную эксплуатацию детей. Организация ожидает, что эта цифра будет расти по мере развития ИИ.

Детские хищники могут использовать генеративный ИИ, чтобы придумывать новые способы виктимизации и повторной виктимизации детей. Они могут генерировать новые изображения, соответствующие внешности ребенка, разрабатывать новые позы, вопиющий контент или масштабировать секс-вымогательства. Технология также может создать простое в использовании руководство для плохих актеров по сексуальному насилию и принуждению ребенка или уничтожить судебные процессы и исказить артефакты насилия.

Генеративный ИИ усиливает предвзятость.

Люди от природы предвзяты. Данные, используемые для обучения моделей LLM, поступают от людей. Чего же ты ожидаешь? Если люди предвзяты, ожидай худшего от GenAI.

Стабильная диффузия сгенерировала 500 изображений на основе письменных подсказок. Результатом стало полное искажение реальности. Анализ результата показал, что стабильная диффузия от стабильности ИИ вывела гендерное и расовое неравенство за пределы крайностей больше, чем получается в реальной жизни.

Мне нравится, как исследовательница Саша Лукчин сделала к этому подпись. Она сказала, что мы проецируем свое мировоззрение на мир с разнообразными культурами и несколькими визуальными идентичностями. Например, если ты будешь обучать модели ИИ таким утверждениям, как «черный цвет — это синоним преступности, а женщины — медсестры, а не врачи», то в итоге это усилит эти предубеждения.

Генеративный ИИ ставит под угрозу конфиденциальность данных.

Несмотря на заметный прогресс в области генеративного ИИ, конфиденциальность данных вызывает серьезные опасения. Чего можно ожидать от модели, не обученной алгоритмам, сохраняющим конфиденциальность.

Данные, сгенерированные моделью ИИ, являются новыми и выглядят так же, как те, которые она использовала во время обучения. Если обучающие данные содержат конфиденциальную информацию, то существует вероятность нарушения конфиденциальных данных отдельного человека, видя, что обучающие базы данных включают персональные данные любого человека без явно выраженного согласия.

Обучение LLM предполагает использование миллионов слов в различных задачах на естественном языке. Учти, что LLM — это подмножество GenAI, и исследования показали, что, несмотря на возможность запоминания огромных объемов данных, включая конфиденциальную информацию, они все равно представляют собой риск для конфиденциальности, к которому могут получить доступ угрожающие субъекты для совершения гнусных действий.

Эксфильтрация — это одна из форм атаки, которая ухудшает всю ситуацию. Исследования показали, что неавторизованный человек может получить доступ к тренировочным наборам данных, перенести, перенести или украсть их. Другой ракурс — раскрытие конфиденциальной информации при создании подсказок.

Теперь, когда предприятия синхронизируют непроверенные приложения, использующие GenAI, со своими бизнес-операциями и системами, возрастают риски нарушения нормативных требований и утечки данных.

Суть в том, что если мы хотим справиться со всеми этими слабостями и извлечь максимальную выгоду из того, что эта технология появилась в наше время, каждая заинтересованная сторона должна предпринять согласованные усилия, чтобы то, что создано во благо, не превратилось в саморазрушительный инструмент. Только от нас зависит сделать мир лучше и безопаснее.

Ссылки

Cisco, (2024). More than 1 in 4 organizations banned use of GenAI over privacy and data security risks. Available at: https://newsroom.cisco.com/c/r/newsroom/en/us/a/y2024/m01/organizations-ban-use-of-generative-ai-over-data-privacy-security-cisco -study.html (Accessed: 02 April 2024)

Collier, K. (2023). Deepfake scams have arrived: Fake videos spread on Facebook, TikTok and YouTube . Available at https://www.nbcnews.com/tech/tech-news/deepfake-scams-arrived-fake-videos-spread-facebook-tiktok-youtube-rcna101415 (Accessed: 02 April 2024)

Kong, H., (2024). Everyone looked real’: multinational firm’s Hong Kong office loses HK$200 million after scammers stage deepfake video meeting . Available at https://www.scmp.com/news/hong-kong/law-and-crime/article/3250851/everyone-looked-real-multinational-firms-hong-kong-office-loses-hk200-million- after-scammers-stage (Accessed: 02 April 2024)

Missing Kids, (2024). Generative AI CSAM is CSAM . Available at: https://www.missingkids.org/blog/2024/generative-ai-csam-is-csam (Accessed: 02 April 2024)

Nicoletti, L. & Bass, D. (2023). HUMANS ARE BIASED. GENERATIVE AI IS EVEN WORSE . Available at: https://www.bloomberg.com/graphics/2023-generative-ai-bias/ (Accessed: 02 April 2024)

Rubenstein, A. (2023). ChatGPT is not quite ready to be your lawyer . Available at: https://www.morningbrew.com/daily/stories/2023/05/29/chatgpt-not-lawyer?mbcid=31642653.1628960&mblid=407edcf12ec0&mid=964088404848b7c2f4a8ea179e251bd1&utm_campaign=mb&utm_medium=newsletter&utm_source=morning_brew (Accessed: 02 April 2024)

Sheng, E. (2024). Generative AI financial scammers are getting very good at duping work emails . Available at: https://www.cnbc.com/2024/02/14/gen-ai-financial-scams-are-getting-very-good-at-duping-work-email.html (Accessed: 02 April 2024 )

Statista, (2024). Opinion of AI-generated content being better than human-created content among consumers in the United States as of 2024. Available at: https://www.statista.com/statistics/1461390/ai-generated-content-better-than- human-created-content/ (Accessed: 02 April 2024)

Tellux, (2023). Generative AI hallucinations: Why they occur and how to prevent them . Available at: https://www.telusinternational.com/insights/ai-data/article/generative-ai-hallucinations (Accessed: 02 April 2024)

Thorn, (2023) Thorn and All Tech Is Human Forge Generative AI Principles with AI Leaders to Enact Strong Child Safety Commitments. Available at: https://www.thorn.org/blog/generative-ai-principles/ (Accessed: 02 April 2024)

University of Sheffield, (nd). University Library: Generative AI literacy . Available at: https://sheffield.libguides.com/genai/perspectives (Accessed: 02 April 2024)

Usenix, (2021). Extracting training data from large language models. This paper is included in the Proceedings of the 30th USENIX Security Symposium. Available at: https://www.usenix.org/system/files/sec21-carlini-extracting.pdf

Falode, E. (2023). Is generative AI a threat to cybersecurity? Elijah Falode. https://elijahfalode.com/is-generative-ai-a-threat-to-cybersecurity/ (Accessed: 05 May 2024)

Elijah Falode

Elijah is an expert tech content writer and a sought-after technology ebook ghostwriter with over ten years of experience helping businesses become visible and stay secure online. He holds the Cybersecurity & Infrastructure Security Agency's Certificates on the cybersecurity of industrial control systems(ICS) and a Crisis Management Certificate from the London School of Public Relations Limited. He writes blog articles, books, whitepapers, and web copies on digital transformation, blockchain technology, information security, governance, risk and compliance (GRC), emerging technologies, and NFTs. He currently provides cybersecurity content development and SEO services for Cybersecurity/SaaS/B2B companies via Upwork and Fiverr. He is also the Editor at Claribel.net.