ПОЯСНЕНИЕ №2
В соответствие с Киберстратегией США от 2018 года, работы по ИИ входят в состав трех приоритетных направлений. Ниже будут показаны новые киберугрозы РФ (ТЭК РФ), связанные с новыми моделями и сценариями кибератак, использующих приемы ИИ.
https://habr.com/ru/company/ppr/blog/543448/Угрозы ИИТри сценария использования вредоносного ИИ
Первый, наиболее (анти)утопичный - это автономно существующая нейросеть, которая самостоятельно, без участия человека осуществляет определённые вредоносные действия, от сбора данных для подготовки к атаке до взлома корпоративных сетей, распространения шифровальщиков, кражи криптовалют и так далее.
Второй сценарий - это использование технологий ИИ в качестве вспомогательного инструмента при совершении вредоносных действий. То есть, когда ИИ препоручаются какие-то конкретные действия, требующие большого количества разнообразных операций, но назначение этих действий определяют люди.
Третий сценарий - это воздействие на нейросети, которые могут спровоцировать их некорректное или прямо вредоносное поведение в нужный момент.
В 2018 и 2020 годах были опубликованы два разных аналитических документа, в которых рассматриваются возможности применения ИИ с вредоносными целями. Первый был главным образом теоретический. Исследование The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation" ("Злонамеренное использование искусственного интеллекта: прогнозы, предотвращение и минимизация ущерба") явилась плодом усилий сразу 26 экспертов из 14 европейских и американских организаций, в том числе, Оксфордского, Кэмбриджского, Стэнфордского университетов, Фонда Электронного Фронтира и OpenAI.
Источником второго исследования стал Европол, и в нём описаны несколько случаев вредоносного применения ИИ на практике.
https://www.europol.europa.eu/publicati ... telligence Робот-хакер
Компьютерная программа, которая способна взломать всё, обойти любую защиту и перепрограммировать любую другую компьютерную систему под себя... В этом образе нет ничего особенно нового - но для фантастики.
В реальности многие продвинутые вредоносные программы уже ведут себя до непристойного умно - скрытно передвигаются по сетям, сканируют непубличные порты, самостоятельно эксплуатируют огромное количество самых разных уязвимостей, собирают и выводят данные, автоматически определяют нужные им системы - например, для наиболее эффективного развёртывания криптомайнера или установки шифровальщика туда, откуда он с гарантией расползётся по максимальному количеству узлов сети.
Тем не менее, они не способны к самообучению и самостоятельному расширению собственной функциональности. И хотя многие вредоносные программы способны автоматически подгружать уже готовые дополнительные модули, это всё-таки история не про ИИ. Так или иначе, самые сложные целевые атаки сегодня производятся всё-таки людьми - вручную.
Технологии ИИ активно используются для киберобороны, в том числе против самых передовых и скрытных атак. Лучшие SIEM-системы, усиленные технологиями машинного обучения, способны в миллионах событий в корпоративной сети выявить неочевидные для человека закономерности, которые указывают на попытки кибератак.
Квалифицированные злоумышленники, со своей стороны, могут пытаться избежать внимания защитных систем, имитируя невинные действия других людей или приложений в целевой сети. Судя по обилию случаев, когда крупные корпорации становились жертвами целевых атак, речь идёт не только о слабой защите, но и солидном уровне подготовке атакующих.
Что, если такие атаки удастся автоматизировать и продвинутые атаки будут производиться машинами самостоятельно - так же, как это делают люди, только быстрее и эффективнее?
Именно такой сценарий предсказывают авторы обоих упомянутых исследований: технологии ИИ в итоге сделают возможными полную автоматизацию хакерских атак. То есть, реальностью станет “робот-хакер”, способный самостоятельно обучаться, мимикрировать под невинный трафик, адаптироваться к попыткам противодействия, и всё это с нечеловеческой скоростью, если нужно. Нельзя исключать и автоматизацию поиска уязвимостей и даже генерации эксплойтов к ней - почему нет?
В каком-то смысле “программный хакер” уже реальность. в том же 2018 году IBM представила концептуальную модель вредоносного ПО, использующего технологии ИИ, - DeepLocker.
Разработчики описывают его как узконаправленный и труднообнаруживаемый вредоносный инструмент, который может скрываться в коде других программ и никак не выдавать себя до тех пор, пока жертва не будет идентифицирована.
Причём речь идёт не о какой-то специфической машине, а именно о человеке. Для распознавания объекта интереса DeepLocker может применять целый арсенал - средства распознавания лица и голоса, геолокация и анализ данных собранных из открытых источников.
По утверждению экспертов IBM, вредоносный код практически невозможно ни выявить, ни подвергнуть обратной разработке. При тестировании ни одно из антивирусных решений вредоносную программу не выявила, какими бы продвинутыми средствами её ни искали.
Эксперимент доказал применимость и практичность использования ИИ в контексте вредоносного ПО. Очевидно, что то, что смогли сделать в IBM, смогут повторить и в других местах. Особенно при наличии нужной интеллектуальной и материальной базы. И ничто не противоречит предположению, что кибероружие с ИИ-усилением у крупнейших держав мира уже есть.
Авторы исследования отмечают ещё один аспект: при использовании ИИ в контексте кибератак у потенциальных злоумышленников исчезают даже минимальные ограничения, связанные с эмпатией. Полностью автономные системы, “спущенные с цепи”, обеспечивают атакующим полную психологическую изоляцию от своих потенциальных жертв - прямых и косвенных и повышают готовность к совершению любых, в том числе самых деструктивных атак.
Подмена или обман человекаИспользование технологий ИИ в качестве вспомогательного инструмента для совершения вредоносных действий, судя по всему, уже реальность.
По данным Европола, на подпольных киберфорумах вовсю обсуждаются, тестируются и даже сдаются в аренду инструменты для взлома паролей и CAPTCHA на базе нейросети, такие как XEvil 4.0 (используется для взлома CAPTCHA на сайтах Яндекса), или PWnagotchi 1.0.0 (используется для взлома сетей Wi-Fi посредством атак деаутентификации).
Второй инструмент и интересен, и опасен тем, что используемая им нейросеть выстроена по геймификационной модели: за каждую успешную атаку она получает некое вознаграждение и это способствует постепенному развитию её эффективности.
Кроме того, на таких форумах активно обсуждается возможность создания ИИ-ботов для Spotify и Instagram, которые достоверно имитировали бы человеческое поведение. Главным образом - ради мошеннических накруток популярности и повышения монетизации.
Бота для Spotify, кстати, уже создали и предлагают в аренду по цене от 25 до 180 долларов. Можно с уверенностью сказать, что и потребители найдутся - когда фейковая популярность кажется неотличимой от подлинной, почему бы не воспользоваться? Особенно, когда моральных ограничений нет.
Любопытны также инструменты для осуществления социальной инженерии при поддержке технологий ИИ. Как известно, подавляющая часть кибератак начинаются с таких вещей как социальная инженерия или фишинг.
Степень успешности фишинговых атак определяется и правильным выбором конечной цели, и убедительностью мошеннического послания, заманивающего пользователя в ловушку. Для того, чтобы это послание “состоялось”, злоумышленники иногда очень долго и скрупулёзно собирают личные данные о цели.
Натаскать сегодняшние ИИ на выполнение этой задачи в автоматическом режиме вполне реально; более того, технологии искусственного интеллекта в теории могут самостоятельно формировать психопрофиль жертвы и идеальной подходящий под него фишинговый материал - это может быть почтовое сообщение или рекламный баннер, который с гарантией привлечёт внимание жертвы и позволит подсадить ей на компьютер вредоносную программу.
В исследовании Европола упоминается инструмент, обнаруженный на французских киберкриминальных форумах, под названием Eagle Eyes, который, как утверждают его разработчики, способен выявить все профили в социальных сетях, принадлежащих одному и тому же человеку, даже если он везде именуется по-разному. Это дополнительно расширяет возможности по сбору данных. А они и без того огромные, учитывая как много лишней информации о себе мы оставляем во Всемирной Сети.
Отдельная история - дипфейки. Убедительное поддельное видео с помощью ИИ уже вполне можно создать. Это не очень просто сделать, но реально.
Кроме того, в упомянутом выше исследовании Европола говорится про рекламируемый на киберкриминальных форумах инструмент для клонирования голоса на базе ИИ. Идеальный инструмент для “телефонных” атак, уже существующий в реальности и, видимо, легкодоступный - готовое решение.
Вариантов злонамеренного применения этих инструментов множество. Представим, например, компанию, работающую на удалёнке; сотруднику бухгалтерского отдела поступает видеозвонок от руководителя, который даёт указания перевести такую-то сумму на такие-то счета. Сотрудник бухгалтерии даже не подозревает, что на самом деле с ним разговаривал не его руководитель, а кто-то посторонний, - и, не запрашивая подтверждения через альтернативные каналы связи, производит транзакцию. Когда вскрывается обман, что-то исправлять уже поздно.
Другой вариант: по соцсетям начинает разгоняться видео, где известный политик вещает что-то глубоко возмутительное (но не вполне неожиданное с его стороны). Итогом становится большой скандал, а то и битые витрины и горящие автомобили. На деле же сам политик ничего такого не озвучивал, от его лица распространили дип-фейк.
Далее: видеозаписи сегодня принимаются как доказательство в суде - при условии, что они представлены в исходном, неотредактированном виде. Но с помощью ИИ нужное видео можно в теории “подсадить” прямо в носитель, с которого записывается сигнал с камеры, без всяких следов редактирования. Отличный способ подсаживать улики или уничтожать свидетельства.
А как насчёт автоматизированных кампаний по дезинформации или “зашумливанию” каналов связи с помощью посторонних сообщений от “ботов”? Или атак на используемые в социальных сетях алгоритмы по курированию контента (которые и так работают не лучшим образом). Всё это уже сегодня под силу ИИ-решениям.
“По мере того как создание и распространение высококачественных фальшивок будет становиться дешевле, разнообразный синтезированный контент начнут составлять весьма существенную часть медийно-информационной экосистемы”, - предупреждают авторы академического исследования вредоносного использования ИИ.
Вопрос лишь в том, когда найдутся люди, которые пожелают воспользоваться этими возможностями.
Дипфейки могут затрагивать и другие области: например, уже многократно продемонстрировано, как может быть легко обмануть автомобильные автопилоты просто с помощью специально подготовленных проекций изображений. Все эти эксперименты проводились в безопасной среде, практическая реализуемость таких атак не всегда однозначна, но заведомо отлична от нуля. Особенно, если в дело вступит ИИ.
Разработчики бортовых систем автомобилей за последние годы значительно улучшили безопасность своих разработок, но главным образом - в порядке реакции на сторонние исследования и эксперименты: пока угроза не реализована практически её как бы и нет. И такой подход - одна из ключевых проблем, остроту которой ИИ увеличит в разы.
Ещё более опасный вариант - это ИИ в технологиях военного назначения. По всему миру ведутся разработки военной техники, способной функционировать без прямого участия человека. Кибератака на систему вооружений - со стороны или с применением ИИ - чревато реализацией самых фантастических и антиутопических сюжетов.
Вредоносный ИИ
Ещё один генеральный сценарий связан с атаками уже на сами системы “искусственного интеллекта”, наиболее перспективной и опасной из которых может стать “отравление данных”.
Нейросети обучаются по определённым моделям - массивам данных, которые используются для того, чтобы система искусственного интеллекта могла делать корректные выводы. Если в исходные данные вносятся какие-то искажения - случайно или преднамеренно, нейросеть будет выдавать некорректные результаты, причём обнаружить причину будет весьма и весьма сложно.
Вариантов применения “отравленного” ИИ тоже великое множество: можно создать бэкдоры, можно создать закладки, так чтобы в нужный момент вынудить ИИ исполнить какую-то вредоносную команду от взломавших его людей. По мере того, как будет расти доступность систем ИИ (а до их пришествия в домохозяйства явно не так много времени пройдёт), “отправление данных” или эксплуатация каких-то ещё уязвимостей может стать целой индустрией киберкриминала.
Пока ещё технологии ИИ не сделались чем-то тривиальным; это не обычные вредоносные программы, которые может купить и подпустить недругу любой школяр с браузером TOR. Но, как показано выше, злонамеренная эксплуатация таких технологий - уже реальность.
Снижение рисков вредоносного ИИКак ни странно это может прозвучать, но в конечном счёте всё упирается в этику.
Вопрос этики не сводится только к тому, что использовать ИИ во вред людям нехорошо, неправильно, небезопасно и безответственно. Но беда в том, что ИИ, как уже сказано выше, заметно упрощает потенциальному злоумышленнику нахождение компромисса с собственной совестью.
К области этики принадлежат и отношения людей и друг к другу, и к собственной личной и рабочей информации. Этика разработки программного обеспечения и систем ИИ - это тоже существенный вопрос.
Использование искусственного интеллекта с вредоносными целями - это уже неизбежность, которую необходимо принять и осмыслить самым рациональным образом.
Авторы исследования “Вредоносное использование ИИ” предлагают реализовать целый ряд мер по предотвращению или снижению рисков, в том числе довольно глобальные и труднореализуемые. Например, формирование корпуса этических норм для разработчиков систем искусственного интеллекта; регламентацию того, как распространяется информация о об исследованиях и разработке с акцентом на ответственность и безопасность; применение опыта обращения с любыми другими технологиями двойного назначения, а ИИ - очевидным образом относится к таковым; создание нормативно-правовой базы на государственном и межгосударственном уровне и так далее.
Предлагаются и некоторые частные требования к системам ИИ: например, чтобы они идентифицировали себя как таковые при общении с людьми (этой инициативе точно будут противиться коммерсанты, не говоря уж о киберпреступниках).
Но кроме этого, поменяться должна и этика разработчиков любого ПО. На сегодняшний день существует консенсус, в рамках которого создатели программного обеспечения не несут ответственности за кибератаки, оказавшиеся возможными из-за ошибок в коде - соответствующие положения прописываются в пользовательских соглашениях. А почему возникают ошибки? - В частности потому, что программисты работают в условиях "внезапных дедлайнов" и “неожиданных идей начальства”, которые имеют большее значение, чем best practices безопасной разработки.
Ниоткуда не следует, что подходы к разработке в области ИИ окажутся значительно совершеннее. А вот риски куда выше.
К вопросам этики в определённом смысле относится и обращение пользователей с собственными данными и рабочими инструментами. Информационная безопасность глубоко коллективный вопрос. Каждый, кто не соблюдает базовые правила сетевой безопасности и защиты личных данных, подвергает какой-то доли риска и других. Риска, который вырастет многократно, как только в качестве киберзлоумышленников начнёт выступать ИИ, самостоятельно или под чьим-то контролем.
Правильно ли, что из той информации, которую мы оставляем в Сети по каким бы то ни было причинам, можно составить полный психологический, физический, медицинский, наконец, профиль? И воспользоваться им для причинения вреда нам же самим?
Вред необязательно будет прямым и направленным на конкретного человека. Мы уже сейчас регулярно наблюдаем информационные атаки, нацеленные на большие группы людей. Тёмной стороной развития информационных и коммуникационных технологий является постоянное расширение возможностей по манипулированию информацией - и настроениями масс. Приспособляемость самих людей к этому заметно отстаёт. В качестве компенсационного механизма выступает постулат о том, что верить сегодня нельзя никому и ничему. И, действительно, чем дальше, тем меньше оснований остаётся думать как-то иначе.
Но к формированию навыков по поиску объективности это не приводит: потребители информации просто собираются в сегрегированные анклавы, состоящие из людей со схожими воззрениями, точнее, вкусами к тем или иным “сортам” информации; в англоязычной прессе эти анклавы прямо называют эхо-камерами - дескать, там слышно только то, что находящиеся внутри люди ожидают и готовы услышать. Любая другая информация не соответствует шаблонам данного анклава, отвергается или воспринимается как “вражеская агитация”, а представители других анклавов - в лучшем случае инопланетяне, в худшем - враги.
И это создаёт благодатнейшую почву для информационных манипуляций любого рода, в первую очередь, злонамеренных. Использование ИИ только расширит возможности для их осуществления - и приведёт к только дальнейшему росту разногласий и напряжения в любом обществе.
Главным орудием противодействие этому, скорее всего, окажется именно человеческая этика. Да, технические контрмеры важны и нужны - и они будут также реализовываться с помощью ИИ. Но последнее слово должно оставаться за человеческим разумом - за его этичным рациональностью.
Тем более, что основной мишенью вредоносного применения ИИ является именно человек. А не технологические устройства.
Космические вирусы с вредоносным ИИ?
https://radarmedia.net/poluchennyj-v-kr ... nt=9126508Ученые из США и Германии предостерегли от необдуманных контактов с внеземными цивилизациями после того, как в Крыму зафиксировали сигнал из космоса. Зарегистрировать двоичный код, посланный из космического пространства, удалось при помощи телескопа РТ-70, который базируется на территории Крыма. Один из телескопов РТ-70 находится на третьей площадке Центра дальней космической связи возле поселка Молочное под Евпаторией возле Черного моря. Другой такой объект располагается в поселке Галенки в Приморском крае.
Полученные результаты обеспокоили западных ученых. Поэтому сотрудники Гарвардского университета и Зоннебергской обсерватории выпустили труд “Межзвездные коммуникации и невозможность обезвреживания сообщений”. В своем исследовании эксперты предупредили, что выход на контакт с инопланетянами очень опасен. Расшифровка сообщений от НЛО возможна только при помощи компьютера, но основная опасность заключается в том, что послание может содержать серьезный вирус или вредоносный код, обезвредить который не смогут даже самые продвинутые технологии Земли.
По мнению экспертов, тот, кто только попытается это сделать, откроет настоящий ящик Пандоры — вред можно нанести даже самому компьютеру в момент непосредственного декодирования. Искусственный разум начнет манипулировать людьми, считают они.
https://sci-hit.com/2021/02/ne-razgovar ... tnymi.htmlфевраль 2021 года
Джон Лёрнед из Гавайского университета (США) и Майкл Хиппке из Зоннебергской обсерватории (Германия) в своём совместном труде под названием «Межзвёздные коммуникации и невозможность обезвреживания сообщений» предостерегли человечество от необдуманных контактов с внеземными цивилизациями.
Для отображения и расшифровки сложных сообщений из космоса может потребоваться использование компьютеров, говорят учёные, однако существует риск того, что сообщение окажется вредоносным, а обезвредить его мы будем просто не в состоянии. Поэтому чтобы исключить потенциальную угрозу для человечества, инопланетные сообщения должны быть немедленно уничтожены безо всяких попыток их прочитать.
Согласно исследованию, сообщения от внеземных цивилизаций с наибольшей вероятностью будут представлять собой сигналы, принимаемые радиотелескопами. Почему-то астрофизики полагают, что такие послания с наибольшей долей вероятности окажутся вредоносными, поэтому нам следует отказаться от их расшифровки и чтения, раз мы не можем быть уверены, что отправитель не является нашим врагом.
Наиболее вероятным типом межзвёздного сообщения, считают учёные, является послание «Космический вызов», сделанное радиотелескопом РТ-70 в Крыму. Оно представляет собой ряд двоичных символов, которые расшифровываются в виде рисунка. Если сообщение распечатать на бумаге для дальнейшего анализа, то вред может представлять только заложенный в нём смысл, но при использовании для декодирования компьютера есть риск его заражения вредоносным кодом.В качестве возможного сценария Лёрнед и Хиппке описывают получение сообщения с библиотекой в виде искусственного интеллекта.
Даже если его расшифровка будет проведена на Луне с помощью изолированного компьютера, искусственный интеллект может попытаться манипулировать людьми, а также научить человечество создавать сложные технологии, не предупреждая о возможных опасных последствиях.