Skviko.Ru

Ранее в этом году исследователи установили, что нейросеть GPT-4 от компании OpenAI способна создавать эксплойты для уязвимостей, изучая информацию о них в интернете. Теперь же им удалось взломать более половины тестовых веб-сайтов с помощью автономных групп ботов на базе GPT-4, которые самостоятельно координировали свою работу и создавали новых ботов при необходимости.

Источник изображения: newatlas.com

Отмечается, что боты в своей работе создавали эксплойты для уязвимостей нулевого дня, о которых не было известно ранее. В своей предыдущей работе исследователи задействовали GPT-4 для эксплуатации уже известных уязвимостей (CVE), исправления для которых ещё не были выпущены. В итоге они установили, что нейросеть смогла создать эксплойты для 87 % критических уязвимостей CVE, представляющих высокую опасность. Те же самые исследователи из Иллинойского университета в Урбане-Шампейне опубликовали результаты новой работы, в которой боты на основе нейросети пытались взломать тестовые сайты путём эксплуатации уязвимостей нулевого дня.

Вместо того, чтобы задействовать одного бота и нагружать его большим количеством сложных задач, исследователи использовали группу автономных, самораспространяющихся агентов на основе большой языковой модели (LLM). В своей работе агенты задействовали метод иерархического планирования, предполагающий выделение разных агентов под конкретные задачи. Одним из главных элементов стал «агента планирования», который контролировал весь процесс работы и запускал несколько «субагентов» для выполнения конкретных задач. Подобно взаимодействию между начальником и подчинёнными, «агент планирования» координирует свои действия с «управляющим агентом», который делегирует выполнение задач на «экспертных субагентов», тем самым равномерно распределяя нагрузку.

Исследователи сравнили эффективность такого подхода при взаимодействии группы ботов с 15 реальными уязвимостями. Оказалось, что метод иерархического планирования на 550 % более эффективен по сравнению с тем, как с аналогичными уязвимостями работает один бот на базе нейросети. Группа ботов сумела задействовать 8 из 15 уязвимостей, тогда как одиночный бот создал эксплойт только для трёх уязвимостей.

Apple заверила клиентов, что их данные, переданные на облако через систему искусственного интеллекта Apple Intelligence, «никогда не сохраняются и не становятся доступными для Apple», а открытый серверный код позволяет экспертам «проверить это обещание конфиденциальности». Компания утверждает, что ИИ-система Apple Intelligence, которую она интегрирует в свои продукты, будет использовать «частные облачные вычисления на серверах, специально созданных на базе процессоров Apple».

Поскольку большинство крупных языковых моделей запускаются на удалённых облачных серверных фермах, пользователи неохотно делятся персональными данными с компаниями, занимающимися ИИ. В своём сегодняшнем выступлении на WWDC компания Apple подчеркнула, что новая система Apple Intelligence, которую она интегрирует в свои продукты, будет использовать новые «частные облачные вычисления», чтобы обеспечить прозрачную и проверяемую защиту любых данных, обрабатываемых на её облачных серверах.

«Вам не придётся передавать все детали своей жизни для хранения и анализа в чьём-то облаке ИИ», — заявил старший вице-президент Apple по разработке программного обеспечения Крейг Федериги (Craig Federighi). Он сообщил, что многие модели генеративного ИИ Apple могут полностью локально работать на устройствах на базе чипов серии A17+ или M, что исключает риск отправки личных данных на удалённый сервер.

По словам Федериги, если для выполнения запроса пользователя потребуется более крупная облачная модель, она «будет работать на серверах, которые мы создали специально с использованием процессоров Apple», что позволяет использовать инструменты безопасности, встроенные в язык программирования Swift. Федериги утверждает, что система Apple Intelligence «отправляет на серверы только те данные, которые необходимы для выполнения вашей задачи», а не предоставляет полный доступ ко всей контекстной информации на устройстве.

Федериги подчеркнул, что даже этот минимизированный набор данных не будет сохраняться для будущего доступа или использоваться для дальнейшего обучения серверных моделей Apple. Не менее важно, что серверный код, используемый Apple, будет открытым и независимые эксперты смогут проверить его на конфиденциальность пользовательских данных. Вся система защищена сквозным шифрованием, так что устройства Apple «откажутся взаимодействовать с сервером, если их программное обеспечение не будет публично зарегистрировано для проверки».

Хотя в программной речи Федериги приводится немного технических подробностей, акцент на конфиденциальности показывает, что Apple, по крайней мере на словах, уделяет приоритетное внимание проблемам безопасности в сфере генеративного ИИ. Свою политику в отношении персональных данных Apple называет «совершенно новым стандартом конфиденциальности и искусственного интеллекта». Осталось дождаться заключения независимых экспертов по безопасности.