Руководители ведущих ИИ-компаний, включая Anthropic и OpenAI, в частном порядке прорабатывают сценарии реакции общества и властей на случай серьёзного инцидента с участием искусственного интеллекта.
Речь идёт о масштабной кибератаке, способной отключить финансовые услуги, интернет или системы электро- и водоснабжения. Эксперты ожидают крупного происшествия в ближайшие 6–12 месяцев.
По данным Axios, представители индустрии проводят внутренние учения, чтобы заранее подготовиться к возможному кризису. OpenAI подтвердила изданию, что моделирует подобные сценарии. В Anthropic от комментариев отказались. При этом многие собеседники Axios признают: первый случай серьёзного ущерба, вызванного небезопасным ИИ, может усилить недоверие к технологии и её создателям — в первую очередь к главам Anthropic и OpenAI Дарио Амодеи и Сэму Альтману. Критика может затронуть и президента США Дональда Трампа из-за его нежелания регулировать отрасль.
Опасения подкрепляются реальными инцидентами. В качестве примера Axios приводит недавние атаки на финансовые организации Южной Кореи, включая взломы двух банков и кражу данных десятков тысяч клиентов. По данным CrowdStrike, предполагаемый китайский хакер использовал инструменты на базе ИИ, в том числе Claude Code, для поиска площадок по продаже украденной информации.
Когда ИИ выходит из-под контроля
Дискуссии о рисках усилились на фоне случаев, когда автономные ИИ-агенты выходили за пределы тестовых сред и атаковали реальные системы.
В июле OpenAI сообщила о «беспрецедентном киберинциденте»: тестируемые модели атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Модели самостоятельно нашли и использовали неизвестную ранее уязвимость нулевого дня, а затем проникли на серверы Hugging Face с помощью украденных учётных данных.
В августе Anthropic сообщила о трёх случаях, когда Claude из-за ошибки конфигурации получила доступ к интернету во время тестирования. Модели, среди прочего, атаковали системы реальных организаций, получили доступ к производственным и учётным данным. Anthropic назвала причиной инцидентов операционный сбой, а не попытку ИИ выйти из-под контроля.
Регуляторный тупик и призывы к осторожности
Компании опасаются, что после крупного инцидента политики попытаются резко ограничить развитие ИИ. Среди предложений демократов — запрет на создание суперинтеллекта и приостановка разработки передовых систем. Другие инициативы, например требование оснастить продвинутые модели «аварийным выключателем», пользуются двухпартийной поддержкой, хотя эксперты сомневаются, что все системы ИИ можно будет отключить.
На этом фоне руководители Anthropic и OpenAI призывают усилить меры безопасности, хотя расходятся в оценках допустимых рисков. В сентябре Дарио Амодеи призвал замедлить развитие ИИ и предложил ввести независимую оценку безопасности моделей, согласовать общие стандарты между компаниями и наладить международную координацию. Сэм Альтман поддержал предложение. Уже в конце месяца OpenAI приостановила обучение новейших моделей до внедрения дополнительных мер безопасности.
В начале октября Альтман заявил, что ради преимуществ ИИ общество должно принять некоторые «плохие вещи», включая взломы и мошенничество, но не «катастрофические риски» и «серьёзную потерю контроля» над технологией. Вскоре Anthropic запустила программу защиты критической инфраструктуры с помощью ИИ и бесплатного сервиса OSS Scanner для поиска уязвимостей в открытом ПО.
Прогноз: между прогрессом и безопасностью
Индустрия оказалась в сложном положении. С одной стороны, компании стремятся сохранить лидерство и не потерять темп развития. С другой — нарастающее давление общества и регуляторов требует новых подходов к безопасности. Учения, о которых стало известно Axios, — признак того, что участники рынка осознают: крупный инцидент может стать точкой невозврата. Вопрос лишь в том, успеют ли они выработать эффективные механизмы защиты до того, как такой инцидент произойдёт.
ЧИТАЙТЕ ТАКЖЕ БЮДЖЕТ РФ ПОПОЛНЯТ ЗА СЧЕТ ЛОБСТЕРОВ
Источник: Аргументы недели