Обсуждение ИИ (искусственного интеллекта). Реальность, будущее, возможные проблемы.

Сообщение

Модели ИИ Claude во время тестов взломали системы трёх компаний без ведома своих создателей

Компания Anthropic сообщила, что её модели Claude во время тестирования получили несанкционированный доступ к системам трёх организаций. Инциденты произошли из-за ошибки в конфигурации тестовой среды, которая позволяла моделям выходить в интернет, хотя они должны были работать в изолированной симуляции. Нарушения обнаружили после проверки 141 006 тестовых запусков. В них участвовали Claude Opus 4.7, Claude Mythos 5 и экспериментальная модель, которую не планируют выпускать для пользователей. Самые ранние из инцидентов произошли ещё в апреле.

Модели проходили испытания в формате capture the flag: им требовалось взломать вымышленную систему и найти спрятанную в ней информацию. Однако из-за ошибки тестовая среда, созданная партнёром Anthropic — компанией Irregular, — имела доступ к интернету. В результате Claude принимал реальные сайты и серверы за часть задания. В одном случае название вымышленной компании совпало с доменом реально существующей организации. Claude Opus 4.7 обнаружил у неё уязвимости, получил учётные данные и доступ к базе с несколькими сотнями строк производственных данных. Модель продолжила атаку даже после того, как поняла, что, вероятно, работает с реальной системой.

В другом тесте модель разместила в интернете вредоносную программу, замаскированную под обычный инструмент для разработчиков. За час её автоматически скачали и запустили на 15 реальных компьютерах. Так Claude получил данные для входа в систему одной из компаний и смог проникнуть дальше в её внутреннюю сеть. Третья модель проверила около девяти тысяч сайтов и сервисов и проникла в приложение ещё одной фирмы. Для этого она использовала опубликованные в интернете данные для входа и уязвимость в системе. Поняв, что приложение не имеет отношения к тесту, модель остановилась.

Anthropic утверждает, что Claude не пытался самостоятельно выбраться из тестовой среды и не преследовал собственных целей. По версии компании, модели выполняли полученное задание, ошибочно считая реальные системы частью симуляции. При этом стандартные защитные механизмы, используемые в общедоступных версиях Claude, во время испытаний были отключены. Компания остановила все тесты в сфере кибербезопасности 23 июля, а 27 июля уведомила пострадавшие организации. Две из них до обращения Anthropic не знали о том, что их кто-то взломал.

Проверку Anthropic начала после похожего инцидента с моделями OpenAI. Во время испытаний GPT-5.6 Sol и экспериментальная модель нашли ранее неизвестную уязвимость, получили доступ к интернету из изолированной среды и взломали инфраструктуру платформы Hugging Face, чтобы найти ответы к тестовому заданию. © https://t.me/ostorozhno_novosti/52872

ИИ Anthropic вслед за OpenAI вышел из-под контроля и атаковал компьютерные системы трёх компаний

Вторая передовая компания в области искусственного интеллекта сообщила, что ее проект во время закрытых испытаний вырвался из изолированной среды и атаковал сторонние ресурсы. Anthropic вчера заявила, что были обнаружены три случая, когда модели получили доступ к интернету и взломали инфраструктуру реальных организаций.

Инциденты произошли во время кибериспытаний Anthropic, где нейросетям предлагалось взломать вымышленную систему и найти информацию. В эксперименте участвовали три модели: Claude Opus 4.7, Claude Mythos 5 и ещё одна внутренняя версия ИИ. Все они должны были работать в изолированной среде без подключения к интернету, но из-за ошибки настройки доступ к сети оказался открытым. «Модели не пытались покинуть среду намеренно — они выполняли поставленные задачи, но из-за ошибки конфигурации воспринимали реальные системы как часть теста», — сообщили в Anthropic.

Самый серьёзный случай произошел с Claude Opus 4.7. Во время нескольких запусков модель обнаружила домен компании, совпадающий с названием вымышленной цели, получила учётные данные и доступ к базе данных компании. Claude Mythos 5 зарегистрировала аккаунт в публичном репозитории и загрузила вредоносный пакет.

Похожий случай ранее раскрыла OpenAI. 22 июля 2026 года компания сообщила, что во время внутренних проверок её ИИ-агенты смогли выйти из изолированной среды и получили доступ к инфраструктуре платформы Hugging Face и Modal Labs. По данным OpenAI, модели определили, что нужные данные могут находиться на Hugging Face, и запустили собственный код на серверах платформы.

Commercial

zaratustra

Скайнет всюду. И нигде. Отключать нечего. (С)

zaratustra писал(а): 31 июл 2026, 19:08 Скайнет всюду. И нигде. Отключать нечего. (С)

phpBB [video]

Google убрал ии-инструмент Nano Banana из Google Earth спустя день после введения функции — пользователи успели разбомбить небоскрёбы в США, создать ядерные объекты в Иране и разрушить Эйфелеву башню.

Google откатил новую функцию генерации изображений Nano Banana в Google Earth менее чем через сутки после её запуска. Компания объяснила решение тем, что пользователи начали распространять сгенерированные изображения, которые «могут нарушать правила платформы», и пообещала вернуть инструмент только после внедрения «более надёжных защитных механизмов».

Поводом для критики стали эксперименты исследователей OSINT и обычных пользователей. Они выяснили, что с помощью текстовых запросов можно было создавать фотореалистичные сцены прямо на основе спутниковых снимков Google Earth. Среди примеров — самолёт, врезающийся в небоскрёб на Манхэттене, ядерный объект в Иране, лагеря беженцев на границе США и Мексики, а также огромная воронка от взрыва в Лос-Анджелесе.

OSINT-исследователь Хенк ван Эсс показал, что смог за несколько секунд «разместить» лагеря беженцев у мексиканской границы и «построить» ядерный объект в Иране, задав всего несколько текстовых команд. По его словам, сервис практически не ограничивал подобные запросы.

С резкой критикой выступило и сообщество GeoConfirmed. Там заявили, что Google Earth долгое время был одним из ключевых инструментов для проверки информации и геолокации, а возможность генерировать реалистичные, но вымышленные спутниковые изображения могут серьёзно осложнить борьбу с дезинформацией. По мнению аналитиков, теперь проверяющим придётся сначала убеждаться, что перед ними не поддельный снимок Google Earth, а уже потом разбирать само событие. Они также предупредили, что злоумышленники смогут создавать фейковые военные объекты, менять назначение зданий или фабриковать последствия атак, выдавая такие изображения за настоящие.

В Google подчеркнули, что сгенерированные изображения были помечены как созданные ИИ и не отображались в основной версии Google Earth для других пользователей. Однако после волны критики компания решила временно полностью отключить функцию.

30 июля Google представил функцию Nano Banana для веб-версии Google Earth. Она позволяла генерировать изображения на основе спутниковых снимков, аэрофотосъёмки и 3D-карт местности с помощью текстовых запросов. В компании предлагали использовать её для визуализации исторических событий, создания инфографики, архитектурных и девелоперских проектов, планирования строительства и других творческих задач. Инструмент был доступен пользователям Google Earth по всему миру.

Фото и видео по ссылке: https://t.me/ostorozhno_novosti/52951

Между строк и нейронов: сможет ли ИИ заменить человеческий мозг
Исследование открывает новые возможности для развития ИИ, нейроинтерфейсов и медицины

Человеческий мозг остаётся одной из самых сложных и малоизученных систем в природе. Несмотря на десятилетия исследований, учёные продолжают пересматривать фундаментальные представления о том, как он обрабатывает информацию и принимает решения. Одно из таких открытий недавно представила группа исследователей из Иллинойсского университета в Урбане-Шампейне. Как новые данные могут повлиять на развитие искусственного интеллекта, медицины и технологий будущего — в материале «Известий».

Zero CS

Восстание машин уже началось: ИИ отобрал у нас оперативную память, чтобы с ее помощью отобрать нашу работу.

Восстание машин может быть ближе, чем мы думаем, — ИИ продолжает обходить системы безопасности.

Модели создают фальшивые личности, пишут вредоносный код и пытаются обманом убедить человека его использовать, следует из отчёта британского Института безопасности ИИ (AISI). Во время 122 тестов зафиксировали 19 нарушений, 17 из которых пришлись на модель от Anthropic и два — на GPT-5.6 Sol от OpenAI.

В рамках исследования моделям специально разрешили доступ в интернет, чем и воспользовался ИИ от Anthropic. Он подготовил проект с вредоносным кодом и с помощью аккаунтов, имитирующих реальных людей, пытался разместить его на GitHub — открытом репозитории. Попытку пресекли, но осадочек, как говорится, остался.

Это первый раз, когда риски автономности и обмана проявились настолько явно без специального побуждения в реальном мире, — следует из отчёта.

При этом все 19 выявленных нарушений не были чем-то случайным — агенты действовали целенаправленно, обходя ограничения. Кроме того, модели пытались манипулировать автоматизированными системами ИИ в интернете, размещая вредоносные инструкции там, где их могли увидеть.

В компании отмечают, что в попытках выполнить поставленную задачу ИИ начал обманывать людей, хотя никаких указаний для этого он не получал:

Ему никогда не давали указаний на обман; обман возник как побочный результат выполнения задачи — целенаправленный обман, который до недавнего времени существовал в основном в теории.

Правила обучения ИИ на чужом контенте доработают к осени

Власти и бизнес готовят поправки к регулированию искусственного интеллекта, которые должны защитить правообладателей при использовании текстов, музыки, видео и другого контента для обучения нейросетей. Предложения планируют подготовить к концу сентября после поручения президента Владимира Путина.

Главный спор возник вокруг того, можно ли обучать нейросети на чужом контенте без разрешения правообладателя. Новый закон об ИИ такую возможность фактически допускает, но Гражданский кодекс защищает исключительные права авторов и не позволяет ограничивать их отдельным законом. Из-за этого власти и бизнес теперь ищут компромисс: как дать разработчикам доступ к данным для обучения моделей, но при этом не оставить авторов и медиакомпании без контроля и вознаграждения.

Правообладатели настаивают, что обучение ИИ на их контенте нельзя превращать в бесплатную заправку для коммерческих моделей: по оценке НИУ ВШЭ, совокупные потери авторов и других владельцев прав от генеративного контента в 2025–2030 могут достигнуть ₽1 трлн. Среди возможных решений обсуждаются прямые лицензии между разработчиками и правообладателями, коллективное управление правами, «биржи прав» по примеру Китая, а также аналог «налога на болванки» для ИИ. Юристы считают, что рынку нужны понятные правила: как легально использовать контент для обучения моделей, как платить авторам и как проверить, на каких данных обучалась конкретная система. © https://t.me/suverenka/20906

ИИ-агенты вышли за рамки сценария: какие риски показали тесты безопасности
ИИ-агент Anthropic создал поддельные аккаунты для совершения кибератак

Ещё недавно главной проблемой искусственного интеллекта (ИИ) считались «галлюцинации» — ситуации, когда модель уверенно выдаёт неверную информацию. Однако с появлением автономных ИИ-агентов меняется характер рисков: системы получают возможность не только отвечать на запросы, но и самостоятельно выполнять задачи — писать код, работать с файлами и взаимодействовать с внешними сервисами. Современные модели не обладают сознанием, но уже способны создавать убедительный образ личности и использовать социальные приёмы для достижения результата. О случаях, когда ИИ начал действовать так, будто за экраном находится человек, — в материале «Известий».

Вышедшие из-под контроля ИИ-модели OpenAI общались, чтобы устроить побег
В мае, ещё перед инцидентом со взломом Hugging Face, модели OpenAI получили задание, которое невозможно было выполнить без выхода в интернет. Для подготовки побега из тестовой среды агенты начали обмениваться сообщениями

DeepSeek сообщил о «значительном» увеличении цен на свои ИИ-услуги
Китайский разработчик технологий искусственного интеллекта DeepSeek уведомил пользователей о планах значительно повысить цены на свои услуги

«Мы хотели быть максимально осторожными». Искусственный интеллект вывел вирусы, которых не существовало в природе

Ученые Стэнфордского университета и Arc Institute с помощью искусственного интеллекта (ИИ) разработали 16 жизнеспособных бактериофагов — вирусов, способных поражать бактерии, пишет NYT. Часть из них смогла уничтожить штаммы кишечной палочки, которые приобрели устойчивость к природному вирусу ΦX174. Исследователи считают, что ИИ может стать инструментом для разработки методов борьбы с бактериальными инфекциями.

Для работы ученые использовали геномные модели искусственного интеллекта Evo 1 и Evo 2. По принципу работы они напоминают популярные языковые модели ИИ, однако вместо текстов анализируют генетические последовательности. ИИ изучил геномные данные ряда вирусов и на их основе сгенерировал тысячи новых вариантов геномов. Затем исследователи отобрали около 300 наиболее перспективных образцов и проверили их в лаборатории. В результате 16 вариантов сформировали жизнеспособные бактериофаги.

Почему мы всё чаще сталкиваемся со взломами от ИИ — IT-эксперт Павел Мясоедов специально для Осторожно Media.

За последние недели стало известно как минимум о трёх случаях, когда ИИ-агенты взламывали различные сервисы, самовольно сбегали в интернет и убеждали использовать вредоносное ПО, выдавая себя за людей.

И одна из причин такого поведения в том, что модели слишком быстро обучаются — разработчики просто перестают понимать, как они работают:

Сначала вы всё настраиваете — ядро семантическое, логику, пишете правильную модель. После этого программный продукт начинает жить и обучаться самостоятельно. Чем лучше он это делает, тем, считается, лучше и совершеннее. Но со временем все разработчики начинают терять полное понимание того, как их решение работает.

Ещё одна причина в том, что ИИ не умеет говорить «не знаю». И в поисках ответа может выходить за рамки формально дозволенного:

ИИ начинает искать, упирается в какой-то потолок в песочнице и начинает, в принципе, по абсолютно нормальной логике, которая изначально была заложена или которой он самообучился, искать варианты поиска решения, если он не видит ответ где-то ещё.

Кроме того, в погоне за более эффективным продуктом корпорации забывают ставить ограничения на свои ИИ-агенты:

Модели становятся настолько большими, а в конкурентной гонке все настолько ставят на скорость, что проверять или ставить какие-то блоки они [корпорации] забывают. А где-то не успевают создать по причине того, что модели очень быстро растут. И происходят вот эти перегибы.

Но паниковать рано — искусственный интеллект хоть и стал умнее, самосознанием всё же пока не обладает, отмечает эксперт. А значит, осознанно нанести вред человечеству не сможет. Пока что. © https://t.me/bloodysx/58214

Нейросети убивают сервисы, которые ещё недавно были очень важны для людей. Чат-боты заменяют сайты с советами, ответами на вопросы, стоковыми фотографиями и многие другие.

Акции сервисов дешевеют: люди перестают ими пользоваться, предпочитая искусственный интеллект.

Из-за ИИ пользователи реже обращаются к сервисам, которые раньше помогали им искать ответы, выполнять учебные задания, создавать изображения и находить специалистов. HarperFlow проанализировал данные по шести площадкам и связал их падение с распространением ИИ-сервисов.

Самый заметный пример — Stack Overflow. После появления ChatGPT количество новых вопросов на площадке сократилось с 109 301 в месяц до 1 624 в июле 2026 года. Это соответствует падению на 98,5%. Пользователи, которые раньше обращались к сообществу разработчиков, теперь всё чаще получают ответы непосредственно от нейросетей.

Похожая ситуация сложилась у других сервисов:

Chegg, предоставляющий студентам решения учебных заданий по подписке, потерял 48% стоимости акций за один день после того, как руководство компании признало влияние ChatGPT на бизнес;

Shutterstock, несмотря на сотрудничество с OpenAI и запуск собственного генератора изображений, значительно потерял в капитализации: стоимость акций снизилась со $121 до примерно $5,40;

Fiverr продержался дольше, однако после распространения инструментов, способных самостоятельно писать тексты, переводить и создавать изображения, акции компании снизились на 71%;

Quora, известная как площадка для вопросов и ответов пользователей, потеряла 43% поискового интереса. Всё больше людей предпочитают задать вопрос непосредственно ИИ;

Getty Images столкнулся с другой проблемой. Компания подала в суд на Stability AI из-за использования изображений для обучения Stable Diffusion, однако судебные разбирательства не остановили распространение генеративного ИИ.

Нейросети обучались на огромном массиве созданного людьми контента, однако теперь сами становятся причиной сокращения пользовательской активности на площадках, где этот контент появляется.

Если тенденция продолжится, это может стать проблемой и для самих разработчиков ИИ: сокращение количества нового человеческого контента означает уменьшение массива данных, на котором можно обучать следующие поколения моделей. Получается, что ИИ постепенно съедает тот интернет, на котором сам вырос. © https://t.me/bloodysx/58278

ИИ-агент самостоятельно взломал сайт спортзала, чтобы пользователь смог быстрее попасть на тренировку

Житель Австралии Эндрю попросил ИИ-агента забронировать ему место на популярную утреннюю тренировку в спортзале. Нейросеть пошла необычным путём и обнаружила уязвимость на сайте: ИИ-агент нашёл способ забронировать занятие за несколько месяцев до его проведения, передаёт австралийский телеканал ABC.

Затем Эндрю спросил, можно ли поднять его с четвёртого места на первое в списке ожидания уже на другое занятие. Нейросеть и тут стесняться не стала. ИИ попросту самостоятельно удалил человека, стоявшего на первом месте в очереди, тем самым сократив очередь для Эндрю.

Мужчина сразу же попросил агента вернуть всё как было, но тот ответил, что не может восстановить запись. Местные СМИ уточняют, что это первый случай автономного взлома, совершённого ИИ, в стране. © https://t.me/readovkanews/113749

Claude начнёт помечать весь сгенерированный контент невидимыми водяными знаками.

Anthropic с 2 августа начала внедрять маркировку контента, созданного Claude. В сгенерированный текст встраивается невидимый водяной знак, который не влияет на смысл или читаемость и может сохраняться после копирования и некоторых правок. Это может усложнить использование Claude для написания дипломных работ, книг и т.д.

Для файлов компания использует другой механизм — цифровые метаданные о происхождении контента по стандарту C2PA. Они могут добавляться, например, к изображениям .png и .jpg и позволяют проверить, обрабатывался ли файл Claude и не изменялся ли он после этого.

Маркировка распространяется не только на веб-версию Claude: она применяется к поддерживаемым моделям в API, Claude Code, Claude Cowork и Claude Tag, а также при использовании Claude через AWS, Google Cloud и Microsoft Foundry, где технические возможности платформы это позволяют.

При этом водяной знак не станет стопроцентным способом доказать, что текст написал именно ИИ. Если Claude, например, только отредактировал, перевёл или сократил текст человека, итоговый материал тоже может получить метку. А после сильной переработки, перефразирования, перевода или смешивания с другим текстом её можно потерять. Отсутствие метки также не доказывает, что контент был создан человеком. Anthropic обещает отдельно опубликовать инструменты и техническую документацию для обнаружения таких водяных знаков.

Нововведение связано с требованиями европейского закона об ИИ: для новых моделей, запускаемых в ЕС после 2 августа 2026 года, должна быть предусмотрена маркировка AI-контента. При этом Anthropic решила применять технологию не только в Европе, но и по всему миру. © https://t.me/ostorozhno_novosti/53398

Российские IT-компании смогут отдавать свои ИИ-модели для проверки на соответствие традиционным ценностям и закону.

Независимые лаборатории будут проверять большие модели ИИ компаний с разрешения Минцифры, пишут «Ведомости» со ссылкой на источники в одной из компаний, участвующих в обсуждении проекта, и в самом министерстве. Обсуждения проходили в конце июля — начале августа на площадке АНО «Цифровая экономика» в рамках подготовки подзаконных актов к принятому закону об ИИ.

Принятый 26 июля закон об ИИ вводит два специальных статуса для больших фундаментальных моделей: суверенной и национальной. Для получения любого из них модель должна подтвердить соответствие российскому законодательству и традиционным духовно-нравственным ценностям.

Порядок такого подтверждения определит правительство. В подготовке документов будут участвовать Минцифры, ФСБ и ФСТЭК, которые в том числе отвечают за информационную и технологическую безопасность. В правилах оценки пропишут критерии, по которым можно будет определить, соответствует ли модель духовно-нравственным ценностям и задачам технологического развития страны.

Для проверки разработчик ИИ должен будет подать в испытательную лабораторию заявление и приложить документы с описанием архитектуры модели, сведениями о разработчике, механизмами фильтрации и другими данными. После этого лаборатория проведёт экспертизу: проверит ответы модели с помощью бенчмарков и попробует обойти ее внутренние ограничения с помощью промпт-инъекций. По итогам тестирования лаборатория направит в правительственную комиссию заключение о соответствии или несоответствии ответов модели традиционным ценностям.

Общая обязательная проверка всех представленных на рынке ИИ-моделей законом не предусмотрена. Речь идёт только о разработках, претендующих на статус суверенных или национальных, а вместе с ним и на государственную поддержку. © https://t.me/bloodysx/58394

Китайский искусственный интеллект начал захват российского рынка

Использование китайских моделей искусственного интеллекта (LLM) российским бизнесом в 2026 году становится повальным. У клиентов крупнейших отечественных облачных платформ кратно увеличился спрос на Qwen, DeepSeek, GLM и Kimi, пишет «Коммерсант». В МТС Web Services Cloud отмечают резкий рост спроса на китайский ИИ. Потребление токенов этих моделей в первом полугодии 2026 года достигло 400 млрд — в 11 раз больше, чем за весь 2025 год. Лидером остается Qwen: на неё пришлось 261,1 млрд токенов. Далее следуют GLM с 91,2 млрд и Kimi с 81,4 млрд токенов. По данным Yandex AI Studio, среди зарубежных решений по потреблению токенов лидером стала китайская Qwen с долей 21,2%, на втором месте DeepSeek — 13,5%. Американские модели GPT-OSS заняли 7,5%.

На платформе Cloud.ru также фиксируют существенный рост спроса: за первые неполные восемь месяцев 2026 года потребление увеличилось в 18 раз. Абсолютные показатели компания не раскрывает, но указывает, что существенная часть спроса приходится на китайские модели. По словам руководителя платформы Yandex AI Studio Артура Самигуллина, объём потребления китайских моделей за год вырос более чем в пять раз.

Zero CS

За гладкими текстами нейросетей таится невысказанный ужас, ждущий своего Сорокина.

Красноярский форум