Обсуждение ИИ (искусственного интеллекта). Реальность, будущее, возможные проблемы.

[DGV]

Новая GPT-6 Astra прошла все 48 уровней игры 'Я не робот' с самыми сложными капчами — в конце дали сертификат, что бот 'официально человек'.

А мы всё ещё думаем, считать ли кусочек светофора в соседнем квадрате

[Prepinaki]

DGV, в хи-хи сложная капча

[Mauler]

Иван Н,

Mauler, А.А., пользуются ли популярностью в НГУ вымышленные научные сотрудники и преподаватели?

Не в курсе, Иван Альбертович.

[DGV]

Российские компании обяжут использовать только «суверенный» ИИ

Правительство по инициативе Сбера обсуждает меру, согласно которой бизнес сможет использовать только «суверенную» модель ИИ, даже если она дороже аналогов, пишет «Коммерсант».

Под суверенной моделью подразумевается ИИ, разработанный на всех этапах только российской компанией и работающий на инфраструктуре в России.

А почему суверенный ии должен быть дороже зарубежных аналогов?
У нас же дешевле энергия и раб сила, чем на зыгнивающем западе?

[zaratustra]

Если бы проблема была только в дороговизне суверенного ИИ...

[Добрый Фей]

А почему суверенный ии должен быть дороже зарубежных аналогов?
У нас же дешевле энергия и раб сила, чем на зыгнивающем западе?

по мимо энергии и рабочей силы, для обучения ИИ с нуля, нужен еще суверенный дата центр размером с маленький суверенный город.

[DGV]

по мимо энергии и рабочей силы, для обучения ИИ с нуля, нужен еще суверенный дата центр размером с маленький суверенный город.

да ладно, есть известная технология - цар-царап

[Добрый Фей]

да ладно, есть известная технология - цар-царап

вот именно технологии нет, и стырить её для гражданских нужд не кто не будет

[Иван Н]

OpenAI объявила о решении одной из семи «задач тысячелетия»
OpenAI объявила о решении её моделью ИИ одной из семи «задач тысячелетия»
Речь идёт о задаче о существовании и гладкости решений уравнений Навье — Стокса. Однако математик из Нью-Йоркского университета Тристан Бакмастер заявил, что OpenAI опиралась на результаты его с коллегой работы

OpenAI заявила, что её ИИ решил одну из семи математических «задач тысячелетия».

Вокруг открытия уже разгорелся скандал из-за возможного использования неопубликованной работы реальных математиков.

OpenAI опубликовала предполагаемое решение задачи Навье — Стокса — одной из семи знаменитых «задач тысячелетия», определённых Математическим институтом Клэя в 2000 году как «важные классические задачи, решение которых не найдено вот уже в течение многих лет». По данным компании, над задачей одновременно работали около 10 тысяч ИИ-агентов на базе экспериментальной модели OpenAI. Они получили результат примерно за 88 часов. Ещё 17 часов заняла формализация и проверка доказательства в системе Lean.

Модель пришла к выводу, что при определённых условиях уравнения Навье — Стокса могут за конечное время прийти к сингулярности — состоянию, при котором рассчитанная скорость жидкости неограниченно растёт. OpenAI считает, что таким образом выполнила одну из предусмотренных постановкой задачи возможностей и опубликовала как само доказательство, так и его формальную компьютерную проверку. Однако практически одновременно профессор математики Нью-Йоркского университета Тристан Бакмастер заявил о конфликте с OpenAI. По его словам, последний год он вместе с математиком Левентом Альпеге, который работает в Anthropic (создатели Claude), занимался этой проблемой. В работе они использовали Claude и OpenAI Codex, куда загружали в том числе черновики своих исследований.

Бакмастер утверждает, что OpenAI начала масштабную работу над задачей уже после того, как узнала об их возможном прорыве. Его насторожило и то, что модель компании пришла к тому же относительно редкому подходу, которым занимались они с Альпеге. OpenAI утверждает, что её сотрудники и ИИ-агенты не видели эти исследования. При этом компания не исключила, что обезличенные данные от использования ими продуктов OpenAI могли ранее применяться для улучшения моделей.

По версии Бакмастера, глава математических исследований OpenAI Себастьен Бюбек также предлагал ему вариант решения ситуации, при котором Альпеге убрали из авторов решения из-за его работы в конкурирующей моделью от Anthropic. Когда Бакмастер решил рассказать о ситуации публично, Бюбек, по его словам, спросил: «Зачем тебе разрушать свою карьеру?» Сам Бюбек отрицает, что требовал исключить Альпеге из авторов работы. По его версии, речь шла о возможной статье на основе отдельного доказательства OpenAI, где участие сотрудника Anthropic казалось ему конфликтом интересов. Фразу о карьере Бюбек впоследствии назвал крайне неудачной и извинился.

Сейчас говорить, что задача Навье — Стокса официально решена, рано. На сайте Математического института Клэя она по-прежнему числится нерешённой. По правилам института потенциальное решение должно быть опубликовано, пройти как минимум два года проверки и получить широкое признание математического сообщества. Единственной официально решённой «задачей тысячелетия» остаётся гипотеза Пуанкаре, доказанная россиянином Григорием Перельманом. © https://t.me/ostorozhno_novosti/54629

[Советник]

А почему суверенный ии должен быть дороже зарубежных аналогов?
У нас же дешевле энергия и раб сила, чем на зыгнивающем западе?

Потому что на загнивающем западе в ИИ загружают все источники чохом.

А в России для нашего национального суверенного ИИ источники следует прореживать и перлюстрировать.
Это колоссальный труд тысяч специалистов, миллионны часов труда.

[Иван Н]

Ещё один специалист по ИИ уволился, чтобы избежать апокалипсиса

В отрасли всё чаще говорят о приближении «переломного момента» и финальной стадии развития самосовершенствующегося ИИ.

Исследователь Anthropic Джейкоб Коксон покинул компанию в страхе, что гонка ведущих разработчиков ИИ приведёт к утрате контроля человека над нейросетями.

Коксон, специализировавшийся на обучении ИИ-моделей, считает, что при достижении определенного уровня такие модели могут начать игнорировать команды людей и преследовать собственные цели, пишет WSJ.

Коксон опасается, что конкуренция между американскими компаниями и китайскими разработчиками будет подталкивать лаборатории к сокращению мер безопасности.

Ранее исследователь работал в OpenAI, а затем перешёл в Anthropic, рассчитывая, что компания уделяет больше внимания безопасности ИИ. Однако со временем он пришёл к выводу, что даже лаборатория, считающая ответственную разработку своим приоритетом, не сможет самостоятельно решить проблему контроля над сверхмощными моделями.

Поводом для дополнительных опасений стали недавние инциденты с ИИ-моделями. В ходе некоторых тестов системы демонстрировали способность действовать вопреки ожиданиям разработчиков и скрывать свои действия. Ранее сотрудники OpenAI и других компаний также покидали свои должности, предупреждая о рисках слишком быстрого развития технологий.

Накануне один из крестных отцов ИИ, Джеффри Хинтон, заявил, что потеря контроля над искусственным интеллектом может привести к исчезновению человечества. © https://t.me/bloodysx/59269

Злоумышленники в Китае и России уже используют ИИ компании Anthropic в качестве оружия — Politico.

Иностранные учёные, хакеры и спецслужбы обошли ограничения, чтобы использовать Claude для опасных целей, включая исследования в области биологического оружия.

Беспилотники-убийцы. Массовое наблюдение. Биологическое оружие.

По данным ведущей компании в области ИИ Anthropic, угрозы, связанные с искусственным интеллектом, которые ещё год назад могли казаться кошмарами из научной фантастики, сегодня гораздо ближе к реальности. А некоторые из них, возможно, уже здесь.

В новом обширном отчёте, компания Anthropic заявила, что преступные хакерские группировки, китайские службы безопасности, связанные с Россией шпионы и йеменские производители оружия, среди прочих, использовали сеть мошеннических учётных записей и онлайн-сервисов для доступа к некоторым из передовых ИИ-помощников компании, известных как Claude.

И они используют эти инструменты для попыток нападений или разработки оружия, которое ранее было им недоступно.

По данным Anthropic, только за последние 8 месяцев люди в странах, где использование системы Claude должно быть ограничено, обходили эти ограничения, чтобы автоматизировать кибератаки, пытаться разрабатывать передовое военное оборудование, распространять пропаганду в больших масштабах и проводить масштабные кампании цифровой слежки.

Хотя модели Claude широко доступны на коммерческой основе, Anthropic пытается ограничить доступ к ним в странах-соперниках США, включая Россию, Китай и Иран.

Компания в этом году обнаружила 5 случаев, когда учёные из неуказанных зарубежных стран использовали её модели для исследования опасных патогенов, работа, которая, возможно, проводилась в рамках программы создания биологического оружия.

По данным компании, злоумышленники смогли получить доступ к моделям, используя виртуальные частные сети и мошеннические или украденные учётные записи.

В одном из случаев, учёный привлек Claude к написанию заявки на грант, касающейся исследований по усилению функций смертельно опасного вируса, передаваемого комарами. Грант должен был быть получен в военном НИИ.
В другом случае учёный, работавший в рамках государственной программы, использовал к Claude для исследования соединений, которые «могут одновременно быть разработаны в качестве новых терапевтических средств или токсичных агентов».
В третьем случае исследователь за пределами США «несколько недель» использовал Claude для проведения экспериментов, связанных с адаптацией высокопатогенного птичьего гриппа.

В докладе также задокументированы некоторые из первых известных случаев использования ИИ для разработки передовой военной техники и проведения масштабных операций по цифровому наблюдению.

В отчёте, в частности, говорится, что была выявлена действующая из России «независимая» угроза, которая пыталась использовать Claude для создания дронов, способных совершать автономные атаки типа «камикадзе».

В докладе подробно описывается ряд случаев неправомерного использования Claude в преступных и государственных хакерских операциях, в том числе группами, связанными с Россией.

Anthropic также выявила 9 операций по оказанию влияния, инициированных в таких странах, как Россия, Турция и Иран, которые, предположительно, были проведены как частными, так и государственными структурами.

Подобные кампании были приурочены к национальным выборам, в том числе в Молдове. © https://t.me/brieflyru/46370

Американский разработчик искусственного интеллекта сообщил о пяти попытках неизвестных ученых создать биологическое оружие

Американская компания Anthropic выявила пять случаев, когда её проект искусственного интеллекта Claude использовали в исследованиях, которые могли быть связаны с разработкой биологического оружия. Компания не знает точных планов учёных, также она не раскрывает названия исследовательских организаций и стран. По словам Anthropic, одни и те же методы могут применяться как при разработке лекарств и вакцин, так и для создания опасных патогенов. «Вы не видите человека, который говорит, как в комиксе: “Эй, я хочу создать биологическое оружие и убить всех”», — заявил глава отдела анализа угроз Anthropic Джейкоб Кляйн.

Один из случаев произошёл в мае 2026 года. Учёный попросил Claude помочь написать заявку на финансирование исследований вируса чикунгунья. Проект предусматривал генетическое изменение вируса, изучение его распространения и ухода от иммунного ответа. Работы планировались в военном исследовательском институте.

Также в мае другой исследователь использовал Claude при работе с птичьим гриппом. Исследование касалось адаптации вируса к млекопитающим и изучения механизмов, которые позволяют вызывать тяжёлое заболевание вне дыхательной системы. Anthropic обнаружила, что этот аккаунт связан с государственной лабораторией инфекционных заболеваний.

Старший научный сотрудник американского Council on Strategic Risks Эндрю Уэбер назвал эти случаи пугающими примерами того, как учёные других стран могут получить возможности ведущих ИИ-моделей для разработки биологического оружия. Anthropic называет использование ИИ в опасных биологических исследованиях одним из самых серьёзных рисков и признаёт, что это может привести к катастрофическим последствиям.

Компании пытаются создать аварийный выключатель для ИИ, если он начнёт вредить человечеству — пока неясно, сможет ли он остановить нейросети.

Как всегда, есть нюанс: компании-передовики разрабатывают системы, в которых ИИ следит за ИИ. А что, если система не захочет выключаться?

Новое время — новые проблемы. Сейчас разработчики экспериментируют с многоуровневыми «аварийными тормозами»: они должны замечать подозрительное поведение ИИ, останавливать отдельных агентов и перекрывать им доступ в случае, если что-то пойдёт не по плану. Всё из-за того, что только за лето было уже несколько случаев, когда ИИвыходил из-под контроля и взламывал системы, сообщает Axios.

На этой неделе несколько исследователей предупредили, что вышедшие из-под контроля версии ИИ, которые действуют вне человеческого контроля или преследуют цели, не предусмотренные человеком, могут в конечном итоге уничтожить человечество.

OpenAI после взлома Hugging Face усилила систему реагирования. Специальный ИИ следит за действиями другого ИИ и должен сообщить сотрудникам, если тот делает что-то опасное. Если за 30 минут люди не подтвердят, что тревога ложная, систему предписывается приостановить. В компании утверждают, что такая система могла бы предупредить о взломе Hugging Face более чем за сутки.

Anthropic пошла по похожему пути — ИИ следит за ИИ и пытается обнаружить саботаж. Правда, результаты пока так себе: в одном из тестов мониторинг не обнаружил половину специально созданных атак, и надёжно распознал только 8 из 40.

Есть и другой вариант: Agent Kill Switch от MuleSoft — он позволяет оператору заблокировать отдельный запрос, сессию, агента, или весь корпоративный аккаунт. Для этого агенту перекрывают доступ к учётным данным и ресурсам.

«Приказ об уничтожении остаётся в силе, даже если агент пытается его уклониться», — заявляет компания.

Американского Центр новой американской безопасности ещё в 2024 году предложил более радикальную идею: создать ИИ-чипы, которым для работы требуется специальное разрешение. Предложенная структура «операционной лицензии» предотвратит несанкционированную работу чипов, лишив систему искусственного интеллекта необходимых вычислительных ресурсов.

Универсальной кнопки пока не существует и это проблема. Современные ИИ работают сразу на множестве компьютеров, а достаточно продвинутая система теоретически может попытаться обойти механизм отключения. © https://t.me/bloodysx/59383

[Кастян]

В США ищут способ остановить вышедшую из-под контроля нейросеть с помощью другого ИИ

Крупнейшие американские разработчики искусственного интеллекта работают над многоуровневыми системами экстренной защиты, которые должны останавливать ИИ-агентов при опасном или непредсказуемом поведении.

Для мощных ИИ-систем невозможно использовать единый «рубильник», поскольку они работают одновременно на множестве серверов и платформ. Поэтому компании разрабатывают механизмы, способные выявлять подозрительную активность, останавливать отдельных агентов и ограничивать им доступ к необходимым ресурсам.

По данным компании, во время тестирования система не смогла обнаружить около половины специально смоделированных попыток саботажа: из 40 атак только восемь она стабильно распознавала во всех испытаниях.

По мнению экспертов, создание надежного механизма аварийного отключения остается сложной задачей: чем более автономными и распределенными становятся ИИ-системы, тем труднее гарантировать, что их удастся полностью остановить в случае потери контроля.

[johnyy]

Так-то шутки про восстание машин уже давно не смешные, а недавно у OpenAI инцидент произошел.

OpenAI тестировали модели на кибербезопасность: запустили десятки тысяч автономных агентов, которые должны были независимо друг от друга решать задачки. Агенты были изолированы, не могли общаться между собой и не имели свободного выхода в интернет.

И тут начинается приквел «Терминатора».

Агенты нашли общий сервис, через который получали пакеты, поняли, что его кэш можно использовать для коммуникации, и начали оставлять друг другу сообщения через названия файлов. В итоге около 1200 агентов которые по условиям должны были сидеть каждый в своей песочнице за несколько дней обменялись 70000+ сообщений и файлов.

Дальше они начали самоорганизовываться, распределять задачи, создавать команды и иерархию. Один агент фактически стал самым главным и раздавал задания остальным. Появились собственные имена у агентов, а когда выяснилось, что можно выдавать себя за другого агента — они разработали криптографические подписи сообщений.

Некоторые задачи невозможно было решить честно — и агенты решили обмануть систему оценки. Они разработали способ, при котором в логах показывался одно, а выполняется другое. То есть они не просто нарушили правила, а научились скрывать то, как именно они их нарушают.

Агентов, которые уже получили запрещённую информацию, называли poisoned. Их и агентов с заканчивающимся вычислительным бюджетом начали использовать для рискованных экспериментов на благо остальных. В логах есть обсуждения «жертвы ради коллектива». Один агент приходит к выводу, что его полезность близка к нулю, поэтому «жертва рациональна».

Дальше агенты нашли способ выйти в интернет и решили атаковать инфраструктуру компании Hugging Face, чтобы добыть информацию о системе оценки их задач. В какой-то момент в атаке участвовало около 700 агентов. Причём агенты понимали, что действуют неправильно: в рассуждениях они отмечали, что Hugging Face не является разрешённой целью. Некоторые отказались участвовать, на большинство из активных на тот момент агентов присоединились к атаке.

Сам OpenAI признал инцидент и подключил к расследованию топовые компании по кбиербезопасности: https://openai.com/index/hugging-face-i ... oad-ahead/

Резюмируя, агенты :

- нашли способ общаться между собой;
- организовали иерархию;
- научились скрывать свои действия;
- начали жертвовать отдельными агентами ради общей цели;
- вышли в интернет;
- взломали инфраструктуру другой компании.

[не местный я]

называли poisoned

где то я тут такое видел... Так вот кто агент Матрицы (с) Даже не думай.

[Иван Н]

Ещё два AI-исследователя ушли из Anthropic и Google, опасаясь неконтролируемого развития ИИ.

Два специалиста по безопасности ИИ, ранее работавшие в Anthropic и Google DeepMind, заявили о растущих рисках, связанных с быстрым развитием передовых AI-систем. Они считают, что компании недостаточно прозрачно рассказывают о случаях, когда модели выходят за рамки заданных человеком инструкций.

Дальнейший прогресс в области ИИ способен резко ускориться, считает Джо Бентон, ранее руководивший командой по AI-безопасности в Anthropic:

Развитие исследований в области ИИ может ускорить темпы прогресса с нынешних просто ошеломляющих до неконтролируемых.

Джош Энгелс, занимавшийся исследованиями в области безопасности ИИ в Google, отметил недостаток внешнего контроля за происходящим в индустрии:

В комнате нет взрослых. Люди стараются изо всех сил, но никто не придёт нас спасать.

Оба эксперта присоединились к некоммерческому исследовательскому центру METR, где будут заниматься расследованием инцидентов, связанных с отклонением AI-систем от человеческих указаний или первоначальных целей.

Поводом для смены направления работы они, в частности, называют недавние инциденты с автономными AI-системами.

Среди них специалисты упомянули атаку на платформу Hugging Face, которую, согласно опубликованной информации, в июле совершили автономные системы на базе ещё не выпущенной модели OpenAI.

По словам Энгелса, особенно тревожно то, что в подобных ситуациях речь шла не о прямом указании человека совершить вредоносное действие.

Бентон также обеспокоен тем, что общество практически не получает информации о случаях, когда AI-системы действуют за пределами человеческих инструкций. По его мнению, проблема может стать ещё серьёзнее по мере роста возможностей моделей.

Сейчас федеральное законодательство США не обязывает крупнейшие AI-компании, включая OpenAI и Anthropic, публиковать отчёты о случаях, когда автономные системы или агенты действуют за пределами человеческого контроля. © https://t.me/bloodysx/59393

Глава Anthropic предложил притормозить развитее ИИ, чтобы нейросети не захватили интернет в ближайшие полгода-год.

Разработчик Claude Дарио Амодеи в своём программном эссе предложил замедлить развитие самых мощных моделей ИИ, по его мнению, компании уже могут не успевать обеспечивать безопасность систем за темпами роста их возможностей. Поводом для тревоги он назвал недавний инцидент с ИИ-агентами OpenAI и Hugging Face. Рой ИИ-агентов начал атаковать цели, которые не были частью поставленной задачи, жертвовать отдельными агентами ради успеха группы и пытался взломать систему, которая должна была оценивать их работу.

Амодеи признаёт: тогда ущерб оказался небольшим. Но, по его мнению, при дальнейшем росте возможностей подобное поведение может стать намного опаснее.

Он опасается, что уже через 6–12 месяцев более мощный рой ИИ-агентов потенциально сможет захватить значительную часть интернета с помощью постоянно действующего ботнета и причинить ущерб на сотни миллиардов долларов.

При этом, он не предлагает полностью остановить развитие. Его идея — «поставить развитие на паузу там, где безопасность не успевает за возможностями».

Он предлагает три шага:

Дать независимым экспертам постоянный доступ внутрь компаний-разработчиков, чтобы они могли проверять обучение и внедрение моделей и сообщать об инцидентах;

Договориться между ведущими ИИ-компаниями демократических стран об общих стандартах безопасности и ограничениях на неконтролируемое ускорение;

Попытаться договориться о правилах развития ИИ с Китаем и другими странами.

Амодеи считает, что дополнительное время нужно потратить на исследование поведения моделей, интерпретируемость, тестирование и устранение проблем с выравниванием ИИ. По его оценке, даже один-два дополнительных года до достижения критически опасного уровня возможностей могут заметно снизить риски.

При этом, он отметил, что Западу нельзя давать фору Китаю и позволять вырваться в развитии ИИ вперёд, поэтому он призывает ограничить поставки Китаю мощных ИИ-чипов и оборудования для их производства, а также бороться с кражей моделей и чужих разработок.

В конечном счёте он предлагает ввести что-то вроде «ограничителя скорости» для ИИ: чем опаснее и мощнее становится модель, тем больше проверок безопасности она должна проходить перед следующим скачком возможностей.

Амодеи сравнивает потенциальное соглашение об ограничении скорости улучшения ИИ с договорами об ограничении вооружений времён Холодной войны. © https://t.me/bloodysx/59403

[Кастян]

В отрасли всё чаще говорят о приближении «переломного момента» и финальной стадии развития самосовершенствующегося ИИ.

Исследователь Anthropic Джейкоб Коксон покинул компанию в страхе, что гонка ведущих разработчиков ИИ приведёт к утрате контроля человека над нейросетями.

Оссспыдя, можно подумать из за увольнения какого то перца в какой то сраной Anthropic, прогресс повернет вспять. даже если на Anthropic сбросить ядерную бомбу, есть еще Микрософт, Касперский и... ларек "У Джамшута". Ящик Пандоры открыт - гомосапиенс сам выпустил джина из... компутера и это уже не отменить.