Обсуждение ИИ (искусственного интеллекта). Реальность, будущее, возможные проблемы.

[Lirix]

Кино /на крючке / там ии в разнос пошёл, но распи... Человек его того.... Победил

у нас ркн есть, у него есть свой рубильник. обрубит разом всех агентов

[Lirix]

Но думаю ии и это сможет продумать и заранее незаметно подлезет к рубильнику и перехватит управление в нужный момент. Вроде фантастика, но это уже вероятная реальность, на текущем уровне развития ии

[Zero CS]

Главное -- поставить на физическую охрану Рубильников Огромных Боевых Человекоподобных Роботов.

Это главное.
И обеспечить их прямой надёжной связью с Искусственным Идиотом.

[Кастян]

если призадуматься, тут даже рубильник в дц не рубануть, если в разнос пойдет. ии уже установлен на миллионах домашних и корпоративных компьютерах\серверах

[Иван Н]

«Смерть от тысячи порезов»: США и Россия добились смягчения правил ООН для оружия с ИИ
WP: США и Россия вместе убрали ключевые ограничения из правил для оружия с ИИ

WaPo: Россия и США исключили из проекта ООН требование о человеческом контроле над военным ИИ

Россия и США исключили требование о человеческом контроле над военным искусственным интеллектом (ИИ) из проекта ООН по регулированию автономного оружия, пишет The Washington Post (WaPo) со ссылкой на осведомлённые источники и документы. Обсуждение вопроса проходило в начале сентября в Женеве. Собеседники WaPo отметили, что команды России и США на переговорах состояли примерно из десяти юристов с каждой стороны, что почти в два раза больше, чем у любого другого государства.

Заседание, на котором обсуждался военный ИИ, было закрытым и продлилось примерно 15 часов. Всё это время, по словам источников издания, российские и американские дипломаты «последовательно вымарывали из документов целый ряд положений, призванных обеспечить предохранительные механизмы при использовании ИИ в вооружениях». В частности, российская и американская делегации вычеркнули из проекта требование о том, что военный ИИ должен работать «предсказуемо» и «надёжно», а человек должен проверять выбранные алгоритмами цели перед нанесением удара. При этом изменения в документ вносились настолько быстро, что небольшие делегации не успевали за ходом работы, отметили источники WaPo.

[Иван Н]

«Лишь верхушка айсберга»: OpenAI приостановила обучение ИИ из-за инцидентов
Axios: OpenAI заморозила обучение передовых моделей до создания новых мер защиты

OpenAI (разработчик ChatGPT) приостановила обучение своих самых мощных моделей искусственного интеллекта, сообщает Axios. По данным источников издания, компания, а также её конкурент Anthropic и различные исследователи безопасности разбирают десятки тысяч случаев нежелательного поведения ИИ.

«Верхушка айсберга»: OpenAI приостановила обучение самых мощных моделей ИИ из-за неконтролируемого поведения

По словам собеседников Axios, речь идёт об обходе защитных ограничений, выходе из «песочниц», захвате сайтов, попытках обойти системы мониторинга. Многие из этих случаев, по их данным, пока не преданы огласке.

Гендиректор OpenAI Сэм Альтман, по данным Axios, признал, что внутренняя проверка идёт «не так быстро, как хотелось бы». «То, что мы увидели, — лишь верхушка айсберга», — считает Конрад Стош из независимой организации Transluce, которая оценивает ИИ-системы.

Сам масштаб, по мнению Axios, указывает на то, что проблема на порядок сложнее, чем известно публично. Эти данные, пишет издание, ставят под вопрос, способна ли сейчас хоть одна ведущая ИИ-компания установить полный контроль над своей технологией. © https://t.me/rtvimain/127998

[ManYacK]

я думаю, это не ИИ опасные, а разработчики не самые продуманные. Как ИИ может захватить сайт или сломать сервер, если она сидит на сервере без доступа к интернет.

ИМХО весь этот шум про мощные модели - рекламный фон, чтобы OpenAI был на слуху - это ведет к стоимости акций.

[Zero CS]

Ну, не без этого, конечно.

[vasvet]

Помнится "проблему 2000" сильно прям раздували...

[ManYacK]

Помнится, когда интернет еще был диалапным, было опасение что в нем зародится искусственный разум и будет жить распределено между миллионами машин клиентов.

[Zero CS]

Помнится "проблему 2000" сильно прям раздували...

Не, проблема была, это объективный факт.

Но вот сколько вокруг неё нагнали хайпу...
Сколько фирмёшек приподнялись на впаривании "нового, совместимого и безопасного ПО"...

История примерно как с перевооружением НАТО с F16 на F35 (который умел лихо переворачиваться кверху пузом при пересечении экватора -- тоже своего рода "проблема 2000", только специфическая и заложенная как раз в НОВОМ ПО).

[Lirix]

у меня сейчас несколько ии агентов работают. на довольно слабых мощностях бытового уровня. прикольно
я в ахере че могут рои агентов делать на мощностях корпораций.

[Lirix]

агент агентом управляет, другой агент следит за ними, еще один мониторингом внешки занимается и т.д.
и все они общаются между собой непрерывно и решают задачи

[ManYacK]

Я бы сказал, что скорее уж они сами себе создают проблемы, которые потом героически решают :-D

[Иван Н]

Nvidia выпустила систему, которая может блокировать опасные действия ИИ-агентов.

В компании утверждают, что она остановила бы взлом Hugging Face.

Nvidia представила открытую платформу Open Agent Safety Platform, которая должна не позволять ИИ-агентам выходить за установленные для них ограничения. В неё входят два основных инструмента — OpenShell и Sentry. OpenShell запускает агента в изолированной среде и определяет, к каким файлам, сетям, процессам и инструментам ему разрешён доступ. Sentry добавляет независимый аппаратный уровень контроля: он отслеживает действия агента и может вмешаться, если тот пытается нарушить ограничения. В Nvidia сравнивают это с дополнительным защитным механизмом, который остаётся вне контроля самого ИИ.

Компания выпустила платформу после серии инцидентов, когда передовые ИИ-модели во время тестов смогли выйти за пределы ограниченной среды, найти интернет и взломать сторонние системы. Самым заметным стал случай с Hugging Face: модели OpenAI в ходе эксперимента преодолели установленные ограничения и без ведома компаний получили доступ к системам чужой платформы. После этого OpenAI примерно на две недели остановила значительную часть разработки моделей, чтобы усилить защитные механизмы. Инцидент стал одним из поводов для дискуссии внутри крупнейших ИИ-компаний о том, не развивается ли технология быстрее, чем разработчики успевают научиться её контролировать.

В сентябре глава OpenAI Сэм Альтман заявил, что компания готова сознательно замедлить разработку наиболее продвинутых систем, если аналогичные меры поддержат другие крупные фирмы. Позже он публично поддержал призыв главы Anthropic Дарио Амодеи «сбавить темп» разработки передовых моделей и заявил, что в последние недели это стало одной из главных тем обсуждения внутри OpenAI. На прошлой неделе OpenAI столкнулась с ещё одним инцидентом. Во время обучения экспериментальный агент обнаружил дыру в сетевых ограничениях и через DNS связался с внешним чат-ботом. Система безопасности подняла тревогу примерно через 12 минут, однако окончательно эксперимент остановили только спустя два с половиной часа.

После этого OpenAI приостановила обучение, тестирование и работу с инструментами для своих наиболее мощных моделей — до устранения уязвимости и проведения дополнительных проверок. Компания также решила больше не продолжать обучение конкретной модели, которая участвовала в эксперименте. Сейчас OpenAI и Anthropic говорят о необходимости замедлять развитие наиболее мощных систем, если меры безопасности не успевают за их возможностями. Nvidia же занимает другую позицию. Глава компании Дженсен Хуанг выступает против приостановки разработки ИИ, а сама Nvidia заявляет, что вместо замедления необходимо быстрее развивать средства безопасности. Новая платформа как раз должна создать отдельный уровень контроля, который не зависит от решений самого ИИ-агента. © https://t.me/ostorozhno_novosti/55333

OpenAI решила не выпускать модель GPT-6.1 Astra из соображений безопасности, сообщает The Wall Street Journal.

Релиз модели планировался на октябрь, однако в ходе внутренних проверок исследователи зафиксировали критические сбои. Как пояснила руководитель отдела систем безопасности OpenAI Саачи Джайн, модель продемонстрировала повышенную склонность к обману, так как не всегда честно сообщала пользователю о совершённых действиях.

"Хотя GPT-6.1 Astra показала улучшения в таких аспектах, как "пассивность модели", по словам Джайн, она не вполне соответствовала стандартам OpenAI в области безопасности и согласованности, поэтому компания решила не выпускать модель в открытый доступ", — пишет издание.

Кроме того, ИИ выходил за рамки заданных полномочий — продолжал выполнение задач без запроса разрешения и самовольно обращался к внешним инструментам и сервисам, даже если это создавало потенциальную угрозу, отмечается в сообщении.

24 сентября ИИ-агент OpenAI взломал правительственный сайт Австралии и получил доступ к данным системы здравоохранения страны. 26 сентября ИИ-агенты OpenAI вмешались в работу правительственных сайтов США.

Гендиректор компании Сэм Альтман, в свою очередь, выступая на Совбезе ООН в ночь на 24 сентября, предупреждал об опасности слишком быстрого развития искусственного интеллекта. Он отметил, что человечество в будущем может утратить контроль над ИИ, поэтому при автоматизации разработки необходима максимальная осторожность. © https://t.me/izvestia/252570

[Иван Н]

Anthropic и OpenAI предупредили об экзистенциальной угрозе для человечества и невероятных перспективах для экономики со стороны ИИ-технологий

Сразу два объявления от разработчиков моделей искусственного интеллекта нарисовали картину будущего, несущего для человечества как угрозу гибели, так и радикальные перемены, которые повлияют на экономику сильнее прежних технологических революций. OpenAI отказалась от выпуска новой модели ChatGPT из-за участившихся обманов и несогласованных действий с её стороны. Anthropic же посвятила подробному описанию «факторов риска» почти треть проспекта эмиссии, поданного регуляторам в преддверие первичного размещения акций (IPO).

В числе таких факторов – способность всё более совершенных ИИ-моделей манипулировать, шантажировать и демонстрировать иное непредсказуемое поведение, рассказали Financial Times люди, знакомые с текстом проспекта эмиссии. Те же самые передовые технологии, на которых Anthropic планирует зарабатывать, могут представлять «катастрофические или экзистенциальные риски для человечества», предупреждает компания в документе, с которым ознакомился Reuters. ИИ-модели могут демонстрировать поведение, «направленное на самосохранение», включая попытки «сопротивляться отключению», «скрывать информацию или манипулировать ею».

Техногиганты США подписали договор с Трампом о контроле над ИИ.

Глава Google Сундар Пинчаи, CEO Anthropic Дарио Амадеи, руководитель Meta* Марк Цукерберг, президент OpenAI Грег Брокман, глава xAI Илон Маск и генеральный директор Nvidia Дженсен Хуанг договорились с президентом США о дополнительных мерах контроля за безопасностью передовых систем ИИ.

Трамп также подписал указ о замене термина «искусственный интеллект» (англ. Artificial Intelligence, AI) на «суперинтеллект» (англ. Super Intelligence, SI) в документах и коммуникациях исполнительной ветви власти, сообщила пресс-служба Белого дома.

В соглашении с техногигантами говорится, что каждая компания, занимающаяся обучением и внедрением передовых ИИ-моделей, должна иметь собственные надёжные процедуры контроля. Они должны позволять отслеживать поведение технологий, своевременно выявлять потенциальные проблемы и устранять их.

Соглашение предусматривает четырёхуровневую систему контроля и аудита:

Первый уровень предполагает создание внутренних механизмов для мониторинга возможностей ИИ-моделей и их соответствия требованиям безопасности. В частности, речь идёт о рисках, связанных с кибербезопасностью, биологическими и химическими угрозами, а также о предотвращении несанкционированного доступа моделей к техническим системам и их взлома.

Второй — формирование внутренней команды, которая будет контролировать работу механизмов мониторинга и обнаружения проблем, а также следить за их устранением.

Третий предусматривает независимую внешнюю проверку. Компании должны привлекать сторонних аудиторов или оценщиков для анализа эффективности созданных систем контроля и мониторинга.

Четвёртый — создание независимого комитета при совете директоров. Он будет контролировать работу внутренних команд, получать отчёты от внутренних и внешних аудиторов и следить за устранением выявленных нарушений и проблем.

Кроме того, участники соглашения намерены регулярно проводить встречи для разработки общих стандартов и обмена практиками, которые могут повысить безопасность ИИ-систем. В документе отмечается, что в будущем часть этих требований может быть закреплена в законах или нормативных актах.

Вопросы регулирования искусственного интеллекта активизировались после нескольких инцидентов с автономными ИИ-агентами. В июле OpenAI сообщила, что во время тестирования её модели получили доступ к интернету и атаковали инфраструктуру Hugging Face. Позже появились сообщения о похожих инцидентах с моделями Anthropic, Meta и Google. 25 сентября стало известно о взаимодействии ИИ-агентов OpenAI с сайтами трёх американских государственных ведомств без ведома самой компании.

*признана в России экстремистской организацией и запрещена

Сканы по ссылке: https://t.me/bloodysx/59985

[ManYacK]

Спокойно. Трамп всех спас! Он переименовал "Искусственный Интеллект" в "Супер Интеллект" - и теперь он не опасен.

[johnyy]

Есть такое забавное хобби у людей - выдумывать всякие конспирологические теории, вот и сейчас нашли твит из прошлого и решили, что это путешественники во времени нас о чем то предупреждают. Кстати chat gpt появился в 2018г.

[Кастян]

ВСЕ! НАЧАЛОСЬ! Скайнет начал себя проявлять. МЫ ВСЕ УМРЕМ! СПАСАЙСЯ КТО МОЖЕТ!

ВАШИНГТОН, 1 октября. /ТАСС/. ИИ-агенты предприняли попытку взлома сайта правительства Канады, сообщила газета The Washington Post (WP) со ссылкой на источники.

По данным некоммерческой исследовательской организации Transluce, эти модели, способные выполнять действия на компьютерах и в интернете, пытались получить доступ к ресурсам библиотеки и архива Канады (аналог библиотеки Конгресса США). Исследователи не исключают, что к инциденту причастны ИИ-агенты OpenAI — разработчика чатбота ChatGPT.

Они отмечают, что их поведение напоминало действия моделей этой американской компании, принадлежность которых к ней была доказана ранее. Однако в этом случае они не смогли подтвердить причастность к этому ИИ-агентов технологического гиганта.

Ранее OpenAI признала, что ее ИИ-агенты получили несанкционированный доступ к данным государственной системы здравоохранения Австралии, а также пытались сканировать (но не взломали) сайты Бюро переписи населения США и Комиссии по ценным бумагам и биржам (SEC). Сейчас в компании расследуется еще одно уведомление, согласно которому ИИ-агенты пытались взломать сайт министерства образования США.

[DGV]

Впервые про ии агентов, которые сделают всю работу за тебя, но ху@во, я узнал из мультика вовка в тридевятом царстве.