Опасности и преимущества использования нейросетей и ИИ для человечества - факты и только факты

[Inti]

Любая приличная модель сегодня читает и смотрит новости на порядки больше любого человека.

Не она читает, ее обучают ежедневно и ежечасно. Но обучают ее не на вашей информации. По этой причине ваш домашний робот будет смотреть на слепленный вами горшок как баран на новые ворота. Но баран то учится, и в следующий раз эти ворота для него будут знакомы.

Я же ставил видео где робот Фигура несколько дней переворачивал пакеты которые друг от друга отличались не меньше чем разные горшки.

[Serge V Iz]

Любая приличная модель сегодня читает и смотрит новости на порядки больше любого человека.

Не она читает, ее обучают ежедневно и ежечасно. Но обучают ее не на вашей информации. По этой причине ваш домашний робот будет смотреть на слепленный вами горшок как баран на новые ворота. Но баран то учится, и в следующий раз эти ворота для него будут знакомы.

Я же ставил видео где робот Фигура несколько дней переворачивал пакеты которые друг от друга отличались не меньше чем разные горшки.

Смысл возражения в том, что никто никогда не знал, не знает и не будет знать, как именно этот робот с натренированным на других вещах ИИ воспримет свежеслепленный горшок. Для человека с инженерно 100% вероятностью это (будущий) сосуд для хранения воды или там стеклянных декоративных шариков "для красоты". А для робота он может быть похож на тряпку для вытирания стола. Такой же мягкий и влажный.

Так уж устроен процесс локальной оптимизации методом черного ящика  коэффициентов многомерной фильтрующей функции на искусственно ограниченной области определения.

В этом смысле было бы очень забавно посмотреть на эксперимент вида "подсунуть этому роботу в куче посылок живого ежа". )

[Inti]

Так уж устроен процесс локальной оптимизации методом черного ящика  коэффициентов многомерной фильтрующей функции на искусственно ограниченной области определения.

Да уж, остаётся только истово креститься и надеяться на лучшее. Как работает мозг человека никто не знает, известно только что каждый отдельный нейрон разумом не обладает и лишь отвечает сигналами на внешние сигналы. Возможно что кто-то был прав и количество таки переходит в качество.

[Ну-и-ну]

Вообще-то оно позиционируется именно как искусственный интеллект, а не как искусственное сознание.

[TAU]

размещу важную информацию здесь.

Цитата
Судя по россыпи зелёных огоньков Гитхаба, прошло от силы полгода, но методология разработки перекувыркнулась с ног на голову.
Руки код больше не пишут, глаза если и читают, то через дифы в интерфейсе агента и его отчёты...
Мой визит в код — событие экстраординарное... с накоплением опыта ситуации, когда приходится снисходить до кода, практически иссякли. 
Код пишется нейросетью. Ей исследуется, ей критикуется, ей поддерживается.

Нейросеть работает строго, многословно и точно. Очень хорошо. Сеть не ленится обрабатывать исключения, проверять крайние случаи, писать информативные логи, следить за тестами. Делает всё то, чего так не хватает мне самому...
На страницах Хабра много говорили, что вайбкодерские проекты со временем разваливаются. Умирают под собственным весом. Если вы возьмёте за труд прочитать эту статью немногим дольше вступления, я расскажу, как сделать, чтоб не разваливались.

В моём нынешнем пэт-проекте двести пятьдесят тысяч строк. В нём четыре языка с интеропом, собственный вшитый UI-фреймворк, два графических бэкенда, два разных находящихся в зачаточном состоянии, но всё же рабочих физических движка, поддержка VR... Мы сделали это за четыре месяца, не особенно напрягаясь. Объём кодовых правок — шестьдесят тысяч строк в типовую неделю. Впрочем, все знают, что вайбкодеры быстро пишут.
Проект пытался развалиться в момент, когда мы переводили код из Python-прототипа в C++/C-ядро. Ошибки управления памятью, связанные с передачей объектов через nanobind-слой, гнались за нами неделю и догоняли последующий месяц. Бедный агент метался аки в паутине, силясь понять, кто кого создаёт и кем владеет. Мы это пережили. Перевели интероп на слабые связи, строго ограничили места, где в C проникают Python-объекты, установили политику работы со счётчиками ссылок...

Друзья.
Буквально за один год на наших глазах родилась новая инженерная дисциплина. Она живёт на грани программной инженерии, менеджмента, психологии и риторики. Постулируемая задача — создание условий, в которых эфемерная бестелесная сущность показывает предсказуемый результат.

Учиться обращаться с виртуальным джином придётся

[Inti]

Проект пытался развалиться в момент, когда мы переводили код из Python-прототипа в C++/C-ядро.

Если бы ИИ всегда генерировал хороший код - то не нужны были бы всякие Питоны, было бы эффективнее генерировать более быстрый код на С. Раз этого не происходит повсеместно - значит вайбкодерам таки приходится ручками и глазками в коде иногда ковыряться. А для поддержки\модификации всякого стабильного старья - так лучше вообще ничего не автоматизировать, вполне можно обойтись обычными чатами с ИИ, что я иногда и делаю.

Мне эта ситуация чем-то напоминает времена когда программисты переходили с ассемблера на высокоуровневые языки программирования типа Фортрана и Кобола - это тоже приводило к большому росту производительности. Но есть и отличие... язык высокого уровня всё-таки выдает абсолютно предсказуемые результаты... а вот что нагенерит ИИ... в общем-то пока что не вполне надёжно, могут быть нежданчики.

[Inti]

Anthropic: ИИ уже пишет 80% кода компании и может начать самосовершенствоваться

Компания Anthropic опубликовала отчёт, в котором утверждает, что системы искусственного интеллекта начинают активно участвовать в собственной разработке. Это может приблизить появление так называемого рекурсивного самосовершенствования — сценария, при котором ИИ самостоятельно проектирует и улучшает следующие поколения моделей. Институты и механизмы регулирования могут оказаться не готовы к такому развитию событий. Сегодня более 80% кода в кодовой базе Anthropic написано моделью Claude. До появления Claude Code в 2025 году — всего год назад — этот показатель составлял лишь несколько процентов.

https://hightech.plus/2026/06/05/anthropic-ii-uzhe-pishet-80-koda-kompanii-i-mozhet-nachat-samosovershenstvovatsya

[Inti]

Автоматизированный трафик впервые в истории интернета превзошел человеческий. По данным Cloudflare Radar, на ботов теперь приходится 57,5% всех HTTP-запросов к HTML-контенту, тогда как доля людей сократилась до 42,5%.

Главным источником роста автоматизированного трафика стали не традиционные поисковые роботы или скрейперы (программы для сбора данных с сайтов), а ИИ-агенты. Человек при выборе товара просматривает несколько сайтов, а ИИ-агент может проанализировать тысячи за то же время.

[Inti]

Эксперимент со шмелями наглядно демонстрирует, что для проявления сложного, творческого мышления и планирования не требуются огромные нейронные сети, а способность решать новые проблемы может возникать у живых существ со значительно меньшим объемом мозга, чем считалось ранее.

В ходе эксперимента искусственный цветок был помещен над ямкой в полу, так что шмелю не хватало места, чтобы зависнуть в воздухе и дотянуться до цветка. Ему приходилось скатывать небольшой шарик в яму и забираться наверх, чтобы добраться до цветка. «Это, по сути, версия классической задачи «коробка и банан» для насекомых», — сказал Лукола. «Животное должно понять, что объект можно переместить и использовать в качестве инструмента для достижения недоступной иным способом цели».

https://arstechnica.com/science/2026/06/bumblebees-can-spontaneously-solve-problems-study-finds/?utm_source=chatgpt.com

[nonconvex]

Эксперимент со шмелями наглядно демонстрирует, что для проявления сложного, творческого мышления и планирования не требуются огромные нейронные сети, а способность решать новые проблемы может возникать у живых существ со значительно меньшим объемом мозга, чем считалось ранее.

Так это естественный интеллект, так что ничего удивительного. 

[Inti]

Эксперимент со шмелями наглядно демонстрирует, что для проявления сложного, творческого мышления и планирования не требуются огромные нейронные сети, а способность решать новые проблемы может возникать у живых существ со значительно меньшим объемом мозга, чем считалось ранее.

Так это естественный интеллект, так что ничего удивительного.

Это намекает на то что в будущем может быть создан вполне приличный ИИ на железе размером с голову шмеля.

[nonconvex]

Эксперимент со шмелями наглядно демонстрирует, что для проявления сложного, творческого мышления и планирования не требуются огромные нейронные сети, а способность решать новые проблемы может возникать у живых существ со значительно меньшим объемом мозга, чем считалось ранее.

Так это естественный интеллект, так что ничего удивительного.

Это намекает на то что в будущем может быть создан вполне приличный ИИ на железе размером с голову шмеля.

Это намекает на совершенно другое - в то время как для ИИ создаются гигаваттные центры, шмель обходится долями ватта, будучи при этом способным на новизну в решении задач, и естественно обучаемым.

[Inti]

Эксперимент со шмелями наглядно демонстрирует, что для проявления сложного, творческого мышления и планирования не требуются огромные нейронные сети, а способность решать новые проблемы может возникать у живых существ со значительно меньшим объемом мозга, чем считалось ранее.

Так это естественный интеллект, так что ничего удивительного.

Это намекает на то что в будущем может быть создан вполне приличный ИИ на железе размером с голову шмеля.

Это намекает на совершенно другое - в то время как для ИИ создаются гигаваттные центры, шмель обходится долями ватта, будучи при этом способным на новизну в решении задач, и естественно обучаемым.

К энергоэффективности био-мозгов конечно надо стремиться. Но что касается собственно интеллекта - то эти самые гигаваттные центры уже очень сильно превосходят и шмелей и подавляющее большинство людей.

[nonconvex]

К энергоэффективности био-мозгов конечно надо стремиться. Но что касается собственно интеллекта - то эти самые гигаваттные центры уже очень сильно превосходят и шмелей

Они не могут самообучаться на локальной ситуации, сколько раз вам нужно повторить? Или вы тоже необучаем?

[Inti]

К энергоэффективности био-мозгов конечно надо стремиться. Но что касается собственно интеллекта - то эти самые гигаваттные центры уже очень сильно превосходят и шмелей

Они не могут самообучаться на локальной ситуации, сколько раз вам нужно повторить? Или вы тоже необучаем?

Могут. 

• Современные агенты (типа Auto-GPT, LangGraph, или экспериментальные системы) взаимодействуют с окружением, пробуют действия, получают feedback и улучшаются.
• Есть continual/online learning — модели, которые постепенно адаптируются без полной перестройки модели.
• В робототехнике и embodied AI (например, с Boston Dynamics или Figure) системы учатся на реальном взаимодействии с миром.

[Serge V Iz]

А чему они учатся?

Шмель, как и человек, "учится" с целью удовлетворения потребностей (одной из, но не доминирующей,и которых, безусловно, является т.н. "любопытство"). Или, иными, менее лицеприятными словами, под непреодолимым давлением собственных примитивных, неразумных, чисто биомеханических инстинктов.

А как заложены эквиваленты этих инстинктов в робота, если учесть, что мы сами не знаем, что эти инстинкты такое? Ну, точнее, знаем только "на глубину литературного образного описания".

И каков предполагаемый результат этого обучения?

(Это хилософские вопросы, не предполагающие существования/известности хоть сколько-нибудь удовлетворительных ответов )

Для справки: роботы Оптимус имеют общую, идентичную для всех, базу коэффициентов нейросетей, регулярно обновляемую из единого центра, который определяет текущее её состояние, и следовательно, поведение всех этих роботов.

Это не то же самое, что "общие аминокислоты и их длинные цепочки" в биологических организмах. Общие аминокислоты и гены -- это примерно "одинаковые КМОП-структуры и схемотехника вычислительных ядер с АЛУ, ОЗУ и УВВ". )

У шмелей, и даже муравьёв, такого механизма нет, они индивидуальны (даже в смысле биохимии, если пытаться копнуть сильно глубоко). Всякая там эта... телепатия? пока что научно не открыта.

[nonconvex]

Современные агенты (типа Auto-GPT, LangGraph, или экспериментальные системы) взаимодействуют с окружением, пробуют действия, получают feedback и улучшаются.

Они улучшаются в вашем локальном контексте, пока хватает токенов. Как только сеанс закончен, они все забывают. 

[nonconvex]

Всякая там эта... телепатия? пока что научно не открыта.

Вот тут и  надо бы порыть. Только на квантовом уровне, там все это есть. Телепатию можно объяснить квантовой сцепленностью. 

[nonconvex]

В робототехнике и embodied AI (например, с Boston Dynamics или Figure) системы учатся на реальном взаимодействии с миром.

Это интересный момент, как они учатся? Рядом с роботом стоит мощный компьютер с векторными процессорами, который периодически улучшает модель.

[TAU]

Пока.