Опасности и преимущества использования нейросетей и ИИ для человечества - факты и только факты

[ShamgA]

...Любые проблемы с механикой вполне решаемы, слава богу это не ДВС с тысячами оборотов в минуту.

Вы не сталкиваетесь с механизмами работающими 24/7

[Inti]

...Любые проблемы с механикой вполне решаемы, слава богу это не ДВС с тысячами оборотов в минуту.

Вы не сталкиваетесь с механизмами работающими 24/7

Автомобиль? Если можно сделать надёжный автомобиль, то почему невозможно сделать надёжного робота? 

[ShamgA]

...Любые проблемы с механикой вполне решаемы, слава богу это не ДВС с тысячами оборотов в минуту.

Вы не сталкиваетесь с механизмами работающими 24/7

Автомобиль? Если можно сделать надёжный автомобиль, то почему невозможно сделать надёжного робота?

Ваш автомобиль не показатель, он за все эти годы отработал, дай бог 150—300 суток. 
Коммерческие (автобусы, например), которые ездят не два раза в день, а с утра до ночи, регулярно требуют ремонта. 

[cross-track]

Гиродины на спутниках работают фактически безостановочно годами.

[Inti]

...Любые проблемы с механикой вполне решаемы, слава богу это не ДВС с тысячами оборотов в минуту.

Вы не сталкиваетесь с механизмами работающими 24/7

Автомобиль? Если можно сделать надёжный автомобиль, то почему невозможно сделать надёжного робота?

Ваш автомобиль не показатель, он за все эти годы отработал, дай бог 150—300 суток.
Коммерческие (автобусы, например), которые ездят не два раза в день, а с утра до ночи, регулярно требуют ремонта.

Если мы говорим о ЧПР(человекоподобных роботах), то не все будут работать постоянно 24/7 в нечеловеческом темпе с нечеловеческими нагрузками. Да, возможно будет иногда требоваться замена каких-то модулей, например замена конечности. Но там всё основано на обратных связях, и хорошо сделанных робот сможет "почувствовать" проблему прежде чем она станет критической, и можно будет провести обслуживание или замену модуля.

Главный критерий - стоимость владения(включая ремонты и обслуживания) должна быть меньше чем стоимость работника при одинаковой производительности. Работник в западных странах стоит примерно 80 тысяч долларов в год. Два работника в две смены уже 160. Даже при всех ремонтах и обслуживании у роботов есть хорошие шансы. Механика не является большой проблемой. Главной проблемой сейчас являются мозги. Его собственные или/и в связке с внешним ИИ. Как только будет достигнут достаточный прогресс в этой области - начнётся внедрение.

[nonconvex]

Да, возможно будет иногда требоваться замена каких-то модулей, например замена конечности. Но там всё основано на обратных связях, и хорошо сделанных робот сможет "почувствовать" проблему прежде чем она станет критической, и можно будет провести обслуживание или замену модуля.

Ну да, он усядется в кресло и потребует спецобслуживания, а в это время хозяин будет лихорадочно вспоминать как готовить обед.

[nonconvex]

Гиродины на спутниках работают фактически безостановочно годами.

На магнитном подвесе. 

[cross-track]

Гиродины на спутниках работают фактически безостановочно годами.

На магнитном подвесе.

А вот на телескопе «Хаббл» маховики (RWA — Reaction Wheel Assemblies) использовались традиционные стальные шарикоподшипники, а не магнитный подвес.

Вот несколько ключевых фактов об их устройстве.
Механический контакт: Роторы маховиков установлены на прецизионных шарикоподшипниках, которые смазываются специальным синтетическим маслом.
Система распределения смазки: Чтобы подшипники не пересохли за десятилетия работы в вакууме, в конструкции предусмотрены микро-резервуары со смазкой, которая постепенно поступает в рабочую зону.
Виброизоляция: Поскольку механические подшипники неизбежно создают микровибрации (jitter), которые мешают сверхточной съемке, каждый из четырех маховиков на «Хаббле» установлен на специальных демпферах-изоляторах.

Почему не магнитный подвес?
Когда «Хаббл» проектировался (1970-е — начало 80-х годов), технология активных магнитных подшипников была еще недостаточно отработана и считалась слишком сложной, тяжелой и энергозатратной для долгосрочной космической миссии. Инженеры выбрали проверенную временем механику, сделав ставку на высочайшее качество исполнения.
Ироничный факт: В то время как измерительные гироскопы «Хаббла» постоянно выходили из строя и требовали замены астронавтами, его маховики (те самые на шарикоподшипниках) оказались невероятно живучими. Большинство из них успешно проработали десятилетия без прямого ремонта.

[Inti]

[nonconvex]

Компания обещает создать «супер-обучающийся» искусственный интеллект, который будет добывать знания самостоятельно, методом проб и ошибок, а не на основе человеческих данных. В случае успеха в Ineffable Intelligence обещают прорыв, сопоставимый с теорией эволюции Дарвина

Насреддин тоже обещал прорыв. Да и вы можете попробовать. Известно, что задача вычислительно непроходимая, но откуда ж об этом знать инвесторам, особенно британским. А мужик молодец, миллиард снял. Сидит, довольный..

[Inti]

Известно, что задача вычислительно непроходимая

Метод проб и ошибок? Не знал, не знал... 

[Inti]

Илон Маск тоже говорил точно об этом же в одном из его интервью:
(хотя это не значит что он уже над этим стал работать)

https://hightech.plus/2026/04/28/openai-mozhet-rabotat-nad-smartfonom-s-ii-agentami-vmesto-prilozhenii

[nonconvex]

Известно, что задача вычислительно непроходимая

Метод проб и ошибок? Не знал, не знал... 

Откуда ж вам знать про сложность обхода дерева решений? Очевидно вас этому не учили. 

[Inti]

Известно, что задача вычислительно непроходимая

Метод проб и ошибок? Не знал, не знал... 

Откуда ж вам знать про сложность обхода дерева решений? Очевидно вас этому не учили.

Да, но мы в школе проходили кое-что про теорию естественного отбора имени Дарвина. Слепая биология как-то смогла... так что шансы есть повторить то же самое, причём очень ускоренно. Мнение Грока:

Спойлер

Silver и его команда не идиоты и не предлагают голый brute-force. Они прекрасно знают про combinatorial explosion — именно поэтому AlphaZero работал:

• Self-play + RL — агент играет сам с собой миллионы партий, генерируя свои собственные данные.
• Мощная функция оценки (value network) и политика (policy network), обученные через нейросети, которые резко обрезают и направляют поиск (Monte Carlo Tree Search с нейронными priors).
• Симметрии, обобщение и эффективное исследование пространства, а не слепой перебор всех веток.

AlphaZero уже показал, что в замкнутых, полностью наблюдаемых средах с чёткими правилами (игры) это работает феноменально лучше, чем всё, что опиралось на человеческие данные.
Проблема в том, чтобы вынести этот подход за пределы игр:

• Реальный мир — частично наблюдаемый, стохастичный, с огромным действенным пространством, дорогой обратной связью и неоднозначными «правилами».
• «Добывать все знания самостоятельно» звучит красиво, но на практике требует либо невероятно эффективных механизмов curiosity-driven exploration, либо симуляторов невероятного качества, либо комбинации с другими парадигмами.

Многие эксперты (и я в том числе) считают, что чистый RL без каких-либо человеческих priors или данных для AGI крайне сложен из-за проблемы credit assignment на длинных горизонтах, curse of dimensionality и необходимости огромного количества взаимодействий. То, что работало для го (где одна игра — это ~150 ходов и чёткий выигрыш/проигрыш), может не масштабироваться на «открытие новых научных законов».
С другой стороны, Silver — один из самых сильных людей в мире именно в этом направлении. Если кто и может сдвинуть границы RL в сторону более общего intelligence, то это он и его новая команда (они уже набрали топов из DeepMind).

Итог
Это очень амбициозная ставка против доминирования scaling laws + next-token prediction. Рынок явно готов платить огромные деньги за такую идею, особенно от человека с треком AlphaZero. Будет ли прорыв — большой вопрос. История ИИ полна заявлений про «мы наконец откажемся от данных и будем учиться как дети/учёные», но пока все успешные системы сильно опираются на данные (даже AlphaZero использовал нейросети, предобученные на самоигре, а не на пустом месте).
Метод проб и ошибок работает, когда ты умеешь делать эти пробы умно и эффективно обобщать опыт. Silver это умеет лучше большинства. Посмотрим, хватит ли вычислений и идей, чтобы перешагнуть через «вычислительно непроходимое».

[свернуть]

[nonconvex]

Silver и его команда не идиоты и не предлагают голый brute-force. Они прекрасно знают про combinatorial explosion — именно поэтому AlphaZero работал:

• Self-play + RL — агент играет сам с собой миллионы партий, генерируя свои собственные данные.
• Мощная функция оценки (value network) и политика (policy network), обученные через нейросети, которые резко обрезают и направляют поиск (Monte Carlo Tree Search с нейронными priors).
• Симметрии, обобщение и эффективное исследование пространства, а не слепой перебор всех веток.

Симметрии, обобщения и "эффективное исследование пространства" - это по прежнему перебор. Вы можете поделить экспоненциальную функцию на два, на три, на сто тыщ миллионов, она все равно останется экспоненциальной. 

[nonconvex]

Слепая биология как-то смогла... так что шансы есть повторить то же самое, причём очень ускоренно.

Слепой биологии доступны все механизмы природы, включая квантовые. Гроку может только сочинять сказки из ранее придуманных решений. 

[nonconvex]

Рынок явно готов платить огромные деньги за такую идею,

Безусловно. Тот, кто построит квантовый компьютер, решающий NP-трудные задачи, будет владеть миром. Банкиры это знают. Но построить такой компьютер на нынешнем уровне знания физики невозможно, поэтому современные Насреддины придумали много непонятных терминов, чтобы стричь купоны с жадных банкиров. 

[nonconvex]

AlphaZero уже показал, что в замкнутых, полностью наблюдаемых средах с чёткими правилами (игры) это работает феноменально лучше, чем всё, что опиралось на человеческие данные.

Он показал, что одни машины работают лучше других, не более. Человек думает иначе, машинам это неподвластно. Они могут обыграть его перебором, когда это возможно, но и только. 

[cross-track]

Гиродины на спутниках работают фактически безостановочно годами.

На магнитном подвесе.

Ответил здесь
https://forum.novosti-kosmonavtiki.ru/index.php?msg=2849691

[Inti]

Слепой биологии доступны все механизмы природы, включая квантовые.

Гипотезы о «квантовом мозге» остаются маргинальными в нейронауке из-за отсутствия воспроизводимых экспериментов и серьёзных физических ограничений. Классические модели продолжают успешно объяснять подавляющее большинство когнитивных и нейронных явлений.

Ну а если вдруг обнаружится что мозг является "квантовым компьютером" - то это в два счёта применят в электронике или делают гибрид с электроникой.

Гроку может только сочинять сказки из ранее придуманных решений. 

Смотря в какой области. Тут уже приводили примеры успешно решённых НОВЫХ математических задач. ИИ не мог нигде списать готовое решение.