Опасности и преимущества использования нейросетей и ИИ для человечества - факты и только факты

[Старый]

Робот запрещающий лошадь это был бы высший пилотаж. Круче только робот-кучер восседающий на кОзлах. 

[nonconvex]

Придумать можно всё что угодно, например трагедию робота запрягающего лошадь оглоблей через зад, но на практике современные станки уж как-нибудь помогут избежать таких страхов, не говоря уже о том что их сейчас делают закрытыми со всех сторон.

Оглобля через зад - ваше все. А станки бывают разные. Закрывают обычно всякую мелочь. 

[Inti]

Придумать можно всё что угодно, например трагедию робота запрягающего лошадь оглоблей через зад, но на практике современные станки уж как-нибудь помогут избежать таких страхов, не говоря уже о том что их сейчас делают закрытыми со всех сторон.

Оглобля через зад - ваше все. А станки бывают разные. Закрывают обычно всякую мелочь.

Моего лучшего студенческого друга как-то выперли из университета, и он героически пошёл на завод - откуда его тоже выперли потому что он сломал у какого-то большого станка... станину.... не руками конечно... уронил какую-то тяжёлую железяку с помощью крана   - обошёлся без злого робота вполне 

[Inti]

[nonconvex]

Моего лучшего студенческого друга как-то выперли из университета, и он героически пошёл на завод - откуда его тоже выперли потому что он сломал у какого-то большого станка... станину....

Сдуру можно и ... сломать. 
С кем поведешься, от того и наберешься. 

[Inti]

Моего лучшего студенческого друга как-то выперли из университета, и он героически пошёл на завод - откуда его тоже выперли потому что он сломал у какого-то большого станка... станину....

Сдуру можно и ... сломать.
С кем поведешься, от того и наберешься.

Ну, мы с ним не так уж и долго дружили потому что он репатриировался в Израиль. И там, будучи программистом и админом, он вроде бы ничего больше не ломал. Устраиваться рабочим на завод тому кого даже в армию не брали из-за сильной близорукости - была плохая идея.

[Inti]

Google Translate научился синхронно переводить живую речь на 70 языков в любых наушниках
https://3dnews.ru/1133856/google-translate-nauchilsya-sinhronno-perevodit-givuyu-rech-na-70-yazikov-v-lyubih-naushnikah

[Inti]

Главный научный сотрудник Anthropic Джаред Каплан делает серьезные прогнозы относительно будущего человечества с ИИ.

Выбор за нами, в его представлении. По словам Каплана—, на данный момент наша судьба в основном в наших руках, если только мы не решим передать пресловутую эстафету машинам.

Такая точка быстро приближается, говорит он в новое интервью с Хранитель. Каплан прогнозирует, что к 2030 году или уже к 2027 году человечеству придется решить, стоит ли идти на "крайний риск" и позволять моделям ИИ обучаться самостоятельно. Последовавший за этим "взрыв интеллекта" может поднять технологию на новую высоту, породив так называемый общий искусственный интеллект (AGI), который равен человеческому интеллекту или превосходит его и приносит человечеству пользу благодаря всевозможным научным и медицинским достижениям. Или он может позволить силе ИИ выйти из-под нашего контроля, оставив нас во власти его прихотей.

"Это звучит как какой-то пугающий процесс, - сказал он газете." "Ты не знаешь, где окажешься."

Каплан — один из многих видных деятелей в области искусственного интеллекта, предупреждающих о потенциально катастрофических последствиях этой области. Джеффри Хинтон, один из трех так называемых крестных отцов ИИ, как известно, заявил, что сожалеет о деле своей жизни, и часто предупреждал о том, как ИИ может перевернуть или даже разрушить общество. . OpenAI Сэм Альтман прогнозирует, что ИИ это сделает - уничтожит целые категории труда.

Руководитель Каплана, генеральный директор Дарио Амодеи, недавно предупредил ИИ может занять более половины всех рабочих мест начального уровня и обвинил своих конкурентов в "приукрашивании" того, насколько сильно ИИ разрушит общество.

Похоже, Каплан согласен с оценкой работы своего босса. По его словам в интервью, ИИ сможет выполнять "большую часть работы «белых воротничков»" через два-три года. И хотя он настроен оптимистично и считает, что мы сможем поддерживать соответствие ИИ интересам человека, его также беспокоит перспектива позволить мощному ИИ обучать другие ИИ, а это "чрезвычайно важное решение" нам придется принять в ближайшем будущем.

"Это то, что мы считаем, возможно, самым важным решением или самым страшным поступком... если в процессе никто не участвует, вы на самом деле не знаете," сказал он . "Во-первых, теряете ли вы над этим контроль? Вы вообще знаете, что делают ИИ?"

В определенной степени более крупные модели ИИ уже используются для обучения более мелких моделей ИИ в процессе, называемом дистилляцией, который позволяет меньшему ИИ по сути догнать своего более крупного учителя. Однако Каплана беспокоит так называемое рекурсивное самосовершенствование, при котором ИИ обучаются без вмешательства человека и существенно расширяют свои возможности.

Позволим ли мы этому случиться, сводится к некоторым тяжелым философским вопросам о технологиях.

"Главный вопрос: полезны ли ИИ для человечества?" сказал Каплан. "Полезны ли они? Будут ли они безвредны? Понимают ли они людей? Позволят ли они людям продолжать иметь свободу действий в своей жизни и в мире?"

[Inti]

[nonconvex]

Джеффри Хинтон, один из трех так называемых крестных отцов ИИ,

Уж сколько этих крестных отцов в наше время публикуется, хотя все было придумано лет семьдесят назад, совершенно другими людьми. Минский, Поспелов, Пайперт...

[Inti]

Джеффри Хинтон, один из трех так называемых крестных отцов ИИ,

Уж сколько этих крестных отцов в наше время публикуется, хотя все было придумано лет семьдесят назад, совершенно другими людьми. Минский, Поспелов, Пайперт...

Ну что же, наконец-то стало понятно откуда растут ноги у вашего скептицизма по отношению к ИИ... Спрячу под спойлер т.к. многа буков:

Спойлер

Подробнее о "они не сказали, что все нейросети плохи — но инженеры и чиновники это так интерпретировали → финансирование нейросетей почти исчезло на ~15 лет."

ChatGPT said:
Хорошо, разберём подробно и по пунктам, что именно Минский и Пайперт сказали, чего они не сказали, и почему именно чиновники и грант-менеджеры сделали разрушительный вывод.
1. Что реально написано в книге Perceptrons (1969)
Минский и Пайперт очень аккуратны в формулировках.
Они доказали математически, что:
❌ Ограничения конкретного класса моделей
Речь шла о:

• однослойных перцептронах
• с линейной разделимостью
• без скрытых слоёв
• без обратного распространения ошибки

Примеры задач, которые не решаются:

• XOR
• проверка связности
• простые инварианты формы
• топологические свойства

📌 Ключевая цитатная идея (пересказ):

«Перцептроны в их текущей форме принципиально ограничены».

⚠️ Они не утверждали, что:

• многослойные сети невозможны
• обучение сложных сетей в принципе неосуществимо
• нейросети как класс бесперспективны

2. Чего они не добавили (фатальный пробел)
❗ Они не сказали:

«Эти ограничения могут быть сняты добавлением слоёв и другого алгоритма обучения».

Почему?
Потому что в 1969:

• backpropagation ещё не был открыт / принят
• не было:
  
  • вычислительных мощностей
  • больших датасетов
  • теории оптимизации для глубоких сетей

Для них многослойные сети были:

• теоретически возможны
• практически нефункциональны

📉 И они не стали защищать направление, которое не могли обосновать.
3. Как это прочитали инженеры и бюрократы
Вот здесь и произошла катастрофа интерпретации.
Типичное мышление грант-комитета:

• «Перцептроны — это нейросети»
• «Перцептроны принципиально ограничены»
• ⟹ «Нейросети принципиально ограничены»
• ⟹ «Не финансировать»

🧾 Для чиновника:

• нет времени читать 200 страниц доказательств
• нужен короткий вывод
• а он звучал как:
  

  «Neural networks don't work»

4. Институциональный эффект (1970–1985)
США:

• DARPA почти полностью прекратила финансирование connectionism
• MIT AI Lab → символический ИИ
• исследования ушли в:
  
  • экспертные системы
  • логическое доказательство
  • планирование

Европа:

• похожая ситуация
• нейросети стали маргинальной темой

СССР:

• нейросети считались:
  
  • «биологизаторством»
  • «эвристикой без строгой логики»
• победил подход Поспелова и коллег:
  
  • формализм
  • логико-алгоритмические модели

📉 В итоге:

1969–1986 ≈ «зима нейросетей»

5. Почему инженеры сами не «отбились»
Важный момент: сообщество connectionism было слабым.

• не было:
  
  • строгой математики обучения
  • убедительных демонстраций
• сети:
  
  • не масштабировались
  • не сходились
  • не обобщали

🧠 Минский и Пайперт фактически сказали:

«Покажите рабочий механизм».

А его не было ещё 15 лет.
6. Что изменилось и реабилитировало нейросети
1986 — перелом
Rumelhart, Hinton, Williams

• популяризация backpropagation
• обучение многослойных сетей стало возможным

1990-е:

• OCR
• speech recognition
• CNN (LeCun)

2012:

• AlexNet
• GPU
• big data

📌 Только тогда стало ясно:

ограничения, описанные Минским и Пайпертом, были историческими, а не фундаментальными.

7. Ирония истории

• Минский оказался прав математически
• Пайперт — прав методологически
• но оба проиграли политически

Их книга стала:

• не научным аргументом
• а административным молотом

8. Главный урок для сегодняшнего ИИ
Это напрямую связано с современными спорами:

• «LLM не рассуждают»
• «Без символики ИИ невозможен»
• «Это просто статистика»

📌 История Perceptrons учит:

ограничения текущих моделей ≠ предел направления

[свернуть]

[Dulevo]

На самом деле - это мало что решило. Даже если бы работа над нейросетями  продолжалась бы - нужные мощности для них появились только сейчас.
А теория сама по себе - далеко бы не продвинулась бы все равно.

[simple]

Ну что же, наконец-то стало понятно откуда растут ноги у вашего скептицизма по отношению к ИИ... Спрячу под спойлер т.к. многа буков:

зачем сюда тащить высеры ии?

[nonconvex]

Они не утверждали, что:

• многослойные сети невозможны
• обучение сложных сетей в принципе неосуществимо
• нейросети как класс бесперспективны

2. Чего они не добавили (фатальный пробел)
❗ Они не сказали:

«Эти ограничения могут быть сняты добавлением слоёв и другого алгоритма обучения».

Если однослойная сеть имеет фундаментальные ограничения (экспоненциальная сложность обучения) то расслоение к многослойной эквивалентно делению экспоненциальной функции  на константу (количество слоев). Спросите Хрюка, чему будет равен результат?

[nonconvex]

Ну что же, наконец-то стало понятно откуда растут ноги у вашего скептицизма по отношению к ИИ... Спрячу под спойлер т.к. многа буков:

зачем сюда тащить высеры ии?

Сам не может, обычное дело. 

[nonconvex]

На самом деле - это мало что решило. Даже если бы работа над нейросетями  продолжалась бы - нужные мощности для них появились только сейчас.
А теория сама по себе - далеко бы не продвинулась бы все равно.

Если функция экспоненциальна, то никакие мощности не исправят теоретический результат. Но они вполне смогут выдать достаточно хорошее решение. Проблема лишь в том, что "достаточно хорошее" недостаточно точно. В настоящий момент, в лучших домах, точность в районе 0.95. Это означает что с вероятностью 0.05 на выходе будет фуфло.

[nonconvex]

Минский и Пайперт очень аккуратны в формулировках.

Они математики, иначе не могут, в отличие от современных "крестных отцов", которые несут пургу из утюгов. 

[nonconvex]

Потому что в 1969:

• backpropagation ещё не был открыт

• 1974: Пол Вербос опубликовал алгоритм обратного распространия (backpropagation)".
• 1982: Джон Хопфилд на основе работ Вербоса создал рекуррентную сеть (Сеть Хопфилда).
• С последней я даже поиграл, вполне себе работала на 8086.

[TAU]

Джеффри Хинтон, один из трех так называемых крестных отцов ИИ,

Уж сколько этих крестных отцов в наше время публикуется, хотя все было придумано лет семьдесят назад, совершенно другими людьми. Минский, Поспелов, Пайперт...

Самое смешное, за что Хинтону дали Нобелевскую премию, изобрел не он, а Галушкин в Советском Союзе...

[TAU]

Они не утверждали, что:

• многослойные сети невозможны
• обучение сложных сетей в принципе неосуществимо
• нейросети как класс бесперспективны

2. Чего они не добавили (фатальный пробел)
❗ Они не сказали:

«Эти ограничения могут быть сняты добавлением слоёв и другого алгоритма обучения».

Если однослойная сеть имеет фундаментальные ограничения (экспоненциальная сложность обучения) то расслоение к многослойной эквивалентно делению экспоненциальной функции  на константу (количество слоев)

Нет.