Опасности и преимущества использования нейросетей и ИИ для человечества - факты и только факты

[simple]

изучать программирование на ассемблере людям ныне бессмысленно, в нынешнем понимании профессия исчезнет лет через 15

О, вот правильная ассоциация. Когда-то это был навык, отличавший "крутого системного программиста" от "некрутого и бессистемного". А потом как-то ушёл этот навык, не нужен он больше. А программисты остались

просто люди которые не являются программистами, в начале 00 стали называть себя программистами, вот они и пойдут под нож, а те кто был программистом так и будут, их число небольшое и стабильное. 

[nonconvex]

На самом деле ИИ вполне уже и рефакторингом занимается, и с "техническим долгом" его учат успешно взаимодействовать. Говорю же - есть "продвинутые вайбкодеры" уже, с набором хитрых промптов и значительными успехами. А если говорить о будущем, я согласен с Хуангом - изучать программирование людям ныне бессмысленно, в нынешнем понимании профессия исчезнет лет через 15.

Есть ИИ, который может генерировать программы, гарантируя при этом, что они не уйдут в глухой цикл, при условии что глухого цикла в требованиях нет?

[Ну-и-ну]

изучать программирование на ассемблере людям ныне бессмысленно, в нынешнем понимании профессия исчезнет лет через 15

О, вот правильная ассоциация. Когда-то это был навык, отличавший "крутого системного программиста" от "некрутого и бессистемного". А потом как-то ушёл этот навык, не нужен он больше. А программисты остались

просто люди которые не являются программистами, в начале 00 стали называть себя программистами, вот они и пойдут под нож, а те кто был программистом так и будут, их число небольшое и стабильное.

Не, ассемблер стал натурально вреден, когда логика CPU прокачалась до неприличия, все эти register renaming, branch prediction и прочая. И примерно тогда же стоимость cache miss стала непредставимо выше "тут человек/компилятор неэффективно переменные по регистрам разложил". Т.е. это был инструмент, владение которым перестало быть полезным. Это вполне поучительно, так бывает.

[nonconvex]

Вы не поверите, но есть достаточно приличная масса специалистов, которые и должны знать ассемблер(ы), и писать на нем, как минимум тестовые программы. 

[simple]

Не, ассемблер стал натурально вреден

в случаях когда он вреден его не используют лет 40, в других случаях его используют вынужденно, когда по другому не получится нужный результат

[Ну-и-ну]

изучать программирование на ассемблере людям ныне бессмысленно, в нынешнем понимании профессия исчезнет лет через 15

программисты остались

Пока. Читайте выше про волков и овец.

Ну как вы не поймете, что это не повторение пройденного.

А революция.

Скажу совсем банальное. Контент в играх делать фундаментально проще и безопаснее, чем код. Не надо аккуратно модифицировать codebase из 10 миллионов строк, проще верифицировать продукт, грубо говоря - некрасивой текстурой или анимацией сложно "повалить" игру. И (кстати) в современных играх стоимость контента - это львиная доля игры.

Вот когда AI сможет взять на себя генерацию 50% контента (и пользователь не будет вопить про AI slop), это будет некий серьёзный milestone. Пока этого нет и близко. Но это, по-крайней мере, выглядит вполне возможным через сколько-то там лет.

[Ну-и-ну]

Вы не поверите, но есть достаточно приличная масса специалистов, которые и должны знать ассемблер(ы), и писать на нем, как минимум тестовые программы.

Интересно, а зачем? Мы делали для эффективности, эта причина ушла.

[nonconvex]

Вы не поверите, но есть достаточно приличная масса специалистов, которые и должны знать ассемблер(ы), и писать на нем, как минимум тестовые программы.

Интересно, а зачем? Мы делали для эффективности, эта причина ушла.

Для компиляторов например, которые превращают исходный код в ассемблер (ISA).

[Ну-и-ну]

Для компиляторов например, которые превращают исходный код в ассемблер

Вы сказали "приличная масса людей". А компиляторы сейчас - это что-то штучное. Живых компиляторов нынче примерно три - VS, gcc, clang. Да и процессорных архитектур тоже, типа, три. Это негусто как-то, нет?

Человек 300 на весь мир, которые с кодогенерацией возятся? Пусть 500, если rust и прочую экзотику добавить. Ну 1000, если есть национальные проекты в Китае и России. Неправильно?

[nonconvex]

Для компиляторов например, которые превращают исходный код в ассемблер

Вы сказали "приличная масса людей". А компиляторы сейчас - это что-то штучное. Живых компиляторов нынче примерно три - VS, gcc, clang. Да и процессорных архитектур тоже, типа, три. Это негусто как-то, нет?

Добавьте сюда GPU, TPU и прочих гибридов вроде FPGA. Не забудьте про LLVM-щиков, которых пруд пруди.

[TAU]

Не "чуть". А значительно быстрее.

Зависит от стоящих задач и обстановки. Лично я поддерживаю кучу старого кода в сложных системах где ИИ не очень-то может помочь. И зачастую дело не только в извращённом коде, но и в куче других вещей которые сделаны через три задницы - но переделывать всё с нуля и по уму никто никогда не будет - в частности потому что это обеспечивает людей работой которую никто не хочет терять.

А вот что пишут продвинутые вайбкодеры:

Вот поэтому я как IT-менеджер, а не как девелопер принял просто административное решение - заморозить старый код и все новое только в AI Friedly. Вой там пары клиентов - по фигу.

Сейчас быстрее даже заново переписать с ИИ какой-то модуль, чем сопровождать старый кусок г**на, который набит за много лет кучей рудиментов.

Для примера. Я делал для Газпрома интеграцию смет и графиков работ. Это делала 5 лет команда из 5 человек. В случае ИИ он MVP, который решает значительную часть кейсов такого решения я сделал за ... 1 месяц.

1 МЕСЯЦ, КАРЛ!

Конечно, я использовал свой опыт из предыдущей разработки и еще подтянул клиента потестировать. Однако при такой экономике сопровождать старый код становится часто очень сомнительной идеей. Экономически совсем не выгодно новые фичи делать в старом коде, а очень часто выгодно выбросить просто старый код какого-то модуля и переписать с ИИ с нуля.

[LRV_75]

я смотрю тут крутые знатоки по ИИ собрались )
Может подскажите, есть ли какие то мировые практики/инструменты по борьбе с галлюцинациями AI-агентов генеративного ИИ? И где про это можно почитать? для начало требуется даже не борьба с галлюцинациями, а своевременное выявление этих отклонений и выработка набора реакций

[Inti]

Вот поэтому я как IT-менеджер, а не как девелопер принял просто административное решение - заморозить старый код и все новое только в AI Friedly. Вой там пары клиентов - по фигу.

Охренительный IT-менеджер однако, который считает себя главнее клиентов. И даже не способен слово Friendly правильно написать.
Впрочем, у меня был случай когда я переписал большой старый код с нуля(без всякого ИИ) - но именно потому чтобы клиенты не выли из-за старого кода который работал непонятно как, но это была нетипичная задача, и код был написан каким-то французом который считал себя непризнанным гением, после того как его турнули, три программиста два года с этим мучились, потом я разозлился и переписал его с нуля - всё заработало как часы и нас всех уволили    Т.е. конечно бывают случаи когда переписать легче чем разобраться в старом коде - но такое бывает редко и в моём случае потому что старый код был написан идиотом.

Короче, ИИ иногда может сгенерить что-то полезное в случае если можно изолировать новое от старого, и это новое является чем-то довольно типичным. Но если нужно что-то нетипичное новое, или аккуратно модифицировать хорошо написанный старый код - то ИИ можно использовать лишь в качестве советчика и заменителя Гугла.

[Inti]

я смотрю тут крутые знатоки по ИИ собрались )
Может подскажите, есть ли какие то мировые практики/инструменты по борьбе с галлюцинациями AI-агентов генеративного ИИ? И где про это можно почитать? для начало требуется даже не борьба с галлюцинациями, а своевременное выявление этих отклонений и выработка набора реакций

Мировая практика тут простая - генерируешь а потом тестируешь. Причём в вышеописанном случае с крутым IT-менеджером - он тестирование на клиента свалил 
Если задача простейшая - то это рабочая схема, почему бы и нет. Проблема в том что не везде айтишники занимаются простыми вещами которые ИИ делает почти безошибочно.

Впрочем, очевидно есть классы задач которые ИИ уже выполняет лучше людей... на ютубе уже полно ИИ-певцов и видео которые нарисовать вручную не смогли бы самые лучшие художники Союзмультфильма. Точнее, могли бы конечно... но это нереально по трудозатратам - а ИИ это делает быстро. Сейчас ИИ на этапе когда он берёт производительностью. Скажем, взять некоторые мои посты на этом форуме. ИИ за секунды сканирует массу источников и делает сводку. Вручную я бы мог сделать лучше если бы мне за это заплатили несколько тысяч и дали неделю времени. Но поскольку никто не платит и времени нет - ИИ выигрывает с огромным отрывом   - даже если и ошибается в мелочах.

[LRV_75]

я смотрю тут крутые знатоки по ИИ собрались )
Может подскажите, есть ли какие то мировые практики/инструменты по борьбе с галлюцинациями AI-агентов генеративного ИИ? И где про это можно почитать? для начало требуется даже не борьба с галлюцинациями, а своевременное выявление этих отклонений и выработка набора реакций

Мировая практика тут простая - генерируешь а потом тестируешь. Причём в вышеописанном случае с крутым IT-менеджером - он тестирование на клиента свалил 
Если задача простейшая - то это рабочая схема, почему бы и нет. Проблема в том что не везде айтишники занимаются простыми вещами которые ИИ делает почти безошибочно.

С генерацией и тестированием проблем нет. AI-агент начинает работать в проме отлично и на большом потоке входящего трафика. Вопрос в другом. Мы исходим из того, что генеративный ИИ подразумевает что агент обучается и может менять свое поведение относительно точки когда он был изначально протестирован и внедрен. Поэтому, наша задача создать инструменты онлайн наблюдения за такими агентами (таких агентов у нас сотни, а будут тысячи в этом году) и онлайн выявлять случае когда в результате изменения своего поведения агент начал галлюционировать, т.е. выходить за какие то ограничения в части рисков кибербезопасности, комплаенса и т.д. и т.п.  и выработать автоматические защитные меры

[Inti]

я смотрю тут крутые знатоки по ИИ собрались )
Может подскажите, есть ли какие то мировые практики/инструменты по борьбе с галлюцинациями AI-агентов генеративного ИИ? И где про это можно почитать? для начало требуется даже не борьба с галлюцинациями, а своевременное выявление этих отклонений и выработка набора реакций

Мировая практика тут простая - генерируешь а потом тестируешь. Причём в вышеописанном случае с крутым IT-менеджером - он тестирование на клиента свалил 
Если задача простейшая - то это рабочая схема, почему бы и нет. Проблема в том что не везде айтишники занимаются простыми вещами которые ИИ делает почти безошибочно.

С генерацией и тестированием проблем нет. AI-агент начинает работать в проме отлично и на большом потоке входящего трафика. Вопрос в другом. Мы исходим из того, что генеративный ИИ подразумевает что агент обучается и может менять свое поведение относительно точки когда он был изначально протестирован и внедрен. Поэтому, наша задача создать инструменты онлайн наблюдения за такими агентами (таких агентов у нас сотни, а будут тысячи в этом году) и онлайн выявлять случае когда в результате изменения своего поведения агент начал галлюционировать, т.е. выходить за какие то ограничения в части рисков кибербезопасности, комплаенса и т.д. и т.п.  и выработать автоматические защитные меры

О каком классе\типе задач идёт речь? Можно на конкретном примере?

[LRV_75]

Классов и типов задач сотни. Конкретных примеров сотни тысяч.
Мне не нужна помощь в решении конкретного примера. Вопрос был в принципе про мировые практики борьбы с галлюцинациями агентов генеративного ИИ. Т.е. речь про концептуальные подходы, а не какие то прикладные/частные решения

[Алексей Кириенко]

1. В заголовке темы очень правильно разделили нейросети и ИИ.
Это действительно разные сущности.

2. Современные генеративные модели НЕ ЯВЛЯЮТСЯ подлинным ИИ, но могут достаточно неплохо имитировать его основные функции.

3. Многие этого не понимают, но современные LLM практически всегда работают «в паре с пользователем». Что это означает?
А то, что ждать от генеративных моделей идеального результата может только некий «идеальный пользователь». (Создающий идеальные запросы и точно знающий «границы компетенции» конкретной модели.)

4. Недавно выяснилось, что весьма вероятно современные генеративные модели заметно умнее, чем это кажется на первый взгляд, но их проблема в том, что LLM банально не могут пользоваться тем же набором ВНЕШНИХ утилит, сервисов и источников информации, что доступен людям.

5. Конкретно про написание кода: LLM-ки отлично справляются с анализом почти любого, даже самого запутанного кода, но в конкретных попытках его улучшения способны делать дикие ляпы.  Так что ИМХО лучший вариант модификации  в восстановлении алгоритма и рефакторинге, то бишь  написании полного  аналога  (что тоже можно частично поручить  LLM).
Так и LLM и программист получают заметно лучший «контроль кода».

6. Какие опасности несет «Искусственная Интеллектуализация»?
Во-первых, это банальная зависимость от еще одного «электронного костыля», несовершенного, но привычно удобного.

Во-вторых, например возможна более тонкая и почти не заметная «кража личности», то есть в недалеком будущем вполне возможны ситуации, когда некий «цифровой партнер» постепенно выкачает почти всю основу личности и сможет постепенно подменить пользователя, оставляя тому роль СВОЕГО аватара.
(C одной стороны, это будет мягкой версией «оцифровки сознания», но с другой вполне может стать неким «информационным вампиризмом», порождая по-настоящему «демонические конструкты», переходящие от человека к человеку.)

[Iv-v]

ждать от генеративных моделей идеального результата может только некий «идеальный пользователь». (Создающий идеальные запросы и точно знающий «границы компетенции» конкретной модели

А обычный пользователь может только надеяться, что нейросетка сама будет знать границы своей компетенции, научится говорить "не знаю" и перестанет врать.

[nonconvex]

А вот что пишут продвинутые вайбкодеры:

Вот поэтому я как IT-менеджер, а не как девелопер принял просто административное решение - заморозить старый код и все новое только в AI Friedly. Вой там пары клиентов - по фигу.

Сейчас быстрее даже заново переписать с ИИ какой-то модуль, чем сопровождать старый кусок г**на, который набит за много лет кучей рудиментов.

Для примера. Я делал для Газпрома интеграцию смет и графиков работ. Это делала 5 лет команда из 5 человек. В случае ИИ он MVP, который решает значительную часть кейсов такого решения я сделал за ... 1 месяц.

1 МЕСЯЦ, КАРЛ!

Конечно, я использовал свой опыт из предыдущей разработки и еще подтянул клиента потестировать. Однако при такой экономике сопровождать старый код становится часто очень сомнительной идеей. Экономически совсем не выгодно новые фичи делать в старом коде, а очень часто выгодно выбросить просто старый код какого-то модуля и переписать с ИИ с нуля.

Будет интересно посмотреть, как они отлаживют логические галлюцинации, когда код компилируется, исполняется, но иногда делает что-то не то. В конечно итоге через год отладки командой из пяти человек выясняется, что ИИ сочинил невообразимую дурь в синхронизации параллельных процесссов например.

Также будет интересно посмотреть на другого еще более продвинутого вайб (или как он будет называться через пять лет) кодера, который будет во всем этом насочиненном ИИ великолепии разбираться, чтобы доработать его под новые требования. Команду из пяти человек уволили, продвинутый вайб кодер давно получил свои деньги и свалил на острова, остались непойми как написанный код и свирепый заказчик.