Опасности и преимущества использования нейросетей и ИИ для человечества - факты и только факты

[Inti]

Альтман намекает что ИИ ещё далеко до его потолка возможностей:
https://economictimes.indiatimes.com/tech/artificial-intelligence/well-never-get-that-lucky-again-says-openai-ceo-sam-altman-on-chatgpts-breakthrough-moment/articleshow/125654185.cms?from=mdr

[Inti]

«Я глубоко, глубоко сожалею»: ИИ-агент Google без разрешения стёр диск пользователя, но потом извинился
https://3dnews.ru/1133337/ya-gluboko-gluboko-sogaleyuiiagent-google-bez-razresheniya-styor-disk-polzovatelya-no-potom-izvinilsya

[Inti]

Anthropic опубликовала большое внутреннее исследование о том, как ИИ меняет работу инженеров — на этот раз не в теории, а на собственном примере.
Летом 2025 года команда собрала данные по 132 инженерам и исследователям, провела 53 глубинных интервью и проанализировала около 200 000 логов Claude Code за два периода с разницей в полгода. Это не срез по индустрии, а взгляд изнутри компании, которая сама разрабатывает ИИ и имеет к нему ранний доступ, и в статье это честно оговаривается:
https://habr.com/ru/companies/otus/news/972940/

[Inti]

[nonconvex]

«Я глубоко, глубоко сожалею»: ИИ-агент Google без разрешения стёр диск пользователя, но потом извинился
https://3dnews.ru/1133337/ya-gluboko-gluboko-sogaleyuiiagent-google-bez-razresheniya-styor-disk-polzovatelya-no-potom-izvinilsya

Ну это сплошь и рядом. Не нужно давать тупому алгоритму давать права на удаление информации. Я дня два пытался понять, почему в распределенной вычислительной сети, созданные по рекомендации ИИ токены не работают как ключи, при том что он меня уверял, что если указать ему время жизни равное нулю, то жизнь будет бесконечной, повторяя эту тезу в каждом ответе. После долгих разборок выяснилось, что жизнь у него была нулевой, он самозапрещался в момент создания. И что вы думаете? Этот железный идиот извинился, и тут же начал втирать, как важно не указывать там ноль. Прямо как Инти, совершенно невозмутимо.

[OlegN]

Да это сплошь не только у ИИ , а просто и у программистов ... Год назад купили на предприятие в качестве пробника комплект умного дома (просто управляющую сенсорную панель ). (Директор был на семинаре ,и там показали ему . Давайте глянем , что за штука (Предприятие занимается светотехникой , и все прибамбасы отслеживает , для интереса )) . И что ? Распаковали , поигрались...вроде красиво . И потом один , дотошный ,говорит - вот пункт в меню - частота опроса, 5- 10 секунд. А если я захочу ноль поставить, что будет, даст мне или нет? Поставил. Всё . Кирпич. Только появляется менюшка , и сразу улетает . И не исправить . (Хотя штуковина Китайская ...может ИИ участвовал) . Продавец на запросы отвечал , что он только дилер , и не знает как войти в инженерное меню .. Второй комплект прислал.

[nonconvex]

У программистов понятно, но допускать этого железного идиота до мягких тканей мягко говоря неразумно. Он в стакан вместо воды средство от прочистки труб нальет а потом будет глубоко извиняться. Причем нальет не от скорби вселенской, а просто так, по наводке весовой функции.

[Inti]

У программистов понятно, но допускать этого железного идиота до мягких тканей мягко говоря неразумно. Он в стакан вместо воды средство от прочистки труб нальет а потом будет глубоко извиняться. Причем нальет не от скорби вселенской, а просто так, по наводке весовой функции.

Можно подумать что люди никогда ничего по ошибке(или даже намеренно) друг другу не наливают, ага. Понятно что лошади разумнее автомобиля, но люди всё равно автомобилями стали пользоваться, вот так же и с роботами будет, и так же как с автомобилями будут несчастные случаи. Главное чтобы никто лично Вас не заставлял робота купить, и всё будет хорошо - сами будете делать то что у других будут делать роботы.

[Inti]

СИДНЕЙ, 10 декабря (Рейтер) - В среду Австралия стала первой страной, запретившей социальные сети для детей младше 16 лет, заблокировав доступ к ним. Этот шаг приветствовали многие родители и защитники прав детей.

Премьер-министр Энтони Альбанезе назвал этот день «гордым днем» для семей и назвал закон доказательством того, что политики могут обуздать вред в Интернете, который опережает традиционные меры безопасности.

«Это будет иметь огромное значение. «Это одно из крупнейших социальных и культурных изменений, с которыми столкнулась наша страна», — заявил Альбанезе на пресс-конференции в среду.
«Это глубокая реформа, которая продолжит находить отклик во всем мире»э

В видеообращении Альбанезе призвал детей «начать новый вид спорта, новый инструмент или прочитать книгу, которая уже некоторое время лежит у вас на полке», в преддверии летних школьных каникул в Австралии, которые начнутся в конце этого месяца.

За несколько часов до вступления запрета в силу многие из примерно миллиона детей, затронутых этим законом, начали публиковать сообщения с прощанием со своими онлайн-подписчиками.

«Больше никаких социальных сетей... никаких контактов с остальным миром», — написал один подросток в TikTok.
«#seeyouwhenim16», — сказал другой.

ЗАПРЕТ ИМЕЕТ ГЛОБАЛЬНЫЕ ПОСЛЕДСТВИЯ

Внедрение завершает год дебатов о том, может ли какая-либо страна практически запретить детям использовать платформы, встроенные в повседневную жизнь, и начинает живое испытание для правительств по всему миру, разочарованных тем, что компании социальных сетей медленно реализуют меры по снижению вреда.

Левоцентристское правительство Альбанезе предложило этот знаменательный закон, ссылаясь на исследования, показывающие вред психическому здоровью от чрезмерного использования социальных сетей среди подростков, включая дезинформацию, издевательства и вредоносное изображение образа тела.

Несколько стран от Дании до Новой Зеландии и Малайзии дали понять, что могут учиться или подражать Модель Австралии, делающая страну испытательным примером того, насколько далеко правительства могут зайти в вопросе ограничения возраста, не подавляя при этом свободу слова и инновации.

Джули Инман Грант, комиссар по электронной безопасности, родившаяся в США и курирующая запрет, заявила агентству Reuters в среду, что множество американских родителей хотят принятия аналогичных мер.
«Я слышу от родителей, активистов и простых людей в Америке: «Мы хотели бы, чтобы в Америке был такой комиссар по электронной безопасности, как вы, мы хотели бы, чтобы у нас было правительство, которое поставило бы безопасность подростков выше прибыли от технологий»», — сказала она в интервью в своем офисе в Сиднее.

«НЕ НАШ ВЫБОР»: X ГОВОРИТ, ЧТО ПОДЧИНИТСЯ

X Илона Маска стала последней из 10 крупных платформ, принявших меры по ограничению доступа несовершеннолетних подростков после того, как в среду публично признала, что выполнит их.
«Это не наш выбор — этого требует австралийское законодательство», — говорится на сайте X.
«X автоматически отчисляет любого, кто не соответствует нашим возрастным требованиям»
Австралия заявила, что первоначальный список охваченных платформ будет меняться по мере появления новых продуктов и миграции молодых пользователей.

Компании сообщили Канберре, что будут использовать сочетание определения возраста — оценки возраста пользователя на основе его поведения — и оценки возраста на основе селфи, а также проверок, которые могут включать загруженные документы, удостоверяющие личность, или привязанные данные банковского счета.

[nonconvex]

У программистов понятно, но допускать этого железного идиота до мягких тканей мягко говоря неразумно. Он в стакан вместо воды средство от прочистки труб нальет а потом будет глубоко извиняться. Причем нальет не от скорби вселенской, а просто так, по наводке весовой функции.

Можно подумать что люди никогда ничего по ошибке(или даже намеренно) друг другу не наливают, ага.

Намеренно наливают, по ошибке - крайне редко. Вам наливали? очевидно нет. И мне тоже не наливали. Вероятность же того, что вам робот нальет чего нибудь не того где то в районе 0.05, что очень и очень много.

[Inti]

У программистов понятно, но допускать этого железного идиота до мягких тканей мягко говоря неразумно. Он в стакан вместо воды средство от прочистки труб нальет а потом будет глубоко извиняться. Причем нальет не от скорби вселенской, а просто так, по наводке весовой функции.

Можно подумать что люди никогда ничего по ошибке(или даже намеренно) друг другу не наливают, ага.

Намеренно наливают, по ошибке - крайне редко. Вам наливали? очевидно нет. И мне тоже не наливали. Вероятность же того, что вам робот нальет чего нибудь не того где то в районе 0.05, что очень и очень много.

Господи, откуда этот человек всё знает так точно? Я знаю всего лишь то что любая машина\автомобиль или даже инструмент, да вообще любой рукотворный объект -  могут принести человеку вред. Но пока что это прогресс не остановило.

[nonconvex]

Господи, откуда этот человек всё знает так точно? Я знаю всего лишь то что любая машина\автомобиль или даже инструмент, да вообще любой рукотворный объект -  могут принести человеку вред. Но пока что это прогресс не остановило.

Знаю, из профессиональной деятельности.
Похоже вам ваш молоток регулярно наносит вред.

Кстати, интересно, задайте Хрюку вопрос- каков уровень корректности его ответов (accuracy level)?

[Inti]

Знаю, из профессиональной деятельности.

Сколько регулярно травятся и травмируются - знают не инженеры, не учёные, а работники госпиталей и травмпунктов. Насколько я понимаю - никакого отношения к вашей профессии.

Кстати, интересно, задайте Хрюку вопрос- каков уровень корректности его ответов (accuracy level)?

Нет проблем. Пожалуйста:
(возможно что пришло время относиться к ИИ с большим уважением?)

Grok-4.1 (ноябрь 2025) — текущий флагман — оптимизирован для скорости и точности: 2.97% ошибок на FActScore (против 9.89% у предыдущей версии), галлюцинации всего 3–4% в быстром режиме. На биографических вопросах(где модель должна дать строго фактические ответы о реальных людях) точность ~97%, а в агентных workflow (например, поддержка клиентов) — свыше 95%, что делает её самой надёжной для повседневного использования.

Сравнение с средним человеком и профессионалом-эрудитом

Средний человек, опираясь на опросы вроде General Social Survey (GSS) по научным фактам, демонстрирует точность около 60–65%: например, только 49% правильно отвечают на эволюцию человека или 38% на Большой взрыв. Это отражает повседневные знания, но с пробелами в сложных темах — люди часто полагаются на интуицию, что приводит к 30–40% ошибок в незнакомых областях из-за когнитивных предубеждений вроде эффекта Даннинга-Крюгера, где переоценка уверенности маскирует невежество. 
В отличие от моделей Grok, которые масштабируют знания из огромных датасетов, средний индивид ограничен личным опытом, что снижает точность в междисциплинарных или актуальных вопросах.

Профессионал-эрудит — учёный, профессор или эксперт с PhD — достигает 85–95% точности в своей доменной области, как показывают тесты вроде GPQA или медицинских экзаменов, где они превосходят даже топ-модели на 5–10% в нюансах интерпретации. Однако за пределами специализации их уровень падает до 70–80%, подобно эрудированному любителю, из-за отсутствия "усилий" в извлечении знаний (в отличие от моделей, обученных на петабайтах данных). Grok-3 и выше часто опережают такого эксперта в ширине (мультидисциплинарность), но уступают в глубокой креативной инсайдерской оценке, где человеческий контекст добавляет 5–10% надёжности. 

[nonconvex]

Знаю, из профессиональной деятельности.

Сколько регулярно травятся и травмируются - знают не инженеры, не учёные, а работники госпиталей и травмпунктов. Насколько я понимаю - никакого отношения к вашей профессии.

Кстати, интересно, задайте Хрюку вопрос- каков уровень корректности его ответов (accuracy level)?

Нет проблем. Пожалуйста:
(возможно что пришло время относиться к ИИ с большим уважением?)

Grok-4.1 (ноябрь 2025) — текущий флагман — оптимизирован для скорости и точности: 2.97% ошибок на FActScore (против 9.89% у предыдущей версии), галлюцинации всего 3–4% в быстром режиме. На биографических вопросах(где модель должна дать строго фактические ответы о реальных людях) точность ~97%, а в агентных workflow (например, поддержка клиентов) — свыше 95%, что делает её самой надёжной для повседневного использования.

Это и есть вероятность ошибки в 0.05, что можно принять в прототипировании, но недопустимо много в робототехнике, и вообще в критичных для безопасности применениях.

Можете скушать шляпу , пополам с флагманом.

[Inti]

Это и есть вероятность ошибки в 0.05

Пока что процент ошибок падает от года к году и от версии к версии. Рано или поздно он станет мизерным. Того бреда что был в первых моделях LLM - сегодня уже нет или очень мало.

недопустимо много в робототехнике

Во-первых, не надо путать LLM с тем что используется в робототехнике, помимо LLM в роботах будут другие ограничители, например, можно легко запретить роботу приближаться к человеку ближе 2-х метров без всякого ИИ. Откуда он может наливать жидкости - тоже можно ограничить не полагаясь исключительно на ИИ, слава богу распознавание надписей и штрих-кодов нынче очень надёжное и не обязательно завязано на LLM. И так далее. 

Во-вторых, роботы поначалу могут использоваться не для всего на свете как LLM, а для конкретных задач в конкретных местах, например на производстве где исключен вред человеку, или дома но под надзором владельца или телеоператора.
Таким образом, количество ошибок будет резко сокращено, а те что останутся - не будут критичными.

[nonconvex]

Это и есть вероятность ошибки в 0.05

Пока что процент ошибок падает от года к году и от версии к версии. Рано или поздно он станет мизерным. Того бреда что был в первых моделях LLM - сегодня уже нет или очень мало.

К сожалению проблема ошибок имеет экспоненциальный характер, в смысле потребляемой мощности на обучение. Таким образом, 3-5 процентов будут держаться в ближайщие лет десять, а может и все сто (улыбаемся и машем Насреддину). Но денююшки на роботов надо рубить прямо сейчас, пока инвесторы не догадались, что их на-ду-ва-ют!

[nonconvex]

роботы поначалу могут использоваться не для всего на свете как LLM, а для конкретных задач в конкретных местах, например на производстве где исключен вред человеку

Ага, например в установке заготовок в патрон универсального станка. Летают они красиво, через весь цех, могут кирпичную кладку пробить. 

[nonconvex]

или дома но под надзором владельца или телеоператора.

Вот тут согласен, 10 лет строгого надзора не помешают!

[Inti]

3-5 процентов будут держаться в ближайщие лет десять

С чего бы это если за последние несколько лет эти проценты очень заметно падали?

[Inti]

роботы поначалу могут использоваться не для всего на свете как LLM, а для конкретных задач в конкретных местах, например на производстве где исключен вред человеку

Ага, например в установке заготовок в патрон универсального станка. Летают они красиво, через весь цех, могут кирпичную кладку пробить.

Придумать можно всё что угодно, например трагедию робота запрягающего лошадь оглоблей через зад, но на практике современные станки уж как-нибудь помогут избежать таких страхов, не говоря уже о том что их сейчас делают закрытыми со всех сторон.