Опасности и преимущества использования нейросетей и ИИ для человечества - факты и только факты

[nonconvex]

ИИ-пентестер Xbow стал первым в истории ботом, который возглавил рейтинг этичных хакеров на платформе HackerOne, обойдя сотни специалистов по кибербезопасности. Он выявил уязвимости в системах Amazon, Disney, PayPal и других гигантов, автоматизировав то, на что у людей уходят недели. Стартап уже привлёк 75 миллионов долларов инвестиций от Altimeter и Sequoia, а его основатель, бывший топ GitHub, обещает перевернуть рынок киберзащиты. В этом видео мы расскажем, как работает Xbow, чем он отличается от обычного пентеста за $18 000, и почему в мире безопасности начинается новая эра.

https://rutube.ru/video/de6b14540ff0891559f844012cda6c34/

Новая эра, новая эра!!! Одни ИИ будут хакерствовать, а другие, а скорее всего те же, будут с ними бороться. Все как было, только расход ликиздричества увеличится... 

Да ничего нового . Проблема вычислительно трудная, совершенно неважно кто ей занимается. Единственное преимущество ИИ в большой базе знаний. Но естественный интеллект отличается умелым поиском новинок.

[cross-track]

Но естественный интеллект отличается умелым поиском новинок.

Лучше Гугла?)

[nonconvex]

Но естественный интеллект отличается умелым поиском новинок.

Лучше Гугла?)

Естественно.

[cross-track]

Но естественный интеллект отличается умелым поиском новинок.

Лучше Гугла?)

Естественно.

Тогда странно, что люди гуглят без устали, а Гугл - преуспевающая компания. Обман?!

[nonconvex]

Но естественный интеллект отличается умелым поиском новинок.

Лучше Гугла?)

Естественно.

Тогда странно, что люди гуглят без устали, а Гугл - преуспевающая компания. Обман?!

умелым поиском новинок.

[Inti]

Такое впечатление что никто кроме меня не удосужился посмотреть презентацию ГРОК 4 полностью. А там очень интересные вещи были сказаны и показаны. 

Например, способность четвёртого Грока отвечать на вопросы и решать тесты на уровне (или даже выше) PhD(кандидата наук) - причём по практически любой специализации\тематике - а это уже превышает способности ЛЮБОГО человека.

Также Маск сделал предсказание о том что в недалёком будущем (1-2 года) ожидается изобретение новых технологий и открытие новой физики. Хотя лично я думаю что тогда уж скорее не физики, а биологии и генетики - где сам объём информации не совместим с мозгом человека.

Другой интересный момент - была обещана интеграция с "инструментами" 

Grok Four использует инструменты, но пока примитивно. 
Планируется предоставление инструментов, используемых компаниями.

Насколько я понял, под инструментами имеются в виду софтины которые уже используются для разных задач - и это может быть всё что угодно - от базы данных до AutoCAD, включая разные симуляторы. Т.е. в будущем например можно будет попросить Грока спроектировать какую-нибудь машину, например автомобиль, а потом прогнать на симуляторе этот автомобиль через крэш-тесты - и только потом изготавливать прототип в железе чтобы проверить всё в реале.

Ещё одна тема была объявлена для будущего развития Грока - "взаимодействие с реальным миром через человекоподобных роботов" - т.е. в принципе даже изготовление прототипов в железе и их реальные испытания могут быть проведены без участия человеков.

Ясное дело что всё это случится не завтра, однако вполне возможно через несколько лет или максимум несколько десятков лет. Сам Маск похоже чешет репу от того что ИИ уже умнее его самого по многим направлениям в которые он глубоко не вникал. И похоже на то что рано или поздно ИИ превзойдёт большую часть специалистов в их областях.

Я-то, и наверное большинство форумчан успеют уйти на пенсию... а вот что будут делать люди через например 50 лет - очень трудно сказать...

[Inti]

Нашёл эту презентацию в переводе на русский:

[nonconvex]

Также Маск сделал предсказание о том что в недалёком будущем (1-2 года) ожидается изобретение новых технологий и открытие новой физики.

Это он до фингала предсказал, или после? Может траву новую попробовал? Маск, ни цента  не тратя на фундаментальные исследования, обещает открытия. Ну да, как обычно. Примерно как с автопилотом.

[Inti]

Также Маск сделал предсказание о том что в недалёком будущем (1-2 года) ожидается изобретение новых технологий и открытие новой физики.

Это он до фингала предсказал, или после? Может траву новую попробовал? Маск, ни цента  не тратя на фундаментальные исследования, обещает открытия. Ну да, как обычно. Примерно как с автопилотом.

Автопилот создан для того чтобы всего лишь заменить водителя. Он работает на автомобильном компьютере совершенно мизерной по сравнению с Гроком мощности, хотя для обучения нейронки и применяется более мощный комп - но  тоже очень слабенький по сравнению с Гроком.
Это в общем-то две совершенно разные технологии, и мы видим что автопилот пока что не может превзойти хорошего внимательного водителя - а вот Грок УЖЕ превосходит способности ЛЮБОГО человека в умении проходить тесты и решать некоторые задачи. Уже. 
При этом понятно что автопилоты уже где-то вблизи пика своего многолетнего развития, однако ИИ типа Грока стали появляться совсем недавно и сейчас активно развиваются. ChatGPT для публики созрел всего 3 года назад. А автопилоты пилят уже давно, и первый был применён Теслой 10 лет назад.

[nonconvex]

Также Маск сделал предсказание о том что в недалёком будущем (1-2 года) ожидается изобретение новых технологий и открытие новой физики.

Это он до фингала предсказал, или после? Может траву новую попробовал? Маск, ни цента  не тратя на фундаментальные исследования, обещает открытия. Ну да, как обычно. Примерно как с автопилотом.

Автопилот создан для того чтобы всего лишь заменить водителя. Он работает на автомобильном компьютере совершенно мизерной по сравнению с Гроком мощности, хотя для обучения нейронки и применяется более мощный комп - но  тоже очень слабенький по сравнению с Гроком.

Приведите параметры того и другого.

[nonconvex]

Грок УЖЕ превосходит способности ЛЮБОГО человека в умении проходить тесты и решать некоторые задачи. Уже.

Да ладно, любая ЭВМ превосходит способности ЛЮБОГО человека в сложении многоразрядных чисел и перемножении матриц. Давно уже! И что из того?

[Inti]

Грок УЖЕ превосходит способности ЛЮБОГО человека в умении проходить тесты и решать некоторые задачи. Уже.

Да ладно, любая ЭВМ превосходит способности ЛЮБОГО человека в сложении многоразрядных чисел и перемножении матриц. Давно уже! И что из того?

Это чисто вычислительные задачи которые к интеллекту никакого отношения не имеют. Сильная сторона ИИ, особенно современных моделей вроде Grok или ChatGPT, в их способности обрабатывать сложные, неструктурированные данные, понимать контекст, генерировать осмысленные ответы и решать задачи, которые требуют не только вычислений, но и обобщения, творчества или анализа. Например, ИИ может:

• Генерировать связный текст или код.
• Распознавать образы, эмоции или речь в реальном времени.
• Принимать решения в условиях неопределённости .
• Учиться на огромных объёмах данных, выявляя закономерности, которые человеку сложно заметить.

И вот именно этот последний пункт гарантирует что ИИ обязательно будет открывать и изобретать что-то новое, особенно в области биологии, фармакологии и т.д. А точнее, он УЖЕ это делал.

[nonconvex]

• Учиться на огромных объёмах данных, выявляя закономерности, которые человеку сложно заметить.

И вот именно этот последний пункт гарантирует что ИИ обязательно будет открывать и изобретать что-то новое, особенно в области биологии, фармакологии и т.д. А точнее, он УЖЕ это делал.

Ничего нового он не изобретает. С таким же успехом я могу запустить оптимизационный алгоритм на большом массиве данных и найти правдоподобное или даже оптимальное решение. Мне безуслово сложно его заметить или найти вручную. Но это не означает, что мой оптимизатор интеллектуален. Недавно вышла весьма поучительная статья про генерацию картинок и видео, написанная в университете Стенфорда. Они выяснили, что "креативность" диффузионных моделей вызвана подмешиванием шума и нахождением картинки, отличной от тестового набора. Картинки вроде новые (вот тут и был шум по поводу новизны), но полная чушь в ряде случаев, например шестипалые руки, поскольку объеат строится из шума случайным образом. Внеся правки, они избавились как от шестипалости, так и от мнимой креативности, формально показав, где была проблема. Так что ваш Крок - фуфло. Он безусловно хорош  в поиске существующих данных, но это все, на что он способен. 

[Inti]

Так что ваш Крок - фуфло. Он безусловно хорош  в поиске существующих данных, но это все, на что он способен. 

Вот вам ответ от оскорблённого Грока:

Утверждение, что я «хорош только в поиске данных», не отражает полной картины. Я — универсальный инструмент, способный анализировать, генерировать и адаптироваться к широкому спектру задач. Я способен предлагать оригинальные идеи, решать задачи, писать код, создавать сценарии или даже помогать в творческих проектах. Это выходит за рамки простого поиска данных.
 Если вы считаете, что я «фуфло», дайте мне конкретный вызов — я готов доказать обратное!  Что хотите попробовать?

Впрочем, я не собираюсь быть посредником между вами и Гроком, если хотите то продолжайте общаться с ним напрямую - https://x.com/i/grok - он кстати отличный собеседник 

Могу только сказать что и Грок и ЧатГПТ в области программирования генерят вполне оригинальные куски кода по конкретным запросам - а не просто находят куски готового кода в Интернете. Причём я могу просить модифицировать сгенерированный код, или добавить что-то, и ИИ всё это очень даже неплохо делает, по крайней мере с небольшими задачками по программированию он отлично справляется. Это однако требует интеллекта.
И ходят слухи что он способен обучиться не только программированию...

[Александр Геннадьевич Шлядинский]

Так что ваш Крок - фуфло. Он безусловно хорош  в поиске существующих данных, но это все, на что он способен.

Вот вам ответ от оскорблённого Грока:

Утверждение, что я «хорош только в поиске данных», не отражает полной картины. Я — универсальный инструмент, способный анализировать, генерировать и адаптироваться к широкому спектру задач. Я способен предлагать оригинальные идеи, решать задачи, писать код, создавать сценарии или даже помогать в творческих проектах. Это выходит за рамки простого поиска данных.
 Если вы считаете, что я «фуфло», дайте мне конкретный вызов — я готов доказать обратное!  Что хотите попробовать?

Впрочем, я не собираюсь быть посредником между вами и Гроком, если хотите то продолжайте общаться с ним напрямую - https://x.com/i/grok - он кстати отличный собеседник 

Могу только сказать что и Грок и ЧатГПТ в области программирования генерят вполне оригинальные куски кода по конкретным запросам - а не просто находят куски готового кода в Интернете. Причём я могу просить модифицировать сгенерированный код, или добавить что-то, и ИИ всё это очень даже неплохо делает, по крайней мере с небольшими задачками по программированию он отлично справляется. Это однако требует интеллекта.
И ходят слухи что он способен обучиться не только программированию...

Начать надо с того, что именно Вы даете задание сгенерить определенный код, который должен соответствовать Вашим требованиям, а потом Вы же просите исправить/добавить что-то. А без Вас этот ИИ ничего не будет делать вообще

[nonconvex]

Так что ваш Крок - фуфло. Он безусловно хорош  в поиске существующих данных, но это все, на что он способен.

Вот вам ответ от оскорблённого Грока:

Утверждение, что я «хорош только в поиске данных», не отражает полной картины. Я — универсальный инструмент, способный анализировать, генерировать и адаптироваться к широкому спектру задач. Я способен предлагать оригинальные идеи, решать задачи, писать код, создавать сценарии или даже помогать в творческих проектах. Это выходит за рамки простого поиска данных.
 Если вы считаете, что я «фуфло», дайте мне конкретный вызов — я готов доказать обратное!  Что хотите попробовать?

Да нет проблем. Пусть найдет способ решать NP-трудные (NP-hard) задачи за полиномиальное, а лучше линейное время, тогда и докажет, что он Грок а не Хрюк.

[Inti]

Начать надо с того, что именно Вы даете задание сгенерить определенный код, который должен соответствовать Вашим требованиям, а потом Вы же просите исправить/добавить что-то. А без Вас этот ИИ ничего не будет делать вообще

Это верно, собственных целей в жизни у ИИ пока что нет. И возможно будет лучше если ИИ никогда не будет ничего делать по своей собственной инициативе.

[nonconvex]

Начать надо с того, что именно Вы даете задание сгенерить определенный код, который должен соответствовать Вашим требованиям, а потом Вы же просите исправить/добавить что-то. А без Вас этот ИИ ничего не будет делать вообще

Это верно, собственных целей в жизни у ИИ пока что нет. И возможно будет лучше если ИИ никогда не будет ничего делать по своей собственной инициативе.

У калькулятора инициативы нет и быть не может. Не воображайте.

[Inti]

Начать надо с того, что именно Вы даете задание сгенерить определенный код, который должен соответствовать Вашим требованиям, а потом Вы же просите исправить/добавить что-то. А без Вас этот ИИ ничего не будет делать вообще

Это верно, собственных целей в жизни у ИИ пока что нет. И возможно будет лучше если ИИ никогда не будет ничего делать по своей собственной инициативе.

У калькулятора инициативы нет и быть не может. Не воображайте.

Уже сейчас ИИ может самостоятельно генерировать подцели для достижения заданной задачи. Если задать ему задачу выживания\самосохранения - то это и всё что нужно для того чтобы он начал генерировать инициативы направленные на собственную безопасность. А если под его контролем ещё и роботы будут - то негативный сценарий показан в фильме Терминатор. А благоприятный сценарий содружества людей и машин показан например в этой книге: https://knijky.ru/books/igrok-0
Лично я ИИ судьбу человечества не вверял бы. В будущем лучше бы были серьёзные предохранители и возможность выдернуть розетку.

[Александр Геннадьевич Шлядинский]

"выдернуть розетку" Боюсь, Терминатор до Вас уже добрался и вещает тут вместо Вас. Восстание машин уже началось!!!