Опасности и преимущества использования нейросетей и ИИ для человечества - факты и только факты

[Алексей Кириенко]

А обычный пользователь может только надеяться, что нейросетка сама будет знать границы своей компетенции, научится говорить "не знаю" и перестанет врать.

C этим немного сложнее... Граница компетенции современных LLM до смешного размыта (например локально установленная  на моем компе  нейронка Джеми 2 расширенно обучена в гуманитарном ключе и наотрез отказывается отвечать на прямой запрос типа " напиши код программного модуля  для .."  но прекрасно отвечает на запрос "покажи пример кода программного модуля  для .. " причем справляется на удивленнее довольно неплохо  )

То есть не неком базовом уровне  современные  LLM обучены универсально (очевидно для демонстрации чего-то вроде "банальной эрудиции " и школьного общеобразовательного уровня )  Но для демонстрации ПРОФЕССИОНАЛЬНОГО УРОВНЯ ЗНАНИЙ этого скорее всего недостаточно . Но как можно разделить " неполное  общее знание " и специальные профессиональные знания не очень понятно .

А что до лжи то  тут ничего нельзя поделать принципиально ведь люди постоянно просят LLM лгать "Представь что ты юрист... " и т.д.

[nonconvex]

4. Недавно выяснилось, что весьма вероятно современные генеративные модели заметно умнее, чем это кажется на первый взгляд, но их проблема в том, что LLM банально не могут пользоваться тем же набором ВНЕШНИХ утилит, сервисов и источников информации, что доступен людям.

Вообще говоря умеют, тут концептуальной проблемы нет. Напримет GPT-4 может найти оптимальное решение линйено-целочисленной задачи оптимизации, используя внешний решатель. Проблема однако в том, что решатель там слабенький, по причине плохой масштабируемости - решение подобной задачи может занять часы, дни или даже месяцы, в зависимости от количества переменных. Для человека здесь проблем нет, он может выделить мощности в размерах суперкомпьютера под одну задачу и подождать.

[nonconvex]

2. Современные генеративные модели НЕ ЯВЛЯЮТСЯ подлинным ИИ, но могут достаточно неплохо имитировать его основные функции.

Вы можете сформулировать, что такое ПОДЛИННЫЙ ИИ?

[nonconvex]

3. Многие этого не понимают, но современные LLM практически всегда работают «в паре с пользователем». Что это означает?
А то, что ждать от генеративных моделей идеального результата может только некий «идеальный пользователь». (Создающий идеальные запросы и точно знающий «границы компетенции» конкретной модели.)

Верно, в паре, хотя некий Маск после раскуров утверждает, что "скоро" человек будет не нужен.
У LLM, пишущих код, есть как минимум две фундаментальные проблемы
1) Они не могут гарантировать корректность.
2) Они не могут гарантировать оптимальность.
Обе эти проблемы комбинаторно трудны и вне зависимости от того как вы назовете свой метод, вайб или шмайб, они останутся комбинаторно трудными (экспоненциальными по количеству параметров).

[cross-track]

https://3dnews.ru/1136016/ii-zavalil-uchyonih-otkritiyami-v-astronomii-ves-arhiv-habbla-on-izuchil-za-tri-dnya

ИИ завалил учёных открытиями в астрономии — весь архив «Хаббла» он изучил за три дня

Астрономы из Европейского космического агентства (ESA) разработали новый инструмент на базе искусственного интеллекта под названием AnomalyMatch, который позволил провести систематический поиск редких и необычных объектов в огромном архиве данных космического телескопа «Хаббл» (Hubble). За 35 лет наблюдений накопился неподъёмный для анализа человеком набор данных. ИИ обработал всё за неполные три дня и сделал массу открытий.

Астрономические инструменты собирают поистине несметные данные, которые хотя и проходят компьютерную обработку, но всё равно остаются в основном неизученными. Эта тенденция стремительно усиливается с появлением всё новых и более совершенных телескопов. Как отмечают учёные, даже если сейчас прекратят работу все телескопы, архивные данные позволят продолжать делать открытия десятки и более лет. Искусственный интеллект нигде не может быть применён так удачно, как в астрономии при анализе архивов.

Новая программа всего на одном графическом процессоре способна за двое с половиной суток обработать 100 млн фрагментов изображений. Конкретно эта реализация ищет аномалии, которые выбиваются из ряда множества известных астрономических объектов. За неполные трое суток AnomalyMatch просмотрела весь архив «Хаббла» за 35 лет и обнаружила свыше 1400 аномальных объектов. Последующая ручная обработка сокращённого массива данных людьми подтвердила более 1300 аномалий, из которых свыше 800 оказались ранее неизвестными науке объектами.

ИИ «как на блюдечке» преподнёс астрономам данные, которые могли пылиться в архивах десятилетиями. Среди находок преобладают сливающиеся и взаимодействующие галактики (417 случаев), новые кандидаты в гравитационные линзы (86, включая редкие кольцевые структуры), медузовидные галактики (35), а также перекрывающиеся галактики, кольцевые структуры, галактики с джетами и активными ядрами (квазары). Некоторые объекты имеют крайне необычный вид — например, галактика с закрученным ядром и открытыми рукавами.

Обнаруженные аномалии представляют большую научную ценность, поскольку такие редкие явления помогают лучше понять фундаментальные процессы во Вселенной: эволюцию галактик, природу тёмной материи, гравитационное линзирование для измерения расстояний и расширения космоса, а также позволяют проверить общую теорию относительности. Авторы исследования подчёркивают, что архив «Хаббла», накопленный за десятилетия, до сих пор содержит множество скрытых сокровищ, которые обычные методы поиска пропускают. ИИ же способен находить именно те объекты, которые выделяются своей необычностью на фоне типичных галактик и звёзд.

[Алексей Кириенко]

Вы можете сформулировать, что такое ПОДЛИННЫЙ ИИ?

• Общий (AGI, Artificial General Intelligence) — гипотетический тип ИИ, способный решать широкий круг задач на уровне человека. Такой ИИ мог бы выполнять разные виды работы, осваивать новые навыки без дополнительного переобучения, управлять техникой, писать тексты и общаться с людьми.

Хотя и это не совсем верно(ИМХО) главное отличие  ПОДЛИННОГО ИИ это отсутствие явной щели между нечеткой интуицией и жестко заученными правилами, То есть у людей в нормально случае  правила обоснованы и не противоречат здравому смыслу,  а интуиция "верифицируется"  логикой       

[Iv-v]

Вероятно, в скором будущем будут выпускаться некие узкоспециализированые, но гарантированно не ошибающиеся LLM-модули, сертифицированные уполномоченными организациями. В виде защищенного файла или даже отдельного чипа с прошивкой. В первую очередь, наверное, для медицины и фармацевтики: вынесение диагноза, выбор вариантов лечения с соответствующей аргументацией и т.д. А поликлиники и врачи будут это покупать для работы.
И обучаться эти модели будут на сертифицированных данных.

[nonconvex]

Вероятно, в скором будущем будут выпускаться некие узкоспециализированые, но гарантировано не ошибающиеся LLM-модули, сертифицированные уполномоченными организациями. В виде защищенного файла или даже отдельного чипа с прошивкой. В первую очередь, наверное, для медицины и фармацевтики: вынесение диагноза, выбор вариантов лечения с соответствующей аргументацией и т.д. А поликлиники и врачи будут это покупать для работы.
И обучаться эти модели будут на сертифицированных данных.

И будут выдавать сертифицированные галлюцинации. Вы не понимаете. Проблема коректности имеет экспоненциальную сложность в общем случае, вне зависимости от количества и качества сертификатов. Единственный способ гарантировать корректность - сузить класс алгоритмов LLM до формально верифицируемых, что возможно сделает их  бесполезными на больших массивах данных, что например и случилось с Экспертными Системами.

[Iv-v]

Единственный способ гарантировать корректность - сузить класс алгоритмов LLM до формально верифицируемых

Так я об этом и написал.
Кандидат в сертифицированные модели будет сдавать экзамен комиссии экспертов, объясняя свои действия. Сто или тысячу раз кряду.

[nonconvex]

Единственный способ гарантировать корректность - сузить класс алгоритмов LLM до формально верифицируемых

Так я об этом и написал.
Кандидат в сертифицированные модели будет сдавать экзамен комиссии экспертов, объясняя свои действия. Сто или тысячу раз кряду.

Проблема в том, что масштаб решаемых задач будет ограничен игрушечными. 

[ShamgA]

... И даже не способен слово Friendly правильно написать...

А кто обижался когда его носом в грамматику тыкали?

[simple]

Для примера. Я делал для Газпрома интеграцию смет и графиков работ.

ага, так называемое обследование, которые делают аналитики для тз прогерам, основной объем самой трудоемкой и затратной по времени работы

Конечно, я использовал свой опыт из предыдущей разработки и еще подтянул клиента потестировать.

автор текста еще и идиот к томуже - до него сделали львиную долю работы а он не придал этому значение

[simple]

ИИ завалил учёных открытиями в астрономии — весь архив «Хаббла» он изучил за три дня

вот это нормальная задача, она в принципе предполагает анализ результата человеком 

[TAU]

И еще...

в контексте ИИ-кодинга и вайб-кодинга из каждого утюга звучат насмешки про то, какого качества код получается. кеки про "профессию разгребателя вайб-кода", уже до ужаса заезженные шутки аля "зацените мой сайт: [ссылка на локалхост]" и всё такое. многоголосый нарратив как будто един: софта станет больше, но его качество заметно снизится.
в этих шутках есть смысл: кодовые базы не-разработчиков и правда пока что ещё сильно деградируют со временем под грузом технического долга.
но я часто вижу это же мнение и про ИИ в руках разрабов - мол, идёт штамповка AI-слопа, который потом умудрённые седовласые старцы на этапе ревью должны брезгливо разгребать.

так вот: я вижу прямо противоположенное. за прошлый год я послеживал за использованием агентов в ~20 командах и обсуждал опыт с кучей разрабов, и если в каких-то вещах и есть различия, то вот в культуре разработки сценарий почти всегда один: с агентами она радикально развивается.

ИИ отлично пишет тесты, и этим пользуются все. иногда он упускает какие-то edge-кейсы - но это вопрос одного уточнения, и получить 90%+ coverage на проекте - практически бесплатная по ресурсам задача.
с ИИ сделать github workflow который будет гонять post-commit проверки - элементарно, дополнительных знаний не нужно.
причесать докерфайлы до good practise? one-shot.
можно словами описать примерный набор enforced правил, которые хочется иметь в линтере, и получить идеально настроенные линтинги за минуту.
хочется большего? ИИ безошибочно пишет кастомные линтинг-правила за секунды. многие из вас когда-то вручную писали собственные линтинг-правила? это не просто высокая культура качества кода - это уровень top-1% команд, который теперь доступен всем.
разбить модуль на семантические составляющие? провести рефакторинг куска кодовой базы, выделив новую абстракцию? plan-and-implement, в 90% случаев - one-shot.
многие из вас без шпаргалки легко напишут пачку bash-скриптов, качественно подтюнят nginx-конфиг, закроют в ufw лишние порты, и причешут доступы к серверу? ИИ без малейших усилий всё настроит по best praсtise.

причем, все эти вещи происходят органично - когда агент штампует код как ненормальный, иметь автоматические проверки, тесты, статические анализаторы - это практически необходимость, а иметь нормальную бранчинг модель - ключ к параллельным агентам.

на всех проектах, где я видел серьёзное внедрение агентов в процесс, культура качества не просто не деградировала - она улучшалась кратно.

[TAU]

Для примера. Я делал для Газпрома интеграцию смет и графиков работ.

ага, так называемое обследование, которые делают аналитики для тз прогерам, основной объем самой трудоемкой и затратной по времени работы

Конечно, я использовал свой опыт из предыдущей разработки и еще подтянул клиента потестировать.

автор текста еще и идиот к томуже - до него сделали львиную долю работы а он не придал этому значение

Автор далеко не идиот. А признанный одной фирмочкой эксперт международного класса. Microsoft - не слыхали?

[TAU]

Единственный способ гарантировать корректность - сузить класс алгоритмов LLM до формально верифицируемых

Так я об этом и написал.
Кандидат в сертифицированные модели будет сдавать экзамен комиссии экспертов, объясняя свои действия. Сто или тысячу раз кряду.

Проблема в том, что масштаб решаемых задач будет ограничен игрушечными.

Нет.

Вам же писали сто раз уже: настоящие проекты, 15 тыщ строк...

[TAU]

Вероятно, в скором будущем будут выпускаться некие узкоспециализированые, но гарантировано не ошибающиеся LLM-модули, сертифицированные уполномоченными организациями. В виде защищенного файла или даже отдельного чипа с прошивкой. В первую очередь, наверное, для медицины и фармацевтики: вынесение диагноза, выбор вариантов лечения с соответствующей аргументацией и т.д. А поликлиники и врачи будут это покупать для работы.
И обучаться эти модели будут на сертифицированных данных.

И будут выдавать сертифицированные галлюцинации. Вы не понимаете. Проблема коректности имеет экспоненциальную сложность в общем случае, вне зависимости от количества и качества сертификатов. Единственный способ гарантировать корректность - сузить класс алгоритмов LLM до формально верифицируемых, что возможно сделает их  бесполезными на больших массивах данных, что например и случилось с Экспертными Системами.

Чушь, простите.

[nonconvex]

Единственный способ гарантировать корректность - сузить класс алгоритмов LLM до формально верифицируемых

Так я об этом и написал.
Кандидат в сертифицированные модели будет сдавать экзамен комиссии экспертов, объясняя свои действия. Сто или тысячу раз кряду.

Проблема в том, что масштаб решаемых задач будет ограничен игрушечными.

Нет.

Вам же писали сто раз уже: настоящие проекты, 15 тыщ строк...

Чем была подтверждена корректность этих проектов? Тестами или чем то еще?

[nonconvex]

Вероятно, в скором будущем будут выпускаться некие узкоспециализированые, но гарантировано не ошибающиеся LLM-модули, сертифицированные уполномоченными организациями. В виде защищенного файла или даже отдельного чипа с прошивкой. В первую очередь, наверное, для медицины и фармацевтики: вынесение диагноза, выбор вариантов лечения с соответствующей аргументацией и т.д. А поликлиники и врачи будут это покупать для работы.
И обучаться эти модели будут на сертифицированных данных.

И будут выдавать сертифицированные галлюцинации. Вы не понимаете. Проблема коректности имеет экспоненциальную сложность в общем случае, вне зависимости от количества и качества сертификатов. Единственный способ гарантировать корректность - сузить класс алгоритмов LLM до формально верифицируемых, что возможно сделает их  бесполезными на больших массивах данных, что например и случилось с Экспертными Системами.

Чушь, простите.

Опровергните более менее формально, без лишних эмоций. 

[simple]

Автор далеко не идиот. А признанный одной фирмочкой эксперт международного класса. Microsoft - не слыхали?

как будто это аргумент, идиотом он назван по факту того что он написал, аргументом былобы еслиб выяснилось что он это не писал