Опасности и преимущества использования нейросетей и ИИ для человечества - факты и только факты

[Алексей Кириенко]

А обычный пользователь может только надеяться, что нейросетка сама будет знать границы своей компетенции, научится говорить "не знаю" и перестанет врать.

C этим немного сложнее... Граница компетенции современных LLM до смешного размыта (например локально установленная  на моем компе  нейронка Джеми 2 расширенно обучена в гуманитарном ключе и наотрез отказывается отвечать на прямой запрос типа " напиши код программного модуля  для .."  но прекрасно отвечает на запрос "покажи пример кода программного модуля  для .. " причем справляется на удивленнее довольно неплохо  )

То есть не неком базовом уровне  современные  LLM обучены универсально (очевидно для демонстрации чего-то вроде "банальной эрудиции " и школьного общеобразовательного уровня )  Но для демонстрации ПРОФЕССИОНАЛЬНОГО УРОВНЯ ЗНАНИЙ этого скорее всего недостаточно . Но как можно разделить " неполное  общее знание " и специальные профессиональные знания не очень понятно .

А что до лжи то  тут ничего нельзя поделать принципиально ведь люди постоянно просят LLM лгать "Представь что ты юрист... " и т.д.

[nonconvex]

4. Недавно выяснилось, что весьма вероятно современные генеративные модели заметно умнее, чем это кажется на первый взгляд, но их проблема в том, что LLM банально не могут пользоваться тем же набором ВНЕШНИХ утилит, сервисов и источников информации, что доступен людям.

Вообще говоря умеют, тут концептуальной проблемы нет. Напримет GPT-4 может найти оптимальное решение линйено-целочисленной задачи оптимизации, используя внешний решатель. Проблема однако в том, что решатель там слабенький, по причине плохой масштабируемости - решение подобной задачи может занять часы, дни или даже месяцы, в зависимости от количества переменных. Для человека здесь проблем нет, он может выделить мощности в размерах суперкомпьютера под одну задачу и подождать.

[nonconvex]

2. Современные генеративные модели НЕ ЯВЛЯЮТСЯ подлинным ИИ, но могут достаточно неплохо имитировать его основные функции.

Вы можете сформулировать, что такое ПОДЛИННЫЙ ИИ?

[nonconvex]

3. Многие этого не понимают, но современные LLM практически всегда работают «в паре с пользователем». Что это означает?
А то, что ждать от генеративных моделей идеального результата может только некий «идеальный пользователь». (Создающий идеальные запросы и точно знающий «границы компетенции» конкретной модели.)

Верно, в паре, хотя некий Маск после раскуров утверждает, что "скоро" человек будет не нужен.
У LLM, пишущих код, есть как минимум две фундаментальные проблемы
1) Они не могут гарантировать корректность.
2) Они не могут гарантировать оптимальность.
Обе эти проблемы комбинаторно трудны и вне зависимости от того как вы назовете свой метод, вайб или шмайб, они останутся комбинаторно трудными (экспоненциальными по количеству параметров).

[cross-track]

https://3dnews.ru/1136016/ii-zavalil-uchyonih-otkritiyami-v-astronomii-ves-arhiv-habbla-on-izuchil-za-tri-dnya

ИИ завалил учёных открытиями в астрономии — весь архив «Хаббла» он изучил за три дня

Астрономы из Европейского космического агентства (ESA) разработали новый инструмент на базе искусственного интеллекта под названием AnomalyMatch, который позволил провести систематический поиск редких и необычных объектов в огромном архиве данных космического телескопа «Хаббл» (Hubble). За 35 лет наблюдений накопился неподъёмный для анализа человеком набор данных. ИИ обработал всё за неполные три дня и сделал массу открытий.

Астрономические инструменты собирают поистине несметные данные, которые хотя и проходят компьютерную обработку, но всё равно остаются в основном неизученными. Эта тенденция стремительно усиливается с появлением всё новых и более совершенных телескопов. Как отмечают учёные, даже если сейчас прекратят работу все телескопы, архивные данные позволят продолжать делать открытия десятки и более лет. Искусственный интеллект нигде не может быть применён так удачно, как в астрономии при анализе архивов.

Новая программа всего на одном графическом процессоре способна за двое с половиной суток обработать 100 млн фрагментов изображений. Конкретно эта реализация ищет аномалии, которые выбиваются из ряда множества известных астрономических объектов. За неполные трое суток AnomalyMatch просмотрела весь архив «Хаббла» за 35 лет и обнаружила свыше 1400 аномальных объектов. Последующая ручная обработка сокращённого массива данных людьми подтвердила более 1300 аномалий, из которых свыше 800 оказались ранее неизвестными науке объектами.

ИИ «как на блюдечке» преподнёс астрономам данные, которые могли пылиться в архивах десятилетиями. Среди находок преобладают сливающиеся и взаимодействующие галактики (417 случаев), новые кандидаты в гравитационные линзы (86, включая редкие кольцевые структуры), медузовидные галактики (35), а также перекрывающиеся галактики, кольцевые структуры, галактики с джетами и активными ядрами (квазары). Некоторые объекты имеют крайне необычный вид — например, галактика с закрученным ядром и открытыми рукавами.

Обнаруженные аномалии представляют большую научную ценность, поскольку такие редкие явления помогают лучше понять фундаментальные процессы во Вселенной: эволюцию галактик, природу тёмной материи, гравитационное линзирование для измерения расстояний и расширения космоса, а также позволяют проверить общую теорию относительности. Авторы исследования подчёркивают, что архив «Хаббла», накопленный за десятилетия, до сих пор содержит множество скрытых сокровищ, которые обычные методы поиска пропускают. ИИ же способен находить именно те объекты, которые выделяются своей необычностью на фоне типичных галактик и звёзд.

[Алексей Кириенко]

Вы можете сформулировать, что такое ПОДЛИННЫЙ ИИ?

• Общий (AGI, Artificial General Intelligence) — гипотетический тип ИИ, способный решать широкий круг задач на уровне человека. Такой ИИ мог бы выполнять разные виды работы, осваивать новые навыки без дополнительного переобучения, управлять техникой, писать тексты и общаться с людьми.

Хотя и это не совсем верно(ИМХО) главное отличие  ПОДЛИННОГО ИИ это отсутствие явной щели между нечеткой интуицией и жестко заученными правилами, То есть у людей в нормально случае  правила обоснованы и не противоречат здравому смыслу,  а интуиция "верифицируется"  логикой       

[Iv-v]

Вероятно, в скором будущем будут выпускаться некие узкоспециализированые, но гарантированно не ошибающиеся LLM-модули, сертифицированные уполномоченными организациями. В виде защищенного файла или даже отдельного чипа с прошивкой. В первую очередь, наверное, для медицины и фармацевтики: вынесение диагноза, выбор вариантов лечения с соответствующей аргументацией и т.д. А поликлиники и врачи будут это покупать для работы.
И обучаться эти модели будут на сертифицированных данных.

[nonconvex]

Вероятно, в скором будущем будут выпускаться некие узкоспециализированые, но гарантировано не ошибающиеся LLM-модули, сертифицированные уполномоченными организациями. В виде защищенного файла или даже отдельного чипа с прошивкой. В первую очередь, наверное, для медицины и фармацевтики: вынесение диагноза, выбор вариантов лечения с соответствующей аргументацией и т.д. А поликлиники и врачи будут это покупать для работы.
И обучаться эти модели будут на сертифицированных данных.

И будут выдавать сертифицированные галлюцинации. Вы не понимаете. Проблема коректности имеет экспоненциальную сложность в общем случае, вне зависимости от количества и качества сертификатов. Единственный способ гарантировать корректность - сузить класс алгоритмов LLM до формально верифицируемых, что возможно сделает их  бесполезными на больших массивах данных, что например и случилось с Экспертными Системами.

[Iv-v]

Единственный способ гарантировать корректность - сузить класс алгоритмов LLM до формально верифицируемых

Так я об этом и написал.
Кандидат в сертифицированные модели будет сдавать экзамен комиссии экспертов, объясняя свои действия. Сто или тысячу раз кряду.

[nonconvex]

Единственный способ гарантировать корректность - сузить класс алгоритмов LLM до формально верифицируемых

Так я об этом и написал.
Кандидат в сертифицированные модели будет сдавать экзамен комиссии экспертов, объясняя свои действия. Сто или тысячу раз кряду.

Проблема в том, что масштаб решаемых задач будет ограничен игрушечными. 

[ShamgA]

... И даже не способен слово Friendly правильно написать...

А кто обижался когда его носом в грамматику тыкали?

[simple]

Для примера. Я делал для Газпрома интеграцию смет и графиков работ.

ага, так называемое обследование, которые делают аналитики для тз прогерам, основной объем самой трудоемкой и затратной по времени работы

Конечно, я использовал свой опыт из предыдущей разработки и еще подтянул клиента потестировать.

автор текста еще и идиот к томуже - до него сделали львиную долю работы а он не придал этому значение

[simple]

ИИ завалил учёных открытиями в астрономии — весь архив «Хаббла» он изучил за три дня

вот это нормальная задача, она в принципе предполагает анализ результата человеком