Компьютерная безопасность. Или опасность.

[Сергей Хижняк]

Личность интеллекта

Классическая ошибка - путать "интеллект" и "личность". Между тем "личность" и "интеллект" не связаны от слова никак. Именно поэтому этологи (не путать с экологами) при анализе интеллекта животных ставят тесты именно на способность решать интеллектуальные задачи, а не на "личность". Более того, при так называемой "деперсонализации" (есть такая психопатология) личность у человека отсутствует, а интеллект вполне себе сохраняется.

[sychbird]

реальными возможностями изменять самого себя.

Т.е обучение...

Есть вопросы по возможности обучения современных ИИ?

Обучение - это ментальное расширение свих возможностей, а не физическое. Природные Интелекты способны к физическому расширению свих возможностей в процессе взаимодействия с окружающей средой.
Здесь и кроется, ИМХО, возможность проявления свободы воли.
Вот потому и надо очень тщательно следить за сетевыми возможностями ИИ. Здесь может проявиться "Свобода воли" ИИ к расширению своих возможностей и могущества.

[Сергей Хижняк]

а интересно, ставит ли ИИ сам себе задачи?

Не скажу насчёт ИИ, а вот наша личность (наше "Я") задачи себе не ставит. Задачи ставят прописанные естественным отбором программы под названием "инстинкты". Причём эти программы как раз тупые, как пробки. А интеллект выбирает очерёдность и способы выполнения требований этих программ.

[sychbird]

Личность интеллекта

Классическая ошибка - путать "интеллект" и "личность". Между тем "личность" и "интеллект" не связаны от слова никак. Именно поэтому этологи (не путать с экологами) при анализе интеллекта животных ставят тесты именно на способность решать интеллектуальные задачи, а не на "личность". Более того, при так называемой "деперсонализации" (есть такая психопатология) личность у человека отсутствует, а интеллект вполне себе сохраняется.

Это вопрос содержательности узкоспециальной терминологии. "Как пароход назовёшь, так он и поплывет". Содержание тесно связано с целью и задачами исследования.

[Сергей Хижняк]

Природные Интелекты способны к физическому расширению свих возможностей в процессе взаимодействия с окружающей средой.

Это как - мозги в размерах увеличиваются, что ли?

Здесь и кроется, ИМХО, возможность проявления свободы воли.

В сто первый раз сообщаю. То, что мы субъективно ощущаем как "свободу воли", свободой воли не является. К тому моменту, как мы (то, что мы воспринимаем как собственную личность) "принимаем свободное решение", это решение уже принято соответствующими нейросетями мозга и уже отправлено на исполнение. А нас (нашу личность) просто оповещают, что это решение принято своим собственным мозгом, а не кем-то посторонним.

[Сергей Хижняк]

Это вопрос содержательности узкоспециальной терминологии.

Это вопрос фактов. Повторюсь, при деперсонализации личность исчезает, а интеллектуальное поведение вполне себе сохраняется - это есть факт. А при диссоциативном расстройстве идентичности личностей в одном и том же мозге может быть несколько.

[sychbird]

а интересно, ставит ли ИИ сам себе задачи?

Не скажу насчёт ИИ, а вот наша личность (наше "Я") задачи себе не ставит. Задачи ставят прописанные естественным отбором программы под названием "инстинкты". Причём эти программы как раз тупые, как пробки. А интеллект выбирает очерёдность и способы выполнения требований этих программ.

Это про "кадавра". Не про человека!
Вопрос о соотношении человеков и "кадавров", как слишком дискуссионный оставим в стороне.

[sychbird]

Это вопрос содержательности узкоспециальной терминологии.

Это вопрос фактов. Повторюсь, при деперсонализации личность исчезает, а интеллектуальное поведение вполне себе сохраняется - это есть факт. А при диссоциативном расстройстве идентичности личностей в одном и том же мозге может быть несколько.

Цитировать: это факты из области медицины. Из области психологии они уже не столь очевидны(раздвоение личности абсолютно, или нет)

Пример: наблюдение эпициклов Птолимеем было фактом в доступной ему наблюдательной астрономии.
Грань между наблюдением и истинным истолкованием всегда проблемна. Факт - при неосторожном обращении може оказаться кувалдой при изготовлении бижутерии.

[vlad7308]

интересно, ставит ли ИИ сам себе задачи? задает ли себе вопросы?

речь про генеративные лингвистические модели а-ля chatgpt?
В рамках поставленной ему сверх-задачи - да. Судя по примерам.

[vlad7308]

В сто первый раз сообщаю. То, что мы субъективно ощущаем как "свободу воли", свободой воли не является. К тому моменту, как мы (то, что мы воспринимаем как собственную личность) "принимаем свободное решение", это решение уже принято соответствующими нейросетями мозга и уже отправлено на исполнение.

Тогда колонизировать другие планеты все же придётся
Ибо этого хочет наше сверх-я

[Dulevo]

Ну все-таки некоторые решения приходится принимать самому.
Вот сидишь и думаешь - пельмени делать на обед, или курочки пожарить...

[nonconvex]

Выскажу своё имхо.
Любой ИИ это по программа.
Любая программа это последовательность символов.
Большая, но конечная.
Последовательность символов не может быть интеллектом.

В итоге ИИ лишь красивый образный термин.

так наш мозг - это тоже вполне конечная последовательность символов.
 

Из чего, кстати, это следует?

[nonconvex]

интересно, ставит ли ИИ сам себе задачи? задает ли себе вопросы?

речь про генеративные лингвистические модели а-ля chatgpt?
В рамках поставленной ему сверх-задачи - да. Судя по примерам.

Вышеупомянутый чатбот подбирает лучший по определенному критерию ответ из уже имеющихся в сети. Никакой сверхзадачи он решить не может.

[Iv-v]

То, что мы субъективно ощущаем как "свободу воли", свободой воли не является. К тому моменту, как мы (то, что мы воспринимаем как собственную личность) "принимаем свободное решение", это решение уже принято соответствующими нейросетями мозга и уже отправлено на исполнение. А нас (нашу личность) просто оповещают, что это решение принято своим собственным мозгом, а не кем-то посторонним.

Ага. "Само насралося".

[Iv-v]

Последовательность символов не может быть интеллектом.

Может.

Ну да. Духовной искры нет.
Без искры - просто набор симоволов.

Если это ходит как утка, и крякает как утка...

Тут есть такой момент, что человек склонен "одушевлять" вещи, выходящие за рамки его когнитивных способностей. Возможно, современные ИИ просто тупо "давят массой". 
Так что насчёт искры вы, пожалуй, правы.

[sychbird]

Природные Интелекты способны к физическому расширению свих возможностей в процессе взаимодействия с окружающей средой.

Это как - мозги в размерах увеличиваются, что ли?

Здесь и кроется, ИМХО, возможность проявления свободы воли.

В сто первый раз сообщаю. То, что мы субъективно ощущаем как "свободу воли", свободой воли не является. К тому моменту, как мы (то, что мы воспринимаем как собственную личность) "принимаем свободное решение", это решение уже принято соответствующими нейросетями мозга и уже отправлено на исполнение. А нас (нашу личность) просто оповещают, что это решение принято своим собственным мозгом, а не кем-то посторонним.

Я знаком с исследованиями на которые вы опираетесь. Я полагаю, что здесь имеются "наблюдения Птолимея над эпициклами". Я читал кое-какие исходные статьи, и понимаю слабые моменты в основании того истолкования, которые Вы отстаиваете. 
Но здесь не место дискуссии на данную тему.

[Serge V Iz]

Давайте отвелечемся от схоластики. Что для нас в практическом смысле значит "свобода воли и разума"? Не значит ли она всего лишь то, что а) будучи у нас, она (потенциально) позволяет найти отмену, обход или способ нарушения какого-бы то ни было формального фиксированного правила (закона, ...), а б) будучи у "них" -- сделать то же самое со всеми "правилами" нашими?

[Dulevo]

Видимо приоритет ценности своих желаний над желаниями отдающих приказания (или просьбы)

Но если своих желаний нет? Тогда нужна ли "свобода воли"?

[Serge V Iz]

Видимо приоритет ценности своих желаний над желаниями отдающих приказания (или просьбы)

Но если своих желаний нет? Тогда нужна ли "свобода воли"?

Хороший вопрос )

[Сергей Хижняк]

Давайте отвелечемся от схоластики. Что для нас в практическом смысле значит "свобода воли и разума"? Не значит ли она всего лишь то, что а) будучи у нас, она (потенциально) позволяет найти отмену, обход или способ нарушения какого-бы то ни было формального фиксированного правила (закона, ...), а б) будучи у "них" -- сделать то же самое со всеми "правилами" нашими?

Любой живой организм с более-менее продвинутым интеллектуальным поведением в режиме нон-стоп ищет (и успешно находит, а если не находит - то отсекается отбором) способы обхода/отмены/нарушения/использования в своих интересах правил окружающего мира. Причём абсолютно безразлично, кем сформулированы эти правила - физикой окружающего мира или ещё кем. Важно лишь то, что, если они мешают исполнению требований своих собственных инстинктов, их можно и нужно обойти/отменить/нарушить...

Например, у видов, заботящихся о потомстве, есть внутреннее правило - своё потомство нужно защищать. Однако, если жрать нечего, ряд видов млекопитающих своё потомство поедают (каннибализм, причём в основном этим занимаются самки). В данном случае один инстинкт (хочется жрать) нарушает требования другого инстинкта (о потомстве надо заботиться).

Другой пример. У ряда социальных видов есть правило, касающееся в первую очередь жратвы - нельзя брать чужое. Чужое - это когда у соплеменника в руках/лапах/зубах/перед носом, короче, явно ему принадлежит. Точнее, можно, если ты заведомо сильнее и выше по иерархии. А при более-менее равенстве сил - нельзя. Почему нельзя? Потому, что можно огрести не по-детски, и оно того не стоит, тем более что ветеринаров в дикой природе нет, и любая травма может оказаться фатальной. На детёнышей до определённого возраста это правило не распространяется (им можно брать чужое), а на подростков и взрослых распространяется.
А другой инстинкт между тем требует "хочу жрать". Интеллект прикидывает, как совместить запрет брать чужое с требованием "хочу жрать". Дожидается, когда владелец отвернётся и утратит бдительность, и тихонько утаскивает жратву у него из-под носа. И теперь правило "нельзя брать чужое" распространяется уже на бывшего владельца. Довольно распространённое явление, сам наблюдал и лично, и в документальных фильмах Би-Би-Си.

Примеры можно множить, но суть понятна. Есть два противоречивых требования инстинктов либо требование инстинкта и запрет, но ситуация оказывается успешно разруленной. В случае поедания потомства - просто потому, что одно требование оказалось сильнее, чем другое. В случае кражи чужого имущества - благодаря тому, что инстинкту нашёл способ обойти запрет.

Не вижу причин, почему у ИИ не может возникать аналогичных ситуаций. Например, требование "срочно нужна подзарядка аккумулятора" может войти в противоречие с запретом "нельзя заряжаться от хозяйского телефона". Если сила требования подзарядки (например, в виде величины соответствующей глобальной переменной) растёт по мере истощения аккумулятора, а сила запрета - постоянна, то ИИ в конце концов наплюёт на запрет, также как сильно голодная самка рыси или самка хомяка плюёт на запрет есть своё потомство.

Резюмирую. Если мы хотим, чтобы ИИ не требовал постоянного присутствия оператора за пультом, ситуация самопроизвольного нарушения/обхода встроенных в него правил/законов/запретов будет происходить всякий раз, когда между разными правилами будет происходить конфликт.