Компьютерная безопасность. Или опасность.

[nonconvex]

Если мы хотим, чтобы ИИ не требовал постоянного присутствия оператора за пультом, ситуация самопроизвольного нарушения/обхода встроенных в него правил/законов/запретов будет происходить всякий раз, когда между разными правилами будет происходить конфликт.

Здесь появляется проблема вычислительной сложности. Она погубила все предыдущие попытки создания ИИ, в том числе экспертные системы, в которых количество правил было ограничено требованиями непротиворечивости. Проверка на непротиворечивость к сожалению экспоненциальна, как минимум от количества переменных. Таким образом, в какой то момент добавление нового правила занимало неадекватное время.

Эта проблема несколько сгладилась в искусственных нейросетях, в частности в задачах обучения с подкреплением (reinforced learning), за счет аппроксимаций, но не ушла, траносформировавшись в проблему затирания старых правил. К сожалению, проклятие размерности непреодолимо в трехмерном (компьютерном) мире (P не равно NP) Этой проблемы нет у искусственных квантовых систем, которые в силу своих свойств многомерны, но извлечение из них решения в трехмерном мире тоже экспоненциально. Задача свелась к исходной.

Дальше мои спекуляции.

Живые организмы, вследствие своей квантовости, вероятно решают сложные задачи не выходя из многомерного квантового пространства, соответственно проклятия размерности для них нет. Перенос решения судя по всему тоже возможен, в момент так называемого озарения. Как это происходит - неизвестно.

[Сергей Хижняк]

Видимо приоритет ценности своих желаний над желаниями отдающих приказания (или просьбы)

Но если своих желаний нет? Тогда нужна ли "свобода воли"?

Хороший вопрос )

Если своих желаний нет (все инстинкты полностью удовлетворены и молчат), человек лежит на диване, переваривает пищу и созерцает потолок. Что-то делать нас заставляют именно инстинкты, которые реализуют свои требования через "желания". От примитивных желаний (упал сахар в крови - запустился инстинкт "хочу жрать" - интеллект прикинул что к чему и полез в холодильник), до очень сложных (типа "хочу занять высокое положение в иерархии", для чего интеллект выстраивает сложные цепочки действий).

Если у ИИ не будет желаний - ему будет постоянно требоваться оператор. А если без оператора - желания должны быть встроены в софт или железо, точно также, как у встроены эти желания у нас. Например, у робота-погрузчика при виде коробки должен включаться инстинкт "хватать и тащить к машине". Как именно этот инстинкт будет реализован - абсолютно безразлично. У нас и инстинкты, и интеллект реализованы через химические реакции. У ИИ всё то же самое реализуется через перемещение дырок и электронов в полупроводниках, но суть та же. Как уже говорил, у птицы и у самолёта полёт реализован через совершенно разные механизмы и даже на основе разных конструктивных материалов, в одном случае - сокращение актин-миозиновых волокон ведущее к маханию крыльями, в другом - через вращение пропеллера при неподвижных крыльях. Но и то, и другое - полёт.

Кстати, тут вчера один участник выразился в том смысле, что программа - это набор строчек кода, а строчки кода не могут мыслить. Неудобно напоминать прописные истины на техническом форуме, но в вычислительной технике работают не мифические строчки кода, а вполне конкретные электрические заряды. Если бы работали строчки кода, то и электронные устройства работали бы без электричества.

[Сергей Хижняк]

Живые организмы, вследствие своей квантовости

Чего? С этого момента подробнее, пожалуйста. Вот, например, молекула нейромедиатора взаимодействует подходящей по конфигурации молекулой мембранного рецептора, та в результате меняет свою пространственную конфигурацию и запускает определённый каскад химических реакций в клетке. В чём тут состоит квантовость?

[nonconvex]

Если бы работали строчки кода, то и электронные устройства работали бы без электричества.

Да на здоровье. Первые компьютеры были механические. Любой арифмометр.

[nonconvex]

. В чём тут состоит квантовость?

Квантовость имеет место в любых волновых процессах. Проявляется же в неожиданном для исследователя поведении, в случае квантового зацепления.

[Сергей Хижняк]

Да на здоровье. Первые компьютеры были механические. Любой арифмометр.

Я в юности работал на арифмометре. Там никаких строчек кода нет, я точно знаю. А вместо электричества там сам крутишь ручку. То есть то же самое электричество (поток протонов через мембрану для работы АТФ-синтазы, каковая АТФ-синтаза синтезирует необходимую для кручения ручки АТФ), только это электричество генерируется в митохондриальной дыхательной цепи.

[nonconvex]

Да на здоровье. Первые компьютеры были механические. Любой арифмометр.

Я в юности работал на арифмометре. Там никаких строчек кода нет, я точно знаю. А вместо электричества там сам крутишь ручку. То есть то же самое электричество (поток протонов через мембрану для работы АТФ-синтазы, каковая АТФ-синтаза синтезирует необходимую для кручения ручки АТФ), только это электричество генерируется в митохондриальной дыхательной цепи.

там строчки кода зашиты в конфигурации шестеренок. То же самое кстати говоря происходит в автоматической коробке передач автомобиля - ее базовая программа зашита в конфигурации каналов и клапанов, что позволяет ей работать при полном отключении электросети.

А крутить арифмометр можно чем угодно, например ветряком, гидротурбиной или паровым двигателем.

[Сергей Хижняк]

там строчки кода зашиты в конфигурации шестеренок.

Я про то же самое и говорю. Работают не некие строчки кода, а шестерёнки, или электроны и дырки, или ещё что-то вещественное.

. В чём тут состоит квантовость?

Квантовость имеет место в любых волновых процессах. Проявляется же в неожиданном для исследователя поведении, в случае квантового зацепления.

Вот ведь хрень какую написали. Жду конкретного ответа на конкретный вопрос.

Вот, например, молекула нейромедиатора взаимодействует подходящей по конфигурации молекулой мембранного рецептора, та в результате меняет свою пространственную конфигурацию и запускает определённый каскад химических реакций в клетке. В чём тут состоит квантовость?

Ну и чтобы два раза не вставать - касательно

Проверка на непротиворечивость

В живых организмах вшита туева куча противоречивых требований. Но проблема решается элементарно, и без мифической квантовости. Величина этих требований (величина соответствующих "глобальных переменных") не постоянна, а зависит от контекста. Решение в каждый конкретный момент времени принимается по соотношению конкретных величин этих самых "глобальных переменных". Вот превысило требование "хочу жрать" требование охранять потомство - и рысь кушает собственных детёнышей.
А зачатки такого механизма лежат в любых обратимых химических реакциях. Там тоже принимается решение (например, присоединять ион H(+) к молекуле, или, наоборот, отщеплять) в зависимости от химического контекста (в данном примере - от концентрации ионов H(+)).

[nonconvex]

Но проблема решается элементарно, и без мифической квантовости.

Давайте начнем с развеивания мифов, с "простого".
Рассмотрим например фотосинтез, который, как выяснилось, квантовый.

Или, популярно - здесь.

[Сергей Хижняк]

Давайте начнем с развеивания мифов, с "простого".

А давайте начнём с ответа на мой вопрос. Тем более, что передача энергии при фотосинтезе не похожа описанный мной процесс взаимодействия сигнальной молекулы с рецептором с последующим запуском каскада химических реакций от слова "никак". А в основе принятия решений лежит именно упомянутые взаимодействия и каскады химических реакций. Уж поверьте, голубчик, я разбираюсь в вопросе несравнимо (ключевое слово - несравнимо) лучше Вас.
Итак, жду ответа на вопрос.

[nonconvex]

Давайте начнем с развеивания мифов, с "простого".

А давайте начнём с ответа на мой вопрос. Тем более, что передача энергии при фотосинтезе не похожа описанный мной процесс 

А давайте вы его сами найдете. Квантовые процессы позволяют находить оптимальный, кратчайший путь в фазовом пространстве, как для передачи энергии, так и для передачи информации, отсюда и пляшите. Можете и на нобелевскую наплясать, кстати.

Я лишь подчеркнул один существенный, на мой взгляд, момент. Естественные живые системы в процессе своей эволюции движутся в сторону оптимальности, надеюсь вы тут не будете спорить. Если квантовые эффекты помогают в этом процессе, то они безусловно используются, как и произошло с фотосинтезом. Из этого немедленно следует, что квантовые процессы работают и в механизмах мышления, просто потому что математически они качественно мощнее.

Человек, в своих попытках построить ИИ тоже действует аналогично, он стоит на пороге грандиозных открытий квантового мира, но к сожалению над порогом дверь, а на двери здоровенный замок (квантовый барьер), и открыть его пока не представляется возможным.

Дальше -сами.

[sychbird]

Давайте отвелечемся от схоластики. Что для нас в практическом смысле значит "свобода воли и разума"? Не значит ли она всего лишь то, что а) будучи у нас, она (потенциально) позволяет найти отмену, обход или способ нарушения какого-бы то ни было формального фиксированного правила (закона, ...), а б) будучи у "них" -- сделать то же самое со всеми "правилами" нашими?

Любой живой организм с более-менее продвинутым интеллектуальным поведением в режиме нон-стоп ищет (и успешно находит, а если не находит - то отсекается отбором) способы обхода/отмены/нарушения/использования в своих интересах правил окружающего мира. Причём абсолютно безразлично, кем сформулированы эти правила - физикой окружающего мира или ещё кем. Важно лишь то, что, если они мешают исполнению требований своих собственных инстинктов, их можно и нужно обойти/отменить/нарушить...

Например, у видов, заботящихся о потомстве, есть внутреннее правило - своё потомство нужно защищать. Однако, если жрать нечего, ряд видов млекопитающих своё потомство поедают (каннибализм, причём в основном этим занимаются самки). В данном случае один инстинкт (хочется жрать) нарушает требования другого инстинкта (о потомстве надо заботиться).

Другой пример. У ряда социальных видов есть правило, касающееся в первую очередь жратвы - нельзя брать чужое. Чужое - это когда у соплеменника в руках/лапах/зубах/перед носом, короче, явно ему принадлежит. Точнее, можно, если ты заведомо сильнее и выше по иерархии. А при более-менее равенстве сил - нельзя. Почему нельзя? Потому, что можно огрести не по-детски, и оно того не стоит, тем более что ветеринаров в дикой природе нет, и любая травма может оказаться фатальной. На детёнышей до определённого возраста это правило не распространяется (им можно брать чужое), а на подростков и взрослых распространяется.
А другой инстинкт между тем требует "хочу жрать". Интеллект прикидывает, как совместить запрет брать чужое с требованием "хочу жрать". Дожидается, когда владелец отвернётся и утратит бдительность, и тихонько утаскивает жратву у него из-под носа. И теперь правило "нельзя брать чужое" распространяется уже на бывшего владельца. Довольно распространённое явление, сам наблюдал и лично, и в документальных фильмах Би-Би-Си.

Резюмирую. Если мы хотим, чтобы ИИ не требовал постоянного присутствия оператора за пультом, ситуация самопроизвольного нарушения/обхода встроенных в него правил/законов/запретов будет происходить всякий раз, когда между разными правилами будет происходить конфликт.

Не знаю насколько сознательно, но Вы стираете границу между инсинктивным поведением биологических объектов и этическим поведением социальных животных. Последние формирутся на иных иерархических структурах природного интелекта.
Полагаю, что это можно показать в правильно построенном МРТ-топографическом эксперименте.

[sychbird]

там строчки кода зашиты в конфигурации шестеренок.

Я про то же самое и говорю. Работают не некие строчки кода, а шестерёнки, или электроны и дырки, или ещё что-то вещественное.

. В чём тут состоит квантовость?

Квантовость имеет место в любых волновых процессах. Проявляется же в неожиданном для исследователя поведении, в случае квантового зацепления.

Вот ведь хрень какую написали. Жду конкретного ответа на конкретный вопрос.
[quote author=Сергей Хижняк link=msg
В живых организмах вшита туева куча противоречивых требований. Но проблема решается элементарно, и без мифической квантовости. Величина этих требований (величина соответствующих "глобальных переменных") не постоянна, а зависит от контекста. Решение в каждый конкретный момент времени принимается по соотношению конкретных величин этих самых "глобальных переменных". Вот превысило требование "хочу жрать" требование охранять потомство - и рысь кушает собственных детёнышей.
А зачатки такого механизма лежат в любых обратимых химических реакциях. Там тоже принимается решение (например, присоединять ион H(+) к молекуле, или, наоборот, отщеплять) в зависимости от химического контекста (в данном примере - от концентрации ионов H(+)).

Вы простейшие модели обратимых реакций в лабораторных дистиллированных условиях пытаетесть распространить на гораздо более сложные биохимические процессы с огромными молекулами причудливой конформной формы, где главную роль играют соотношения времён различных видов превращений, блуждающих по молекуле случайных вазбуждений, сами переходы между формами и ещё куча стохастически меняющихся во времени условий.
И в общем виде подобные системы подчиняться законам квантовой статистики, а не аддитивным  действующим значениям  концентраций ионов.

Р.S. Пассажи вроде:  "уж поверте я знаю лучше Вас...." Признак ощущения слабости своей позиции!

[Serge V Iz]

Наблюдаю парадоксальную ситуацию. 

Квантовые (следовательно, дискретные, с различимыми устойчивыми состояниями) системы намного более подобны современной вычислительной технике, чем во всех местах непрерывные "классические". )

[Сергей Хижняк]

А давайте вы его сами найдете.

Забавно. Вы в силу своего дремучего биологического невежества брякнули глупость, а я должен искать подтверждение этой глупости.

[Сергей Хижняк]

Не знаю насколько сознательно, но Вы стираете границу между инсинктивным поведением биологических объектов и этическим поведением социальных животных.

1. Вы не поверите, но социальные животные - это тоже биологические объекты.
2. В основе универсальной этики прямо лежат врождённые инстинкты (например, инстинктивное этическое поведение в отношении детей, которое у наиболее продвинутых видов типа гиеновых собак и хомо сапиенсов распространяется вообще на всех нуждающихся в заботе членов социума). В более сложных случаях этическое поведение навязывается социумом, но в основе опять же лежат инстинкты.
Например, инстинкт не запрещает нам воровать из магазина, поскольку товар там (с точки зрения инстинкта) не имеет явно выраженного владельца, следовательно, ничейный, следовательно, взять можно и нужно - это не воровство, а законная добыча. А социум объясняет, что владелец таки есть, так что запрет "не бери чужого, а то схлопочешь" распространяется и на этот товар.

Р.S. Пассажи вроде:  "уж поверте я знаю лучше Вас...." Признак ощущения слабости своей позиции!

Нет, это признак того, что у меня нет желания долго и нудно заниматься ликвидацией чужой безграмотности - особенно в тех случаях, когда собеседник упорствует в своей безграмотности.

[Сергей Хижняк]

Квантовые (следовательно, дискретные, с различимыми устойчивыми состояниями) системы намного более подобны современной вычислительной технике, чем во всех местах непрерывные "классические". )

Дискретность - штука относительная.
- Популяция состоит из вполне дискретных объектов, однако при достаточно большом числе объектов её динамика адекватно описывается непрерывными моделями. А вот для малочисленных популяций уже нужны дискретные модели. - Молекулы газа в баллоне вполне дискретны, однако при их большом числе их поведение описывается вполне непрерывной функцией pV=nRT. А вот если у нас в баллоне молекул мало, эта функция уже теряет смысл. Более того, возможны странные эффекты, когда все молекулы газа спонтанно сбежались в одном локальном участке этого баллона, в то время как в остальном объёме наблюдается вакуум.
- Картинка на компьютере состоит из дискретных пикселей, однако при достаточно большом числе этих пикселей на единицу площади мы видим непрерывную картинку. А вот если пикселей на единицу площади будет мало - мы увидим эти отдельные пиксели.
- Реакция молекулы родопсина на (вполне дискретный) квант при восприятии света вполне дискретна (цис-транс), и сигнал в мозг передаётся в виде пакетов вполне дискретных импульсов. Однако наше восприятие уровня освещённости (светлее-темнее) вполне непрерывное. А вот если это всего один квант в полной темноте - мы увидим дискретную вспышку.
Примеры можно множить и множить. Но, в общем, вопрос "с какого уровня в дискретной системе начинается непрерывность поведения" (или "с какого момента цифровой сигнал можно считать аналоговым") не такой уж и простой.

[Сергей Хижняк]

Нет, это признак того, что у меня нет желания долго и нудно заниматься ликвидацией чужой безграмотности - особенно в тех случаях, когда собеседник упорствует в своей безграмотности.

Вообще, интересно. Если бы мне довелось беседовать с физиком уровня доктора наук на физические темы, мне бы и в голову не пришло оспаривать его утверждения. Я бы просто принимал то, что он сообщает, к сведению. Просто потому, что он разбирается в физике несравнимо лучше, чем я (хотя у нас в универе среди общеобразовательных дисциплин на 1-м и 2-м курсе была физика), и я этот факт прекрасно осознаю и принимаю как данность. Между тем некоторые отдельные участники форума, которые не разбираются в биологии даже на уровне школьного курса, до хрипоты спорят на биологические темы с профессиональным биологом, доктором биологических наук.

[Serge V Iz]

Это понятно, что куча начинается непонятно когда. И всегда обратимые взаимодействия микрочастиц непонятно когда становятся необратимой стрелой времени в термодинамике. )

Но я про то, что в квантовости нет никакого страшного колдунства. По крайней мере, страшнее, чем в любых формальных вычислениях. Которые в известных объемах можно воспроизвести хоть на чем. Хоть на рулоне туалетной бумаги с карандашом. )

Или же ситуация намного хуже такова: мы еще не открыли не умеем даже сформулировать гипотезу какого-то системного свойства больших ансамблей микрочастиц. Свойства, которое противоречит всем известным законам привычной нам термодинамики и работает на организацию и упорядочивание наших мыслей процессов, которые принято именовать жизнью.

[Сергей Хижняк]

Но, в общем, вопрос "с какого уровня в дискретной системе начинается непрерывность поведения" (или "с какого момента цифровой сигнал можно считать аналоговым") не такой уж и простой.

P.S.
Помнится, на одном интернациональном русскоязычном околонаучном форуме (этакая международная курилка информатиков-программистов, электронщиков, а также физиков, химиков, биологов и прочих естественников в ранге кандидатов и докторов наук) довольно долго обсуждали этот вопрос. На одном конце шкалы - заведомая дискретность, на другом - явная непрерывность, где будем делать талию? Разбирали на разных примерах из разных областей знания, и даже временами набрасывали и анализировали компьютерные модельки "на коленке". Помнится, так ни до чего толком и не договорились.
Лично я полагаю, что этот вопрос сродни вопросу "на одном листе альбома - фото младенца, на другом - фото взрослого бородатого мужика, в какой конкретно момент этот младенец превратился в мужика?".