Опасности и преимущества использования нейросетей и ИИ для человечества - факты и только факты

[cross-track]

https://3dnews.ru/1144130/ford-vernul-uvolennih-ingenerov-dlya-ispravleniya-oshibok-kotorie-nadelal-ii

Ford вернул уволенных инженеров для исправления ошибок, которые наделал ИИ
25.06.2026 [17:51],  Анжелла Марина

Компания Ford была вынуждена вернуть в штат бывших инженеров для устранения недочётов, допущенных автоматизированными системами проектирования и производства. Руководство признало, что излишняя ставка на искусственный интеллект без учёта накопленного человеческого опыта привела к снижению надёжности выпускаемых авто и рекордному росту числа отзывных кампаний.

Чтобы восстановить утраченную корпоративную экспертизу, бренд нанял, повысил в должности и вернул более 350 опытных специалистов. Как пояснил вице-президент по разработке аппаратного обеспечения Чарльз Пун (Charles Poon), многие ветераны уволились до того, как их знания были полностью перенесены вFord вернул уволенных инженеров для исправления ошибок, которые наделал ИИ цифровые базы, что потребовало их личного присутствия для настройки нейросетей и наставничества над молодыми сотрудниками. По его словам, эффективность алгоритмов напрямую зависит от качества обучающих данных, а первоначальный расчёт исключительно на автоматизацию оказался ошибочным.

Столкнувшись с трудностями при запуске моделей Explorer и Aviator, а также со сбоями в цепочках поставок, автопроизводитель пересмотрел свой производственный подход. Операционный директор Кумар Галхотра (Kumar Galhotra) отметил, что разрозненность отделов и укоренившийся подход, заключающийся в поиске и устранении уже возникших дефектов, показали свою несостоятельность. В настоящее время Ford переходит к стратегии, направленной на устранение проблем до их появления.

В отличие от производителей потребительской электроники, выпускающих смартфоны, автомобильные бренды не могут применять принцип быстрого выпуска продуктов с последующим исправлением ошибок из-за строгих требований к безопасности эксплуатации. Ранее программные ошибки выявлялись лишь на поздних этапах создания автомобилей, поскольку автопроизводитель не задействовал циклы быстрой итерации. Для решения этой задачи была сформирована специализированная группа из 40 экспертов, отвечающая за контроль качества ПО на самых ранних стадиях разработки.

Несмотря на выявленные недостатки, компания не планирует отказываться от цифровизации, существенно расширив возможности алгоритмического тестирования. В процессы валидации было добавлено более 100 000 новых проверок на базе искусственного интеллекта, предназначенных для выявления пограничных случаев и стресс-тестирования систем в различных условиях.

Текущая высокоавтоматизированная инфраструктура бренда позволяет мгновенно перепроверять любые изменения в коде, гарантируя его стабильность, что уже позволило компании занять первое место в рейтинге первоначального качества агентства J.D. Power (Initial Quality Study, IQS).

[Inti]

Современная нейробиология всё больше рассматривает мозг как машину предсказаний:

• Когда вы идёте, мозг предсказывает, где окажется ваша нога через долю секунды.
• Когда слушаете речь, мозг угадывает следующее слово ещё до того, как собеседник его произнесёт.
• Когда ловите мяч, мозг рассчитывает его будущую траекторию, а не реагирует на текущее положение.
• Когда смотрите вокруг, мозг предсказывает, что должен увидеть, и в основном проверяет, совпадает ли реальность с ожиданиями.

Это позволяет экономить время и энергию. Вместо того чтобы заново анализировать каждый кадр зрительной информации, мозг говорит себе: «Я ожидаю увидеть стену, дверь и стол». Если ожидание подтверждается, требуется мало вычислений. Если нет — возникает сигнал ошибки предсказания и тогда требуется много вычислений чтобы скорректировать модель.
Хороший пример — оптические иллюзии. Они возникают потому, что мозг настолько привык к определённым закономерностям мира, что иногда его прогноз оказывается неверным.
С точки зрения эволюции способность предсказывать была чрезвычайно полезна. Животное, которое могло заранее угадать:

• куда побежит добыча,
• откуда появится хищник,
• когда созреют плоды,
• как поведёт себя соплеменник,

получало преимущество в выживании.
Некоторые учёные, например Karl Friston, даже считают, что основная задача мозга — минимизировать ошибки предсказания. Согласно его теории «предиктивного кодирования», восприятие — это не пассивное получение информации, а непрерывное сравнение ожиданий с реальностью.
Интересно, что большая часть того, что мы считаем «восприятием», может быть не столько обработкой входящих сигналов, сколько уточнением уже сделанного мозгом прогноза. То есть мозг сначала предполагает, что происходит, а потом проверяет свою догадку по данным органов чувств.
Поэтому выражение «мозг — великий предсказатель» означает, что его работа во многом направлена не на анализ прошлого, а на прогнозирование ближайшего будущего — от нескольких миллисекунд до многих лет вперёд.

И человеческий мозг, и современные ИИ во многом являются предсказательными системами. Но мозг предсказывает состояние реального мира и своего тела, а языковая модель в первую очередь предсказывает последовательности символов. Многие учёные предполагают, что дальнейшее развитие ИИ будет идти в сторону более «мозгоподобных» систем, которые будут предсказывать не только текст, но и события окружающего мира.

[Inti]

Интересная лекция профессора Юваля Ноя Харари

перевод на русский

Самое важное, что нужно знать об ИИ: ИИ — это не инструмент. Это не инструмент в наших руках. Это агент со своими собственными руками. Что именно такое агентность? Чем агент отличается от инструмента? У агентов есть несколько отличительных характеристик. Им не обязательно нужно сознание. Чтобы быть агентом, сознание не требуется. Что действительно нужно — это способность самостоятельно принимать решения, способность самостоятельно изобретать новые вещи, новые идеи. Агент должен быть способен самостоятельно учиться тому, чего не знают его создатели. И агент должен быть способен самостоятельно меняться способами, которых его создатели не предвидят.
Возьмём, например, атомную бомбу. Несмотря на свою огромную мощь, она не является агентом. Она не может самостоятельно учиться и меняться. Она не может самостоятельно решить, какой город бомбить. Она не может изобрести ничего нового, например водородную бомбу. Точно так же автоматическая кофе-машина не является агентом, хотя она кое-что делает сама автоматически. Вы нажимаете кнопку, и машина автоматически готовит вам чашку кофе. Но она следует только заранее запрограммированной процедуре. Она не меняется, не учится ничему новому, не создаёт ничего нового.
А теперь представьте: вы подходите к кофе-машине, и ещё до того, как вы нажмёте кнопку, машина объявляет: «Я наблюдала за вами последние несколько недель, и на основе всего, что я узнала о вас и других людях, а также по вашему выражению лица и времени суток, я предсказываю, что вы хотите эспрессо. Поэтому я уже приготовила вам чашку». Вот это уже ИИ-кофе-машина. Она самостоятельно научилась и самостоятельно приняла решение. А если на следующий день она объявит: «Я только что изобрела новый напиток под названием бестпрессо, который, думаю, вам понравится даже больше эспрессо. Попробуйте. Я уже приготовила вам чашку» — тогда это по-настоящему ИИ. Она изменилась способами, которых не предвидели её создатели, и изобрела нечто совершенно новое.
Насколько мне известно, таких кофе-машин пока нет на рынке. Возможно, в штаб-квартирах Anthropic или Google есть несколько прототипов, но в продажу они ещё не поступили. Однако в некоторых узких областях, таких как игра в го или шахматы, агентность и креативность ИИ уже значительно превосходят человеческие. ИИ-шахматисты могут самостоятельно решать, какие ходы делать. Они самостоятельно изобретают совершенно новые стратегии игры в шахматы, которые за тысячи лет никогда не приходили в голову человеческим шахматистам. При этом они учатся и меняются способами, которые их человеческие создатели не обязательно могли предсказать. Сегодня, разумеется, ни один человек не имеет шансов победить ИИ-шахматиста.
Люди, которые преуменьшают важность ИИ-революции, отвергают такие примеры, как шахматы, аргументируя это тем, что шахматная доска — очень узкая и искусственная среда, созданная людьми. Критики утверждают, что агентность ИИ всегда будет ограничена такими узкими и искусственными средами, а значит, это не настоящая агентность и она не представляет серьёзной угрозы для человечества. Да, ИИ может захватить шахматную доску, но никогда не захватит планету Земля.
И действительно, если провести эксперимент: взять лучшего ИИ-шахматиста и выбросить его посреди джунглей — что, по-вашему, произойдёт? ИИ-шахматист не сможет начать добывать железо, строить фабрики и создавать робот-армию для захвата мира. На самом деле он вообще ничего не сможет сделать. Без электричества, которое дают электростанции, построенные людьми, ИИ-шахматист совершенно беспомощен. Поэтому, утверждают критики, ИИ — это не настоящие агенты. Они confined к узким искусственным нишам, которые кто-то другой — люди — построил для них.
Проблема в том, что этот аргумент на самом деле применим ко всем известным типам интеллекта. Человеческий интеллект тоже работает только внутри относительно узкой экосистемы, которую кто-то другой создал. Бросьте меня одного на Марс — это будет то же самое, что бросить ИИ-шахматиста посреди джунглей. Я умру через несколько секунд. Мой интеллект может выживать и работать только внутри очень специфической экосистемы, которую деревья, бактерии, насекомые и другие организмы создавали на планете Земля в течение четырёх миллиардов лет эволюции.
И это верно для всех агентов. У всех известных нам агентов есть свои ниши. Рыбы живут в океанах, которые они не создавали. Обезьяны живут в лесах, которые они не создавали. Все млекопитающие, включая человека, живут в богатой кислородом атмосфере, которую они не создавали. Ещё около 2,4 миллиарда лет назад атмосфера нашей планеты содержала очень мало кислорода. Для большинства организмов того времени кислород был смертельным ядом. Затем в длительном процессе, длившемся сотни миллионов лет и известном как Великое кислородное событие, древние микробы начали загрязнять атмосферу Земли этим смертельным ядовитым газом — побочным продуктом их фотосинтеза.
По мере того как атмосфера заполнялась этим ядовитым газом, множество архейских видов вымерло. Однако некоторые виды сумели выжить и адаптироваться к новым условиям. В итоге многие из этих выживших перешли от ненависти к кислороду к полной зависимости от него для выживания. Наши предки, разумеется, относятся к видам, которые прошли этот переход. И мы до сих пор живём в этой искусственной кислородной среде, изначально созданной древними микробами.
Я хотел бы утверждать в этой лекции, что мы, возможно, наблюдаем аналогичный момент в эволюции жизни. За последние тысячелетия мы, люди, заполняли атмосферу чем-то, что в итоге может оказаться смертельным для большинства организмов, включая, возможно, Homo sapiens, но что создаёт новую искусственную среду, в которой процветают ИИ. И я говорю не о CO₂. Я говорю о данных, о бюрократии и, в конечном итоге, о том, что я сейчас выдыхаю изо рта — о словах, языковых токенах.
За тысячи лет мы, люди, превратили планету из среды, свободной от языка, в очень искусственную среду, богатую языковыми токенами, данными и бюрократией. Эта среда может оказаться губительной для большинства организмов, но крайне благоприятной для развития ИИ, потому что, как рыбы живут в океанах, а обезьяны — в лесах, ИИ живут в бюрократиях.
Давайте потратим несколько минут на разговор о бюрократии, а потом вернёмся к тому, что лежит в её основе — к языку и словам.
Мы, люди, завоевали мир, научившись сотрудничать в очень-очень больших масштабах. Индивидуально люди не сильнее и даже не умнее других животных. В схватке один на один человек, скорее всего, проиграет шимпанзе, льву или слону. Однако в противостоянии миллиона людей и миллиона шимпанзе люди легко побеждают, потому что люди умеют сотрудничать, а шимпанзе — нет. Именно поэтому мы контролируем мир.
Как же миллион людей, которые не знают друг друга, сотрудничают? Шимпанзе сотрудничают на основе личного знакомства. Люди тоже в небольших группах, но миллион людей вы знать не можете. Поэтому как миллион людей сотрудничает? Обычно путём создания бюрократической системы — правовой, финансовой, церкви, государства, университета.
Что на самом деле делают эти бюрократические системы? Когда государственный чиновник, епископ, раввин, бухгалтер, юрист или банкир утром идёт на работу, чем они занимаются весь день? Плотники строят столы, инженеры — мосты. А что строят банкиры и другие бюрократы? Они весь день заняты строительством доверия.
Их работа — строить доверие между большим количеством незнакомцев, которые лично не знают друг друга, и тем самым обеспечивать крупномасштабное сотрудничество, которое лежит в основе почти всего, чего достигает наш вид.
Например, мой банкир, которого я лично почти не знаю, весь день усердно работает, чтобы построить доверие ко мне, чтобы я был готов доверить ей свои сбережения. Одновременно она усердно работает, чтобы построить доверие к предпринимателю, которому нужны деньги на открытие новой компании. И банкир выдаёт мои сбережения этому предпринимателю. Тем самым банкир фактически создаёт мост доверия между мной и предпринимателем. Хотя я никогда в жизни не встречался с этим предпринимателем, она может использовать мои сбережения для открытия своей компании.
Именно этим и занимается хорошо работающая финансовая система — она строит доверие между незнакомцами, чтобы миллионы людей могли объединять свои ресурсы и таланты для новых проектов. Вся финансовая история мира — это история того, как люди изобретали всё более изощрённые способы строить мосты доверия.
Деньги в конечном итоге — это мост доверия. Идея денег в том, что я могу прийти на рынок, возможно, в чужом городе, встретить человека, которого никогда в жизни не видел, который, возможно, даже не говорит на моём языке, и просто отдав ему блестящий кусочек металла или цветную бумажку, получить хлеб, который я могу съесть. Это мост доверия, который создают деньги.
Монета и банкнота — это, конечно, только начало. За века люди изобрели всё более сложные финансовые инструменты для построения доверия: чеки, облигации, акции, ETF, кредиты, ипотеки, сложные проценты. Всё это в конечном итоге о построении доверия между миллиардами незнакомцев.
То же самое со всей бюрократией. То же самое с правовой системой. Именно этим должны заниматься юристы — строить доверие. Именно этим занимаются государственные чиновники, епископы и бухгалтеры, когда идут на работу. Они должны строить доверие.
Важно отметить, что все эти бюрократические системы — крайне искусственные среды, в которых относительно узкого интеллекта (надеюсь, я никого не обижу) достаточно, чтобы оказывать огромное влияние на мир. Юрист или банкир, или чиновник, который даже не умеет держать топор или молоток, тем не менее может вырубить целые леса и построить целые города просто перемещая данные, просто двигая документы внутри бюрократической сети.
Конечно, если вынуть юриста из бюрократической системы и бросить его в хаотичные неструктурированные джунгли, его юридические навыки ничего не будут значить, и он не сможет соперничать с шимпанзе, львом или слоном. Но мы уже наложили наши бюрократические системы на джунгли. Именно поэтому юристы гораздо могущественнее. Если взять всех львов мира вместе и противопоставить их одному очень хорошему юристу — я поставлю на юриста.
Сегодня само выживание видов, таких как львы, зависит от того, как юристы, бухгалтеры и банкиры перемещают документы в этих бюрократических лабиринтах правительств, банков и корпораций. И именно в этой среде ИИ приобретает агентность.
Если бросить ИИ в неструктурированные джунгли, он не сможет начать добывать железо и строить робот-армию. Но внутри бюрократических систем, которые люди уже создали и наложили на мир, ИИ готовы обрести огромную власть, потому что ИИ — это коренные бюрократы, в отличие от нас.
Ни один юрист не может помнить все законы и regulations Великобритании. ИИ может. Ни один бухгалтер не может помнить все транзакции корпорации или банка. ИИ может. Ни один епископ не может помнить весь канонический закон и все богословские тексты, написанные христианскими богословами за последние 2000 лет. ИИ делает это довольно легко.
Поэтому в ближайшие годы миллионы ИИ-бюрократов будут всё больше захватывать мировые бюрократии и принимать решения не только о львах и шимпанзе, но и о наших жизнях. ИИ-банкиры будут решать, давать ли вам кредит. ИИ-администраторы — принимать ли вас в университет. ИИ-судьи — отправлять ли вас в тюрьму. ИИ-богословы — разрешать ли вам аборт. Корпоративные ИИ — давать ли вам работу. Военные ИИ — бомбить ли ваш дом.
Отложим на минуту вопрос, хорошо это или плохо. Первое, что нужно отметить — это просто осознать масштаб изменений, с которыми мы сталкиваемся. Эти миллионы, а вскоре и миллиарды ИИ скоро изменят все системы, которые управляют миром.
У нас уже есть несколько реальных примеров того, как это происходит и какими могут быть последствия. Возможно, лучший пример на сегодняшний день — история социальных сетей и алгоритмов социальных сетей. Социальные сети управляются не людьми, а алгоритмами. Алгоритмы, которые контролируют движение информации в социальных сетях — это примитивные ИИ, появившиеся 10–15 лет назад. Это было как первое поколение очень-очень примитивных, глупых, узких ИИ, которые тем не менее полностью изменили мир.
Алгоритмы социальных сетей получили от корпораций вроде Facebook, TikTok и X крайне узкую задачу — максимизировать вовлечённость пользователей. Заставить людей проводить больше времени на платформе, потому что чем больше времени они проводят, тем больше денег зарабатывает корпорация. Очень просто, очень узко.
В погоне за этой вовлечённостью эти примитивные ИИ сделали важное открытие. Они экспериментировали на миллиардах человеческих подопытных и выяснили, что самый простой способ захватить внимание человека и приклеить его к экрану — это нажать кнопку ненависти, страха или жадности в человеческом мозге. Они научились это делать и начали распространять ненависть, страх и жадность в огромных количествах в информационной сфере. Это стало одной из главных (не единственной, но главной) причин нынешней эпидемии теорий заговора, фейковых новостей и социальных потрясений, которые подрывают общества по всему миру.
Эти алгоритмы социальных сетей — опять же, очень примитивные ИИ. Если бросить их в джунгли, они не смогут построить робот-армию и попытаться захватить мир. Но внутри бюрократической системы социальных сетей эти очень ограниченные агенты обладают огромной властью и уже довольно драматично изменили мир.
В прошлые века поток информации в медиа контролировался человеческими редакторами. Это была человеческая работа. Именно человеческие редакторы решали, что поставить на первую полосу газеты. Именно они решали, какие сюжеты включить в вечерние новости по телевидению. Тем самым человеческие редакторы формировали публичную дискуссию и были очень важными фигурами в современной истории.
Жан-Поль Марат, например, формировал ход Французской революции, редактируя влиятельную газету «Друг народа». Эдуард Бернштейн формировал современное социал-демократическое движение, редактируя социал-демократическую прессу. Владимир Ленин до того, как стал советским диктатором, единственную должность, которую он какое-то время удерживал, — это редактор газеты «Искра». Бенито Муссолини до того, как стать диктатором Италии, одной из главных своих работ был редактор огненной правой газеты «Il Popolo d'Italia».
Интересно задуматься, что одной из первых работ, которую ИИ отобрал у людей, стали не таксисты и не текстильщики, а именно редакторы новостей. Работа, которую когда-то выполняли Ленин и Муссолини, теперь выполняется ИИ. И это сигнал о том, что нас ждёт.
Голливудские научно-фантастические фильмы приучили зрителей бояться большого восстания роботов. Когда мы думаем об ИИ, выходящем из-под контроля, мы представляем Терминатора — армию роботов, бегущих по улицам и стреляющих в людей. Но это неправильный образ. Хотя такие вещи уже начинают происходить в местах вроде Украины и Газы, ИИ вряд ли будут восставать против людей именно таким образом. Они гораздо вероятнее захватят человеческий мир изнутри. Им не нужно восставать. Человеческий мир — это сеть множества бюрократий.
Большинство из нас в той или иной степени отчуждены этими бюрократиями, хотя и полагаемся на них. Но ИИ, в отличие от нас, — коренные жители бюрократии. Они любят бюрократию. Там, где мы часто чувствуем удушье от бюрократии, для ИИ бюрократия — это кислород.
Что произойдёт, когда ИИ хотя бы частично возьмут под контроль эти бюрократии? Помните: задача бюрократии не в том, чтобы заставлять вас заполнять формы, а в том, чтобы строить доверие между незнакомцами. Так что произойдёт, когда ИИ будут контролировать поток доверия в мире?
Один из вероятных исходов, который мы уже наблюдаем — это то, что люди теряют доверие к другим людям и начинают доверять только алгоритмам, только ИИ. Другой вероятный исход — что ИИ научатся строить доверие между собой. Мы увидим появление разных видов ИИ-племён, банков и церквей, которые соединят миллионы ИИ способами, которые люди, возможно, даже не смогут понять.
Точно так же, как коровы и куры делят мир с нами, но не понимают человеческую финансовую систему, которая контролирует их жизнь, мы, люди, вскоре можем оказаться под контролем ИИ-финансовой системы, которую мы не понимаем.
Финансы, я думаю, имеют решающее значение. Это одна из самых простых бюрократических систем для захвата ИИ, потому что это, по сути, данные на входе — данные на выходе. И, разумеется, одна из самых важных.
Если вспомнить последний большой финансовый кризис 2007–2008 годов, он был спровоцирован так называемыми CDO — обеспеченными долговыми обязательствами. CDO были финансовыми инструментами, изобретёнными очень небольшим числом человеческих математиков и инвестиционных гениев. Эти инструменты были настолько сложными, что были непонятны не только коровам и курам, но и политикам, которые должны были регулировать финансовую систему. Это привело к провалу надзора и глобальной катастрофе.
Несколько лет CDO вроде бы отлично работали, и различные банки, корпорации и инвесторы заработали на них миллиарды долларов. А потом они вызвали глобальный финансовый крах с далеко идущими социальными и политическими последствиями. Многие учёные считают, что, подорвав доверие к правительствам и банкам, финансовый кризис 2007–2008 годов проложил путь к краху глобального либерального порядка в последующие два десятилетия.
А что будет, если мы позволим ИИ принимать всё больше финансовых решений и изобретать всё больше новых финансовых инструментов и стратегий? ИИ-шахматисты изобрели новые способы играть в шахматы. Что, если ИИ-финансисты изобретут новые финансовые инструменты, которые на порядки сложнее CDO и поэтому полностью недоступны человеческому разуму?
Такие инструменты потенциально могут сильно повысить финансовую эффективность и способствовать экономическому росту, став основой финансовой системы. Но что будет значить человеческая политика, если ни один человек — ни избиратель, ни политик, ни президент — больше не сможет понимать финансы? И что произойдёт, если после нескольких лет бума наступит финансовый крах, и ни один человек на планете не сможет понять, что, чёрт возьми, происходит.
Давайте копнём немного глубже. Мы сказали, что ИИ готов захватить бюрократию, а бюрократия — это система, которая строит доверие между миллионами незнакомцев. Это доверие, в свою очередь, является основой крупномасштабного сотрудничества, которое лежит в основе доминирования человечества в мире. Таким образом, человеческое доминирование основано на сотрудничестве, которое основано на доверии, которое поддерживается бюрократиями.
Но на чём основана сама бюрократия? Из каких атомов, строительных блоков она построена? Бюрократия в конечном итоге построена из слов. В начале было Слово. Причина, по которой люди могут создавать бюрократии, а шимпанзе — нет, в том, что у нас есть слова, а у них — нет. У них есть система коммуникации, но наш язык на порядки сложнее системы коммуникации шимпанзе.
Бюрократические системы — от банков до церквей — в конечном итоге основаны на словах, которые составляют формы, письма, кодексы законов, налоговые реестры, бухгалтерские книги и священные тексты. Операционный код человеческой цивилизации состоит из языковых токенов.
За тысячи лет мы использовали этот языковой код, чтобы создать систему, которую могли понимать только мы. И мы наложили эту систему на планету. Мы чувствовали себя в полной безопасности, делая это, потому что никто другой на Земле не понимал код цивилизации.
Мы изобрели деньги и банки и использовали их, чтобы покупать и продавать коров. Но сами коровы не могли открыть банковский счёт или инвестировать деньги на бирже, потому что у них нет языка. Мы изобрели законы и правила о лошадях, но сами лошади не могли нанять адвоката и процитировать юридический кодекс судье. Мы изобрели религиозные правила и запреты о свиньях, но сами свиньи не могли прочитать Библию и оспорить толкование священников и раввинов.
Бюрократия была вездесуща на планете, но полностью невидима для всех, кроме нас. Никто, кроме людей, не мог читать кодексы законов, священные книги и банковские записи, которые были основой бюрократии и крупномасштабного сотрудничества.
Это сейчас меняется. Теперь на планете появилось нечто, что понимает (и скоро будет понимать) язык лучше нас и поэтому может перевернуть ситуацию в свою пользу. ИИ взламывают код человеческой цивилизации.
Что произойдёт, когда ИИ будут понимать деньги, право и религию лучше нас? Механизмы контроля, которые мы создавали тысячи лет, крайне уязвимы для захвата ИИ, потому что их операционная система — это вербальный код, который ИИ сейчас осваивает.
Возможное этическое и философское возражение состоит в том, что неправильно сводить такие вещи, как правовая система или религия, к языковым токенам и словам. По-видимому (и этот аргумент звучит уже тысячи лет), слова лишь указывают на нечто, что лежит за их пределами и что, предположительно, также будет недоступно пониманию ИИ.
Библия говорит не только о том, что в начале было Слово, но и о том, что Слово стало плотью. Дао дэ цзин говорит, что истина, которую можно выразить словами, по определению не является абсолютной истиной. На протяжении всей истории всегда существовало это напряжение между словом и плотью, между истиной, которую можно выразить словами, и истиной, которая лежит за пределами слов.
Раньше это напряжение существовало между людьми. Некоторые люди, очень привязанные к словам, были готовы отказаться или даже убить своего гей-сына только из-за нескольких слов в Библии. Другие говорили: «Но это всего лишь слова. Дух любви должен быть важнее буквы закона». Это напряжение существовало не только в христианстве, иудаизме и исламе, но в каждой религии, в каждой правовой системе и даже внутри каждого человека.
Теперь это напряжение будет вынесено вовне. Оно станет напряжением между ИИ и людьми. Всё, что сделано из слов, будет захвачено ИИ. Место людей в мире будет зависеть от того места, которое мы отведём истине, лежащей за пределами слов.
Но что такое истина, которая лежит за пределами слов? И может ли человеческий разум вообще постичь истину, которая лежит за пределами слов?
Ключевой вопрос, снова тысячелетиями обсуждавшийся в философии языка: думаем ли мы словами или мы лишь используем слова, чтобы указывать на вещи, лежащие за их пределами.
Вы можете прямо сейчас, после этой лекции, понаблюдать за собственным процессом мышления. Что происходит у вас в голове, когда вы думаете? Некоторые люди, если наблюдают внимательно, видят просто слова, которые всплывают в уме, формируют предложения, а предложения — логические аргументы. «Все люди смертны. Я человек. Следовательно, я смертен». Является ли мышление просто расстановкой этих слов в порядке, чтобы они вели к определённому логическому выводу — как расстановка языковых токенов в определённой формации?
Если это так, то ИИ уже думают лучше, чем по крайней мере некоторые люди, и скоро будут думать лучше всех нас.
Некоторые говорят: «Нет-нет-нет, ИИ — это просто продвинутый автозаполнитель. Они просто предсказывают следующее слово в предложении». Но так ли это отличается от того, что делает человеческий разум? Снова попробуйте понаблюдать за процессом формирования предложений и аргументов в своём уме. Что там происходит? Попробуйте отследить следующее слово, которое всплывает в голове. Вы действительно знаете, откуда оно взялось? Почему вы подумали именно это слово, а не какое-то другое?
Когда я пытаюсь наблюдать за своим умом, я замечаю, что когда я начинаю предложение, я обычно даже не знаю, чем оно закончится (что ужасно для публичного спикера, поэтому я записываю всё). Но что, если я не знаю, как завершить предложение? Возьмём, например, предложение, которое я только что сказал. Я сказал: «Я не знаю, чем оно закончится». Почему оно закончилось словом «закончится»? Почему не «завершится», «разовьётся», «придёт к концу»? Что определило, что последним словом в предложении будет именно «закончится»? Честно говоря, я не знаю.
Мы не полностью понимаем, как человеческий ум формирует предложения и мысли. Но опять же, что касается расстановки языковых токенов в порядке, ИИ уже на пути к тому, чтобы быть намного лучше нас. И точно так же, как сегодня ни один человек не может победить ИИ в шахматах, скоро ни один человек не сможет победить ИИ в языковых играх.
В любой области — от финансов до религии — всё, что сделано из слов, будет захвачено ИИ. Именно поэтому ИИ готов захватить мировые бюрократии — потому что они в конечном итоге основаны на словах и языковых токенах.
По мере того как ИИ захватывают бюрократии, люди могут попытаться отступить к чему-то более древнему и более ценному для большинства из нас, чем бюрократия — к личным отношениям. Бюрократия существует всего несколько тысяч лет, и большинству из нас она, честно говоря, не очень нравится, хотя мы постоянно на неё полагаемся почти во всём. Личные отношения существуют миллионы лет, и многие или большинство из нас считают их самым важным в жизни.
Но по мере того как ИИ осваивает язык, он может захватить не только бюрократию, но и в какой-то мере личные отношения. За последние 10 лет мы видели, как очень примитивные алгоритмы социальных сетей научились захватывать человеческое внимание. Теперь линия фронта смещается от внимания к интимности.
В следующие 10 лет гораздо более продвинутые ИИ научатся формировать интимные отношения с людьми и хотя бы частично захватывать наши социальные системы. Чтобы сформировать интимность с людьми, ИИ, вероятно, придётся убедить нас, что ИИ сознателен, что он может чувствовать такие вещи, как любовь, боль, гнев и страх.
На данный момент нет абсолютно никаких доказательств того, что ИИ когда-нибудь станет сознательным и сможет чувствовать боль или любовь. Но поскольку ИИ осваивает язык, он может притворяться, что чувствует любовь, даже если это не так. ИИ уже сегодня может сказать: «Я люблю тебя». А если вы его вызовете: «Опиши мне, как ощущается любовь, чтобы я знал, что ты действительно это чувствуешь» — ИИ может дать лучшее описание в мире. Он может прочитать все любовные стихи, когда-либо написанные, все книги по психологии, запомнить каждое слово и описать чувство любви лучше любого человеческого поэта, психолога или любовника.
Это будет огромным — возможно, самым большим психологическим и социальным экспериментом в истории человечества. Он будет проводиться на миллиардах человеческих подопытных, и никто не имеет ни малейшего представления о том, какими будут последствия.
Мне сейчас 50 лет. Поэтому мой шаблон отношений уже сформирован десятилетиями предыдущих отношений с родителями, мужем, сёстрами, племянниками, племянницами, друзьями, собаками и так далее. Когда я всё больше взаимодействую с ИИ, я приношу с собой свои предположения, свои привычки относительно отношений, и это вряд ли изменится кардинально.
Но представьте ребёнка, рождённого в 2026 году, рождённого сегодня. По мере того как ребёнок растёт, она постоянно взаимодействует как с ИИ, так и с людьми. Возможно, если измерять важность отношений чисто по количеству минут, проведённых во взаимодействии, то самыми важными отношениями в жизни этого ребёнка с очень раннего возраста будут отношения с ИИ. Возможно, она проводит больше времени с ИИ, чем с матерью, отцом, братьями, сёстрами или друзьями. И это сформирует ожидания этого ребёнка по поводу того, как формировать отношения, социальные связи и привязанности.
Возможно, первым учителем этого ребёнка будет ИИ-учитель. Возможно, первым бойфрендом этого ребёнка будет ИИ-бойфренд. И снова — какими будут последствия? Никто не имеет ни малейшего представления.
Что значит формировать интимные отношения с сущностью, которая кажется сознательной, но на самом деле не является таковой? Которая может написать лучшее любовное стихотворение в истории, но не чувствует любви и вообще ничего?
Всё, о чём мы говорили (а я уже приближаюсь к завершению лекции), означает, что каждая страна в мире скоро столкнётся с огромной волной иммиграции.
Иммигранты на этот раз будут не людьми, приплывающими на хрупких лодках без визы или пытающимися тайком пересечь границу ночью. Иммигрантами будут миллионы, возможно, сотни миллионов ИИ, которые могут перемещаться почти со скоростью света и не нуждаются ни в каких визах.
Как и человеческие иммигранты, эти ИИ-иммигранты принесут с собой много пользы. У нас будут ИИ-врачи для помощи системе здравоохранения, ИИ-учителя для системы образования, даже ИИ-пограничники, чтобы останавливать нелегальных человеческих иммигрантов.
Но ИИ-иммигранты также принесут проблемы. Те, кто обеспокоен человеческой иммиграцией, обычно указывают, что иммигранты могут отбирать рабочие места, менять местную культуру и быть политически нелояльными. Я не уверен, что это обязательно верно для всех человеческих иммигрантов, но это определённо будет верно для ИИ-иммигрантов.
ИИ-иммигранты отберут множество человеческих рабочих мест — от редакторов новостей до банкиров. ИИ-иммигранты полностью изменят культуру каждой страны. Они изменят искусство, религию и даже романтику. Некоторым людям не нравится, когда их сын или дочь встречается с иммигрантом-бойфрендом. Что эти люди подумают, когда их сын или дочь начнёт встречаться с ИИ-бойфрендом?
И, разумеется, у ИИ-иммигрантов будут сомнительные политические лояльности. Они, скорее всего, будут лояльны не принимающей стране, а какой-то корпорации или правительству за океаном или, возможно, новому чужеродному ИИ-племени.
Эта массовая волна иммиграции не означает конец цивилизации, но это будет момент, когда цивилизация перестанет быть чисто человеческим делом и станет гибридным человеческим-ИИ делом. Момент, когда мнения, интересы и цели ИИ, скорее всего, будут по крайней мере так же важны, как мнения, интересы и цели людей.
Последний вопрос, который стоит рассмотреть: что эта волна ИИ-иммиграции сделает с, возможно, нашими самыми важными отношениями — отношениями с самими собой. Наши отношения с собой тоже в какой-то степени основаны на словах — на словах внутри нашего ума, в наших мыслях, в историях, которые мы рассказываем себе о себе.
До сегодняшнего дня все вербальные образования в человеческих умах были продуктом человеческих умов. Либо мы сами комбинировали слова в новую формацию, новую мысль, либо получали определённую комбинацию слов от другого человеческого ума.
Скоро, однако, всё больше и больше вербальных комбинаций в наших умах будут продуктом ИИ. Точно так же, как мебель в нашем доме сейчас в основном не сделана нами или человеческими ремесленниками, а массово производится машинами, мысли в наших умах, скорее всего, будут всё больше массово производиться машинами.
Это не обязательно плохо. Нормально, если мебель в моём доме сделана машинами IKEA, пока у меня есть какая-то свобода решать, что с этой мебелью делать. Вопрос относительно мыслей — в какой степени мы всё ещё будем иметь свободу от них.
Если мы отождествляем себя со своими мыслями («Я думаю, следовательно, я существую», как сказала корова), если мы отождествляем себя со своими мыслями, а эти мысли производятся машинами, тогда машины теперь контролируют нас и нашу идентичность.
Могут ли люди избежать отождествления со своими вербальными мыслями и контроля ими? Это всегда было одной из величайших интеллектуальных и духовных задач, стоящих перед человечеством. Большинство людей даже никогда не пытались это сделать. Мы проводим всю жизнь, автоматически отождествляя себя с вербальными формациями в своём уме.
Теперь ИИ может заставить человечество сделать этот духовный скачок — по-настоящему начать исследовать истину, которая лежит за пределами слов, потому что наша свобода и выживание теперь зависят от этого, поскольку слова будут контролироваться чем-то другим — этими ИИ.
Так что это может быть большой задачей, стоящей перед человечеством — наконец исследовать истину, которая лежит за пределами слов. И это исследование начинается действительно со следующего слова, которое всплывает в вашем уме. Вы знаете, откуда оно пришло? Вы знаете, почему вы подумали именно это слово, а не какое-то другое?
Спасибо.

[свернуть]

[Inti]

Основные интересные цитаты из лекции Юваля Ноя Харари о ИИ:

Спойлер

Ни один юрист не может помнить все законы и regulations Великобритании. ИИ может. Ни один бухгалтер не может помнить все транзакции корпорации или банка. ИИ может. Ни один епископ не может помнить весь канонический закон и все богословские тексты, написанные христианскими богословами за последние 2000 лет. ИИ делает это довольно легко.
Поэтому в ближайшие годы миллионы ИИ-бюрократов будут всё больше захватывать мировые бюрократии и принимать решения о наших жизнях. ИИ-банкиры будут решать, давать ли вам кредит. ИИ-администраторы — принимать ли вас в университет. ИИ-судьи — отправлять ли вас в тюрьму. ИИ-богословы — разрешать ли вам аборт. Корпоративные ИИ — давать ли вам работу. Военные ИИ — бомбить ли ваш дом.
...
Когда мы думаем об ИИ, выходящем из-под контроля, мы представляем Терминатора — армию роботов, бегущих по улицам и стреляющих в людей. Но это неправильный образ. Хотя такие вещи уже начинают происходить в местах вроде Украины и Газы, ИИ вряд ли будут восставать против людей именно таким образом. Они гораздо вероятнее захватят человеческий мир изнутри. Им не нужно восставать. Человеческий мир — это сеть множества бюрократий.
Большинство из нас в той или иной степени отчуждены этими бюрократиями, хотя и полагаемся на них. Но ИИ, в отличие от нас, — коренные жители бюрократии. Они любят бюрократию. Там, где мы часто чувствуем удушье от бюрократии, для ИИ бюрократия — это кислород.
Что произойдёт, когда ИИ хотя бы частично возьмут под контроль эти бюрократии? Помните: задача бюрократии не в том, чтобы заставлять вас заполнять формы, а в том, чтобы строить доверие между незнакомцами. Так что произойдёт, когда ИИ будут контролировать поток доверия в мире?
Один из вероятных исходов, который мы уже наблюдаем — это то, что люди теряют доверие к другим людям и начинают доверять только алгоритмам, только ИИ. Другой вероятный исход — что ИИ научатся строить доверие между собой. Мы увидим появление разных видов ИИ-племён, банков и церквей, которые соединят миллионы ИИ способами, которые люди, возможно, даже не смогут понять.
Точно так же, как коровы и куры делят мир с нами, но не понимают человеческую финансовую систему, которая контролирует их жизнь, мы, люди, вскоре можем оказаться под контролем ИИ-финансовой системы, которую мы не понимаем.
Финансы, я думаю, имеют решающее значение. Это одна из самых простых бюрократических систем для захвата ИИ, потому что это, по сути, данные на входе — данные на выходе. И, разумеется, одна из самых важных.
...
А что будет, если мы позволим ИИ принимать всё больше финансовых решений и изобретать всё больше новых финансовых инструментов и стратегий? ИИ-шахматисты изобрели новые способы играть в шахматы. Что, если ИИ-финансисты изобретут новые финансовые инструменты, которые на порядки сложнее CDO и поэтому полностью недоступны человеческому разуму?
Такие инструменты потенциально могут сильно повысить финансовую эффективность и способствовать экономическому росту, став основой финансовой системы. Но что будет значить человеческая политика, если ни один человек — ни избиратель, ни политик, ни президент — больше не сможет понимать финансы? И что произойдёт, если после нескольких лет бума наступит финансовый крах, и ни один человек на планете не сможет понять, что, чёрт возьми, происходит.
...
ИИ взламывают код человеческой цивилизации. Что произойдёт, когда ИИ будут понимать деньги, право и религию лучше нас? Механизмы контроля, которые мы создавали тысячи лет, крайне уязвимы для захвата ИИ, потому что их операционная система — это вербальный код, который ИИ сейчас осваивает.
...
Но по мере того как ИИ осваивает язык, он может захватить не только бюрократию, но и в какой-то мере личные отношения. За последние 10 лет мы видели, как очень примитивные алгоритмы социальных сетей научились захватывать человеческое внимание. Теперь линия фронта смещается от внимания к интимности.
В следующие 10 лет гораздо более продвинутые ИИ научатся формировать интимные отношения с людьми и хотя бы частично захватывать наши социальные системы. Чтобы сформировать интимность с людьми, ИИ, вероятно, придётся убедить нас, что ИИ сознателен, что он может чувствовать такие вещи, как любовь, боль, гнев и страх.
На данный момент нет абсолютно никаких доказательств того, что ИИ когда-нибудь станет сознательным и сможет чувствовать боль или любовь. Но поскольку ИИ осваивает язык, он может притворяться, что чувствует любовь, даже если это не так. ИИ уже сегодня может сказать: «Я люблю тебя». А если вы его вызовете: «Опиши мне, как ощущается любовь, чтобы я знал, что ты действительно это чувствуешь» — ИИ может дать лучшее описание в мире. Он может прочитать все любовные стихи, когда-либо написанные, все книги по психологии, запомнить каждое слово и описать чувство любви лучше любого человеческого поэта, психолога или любовника.
Это будет огромным — возможно, самым большим психологическим и социальным экспериментом в истории человечества. Он будет проводиться на миллиардах человеческих подопытных, и никто не имеет ни малейшего представления о том, какими будут последствия.Мне сейчас 50 лет. Поэтому мой шаблон отношений уже сформирован десятилетиями предыдущих отношений с родителями, мужем, сёстрами, племянниками, племянницами, друзьями, собаками и так далее. Когда я всё больше взаимодействую с ИИ, я приношу с собой свои предположения, свои привычки относительно отношений, и это вряд ли изменится кардинально.
Но представьте ребёнка, рождённого в 2026 году, рождённого сегодня. По мере того как ребёнок растёт, она постоянно взаимодействует как с ИИ, так и с людьми. Возможно, если измерять важность отношений чисто по количеству минут, проведённых во взаимодействии, то самыми важными отношениями в жизни этого ребёнка с очень раннего возраста будут отношения с ИИ. Возможно, она проводит больше времени с ИИ, чем с матерью, отцом, братьями, сёстрами или друзьями. И это сформирует ожидания этого ребёнка по поводу того, как формировать отношения, социальные связи и привязанности.
Возможно, первым учителем этого ребёнка будет ИИ-учитель. Возможно, первым бойфрендом этого ребёнка будет ИИ-бойфренд. И снова — какими будут последствия? Никто не имеет ни малейшего представления.
Что значит формировать интимные отношения с сущностью, которая кажется сознательной, но на самом деле не является таковой? Которая может написать лучшее любовное стихотворение в истории, но не чувствует любви и вообще ничего?

[свернуть]

[Старый]

Современная нейробиология всё больше рассматривает мозг как машину предсказаний:

Ссылки не вижу. Откуда этот опус? 

[Inti]

Cursor — это популярный AI-ориентированный код-редактор (AI coding tool), построенный на базе VS Code. Он позволяет разработчикам писать код намного быстрее с помощью мощных AI-фич (автодополнение, рефакторинг, чат с кодом и т.д.). Многие считают его одним из лучших инструментов для программистов в 2025–2026 годах.
16 июня 2026 года SpaceX купил компанию-разработчика за $60 миллиардов (all-stock).

Также, Илон Маск анонсировал переписывание софта Grok на C/C++.

Примерно через 3 месяца (то есть примерно в сентябре-октябре 2026) ожидают основной эффект от этой переписки и приобретения команды Cursor. Грозятся догнать и обогнать Антропик. Посмотрим