ИИ готовит нам ловушку интеллектуальной беспомощности
Разговор с Сергеем Лукьяненко, писателем-фантастом, автором романа «Ночной дозор» и других известных произведений, состоялся в кулуарах международного симпозиума «Создавая будущее», организованного при поддержке Национальной технологической инициативы.
На форуме писатель говорил про влияние искусственного интеллекта на нашу жизнь, вызовы, которые стоят перед человечеством сегодня, и про то, как новое поколение интеллектуалов будет с ними справляться. Поэтому часть вопросов была об этом. И еще там работала выставка «Наследие для будущего», посвященная невероятным предсказаниям писателей-фантастов прошлого, которые сбылись в наши дни, и мы также поговорили с Сергеем Лукьяненко о даре визионерства современных фантастов.
— Сергей Васильевич, здесь на форуме много говорят об искусственном интеллекте и опасностях, которые исходят от него. Что вы думаете об этом?
— Я считаю, что есть две главные опасности. Первая — ИИ — может быть зол по отношению к человечеству. А вторая — что может быть добр. И добрый искусственный интеллект, который будет за нас писать хорошие книги, снимать хорошее кино, замечательно управлять производством и все остальное делать вместо нас — это ловушка. Путь к тихому плавному вымиранию человечества. То есть мы можем оказаться в мире, где всё для человека, но при этом никакого смысла существования человека нет. И это очень сложная и коварная ловушка. Причем раньше в нее уже попадали элиты разных стран. Из истории мы знаем, например, как разрушались Римская и другие великие империи и страны, где элита теряла смысл существования, переставала понимать, для чего она вообще создана.
— Выходит, и «злой», и «добрый» ИИ опасен, замкнутый круг. А еще вы как-то сказали, что видите будущее, но не хотите пугать им людей. Означает ли это, что вы смотрите на будущее достаточно пессимистично?
— Скорее сказал бы, что смотрю на будущее с осторожностью. Я все же по натуре больше оптимист и думаю, что мы справимся со всеми вызовами. Но для этого надо, конечно, прикладывать определенные усилия. У нас очень много разных ловушек впереди. И помимо таких очевидных и банальных, как военные угрозы или угрозы эпидемий, в том числе искусственно созданных с помощью выведенных в лабораториях вирусов, впереди маячит ловушка интеллектуального и, быть может, даже товарного изобилия. Она связана с развитием нейросетей. А также ловушка биологического краха человечества, связанная с вмешательством в его геном.
— Верите ли вы в силу российских стартапов, мы можем добиться технологического прорыва?
— Я верю в наши прорывные технологии, в беспилотные системы, например, такие, которые развивает наша компания Cognitive Pilot. Верю, как ни странно, и в российские квантовые вычисления. У нас также есть серьезные заделы в биотехнологиях. То есть достаточно много заделов и молодых людей, которые остались работать здесь, в России. Пожелаю им всем терпения, работоспособности и немножко удачи.
— На форуме работает выставка блестящих исторических предсказаний ваших коллег, писателей-фантастов XX века. А сегодняшние фантасты: могут ли они радовать нас таким же уровнем визионерства?
— Предугадывание будущего часто происходит случайно. Моделей у будущего много, и в какой-то момент одна из них, наконец, попадает в точку. И тогда все радостно кричат: «Вот он, фантаст-провидец!» Но все же, если фантастикой заниматься по-хорошему и пытаться экстраполировать в будущее то, что видишь в сегодняшнем дне, то, конечно, возможны и определенные прицельные попадания.
— На форуме вы говорили о разнице поколений и роли информации. Поясните, пожалуйста.
— Мы сейчас живем в странное время: ведь каждое последующее поколение получало больший запас доступной информации и техническую возможность с ней работать. Поколения развивались в логике усложнения работы с информацией, и этот фактор являлся водоразделом между ними. А сейчас вся информация становится общедоступной. И где бы сегодня в мире мы ни находились, всегда остаемся на связи с информационными потоками. Поэтому сегодняшнее поколение столкнулось с кризисом переизбытка информации, когда становится все сложнее отыскать правильную и необходимую.
Много фейков, домыслов и теорий, которые воспринимаются как реальность. И вот уже нас не удивляют люди, которые верят в плоскую Землю. Каждому следующему поколению приходилось работать со все большим объемом информации, а нынешнему «Поколению Бета», то есть тем, кто появится на свет уже в эпоху искусственного интеллекта, на мой взгляд, придется иметь дело с ее верификацией. И это проблема, с которой до сих пор поколения не сталкивались.
Всегда была какая-то энциклопедическая база, фундаментальная наука и всем известные аксиомы. Сейчас аксиом нет. И молодой человек, вступающий в жизнь, плавает в бескрайнем океане информации, в котором нет никаких ориентиров.
— Кто-то из великих сказал, что фантасты умеют разговаривать с небом. Ведете ли вы этот разговор?
Конечно, разговор с небом остался. Но это, скорее, не разговор, то есть не диалог — мы его по большей части слушаем, — Сергей Лукьяненко.
Вы будете счастливыми.
Мы СДЕЛАЕМ вас счастливыми.
©🤖
P S. Этот коммент на 95% написан Т9. То есть простеньким ИИ моего телефона. Я набрал "вы б" – выскочило не ругательство какое-нибудь, а "вы будете".
"мы сд" – не "сдаёмся", а "сделаем".
"сч" – не "счетоводами", к примеру, а "счастливыми".
Ну что, мне уже страшно. (ц) Директор Миша ("День радио")
Сергей Васильевич,
Прочитав ваше интервью по поводу искуственного интеллекта, я вынужден с грустью констатировать, что вы как представитель того направленияя литературы, которое берет на себя некую предсказательную миссию относительно будущего развития цивилизации (ну, в числе прочих миссий конечно), причем не самый последний приедставитель этого направления изложили... откровенную лажу... Уж простите ради бога, но это так. Вы даже не попытались ознакомиться с темой, но поспешили изложить страшилки... поплярности ради может? но у вас и так ее хватает...
Сергей Васильевич, выражение "искуственный интеллект" это просто термин - неудачный вне всякого сомнения, но всего лишь термин, не имеющий какого либо отношения в термину "интеллект" - вообще никакого. Даже близко! То что пугает в последнее время многих обывателей - большие языковые модели (ChatGPT явзяется яркой демонстрацией таких можелей, хотя сама по себе является лишь интерфейсом с семейству реализации таких моделей от OpenAI) представляют собой всего лишь уравение с очень больщим числом параметров (GPT 3.5 это грубо говорря уравнение со 175 млрд параметров - это конечно очень-очень грубое представление). Т.е. просто взяли текстовые данные до которых могли дотянуться, разбили из на токены (части слова, чтобы было удобнее перевести из в цифровую форму) и вычислили веса, которые представляют собой... ну как бы вероятность появления двух и более токенов рядом (процесс вычисления весов это отдельная тема, но ничего мистического в ней нет - это похоже на.. ну хотя-бы на линейную апроксимацию).
Имея такую огромную (175 млрд у GPT 3.5) базу данных таких... ну скажем так величин (вообще это лучше всего описывается словом "вектор" - просто аналогия как мы в математике складываем и вычитаем вектора, тут мы вычислем дистанцию между токенами - частями слов) мы можем запустить на вход такой нейросети (а это именно нейросеть - трансформер) произвольный текст (в народе - "промпт") и единственной задачей этой нейросети будет вычисление одного единственного токена (части слова) на выходе. - т.е. есть уравнение с хреновой тучей параметров, на вход которого мы подаем текст (тоже преобразованного в набор токенов), а на выходе мы получаем один единственный токен, которые рассматривается как "наиболее вероятный". Этот токен добавляется к исходному тексту и вновь подается на вход нейросети.. И так много раз (в теории - бесконечно количестов раз). Чтобы это выглядело похоже на ответ человека, добавляют всякие дополнительные параметры, самым важным из которых является использование генератора случайных чисел при вычислении конкретных вероятностей - именно это делает такие нейросети похожими на человеков. Но именно похожими - совремнные ИИ это более или менее удачная ИМИТАЦИЯ процесса человеческого мышления, а по факту просто поисковая машина на стероидах - сильно усовершенстованный T9 только и всего
Может ли такой ИИ представлять опасность для человечества? Вне всякого сомнения - точно также как и палка, которую какая-то обезяна миллионы лет назад догадалась применить в качестве оружия и/или орудия. Может ли такой ИИ быть злым или добрым? Ну не более чем та-же палка. Может ли появиться ИИ способный к мышлению? Никто не знает, но на сегодняшний день нет никаких технологий хотя бы близко намекающих на это. Может ли развитие нынешних моделей ИИ (не только LLM или GPT - есть и иные модели) привести к взрыному и росту =уровня технологического развития человечества? Я лично надеюсь, что да, но это всего лишь гипотеза, хотя я считаю, что она достаточно хорошо обоснована - палка упомянтуая выше уже привела. Более близкая аналогия - всеобщая компьютеризация. Может ли развитие современных моделей ИИ привести к усилению неравенства (людей, стран, этнических, религиозных и пр. групп населения)? к сожалению это вполне возможно. Более того - все к этому идет - те страны которые будут контролировать более производительные реализации ИИ получат огромное преимущество перед другими, и это преимущество булет нарастать лавинообразно. Тоже самое и с группами населения, в том числе и в упомянутых выше странах - те, кто получают доступ получают конкурентные преимущества.
И именно это представляет собой ГЛАВНУЮ опасность ИИ для человечества - никак не мифическая злоба или дорота ИИ - социальные катаклизмы вызванные неравномерностью развития технологий и их доступность для различных стран и людей
Странно но мне казалось, что именно такие люди как вы должны это понимать впервую очередь