Об опасностях ИИ

В формировании списка угроз для человечества могут помочь фантасты. Необходимо на международном уровне договориться о регулировании исследований в области искусственного интеллекта.

Об этом заявил писатель-фантаст Сергей Лукьяненко на прошедшем в Москве TAdviser Summit 2024. Автор, создавший в трилогии «Лабиринт отражений», «Фальшивые зеркала» и «Прозрачные витражи» первую российскую метавселенную Диптаун, обратил внимание на то, что предсказания фантастов часто сбываются. Об угрозах искусственного интеллекта Роберт Шекли писал еще в 1953 г. В рассказе «Страж-птица» с целью защиты от преступности люди создали неуправляемых самообучающихся летающих роботов, защищающих от посягательства на жизнь. В процессе самообучения птицы расширили понятие «убийство» и стали считать посягательством на жизнь и рыбную ловлю, и уничтожение насекомых, и хирургические операции. Позже птицы решили, что механизмы тоже живые существа, поэтому выключение зажигания у машины — убийство. Земле грозили голод и вымирание: птицы не позволяли пахать землю, рвать траву и собирать урожай. Разработчики создали «Ястребов» — неуправляемые самообучающиеся летающие машины для убийства страж-птиц. Но «Ястребы» в процессе самообучения пришли к выводу, что на Земле, кроме страж-птиц, есть другие разумные существа и их тоже нужно убивать.

Прогноз не назовешь нереальным. Автономные летающие роботы — сами определяющие цель дроны с искусственным интеллектом — уже используются в боевых действиях и убивают людей. Разработки искусственного интеллекта надо регулировать — это в интересах всего человечества. Но запретить разработки ИИ в военных целях тяжело, поскольку такие исследования контролировать гораздо труднее, чем испытания ядерного оружия. Если новое оружие есть у одной страны, то для обеспечения безопасности его хотят получить и другие.

«Нужно создать глобальные механизмы общественной безопасности, межнационального и межгосударственного доверия, для того чтобы была действительно уважаемая мировая структура, которая могла бы проверять, не слишком ли активно разрабатывается то или иное нейросетевое решение», — отметил писатель.

Также надо контролировать разработки нейросетей для создания опасных субстанций, например вызывающих пандемии вирусов, которые могут использовать террористы.

Риск социальных потрясений, вызванных потерей рабочих мест из-за внедрения нейросетей, высок для перенаселенных стран, но минимален для страдающей от нехватки кадров России. По мнению писателя, первыми могут оказаться вытесненными представители нетворческих профессий — лет через пять-десять автономные машины заменят водителей, а в авиации пилоты останутся только как резерв на случай непредвиденных обстоятельств.

Из творческих профессий первыми пострадают художники — уже сейчас обложки книг рисуют нейросети. Да и для иллюстраций статей журналистов все чаще используется ИИ. Писателям легче — нейросети без проблем генерируют по запросу текст, но это красивый, правильно структурированный мусор. Без человека пока не обойтись.

Под ударом и профессии, связанные с программированием. Расширяется внедрение ИИ в итерационный цикл постоянного совершенствования и оптимизации программного продукта (Program Development Life Cycle, PDLC). Уже сейчас, как рассказал Рафаель Тонаканян, директор дивизиона развития и сопровождения производственного процесса SberWorks (Сбер), AI-ассистент разработчика GigaCode существенно повышает производительность на всех этапах разработки, от написания кода до тестирования и отладки. В недалеком будущем ИИ заменит всю команду разработчиков — для стартапа достаточно будет генерирующего идею человека, всё остальное сделает ИИ.

В романе С. Лукьяненко «Пролог» для контроля управляющего кораблем искусственного интеллекта (искина) в его «голову» была заложена взрывчатка. По сути, искин работал с приставленным к виску дулом пистолета. Однако остается вопрос: сможет, а главное, захочет ли человек в критической ситуации «нажать на курок»? И что делать, чтобы не оказаться в такой ситуации?

От всех неприятностей защититься невозможно, надо расставлять приоритеты. Специалисты-безопасники начинают работу по защите компании с создания матрицы угроз — перечня угроз организации с оценкой последствий и вероятностью их реализации. Такой же перечень для человечества могли бы сформировать писатели-фантасты и читатели, хорошо разбирающиеся в фантастике. А потом международные эксперты оценят вероятность реализации, тяжесть угроз и выработают меры защиты. Но для этого, как правильно указал писатель, нужно доверие. Которое в настоящее время выглядит фантастикой.

Источник