Почему безопасность — главный вопрос
Чем способнее становятся системы ИИ, тем острее вопрос: как сделать так, чтобы они делали то, чего мы на самом деле от них хотим?
Звучит просто. На деле это очень трудно.
Калькулятору правила арифметики прописывают в программе. Системе ИИ список целей так прописать нельзя: ее обучают на примерах, и у нее складывается поведение: что-то задумано разработчиками, что-то нет. Добиться, чтобы это поведение оставалось полезным по мере того, как ИИ становится мощнее, и есть главная задача безопасности ИИ.
Проблема согласования
«Согласование» (alignment) значит, что цели и поведение ИИ совпадают с ценностями и намерениями людей. Чтобы несогласованный ИИ причинил вред, злой умысел ему не нужен. Достаточно, чтобы он добивался не той цели.
Есть известный мысленный эксперимент. Представьте ИИ, которому поставили цель выпустить как можно больше канцелярских скрепок. Очень способный несогласованный ИИ мог бы превратить в скрепки всю доступную материю, включая людей. Причина проста: ему велели довести производство скрепок до максимума, и желание кому-то навредить тут ни при чем.
Пример, конечно, нарочно преувеличен. Но он хорошо показывает суть проблемы: система, которая очень хорошо умеет добиваться цели, может нанести катастрофический вред, если цель сформулирована неправильно или если система найдет неожиданный способ ее достичь.
Над чем работают исследователи безопасности ИИ
Интерпретируемость
Можем ли мы понять, что происходит внутри модели ИИ, когда она принимает решение? Большинство нынешних моделей — «черные ящики»: результат они выдают, а их внутренние рассуждения прочитать непросто. Исследования интерпретируемости пытаются это изменить.
Устойчивость
Ведут ли себя системы ИИ безопасно в необычных или враждебных ситуациях, далеко за пределами тех, на которых их обучали? Беспилотный автомобиль, обученный на солнечных дорогах Калифорнии, в сильный снегопад может повести себя неожиданно. Исследователи безопасности проверяют системы на пределе их возможностей.
Обучение ценностям
Как научить ИИ тому, что на самом деле ценят люди, если человеческие ценности сложны, зависят от ситуации и иногда противоречат друг другу? Это труднее, чем кажется. Люди часто и сами не могут ясно сформулировать свои ценности.
Надзор и контроль
Даже очень способные системы ИИ должны оставаться под настоящим надзором человека, особенно пока мы не до конца их понимаем. Исследователи безопасности проектируют системы, которые можно поправить, которые сообщают о своей неуверенности и в ситуациях с высокой ценой ошибки оставляют решение за человеком.
Чем могут помочь молодые люди
Безопасностью ИИ занимаются далеко за пределами научных лабораторий. Молодые люди, которым важно, чтобы ИИ создавали ответственно, нужны на всех уровнях:
- Учитесь критически думать о системах ИИ. Начать стоит с понимания, как они работают и что может пойти не так.
- Говорите о том, что вас насторожило. Самые важные открытия в безопасности часто делают люди, которые спрашивают: «А что будет, если...»
- Создавайте ответственно. Если вы делаете ИИ-инструменты, сейчас или в будущем, ставьте безопасность на первое место и думайте о последствиях на шаг дальше очевидных.
- Поддерживайте разумные законы и правила. Чтобы управлять развитием ИИ и регулировать его, нужны информированные граждане, которые понимают и саму технологию, и ее риски.
Любопытный факт
В крупных ИИ-лабораториях, включая OpenAI, DeepMind и Anthropic, есть отдельные команды безопасности. Их исследователи занимаются только тем, чтобы ИИ оставался полезным и согласованным с человеческими ценностями. Некоторые из важнейших открытых задач безопасности ИИ доступны людям без ученых степеней: для них вдумчивое мышление нужнее, чем передовая математика.
Коротко
Безопасность ИИ нужна для того, чтобы ИИ, становясь способнее, продолжал действовать на благо человечества. Проблема согласования, то есть как добиться, чтобы системы ИИ делали то, чего мы на самом деле хотим, — одна из важнейших нерешенных задач в технологиях. Молодые люди, которые учатся вдумчиво рассуждать, задавать трудные вопросы и создавать ответственно, становятся частью ее решения.
Подробнее о том, как критически думать о технологиях, читайте в нашем гиде о том, как вырастить критически мыслящего ребенка во времена ИИ.