Чому безпека — головне питання
Що потужнішими стають системи ШІ, то гостріше постає питання: як зробити так, щоб вони робили саме те, чого ми насправді від них хочемо?
Звучить просто. Насправді це дуже складно.
Калькулятор запрограмований правилами арифметики. Систему ШІ так не програмують, задаючи їй перелік цілей: її навчають на прикладах, і вона виробляє певну поведінку, частково задуману, частково ні. Подбати, щоб ця поведінка лишалася корисною, коли ШІ стає потужнішим, — головне завдання безпеки ШІ.
Проблема узгодження
«Узгодження» (alignment) означає, що цілі й поведінка ШІ узгоджені з людськими цінностями та намірами. Щоб завдати шкоди, неузгодженому ШІ злий намір не потрібен. Досить того, що він прагне хибної мети.
Ось відомий уявний експеримент. Уявіть ШІ, якому поставили мету виробити якомога більше канцелярських скріпок. Надзвичайно здібний, але неузгоджений ШІ міг би перетворити на скріпки всю доступну матерію, включно з людьми. Без жодного бажання комусь зашкодити: просто саме виробництво скріпок йому доручили оптимізувати.
Звісно, приклад перебільшений. Але він добре показує суть проблеми: система, яка дуже вміло досягає мети, може завдати катастрофічної шкоди, якщо мету сформулювали неправильно або якщо система знайде несподіваний спосіб її досягти.
Над чим працюють дослідники безпеки ШІ
Інтерпретованість
Чи можемо ми зрозуміти, що відбувається всередині моделі ШІ, коли вона ухвалює рішення? Більшість сучасних моделей — «чорні скриньки»: вони видають результат, проте прочитати їхні внутрішні міркування непросто. Дослідження інтерпретованості намагаються це змінити.
Стійкість
Чи поводяться системи ШІ безпечно в незвичних або ворожих ситуаціях, тобто й поза тими, на яких їх навчали? Безпілотний автомобіль, навчений на сонячних дорогах Каліфорнії, у сильний снігопад може повестися непередбачувано. Дослідники безпеки випробовують системи на межі їхніх можливостей.
Засвоєння цінностей
Як навчити ШІ того, що люди справді цінують, якщо людські цінності складні, залежать від ситуації й іноді суперечать одна одній? Це важче, ніж здається. Люди часто й самі не можуть чітко сформулювати власні цінності.
Нагляд і контроль
Навіть дуже здібні системи ШІ мають лишатися під справжнім людським наглядом, особливо поки ми не розуміємо їх повністю. Дослідники безпеки проєктують системи, які можна виправити, які повідомляють про свою невпевненість і в ситуаціях з високою ціною помилки поступаються рішенням людині.
Як може допомогти молодь
Безпека ШІ — справа багатьох людей, і дослідники лише частина з них. Молоді люди, яким важливо, щоб ШІ створювали відповідально, потрібні на кожному рівні:
- Вчіться критично мислити про системи ШІ. Розуміння того, як вони працюють і що може піти не так, — відправна точка.
- Кажіть про проблеми, коли їх помічаєте. Найважливіші відкриття в безпеці часто починаються з чийогось запитання «а що буде, якщо...»
- Обирайте відповідальну розробку. Якщо ви створюєте ШІ-інструменти, зараз чи в майбутньому, ставте безпеку на перше місце і думайте про віддалені наслідки.
- Підтримуйте добрі правила. Для управління й регулювання ШІ потрібні обізнані громадяни, які розуміють і саму технологію, і її ризики.
Цікавий факт
Великі ШІ-лабораторії, зокрема OpenAI, DeepMind і Anthropic, мають окремі команди безпеки. Їхні дослідники працюють винятково над тим, щоб ШІ лишався корисним і узгодженим з людськими цінностями. Деякі з найважливіших відкритих задач у безпеці ШІ доступні людям без наукових ступенів: для них уважне мислення важить більше, ніж найсучасніша математика.
Підсумок
Безпека ШІ — це про те, щоб ШІ, стаючи потужнішим, і далі діяв на користь людству. Проблема узгодження, тобто як домогтися, щоб системи ШІ робили те, чого ми насправді хочемо, — одна з найважливіших нерозв'язаних задач у технологіях. Молоді люди, які вчаться уважно мислити, ставити складні запитання й відповідально створювати технології, — частина розв'язку.
Більше про те, як критично мислити про технології, читайте в нашому посібнику про те, як виховати критичне мислення у світі ШІ.