Неожиданный секрет: угадать следующее слово
ChatGPT на самом деле «знает» вещи иначе, чем знаете их вы. У него нет воспоминаний, убеждений и понимания мира. Зато у него есть очень сильный навык: по всему, что уже написано, угадывать, какое слово скорее всего будет следующим.
Звучит просто. Но если натренировать этот навык почти на всем открытом интернете (миллиардах веб-страниц, книг, статей, научных работ и хранилищ кода), получается нечто удивительное. Догадки становятся настолько точными, что звучат как настоящие знания.
Что такое токен?
ChatGPT читает текст кусочками, которые называют «токенами». Токен — это несколько символов, примерно слог или короткое слово. Английское слово «Unbelievable» может разбиться на три токена: «un», «believ» и «able». Каждое предложение, которое вы вводите, превращается в цепочку токенов, и модель прикидывает, какие токены вероятнее всего пойдут дальше.
Когда вы спрашиваете «Какая столица у Франции?», модель за время обучения видела эту цепочку токенов (или очень похожую) миллионы раз, и рядом с ней стоял ответ «Париж». Поэтому она выдает «Париж» с очень высокой уверенностью.
Обучение: когда и как
ChatGPT обучали на снимке интернет-текстов до определенной даты. Ее называют «датой среза обучения» (training cutoff). Значит, о событиях после этой даты модель не знает, пока о них не расскажут прямо в разговоре. К интернету в реальном времени она не подключена (если только к ней специально не добавили такой инструмент).
Во время обучения модели показывали миллиарды примеров и каждый раз, когда она ошибалась в догадке, подправляли ее внутренние веса, миллиарды крошечных чисел. После триллионов таких поправок модель стала угадывать поразительно хорошо.
Чего ChatGPT не умеет
Знать ограничения так же важно, как знать возможности:
- Модель может галлюцинировать, то есть уверенно и гладко писать фразы, которые полностью неверны. Если какой-то факт она толком не усвоила при обучении, то может придумать правдоподобный, но ложный ответ.
- Модель рассуждает иначе, чем человек. Она находит закономерности. Очень сложные вопросы иногда это выдают.
- Модель не может проверить собственные ответы. Она не «знает», что именно знает.
Любопытный факт
GPT расшифровывается как «Generative Pre-trained Transformer». «Generative» (порождающий) значит, что модель создает новый текст. «Pre-trained» (предобученный) значит, что ее обучили на огромном наборе данных еще до того, как вы с ней заговорили. «Transformer» (трансформер) — название архитектуры нейросети, на которой она работает. Ее описали в знаменитой статье 2017 года «Attention Is All You Need».
Коротко
ChatGPT знает так много, потому что обучался на огромном количестве текстов, написанных людьми. Понимает он иначе, чем вы: он предсказывает. Но в достаточно большом масштабе предсказание дает что-то очень похожее на понимание. Всегда воспринимайте его ответы как отправную точку для собственных размышлений, а последнее слово оставляйте за собой.
Хотите понять, какая нейросеть стоит за ним? Прочитайте нашу статью о том, что такое нейросеть.