Несподіваний секрет: передбачення наступного слова
ChatGPT насправді «знає» речі зовсім інакше, ніж ви. У нього немає спогадів, переконань чи розуміння світу. Натомість у нього є дуже потужне вміння: передбачати, яке слово найімовірніше буде наступним, з огляду на все, що було перед ним.
Звучить просто. Але коли це вміння тренують майже на всьому відкритому інтернеті — мільярдах вебсторінок, книжок, статей, наукових праць і репозиторіїв коду, — з'являється дещо дивовижне. Передбачення стають такими точними, що звучать як справжні знання.
Що таке токен?
ChatGPT читає текст «токенами» — шматочками символів, приблизно як склади або короткі слова. Англійське слово «Unbelievable» може розпастися на три токени: «un», «believ» і «able». Кожне речення, яке ви набираєте, перетворюється на послідовність токенів, і модель оцінює ймовірність того, які токени мають іти далі.
Коли ви питаєте «Яка столиця Франції?», модель уже мільйони разів бачила під час навчання цю послідовність токенів або дуже схожу, і поруч із нею відповідь «Париж». Тому вона з дуже високою впевненістю передбачає «Париж».
Навчання: коли і як
ChatGPT навчали на «знімку» текстів з інтернету до певної дати. Її називають «межею навчальних даних» (training cutoff). Тож про події після цієї дати він не знає, якщо тільки йому не розповісти про них у розмові. До інтернету в реальному часі він не підключений (хіба що йому спеціально додали для цього інструмент).
Під час навчання моделі показували мільярди прикладів і щоразу, коли вона помилялася з передбаченням, підправляли її внутрішні ваги — мільярди крихітних чисел. За трильйони таких поправок модель навчилася передбачати напрочуд добре.
Чого ChatGPT не вміє
Знати межі моделі так само важливо, як знати її можливості:
- Він може галюцинувати, тобто впевнено й гладко видавати речення, які від початку до кінця хибні. Якщо модель не навчили певного факту правильно, вона може вигадати відповідь, яка звучить правдоподібно, але неправдива.
- Він не вміє міркувати так, як люди. Він знаходить закономірності. Дуже складні запитання іноді це викривають.
- Він не може перевірити власні відповіді. Він не «знає», що саме знає.
Цікавий факт
GPT означає «Generative Pre-trained Transformer». «Generative» (генеративний) означає, що він створює новий текст. «Pre-trained» (попередньо навчений) означає, що його навчили на величезному масиві даних ще до того, як ви вперше з ним заговорили. «Transformer» (трансформер) — назва архітектури нейромережі, на якій він працює. Її запропонували 2017 року у відомій статті «Attention Is All You Need».
Підсумок
ChatGPT знає так багато, бо його навчили на величезному обсязі текстів, написаних людьми. Він передбачає, і це зовсім інше, ніж ваше розуміння. Проте у великих масштабах передбачення дає результат, напрочуд схожий на розуміння. Завжди сприймайте його відповіді як відправну точку для власних роздумів. Остаточне слово лишається за вами.
Хочете зрозуміти, яка нейромережа стоїть за цим? Читайте нашу статтю про те, що таке нейромережа.