До этой части мы говорили об архитектуре и обучении на сыром тексте. Но если взять модель сразу после pretraining и спросить «как сварить макароны» — она не ответит. Она продолжит текст. Чтобы из «угадайки следующего токена» получить помощника, нужен второй этап обучения — alignment. Эта часть про то, как именно его делают, и почему модели всё равно ломают.
Pretraining даёт модели знания о мире. Alignment учит её этими знаниями пользоваться — отвечать на вопросы, отказываться от вредного, следовать инструкциям. Это не магия и не «настоящее понимание этики» — это тонкая настройка распределения вероятностей под человеческие предпочтения. Но именно она превращает GPT в ChatGPT.