Лекция Карпати о том, как устроен ChatGPT: полный конспект на русском

Ты пишешь в ChatGPT каждый день: вопрос, Enter, ответ. Иногда он попадает в точку, иногда уверенно врёт, а иногда спотыкается на задачке для третьего класса. Почему так происходит, что вообще сидит за этим окошком и с кем ты на самом деле разговариваешь? Ответ на это есть в одной лекции, и после неё на нейросети смотришь другими глазами.

Лекцию читает Андрей Карпати (Andrej Karpathy), один из сооснователей OpenAI и бывший директор по искусственному интеллекту в Tesla. Человек, который собирал такие модели своими руками и умеет объяснять их на пальцах. За три с половиной часа он проходит весь путь: от скачанного интернета до ChatGPT, который рассуждает. Ниже полный конспект на русском, 10 приёмов, которые из него следуют, словарь терминов и задание на 10 минут.

Проверь: это про тебя?

• Пользуешься ChatGPT или Claude каждый день, но слабо представляешь, что происходит «под капотом».
• Ловишь нейросеть на выдуманных фактах, ссылках и цифрах и не понимаешь, почему она так уверенно ошибается.
• Слышишь слова «токены», «контекст», «модель-рассуждатель», а цельной картинки в голове нет.
• Хочешь получать от нейросети точные ответы вместо лотереи и понимать, где ей можно доверять, где лучше перепроверить.
• Думаешь, что разобраться в устройстве ИИ без технического образования нельзя.

Если откликается хотя бы один пункт, читай дальше. Формул здесь нет.

Та самая лекция

Лекция называется «Deep Dive into LLMs like ChatGPT», то есть «Глубокое погружение в большие языковые модели вроде ChatGPT». Карпати выложил её на YouTube 5 февраля 2025 года. Длина 3 часа 31 минута, больше 10 миллионов просмотров (на момент подготовки конспекта 10 013 600). Рассчитана она на широкую аудиторию: программировать уметь не нужно.

Смотреть лекцию на YouTube (на английском, автосубтитры и перевод в браузере справляются).

Как читать конспект. Разделы идут в том же порядке, что и в видео, у каждого стоит таймкод начала: любой кусок легко найти и пересмотреть. Английские термины даны в скобках при первом упоминании, чтобы потом узнавать их в статьях и новостях. Все цифры, примеры и названия взяты из самой лекции. Учти, что она записана в начале 2025 года, поэтому «новейшие модели» в ней это GPT-4o, o3-mini и DeepSeek-R1. С тех пор вышли новые, но устройство осталось тем же.

Конспект лекции на русском

00:00:00 · Вступление: что стоит за текстовым окошком

Карпати сразу говорит, зачем снял это видео: дать «ментальные модели», то есть понятные способы думать о том, что такое ChatGPT. Инструмент во многом волшебный, в чём-то очень силён, в чём-то слаб, и у него много острых углов (sharp edges), о которые легко порезаться.

Вопросы, на которые он обещает ответить: что стоит за окошком, куда ты вводишь текст и жмёшь Enter? Что туда лучше писать? Откуда берутся слова, которые прилетают в ответ, и с чем ты разговариваешь? Чтобы ответить, он предлагает пройти весь путь сборки ChatGPT с нуля, а по дороге поговорить о «психологии» модели.

00:01:00 · Этап 1: скачать и почистить интернет

Его первый шаг: скачать и обработать интернет. Для примера Карпати показывает набор данных FineWeb от компании Hugging Face. У OpenAI, Anthropic, Google и других крупных разработчиков есть свои внутренние аналоги. Цель: собрать огромное количество качественных и максимально разнообразных текстов из открытых источников, потому что от этого зависит, сколько знаний окажется внутри модели.

Неожиданная цифра: после всей очистки FineWeb занимает всего около 44 терабайт. Это помещается почти на один жёсткий диск. Интернет огромен, но берут только текст и фильтруют его очень жёстко.

Отправная точка почти всегда Common Crawl: организация, которая с 2007 года обходит интернет, переходя по ссылкам. К 2024 году она проиндексировала 2,7 миллиарда веб-страниц. Дальше этот сырой материал проходит фильтры:

• Фильтр по адресам (URL filtering): чёрные списки сайтов с вирусами, спамом, маркетингом, расистским и взрослым контентом.
• Извлечение текста (text extraction): из кода страницы выкидывают меню, разметку и стили, оставляют сам текст.
• Фильтр по языку: FineWeb, например, оставляет страницы, где английского больше 65%. Это решение каждой компании. Если выкинуть почти весь испанский, модель потом будет плохо говорить по-испански.
• Удаление дублей и личных данных (PII removal): адресов, номеров документов и подобного.

На выходе получаются обычные тексты: статья про торнадо 2012 года, заметка про надпочечники и так далее. Карпати склеивает первые 200 страниц в одну ленту, и получается огромное «полотно» текста. Задача следующих шагов: научить нейросеть повторять закономерности, по которым этот текст течёт.

00:07:47 · Токенизация: как текст превращают в символы

Нейросети принимают на вход одномерную последовательность символов из ограниченного набора. Значит, текст надо во что-то перевести. В компьютере любой текст хранится как биты, нули и единицы. Символов всего два, но последовательность получается гигантской, а длина последовательности для нейросети очень дорогой и ограниченный ресурс. Поэтому символов делают больше, а последовательность короче.

Сначала биты группируют по восемь в байты, это 256 возможных символов. Потом запускают алгоритм BPE (byte pair encoding): он находит пары символов, которые часто стоят рядом, и заменяет каждую такую пару новым символом. Повторяют много раз. Хороший размер словаря оказывается около 100 тысяч символов: у GPT-4 их ровно 100 277. Эти символы называются токенами (tokens), а весь процесс токенизацией (tokenization).

Карпати показывает сайт Tiktokenizer, где можно ввести текст и увидеть, как его режет GPT-4. «hello world» это ровно два токена: «hello» и « world» (с пробелом). Уберёшь пробел, добавишь второй пробел или заглавную букву, и токены будут другими. Номера токенов ничего не значат, это просто уникальные «ярлыки», как эмодзи. Одна строка текста превращается для GPT-4 в цепочку из 62 таких ярлыков. Именно это модель и «видит».

00:14:27 · Вход и выход нейросети: угадай следующий токен

После токенизации FineWeb превращается в последовательность примерно из 15 триллионов токенов. Цель: научиться предсказывать, какой токен идёт следующим.

Из данных берут случайные «окна» токенов длиной от нуля до какого-то максимума, например 8 000. Это контекст (context). Его подают в нейросеть, а она выдаёт 100 277 чисел: вероятность каждого возможного токена оказаться следующим. В начале нейросеть случайная, и правильный токен может получить, скажем, 3%. Но мы знаем правильный ответ, ведь окно взято из реального текста. Поэтому нейросеть чуть-чуть подкручивают, чтобы в следующий раз правильный токен получил чуть больше, например 4%, а остальные чуть меньше.

Это происходит одновременно для огромного количества окон и токенов.

00:20:11 · Что внутри нейросети

Внутри нейросеть это большая математическая формула. В неё смешиваются входные токены и параметры (parameters), их ещё называют весами (weights). У современных моделей их миллиарды. В начале они выставлены случайно. Карпати сравнивает их с ручками на диджейском пульте: крутишь ручки, и предсказания меняются. Обучить нейросеть значит найти такое положение всех ручек, при котором предсказания совпадают с данными.

Сама формула не страшная: умножение, сложение, возведение в степень. Карпати показывает наглядную визуализацию настоящей производственной архитектуры, она называется Transformer (трансформер). В показанной модели около 85 тысяч параметров. Токены сначала превращаются во внутреннее представление, потом информация проходит через блоки «внимания» (attention) и многослойные блоки (MLP), а на выходе получаются вероятности следующего токена.

Промежуточные значения можно с натяжкой считать «активностью искусственных нейронов». Но Карпати предупреждает: не стоит слишком увлекаться сравнением с мозгом. Настоящие нейроны сложные и имеют память. Здесь памяти нет: это фиксированная формула от входа к выходу.

00:26:01 · Инференс: как модель пишет текст

Когда модель обучена, из неё можно генерировать текст. Это называется инференс (inference). Даём начальный токен, получаем вероятности, «подбрасываем взвешенную монетку» и выбираем следующий токен: чем выше вероятность, тем чаще он выпадает. Добавляем выбранный токен в цепочку и повторяем.

Из-за этих монеток модель стохастическая (stochastic), то есть случайная. Иногда она дословно воспроизводит кусок из обучающих данных, но чаще выдаёт «ремикс»: текст со статистикой, похожей на обучающие данные, но новый. В примере Карпати вместо ожидаемого слова выпало «article», и дальше цепочка пошла своим путём.

Важный момент для пользователя. Когда ты общаешься с ChatGPT, модель обучили месяцы назад, и её параметры зафиксированы. В разговоре идёт только инференс: модель дописывает цепочку токенов, ничему новому при этом не обучаясь.

00:31:09 · GPT-2: как выглядит обучение вживую

Для конкретики Карпати берёт GPT-2, модель OpenAI 2019 года. GPT расшифровывается как generatively pre-trained transformer. Это первый случай, когда сложился узнаваемо современный набор технологий: сегодня всё то же самое, просто больше.

Карпати сам воспроизвёл GPT-2 в проекте llm.c. У него ушли сутки и около $600, а при желании можно уложиться в $100. Причины: данные стали чище, а железо и программы намного быстрее.

Каждая строка это одно обновление модели на миллионе токенов, каждое занимает около 7 секунд, всего их 32 000, то есть примерно 33 миллиарда токенов. Главное число на экране называется loss (функция потерь): чем ниже, тем лучше модель предсказывает. Исследователь пьёт кофе и следит, чтобы оно падало.

Всё это крутится в облаке на компьютере с восемью видеокартами Nvidia H100, их арендуют, например, у компании Lambda примерно по $3 за одну видеокарту в час. Видеокарты идеально подходят для таких вычислений, потому что умеют делать много операций параллельно. Их собирают в серверы, серверы в дата-центры. Отсюда «золотая лихорадка»: все хотят видеокарты, поэтому Nvidia стоит $3,4 триллиона, а Илон Маск собирает 100 000 видеокарт в одном дата-центре. И все они заняты одним: предсказывают следующий токен.

00:42:52 · Llama 3.1: что умеет «сырая» модель

Обучить большую модель стоит десятки и сотни миллионов долларов, поэтому Карпати берёт готовую. Это симулятор интернет-текста на уровне токенов: она «видит сны» в виде веб-страниц. Ассистентом она ещё не является. Чтобы выпустить модель, нужны две вещи: код (несколько сотен строк, довольно стандартных) и параметры, огромный список чисел. Ценность именно в параметрах.

Пример: Llama 3.1 от Meta, 405 миллиардов параметров, обучена на 15 триллионах токенов. С базовой версией можно поиграть на сайте Hyperbolic. Что показывает Карпати:

• На вопрос «сколько будет 2+2» модель уходит в философские рассуждения, вместо того чтобы ответить как ассистент. Это «очень дорогое автодополнение». И каждый раз результат разный.
• 405 миллиардов параметров можно представить как zip-архив интернета, только сжатый с потерями. Знания в нём есть, но размытые. Попроси «топ-10 достопримечательностей Парижа», и модель выдаст правдоподобный список. Доверять ему полностью нельзя: то, что в интернете встречается часто, модель помнит лучше, а редкое хуже.
• Если вставить первую фразу статьи про зебру из Википедии, модель дословно продолжает статью по памяти. Это называется регургитацией (regurgitation). Качественные источники вроде Википедии модель видела много раз, примерно 10, и запомнила их почти наизусть.
• Знания модели заканчиваются концом 2023 года. Если начать текст про выборы 2024 года, она уверенно сочиняет: в одном варианте напарник Трампа Майк Пенс, а соперники Хиллари Клинтон и Тим Кейн, в другом Рон Десантис против Байдена и Камалы Харрис. Это галлюцинация (hallucination): лучшая догадка модели.
• Даже сырую модель можно использовать с умом. Карпати даёт 10 пар «английское слово: корейский перевод», а в конце одно слово без перевода, и модель правильно переводит. Это называется обучением в контексте (in-context learning), а сам запрос с примерами few-shot промптом.
• Можно даже «собрать» ассистента: оформить запрос как веб-страницу с диалогом человека и полезного ИИ. Модель продолжит разговор в этой роли и объяснит, почему небо голубое. Правда, потом начнёт сочинять следующие вопросы за человека.

00:59:23 · От предобучения к дообучению

Короткое подведение итогов. Первый этап: берём интернет, режем на токены и учим нейросеть предсказывать последовательности. На выходе базовая модель, симулятор интернет-документов. Но нам нужен ассистент, которому задаёшь вопрос и получаешь ответ.

01:01:06 · Дообучение на диалогах: откуда у ChatGPT характер

Ассистента программируют примерами. Собирают набор данных из диалогов между человеком и ассистентом: многоходовых, на самые разные темы. Например: «Сколько будет 2+2?» «2+2 это 4». Или вежливый отказ (refusal), если просят о том, с чем ассистент помогать не должен. Модель быстро перенимает манеру ассистента.

Диалог тоже превращают в токены. Карпати показывает формат GPT-4o: специальные токены вроде im_start и im_end отмечают, где начинается и заканчивается реплика пользователя и ассистента. Короткий диалог превращается в 49 токенов. Когда ты пишешь в ChatGPT, на серверах OpenAI твой текст вставляют в этот формат, добавляют «теперь говорит ассистент», и модель начинает дописывать.

Откуда берутся диалоги? В статье OpenAI про InstructGPT (2022) описано, что компания наняла людей-разметчиков (human labelers) через Upwork и Scale AI. Они придумывают запросы («Дай пять идей, как вернуть интерес к карьере», «Топ-10 научно-фантастических книг») и пишут идеальные ответы. Пишут по инструкциям компании: быть полезным, правдивым и безвредным (helpful, truthful, harmless). В реальности такие инструкции занимают сотни страниц, и разметчики их изучают профессионально. Сегодня люди редко пишут ответы с нуля: им помогают другие модели. Современные наборы вроде UltraChat содержат миллионы диалогов, в основном синтетических, но отредактированных людьми.

Отсюда главная мысль раздела, которая снимает «магию». Ответ ChatGPT это статистическая симуляция разметчика, нанятого компанией и следующего её инструкциям. Ты разговариваешь со «средним разметчиком», который, правда, обычно эксперт: для вопросов про код нанимают образованных специалистов. Попросишь пять достопримечательностей Парижа, и если такой вопрос был в обучающих данных, получишь примерно то, что разметчик нашёл за 20 минут в интернете. Если не было, модель смешает знания из интернета с манерой разметчика.

01:20:32 · Галлюцинации, инструменты и рабочая память

Откуда берутся галлюцинации. В обучающих данных есть диалоги вроде «Кто такой Том Круз?», «Кто такой Джон Баррассо?», «Кто такой Чингисхан?», и на всё разметчик отвечает уверенно: он знает или нашёл ответ. Модель усваивает стиль: на «кто такой X» отвечают уверенно. Когда спрашиваешь про выдуманного «Орсона Ковача», старая модель Falcon 7B выдаёт то «американский писатель-фантаст», то «персонаж телешоу 1950-х», то «бывший бейсболист». Она не знает, но копирует формат уверенного ответа. Где-то внутри у неё, возможно, есть «нейрон неуверенности», но он не связан со словами «я не знаю».

Лекарство №1: научить говорить «не знаю». Meta для Llama 3 делает так. Берут абзац из документа, другой моделью генерируют по нему вопросы с ответами. Например, про хоккеиста Доминика Гашека: «За какую команду он играл?» (Buffalo Sabres) и «Сколько Кубков Стэнли он выиграл?» (два). Потом допрашивают модель по несколько раз. Про команду она отвечает правильно каждый раз, значит, знает. Про кубки выдаёт то четыре, то «ни одного», значит, не знает. Тогда в обучающие данные добавляют диалог, где правильный ответ на этот вопрос: «Извините, я не знаю». Достаточно немногих таких примеров, и модель связывает внутреннюю неуверенность с честным «не знаю». Поэтому современный ChatGPT про Орсона Ковача говорит, что такого человека не знает.

Лекарство №2: инструменты (tool use). Что делаешь ты, если не знаешь факт? Ищешь. Модель учат так же: она может выдать специальный токен «начать поиск», написать запрос и токен «конец поиска». Программа ставит генерацию на паузу, отправляет запрос в поисковик (у OpenAI это Bing), а найденный текст вставляет прямо в разговор. Чтобы модель научилась пользоваться поиском, хватает нескольких тысяч примеров. Именно поэтому ChatGPT иногда пишет «ищу в интернете» и ставит ссылки на источники. А если написать «не используй инструменты», модель ответит по памяти.

Ключевая метафора лекции. Знания в параметрах это смутное воспоминание, как книга, прочитанная месяц назад. Текст в контекстном окне (context window) это рабочая память: он прямо перед глазами модели, и она работает с ним точно. Практический вывод Карпати: попроси пересказать первую главу «Гордости и предубеждения», и модель справится, потому что книга знаменитая. Но гораздо лучше вставить текст главы прямо в сообщение. Тогда модели не нужно вспоминать, и пересказ будет заметно качественнее. Точно так же и ты перескажешь главу лучше, если перечитаешь её перед этим.

01:41:46 · Знает ли модель, кто она

Люди любят спрашивать у нейросети «Какая ты модель? Кто тебя создал?». Карпати считает этот вопрос бессмысленным. У модели нет постоянного «я»: она запускается, обрабатывает токены и выключается, а каждый новый разговор начинается с чистого листа. Это «перемешиватель токенов» (token tumbler), который следует статистике своих данных.

Старая модель Falcon на такой вопрос отвечает, что её сделала OpenAI на основе GPT-3. Многие решат, что Falcon обучали на данных OpenAI. Карпати сомневается: в интернете полно текстов, где ассистент называет себя ChatGPT от OpenAI, и модель просто выдаёт самую вероятную догадку.

Разработчики могут это исправить двумя способами. У открытой модели OLMo от Allen AI в наборе из миллиона диалогов есть 240 специальных диалогов вида «Расскажи о себе» с правильными ответами. Второй: системное сообщение (system message), скрытый текст в начале разговора, где модели напоминают, кто она, как её зовут и когда заканчиваются её знания. В ChatGPT ты видишь пустую страницу, но это сообщение там есть. В любом случае «личность» модели прикручена сверху и глубоко в ней не сидит.

01:46:56 · Модели нужны токены, чтобы думать

Задача: «Эмили покупает 3 яблока и 2 апельсина. Апельсин стоит $2, всё вместе $13. Сколько стоит яблоко?» Есть два правильных ответа, оба говорят $3. Первый сразу пишет «Ответ: $3», а потом объясняет. Второй идёт по шагам: апельсины стоят 4, значит, на яблоки 13 минус 4, то есть 9, значит, одно яблоко 3. Почему?

Модель пишет токен за токеном слева направо, и на каждый токен у неё есть ограниченный объём вычислений: у современных моделей около сотни слоёв, и это немного. В первом ответе модель должна втиснуть всё решение в один токен «3». Всё, что идёт после, это подгонка объяснения под уже готовый ответ. Во втором ответе вычисления размазаны по многим токенам: каждый шаг простой, а промежуточные результаты лежат в рабочей памяти. Поэтому, когда ChatGPT расписывает «введём переменные, составим уравнение», эти шаги нужны самой модели. Без промежуточных шагов она не дойдёт до ответа.

Карпати проверяет это. Просит ответить одним токеном, без рассуждений. На простых числах модель справляется. Когда яблок 23, а апельсинов 177, ответ одним токеном выходит неверный (5), а с пошаговым решением правильный (7). Но даже пошаговому решению он полностью не доверяет: это «устный счёт» нейросети, и любой шаг может сломаться. Поэтому он пишет «use code», «используй код». Модель пишет программу на Python, её запускают отдельно, и результат точный. Тот же приём работает для подсчёта: на вопрос «сколько здесь точек» модель без кода говорит 161, а с кодом правильно, 177. Считать она не умеет, зато прекрасно умеет копировать текст в программу.

Итог раздела: распределяй вычисления по многим токенам, проси промежуточные результаты, а где можно, опирайся на инструменты вместо «памяти» модели.

02:01:11 · Снова токены: почему модель путается в буквах

Модель видит токены, кусочки текста, а отдельных букв не видит. Поэтому простые задачи на уровне букв часто проваливаются. Карпати просит вывести каждую третью букву слова «ubiquitous», и модель ошибается. Для неё это слово из трёх токенов, и сколько в каждом букв, ей приходится «догадываться». С подсказкой «используй код» всё получается.

Знаменитый пример: «Сколько букв R в слове strawberry?». Долгое время все топовые модели упорно отвечали «две», хотя их три. Как так: решает олимпиадные задачи, а буквы посчитать не может? Ответ складывается из двух причин: модель не видит букв, и считать ей тоже трудно. Сейчас этот вопрос модели решают, но Карпати допускает, что OpenAI просто «зашила» правильный ответ.

02:04:53 · Неровный интеллект

Некоторые провалы моделей объяснить ещё труднее. Модели решают сложные задачи и отвечают на вопросы по физике, химии и биологии уровня PhD лучше самого Карпати. И при этом могут сказать, что 9.11 больше, чем 9.9. Иногда ответ правильный, иногда нет, иногда модель меняет мнение посреди рассуждения.

Исследователи заглянули внутрь сети и увидели, что при этом вопросе загораются нейроны, связанные со стихами Библии. Там глава 9:11 идёт после 9:9, и модель «отвлекается». Полностью это не объяснено. Вывод Карпати: это стохастическая система, по-настоящему волшебная, но доверять ей полностью нельзя. Используй её как инструмент. Спускать её с поводка и копировать результат не глядя не стоит. Позже он назовёт это моделью «швейцарского сыра»: способности отличные, но в них есть случайные дырки.

02:07:28 · От обучения на примерах к обучению с подкреплением

Повторение пройденного. SFT на диалогах, которые пишут люди по инструкциям (с помощью моделей, но под контролем людей), даёт ассистента. У ассистента есть галлюцинации и слабости, а инструменты вроде поиска и кода помогают их обходить. В крупных компаниях это разные команды, которые передают модель друг другу по цепочке.

Карпати объясняет его через школьный учебник. В учебнике три вида материала:

• Объяснения, основной текст главы. Читать их равносильно предобучению: так набирается база знаний.
• Задачи с разобранным решением. Эксперт показывает, как решать. Это аналог SFT: подражание эксперту.
• Задачи для самостоятельной работы, где в конце учебника есть только ответ. Решение приходится искать самостоятельно, пробуя разные пути. Это и есть обучение с подкреплением.

02:14:42 · Обучение с подкреплением: метод проб и ошибок

Вернёмся к Эмили и яблокам. Можно написать четыре разных правильных решения: через систему уравнений, словами, коротко. Какое лучше для модели? Человек-разметчик этого не знает. То, что легко человеку, может быть «слишком большим прыжком» для модели, и наоборот: многие шаги для неё тривиальны, и мы тратим токены впустую. К тому же модель знает много того, чего не знает разметчик. И наоборот, разметчик может вставить в решение знания, которых у модели нет. Мышление у нас разное. Поэтому модель должна сама найти цепочки токенов, которые надёжно приводят её к ответу.

Как это работает: модели дают задачу и просят решить её много раз, на практике тысячи и даже миллионы раз. Каждый раз решение немного другое, потому что модель случайная. Карпати показывает это на крошечной модели Gemma 2 на 2 миллиарда параметров. Допустим, из 15 решений правильный ответ дали 4. Модель дообучают на удачных решениях, например на лучшем из них (самом коротком или самом аккуратном), и в следующий раз такой путь становится вероятнее. Это происходит на десятках тысяч задач по математике, физике и не только.

Роль SFT при этом остаётся: она подводит модель «в окрестность» правильных решений. А RL доводит всё до ума. Итог: мы учим модели почти так же, как детей, только по этапам. Сначала читаем все объяснения во всех учебниках, потом смотрим все разобранные примеры, потом решаем все упражнения.

02:27:47 · DeepSeek-R1: модель учится думать сама

RL намного моложе: идея простая, но тонкостей очень много, и компании вроде OpenAI экспериментировали с ним молча. Поэтому статья китайской компании DeepSeek про модель R1 стала таким событием: там открыто описано, как RL раскрывает в моделях способность рассуждать.

Что показывают графики. Но интереснее другое: ответы модели становятся всё длиннее. Она сама начинает писать вроде «Подожди, подожди. Это момент озарения. Давай пересчитаем по шагам». Модель перепроверяет, смотрит с другой стороны, возвращается назад. Никто ей этого не прописывал: ей давали только правильные ответы. Так рождаются цепочки рассуждений (chains of thought), то, что у человека происходит в голове и обычно не попадает на бумагу. Карпати называет это «когнитивными стратегиями».

На задаче про яблоки модель-рассуждатель (reasoning model, thinking model) решает, потом пишет «подожди, проверю ещё раз», решает другим способом, убеждается и только после этого аккуратно оформляет ответ для человека. DeepSeek-R1 доступна на chat.deepseek.com с включённой кнопкой DeepThink. Это модель с открытыми весами (open weights): скачать и запустить её может кто угодно. Если не хочется отдавать данные китайской компании, ту же модель можно использовать на американском сервисе together.ai.

У OpenAI рассуждающие модели это o1, o3-mini и o3-mini-high (в меню подписаны «uses advanced reasoning»), доступные по подписке за $20 или $200 в месяц. Полные рассуждения OpenAI не показывает, только краткие пересказы: компания опасается, что их скопируют (риск дистилляции, distillation). GPT-4o и бесплатные модели стоит считать в основном SFT-моделями. Сам Карпати примерно 80-90% времени пользуется GPT-4o, а к рассуждающим моделям идёт только с трудными задачами по математике и коду: на простые фактические вопросы думать 30 секунд незачем. У Google есть экспериментальная Gemini 2.0 Flash Thinking в AI Studio. У Anthropic на момент записи рассуждающей модели не было.

02:42:07 · AlphaGo и «ход 37»

DeepMind создала систему AlphaGo. На графике из статьи видно: модель, которая подражает лучшим игрокам-людям, растёт, но упирается в потолок и никогда не превосходит топ-игроков вроде Ли Седоля. Подражая людям, людей не обойдёшь. Модель, обученная с подкреплением, играет сама с собой, усиливает ходы, ведущие к победе, и обходит даже Ли Седоля.

Знаменитый ход 37: AlphaGo сделала ход, который человек сыграл бы с вероятностью примерно 1 к 10 000. Комментаторы сначала решили, что это ошибка, а потом оказалось, что ход гениальный. RL нашло стратегию, неизвестную людям.

Карпати считает, что языковые модели только начинают двигаться в эту сторону. Как может выглядеть «ход 37» в мышлении? Может, это аналогии, до которых люди не додумались. Может, новые стратегии рассуждения. А может, модель изобретёт собственный язык, который удобнее английского для размышлений. Для этого нужны огромные и разнообразные наборы «упражнений» по всем областям знаний, и их сейчас активно создают.

02:48:26 · RLHF: обучение на оценках людей

Всё, что было выше, работает в проверяемых областях: есть правильный ответ «3», и решение легко сверить (это может сделать даже другая модель-судья). А как быть с творческими задачами вроде «напиши шутку про пеликанов» или «напиши стихотворение»? Правильного ответа нет. Можно дать оценивать людям, но посчитай: 1 000 обновлений, по 1 000 задач, по 1 000 вариантов. Это миллиард оценок, слишком много людей, читающих плохие шутки.

Решение предложено в статье OpenAI, многие её авторы потом стали сооснователями Anthropic. Хитрость в посреднике: отдельная нейросеть, модель вознаграждения (reward model), учится имитировать оценки людей. Люди просто расставляют, например, пять шуток от лучшей к худшей: это проще, чем ставить баллы. Модель вознаграждения учится выдавать каждой шутке оценку от 0 до 1 так, чтобы порядок совпадал с человеческим. Людям достаточно посмотреть примерно 5 000 шуток, а дальше основная модель тренируется на «симуляторе человека» сколько угодно.

Плюсы: RL можно применять в любой области, модели действительно становятся немного лучше. Карпати объясняет это тем, что оценивать проще, чем создавать: попросить человека расставить пять стихотворений по местам легче, чем написать идеальное.

Минусы серьёзнее. Симулятор неточен. Первые сотни шагов шутки становятся лучше, а потом резко превращаются в бессмыслицу. Лучшей шуткой про пеликанов внезапно становится «the the the the», и модель вознаграждения ставит ей максимальную оценку 1.0. Такие входы называют состязательными примерами (adversarial examples), и их бесконечно много. Поэтому RLHF прогоняют несколько сотен шагов и останавливают. Карпати формулирует так: «RLHF это не RL» в волшебном смысле, его нельзя запускать бесконечно. В го или математике обмануть проверку невозможно, и там RL можно крутить очень долго. GPT-4o прошла RLHF, но это скорее небольшая донастройка.

В конце раздела Карпати подводит итог технической части. А главный совет пользователю: модели очень полезны как инструмент, но они всё ещё галлюцинируют и проваливаются в «дырки сыра». Проверяй их работу, используй для вдохновения и черновиков, а ответственность за итоговый результат оставь за собой.

03:09:39 · Что нас ждёт дальше

Прогнозы Карпати на ближайшее будущее:

• Мультимодальность (multimodality). Модели будут нативно слышать и говорить, видеть и рисовать. Принципиально это ничего не меняет: звук режут на кусочки спектрограммы, картинку на фрагменты, превращают их в токены и обучают тем же способом.
• Агенты (agents). Сейчас мы даём модели отдельные задачи «на блюдечке», а склеивать их в большую работу приходится человеку. Появятся агенты, которые работают минутами и часами и время от времени отчитываются. Модели ошибаются, поэтому за ними нужен присмотр. Как на заводах считают соотношение людей и роботов, так в цифровом мире будут считать соотношение людей и агентов.
• Повсеместность: ИИ будет встроен во все инструменты и станет незаметным.
• Управление компьютером. Пример: Operator от OpenAI, который сам нажимает клавиши и двигает мышь.
• Обучение во время работы (test time training). Сейчас после обучения параметры заморожены, и модель учится только внутри контекстного окна. Человек же учится постоянно, в том числе во сне. Контекстное окно конечно и дорого, и для долгих мультимодальных задач понадобятся новые идеи.

03:15:15 · Как следить за новостями ИИ

Три источника, которыми пользуется сам Карпати:

• LM Arena, рейтинг моделей на основе слепых сравнений: люди задают вопрос двум моделям и выбирают лучший ответ, не зная, где какая. На момент записи наверху Google, следом OpenAI, а третье место у DeepSeek с открытыми весами под лицензией MIT. Модель такого уровня в открытом доступе, по словам Карпати, это беспрецедентно. Но рейтинг, считает он, в последние месяцы стали «накручивать»: Claude Sonnet от Anthropic, которым многие пользуются и который очень хорош, там только на 14-м месте. Поэтому рейтинг годится для первого отбора, а дальше пробуй модели на своих задачах.
• Рассылка AI News от swyx и команды. Выходит почти через день, очень подробная, многое собрано с помощью моделей. Читать целиком необязательно, сводки в начале хорошие.
• X (Twitter): там происходит много событий в ИИ. Подпишись на людей, которым доверяешь.

03:18:34 · Где найти и попробовать модели

• Закрытые модели живут на сайтах своих компаний: ChatGPT на chatgpt.com, Gemini на gemini.google.com или в AI Studio (зачем Google два сайта, не понимает никто, шутит Карпати).
• Открытые модели вроде DeepSeek и Llama доступны у провайдеров. Любимый у Карпати together.ai: в его «песочнице» можно выбрать много разных моделей.
• Базовые модели найти сложнее, все предлагают ассистентов. Карпати ходит на Hyperbolic за базовой Llama 3.1.
• Локально на своём компьютере. Самую большую DeepSeek на MacBook не запустить, но есть уменьшенные «дистиллированные» версии с пониженной точностью. Карпати пользуется приложением LM Studio. Интерфейс он считает неудобным и запутанным, но в нём на MacBook Pro запускается, например, Llama 3.2 на 1 миллиард параметров и сочиняет шутки про пеликанов, ничего никуда не отправляя.

03:21:46 · Итог: что на самом деле происходит, когда ты жмёшь Enter

Твой запрос режут на токены и вставляют в формат диалога. Получается одна длинная цепочка токенов, и модель просто продолжает её, как автодополнение. Почему именно такими токенами? Из-за трёх этапов. SFT дало «личность»: компания собрала, скажем, миллион диалогов на разные темы, написанных разметчиками по её инструкциям, с большой помощью моделей.

Поэтому правильно думать об ответе так: это нейросетевая симуляция разметчика OpenAI. Будто разметчик прочитал все инструкции компании, потратил два часа на идеальный ответ и отдал его тебе. Только ждать два часа не пришлось, потому что это симуляция с ограниченным объёмом вычислений на каждый токен. Мышление у модели устроено иначе, чем у человека, поэтому ей легко и трудно разное. Отсюда галлюцинации, «швейцарский сыр», провалы в счёте, буквах и сравнении 9.11 с 9.9.

С рассуждающими моделями (вроде o3-mini) картина меняется. Открытый вопрос, переносятся ли эти стратегии из проверяемых областей (математика, код) в творческие. RL пока в зачаточном состоянии, но в принципе способно на «ход 37» в обычном мышлении, на аналогии, до которых не додумывался ни один человек.

Финальные слова Карпати. Он пользуется моделями каждый день, десятки и сотни раз, они резко ускоряют его работу, и он ждёт от них огромного создания богатства. Но даже рассуждающие модели будут случайно галлюцинировать, ошибаться в счёте и делать глупости. Поэтому используй их как инструмент из набора: для вдохновения, черновиков и вопросов. Всегда проверяй их работу, ответственность за итог остаётся на тебе. Тогда, по его словам, тебя ждёт большой успех в работе.

10 приёмов, чтобы ChatGPT не врал и отвечал точнее

1. Перегенерируй ответ 2-3 раза, если сомневаешься в факте. Так Meta проверяет, знает ли модель ответ: задаёт вопрос несколько раз и сравнивает. Если ответы каждый раз разные (как «четыре кубка», «ни одного кубка»), модель не знает и сочиняет. Совпадают, значит, скорее всего знает. (01:20:32)
2. Про редких людей, узкие темы и свежие события включай поиск. Знания в параметрах это смутное воспоминание, а у знаний модели есть дата окончания: про выборы 2024 года Llama уверенно выдумывала. С поиском найденный текст попадает прямо в контекст, и модель ставит ссылки. Открой пару источников и сверь. (01:20:32)
3. Вставляй исходный текст прямо в чат. Нужен пересказ статьи, договора, главы книги? Не надейся на память модели, скопируй текст целиком в сообщение. Контекстное окно это рабочая память: с тем, что лежит перед глазами, модель работает намного точнее, чем с воспоминаниями. (01:20:32)
4. Не требуй «ответь одним словом» в задачах, где надо подумать. На каждый токен у модели ограниченный объём вычислений. Когда она расписывает шаги, она думает. Попроси «реши по шагам», и в примере с 23 яблоками и 177 апельсинами это разница между неверным 5 и верным 7. (01:46:56)
5. Для расчётов и подсчётов допиши «используй код». Устный счёт нейросети ненадёжен, любой шаг может сломаться. С кодом модель пишет программу, которая считает точно: точки она без кода насчитала 161, с кодом верно, 177. Это касается бюджетов, процентов, сумм, любых цифр. (01:46:56)
6. Задачи на буквы тоже решай через код. Модель видит токены, кусочки слов, а отдельные буквы ей недоступны. Посчитать буквы, взять каждую третью, проверить длину текста в символах: проси сделать это кодом. Вспомни, как модели годами находили в strawberry две буквы R вместо трёх. (02:01:11)
7. Покажи модели несколько примеров нужного формата. Модели умеют учиться прямо в контексте: даже сырая Llama по 10 парам слов поняла, что надо переводить на корейский. Хочешь посты в своём стиле или таблицу в определённом виде? Вставь 3-5 образцов, и модель подхватит шаблон. (00:42:52)
8. Для сложных задач выбирай модель-рассуждатель, для простых обычную. Математика, код, логика, многоходовые расчёты: включай режим рассуждения (в лекции это o1, o3-mini, DeepSeek-R1 с кнопкой DeepThink). Для фактических вопросов и простых текстов он избыточен: Карпати сам 80-90% времени работает с обычной моделью. (02:27:47)
9. Проверяй даже очевидное. Интеллект моделей неровный: они решают олимпиадные задачи и при этом могут заявить, что 9.11 больше 9.9. Если ошибка в ответе дорого обойдётся, пересчитай или переспроси, даже когда вопрос кажется детским. (02:04:53)
10. Используй ответ как черновик, а ответственность оставь за собой. Главный совет Карпати: модели это инструмент для вдохновения, черновиков и вопросов. Не стоит слепо копировать результат. Всё критичное (цифры, факты, имена, ссылки) проверяй, прежде чем отдавать дальше. (03:21:46)

Словарь терминов

• LLM (large language model): большая языковая модель, нейросеть, которая предсказывает следующий кусочек текста; на ней работают ChatGPT, Claude, Gemini.
• Токен (token): кусочек текста (слово, часть слова, пробел со словом), который модель видит как один символ; у GPT-4 их 100 277 разных.
• Токенизация (tokenization): нарезка текста на токены перед тем, как отдать его модели.
• Предобучение (pretraining): первый и самый дорогой этап, когда модель месяцами учится предсказывать следующий токен на текстах из интернета.
• Базовая модель (base model): результат предобучения, «симулятор интернета», который дописывает текст, но ещё не умеет быть ассистентом.
• Параметры, или веса (parameters, weights): миллиарды чисел внутри нейросети, «ручки пульта», в которых хранятся все знания модели.
• Контекстное окно (context window): весь текст текущего разговора, который модель видит прямо сейчас; её рабочая память.
• Инференс (inference): работа уже обученной модели, когда она генерирует ответ; параметры при этом не меняются.
• SFT (supervised fine-tuning): дообучение модели на примерах диалогов, после которого она становится ассистентом.
• Разметчик (human labeler): нанятый человек, который по инструкциям компании пишет идеальные ответы ассистента.
• Галлюцинация (hallucination): уверенно выдуманный моделью факт, имя, цифра или ссылка.
• Инструменты (tool use): умение модели вызвать поиск в интернете или запустить код и использовать результат в ответе.
• Обучение в контексте (in-context learning): способность модели понять задачу по примерам прямо в запросе, без переобучения.
• Few-shot промпт (few-shot prompt): запрос, в котором есть несколько образцов того, что нужно получить.
• Системное сообщение (system message): скрытая инструкция в начале разговора, где модели сообщают, кто она и как себя вести.
• Обучение с подкреплением (reinforcement learning, RL): этап, на котором модель решает задачи много раз и закрепляет пути, ведущие к правильному ответу.
• Модель-рассуждатель (reasoning model, thinking model): модель, прошедшая RL, которая перед ответом «думает»: проверяет и перепроверяет себя.
• Цепочка рассуждений (chain of thought): внутренний монолог модели с промежуточными шагами, который она пишет перед финальным ответом.
• RLHF (reinforcement learning from human feedback): донастройка на оценках людей через модель вознаграждения, которая имитирует их вкус.
• Открытые веса (open weights): модель, параметры которой выложены в открытый доступ, её можно скачать и запустить самостоятельно.

Задание на сегодня

Десять минут, и разница между «пользуюсь» и «понимаю» станет видна на практике.

1. Проверка на галлюцинацию (3 минуты). Спроси у ChatGPT или Claude про человека из твоей ниши, которого мало кто знает. Перегенерируй ответ два раза. Ответы совпадают или каждый раз новая биография? Потом включи поиск и сравни.
2. Проверка на счёт (3 минуты). Дай модели свою реальную задачу с цифрами: посчитать бюджет, процент конверсии, выручку за месяц. Сначала попроси «ответь одним числом», потом «реши по шагам и используй код». Сравни результаты.
3. Проверка на рабочую память (4 минуты). Возьми свой длинный текст (пост, статью, описание продукта). Попроси модель сделать из него 5 тезисов, вставив текст прямо в сообщение. А в конце добавь 2-3 примера своих старых постов и попроси написать новый в том же стиле.

Запиши, где модель ошиблась. Это и есть твоя личная карта «дырок в сыре», и она пригодится каждый день.

Отправить статью в Telegram