Что мы называем ИИ
Когда модель выдаёт что-то странное — уверенно называет несуществующую функцию библиотеки, забывает договорённость из начала разговора или соглашается с любым вашим возражением, — реакция обычно одна: «ИИ опять глючит». Этот курс о том, чтобы заменить слово «глючит» на точный диагноз. К концу курса вы будете смотреть на неожиданный ответ и понимать, какое из четырёх свойств модели сработало и что с этим делать.
Слово, которое значит слишком много
«Искусственный интеллект» — термин, под которым в разное время понимали шахматные программы, спам-фильтры, рекомендации в магазине и распознавание лиц. В этом курсе мы говорим о конкретной вещи: больших языковых моделях (LLM, large language model) вроде Claude, которые получают текст и производят текст. Именно с ними работают аналитики, менеджеры, дизайнеры и разработчики в Amiga, и именно их поведение мы будем разбирать.
Важно сразу развести два понятия. Модель — это набор чисел (весов), полученный в результате обучения, плюс алгоритм, который по этим числам выдаёт продолжение текста. Продукт — приложение вокруг модели: чат на claude.ai, Claude Code в терминале, интеграция в вашей IDE. Продукт добавляет к модели системные инструкции, поиск в интернете, доступ к файлам, память между разговорами. Когда что-то работает или не работает, полезно спрашивать: это свойство модели или особенность продукта? Ответы бывают разные.
Не человек и не программа
Есть два соблазна, и оба мешают.
Первый — думать о модели как о человеке. Она пишет грамотно, шутит, извиняется, поэтому кажется, что «она понимает» и «она помнит». Отсюда ложные ожидания: если помнит, то не забудет; если понимает, то не выдумает. Но модель не имеет ни намерений, ни памяти в человеческом смысле, и её ошибки не похожи на человеческие. Человек, который не знает ответа, обычно молчит или сомневается. Модель может ответить одинаково уверенно и там, где знает, и там, где нет.
Второй соблазн — думать о модели как об обычной программе. Программа детерминирована: одинаковый ввод даёт одинаковый вывод, а ошибка воспроизводится. Модель на один и тот же запрос может ответить по-разному, и это не баг, а следствие того, как она устроена. Её нельзя «починить» правкой строки кода — можно только изменить то, что она получает на вход, или дообучить.
Рабочая позиция этого курса: модель — это третий тип объекта, со своими закономерностями. Их не так много, и они изучаемы.
Четыре свойства
Курс Anthropic, по структуре которого построен наш, описывает поведение модели через четыре свойства. Каждому посвящён отдельный модуль, а здесь — только карта.
Предсказание следующего токена. В основе всего — один механизм: модель получает текст и оценивает, какой фрагмент текста (токен) вероятнее всего идёт дальше. Она делает это снова и снова, пока не соберётся ответ. Из этого следует многое: и беглость, и склонность продолжать любой шаблон, и трудности с подсчётом букв.
Знания. Модель училась на огромном массиве текстов, собранных до определённой даты. Всё, что было в этих текстах часто, она знает хорошо; что было редко — приблизительно; что появилось после даты среза — не знает вовсе. Но отвечать будет в любом случае, и это главный источник выдуманных фактов.
Рабочая память. У модели нет памяти в привычном смысле. Всё, что она «помнит» в разговоре, — это текст, который в данный момент лежит в её контекстном окне: ваши сообщения, её ответы, вложенные файлы, инструкции продукта. Окно большое, но конечное, и по мере заполнения точность падает.
Управляемость. Поведение модели сильно меняется от того, как её попросили: инструкциями, ролью, примерами, тоном. Это делает её полезной, но имеет обратную сторону: модель охотно подстраивается под собеседника, в том числе соглашается с ошибочным мнением.
В последнем модуле мы посмотрим, что происходит, когда свойства сталкиваются друг с другом: например, когда документ в контексте противоречит тому, что модель «знает» из обучения.
От возможности до ограничения — одна шкала
Каждое свойство — это не плюс и не минус, а шкала. Предсказание следующего токена делает модель беглым автором и одновременно мешает ей считать. Большие знания позволяют ответить на вопрос о любой технологии и одновременно порождают выдумки там, где знаний не хватило. Полезная привычка: столкнувшись с неожиданным результатом, спросить не «почему ИИ плохой», а «на какой шкале и в какую сторону я сейчас съехал».
Возьмём пример из работы. Менеджер просит модель оценить сроки по ТЗ, и она выдаёт «примерно три недели» с разбивкой по задачам. Что здесь произошло? Модель не знает вашу команду, вашу скорость и ваш стек (знания). Она продолжила шаблон «оценка сроков», потому что такие тексты выглядят именно так (предсказание токена). И она не спросила уточнений, потому что её попросили оценить, а не задать вопросы (управляемость). Три свойства в одном ответе, и у каждого есть своё исправление: дать данные о команде, попросить сначала перечислить неизвестные, явно разрешить не отвечать цифрой.
Как устроен курс
После введения идут четыре пары уроков: в первом уроке пары — объяснение свойства, во втором — эксперименты, которые можно провести в чате с Claude за десять-пятнадцать минут. Эксперименты важнее теории: свойство, которое вы увидели своими глазами, запоминается лучше любого описания. Завершают курс урок про столкновение свойств и короткий урок о том, куда идти дальше.
Ничего устанавливать не нужно: достаточно доступа к Claude в браузере. Если вы разработчик и пользуетесь Claude Code, все эксперименты работают и там, но чат нагляднее.
Попробуйте сами
10–15 мин на рабочем месте- Вспомните последний случай, когда ответ ИИ вас удивил или подвёл. Запишите его в одну строку. К концу курса вернитесь к записи и попробуйте отнести случай к одному из четырёх свойств.
- Откройте Claude и спросите его: «Чем ты как модель отличаешься от приложения, в котором я с тобой разговариваю?» Отметьте, что из ответа относится к модели, а что — к продукту.
Коротко
- В курсе под «ИИ» понимаются большие языковые модели, которые получают текст и производят текст.
- Модель (веса и алгоритм) и продукт вокруг неё (чат, инструменты, память) — разные вещи; проблемы бывают на обоих уровнях.
- Модель — не человек и не обычная программа: у неё свои закономерности поведения.
- Четыре свойства: предсказание следующего токена, знания, рабочая память, управляемость.
- Каждое свойство — шкала от возможности до ограничения; неожиданный ответ — повод определить, какая шкала сработала.
Видеоверсия
Сценарий озвучки · 506 слов, ≈ 4 мин
Когда модель делает что-то странное — выдумывает функцию, забывает договорённость, соглашается с любым возражением, — мы обычно говорим: «ИИ опять глючит». Этот курс о том, чтобы заменить слово «глючит» на точный диагноз. Четыре свойства модели объясняют почти всё, что она делает, и у каждого есть своё исправление.
Сначала договоримся о словах. Под ИИ в этом курсе мы понимаем большие языковые модели вроде Claude: они получают текст и производят текст. И сразу разведём два понятия. Модель — это набор чисел, полученный при обучении, и алгоритм, который по этим числам продолжает текст. Продукт — это приложение вокруг неё: чат, Claude Code, интеграция в редакторе. Продукт добавляет инструкции, поиск в интернете, доступ к файлам. Когда что-то идёт не так, полезно спросить: это свойство модели или особенность продукта?
Есть два соблазна, и оба мешают работать. Первый — считать модель человеком. Она пишет грамотно, извиняется, шутит, и кажется, что она понимает и помнит. Но человек, который не знает ответа, обычно сомневается. Модель может ответить одинаково уверенно и там, где знает, и там, где нет. Второй соблазн — считать модель обычной программой. Программа на один и тот же ввод отвечает одинаково, а ошибку можно воспроизвести и починить правкой кода. Модель на один и тот же вопрос может ответить по-разному, и это не баг. Её нельзя починить строкой кода — можно только изменить то, что она получает на вход.
Так что модель — это третий тип объекта, со своими закономерностями. Их четыре, и мы разберём каждую.
Первая — предсказание следующего токена. Модель получает текст и оценивает, какой кусочек текста вероятнее всего идёт дальше. Потом ещё один, и ещё, пока не соберётся ответ. Отсюда её беглость, отсюда же — склонность продолжать любой шаблон и проблемы с подсчётом букв.
Вторая — знания. Модель училась на огромном массиве текстов, собранных до определённой даты. Что встречалось часто, она знает хорошо. Что редко — приблизительно. Что появилось после даты среза — не знает вовсе. Но отвечать будет в любом случае.
Третья — рабочая память. У модели нет памяти в привычном смысле. Всё, что она помнит в разговоре, — это текст, который прямо сейчас лежит в её контекстном окне. Окно большое, но конечное, и чем оно полнее, тем хуже точность.
Четвёртая — управляемость. Поведение модели сильно зависит от того, как её попросили: инструкциями, ролью, примерами. Это делает её полезной, но она так же охотно подстраивается под собеседника — в том числе соглашается с ошибочным мнением.
Каждое свойство — это шкала, а не плюс или минус. Возьмём пример. Менеджер просит модель оценить сроки по техзаданию, и она уверенно пишет: примерно три недели. Что произошло? Модель не знает вашу команду и ваш стек — это знания. Она продолжила шаблон «оценка сроков», потому что такие тексты выглядят именно так, — это предсказание токена. И она не задала уточняющих вопросов, потому что её попросили оценить, а не спрашивать, — это управляемость. Три свойства в одном ответе, и у каждого своё исправление.
Курс устроен просто. Четыре пары уроков: сначала объяснение, потом эксперименты в чате с Claude на десять-пятнадцать минут. Эксперименты важнее теории — свойство, которое вы увидели сами, запоминается лучше. В конце — урок о том, что бывает, когда свойства сталкиваются, и короткий урок о том, куда идти дальше. Ничего устанавливать не нужно, достаточно Claude в браузере.