Skip to main content
Home
2П - Консалтинговая компания

Main navigation

  • Обо мне
  • Почему мы
  • Наш подход
  • Услуги
  • Статьи
    • Мое мнение
    • Все статьи
    • Наши статьи
    • Процессы
    • Бережливое производство
    • Управление проектами
  • Канал

Ликбез. Про контекстное окно ИИ.

Перейти в Telegram

Перейти в Telegram

Папка с данными это хорошо, но как она обрабатывается моделью?

В описаниях моделей встречаются числа: 32K, 128K, 200K, миллион. Это размер контекстного окна. И здесь есть небольшая подстава: K означает тысячи токенов, а не килобайты. Мы уже разбирали, что токены - кусочки, на которые модель делит текст.

Для понимания: 100 тысяч токенов русского текста - это очень примерно 100-200 страниц, или 300-700 КБ обычного текстового файла, в зависимости от текста и способа его нарезки. Миллион токенов - несколько толстых книг, которые на диске займут всего несколько мегабайт.

Почему же машина, требующая десятки гигабайт оперативной памяти, получает ограничение размером с какую-то несчастную книжку?

Потому что контекст надо не просто хранить. Модель использует его при построении ответа. Условие на третьей странице может определять смысл вопроса на сто сорок седьмой. Между ними еще полторы сотни страниц, где что-то обещают, отказываются от обязательств и ссылаются на приложение, которое вам забыли прислать.

Вот весь доступный модели материал для текущего ответа и называется контекстом. А контекстное окно - предел того, сколько такого материала она может учитывать за один раз.

Знания, полученные при обучении, здесь не считаются. Они уже отразились в параметрах модели. Можно знать русский язык и английскую классическую литературу, но для ответа на вопрос «почему он ее бросил?» все равно надо выяснить, кто, кого и не идет ли речь о гранате. Эти подробности модель получает из контекста.

Место занимают не только ваши сообщения. Туда же идут служебные инструкции, предыдущие ответы, содержимое документов, результаты поиска. Модель пишет продолжение, и каждый новый токен тоже добавляется к последовательности. Поэтому в общий размер окна обычно должны поместиться и исходные материалы, и ответ.

Но большое окно еще не означает, что модель одинаково хорошо использует все его содержимое. Факт может затеряться, похожие условия - перепутаться, существенная оговорка - остаться без внимания. Принять двести страниц и правильно связать все написанное на них - разные достижения.

Поэтому размер контекстного окна полезно знать, но это ничего не говорит о характеристиках модели. Зато еще как влияет на требования. Чем длиннее контекст, тем больше памяти нужно для работы с ним и тем больше вычислений приходится делать. Причем в обычном механизме внимания при обработке входного текста удвоение длины дает примерно вчетверо больше работы по сопоставлению его частей.

Вам тоже можно положить на стол всю возможную документацию. Иногда вы даже найдете в ней нужный вам ответ.

#проии #ликбез
31 октября 2026

Вернуться в ленту канала

контакт
Обсудить управленческую задачу
Напишите 5–7 строк: сфера, масштаб (люди/точки/смены), где теряется управляемость и какой результат нужен. Ответим, с чего начинать и какой формат подойдет.
Email Telegram WhatsApp 
Детали проектов могут быть ограничены договором о конфиденциальности.
2П: операционное управление, процессы и внедрение изменений.

Оглавление

  • Ликбез. Как ИИ рисует картинки.
    27 сентября 2026
  • Ликбез. В чем разница между CEO и COO.
    26 сентября 2026
  • Ликбез. Про параметры ИИ-моделей.
    25 сентября 2026
  • Заметка на полях. Про расточительство.
    24 сентября 2026
  • Восстание машин.
    24 сентября 2026
  • Система 2П. Принцип 1. Боритесь с расточительством.
    23 сентября 2026
  • Ликбез. Про токены.
    22 сентября 2026
  • Про Систему 2П. Про взаимозависимость.
    21 сентября 2026
  • Заметка на полях. Про мозг.
    19 сентября 2026
  • Ликбез. Как учится ИИ.
    18 сентября 2026
  • Про Систему 2П. Воля и реальность.
    17 сентября 2026
  • Заметка на полях. Про Warhammer 4000, религию и право на тайну.
    16 сентября 2026
  • Кто такой операционный директор и с чем его едят.
    15 сентября 2026
  • Про Систему 2П. Культурная подсистема.
    14 сентября 2026
  • Ликбез. Про ИИ и миры пользователя.
    14 сентября 2026
  • Ликбез. Как работает ИИ.
    12 сентября 2026
  • Заметка на полях. Про людей, ИИ и проблемы.
    11 сентября 2026
  • Заметка на полях. Про простоту.
    10 сентября 2026
  • Статья «Человек и Рой».
    10 сентября 2026
  • Про Систему 2П. Операционная подсистема.
    9 сентября 2026
  • Заметка на полях. Про ИИ и проблему Навье-Стокса.
    9 сентября 2026
  • Заметка на полях. Про почему, причины и виноватых.
    9 сентября 2026
  • Заметка на полях. Про ИИ и работу.
    9 сентября 2026
  • Инструменты. Про «почему» - 2.
    9 сентября 2026
  • Заметка на полях. Про ИИ и луддитов.
    9 сентября 2026
  • Заметка на полях. Про квантовую физику.
    9 сентября 2026
  • Про KPI, ч.6. Цифры врут.
    9 сентября 2026
  • Про KPI и диагностические метрики, ч.5.
    3 сентября 2026
  • Про производственную систему 2П. Три компонента.
    2 сентября 2026
  • Инструменты. Про «почему».
    1 сентября 2026
  • Про производственную систему 2П.
    31 августа 2026
  • Заметка на полях. Про лишний вес.
    29 августа 2026
  • Про непрерывные улучшения.
    28 августа 2026
  • Комментарий к предыдущей заметке.
    27 августа 2026
  • ИИ как инструмент.
    27 августа 2026
  • Про жизнь.
    26 августа 2026
  • Заметка на полях. Про споры 2.
    25 августа 2026
  • Про статью и первые комментарии.
    25 августа 2026
  • Заметка на полях. Про ИИ и ожидания.
    22 августа 2026
  • Заметка на полях. Про зависимость от ИИ
    21 августа 2026
  • Заметка на полях. М - логика. Про собак.
    20 августа 2026
  • Про меня.
    19 августа 2026
  • Про методологии управления проектами, ч3.
    19 августа 2026
  • Про методологии управления проектами, ч.2.
    19 августа 2026
  • Кстати, обратите внимание.
    19 августа 2026
  • Про WB, закрывая цикл.
    18 августа 2026
  • Четвертая вершина, дополнение.
    17 августа 2026
  • Четвертая вершина, ч.6
    17 августа 2026
  • Душная заметка на полях. Теория хаоса.
    15 августа 2026
  • Четвертая вершина, ч.5
    14 августа 2026

Pagination

  • Previous page
  • 2
  • Next page

TG_welcome

@ Сергей Балашов, 2026.