Skip to main content
Home
2П - Консалтинговая компания

Main navigation

  • Обо мне
  • Почему мы
  • Наш подход
  • Услуги
  • Статьи
    • Мое мнение
    • Все статьи
    • Наши статьи
    • Процессы
    • Бережливое производство
    • Управление проектами
  • Канал

Ликбез. Про контекстное окно ИИ.

Перейти в Telegram

Перейти в Telegram

Папка с данными это хорошо, но как она обрабатывается моделью?

В описаниях моделей встречаются числа: 32K, 128K, 200K, миллион. Это размер контекстного окна. И здесь есть небольшая подстава: K означает тысячи токенов, а не килобайты. Мы уже разбирали, что токены - кусочки, на которые модель делит текст.

Для понимания: 100 тысяч токенов русского текста - это очень примерно 100-200 страниц, или 300-700 КБ обычного текстового файла, в зависимости от текста и способа его нарезки. Миллион токенов - несколько толстых книг, которые на диске займут всего несколько мегабайт.

Почему же машина, требующая десятки гигабайт оперативной памяти, получает ограничение размером с какую-то несчастную книжку?

Потому что контекст надо не просто хранить. Модель использует его при построении ответа. Условие на третьей странице может определять смысл вопроса на сто сорок седьмой. Между ними еще полторы сотни страниц, где что-то обещают, отказываются от обязательств и ссылаются на приложение, которое вам забыли прислать.

Вот весь доступный модели материал для текущего ответа и называется контекстом. А контекстное окно - предел того, сколько такого материала она может учитывать за один раз.

Знания, полученные при обучении, здесь не считаются. Они уже отразились в параметрах модели. Можно знать русский язык и английскую классическую литературу, но для ответа на вопрос «почему он ее бросил?» все равно надо выяснить, кто, кого и не идет ли речь о гранате. Эти подробности модель получает из контекста.

Место занимают не только ваши сообщения. Туда же идут служебные инструкции, предыдущие ответы, содержимое документов, результаты поиска. Модель пишет продолжение, и каждый новый токен тоже добавляется к последовательности. Поэтому в общий размер окна обычно должны поместиться и исходные материалы, и ответ.

Но большое окно еще не означает, что модель одинаково хорошо использует все его содержимое. Факт может затеряться, похожие условия - перепутаться, существенная оговорка - остаться без внимания. Принять двести страниц и правильно связать все написанное на них - разные достижения.

Поэтому размер контекстного окна полезно знать, но это ничего не говорит о характеристиках модели. Зато еще как влияет на требования. Чем длиннее контекст, тем больше памяти нужно для работы с ним и тем больше вычислений приходится делать. Причем в обычном механизме внимания при обработке входного текста удвоение длины дает примерно вчетверо больше работы по сопоставлению его частей.

Вам тоже можно положить на стол всю возможную документацию. Иногда вы даже найдете в ней нужный вам ответ.

#проии #ликбез
31 октября 2026

Вернуться в ленту канала

контакт
Обсудить управленческую задачу
Напишите 5–7 строк: сфера, масштаб (люди/точки/смены), где теряется управляемость и какой результат нужен. Ответим, с чего начинать и какой формат подойдет.
Email Telegram WhatsApp 
Детали проектов могут быть ограничены договором о конфиденциальности.
2П: операционное управление, процессы и внедрение изменений.

Оглавление

  • Заметка на полях. Про книги. Кто здесь главный?
    11 ноября 2026
  • Ликбез. Про взаимопонимание с ИИ.
    10 ноября 2026
  • Заметка на полях. Про последовательность убеждений.
    9 ноября 2026
  • Система 2П. Дом, который построил Иван.
    9 ноября 2026
  • Заметка на полях. Остров сокровищ. Неудачные переговоры.
    8 ноября 2026
  • Ликбез. Про локальные и облачные модели.
    7 ноября 2026
  • Система 2П. Пятнадцать принципов. Итог.
    6 ноября 2026
  • Заметка на полях. Про магний.
    5 ноября 2026
  • Заметка на полях. Про книги. Один пропущенный год.
    5 ноября 2026
  • Система 2П. Система управления. Итог.
    4 ноября 2026
  • Система 2П. Принцип 15. Действуйте, а не трындите.
    3 ноября 2026
  • Заметка на полях. Про кино. Капитан Джек Воробей.
    2 ноября 2026
  • Заметка на полях. Про нюх.
    1 ноября 2026
  • Ликбез. Про контекстное окно ИИ.
    31 октября 2026
  • Система 2П. Принцип 14. Согласуйте цели.
    30 октября 2026
  • Заметка на полях. Про силу мысли.
    29 октября 2026
  • Заметка на полях. Про древность рода.
    28 октября 2026
  • Заметка на полях. Про ночную смену.
    27 октября 2026
  • Система 2П. Принцип 13. Сделайте видимым.
    26 октября 2026
  • Ликбез. ИИ и взаимодействие пользователя.
    25 октября 2026
  • Добро пожаловать в «Гаденькое мнение».
    25 октября 2026
  • Заметка на полях. Про оскорбления.
    24 октября 2026
  • Мимолетное. Теория заговора.
    23 октября 2026
  • Система 2П. Принцип 12. Активно слушайте.
    23 октября 2026
  • Заметка на полях. Про гордыню.
    22 октября 2026
  • Мимолетное, из загашников.
    21 октября 2026
  • Заметка на полях. Про червяка.
    21 октября 2026
  • Ликбез. Как работает современный ИИ.
    21 октября 2026
  • Система 2П. Культурные принципы. Итог.
    20 октября 2026
  • Заметка на полях. Про уведомления.
    19 октября 2026
  • Заметка на полях. Про старое оборудование.
    19 октября 2026
  • Ликбез. Как ИИ делает видео и звук.
    17 октября 2026
  • Система 2П. Принцип 11. Развивайте людей.
    16 октября 2026
  • Система 2П. Принцип 10. Остановитесь и исправьте.
    15 октября 2026
  • Система 2П. Принцип 9. Идите, смотрите, действуйте.
    14 октября 2026
  • Заметка на полях. Про внешний мир.
    13 октября 2026
  • Система 2П. Принцип 8. Смотрите глазами клиента.
    12 октября 2026
  • Система 2П. Принцип 7. Безопасность прежде всего.
    9 октября 2026
  • Заметка на полях. Про кипящий мозг.
    8 октября 2026
  • Система 2П. Операционные принципы. Итог.
    7 октября 2026
  • Система 2П. Принцип 6. Проверяйте процессы.
    6 октября 2026
  • Заметка на полях. Про неровный спрос.
    5 октября 2026
  • Заметка на полях. Про книги.
    4 октября 2026
  • Заметка на полях. Про современное управление.
    3 октября 2026
  • Система 2П. Принцип 5. Выравнивайте нагрузку.
    2 октября 2026
  • Система 2П. Принцип 4. Зафиксируйте норму.
    1 октября 2026
  • Заметка на полях. Про занятость.
    30 сентября 2026
  • ИИ и конкуренция с человеками.
    30 сентября 2026
  • Система 2П. Принцип 3. Сформируйте русло.
    29 сентября 2026
  • Система 2П. Принцип 2. Работайте от потребности.
    28 сентября 2026

Pagination

  • 1
  • Next page

TG_welcome

@ Сергей Балашов, 2026.