DR.MAZIN / AI

Понятие

Токен

Кусочек текста, которым модель измеряет объём - примерно полслова. В токенах считаются лимиты подписок и стоимость работы через API.

Модель читает и пишет не буквами и не словами, а токенами - кусочками слов. В русском тексте одно слово - это обычно 2-4 токена.

Зачем это врачу: лимиты («столько-то сообщений», «столько-то токенов в минуту») и цены API считаются именно в токенах. Когда вы грузите в модель толстую методичку - вы тратите токены на каждый её прогон. Поэтому длинные документы выгоднее давать один раз и работать с ними в одном чате, а не прикладывать заново к каждому вопросу.