Temperature

Temperature (температура) — это параметр генерации языковых моделей, управляющий степенью случайности при выборе следующего токена. Технически модель выдаёт распределение вероятностей по словарю, а temperature масштабирует логиты перед функцией softmax: при значении ниже 1.0 распределение «заостряется» в пользу самых вероятных токенов, при значении выше 1.0 — «размывается», повышая шанс редких вариантов. Значение 0 (или близкое к нулю) делает вывод почти детерминированным, а высокие значения (1.5–2.0) — хаотичным и креативным.

Как temperature влияет на вывод

• Низкая температура (0.0–0.3): модель выбирает самые вероятные токены. Подходит для фактов, кода, извлечения данных, классификации — там, где нужна предсказуемость и повторяемость.
• Средняя температура (0.4–0.8): баланс между связностью и вариативностью. Типичный диапазон для диалогов, ответов на вопросы, генерации описаний товаров.
• Высокая температура (0.9–1.5): растёт разнообразие формулировок, но появляются галлюцинации и логические сбои. Применяется в брейншторминге, генерации слоганов, художественных текстов.
• Экстремальные значения (выше 1.5): вывод становится бессвязным, теряется смысл — на практике почти не используется.

Практика применения в SEO и контенте

В задачах массовой генерации мета-тегов, заголовков и описаний для каталогов temperature держат в районе 0.3–0.5, чтобы избежать дублей и фактических ошибок. Для креативных задач — например, придумать 20 вариантов title для лендинга — поднимают до 0.9. Если вы строите контент-конвейер, разумно комбинировать низкую температуру для структурированных данных и высокую для brainstorm-этапа. Для системного подхода к таким сценариям подойдёт SEO-продвижение и копирайтинг: специалисты настраивают промпты и параметры под конкретные типы страниц.

Связанные параметры

• Top-p (nucleus sampling): ограничивает выборку токенами, чья суммарная вероятность не превышает p. Часто используют вместо temperature или вместе с ней.
• Top-k: оставляет только k самых вероятных токенов. Более грубый аналог top-p.
• Repetition penalty: штрафует повторы, дополняя эффект высокой температуры.
• Seed: фиксирует генератор случайных чисел, делая вывод воспроизводимым при той же температуре.

Понимание temperature критично при построении любых LLM-пайплайнов — от чат-ботов до автоматической генерации контента. Для задач, где важна точность формулировок и соответствие поисковым интентам, разумно заказывать семантику и тексты у профильных специалистов, а не полагаться только на дефолтные настройки модели. Смежные темы: промпт, LLM, токен.