#
Выбор модели
Модель обрабатывает сообщения клиента, читает системный промпт и решает, когда вызвать действие. Более мощная модель обычно лучше справляется со сложными правилами, но может отвечать дольше и стоить дороже.
Список моделей и их стоимость меняются. Актуальные варианты всегда показаны в настройках бота.
#
Где выбрать модель
- Откройте Мои боты.
- Нажмите Изменить напротив нужного бота.
- На вкладке Основное откройте поле Модель.
- Выберите вариант и нажмите Сохранить изменения.
В списке модели разделены на категории, например Рекомендуется, Быстрые и экономичные и Устаревшие. Рядом с названием отображается относительный уровень стоимости: чем больше знаков $, тем дороже обработка.
#
Какую категорию выбрать
Для нового бота начните с модели из категории Рекомендуется. Переходите на более дешёвую только после проверки, что качество осталось приемлемым.
#
Что проверить перед выбором
Модель должна правильно:
- соблюдать роль и ограничения из промпта;
- задавать уточняющие вопросы;
- находить сведения в базе знаний;
- собирать обязательные переменные;
- вызывать нужные действия в правильном порядке;
- не придумывать факты при отсутствии данных;
- передавать сложный запрос сотруднику.
#
Честное сравнение двух моделей
- Подготовьте 10–20 одинаковых тестовых диалогов.
- Сохраните текущую модель и пройдите все сценарии.
- Запишите ошибки, время ответа и стоимость.
- Выберите другую модель, не меняя промпт и остальные настройки.
- Повторите тот же набор тестов.
- Оставьте вариант, который даёт нужное качество при приемлемой стоимости.
Не сравнивайте модели на одном вопросе: случайно удачный ответ не показывает стабильность.
#
От чего зависит стоимость
Модель обрабатывает не только последнее сообщение клиента. В стоимость могут входить:
- системный промпт;
- история диалога;
- найденные фрагменты базы знаний;
- входные и выходные данные действий;
- ответ модели.
Чтобы снизить расход, удалите повторы из промпта, не подключайте лишние файлы и не передавайте действию ненужные данные.
#
Когда менять модель
Рассмотрите замену, если бот регулярно нарушает правила, путает последовательность действий, не справляется с длинным контекстом или обходится слишком дорого. После любой замены повторите полное тестирование перед запуском на реальных клиентах.
Не выбирайте устаревшую модель для нового проекта только из-за знакомого названия. Её возможности и поддержка функций могут быть ограничены.