Mistral или Llama: как выбрать модель и способ размещения?

«Возьмём открытую модель и перестанем зависеть от сервиса» звучит как простой план. Но между доступными весами и работающим AI-приложением лежат вычисления, обновления и обслуживание. В сравнении Mistral и Llama выбор модели и выбор размещения лучше рассматривать отдельно.

В Чатиуме можно сначала проверить полезность самой функции через API: например, помощника по внутренним инструкциям. Когда появятся реальные требования к скорости, качеству и объёму, станет проще решать, нужно ли отдельное размещение модели.

Семейство моделей — не одна лицензия и не один размер

У Mistral и Llama есть разные модели. Поэтому слова «Mistral дешевле» или «Llama запускается локально» без версии мало помогают. Для API-примера возьмём Mistral Large 4 и Llama 4 Maverick, доступные в каталоге OpenRouter.

Важная деталь на 24 октября 2026 года: Mistral Large 4 находится в публичном preview. В анонсе Mistral выпуск весов запланирован на конец октября. Нельзя считать обещанное открытие уже состоявшейся возможностью скачать именно эту версию. У Llama 4 есть официальный путь получения моделей; условия конкретного выпуска проверяются отдельно.

Почему «есть веса» не означает «подойдёт ноутбук»

Для запуска важны размер модели, формат представления, длина контекста и число одновременных запросов. Даже если демонстрация работает на одном вопросе, рабочий сервис должен выдерживать ожидаемую нагрузку. Потребность в памяти и скорость нельзя вывести только из названия семейства.

У двух выбранных API-маршрутов есть текстовый и визуальный вход. Размеры контекста различаются: у Mistral Large 4 в каталоге около миллиона токенов, у Llama 4 Maverick — около половины миллиона. Но если ваша инструкция занимает десять страниц, само это различие может ничего не решить.

Для такой задачи полезнее проверить, отличает ли модель правило от исключения и признаёт ли отсутствие ответа. Технический запас имеет смысл, когда задача действительно его использует.

Пример: помощник по выдаче оборудования

Условная инструкция говорит: «Ноутбук выдаёт офис-менеджер после подтверждения руководителя. Для удалённого сотрудника отправку согласуют отдельно». Вопрос: «Можно ли сразу отправить ноутбук новому удалённому сотруднику?»

Приемлемый ответ сохраняет оба условия: подтверждение руководителя и отдельное согласование отправки. Если модель отвечает «да, офис-менеджер отправит», красивый интерфейс не спасает функцию. В журнале проверки стоит отметить потерянное условие, а не просто низкую субъективную оценку.

Такой пример можно повторять после смены модели или маршрута. Он помогает понять, что изменилось в поведении приложения, прежде чем менять инфраструктуру.

Как вызвать Mistral и Llama в Чатиуме

Этот вариант использует внешние модельные маршруты. Он не означает, что веса размещены на сервере вашего аккаунта Чатиума.

Ниже — серверный фрагмент для одинакового задания двум моделям. ctx даёт Чатиум, sourceText содержит один и тот же проверенный исходник. done и failed — зарегистрированные обработчики app.function, которые проверяют источник вызова: caller.type === 'plugin' && caller.appSlug === 'start'.

import { startCompletion } from '@start/sdk'

const jobs = []
for (const model of ['mistralai/mistral-large-4-0', 'meta-llama/llama-4-maverick']) {
  const { completionId } = await startCompletion(ctx, {
    model,
    system: 'Ответь по инструкции, сохраняя все условия и исключения. Укажи подтверждающий фрагмент. Если ответа нет, не дополняй его догадкой.',
    messages: [{ role: 'user', content: [{ type: 'text', text: sourceText }] }],
    onCompletionCompleted: done,
    onCompletionFailed: failed,
  })
  jobs.push({ model, completionId })
}

В jobs лежат идентификаторы задач, а не готовые ответы. Приложение сохраняет соответствие модели и completionId, принимает результаты позже через обработчики и показывает отдельное состояние каждого запуска. Полный интерфейс и хранение в этот короткий пример не входят.

Частые вопросы