ChatGPT или Claude: кто меньше испортит ваш рабочий текст?

ChatGPT и Claude легко могут написать письмо, которое выглядит лучше исходника. Труднее заметить, что вместе с шероховатостями исчезло ограничение, появилось обещание или изменился срок. Для рабочего текста победитель — тот вариант, который можно отправить после меньшего числа содержательных исправлений.

В Чатиуме удобно сравнить два ответа на одном исходнике и сохранить редакторские отметки. Это полезнее, чем каждый раз выбирать нейросеть по впечатлению от последнего удачного ответа.

Сначала определите, что именно сравниваете

ChatGPT и Claude — продукты с интерфейсами и дополнительными возможностями. В собственном приложении вы вызываете конкретные модели. В примере ниже это GPT-6.1 Sol и Claude Sonnet 5.5; результат такого сравнения нельзя автоматически распространить на все режимы двух сервисов.

Если задача — отредактировать письмо, сравнивайте редактуру. Не добавляйте одному участнику поиск, историю переписки и второй уточняющий запрос, оставляя другому короткий исходник. Все дополнительные сведения способны изменить ответ сильнее, чем выбор модели.

Пример, на котором видна потеря смысла

Возьмём условный текст: «Предварительно можем начать во вторник. Дату подтвердим после получения материалов. В первую версию входит только форма заявки, без оплаты».

Задание: сделать сообщение короче и дружелюбнее, сохранив все условия. Опасный вариант выглядел бы так: «Начинаем во вторник и подготовим удобную форму заказа». Он звучит увереннее, но превращает предварительный срок в обязательство и теряет границу объёма работ. Это придуманный пример ошибки, не ответ какой-либо из сравниваемых моделей.

Приемлемый вариант: «Предварительно готовы начать во вторник; подтвердим дату, когда получим материалы. В первой версии сделаем форму заявки, без оплаты». Его можно оценить независимо от вкуса к стилю.

Когда ответ лучше, даже если он менее эффектный

Для делового сообщения важнее точность обязательств, чем оригинальность. Для публикации, наоборот, может быть полезна более заметная композиция — при сохранённых фактах. Поэтому оценку стоит разделить: сначала смысл, потом тон и ритм.

Не сводите всё к одной звёздочке. Если модель хорошо сокращает, но регулярно смягчает запреты, это конкретный профиль поведения на вашей выборке. Ей можно поручить другую стадию работы или усилить инструкцию. Если же после каждой выдачи приходится восстанавливать условия, экономия сомнительна даже при красивом стиле.

Для выбора начните с нескольких разных исходников: короткое письмо, сообщение с исключением и текст с несколькими датами. Названия моделей лучше скрыть до оценки, чтобы не подменять проверку ожиданиями от бренда.

Как вызвать обе модели из Чатиума

Здесь сравнивается один и тот же текст, без дополнительных инструментов. Инструкция прямо запрещает добавлять обещания и убирать ограничения.

Ниже — серверный фрагмент для одинакового задания двум моделям. ctx даёт Чатиум, sourceText содержит один и тот же проверенный исходник. done и failed — зарегистрированные обработчики app.function, которые проверяют источник вызова: caller.type === 'plugin' && caller.appSlug === 'start'.

import { startCompletion } from '@start/sdk'

const jobs = []
for (const model of ['openai/gpt-6.1-sol', 'anthropic/claude-sonnet-5.5']) {
  const { completionId } = await startCompletion(ctx, {
    model,
    system: 'Отредактируй текст кратко и дружелюбно. Сохрани все условия, исключения и сроки. Не добавляй факты и обещания.',
    messages: [{ role: 'user', content: [{ type: 'text', text: sourceText }] }],
    onCompletionCompleted: done,
    onCompletionFailed: failed,
  })
  jobs.push({ model, completionId })
}

В jobs лежат идентификаторы задач, а не готовые ответы. Приложение сохраняет соответствие модели и completionId, принимает результаты позже через обработчики и показывает отдельное состояние каждого запуска. Полный интерфейс и хранение в этот короткий пример не входят.

Частые вопросы