Gemini или Qwen: что проверить перед разбором скриншотов?

Скриншот показывает состояние интерфейса, но не раскрывает всю логику приложения. Gemini и Qwen могут помочь описать экран, однако из видимой кнопки нельзя вывести, что действие уже выполнено. Это главное различие между полезным визуальным разбором и убедительной догадкой.

В Чатиуме можно сделать помощника для команды продукта: загрузить экран, получить список элементов и отдельно увидеть вопросы к поведению. Так изображение превращается в основу обсуждения, а не в выдуманную спецификацию.

Что общего у выбранных маршрутов

Gemini 4 Argon и Qwen3.8 Flash принимают изображения и возвращают текст. В каталоге OpenRouter у обеих также указан видео-вход, а у Gemini дополнительно перечислены аудио и файлы. Но этот пример ограничен одним изображением: так проще сравнить точность на одинаковом исходнике.

Поддержка формата не означает одинаковое качество на всех экранах. Мелкая таблица, диаграмма с легендой и мобильная форма требуют разных проверок. Если вы хотите сравнивать модели для собственной работы, берите именно свои типичные изображения.

Пример: серый элемент ещё не обязательно отключён

На условном скриншоте форма заказа содержит серую кнопку «Продолжить», поле телефона и текст ошибки под ним. Можно описать цвет кнопки и видимое сообщение. Но только по изображению нельзя достоверно проверить, кликабельна ли кнопка и сработает ли серверная валидация.

Полезный ответ разделит два слоя: «вижу серую кнопку и сообщение об ошибке» и «возможно, отправка заблокирована; нужно проверить действием». Неполезный уверенно объявит, что приложение не позволяет отправить неверный телефон.

Как готовить скриншот

Сохраняйте область, необходимую для вопроса, и проверяйте читаемость текста. Если сделать слишком тесный фрагмент, исчезнет контекст. Если отправить огромный рабочий стол, важная форма станет слишком мелкой. Хороший компромисс — общий экран и отдельный крупный фрагмент спорного места.

Не просите модель «найти все ошибки» без цели. Для редактора контента важны подписи и иерархия, для разработчика — состояния формы, для владельца продукта — понятность следующего действия. Чёткий вопрос уменьшает количество случайных замечаний.

Короткий пример вызова из Чатиума

imageUrl — доступный для обработки адрес выбранного изображения, ctx передаёт платформа. done и failed — заранее зарегистрированные маршруты app.function; они проверяют caller.type === 'plugin' && caller.appSlug === 'start'. Доступ пользователя к файлу проверяется до отправки.

import { startCompletion } from '@start/sdk'

const jobs = []
for (const model of ['google/gemini-4-argon', 'qwen/qwen3.8-flash']) {
  const { completionId } = await startCompletion(ctx, {
    model,
    system: 'Опиши видимые элементы. Предположения о поведении выдели отдельно.',
    messages: [{ role: 'user', content: [
      { type: 'text', text: 'Разбери этот экран и укажи, что нельзя проверить по картинке.' },
      { type: 'image', source: { type: 'url', url: imageUrl } },
    ] }],
    onCompletionCompleted: done,
    onCompletionFailed: failed,
  })
  jobs.push({ model, completionId })
}

Вызовы возвращают идентификаторы задач. Ответы поступают позже через обработчики; приложение сохраняет соответствие модели и задачи и показывает их рядом с исходным изображением. Это пример анализа, а не генерации или изменения картинки.

Частые вопросы