Если задача содержит картинку, вопрос «ChatGPT или Gemini» слишком широк. Прочитать скриншот, объяснить диаграмму и нарисовать новый баннер — три разных действия. Модель, которая понимает изображение, не обязательно генерирует изображения тем же вызовом.
В Чатиуме можно сделать помощника для разбора визуальных материалов: загрузить картинку, задать вопрос и сопоставить ответы моделей с тем, что действительно видно. Начнём со скриншотов интерфейса, где ошибку легко проверить.
Создай помощника для разбора скриншотов. Пользователь загружает изображение и задаёт вопрос. Показывай ответы Gemini и модели OpenAI рядом, а отдельно — замеченные элементы и предположения. Дай отметить неточности и сохранить проверенное описание.
Сервис и модель могут поддерживать разные действия
В ChatGPT есть работа с загруженными файлами и изображениями, а также отдельные возможности создания картинок. В Gemini тоже нужно различать пользовательский продукт и конкретную модель API. Нельзя переносить все функции интерфейса на любой идентификатор из каталога.
Для анализа в Чатиуме можно выбрать GPT-6.1 Sol и Gemini 4 Argon: обе модели принимают изображения на проверенных маршрутах. В этом примере нужен текстовый ответ о картинке. Если задача — изменить саму картинку, смотрите отдельный материал о Nano Banana.
Что можно узнать из скриншота, а что нельзя
Представим экран корзины: товар, количество «2», цена за единицу «900 ₽» и кнопка «Оформить». На изображении нет доставки и итогового подтверждения. Разумный вывод: видна стоимость двух товаров до неизвестных дополнительных условий. Неразумный: «Заказ оплачен на 1800 рублей».
Причина ошибки здесь не в арифметике. Модель может правильно умножить числа, но приписать экрану событие, которого на нём нет. Поэтому задание должно разделять наблюдение и вывод.
| Вопрос | Что считать достаточным ответом |
|---|---|
| Какие элементы видны? | Названия, числа и расположение без добавленных полей |
| Что означает кнопка? | Возможное действие, без утверждения о выполнении |
| Есть ли итог заказа? | Указать, если он не показан |
| Что не удалось прочитать? | Назвать нечёткие области, не угадывать |
Где преимущество может оказаться у исходника
Мелкий текст, обрезанный край и несколько похожих окон усложняют задачу любой модели. Перед сравнением дайте им одинаковое изображение достаточного качества. Если вопрос относится к одному полю, полезно добавить крупный фрагмент, сохранив общий экран для контекста.
Не оценивайте только длину ответа. Короткое «статус оплаты на изображении не показан» полезнее подробной выдуманной истории заказа. А для доступности интерфейса важнее перечисление элементов в понятном порядке, чем художественное описание цветов.
Для задачи с видео или аудио сначала проверьте входные форматы конкретного маршрута. Поддержка изображения не означает поддержку любого медиафайла. У Gemini 4 Argon в каталоге есть дополнительные входные модальности, но их ещё нужно корректно передать через выбранный интерфейс.
Что добавить в приложение Чатиума
Храните исходное изображение рядом с вопросом и ответом. Проверенное описание должно отличаться от черновика модели. Если пользователь заменил файл, старый результат нельзя показывать так, будто он относится к новой картинке.
На сервере выбирается разрешённая модель, ей передаётся изображение и текст задания. Через startCompletion результат приходит асинхронно, поэтому интерфейсу нужны ожидание и понятная ошибка. Полный пример передачи изображения разобран в сравнении Gemini и Qwen; здесь важнее правильно сформулировать саму проверку.
Частые вопросы
Какая из двух моделей лучше понимает картинки?
Ответ зависит от типа изображений и вопроса. Для интерфейсов проверяйте элементы и состояния, для диаграмм — подписи и значения, для фото — только подтверждаемые детали. Одного красивого описания недостаточно для общего вывода.
Можно ли использовать ответ как точное распознавание текста?
Критичные числа и названия нужно сверять с оригиналом. Если задача требует точного извлечения полей, полезно сохранять фрагмент изображения, на котором основано каждое значение.
Какой первый пример стоит попробовать?
Скриншот собственного интерфейса и вопрос «что здесь видно, а что определить нельзя». Вы знаете правильный ответ и быстро заметите выдуманные детали. Затем можно перейти к превращению скриншота в требования.