Нейросеть составила тест. Он проверяет знания или угадывание?

Нейросеть легко создаёт вопрос с четырьмя вариантами ответа. Но такой тест может проверять узнавание самой длинной формулировки, а не понимание урока. Начинать стоит с того, что ученик должен уметь после обучения, и только затем просить вопрос.

В Чатиуме можно собрать редактор заданий с учебной целью, правильным ответом и объяснением ошибки. Преподаватель проверяет карточку до того, как она попадёт к ученикам.

Сформулируйте действие ученика

«Понять статусы заявки» слишком широко. «Выбрать, что делать с заявкой, возвращённой на доработку» уже описывает проверяемое умение. Из него можно построить небольшую ситуацию, а не вопрос на повторение определения.

Передайте модели материал урока и границы. Если в уроке нет правил отмены, тест не должен проверять их как будто они изучены. Иначе ученик будет угадывать внешние знания, а преподаватель получит искажённую оценку обучения.

Пример хорошей учебной развилки

Условное правило урока: черновик редактирует автор; после отправки заявку рассматривает руководитель; при возврате автор исправляет её и отправляет снова. Вопрос: «Руководитель вернул заявку с замечанием. Как продолжить работу?»

Правильный ответ — исправить ту же заявку и отправить повторно. Неправильные варианты могут отражать реальные заблуждения: создать дубликат, ждать автоматического одобрения или считать возврат окончательным удалением. Они должны быть правдоподобными, но однозначно неверными по данному правилу.

Почему вопрос с одним очевидным ответом мало помогает

Если три варианта абсурдны, ученик ответит без знания темы. Если два варианта можно обосновать, результат будет зависеть от догадки о намерении автора. В обоих случаях цифра успешности плохо отражает освоение материала.

Не нужно делать вопросы намеренно запутанными. Сложность должна находиться в применении правила, а не в двойных отрицаниях и длинных конструкциях. Особенно это важно для вводных курсов, где тест одновременно помогает закрепить материал.

Короткий вызов Nemotron в Чатиуме

Для черновиков используется текстовый маршрут Nemotron 3 Ultra Free из OpenRouter. Его нулевая ставка в каталоге не означает отсутствия ограничений или бесплатности всех операций Чатиума. В примере не требуется строгая JSON-схема, которая для этого маршрута не заявлена.

Это фрагмент серверного обработчика Чатиума. ctx передаёт платформа, sourceText содержит проверенный текст из формы. done и failed — заранее зарегистрированные маршруты app.function для результата и ошибки. Они проверяют, что вызов пришёл от приложения start: caller.type === 'plugin' && caller.appSlug === 'start'.

import { startCompletion } from '@start/sdk'

const { completionId } = await startCompletion(ctx, {
  model: 'nvidia/nemotron-3-ultra-550b-a55b:free',
  system: 'По материалу и учебной цели создай три задания. Укажи вопрос, варианты, правильный ответ, объяснение и основание. Не проверяй правила, которых нет в исходнике. Избегай неоднозначных ответов.',
  messages: [{
    role: 'user',
    content: [{ type: 'text', text: sourceText }],
  }],
  onCompletionCompleted: done,
  onCompletionFailed: failed,
})

Метод возвращает completionId. Сам ответ приходит позже в onCompletionCompleted, ошибка — в onCompletionFailed; до этого приложение показывает ожидание. Это схема вызова, а не полный код приложения.

Приложение сохраняет задание как черновик с версией урока. После изменения материала связанные вопросы нужно пересмотреть. Нельзя оставлять в тесте старое правило только потому, что вопрос уже однажды утвердили.

Как улучшать тест после первых прохождений

Смотрите, какие варианты выбирают ученики и какие вопросы вызывают уточнения. Если почти все ошибаются в одном месте, возможны разные причины: правило плохо объяснено, вопрос неоднозначен или материал действительно сложный. Одной цифры недостаточно, чтобы обвинить учеников в невнимательности.

Сохраняйте редакторские изменения и не сравнивайте результаты разных версий как будто тест не менялся. Чатиум может показывать историю задания и привязку попыток к его редакции.

Частые вопросы