Обучение и экзамен

Чтобы убедиться, что разметчики поняли инструкцию, добавьте в проект обучающую и экзаменационную задачи. В таких задачах встроена автоматическая проверка, и результат ответов разметчика влияет на уровень навыка.

Если в проекте включены обучение или экзамен, то разметчики сначала будут выполнять их. Затем, если уровень приобретенного навыка будет достаточным, разметчики смогут приступить к основным задачам проекта.

Создаем обучение и экзамен

Вы можете создать обучающую или экзаменационную задачу так же, как основную задачу. Для этого на вкладке Задачи в проекте откройте выпадающий список рядом с кнопкой Добавить задачу и выберите нужный тип.

В обучающей задаче все задания должны быть обучающими, а в экзаменационной — контрольными. О том, как создавать такие задания, читайте в разделе Контрольные и обучающие задания.

Прежде чем запустить обучающую или экзаменационную задачу, укажите в настройках навык, в рамках которого будут учитываться результаты заданий.

Настраиваем обучение и экзамен

Вы можете регламентировать выполнение задачи разметчиками на вкладке Настройки.

Отображение и доступность

  • Название задачи — не отображается разметчикам.

  • Описание задачи — отображается разметчикам.

Настройка заданий

  • Количество заданий на одного разметчика — включите переключатель, чтобы указать, сколько заданий нужно выполнить разметчику, чтобы задача завершилась.

  • Время на разметку одного задания — установите лимит времени на выполнение одного задания. По умолчанию — 900 секунд.

  • Стоимость задания — укажите стоимость задания в условных единицах, используя систему расчета оплаты разметки, принятую в вашей компании.

Навыки и качество разметки

  • Фильтрация разметчиков по навыку — выберите навык, без которого разметчик не сможет приступить к задаче, а также укажите требуемый уровень навыка. Подробнее читайте в разделе Навыки.

  • Навык, на который влияет качество ответов — выберите или создайте навык, значение которого будет меняться по результатам контрольных и обучающих заданий.

Дополнительно

  • Бюджет — укажите количество условных единиц, которые вы планируете потратить на выполнение задачи.

  • Качество разметки — укажите, какой процент правильных ответов на контрольные и обучающие задания вы планируете получить. Формат — число от 0 до 1. Подробнее о расчете качества — в разделе Качество и согласованность.

  • Согласованность ответов — укажите, какую согласованность ответов разметчиков вы планируете получить. Формат — число от 0 до 1.