Результаты разметки

Посмотреть результаты

После запуска задачи вы можете следить за результатами разметки на вкладке Ответы разметчиков. Здесь отображается подробная информация о заданиях:

  • Задание — название и идентификатор объекта.

  • Статус — состояние ответа разметчика: "ожидает проверки", "принят", "отклонён", "назначен/на доработке".

  • Тип — типа задания: контрольное или основное.

  • Разметчик — электронный адрес разметчика.

  • Время ответа — дата и время завершения разметки задания этим разметчиком.

  • Длительность разметки — время, потраченное разметчиком на разметку этого задания.

  • Согласованность — согласованность ответов разметчиков. Подробнее о расчете — в разделе Качество и согласованность

  • Качество — качество разметки. Указывается только для контрольных заданий. Подробнее о расчете — в разделе Качество и согласованность

  • Комментарий — комментарий заказчика при принятии или отклонении заданий, направляются разметчику как обратная связь по заданию в "Мои ответы".

Чтобы посмотреть ответ разметчика, нажмите на строку выбранного задания — вам откроется интерфейс задания с ответами разметчика. Если это контрольное задание, вы также можете посмотреть правильный ответ. Для этого в верхней части экрана отметьте радиокнопку Правильный ответ.

Вкладка Ответы разметчиков не отображается для задач со статусом В архиве. О статусах задач читайте в разделе Жизненный цикл задачи.

Скачать результаты

Чтобы скачать результаты разметки, перейдите в задачу, нажмите Результаты и выберите формат файла: JSON, JSON - старый формат, XLSX, TSV или CSV.

В файле будут все размеченные на момент выгрузки данные, даже если они не достигли заданного показатели перекрытия.

Скачать результаты в форматах JSON, XLSX, TSV и CSV, можно только для тех задач, которые создали после 1 января 2023 года.

Поля файла выгрузки JSON:

Поле Описание

task_id

Идентификатор задачи

task_type

Тип задачи

file_name

Название размечаемого файла

organization_id

Идентификатор подразделения-заказчика разметки

person_id

Идентификатор автора задания на разметку

item_id

Идентификатор задания

item_type

Тип задания

assignment_id

Идентификатор объекта разметки

status

Статус разметки объекта (SUBMITTED — объект размечен и ожидает проверки, REJECTED — результат разметки отклонен, ACCEPTED - результат разметки принят, EXPIRED - разметка просрочена, SKIPPED - разметка пропущена)

marker_id

Идентификатор разметчика

start_date

Дата и время начала разметки

end_date

Дата и время завершения разметки

control_passed

Результат проверки контрольного задания (true — верный ответ, false — неверный ответ). Заполняется только для контрольного задания

pool_ids

Список идентификаторов групп разметки

price

Стоимость задания

consistency

Рассчитанный процент согласованности ответов. Бинарное сравнение ответов разметчиков

quality

Качество разметки

submitted_at

Дата и время отправки задания

skipped_at

Дата и время, когда было пропущено задание

expired_at

Дата и время, когда задание истекло

accepted_at

Дата и время, когда задание было принято

rejected_at

Дата и время, когда задание было отклонено

started_at

Дата и время, когда разметчик начал разметку

reviewer_id

Идентификатор пользователя, который оставил комментарий

reviewer_comment

Текст комментария

is_review_public

Виден (True) или не виден (False) комментарий разметчику

original_assignment_id

Идентификатор ответов исполнителей, которые были направлены на доработку, исправлены заказчиком или переназначены на другого исполнителя

OUTPUT:<data field>

Описание меток в соответствии с заданием при выгрузке в форматах XSLX, CSV и TSV

GOLDEN:<data field>

Правильные ответы на контрольные задания при выгрузке в форматах XSLX, CSV и TSV