Результаты разметки

Посмотреть результаты

После запуска задачи вы можете следить за результатами разметки на вкладке Ответы разметчиков. Здесь отображается подробная информация о заданиях:

  • ID результата — идентификатор ответа разметчика.

  • Задание — название и идентификатор объекта.

  • Тип — типа задания: контрольное или основное.

  • Разметчик — имя и электронный адрес разметчика.

  • Время ответа — дата и время завершения разметки задания этим разметчиком.

  • Длительность разметки — время, потраченное разметчиком на разметку этого задания.

  • Согласованность — согласованность ответов разметчиков. Подробнее о расчете — в разделе Качество и согласованность

  • Качество — качество разметки. Указывается только для контрольных заданий. Подробнее о расчете — в разделе Качество и согласованность

Чтобы посмотреть ответ разметчика, нажмите на строку выбранного задания — вам откроется интерфейс задания с ответами разметчика. Если это контрольное задание, вы также можете посмотреть правильный ответ. Для этого в верхней части экрана отметьте радиокнопку Правильный ответ.

Вкладка Ответы разметчиков не отображается для задач со статусом В архиве. О статусах задач читайте в разделе Жизненный цикл задачи.

Скачать результаты

Чтобы скачать результаты разметки, перейдите в задачу, нажмите Результаты и выберите формат файла: JSON, JSON - старый формат, XLSX, TSV или CSV.

В файле будут все размеченные на момент выгрузки данные, даже если они не достигли заданного показатели перекрытия.

Скачать результаты в форматах JSON, XLSX, TSV и CSV, можно только для тех задач, которые создали после 1 января 2023 года.

Поля файла выгрузки JSON:

Поле Описание

task_id

Идентификатор задачи

task_type

Тип задачи

file_name

Название размечаемого файла

organization_id

Идентификатор подразделения-заказчика разметки

person_id

Идентификатор автора задания на разметку

item_id

Идентификатор задания

item_type

Тип задания

assignment_id

Идентификатор объекта разметки

status

Статус разметки объекта (SUBMITTED — объект размечен и ожидает проверки, REJECTED — результат разметки отклонен, ACCEPTED - результат разметки принят, EXPIRED - разметка просрочена, SKIPPED - разметка пропущена)

marker_id

Идентификатор разметчика

start_date

Дата и время начала разметки

end_date

Дата и время завершения разметки

control_passed

Результат проверки контрольного задания (true — верный ответ, false — неверный ответ). Заполняется только для контрольного задания

pool_ids

Список идентификаторов групп разметки

price

Стоимость задания

consistency

Рассчитанный процент согласованности ответов. Бинарное сравнение ответов разметчиков

quality

Качество разметки

result

Описание меток в соответствии с заданием при выгрузке в формате JSON

control

Правильные ответы на контрольные задания при выгрузке в формате JSON

OUTPUT:<data field>

Описание меток в соответствии с заданием при выгрузке в форматах XSLX, CSV и TSV

GOLDEN:<data field>

Правильные ответы на контрольные задания при выгрузке в форматах XSLX, CSV и TSV