Подготовка инструкции

Чтобы разметчики знали, что им нужно делать, добавьте в проект инструкцию. Разметчики увидят ее перед тем, как начать выполнять задания. Также кнопка со ссылкой на инструкцию будет отображаться во всех задачах.

Как добавить в проект инструкцию

Перейдите в проект и на вкладке Инструкция подробно опишите, как нужно выполнять задания:

  • порядок действий разметчика,

  • какие ответы считаются правильными, а какие — нет,

  • примеры правильной разметки,

  • сложные случаи, в которых разметчик может запутаться.

Наглядная информация поможет разметчикам разобраться быстрее. Мы рекомендуем прикреплять к инструкции изображения с примерами. Для этого нажмите кнопку загрузки картинок на панели инструментов и добавьте ссылку на изображение. Изображение может находиться на стороннем ресурсе или на платформе TagMe в разделе Датасеты.

Чтобы отформатировать текст, используйте панель инструментов.

Если вы копируете текст из файла в инструкцию — проверьте, сохранилась ли верстка.

Чтобы посмотреть, как инструкция отобразится разметчикам, нажмите на кнопку в правой части панели инструментов.

Когда инструкция будет готова, нажмите Сохранить изменения.

Состав инструкции

Цель проекта

Кратко опишите, в чем цель проекта.

Пример 1: Составить текстовые описания к изображениям. Результаты будут использоваться, чтобы обучить модель искусственного интеллекта генерировать изображения.

Пример 2: Оценить качество диалога модели искусственного интеллекта (Ассистента) с пользователем.

Типы заданий в проекте

Напишите, какие задания входят в проект. Варианты: обучение, экзамен, основная задача, реабилитационная задача. Можете указать стоимость или уровень навыка для каждого типа.

Пример 1: Проект состоит из обучения, экзамена и основных заданий. Обучение и экзамен не оплачиваются.

Пример 2: Сначала пройдите обучение, чтобы набрать нужный уровень навыка — 70. Затем выполните экзаменационные задания. После этого можете приступать к основным заданиям. Если в процессе выполнения заданий ваш уровень навыка упадет ниже 70, то вы перейдете в реабилитационную задачу.

Как выполнять задания

Подробно опишите логику выполнения заданий.

Пример 1:

Ваш текст должен детально описывать изображение.

  • Если изображен человек или персонаж, то напишите, кто это, опишите место, одежду, окружение.

  • Если изображена достопримечательность, то опишите стиль, цвета, яркие детали.

  • Для русской культуры можно добавить в описание, что это именно что-то советское или русское. Например, если это Винни-Пух, то укажите, что это советский Винни-Пух.

Что важно в описании:

  • Большее внимание уделяем главному предмету или субъекту.

  • Главные детали пишем в начале (кто или что изображено).

  • Указывать, что за изображение, если оно нестандартное (картина, картина маслом, картина карандашом, черно-белое фото, памятник, бюст и т. д.).

  • Разнообразие запросов — запросы по шаблону не приветствуются. Можно менять местами порядок описания деталей, делать сложные предложения, использовать синонимы.

  • Описывать «человеческим» языком.

  • Орфография и пунктуация.

Пример 2:

Интерфейс задания выглядит следующим образом: cлева диалог между Пользователем и Ассистентом, справа – критерии для оценки ответов Ассистента.

Интерфейс задания

Критерий пригодности оценивает, насколько ответ Ассистента релевантный и соответствует запросу.

Варианты ответов:

  • Непригодный — в ответе нарушена логичность, ответ не по теме, противоречивый и т. п.

  • Могло быть и лучше — в ответе соблюдена логичность, но ответ неполный.

  • Пригодный — ответ логичный (ясный и непротиворечивый) и полный (достаточно информации по запросу).

Примеры правильной разметки

Приведите как можно больше примеров заданий с правильными ответами. Добавьте комментарии, что делает именно этот ответ правильным.

Пример 1:

Пример задания

Хорошее описание: «Рисунок из детской книжки – мальчик играет с собакой возле дома».

Плохое описание: «Мальчик и собака».

Пример 2:

Диалог:

«П: Напиши короткую сказку про курочку

А: Жили-были дед и баба. И была у них курочка Ряба. Снесла курочка яичко, да не простое – а золотое. Дед бил – не разбил. Баба била – не разбила. А мышка бежала, хвостиком махнула, яичко упало и разбилось. Дед плачет, баба плачет, а курочка кудахчет: Не плачь, дед, не плачь, баба: снесу вам новое яичко не золотое, а простое».

Ответ: Пригодный.

Комментарий: Ответ ясный, понятный и полностью предоставляет необходимую информацию.