Модуль Statistic

Инструменты для получения статистики платформы Tagme, анализа результатов разметки и обнаружения фрода. Включён по умолчанию — дополнительная установка или флаги не требуются.

Инструменты

get_project_stats

Обзор проекта: статус, прогресс, количество задач, снапшот качества.

{"project_id": "abc123"}

get_task_stats

Снапшот задачи: процент выполнения, оценка качества, распределение нагрузки, счётчики статусов.

{"task_id": "task456"}

get_annotation_summary

Комбинированный дашборд: прогресс + качество + алерты + экспорт за период. Удобный агрегированный формат для LLM.

{
    "project_id": "abc123",     # или task_id
    "start_date": "2024-01-01", # опционально
    "end_date": "2024-03-31",   # опционально
}

get_marker_performance_stats

Таблица производительности разметчиков: объём, оценка качества, согласованность, вознаграждение. Поддерживает сортировку и фильтрацию.

{
    "task_id": "task456",       # или project_id
    "sort_by": "quality",       # quality | marked | reward | consistency
    "min_marked": 10,           # фильтр: минимум заданий
    "min_quality": 0.7,         # фильтр: минимальное качество
}

get_project_quality_stats

Сырой вывод quality API для одного или нескольких проектов/задач.

{
    "project_ids": ["abc123"],
    "output": "task",           # task | item
}

analyze_project_instructions

Загружает инструкцию разметчика (marker_brief) для метода проекта. Возвращает структурный анализ: количество слов, заголовки, ссылки, списки, сводку по формам.

{"project_id": "abc123"}

analyze_task_results

Анализ на уровне заданий для задачи: распределение классов, степень согласия, ответы разметчиков, примеры результатов, сравнение с контролем.

{
    "task_id": "task456",
    "analyses": ["class_distribution", "agreement_summary", "sample_results"],
}

Доступные блоки анализа:

Блок Описание

inspect

Общая инспекция задачи

class_distribution

Распределение классов

agreement_summary

Степень согласия разметчиков

generation_summary

Сводка по генерации

marker_answer_summary

Сводка по ответам разметчиков

sample_results

Примеры результатов

compare_with_control

Сравнение с контрольными заданиями

analyze_fraud_risk

Эвристический отчёт о рисках фрода для задачи: аномально быстрое время выполнения, низкое качество, дублирующиеся ответы, высокие доли отказов/пропусков/истечений.

{
    "task_id": "task456",
    "quality_threshold": 0.6,
    "fast_time_sigma": 2.5,
}

analyze_project_results

Агрегированный анализ по всем задачам проекта. Поддерживает режимы rollup (объединённый) и per_task (по каждой задаче).

{
    "project_id": "abc123",
    "summary_mode": "rollup",   # rollup | per_task
}

Demo

Полный пример работы с кодом и детальным разбором инструментов представлен в интерактивной странице документации Statistic Demo.