🚀
Engineering Dashboard — контрольна панель безперервного вдосконалення
IMCP — це не «раз зробили і забули». Це жива система, яка щодня стає кращою, точнішою і стабільнішою.
Архітектура платформи побудована так, щоб якість її роботи можна було постійно відстежувати,
а покращення — впроваджувати без зупинки процесів. 🔄
🤝
У центрі підходу — проста і дуже потужна ідея: ШІ підсилює людину, а людина навчає ШІ.
Кожне рішення менеджера, кожне підтвердження, кожна правка чернетки — це не просто операційна дія, а цінний сигнал для розвитку системи. ✨
🧭 Як саме це вимірюється тут: блок Human Expertise Signals показує, де експерти найчастіше втручаються (патерни, не люди), Decision Reasons пояснює чому змінюють/відхиляють, а Improvement Impact фіксує який ефект дали оновлення — що стало краще і де є регресії.
Кожне рішення менеджера, кожне підтвердження, кожна правка чернетки — це не просто операційна дія, а цінний сигнал для розвитку системи. ✨
🧭 Як саме це вимірюється тут: блок Human Expertise Signals показує, де експерти найчастіше втручаються (патерни, не люди), Decision Reasons пояснює чому змінюють/відхиляють, а Improvement Impact фіксує який ефект дали оновлення — що стало краще і де є регресії.
🎯
Бачити, де ШІ працює ідеально — і масштабувати ці сценарії
🔧
Розуміти, де потрібні точкові покращення — промпти, правила, перевірки
📈
Перетворювати щоденну роботу на зростання якості — без додаткового навантаження
🧪
Якість ШІ: наскільки впевнено працює система, де з'являється невпевненість
🚩
Ризики та попередження: що саме «ламається» або дає аномалії
♻️
Петля якості: які поля найчастіше редагують люди
🔌
Інтеграції: де виникають збої, що потребує втручання
⏱️
Свіжість даних: чи система бачить актуальну картину
🧾
Журнал ШІ: що запускалось, з яким результатом
✅ Результат: ви отримуєте не просто «моніторинг», а механізм еволюції —
система сама підсвічує, що покращити, де це дасть найбільший ефект, і як це вплине на якість та стабільність.
Failures (24h)
23
INTEGRATION_FAILED
+8 vs yesterday
Top Failure Source
1C
12% failure rate
AI Confidence
0.78
avg / P10: 0.52
-0.05 vs last week
LOW_CONFIDENCE
18
flagged in 24h
AI Acceptance
87%
drafts approved
No-edit Rate
63%
AI drafts w/o edits
Ключові метрики системи — оперативний моніторинг для інженерів. Failures — кількість помилок інтеграцій за 24 години.
AI Confidence — середня впевненість ШІ (target ≥ 0.7). No-edit Rate — відсоток чернеток, прийнятих без правок (target ≥ 50%).
Кожна плитка клікабельна для детального drill-down.
AI Confidence (30 days)
View AI Runs →
AI Confidence — середній рівень впевненості ШІ при екстракції даних з документів.
Значення < 0.7 сигналізує про потребу в перегляді промптів або моделі.
P10 показує найгірші 10% випадків — саме їх варто аналізувати першочергово.
0.78
Avg
0.52
P10
By Draft Type:
QUOTE: 0.85
BL: 0.82
DIMS: 0.68
1C: 0.71
Top Risk Flags (30 days)
Risk Flags — автоматично згенеровані попередження від ШІ під час обробки кейсів.
LOW_CONFIDENCE означає невпевненість в екстракції, DOC_PARSE_FAILED — помилка парсингу документа,
CONFLICT_DETECTED — розбіжності в даних. Клікніть на рядок для перегляду конкретних кейсів.
Flag Code
Distribution
Count
Severity
Action
LOW_CONFIDENCE
42
Medium
DOC_PARSE_FAILED
25
High
CONFLICT_DETECTED
15
High
NEEDS_REVIEW
8
Low
Quality Loop — Most Edited Fields
request_snapshot vs decision_snapshot
Quality Loop — ключовий інструмент для покращення ШІ. Система порівнює request_snapshot
(що запропонував ШІ) з decision_snapshot (що затвердив менеджер). Поля з високою частотою редагування —
пріоритетні кандидати для доналаштування промптів. Це і є «навчання» системи через дії людини.
Field Path
Edit Frequency
Avg Delta
Top Case Types
Action
quote.total_cost
38%
±$120
F1-SEA
F1-AIR
dims.weight
28%
±15 kg
F1-SEA
bl.consignee
22%
text diff
F1-SEA
F1-RAIL
quote.transit_days
18%
±3 days
F1-AIR
1c.article
15%
text diff
F1-SEA
Human Expertise Signals (30 days)
Drill-down →
Це не “контроль людей”. Тут ми дивимось на патерни: де саме експерти найчастіше втручаються, щоб “довести” результат до правильного.
Коли ці сигнали стають видимими — система отримує чіткий беклог покращень (промпти, правила, валідації, інтеграції).
Human overrides
1,284
Редагування/втручання у AI-чернетки
Top edited field
quote.total_cost
Edit rate: 38%
Edits concentrated in
F1-SEA
67% усіх правок за період
Reason code
Meaning / signal
Count
Action
MISSING_CONTEXT
312
Бракує контексту / вхідних даних
DATA_CONFLICT
225
Конфлікт між джерелами (Invoice ≠ BL тощо)
PRICE_ADJUSTMENT
150
Корекція ціни/маржі через контекст угоди
CLIENT_REQUEST
104
Зміна через побажання клієнта/партнера
Integration Errors (24h)
View all 23 →
Integration Errors — помилки зовнішніх інтеграцій (1С, брокери, сховища).
TIMEOUT — перевищено час очікування, AUTH — проблема авторизації,
RATE_LIMIT — ліміт запитів. Колонка Retryable показує, чи можна автоматично повторити запит.
Error Code
Integration
Count
Retry
Retryable
Action
TIMEOUT
1C API
12
avg: 3
Yes
VALIDATION
ZED
5
—
No
AUTH
Broker API
3
—
No
RATE_LIMIT
Storage
2
avg: 1
Yes
UNKNOWN
1C API
1
—
No
Failures by Hour (7 days)
Теплова карта помилок — візуалізація кількості збоїв по днях тижня та годинах.
Допомагає виявити патерни: наприклад, якщо більшість помилок відбувається о 9:00 — можливо, перевантаження
системи на початку робочого дня. Червоні клітинки потребують негайної уваги.
Mon
Tue
Wed
Thu
Fri
Sat
Sun
0
3
6
9
12
15
18
21
Less
More
Data Freshness / Pipeline Health
Data Freshness — моніторинг актуальності даних та здоров'я пайплайнів.
Real-time Subscriptions оновлюють UI миттєво, Aggregates — кожні 30 сек.
Затримка понад 5 хвилин сигналізує про проблему в n8n-воркфлоу або базі даних.
Real-time Subscriptions
Supabase Realtime — all channels healthy
Cases Aggregate
Dashboard KPIs, computed fields
1C Sync Pipeline
Batch sync — last run had errors
AI Runs Queue
n8n workflow queue processing
Document Processing
OCR + extraction pipeline
Improvement Impact (Last 14 days)
View changelog →
Платформа — живий організм. Тут ми показуємо, як конкретні покращення (промпти, правила, інтеграції) впливають на метрики.
Це допомагає не “вірити”, а вимірювати: що реально стало краще, а де з’явилась регресія — і швидко відкотити/виправити.
No-edit Rate (AI)
+6 pp
Останні 14 днів vs попередні 14
LOW_CONFIDENCE
−12%
Менше кейсів з невпевненістю
Integration failures
−9
Падінь за 24h після хотфіксу
Change ID
Type
What changed
KPI impact
Action
CHG-012
PROMPT
Оновлено DIMS-екстракцію: нормалізація одиниць + контекст “packing list first”
No-edit ↑4pp
LOW_CONFIDENCE ↓7
CHG-009
INTEGRATION
Хотфікс 1C TIMEOUT: збільшено таймаут + backoff для retry
Failures ↓5
Latency ↓12m
CHG-007
RULE
Додано validator для ваги: stricter threshold для high-value вантажів
No-edit ↓1pp
CONFLICT ↓3
Recent AI Runs (AI_RUN_COMPLETED)
View all runs →
AI Runs Log — журнал усіх запусків ШІ-нод (екстракція, генерація, верифікація).
Кожен запис містить Confidence (рівень впевненості), Flags (попередження),
та Duration (тривалість). Клікніть на рядок для переходу до відповідного кейса.
Timestamp
Case ID
Run Type
Confidence
Flags
Duration
#F1-SEA-02451
QUOTE
0.92
—
1.2s
#F1-SEA-02488
DIMS
0.54
LOW_CONFIDENCE
NEEDS_REVIEW
2.8s
#F1-AIR-01203
BL
0.88
—
1.5s
#F1-SEA-02477
1C
0.72
CONFLICT_DETECTED
3.1s
#F1-SEA-02480
QUOTE
0.95
—
0.9s