Quản lý dữ liệu (readiness & chất lượng)

ABN Demand Planning

2026-11-19 23:56
Báo cáoquản lý dữ liệu (readiness & chất lượng)
Dùng đểĐảm bảo mọi dữ liệu liên quan đã được lấy, chuẩn hóa và kiểm định sẵn sàng trước khi pipeline chạy — cổng kiểm soát đầu vào của toàn hệ thống.
Câu hỏi trả lờiDM
Tạo lúc2026-11-19 23:56
Dữ liệu đến ngày2026-11-19
Phương pháp tính (kỹ thuật)
Chế độ check (thụ động): đối chiếu trạng thái file nguồn/master/validation với chính sách trong data_management.yaml (required/optional, min_rows, SLA độ mới) để ra verdict READY/DEGRADED/BLOCKED và xuất data_readiness.json + báo cáo HTML. Chế độ prepare (chủ động, chạy qua run_pipeline.py --prepare-data hoặc trực tiếp): probe nguồn với retry + vòng chờ, chạy m0, kiểm định, rồi mới cho pipeline chạy.
sizing dung lượng→probe nguồn→m0 chuẩn hóa→validation gate→readiness verdict

Kết luận

Trạng thái dữ liệu: READY
Tất cả dữ liệu bắt buộc đã sẵn sàng — pipeline có thể chạy.
Nguồn dùng được
6
tổng 9 nguồn
Thực thể bắt buộc OK
6
tổng 6 bắt buộc
Lỗi validation
0
Vòng chờ đã dùng
0
attempts=3/nguồn

Dung lượng & kế hoạch nạp dữ liệu (sizing)

Tổng rows ước tính
72,055
Tổng dung lượng
3.6 MB
Thời gian nạp ~
0s
theo throughput cấu hình trong data_management.yaml → sizing
NguồnChế độConnectorRows ước tínhDung lượngThời gian nạp ~Ghi chú
actual_salesfilefile68,0503.4 MB0sincremental từ 2026-11-19
sales_targetsfilefile1173.1 KB0s—
inventoryfilefile1445.6 KB0s—
leadtimefilefile361.3 KB0s—
sku_metadatafilefile361.5 KB0s—
sales_historyfilefile3,672182.6 KB0sincremental từ 2026-11-01
chat_messagesfilefilekhông rõ——thiếu file
crm_interactionsfilefilekhông rõ——thiếu file
customer_purchasesfilefilekhông rõ——thiếu file
Kế hoạch nạp (history windows + incremental patching)
Full reload chỉ khi chạy m0 --full (hoặc ABN_FULL_RELOAD=1). Watermark lưu tại data/{company}/state/master_watermarks.json.
Thực thểChính sáchChi tiết
sales_transactionsincrementalupsert theo khóa ['date', 'sku_id', 'channel'] · watermark date · hiện tại: 2026-11-19 · overlap 3 ngày
sales_history_monthlyincrementalupsert theo khóa ['sku_id', 'channel', 'date'] · watermark date · hiện tại: 2026-11-01 · overlap 3 ngày

Trạng thái nguồn (fetch)

NguồnChế độAPIFileDùng
actual_salesfile—68,050 dòng
15.0h trước
file
sales_targetsfile—117 dòng
15.0h trước
file
inventoryfile—144 dòng
15.0h trước
file
leadtimefile—36 dòng
15.0h trước
file
sku_metadatafile—36 dòng
15.0h trước
file
sales_historyfile—3,672 dòng
15.0h trước
file
chat_messagesfile—không cónone
crm_interactionsfile—không cónone
customer_purchasesfile—không cónone

Readiness theo thực thể

Thực thểVai tròSố dòngTối thiểuNguồnTrạng tháiGhi chú
sales_transactionsrequired68,05030actual_salesOK—
sales_history_monthlyrequired3,67212sales_historyOK—
inventory_snapshotsrequired1441inventoryOK—
leadtime_moqrequired361leadtimeOK—
sku_catalogrequired361sku_metadataOK—
sales_targetsrequired1171sales_targetsOK—
customer_profilesoptional01customer_profilesNgoài phạm vikhông có dữ liệu (tùy chọn — ngoài phạm vi triển khai)
customer_matched_productsoptional01customer_matched_productsNgoài phạm vikhông có dữ liệu (tùy chọn — ngoài phạm vi triển khai)
crm_interactionsoptional01crm_interactionsNgoài phạm vikhông có dữ liệu (tùy chọn — ngoài phạm vi triển khai)
customer_segmentsoptional01—Ngoài phạm vikhông có dữ liệu (tùy chọn — ngoài phạm vi triển khai)
customer_criteria_tagsoptional01—Ngoài phạm vikhông có dữ liệu (tùy chọn — ngoài phạm vi triển khai)
customer_purchasesoptional01customer_purchasesNgoài phạm vikhông có dữ liệu (tùy chọn — ngoài phạm vi triển khai)
purchase_segmentsoptional01—Ngoài phạm vikhông có dữ liệu (tùy chọn — ngoài phạm vi triển khai)
campaign_recommendationsoptional01—Ngoài phạm vikhông có dữ liệu (tùy chọn — ngoài phạm vi triển khai)
product_affinityoptional01—Ngoài phạm vikhông có dữ liệu (tùy chọn — ngoài phạm vi triển khai)