CRISP‑ML(Q): Quy trình chuẩn và bảo đảm chất lượng cho phát triển Machine Learning hiện đại

Posted Jul 31, 2025 Updated Sep 15, 2025

By Hoàng Tiến Anh

6 min read

1. Tại sao cần CRISP‑ML(Q)?

Theo nghiên cứu từ Gartner, 85 % mô hình ML không bao giờ vào được production do quy trình rời rạc, thiếu truy xuất nguồn gốc và lặp triển khai chậm (TechRadar). Thực trạng này cho thấy cộng đồng ML rất cần một khung quy trình thống nhất.

Figure 1: CRISP-DM Process Diagram.

Trong suốt nhiều năm, CRISP-DM (Cross Industry Standard Process for Data Mining) đã được xem là quy trình chuẩn và phổ biến nhất để triển khai các dự án khai phá dữ liệu. Với cấu trúc gồm 6 bước – từ hiểu biết kinh doanh đến triển khai – CRISP-DM đã giúp các tổ chức hình thành cách tiếp cận có hệ thống với dữ liệu.

Tuy nhiên, khi các công nghệ Machine Learning phát triển nhanh chóng và dần được đưa vào môi trường thực tế, CRISP-DM bắt đầu bộc lộ nhiều hạn chế:

Thiếu cơ chế bảo đảm chất lượng (quality assurance) trong toàn bộ quy trình.
Không đề cập đến vấn đề triển khai mô hình vào production hay giám sát (monitoring) mô hình sau triển khai.

CRISP‑ML(Q) (Cross‑Industry Standard Process for Machine Learning with Quality assurance) được đề xuất để lấp khoảng trống đó, kế thừa từ CRISP‑DM nhưng bổ sung lớp Bảo đảm Chất lượng (Quality Assurance – QA) xuyên suốt vòng đời mô hình và bổ sung phần Monitoring & Maintenance để giải quyết vấn đề model degradation (mô hình hoạt động kém đi) (arxiv.org).

2. Tổng quan mô hình và 6 giai đoạn

Figure 2: Machine Learning Development Life Cycle Process.

Nguồn: ml-ops.org

CRISP‑ML(Q) tổ chức vòng đời ML thành sáu giai đoạn lặp (ml-ops.org):

#	Giai đoạn	Mục tiêu chính	Sản phẩm/Artefact
1	Business & Data Understanding	Xác định phạm vi, KPI, kiểm tra khả thi dự án	Business brief, Machine Learning Canvas
2	Data Engineering (Data Preparation)	Chọn lọc, làm sạch, chuẩn hóa, pipeline hoá dữ liệu	Data pipeline, Data Quality report
3	ML Model Engineering	Chọn thuật toán, huấn luyện, lưu vết tái tạo	Code, Model artefact, Metadata
4	Quality Assurance (QA)	Định nghĩa rủi ro & biện pháp kiểm soát	Test cases, Validation & bias reports
5	Deployment	Đưa mô hình vào hệ thống, thiết lập CI/CD	API/Service, Canary plan
6	Monitoring & Maintenance	Theo dõi drift, tự động retrain, cập nhật KPI	Dashboard, Alert, Retrain pipeline

Quy trình không tuyến tính – nhóm ML luôn có thể “vòng ngược” để tinh chỉnh dữ liệu hay KPI khi kết quả ở bước sau gợi ý cần cải thiện.

3. Lớp Bảo đảm Chất lượng (Quality Assurance – QA) – xương sống của CRISP‑ML(Q)

Figure 3: CRISP-ML(Q) approach for quality assurance for each of the six phases.
Nguồn: ml-ops.org

Bên cạnh mô tả nhiệm vụ, CRISP‑ML(Q) yêu cầu ngay tại mỗi giai đoạn phải:

Xác định yêu cầu & ràng buộc – ví dụ: ROC-AUC ≥ 0.85, PSI ≤ 0.1, tuân thủ GDPR.
Cụ thể hóa nhiệm vụ – ví dụ: chọn thuật toán ML, huấn luyện mô hình, kiểm tra chất lượng dữ liệu,…
Liệt kê rủi ro – bias, overfitting, lỗi quy trình, thiếu tái tạo,…
Chọn kỹ thuật giảm rủi ro – cross-validation, benchmarking, kiểm thử dữ liệu, logging, versioning,…

Cách tiếp cận này đảm bảo ở mỗi phase sẽ không có rủi ro gì trước khi chuyển giao sang phase tiếp theo, từ đó giảm thiểu rủi ro thất bại khi mô hình vào production.

Đặc biệt phù hợp với các ngành đòi hỏi tuân thủ nghiêm ngặt như tài chính, y tế, ô tô (SpringerOpen).

4. Phân tích chi tiết từng giai đoạn

4.1 Business & Data Understanding

Xác định phạm vi ứng dụng, tiêu chí đánh giá thành công, mục tiêu dự án (giữ chân khách hàng, giảm chi phí,…).
Đánh giá tính khả thi qua thử nghiệm nhỏ, nghiên cứu liên quan, pháp lý, yêu cầu production,…
Ở bước này, thay vì tách rời Business Understanding và Data Understanding như trong CRISP‑DM, CRISP‑ML(Q) kết hợp chúng thành một bước duy nhất để giúp việc trao đổi, giao tiếp giữa 2 ông Data Scientists và Domain expert (Business Stakeholders) nhanh chóng, hiệu quả hơn, cũng như hợp nhất được các yêu cầu về ML và Business.

Công cụ & kỹ thuật:

Data collection: từ nhiều nguồn; sử dụng Datahub, Amundsen, và DVC cho versioning.
Data quality verification: kiểm tra chất lượng bằng Great Expectations, Spark Deequ.

4.2 Data Engineering (Data Preparation)

Tác vụ chính:

Chọn dữ liệu & feature, cân bằng lớp (Class balancing), làm sạch, feature engineering, augmentation, chuẩn hóa. (có thể sử dụng mRMR cho feature selection)
Thiết lập pipeline tự động retrain sớm bằng Apache Airflow hoặc tương đương.

4.3 ML Model Engineering

Nghiên cứu bài toán từ paper, blog, tài liệu chuyên ngành.
Model selection: ưu tiên model đơn giản, pretrained hoặc trong cùng lĩnh vực.
Model reproducibility: sử dụng MLflow, DVC.
Result reproducibility: kiểm định độ ổn định qua nhiều random seed → đo độ tin cậy (robustness) của mô hình.

4.4 Model Evaluation

Đánh giá bằng các chỉ số: accuracy, precision, recall, F1-score, ROC-AUC,…
Đánh giá các yếu tố: robustness, scalability, explainability (LIME, SHAP), fairness, complexity,…

4.5 Deployment

Chiến lược triển khai: blue/green, canary, shadow, batch vs online.
Inference hardware: CPU, GPU, Edge devices,…
Fallback plan: sử dụng phiên bản cũ hoặc mặc định.
Testing: ví dụ A/B testing.

Tham khảo thêm: Deployment Strategies (Chiến lược Triển khai)

4.6 Monitoring & Maintenance

Theo dõi hiệu suất và drift theo thời gian:
- Data drift: thay đổi phân phối đặc trưng đầu vào
- Target drift: thay đổi phân phối nhãn
Sử dụng Evidently để theo dõi và trực quan hóa.
Xem xét các yếu tố kỹ thuật như: phần cứng xuống cấp, hệ thống cập nhật → gây sai lệch dữ liệu.
Triển khai Continued Model Evaluation để quyết định retrain khi cần.

Tham khảo thêm: Model Monitoring (Giám sát mô hình)

5. Kinh nghiệm triển khai & công cụ khuyến nghị

Nhóm nhiệm vụ	Công cụ khuyên dùng
Version dữ liệu	DVC, LakeFS
Theo dõi thí nghiệm (experiment tracking)	MLflow, ClearML
Orchestration	Apache Airflow, Kubeflow Pipelines
QA & kiểm thử	Great Expectations
Giám sát mô hình	Evidently AI

6. Kết luận

Việc đưa mô hình ML vào sản xuất đòi hỏi nhiều thành phần và quy trình phối hợp nhịp nhàng.

CRISP‑ML(Q) không chỉ là “bản mở rộng” của CRISP‑DM; nó đặt bảo đảm chất lượng vào trung tâm, biến mọi bước trong vòng đời ML thành một mô‑đun có yêu cầu, rủi ro và biện pháp kiểm soát rõ ràng.

Bài viết đã trình bày mô hình CRISP‑ML(Q) như một quy trình phát triển phần mềm ML mang tính hệ thống, giúp xác định rủi ro, áp dụng đảm bảo chất lượng, và nâng cao khả năng thành công của dự án ML.

Tài liệu tham khảo:

MLOps

MLOps CRISP‑ML(Q)

This post is licensed under CC BY 4.0 by the author.