Khóa Master Class DataOps for Data Platforms: From Pipeline to Production| Bootcamp
Thời lượng
11 buổi
Hình thức đào tạo
Online qua Zoom
Học phí
Liên hệ
Tổng quan
Lợi ích khóa học
Thực hành trên dữ liệu thực tế
Học viên sẽ được thực hành trên các bộ dữ liệu mô phỏng giao dịch thực tế (eCommerce / tài chính), giúp hiểu rõ cách xây dựng và vận hành data pipeline trong môi trường production
Hỗ trợ tài nguyên toàn diện
Được cung cấp đầy đủ slide bài giảng, notebook thực hành, source code toàn bộ pipeline, setup lab
Thời lượng
12 buổi chuyên sâu + Final Production Project.
Đồng hành cùng giảng viên và record
Được hỗ trợ giải đáp trong suốt chương trình, có recording đầy đủ các buổi học để xem lại.
Chứng nhận & Học bổng
Nhận chứng nhận hoàn thành khóa học và cơ hội được hoàn 50% học phí cho Top 3 Final Project xuất sắc nhất.
Lịch học
Thứ 4 & Thứ 6 hàng tuần (20:00 – 22:00) .
Mục tiêu học tập
Đối tượng học tập
Chuẩn đầu ra
Kiến thức & Kỹ năng đạt được:
Kiến thức & Kỹ năng đạt được:
- Thiết kế & vận hành pipeline reliable theo tư duy DataOps.
- Viết pipeline idempotent & reconciliation, an toàn khi chạy lại.
- Vận hành được trên stack DWH (SQL) hoặc Lakehouse (PySpark).
- Áp dụng bảo mật cơ bản: secrets, masking PII, phân quyền.
- Thiết lập CI/CD, monitoring & data quality testing.
- Viết runbook & xử lý sự cố cơ bản.
Sau khóa học, học viên sẽ:
Sau khóa học, học viên sẽ:
- Hiểu tư duy DataOps & vì sao reliability quan trọng (idempotency, reconciliation)
- Viết pipeline an toàn với Airflow & triển khai ổn định
- Vận hành reliable trên 2 stack: SQL Data Warehouse & PySpark Lakehouse
- Biết tối ưu hiệu năng & chi phí ở mức cơ bản
- Áp dụng security cơ bản: secrets, masking PII, phân quyền
- Thiết lập CI/CD, monitoring, data quality & cảnh báo cho pipeline
- Dùng lineage để truy vết sự cố, viết runbook & nắm khái niệm backup/DR
- Hoàn thiện 1 project DataOps để đưa vào CV/Portfolio
Lộ trình học tập
• Vì sao reliability quan trọng - nhất là với dữ liệu tài chính / giao dịch
• Nguyên lý cốt lõi: idempotency, reproducibility, reconciliation.
• Thế nào là pipeline chuẩn trên Production.
• Tổng quan tech stack & lộ trình: Python, SQL, Spark, Airflow, Prometheus/Grafana.
• Các component: Scheduler, Executor, Webserver, Metadata DB, Worker
• Các loại Executor: Local / Celery / Kubernetes - khác nhau ra sao
• Các hướng triển khai: local Docker, Docker Compose, trên Kubernetes (Helm)
• Giới thiệu khái niệm HA & GitOps cho Airflow
• Idempotency & atomicity - vì sao cực kỳ quan trọng
• Scheduling: cron, schedule interval, catchup; backfill an toàn
• Retry, timeout, SLA, alert; dependency giữa Task & giữa DAG
• XCom, Pool, Connection, Variable, Sensor
• Transaction & chạy lại không nhân đôi dữ liệu
• Reconciliation - đối soát số liệu để đảm bảo đúng/đủ
• Quản lý dependency giữa các bước SQL
• Triển khai stack Lakehouse trong DataOps
• PySpark pipeline reliable: atomic & idempotent writes, partition overwrite an toàn
• Table format (Delta/Iceberg): ACID & time travel giúp pipeline an toàn
• Case study: migrate DWH → Data Lake an toàn, minimal-downtime
• Đọc query plan (DWH) & Spark UI (Lakehouse) tìm bottleneck
• Bottleneck phổ biến: data skew, small-files, shuffle
• Partitioning, caching, broadcast join cơ bản
• Tối ưu chi phí cloud
• Xử lý PII: masking, encryption, anonymization
• Phân quyền truy cập dữ liệu (least privilege)
• Governance cho dữ liệu regulated (vd: tài chính, ngân hàng)
• Audit logging cơ bản
- Test cho pipeline: unit test (Python/SQL/Spark) & data test
- CI: tự động lint + test khi có thay đổi code
- CD: tự động deploy pipeline lên môi trường (local / Docker)
- Khái niệm GitOps & rollback (giới thiệu)
• Metric cơ bản & dashboard với Prometheus + Grafana
• Alerting đúng cách - tránh alert fatigue
• Data quality testing với Great Expectations (schema, null, duplicate, business rule)
• Theo dõi data freshness & reconciliation tự động
• Dùng metadata & lineage để truy vết tác động & nguồn gốc lỗi
• Runbook - kịch bản xử lý sự cố lặp lại
• Backup & Disaster Recovery: khái niệm RTO/RPO
• Case study: trợ lý DataOps tự động điều tra sự cố & gợi ý runbook (LLM agent)
Hướng dẫn hoàn thành Final Project:
• Giới thiệu đề bài final project & bối cảnh nghiệp vụ
• Yêu cầu đầu ra bắt buộc & tiêu chí đánh giá
• Gợi ý kiến trúc & lựa chọn stack (DWH vs Lakehouse)
• Trình bày quyết định thiết kế: reliability, security, monitoring
• Review chéo & feedback từ mentor
• Tổng kết & career roadmap: DataOps / Platform Engineer
- Xây dựng pipeline đưa dữ liệu giao dịch (eCommerce/POS hoặc tài chính) thành các bảng phân tích phục vụ báo cáo.
- Pipeline phải idempotent, an toàn khi chạy lại / backfill, có reconciliation đối soát số liệu.
- Có kiểm thử chất lượng dữ liệu, giám sát & cảnh báo khi sự cố.
- Dữ liệu nhạy cảm (PII) được che/giấu & phân quyền.
Kiến trúc tổng quan (chọn 1 trong 2 stack)
- Stack DWH: SQL trên Data Warehouse (Postgres/BigQuery...), hoặc
- Stack Lakehouse: PySpark + table format (Delta/Iceberg) trên object storage.
- Điều phối bằng Apache Airflow.
- CI/CD chạy trên local / Docker.
- Monitoring bằng Prometheus + Grafana; kiểm thử dữ liệu bằng Great Expectations.
- Có runbook xử lý sự cố cơ bản.
- Triển khai bằng Docker Compose.
Giảng viên
Nguyễn Hoàng Quốc Anh - Senior Data Engineer / Senior DataOps tại Techcombank
- Kinh nghiệm sâu về Data / Ops Engineer (Banking & E-Commerce)
- Xây dựng & phát triển data pipeline ở quy mô lớn (batch & streaming)
- Thiết kế, vận hành data platform trên Kubernetes (Docker, Airflow, Terraform)
- Chuyên sâu streaming pipeline xử lý hàng triệu event/ngày, latency thấp
- Tối ưu hạ tầng & pipeline, tiết kiệm đáng kể chi phí vận hành
- Vững về data quality, reconciliation & governance cho dữ liệu tài chính / e-commerce.
Dự án học viên
Feedback học viên
Phạm Thế Vinh
Lead Data Engineer / Data Infrastructure - ★★★★★
"Trước đây, team data của mình liên tục rơi vào cảnh 'chữa cháy' vì pipeline bị gãy đột ngột mà không rõ nguyên nhân, dẫn đến báo cáo gửi sếp bị sai lệch số liệu liên tục. Khóa học Masterclass DataOps Thực Chiến tại Cole thực sự là cứu cánh. Lộ trình hướng dẫn cực kỳ bài bản từ cách thiết lập Data CI/CD, tự động hóa test data với dbt và Great Expectations, đến việc xây dựng hệ thống monitoring lỗi trực quan. Hiện tại, 'data downtime' của công ty mình đã giảm tới 90%, quy trình deploy một model mới mượt mà và an toàn hơn hẳn."
Nguyễn Hoàng Nam
Data Platform Lead tại TechCorp - ★★★★
"Cái khó nhất của việc làm hệ thống data không phải là viết code kéo dữ liệu, mà là làm sao vận hành nó ổn định khi quy mô phình to và schema thay đổi liên tục. Khóa học DataOps Masterclass 2026 đã cung cấp cho mình một bộ khung chuẩn mực về Data Governance và Pipeline Orchestration bằng Airflow. Mentor giảng dạy cực kỳ có tâm, chia sẻ sâu về các case-study thực tế khi xử lý xung đột dữ liệu lớn trên Cloud. Đây là khóa học bắt buộc cho các anh em DE muốn nâng cấp năng lực vận hành hệ thống."
Trần Thu Hương
Analytics Engineer / BI Specialist - ★★★★★
"Là một Analytics Engineer đi lên từ DA, mình từng rất sợ khi nghe dev nói về GitHub Actions, Docker hay kiểm thử dữ liệu tự động. Nhờ cách tiếp cận trực quan, đi từ bài toán thực tế của khóa học DataOps Thực Chiến tại Cole mà mình đã làm chủ được toàn bộ quy trình. Mình tự tay setup được các workflow tự động kiểm tra chất lượng dữ liệu trước khi đẩy lên Warehouse. Khóa học giúp rút ngắn rào cản giữa team Data và team Software Dev, giúp dự án chạy trơn tru hơn nhiều."
Lợi ích chỉ có tại COLE
Giới thiệu việc làm sau khóa học
Học lại free
Cộng đồng chuyển đổi số 1
Câu hỏi thường gặp
Để biết thêm thông tin chi tiết đừng ngần ngại gọi cho chúng tôi.
-
Hotline
-
Email
-
Trang tin chính thức
Hoặc để lại thông tin
COLE - Lựa chọn hàng đầu cho nhân
sự về Digital Skills
5000+
Học viên theo học
30%
Thu nhập học viên tăng lên sau khi học
30+ Khóa học
Hàng đầu về ứng dụng công nghệ
50+
Chuyên gia hàng đầu về chuyển đổi số
300+ Doanh nghiệp hàng đầu lựa chọn Cole để nâng cấp kỹ năng
