Data Engineering Bootcamp

Section 1: บทบาท Data Engineer และสถาปัตยกรรม Data Platform

• ความต่างของ Data Engineer, Data Analyst และ Data Scientist
• เปรียบเทียบ Data Warehouse, Data Lake และ Lakehouse
• ETL กับ ELT และ Medallion Architecture (Bronze, Silver, Gold)
• Batch กับ Streaming ควรเลือกใช้เมื่อใด

Section 2: Lab: ติดตั้ง Data Stack ด้วย Docker Compose

• โครงสร้าง docker-compose.yml ของ Data Stack หลาย Service
• Volume, Network และ Environment Variable
• ตรวจสถานะ Service และอ่าน Log เมื่อเกิดปัญหา
• จัดสรร RAM และ CPU ให้เหมาะกับเครื่องผู้เรียน
• Lab: เปิด Data Stack ของ MetroMart และตรวจว่าทุก Service พร้อมใช้งาน

Section 3: Lab: SQL สำหรับงานวิเคราะห์ข้อมูล

• ทบทวน JOIN, GROUP BY และ Subquery
• Common Table Expression (CTE) และ Window Function เช่น ROW_NUMBER, LAG และ SUM OVER
• อ่าน Execution Plan และ Index เบื้องต้น
• Lab: วิเคราะห์ยอดขายสะสมและอันดับสินค้าของ MetroMart

Section 4: Dimensional Modeling (Star Schema)

• Fact Table กับ Dimension Table และการกำหนด Grain
• Surrogate Key และ Natural Key
• Slowly Changing Dimension (SCD Type 1 และ Type 2)
• ออกแบบ Date Dimension

Section 5: Workshop Day 1: Star Schema ของ MetroMart

• โหลดข้อมูลจำลองของ MetroMart เข้า PostgreSQL
• ออกแบบ fact_sales, dim_product, dim_customer, dim_store และ dim_date
• กำหนด Grain และ Key ของแต่ละตารางพร้อมเหตุผล
• Workshop: เขียน SQL วิเคราะห์ยอดขายตามสาขา หมวดสินค้า และช่วงเวลา

Section 6: Batch Ingestion ด้วย Python

• รูปแบบไฟล์ CSV, JSON และ Parquet ข้อดีและข้อจำกัด
• Full Load กับ Incremental Load และการใช้ Watermark
• ออกแบบ Pipeline ให้ Idempotent รันซ้ำแล้วผลไม่เพี้ยน
• Lab: ดึงข้อมูลสินค้าและลูกค้าจาก PostgreSQL แบบ Incremental

Section 7: Lab: Polars และ DuckDB

• Polars DataFrame, Lazy API และ Expression
• DuckDB Query ไฟล์ Parquet และ CSV ได้โดยตรงด้วย SQL
• เปรียบเทียบกับ pandas และเลือกเครื่องมือให้เหมาะกับขนาดข้อมูล
• Lab: แปลงไฟล์ CSV ของสาขาเป็น Parquet ด้วย Polars แล้วตรวจด้วย DuckDB

Section 8: Event Streaming ด้วย Apache Kafka

• Topic, Partition, Offset, Producer, Consumer และ Consumer Group
• Kafka 4 ทำงานด้วย KRaft โดยไม่ต้องใช้ ZooKeeper
• Delivery Semantics: At-most-once, At-least-once และ Exactly-once
• Lab: สร้าง Topic และดู Partition กับ Offset ด้วยเครื่องมือ Command Line

Section 9: Change Data Capture (CDC)

• หลักการ CDC จาก Transaction Log ของฐานข้อมูล
• Kafka Connect และ Debezium กับ PostgreSQL (สาธิต)
• จัดการ Schema ของ Event และ Schema Evolution
• เมื่อใดควรใช้ CDC แทนการดึงข้อมูลแบบ Batch

Section 10: Workshop Day 2: Ingestion ของ MetroMart

• Batch Pipeline ดึงข้อมูลจาก PostgreSQL และไฟล์ CSV ของสาขาเป็น Parquet
• Producer ด้วย Python จำลองเหตุการณ์คำสั่งซื้อส่งเข้า Kafka Topic
• Consumer ที่บันทึกข้อมูลลงพื้นที่จัดเก็บข้อมูลดิบ
• Workshop: รัน Pipeline ซ้ำและหยุด Consumer กลางคัน แล้วตรวจว่าข้อมูลไม่ซ้ำและไม่หาย

Section 11: Object Storage และ Lakehouse

• S3-compatible Object Storage การจัดการ Bucket และสิทธิ์
• ปัญหาของ Data Lake แบบไฟล์ล้วน และเหตุผลที่ต้องมี Table Format
• เปรียบเทียบ Apache Iceberg, Delta Lake และ Apache Hudi
• Lab: สร้าง Bucket และสิทธิ์สำหรับ Bronze, Silver และ Gold

Section 12: Lab: Apache Iceberg เชิงลึก

• โครงสร้าง Metadata, Manifest และ Snapshot
• REST Catalog และการเชื่อมต่อจากหลาย Engine
• Schema Evolution, Partition Evolution และ Hidden Partitioning
• Time Travel และการ Rollback ข้อมูล
• Lab: เพิ่มคอลัมน์และย้อนดูข้อมูลก่อนแก้ไขด้วย Time Travel

Section 13: Lab: Apache Spark และ PySpark

• สถาปัตยกรรม Spark: Driver, Executor, Job, Stage และ Task
• DataFrame API และ Spark SQL
• Transformation กับ Action และ Lazy Evaluation
• อ่านเขียนตาราง Iceberg ด้วย Spark 4
• Lab: อ่าน Spark UI เพื่อดู Stage และ Shuffle ของงานจริง

Section 14: ออกแบบ Bronze และ Silver Layer

• ทำความสะอาดข้อมูล จัดการค่า Null และข้อมูลซ้ำ
• Merge และ Upsert ข้อมูลด้วย MERGE INTO
• จัดการไฟล์ขนาดเล็ก (Compaction) และบำรุงรักษาตาราง
• Lab: Compaction และลบ Snapshot เก่าของตาราง Iceberg

Section 15: Workshop Day 3: Lakehouse ของ MetroMart

• นำข้อมูลดิบจาก Day 2 จัดเก็บเป็นตาราง Iceberg ใน Bronze Layer
• เขียนงาน PySpark ทำความสะอาดและลบข้อมูลซ้ำ
• Upsert เข้าสู่ Silver Layer ด้วย MERGE INTO
• Workshop: ทดลอง Schema Evolution และ Time Travel บนข้อมูลคำสั่งซื้อ

Section 16: dbt Core พื้นฐาน

• โครงสร้าง dbt Project, Profile และ Adapter
• Model, Source, ref และ Dependency Graph
• Materialization: View, Table, Incremental และ Ephemeral
• Lab: สร้าง Staging Model จาก Silver Layer

Section 17: Lab: dbt สำหรับงานระดับองค์กร

• แบ่งชั้น Model เป็น Staging, Intermediate และ Mart
• Jinja, Macro และ Package
• Snapshot สำหรับ SCD Type 2
• dbt Docs และ Lineage Graph
• Lab: สร้าง fact_sales และ Dimension พร้อม Snapshot ของลูกค้า

Section 18: Apache Airflow 3 พื้นฐาน

• สถาปัตยกรรม Airflow 3: Scheduler, API Server, DAG Processor, Triggerer และ Worker
• เขียน DAG และ Task ด้วย TaskFlow API
• Assets และการตั้งเวลาแบบ Data-aware
• ติดตามผลการรันผ่าน UI ของ Airflow 3

Section 19: Orchestration ระดับใช้งานจริง

• Retry, Timeout, Callback และ Deadline Alerts สำหรับแจ้งเตือนงานที่ล่าช้า
• ส่งค่าระหว่าง Task และจัดการ Connection กับ Variable อย่างปลอดภัย
• เรียกงาน Spark และ dbt จาก Airflow
• Backfill และการรันซ้ำย้อนหลัง

Section 20: Workshop Day 4: Pipeline อัตโนมัติ

• เขียน DAG ที่รัน Ingestion, งาน PySpark และ dbt ตามลำดับ Dependency
• ตั้ง Retry และการแจ้งเตือนเมื่อ Task ล้มเหลว
• ใช้ Assets ให้ Gold Layer รันต่อเมื่อ Silver Layer อัปเดต
• Workshop: ทำให้ Task ล้มเหลวโดยตั้งใจ แก้ไข แล้วรันซ้ำเฉพาะส่วนที่พลาด

Section 21: Lab: Data Quality และ Data Contract

• มิติคุณภาพข้อมูล: Completeness, Accuracy, Freshness และ Uniqueness
• dbt Tests แบบ Generic และ Singular และ Source Freshness
• Data Contract ระหว่างทีมผู้ผลิตและผู้ใช้ข้อมูล
• Lab: วาง Quality Gate ให้ Pipeline หยุดเมื่อข้อมูลผิดปกติ

Section 22: Observability และการดูแล Pipeline

• ติดตาม Log, Metric และระยะเวลาการรัน
• ออกแบบการแจ้งเตือนให้ทีมรู้ปัญหาได้รวดเร็วโดยไม่แจ้งถี่เกินไป
• แนวทาง Incident Response สำหรับ Data Pipeline
• Runbook สำหรับเหตุการณ์ที่พบบ่อย เช่น ข้อมูลมาล่าช้าหรือ Schema เปลี่ยน

Section 23: Lab: Serving Layer สำหรับ BI และ AI

• ออกแบบ Mart ให้เหมาะกับ Dashboard
• เชื่อมต่อ Metabase หรือ Apache Superset และแนวทางเชื่อม Power BI
• เตรียมข้อมูลให้ทีม AI นำไปใช้ต่อ เช่น Feature Table
• Lab: Dashboard ยอดขายรายวันแยกตามสาขาและหมวดสินค้า

Section 24: แนวทางนำไปใช้ในองค์กร

• Data Governance เบื้องต้น การกำหนดเจ้าของข้อมูลและสิทธิ์การเข้าถึง
• การย้าย Stack ขึ้น Cloud หรือ Kubernetes
• Stream Processing ขั้นสูงอย่าง Apache Flink และ Kafka Streams (ภาพรวม)
• วางแผนพัฒนาทีม Data Engineering

Section 25: Master Workshop: MetroMart Data Platform

• รวม Batch และ Streaming Ingestion, Lakehouse บน Iceberg, PySpark, dbt และ Airflow เป็น Pipeline เดียว
• เพิ่ม Data Quality Gate และการแจ้งเตือน
• ทดสอบสถานการณ์ข้อมูลผิดรูปแบบและข้อมูลมาล่าช้า
• สรุปผลบน Dashboard และนำเสนอสถาปัตยกรรมของทีม