Data Pipeline ด้วย Apache Airflow และ dbt

Section 1: สถาปัตยกรรมข้อมูลสมัยใหม่

• ปัญหาที่พบบ่อย: ดึงข้อมูลด้วยมือ ตัวเลขไม่ตรงกัน และไม่รู้ที่มาของข้อมูล

• ความต่างระหว่าง ETL และ ELT และเหตุผลที่ ELT เป็นที่นิยมในยุคคลังข้อมูลสมัยใหม่

• องค์ประกอบของ Data Platform: แหล่งข้อมูล, การนำเข้า, คลังข้อมูล, การแปลง และ BI

• การออกแบบชั้นข้อมูลแบบ Staging, Intermediate และ Mart

Section 2: การติดตั้งและใช้งาน Apache Airflow

• องค์ประกอบของ Airflow: Scheduler, Webserver, Worker, Metadata Database และ Executor

• การติดตั้ง Airflow ด้วย Docker Compose และการใช้งานหน้าเว็บ

• แนวคิด DAG, Task และ Task Instance และการอ่านสถานะงานบนหน้าจอ

• Lab: ติดตั้ง Airflow และรัน DAG ตัวอย่างตัวแรก

Section 3: การเขียน DAG และ Operator

• การเขียน DAG ด้วย Python และการใช้ Decorator แบบใหม่ (TaskFlow API)

• Operator ที่ใช้บ่อย: Python, Bash, SQL และ Sensor สำหรับรอเงื่อนไข

• การส่งค่าระหว่าง Task ด้วย XCom และการใช้ Variable และ Connection อย่างปลอดภัย

• Lab: เขียน DAG ดึงข้อมูลจากไฟล์และ API แล้วบันทึกลงฐานข้อมูล

Section 4: การจัดตารางเวลาและการจัดการงานล้มเหลว

• การตั้งตารางเวลา (Schedule) และแนวคิด Data Interval และ Catchup

• การกำหนดลำดับงาน (Dependency) และการรันงานแบบขนาน

• การลองใหม่อัตโนมัติ (Retry) การแจ้งเตือนเมื่อล้มเหลว และการรันย้อนหลัง (Backfill)

• Lab: ตั้งตารางงานรายวันและทดสอบสถานการณ์งานล้มเหลวและการรันย้อนหลัง

Section 5: การดึงข้อมูลเข้าคลังข้อมูล

• การดึงข้อมูลจากฐานข้อมูลเชิงสัมพันธ์ ไฟล์ CSV และ API

• การนำเข้าแบบเต็ม (Full Load) เทียบกับแบบเพิ่มเฉพาะที่เปลี่ยน (Incremental Load)

• การจัดการข้อมูลที่ล้มเหลวกลางทางและการทำให้รันซ้ำได้ผลเหมือนเดิม (Idempotency)

• Lab: สร้าง DAG ดึงข้อมูลจากหลายแหล่งเข้าสู่ชั้น Raw ในคลังข้อมูล

Section 6: รู้จัก dbt และการสร้าง Model

• dbt คืออะไร และเปลี่ยนการแปลงข้อมูลด้วย SQL ให้เป็นงานที่มีระเบียบอย่างไร

• การตั้งค่าโปรเจกต์ dbt, profiles และการเชื่อมต่อคลังข้อมูล

• การเขียน Model, การใช้ ref และ source และการทำ Materialization แบบ View และ Table

• Lab: สร้าง Model ชั้น Staging จากข้อมูลดิบที่ดึงเข้ามา

Section 7: การทดสอบข้อมูลและเอกสาร

• การเขียน Test มาตรฐาน: not_null, unique, accepted_values และ relationships

• การเขียน Test แบบกำหนดเองด้วย SQL สำหรับกฎทางธุรกิจ

• การสร้างเอกสารอัตโนมัติและการดู Lineage ว่าข้อมูลมาจากไหนและไปที่ใด

• Lab: เพิ่ม Test และเอกสารให้ Model และทดลองให้ Test จับข้อมูลผิด

Section 8: Incremental Model และการจัดโครงสร้าง

• การทำ Incremental Model เพื่อประมวลผลเฉพาะข้อมูลใหม่และลดเวลาประมวลผล

• การจัดโครงสร้างโปรเจกต์เป็นชั้น Staging, Intermediate และ Mart

• การใช้ Macro และ Jinja ลดการเขียน SQL ซ้ำ และการใช้ Seed สำหรับตารางอ้างอิง

• Lab: แปลง Model ให้เป็น Incremental และวัดเวลาที่ประหยัดได้

Section 9: การเชื่อม Airflow เข้ากับ dbt

• รูปแบบการเรียก dbt จาก Airflow และการแยกขั้นตอน run และ test ให้เห็นผลชัดเจน

• การออกแบบ DAG ให้ครบวงจร: ดึงข้อมูล แปลงข้อมูล ทดสอบ และแจ้งผล

• การจัดการ Dependency ระหว่างงานนำเข้าและงานแปลงข้อมูล

• Lab: สร้าง Pipeline ครบวงจรที่ Airflow เรียก dbt ทำงานต่อเนื่องอัตโนมัติ

Section 10: คุณภาพข้อมูลและการเฝ้าระวัง

• การวางจุดตรวจคุณภาพข้อมูลในแต่ละชั้นและการกำหนดว่าเมื่อใดควรหยุด Pipeline

• การแจ้งเตือนเมื่อข้อมูลผิดปกติหรือ Pipeline ล้มเหลว ผ่านอีเมลหรือช่องทางของทีม

• การติดตามความสดของข้อมูล (Freshness) และการสื่อสารกับผู้ใช้รายงาน

• Lab: ตั้งการตรวจคุณภาพและการแจ้งเตือนให้ Pipeline ของตนเอง

Section 11: การนำขึ้นใช้งานจริง

• การแยกสภาพแวดล้อม Dev และ Production และการจัดการ Credential อย่างปลอดภัย

• การเก็บโค้ด Pipeline ใน Git และการตรวจทานผ่าน Pull Request

• แนวทาง CI/CD สำหรับงานข้อมูลและการทดสอบก่อนขึ้น Production

• การวางแผนดูแล Pipeline ระยะยาวและการส่งมอบให้ทีม

Section 12: Capstone และการต่อยอด

• โจทย์: สร้าง Data Pipeline ครบวงจรจากข้อมูลดิบจนถึงตารางที่พร้อมต่อเข้า BI

• การนำเสนอสถาปัตยกรรมที่ออกแบบและเหตุผลของการตัดสินใจ

• การต่อยอดสู่ Data Warehouse บนคลาวด์ และเครื่องมืออื่นในสาย Data Engineering

• Workshop: นำเสนอ Pipeline ที่สร้างและทบทวนร่วมกันกับวิทยากร