Apache Kafka for Event-Driven Systems

รายละเอียดหลักสูตร

อบรม 3 วัน วันละ 6 ชั่วโมง รวม 18 ชั่วโมง รูปแบบบรรยายพร้อมปฏิบัติจริงกับ Kafka Cluster แบบหลาย Broker (Hands-on Lab) ระดับ Intermediate ผู้เรียนจะได้ Lab Guide, โค้ด Producer, Consumer และ Kafka Streams ตัวอย่างครบทุก Lab พร้อมไฟล์ Docker Compose สำหรับตั้ง Cluster และ Checklist การนำ Kafka ขึ้น Production กลับไปใช้งานจริง Kafka เป็นโอเพนซอร์สที่นำไปใช้ในองค์กรได้โดยไม่มีค่าลิขสิทธิ์

Day 1: แนวคิดและสถาปัตยกรรม Kafka

Section 1: แนวคิด Event-Driven Architecture

• ปัญหาของการเชื่อมระบบแบบเรียกตรงเมื่อบริการเพิ่มขึ้นและระบบปลายทางล่ม
• แนวคิด Event, Message Queue และ Event Streaming และความต่างที่สำคัญ
• กรณีใช้งานจริง: การรวมข้อมูลระหว่างระบบ, การประมวลผลเรียลไทม์ และการบันทึกเหตุการณ์
• เมื่อใดควรใช้ Kafka และเมื่อใดการเรียก API ตรงยังเหมาะสมกว่า

Section 2: สถาปัตยกรรมของ Apache Kafka

• องค์ประกอบหลัก: Broker, Topic, Partition, Replica, Leader และ Follower
• แนวคิด Log แบบต่อท้าย (Append-only Log) และ Offset ที่ทำให้ย้อนอ่านข้อมูลได้
• การทำสำเนาข้อมูล (Replication) และการทนต่อความล้มเหลวของ Broker
• การกำหนดระยะเวลาเก็บข้อมูล (Retention) และการบีบอัด Log (Compaction)

Section 3: การติดตั้งและใช้งาน Cluster

• การติดตั้ง Kafka Cluster ด้วย Docker Compose และการตรวจสอบสถานะ Cluster
• เครื่องมือบรรทัดคำสั่งสำหรับสร้าง Topic ส่งข้อความ และอ่านข้อความ
• การใช้ UI ดู Topic, Partition และ Consumer Group
• Lab: ติดตั้ง Cluster สร้าง Topic แรก และส่งและอ่านข้อความจากบรรทัดคำสั่ง

Section 4: การออกแบบ Topic และ Partition

• หลักการตั้งชื่อ Topic และการกำหนดจำนวน Partition ให้เหมาะกับปริมาณงาน
• การเลือก Key เพื่อกระจายข้อมูลและรักษาลำดับของข้อมูลที่เกี่ยวข้องกัน
• ผลของจำนวน Partition ต่อความเร็ว ความขนาน และการเพิ่ม Consumer ในอนาคต
• Lab: ออกแบบและสร้าง Topic สำหรับโจทย์ธุรกิจพร้อมทดสอบการกระจายข้อมูล

Day 2: Producer Consumer และการเชื่อมระบบ

Section 5: Producer และการรับประกันการส่ง

• การเขียน Producer และการตั้งค่าที่สำคัญ เช่น acks, retries และ batching
• การรับประกันการส่ง: At most once, At least once และ Exactly once
• Idempotent Producer และการใช้ Transaction เมื่อต้องการความถูกต้องสูง
• Lab: เขียน Producer ส่งข้อมูลและทดสอบพฤติกรรมเมื่อ Broker ไม่ตอบสนอง

Section 6: Consumer และ Consumer Group

• การเขียน Consumer และการทำงานของ Consumer Group ในการแบ่ง Partition
• การจัดการ Offset: การ Commit อัตโนมัติเทียบกับการ Commit เอง และผลต่อข้อมูลซ้ำหรือหาย
• การเกิด Rebalance และผลกระทบ และแนวทางลดปัญหา
• Lab: เพิ่มและลด Consumer ในกลุ่มและสังเกตการกระจาย Partition ใหม่

Section 7: Schema และการจัดการรูปแบบข้อมูล

• รูปแบบข้อมูลที่ใช้บ่อย: JSON และ Avro และข้อดีข้อเสียของแต่ละแบบ
• แนวคิด Schema Registry และการรักษาความเข้ากันได้เมื่อโครงสร้างข้อมูลเปลี่ยน
• แนวปฏิบัติการออกแบบ Event ให้ระบบอื่นนำไปใช้ต่อได้ยาวนาน
• Lab: กำหนด Schema ให้ Event และทดสอบการเปลี่ยนโครงสร้างโดยไม่ทำให้ระบบพัง

Section 8: Kafka Connect เชื่อมระบบภายนอก

• แนวคิด Kafka Connect และความต่างระหว่าง Source Connector และ Sink Connector
• การดึงข้อมูลจากฐานข้อมูลเข้าสู่ Kafka และการส่งข้อมูลออกไปยังปลายทาง
• แนวคิด Change Data Capture สำหรับติดตามการเปลี่ยนแปลงข้อมูลในฐานข้อมูล
• Lab: ตั้งค่า Connector ดึงข้อมูลจากฐานข้อมูลเข้าสู่ Topic โดยไม่ต้องเขียนโค้ด

Day 3: Streams ความน่าเชื่อถือ และ Production

Section 9: การประมวลผลสตรีมด้วย Kafka Streams

• แนวคิดการประมวลผลข้อมูลระหว่างทาง: กรอง แปลง และรวมข้อมูลแบบเรียลไทม์
• การรวมข้อมูลตามช่วงเวลา (Windowing) และการนับหรือสรุปค่าแบบต่อเนื่อง
• ความต่างระหว่าง Stream และ Table และการเชื่อมข้อมูลสองสตรีมเข้าด้วยกัน
• Lab: สร้างงานประมวลผลสตรีมที่สรุปข้อมูลแบบเรียลไทม์จาก Topic

Section 10: ความน่าเชื่อถือและประสิทธิภาพ

• การตั้งค่า Replication และ Minimum In-Sync Replica เพื่อไม่ให้ข้อมูลหาย
• การจัดการเมื่อ Broker ล่มและการกู้คืน และการทดสอบสถานการณ์จริง
• การปรับแต่งประสิทธิภาพฝั่ง Producer และ Consumer และการจัดการ Consumer Lag
• Lab: จำลอง Broker ล่มและสังเกตว่าระบบยังทำงานต่อได้อย่างไร

Section 11: ความปลอดภัยและการเฝ้าระวัง

• การเข้ารหัสการเชื่อมต่อและการยืนยันตัวตนของ Client
• การกำหนดสิทธิ์การเข้าถึง Topic ตามหลัก Least Privilege
• การเฝ้าระวัง Cluster: Consumer Lag, สถานะ Broker และ Metric สำคัญที่ต้องดู
• การวางแผนดูแล Cluster และการอัปเกรดโดยไม่ให้บริการหยุด

Section 12: Capstone และการนำไปใช้จริง

• โจทย์: ออกแบบและสร้างระบบ Event-Driven สำหรับกระบวนการธุรกิจหนึ่งตั้งแต่ต้นจนจบ
• การนำเสนอสถาปัตยกรรม Topic และเหตุผลของการออกแบบ
• แนวทางการนำ Kafka ไปใช้จริงในองค์กรและการเริ่มจากระบบเล็กก่อนขยาย
• Workshop: นำเสนอระบบที่สร้างและทบทวนการออกแบบร่วมกัน