Section 5: Producer และการรับประกันการส่ง
- การเขียน Producer และการตั้งค่าที่สำคัญ เช่น acks, retries และ batching
- การรับประกันการส่ง: At most once, At least once และ Exactly once
- Idempotent Producer และการใช้ Transaction เมื่อต้องการความถูกต้องสูง
- Lab: เขียน Producer ส่งข้อมูลและทดสอบพฤติกรรมเมื่อ Broker ไม่ตอบสนอง
Section 6: Consumer และ Consumer Group
- การเขียน Consumer และการทำงานของ Consumer Group ในการแบ่ง Partition
- การจัดการ Offset: การ Commit อัตโนมัติเทียบกับการ Commit เอง และผลต่อข้อมูลซ้ำหรือหาย
- การเกิด Rebalance และผลกระทบ และแนวทางลดปัญหา
- Lab: เพิ่มและลด Consumer ในกลุ่มและสังเกตการกระจาย Partition ใหม่
Section 7: Schema และการจัดการรูปแบบข้อมูล
- รูปแบบข้อมูลที่ใช้บ่อย: JSON และ Avro และข้อดีข้อเสียของแต่ละแบบ
- แนวคิด Schema Registry และการรักษาความเข้ากันได้เมื่อโครงสร้างข้อมูลเปลี่ยน
- แนวปฏิบัติการออกแบบ Event ให้ระบบอื่นนำไปใช้ต่อได้ยาวนาน
- Lab: กำหนด Schema ให้ Event และทดสอบการเปลี่ยนโครงสร้างโดยไม่ทำให้ระบบพัง
Section 8: Kafka Connect เชื่อมระบบภายนอก
- แนวคิด Kafka Connect และความต่างระหว่าง Source Connector และ Sink Connector
- การดึงข้อมูลจากฐานข้อมูลเข้าสู่ Kafka และการส่งข้อมูลออกไปยังปลายทาง
- แนวคิด Change Data Capture สำหรับติดตามการเปลี่ยนแปลงข้อมูลในฐานข้อมูล
- Lab: ตั้งค่า Connector ดึงข้อมูลจากฐานข้อมูลเข้าสู่ Topic โดยไม่ต้องเขียนโค้ด