หลักสูตร Apache Kafka สำหรับระบบ Event-Driven เป็นการอบรมออกแบบระบบ Event-Driven ด้วย Kafka ครอบคลุม Broker และ Partition, Producer, Consumer Group, Schema Registry, Kafka Connect และ Kafka Streams พร้อมลงมือกับ Cluster หลาย Broker เหมาะกับนักพัฒนา Microservices, Data Engineer, สถาปนิกระบบ และ DevOps
ระบบที่เชื่อมต่อกันแบบเรียกตรง (Point-to-Point) จะพันกันยุ่งเหยิงเมื่อมีบริการมากขึ้น และเมื่อระบบปลายทางล่ม ข้อมูลก็หายไปด้วย Apache Kafka แก้ปัญหานี้ด้วยการทำหน้าที่เป็นศูนย์กลางรับส่งเหตุการณ์ (Event) ที่เก็บข้อมูลไว้อย่างทนทาน ให้ผู้ผลิตข้อมูลกับผู้บริโภคข้อมูลแยกกันเป็นอิสระ ระบบปลายทางที่ล่มสามารถกลับมาอ่านข้อมูลต่อจากจุดเดิมได้ และเพิ่มผู้บริโภคใหม่ได้โดยไม่กระทบของเดิม
หลักสูตรนี้พาผู้เรียนใช้ Kafka ตั้งแต่แนวคิดจนถึงระดับใช้งานจริง ครอบคลุมสถาปัตยกรรม Broker และ Partition, การออกแบบ Topic และการเลือก Key ให้ข้อมูลกระจายตัวดี, การเขียน Producer พร้อมเข้าใจการรับประกันการส่งข้อมูล, การทำงานของ Consumer Group และการจัดการ Offset, การจัดการรูปแบบข้อมูลด้วย Schema, การเชื่อมระบบภายนอกด้วย Kafka Connect, การประมวลผลสตรีมด้วย Kafka Streams ไปจนถึงความน่าเชื่อถือ ความปลอดภัย และการเฝ้าระวังในการใช้งานจริง (อบรม 3 วัน วันละ 6 ชั่วโมง รวม 18 ชั่วโมง ระดับ Intermediate)
รายละเอียดหลักสูตร
อบรม 3 วัน วันละ 6 ชั่วโมง รวม 18 ชั่วโมง รูปแบบบรรยายพร้อมปฏิบัติจริงกับ Kafka Cluster แบบหลาย Broker (Hands-on Lab) ระดับ Intermediate ผู้เรียนจะได้ Lab Guide, โค้ด Producer, Consumer และ Kafka Streams ตัวอย่างครบทุก Lab พร้อมไฟล์ Docker Compose สำหรับตั้ง Cluster และ Checklist การนำ Kafka ขึ้น Production กลับไปใช้งานจริง Kafka เป็นโอเพนซอร์สที่นำไปใช้ในองค์กรได้โดยไม่มีค่าลิขสิทธิ์
Section 1: แนวคิด Event-Driven Architecture
Section 2: สถาปัตยกรรมของ Apache Kafka
Section 3: การติดตั้งและใช้งาน Cluster
Section 4: การออกแบบ Topic และ Partition
Section 5: Producer และการรับประกันการส่ง
Section 6: Consumer และ Consumer Group
Section 7: Schema และการจัดการรูปแบบข้อมูล
Section 8: Kafka Connect เชื่อมระบบภายนอก
Section 9: การประมวลผลสตรีมด้วย Kafka Streams
Section 10: ความน่าเชื่อถือและประสิทธิภาพ
Section 11: ความปลอดภัยและการเฝ้าระวัง
Section 12: Capstone และการนำไปใช้จริง
ขณะนี้ยังไม่มีรอบอบรมเปิดรับสมัคร ลงชื่อจองไว้ได้เลย ทีมงานจะติดต่อกลับเป็นกลุ่มแรกเมื่อเปิดรอบถัดไป หรือสอบถามทางไลน์ หรือโทร 02-570-8449 หรือ 088-807-9770
Message Queue ทั่วไปมักลบข้อความทิ้งเมื่อผู้รับประมวลผลแล้ว และหนึ่งข้อความมักไปถึงผู้รับรายเดียว ส่วน Kafka เก็บข้อมูลเป็น Log แบบต่อท้ายตามระยะเวลา Retention ที่กำหนด แต่ละ Consumer Group อ่านตาม Offset ของตัวเอง หลายระบบจึงอ่านข้อมูลชุดเดียวกันได้อย่างอิสระและย้อนอ่านใหม่ได้ เหมาะกับงาน Event Streaming ที่ต้องรองรับปริมาณสูงและกระจายข้อมูลให้หลายระบบ
Topic ถูกแบ่งเป็นหลาย Partition เพื่อให้อ่านเขียนแบบขนานได้ ภายใน Consumer Group เดียวกัน แต่ละ Partition จะถูกอ่านโดย Consumer เพียงตัวเดียว จำนวน Partition จึงเป็นเพดานของจำนวน Consumer ที่ทำงานพร้อมกันในกลุ่ม เมื่อเพิ่มหรือลด Consumer จะเกิด Rebalance เพื่อแบ่ง Partition ใหม่ ข้อความที่มี Key เดียวกันจะไปอยู่ Partition เดียวกัน จึงรักษาลำดับของข้อมูลที่เกี่ยวข้องกันได้
ตั้ง acks=all ให้ Broker ตอบรับเมื่อข้อมูลถูกทำสำเนาครบตาม min.insync.replicas แล้ว เปิด retries ให้ส่งซ้ำอัตโนมัติเมื่อเครือข่ายสะดุด และเปิด enable.idempotence เพื่อป้องกันข้อความซ้ำจากการส่งซ้ำ ถ้าต้องการ Exactly once ข้ามหลาย Topic ให้ใช้ Transaction ร่วมด้วย ฝั่ง Consumer ควร Commit Offset หลังประมวลผลเสร็จ และออกแบบการประมวลผลให้รันซ้ำแล้วผลไม่เปลี่ยน
เหมาะกับนักพัฒนาที่ออกแบบระบบแบบ Microservices Data Engineer ที่ต้องส่งข้อมูลเรียลไทม์ระหว่างระบบ สถาปนิกระบบที่ต้องออกแบบการเชื่อมต่อให้ยืดหยุ่นและทนทาน และผู้ดูแลระบบหรือ DevOps ที่ต้องดูแล Kafka Cluster ควรอ่านและเขียนโค้ดได้อย่างน้อยหนึ่งภาษา ซึ่งตัวอย่างในคลาสใช้ Python เป็นหลัก ใช้ Command Line ได้ และเข้าใจเครือข่ายพื้นฐาน
ติดตั้ง Kafka Cluster หลาย Broker ออกแบบ Topic Partition และ Key ให้เหมาะกับงาน เขียน Producer และ Consumer พร้อมเลือกระดับการรับประกันการส่ง จัดการ Offset และ Rebalance กำหนด Schema ด้วย Schema Registry เชื่อมฐานข้อมูลด้วย Kafka Connect ประมวลผลสตรีมด้วย Kafka Streams และตั้งค่าความน่าเชื่อถือกับความปลอดภัย ผู้ผ่านการอบรมได้รับใบประกาศนียบัตร (Certificate of Completion) ที่มีเลขที่ของตัวเองและตรวจสอบออนไลน์ได้
ได้ หลักสูตรนี้จัดเป็นการอบรมแบบ In-house ให้ทีมในองค์กรได้ และปรับตัวอย่างให้ตรงกับงานของทีม เช่น ออกแบบ Topic และ Event จากระบบงานที่ทีมต้องเชื่อมต่อกันจริง ขอใบเสนอราคาได้จากหน้านี้ หรือติดต่อทาง LINE @itgenius โทร 02-570-8449
หลายองค์กรมีเครื่องมือ BI อย่าง Power BI หรือ Tableau อยู่แล้ว แต่ยังเหนื่อยกับการเตรียมข้อมูล เพราะต้องดึงข้อมูลจากหลายระบบด้วยมือ ทำความสะอาดใน Excel และมักเจอปัญหาตัวเลขไม่ตรงกันระหว่างรายงาน หลักสูตรนี้เติมช่องว่างชั้น Data Engineering…
เมื่อระบบล่มหรือช้า คำถามแรกคือรู้ได้อย่างไรและรู้เร็วแค่ไหน องค์กรจำนวนมากยังรู้ปัญหาจากการที่ลูกค้าโทรมาแจ้ง ไม่ใช่จากระบบเฝ้าระวังของตนเอง Prometheus และ Grafana เป็นชุดเครื่องมือมาตรฐานแบบโอเพนซอร์สที่ทีม DevOps และ SRE ทั่วโลกใช้เก็บ Metric แสดงผลเป็น…
การสร้างและแก้ไขโครงสร้างพื้นฐานด้วยมือผ่านหน้าเว็บคอนโซลทำให้เกิดความไม่สม่ำเสมอ ตรวจสอบย้อนหลังไม่ได้ และสร้างซ้ำในอีกสภาพแวดล้อมได้ยาก Terraform แก้ปัญหานี้ด้วยการเขียนโครงสร้างพื้นฐานเป็นโค้ด (Infrastructure as Code) ที่เก็บใน Git ตรวจทานผ่าน Pull Request…
