DevOps · DOP-06

LLMOps: Evaluation, Observability and CI/CD

หลักสูตร LLMOps: Evaluation, Observability and CI/CD เป็นการอบรมการนำแอป RAG และ Chatbot ขึ้น Production อย่างมีระบบ ทั้ง Tracing ด้วย Langfuse จัดการ Prompt แบบมีเวอร์ชัน วัดผลด้วย Ragas และ promptfoo ตั้งด่านตรวจใน CI/CD และคุมต้นทุน เหมาะกับ AI Engineer, DevOps และ Tech Lead ที่ดูแลแอป LLM

อัปเดตล่าสุด 1 ต.ค. 2569

ราคาเริ่มต้น 8,010 บาท / ท่าน 8,900 −10% ยังไม่รวม VAT 7% · มีราคาหมู่คณะ

ขอใบเสนอราคาอบรมองค์กร ลงชื่อจองไว้

PDFดาวน์โหลด Course Outline

ระยะเวลา12 ชั่วโมง · 2 วัน
รูปแบบออนไซต์ / ออนไลน์สด
รอบถัดไปเปิดตามคำขอ
ใบรับรองมี Certificate

ภาพรวมหลักสูตร

การสร้าง Chatbot หรือระบบ RAG ให้ตอบได้ดีในเครื่องของนักพัฒนาใช้เวลาไม่นาน แต่การดูแลให้ระบบตอบได้ดีอย่างสม่ำเสมอใน Production เป็นอีกเรื่องหนึ่ง แก้ Prompt นิดเดียวคำตอบบางกลุ่มก็แย่ลงโดยไม่มีใครรู้ เปลี่ยนรุ่นโมเดลแล้วค่าใช้จ่ายเพิ่มขึ้นหลายเท่า ผู้ใช้แจ้งว่าคำตอบผิดแต่ทีมหาไม่เจอว่าเกิดจากขั้นไหน เพราะแอป LLM ให้ผลไม่ตายตัว วิธีทดสอบและ Deploy แบบซอฟต์แวร์ทั่วไปจึงไม่พอ

หลักสูตรนี้ต่อยอดจากหลักสูตร RAG และ AI Chatbot โดยพาผู้เรียนนำแอป RAG ขึ้น Production อย่างมีระบบ เริ่มจากติดตั้ง Langfuse เพื่อทำ Tracing ทุกขั้นของแอป จัดการ Prompt แบบมีเวอร์ชัน สร้าง Dataset สำหรับวัดผลจากข้อมูลจริง ประเมินคุณภาพของ RAG ด้วย Ragas และทดสอบพฤติกรรมด้วย promptfoo จากนั้นนำการวัดผลไปเป็นด่านตรวจใน GitHub Actions Deploy ด้วย Docker ผ่าน LLM Gateway เฝ้าระวังคุณภาพ ความเร็ว และค่าใช้จ่ายหลังขึ้นระบบ และปิดท้ายด้วย Capstone ที่สร้าง Pipeline ครบตั้งแต่แก้ Prompt จนถึงเฝ้าระวังใน Production (อบรม 2 วัน วันละ 6 ชั่วโมง รวม 12 ชั่วโมง ระดับ Intermediate)

สิ่งที่คุณจะได้รับ

อธิบายวงจร LLMOps และความต่างจาก MLOps และ DevOps แบบเดิม
ติดตั้ง Langfuse และทำ Tracing ให้แอป RAG เห็นทุกขั้นตั้งแต่ Retrieval ถึงคำตอบ
จัดการ Prompt แบบมีเวอร์ชัน แยก Production กับ Staging และย้อนกลับได้
สร้าง Dataset สำหรับวัดผลจาก Trace จริงและข้อมูลสังเคราะห์
ประเมินคุณภาพ RAG ด้วย Ragas และทดสอบพฤติกรรมของแอปด้วย promptfoo
ตั้ง Evaluation Gate ใน CI/CD ไม่ให้การเปลี่ยนแปลงที่ทำให้คุณภาพตกขึ้น Production
Deploy แอป LLM ด้วย Docker และ LLM Gateway พร้อม Fallback และ Rate Limit
เฝ้าระวังคุณภาพ Latency และค่าใช้จ่ายหลังขึ้นระบบ และวางมาตรการ Guardrails

หลักสูตรนี้เหมาะสำหรับ

AI Engineer และนักพัฒนาที่สร้าง Chatbot หรือระบบ RAG แล้วต้องการนำขึ้น Production
DevOps และ Platform Engineer ที่ต้องดูแลแอป LLM ร่วมกับทีมพัฒนา
ML Engineer ที่ต้องการขยายจาก MLOps มาสู่งาน LLM
Tech Lead ที่ต้องวางมาตรฐานการทดสอบและ Deploy แอป AI ของทีม
ผู้ที่ผ่านหลักสูตร RAG & Knowledge Base หรือหลักสูตร AI Chatbot มาแล้ว

พื้นฐานของผู้เข้าอบรม

เขียน Python ได้ และเคยสร้างแอป LLM หรือระบบ RAG มาก่อน หรือผ่านหลักสูตร RAG & Knowledge Base
ใช้ Git, GitHub และ Docker ขั้นพื้นฐานได้
เข้าใจแนวคิด CI/CD เบื้องต้น
เตรียม LLM API Key ที่มีเครดิต และบัญชี GitHub ของตนเอง พร้อมโน้ตบุ๊กที่ติดตั้ง Docker Desktop ได้

หัวข้อการฝึกอบรม

รายละเอียดหลักสูตร

อบรม 2 วัน วันละ 6 ชั่วโมง รวม 12 ชั่วโมง (09:00-16:00 น.) รูปแบบบรรยายสลับ Lab บนแอป RAG ตัวอย่างชุดเดียวตลอดหลักสูตร ระดับ Intermediate หลักสูตรนี้ต่อยอดจากหลักสูตร RAG & Knowledge Base และหลักสูตร AI Chatbot โดยไม่สอนการสร้าง RAG ตั้งแต่ต้น แต่เน้นการนำแอปขึ้น Production อย่างมีระบบ ทั้ง Tracing, Prompt Versioning, Evaluation, CI/CD, Monitoring และการคุมต้นทุน

จึงเข้าคู่กับหลักสูตรสาย DevOps ได้ดี ทุก Lab รันบนเครื่องของผู้เรียนด้วย Docker ผู้เรียนเตรียม LLM API Key ที่มีเครดิตและบัญชี GitHub ของตนเองหรือของบริษัท ค่าใช้ API และนาทีของ GitHub Actions เป็นไปตามการใช้งานจริง ผู้เรียนจะได้ Lab Guide แอป RAG ตัวอย่าง ไฟล์ docker-compose ของ Langfuse และ LiteLLM ชุด Eval และ Workflow ของ GitHub Actions กลับไปใช้งานต่อ

Day 1 Tracing, Prompt Versioning และ Evaluation

Section 1: LLMOps ต่างจาก MLOps และ DevOps อย่างไร

ปัญหาเฉพาะของแอป LLM: ผลไม่ตายตัว คุณภาพวัดยาก และค่าใช้จ่ายผันตามการใช้งาน
วงจร LLMOps: พัฒนา วัดผล Deploy เฝ้าระวัง และนำข้อมูลจริงกลับมาปรับปรุง
สิ่งที่ต้องวัด: คุณภาพคำตอบ ความถูกต้องตามแหล่งข้อมูล Latency ค่าใช้จ่าย และความปลอดภัย
Lab: ติดตั้งแอป RAG ตัวอย่างและลองหาว่าคำตอบผิดเกิดจากขั้นไหนโดยไม่มีเครื่องมือ

Section 2: Lab: Tracing ด้วย Langfuse

ติดตั้ง Langfuse แบบ Self-host ด้วย Docker Compose
ใส่ Tracing ให้แอป RAG ด้วย Python SDK ให้เห็น Retrieval, Prompt และการเรียกโมเดล
Trace, Span, Session, Token และค่าใช้จ่ายต่อคำขอ ตามแนวคิด OpenTelemetry สำหรับ GenAI
Lab: ไล่ Trace ของคำตอบที่ผิดจนพบว่าปัญหาอยู่ที่ Retrieval

Section 3: Lab: Prompt Management และ Versioning

เก็บ Prompt ใน Git เทียบกับเก็บใน Prompt Management ของ Langfuse
กำหนดเวอร์ชันและ Label อย่าง Production กับ Staging พร้อมค่า Config ของโมเดล
ผูก Trace กับเวอร์ชันของ Prompt เพื่อเทียบผลก่อนและหลังแก้
Lab: ปล่อย Prompt เวอร์ชันใหม่แล้วย้อนกลับเมื่อพบปัญหา

Section 4: Lab: สร้าง Dataset สำหรับวัดผล

Golden Dataset คืออะไร และควรมีคำถามแบบไหนบ้าง
คัด Trace จริงที่มีปัญหาหรือได้ Feedback ไม่ดีเข้ามาเป็นกรณีทดสอบ
สร้างชุดคำถามสังเคราะห์จากเอกสารด้วย Ragas แล้วให้คนตรวจทาน
Lab: สร้าง Dataset 50 ข้อจากเอกสารและ Trace ของแอปตัวอย่าง

Section 5: Lab: ประเมิน RAG ด้วย Ragas

Metric หลักของ RAG: Faithfulness, ความเกี่ยวข้องของคำตอบ, Context Precision และ Context Recall
LLM-as-a-Judge ทำงานอย่างไร และจุดอ่อนที่ต้องระวัง
แยกปัญหาว่าอยู่ที่ Retrieval หรือ Generation จากคะแนนแต่ละด้าน
Lab: วัดผลแอป RAG ก่อนและหลังปรับ Chunking แล้วสรุปว่าดีขึ้นจริงหรือไม่

Section 6: Lab: ทดสอบพฤติกรรมด้วย promptfoo

เขียน Test Case แบบ Assertion: ต้องมีคำสำคัญ รูปแบบ JSON ถูก และไม่หลุดหัวข้อ
เทียบหลาย Prompt และหลายโมเดลในตารางเดียว
ใช้ Assertion แบบ LLM-graded สำหรับเกณฑ์ที่วัดด้วยกฎไม่ได้
Lab: เลือกโมเดลที่คุ้มที่สุดจากคุณภาพ ความเร็ว และค่าใช้จ่าย

Day 2 CI/CD, Production และการคุมต้นทุน

Section 7: Lab: Evaluation Gate ใน GitHub Actions

รันชุด Eval อัตโนมัติทุกครั้งที่เปิด Pull Request ที่แก้ Prompt หรือโค้ด
กำหนดเกณฑ์ผ่าน และจัดการผลที่แกว่งจากความไม่ตายตัวของโมเดล
แสดงผลเทียบกับรอบก่อนเป็นความเห็นใน Pull Request
Lab: Pipeline ที่บล็อกการ Merge เมื่อคะแนน Faithfulness ต่ำกว่าเกณฑ์

Section 8: Lab: Deploy ด้วย Docker และ LLM Gateway

Containerize แอป RAG และจัดการ Config กับ Secret อย่างปลอดภัย
ใช้ LiteLLM เป็น Gateway กลาง สลับโมเดลได้โดยไม่แก้โค้ด
ตั้ง Fallback, Retry, Timeout และ Rate Limit ต่อทีมหรือต่อแอป
Lab: Deploy แอปผ่าน Gateway แล้วจำลองโมเดลหลักล่มเพื่อทดสอบ Fallback

Section 9: Lab: Online Evaluation และ Monitoring

สุ่ม Trace จาก Production มาให้ LLM-as-a-Judge ให้คะแนนต่อเนื่อง
Dashboard ของคุณภาพ Latency อัตรา Error และค่าใช้จ่าย
ตั้งการแจ้งเตือนเมื่อคะแนนตก หรือ Latency และค่าใช้จ่ายสูงผิดปกติ
Lab: ปิดวงจรจาก Feedback ไม่ดีใน Production สู่กรณีทดสอบใหม่ใน CI

Section 10: Lab: คุมต้นทุนและ Latency

ติดตาม Token และค่าใช้จ่ายแยกตามผู้ใช้ ฟีเจอร์ และเวอร์ชันของ Prompt
Prompt Caching ของผู้ให้บริการ และ Semantic Cache สำหรับคำถามซ้ำ
Model Routing: ส่งงานง่ายให้โมเดลเล็ก งานยากให้โมเดลใหญ่
Lab: ลดค่าใช้จ่ายต่อคำถามแล้ววัดผลยืนยันว่าคุณภาพไม่ลดลง

Section 11: Guardrails, Safety และ Governance

ปิดบังข้อมูลส่วนบุคคลใน Trace และกำหนดระยะเวลาเก็บข้อมูลตาม PDPA
Guardrails ฝั่ง Input และ Output และการวัดผลกระทบต่อ Latency
แผนรับมือเหตุการณ์เมื่อแอป LLM ตอบผิดหรือทำข้อมูลรั่ว
Workshop: เขียน Release Checklist ของแอป LLM สำหรับทีม

Section 12: Workshop: Capstone LLMOps Pipeline

รับโจทย์ปรับปรุงแอป RAG ที่มีปัญหาคุณภาพและค่าใช้จ่ายสูง
วิเคราะห์ด้วย Trace สร้าง Dataset และตั้งเกณฑ์วัดผล
แก้ Prompt หรือ Retrieval ผ่าน Pull Request ที่ต้องผ่าน Evaluation Gate
Deploy ผ่าน Gateway เปิด Monitoring และพิสูจน์ผลด้วยตัวเลข

รอบอบรมและรูปแบบการอบรม

สำหรับบุคคล — รอบอบรมทั่วไป

ขณะนี้ยังไม่มีรอบอบรมเปิดรับสมัคร ลงชื่อจองไว้ได้เลย ทีมงานจะติดต่อกลับเป็นกลุ่มแรกเมื่อเปิดรอบถัดไป หรือสอบถามทางไลน์ หรือโทร 02-570-8449 หรือ 088-807-9770

ลงชื่อจองไว้ สอบถามรอบอบรม

สำหรับองค์กร — In-house / Private Training

ปรับเนื้อหาให้ตรงกับเครื่องมือและงานจริงของทีม
เลือกวันเอง อบรมที่บริษัทหรือออนไลน์สด
ออกใบเสนอราคาในนามนิติบุคคลให้ฝ่ายจัดซื้อ

ขอใบเสนอราคาอบรมองค์กร

วิทยากรผู้สอน

สามิตร โกยมCEO ที่สถาบันไอทีจีเนียส

คำถามที่พบบ่อย

หลักสูตร LLMOps: Evaluation, Observability and CI/CD เหมาะกับใคร ต้องมีพื้นฐานอะไรมาก่อน

เหมาะกับ AI Engineer และนักพัฒนาที่สร้าง Chatbot หรือระบบ RAG แล้วต้องการนำขึ้น Production · DevOps และ Platform Engineer ที่ต้องดูแลแอป LLM ร่วมกับทีมพัฒนา · ML Engineer ที่ต้องการขยายจาก MLOps มาสู่งาน LLM พื้นฐานที่ผู้เรียนควรมี เขียน Python ได้ และเคยสร้างแอป LLM หรือระบบ RAG มาก่อน หรือผ่านหลักสูตร RAG & Knowledge Base · ใช้ Git, GitHub และ Docker ขั้นพื้นฐานได้ หากไม่แน่ใจว่าพื้นฐานพอหรือไม่ ปรึกษาทีมงานได้ฟรีทาง LINE @itgenius หรือโทร 02-570-8449

หลักสูตร LLMOps: Evaluation, Observability and CI/CD ราคาเท่าไร ใช้เวลาเรียนกี่ชั่วโมง

ราคาปกติ 8,900 บาท (โปรโมชันปัจจุบันเหลือ 8,010 บาท) ใช้เวลาอบรม 12 ชั่วโมง ราคานี้ยังไม่รวม VAT 7% (กรณีชำระในนามนิติบุคคล) ชำระค่าอบรมด้วยการโอนเข้าบัญชีบริษัท แล้วแจ้งชำระเงินผ่านหน้าแจ้งชำระเงินของเว็บไซต์ และขอใบเสร็จรับเงินหรือใบกำกับภาษีในนามบริษัทได้

เรียนจบได้รับ Certificate หรือไม่

ได้รับ ผู้ผ่านการอบรมทุกท่านจะได้รับใบประกาศนียบัตร (Certificate of Completion) จากสถาบันไอทีจีเนียส ใบประกาศแต่ละใบมีเลขที่ของตัวเอง ใครก็ตามที่มีเลขที่ใบประกาศตรวจสอบความถูกต้องออนไลน์ได้ที่หน้าตรวจสอบใบประกาศของสถาบัน จึงใช้แนบแฟ้มผลงานหรือส่งให้ฝ่ายบุคคลประกอบการพัฒนาบุคลากรได้

อบรมที่ไหน มีเรียนแบบออนไลน์หรือไม่

เรียนได้ทั้งแบบออนไซต์ที่สถาบันไอทีจีเนียส และนัดเรียนผ่านออนไลน์ และรับจัดอบรมเฉพาะทีม (In-house Training) ให้องค์กร สอบถามรอบและสถานที่ได้ที่ LINE @itgenius หรือโทร 02-570-8449

ถ้าเรียนไม่ทันหรือขาดเรียน มีเรียนซ้ำ/เรียนชดเชยหรือไม่

มี ผู้เรียนสามารถแจ้งขอเรียนซ้ำ (repeat) ในรอบถัดไปของหลักสูตรเดียวกันได้ฟรีตามเงื่อนไขของสถาบัน แจ้งชื่อหลักสูตรและรอบที่เคยเรียนกับทีมงาน แล้วทีมงานจะตรวจสอบและแจ้งรอบที่ยังมีที่นั่งว่างให้เลือก สอบถามได้ที่ LINE @itgenius หรือโทร 02-570-8449

สมัครเรียนหรือขอใบเสนอราคาในนามบริษัทได้อย่างไร

สมัครออนไลน์ได้จากแบบฟอร์มลงทะเบียนบนหน้านี้ ลงทะเบียนผู้เข้าอบรมหลายคนได้ในครั้งเดียว และกรอกเลขประจำตัวผู้เสียภาษีกับที่อยู่สำหรับออกใบกำกับภาษีได้ในฟอร์ม หรือขอใบเสนอราคา (Quotation) ในนามนิติบุคคลได้ทันทีจากปุ่มขอใบเสนอราคา สอบถามเพิ่มเติมโทร 02-570-8449 หรือ LINE @itgenius