Section 11: Lab: วัดผลแอป LLM ขั้นพื้นฐาน
- ทำไมต้องมีชุดทดสอบ ก่อนแก้ Prompt หรือเปลี่ยนโมเดล
- สร้างชุดทดสอบจากตัวอย่างจริง พร้อมคำตอบที่คาดหวัง
- ตรวจอัตโนมัติด้วยกฎ เช่น ตรง Schema, มีคำสำคัญ และค่าตัวเลขถูกต้อง
- LLM-as-a-Judge สำหรับคำตอบแบบข้อความ และข้อจำกัดที่ต้องรู้
- Lab: รันชุดทดสอบใน pytest เพื่อเทียบ Prompt สองเวอร์ชัน
Section 12: คุมต้นทุนและความเร็ว
- วัดต้นทุนต่อคำขอและต่อผู้ใช้จากจำนวน Token จริง
- Prompt Caching และการจัดลำดับ Prompt ให้ใช้ Cache ได้
- Batch API สำหรับงานที่ไม่ต้องได้ผลทันที
- เลือกโมเดลเล็กสำหรับงานง่ายและส่งงานยากไปโมเดลใหญ่
- Lab: ลดต้นทุนของบริการจาก Day 1 แล้ววัดผลก่อนและหลัง
Section 13: Error, Rate Limit และความปลอดภัย
- จัดการ Rate Limit และ Error ชั่วคราวด้วย Retry แบบ Exponential Backoff
- Timeout, Fallback ไปโมเดลสำรอง และข้อความแจ้งผู้ใช้เมื่อระบบขัดข้อง
- Prompt Injection เบื้องต้น และการแยกคำสั่งออกจากข้อมูลผู้ใช้
- ข้อมูลส่วนบุคคลกับ PDPA: ส่งอะไรได้ ปกปิดอะไร และเก็บ Log อย่างไร
- จัดการ API Key ในทีม และการหมุนเวียน Key
Section 14: Lab: Log และ Trace ของแอป LLM
- บันทึก Prompt, คำตอบ, Token, เวลา และต้นทุนของทุกคำขอ
- ตั้ง Trace ให้เห็นขั้นตอนของ Tool Calling และการค้นหา
- ใช้ Log หาคำถามที่ระบบตอบไม่ดีเพื่อเพิ่มเข้าชุดทดสอบ
- เลือกระดับรายละเอียดของ Log ให้สมดุลกับความเป็นส่วนตัว
Section 15: Capstone: แอป LLM ของตัวเอง
- ออกแบบแอป LLM ขนาดเล็กจากโจทย์งานของตนเองหรือโจทย์ตัวอย่าง
- ใช้ Structured Output, Tool Calling และ Semantic Search อย่างน้อยสองอย่าง
- สร้างชุดทดสอบ วัดต้นทุน และจัดการ Error ให้ครบ
- นำเสนอผลงาน รีวิวร่วมกัน และวางเส้นทางต่อยอดสู่ RAG และ AI Agent