Section 6: Context Engineering และการลด Hallucination
- Context Engineering คืออะไร และต่างจากการเขียน Prompt อย่างไร
- การ Grounding ด้วยข้อมูลจริงและแนวคิด RAG-aware Prompting เบื้องต้น
- เทคนิคบังคับให้ AI อ้างอิงแหล่งข้อมูลและตอบ ไม่ทราบ เมื่อข้อมูลไม่พอ และการจัดการเอกสารยาวเกิน Context ด้วย Chunking
- กลยุทธ์ลด Hallucination เชิงปฏิบัติสำหรับงานที่ต้องการความถูกต้องสูง
Section 7: System Prompt, Template และ Prompt Library
- การออกแบบ System Prompt ที่กำหนดพฤติกรรมของผู้ช่วย AI ให้คงที่
- การสร้าง Prompt Template ที่มีตัวแปร (Variable) เพื่อใช้ซ้ำกับงานประเภทเดียวกัน และการทำ Versioning ของ Prompt
- การวาง Prompt Library ขององค์กรและการแบ่งปันให้ทีมใช้ร่วมกัน และการฝัง Business Rule กับ Tone of Voice ขององค์กร
Section 8: หลักการ AI Evaluation และการสร้างชุดข้อมูลทดสอบ
- เหตุใด ปรับ Prompt แล้วรู้สึกว่าดีขึ้น จึงไม่เพียงพอ และความสำคัญของการวัดผล
- ประเภทของการวัด: Reference-based, Reference-free และ Human Preference
- การสร้าง Evaluation Dataset และ Golden Set จากงานจริง
- มิติคุณภาพที่วัดบ่อย: Accuracy, Faithfulness, Relevance, Completeness และ Format Compliance
Section 9: เทคนิคการวัดผลและ Regression Testing
- Human Evaluation และการออกแบบ Rubric ที่ให้คะแนนได้สม่ำเสมอ
- LLM-as-a-Judge ให้ AI ช่วยประเมินตาม Rubric พร้อมข้อควรระวังเรื่องอคติ
- Pairwise Comparison สำหรับเทียบ Prompt สองเวอร์ชันว่าอันไหนดีกว่า และการทำ Regression Test เพื่อยืนยันว่าการแก้ Prompt ไม่ทำให้กรณีเดิมแย่ลง
- Workshop: สร้าง Golden Set และวัดคุณภาพ Prompt สองเวอร์ชันด้วย Rubric และ LLM-as-a-Judge
Section 10: Prompt Security, Robustness และ PDPA
- ความเสี่ยงของ Prompt Injection และ Jailbreak พร้อมตัวอย่างการโจมตี
- การป้องกันเบื้องต้น: การแยกข้อมูลผู้ใช้ออกจากคำสั่ง และการวาง Guardrail
- ข้อมูลที่ห้ามใส่ลง AI และการปกป้องข้อมูลส่วนบุคคลตาม PDPA และการทดสอบความทนทานของ Prompt
- แนวคิด Human-in-the-loop สำหรับงานที่มีความเสี่ยงสูง
Section 11: Capstone Project และการนำไปใช้จริง
- โจทย์: สร้าง Prompt System ครบวงจรสำหรับงานจริงของผู้เรียนหนึ่งงาน ออกแบบ System Prompt และ Template พร้อมกำหนด Structured Output
- สร้าง Golden Set และ Evaluation Harness เพื่อวัดคุณภาพก่อนและหลังปรับปรุง แล้วนำเสนอผลการวัดพร้อมหลักฐาน
- แนวทางนำ Prompt System ไปใช้จริงและต่อยอดสู่ AI Agent, RAG และ Automation