Advanced Prompt Engineering & AI Evaluation

รายละเอียดหลักสูตร

อบรม 2 วัน วันละ 6 ชั่วโมง รวม 12 ชั่วโมง รูปแบบบรรยายพร้อมปฏิบัติจริง (Hands-on Workshop) และ Capstone Project ระดับ Intermediate ถึง Advanced ครอบคลุมทั้ง ChatGPT, Claude และ Gemini ผู้เรียนจะได้ Prompt Pattern, Template Library, ชุด Rubric และ Evaluation Sheet และ Checklist ด้าน Prompt Security และ PDPA กลับไปใช้งานจริง

Day 1: จากการลองผิดลองถูก สู่การออกแบบ Prompt เชิงวิศวกรรม

Section 1: รากฐาน LLM ที่จำเป็นต่อการออกแบบ Prompt

• โมเดลภาษาทำนายคำถัดไปอย่างไร และเหตุใดผลลัพธ์จึงไม่คงที่
• Token, Context Window และผลกระทบต่อการวาง Prompt กับเอกสารยาว
• Temperature, Top-p และ Sampling ควบคุมความสร้างสรรค์กับความแม่นยำอย่างไร
• ความแตกต่างเชิงพฤติกรรมของ ChatGPT, Claude และ Gemini ที่นักออกแบบ Prompt ควรรู้ และกรอบคิดวงจรการปรับปรุง Prompt

Section 2: โครงสร้างและ Pattern ของ Prompt ขั้นสูง

• องค์ประกอบของ Prompt คุณภาพสูง: Role, Context, Task, Format, Constraint และ Success Criteria
• การใช้ Delimiter และโครงสร้างแบบ Markdown / XML เพื่อลดความกำกวม และการแยก System Prompt กับ User Prompt
• Pattern ที่ใช้บ่อยในงานจริง: Extraction, Classification, Summarization, Transformation และ Generation
• Anti-pattern ที่ทำให้ผลลัพธ์เพี้ยน และวิธีเขียน Instruction ที่ AI ทำตามได้จริง

Section 3: เทคนิคการให้ AI คิดเป็นขั้นตอน (Reasoning Techniques)

• Chain of Thought สั่งให้แสดงขั้นตอนการคิดเพื่อเพิ่มความแม่นยำ และ Self-Consistency เลือกคำตอบที่สอดคล้องกัน
• ReAct (Reason + Act) ผสมการให้เหตุผลกับการเรียกใช้เครื่องมือ
• Tree of Thoughts และ Step-back Prompting สำหรับโจทย์ที่ซับซ้อน
• การเลือกเทคนิคให้เหมาะกับประเภทงานและต้นทุน Token

Section 4: Few-shot และ Example Engineering

• ความแตกต่างของ Zero-shot, One-shot และ Few-shot และควรใช้เมื่อใด
• หลักการเลือกตัวอย่างที่ทำให้ผลลัพธ์นิ่งและครอบคลุมกรณีขอบ (Edge Case)
• การจัดรูปแบบตัวอย่างให้สม่ำเสมอ และผลของลำดับและจำนวนตัวอย่างต่อคุณภาพและอคติ (Bias)
• Workshop: ปรับ Prompt งานจริงของผู้เรียนจาก Zero-shot เป็น Few-shot แล้วเทียบผลลัพธ์

Section 5: การควบคุมผลลัพธ์แบบ Structured Output

• เหตุใดงานที่นำไปใช้ต่อในระบบจึงต้องการผลลัพธ์ที่มีโครงสร้าง
• การบังคับผลลัพธ์เป็น JSON และการกำหนดด้วย JSON Schema
• แนวคิด Tool / Function Calling และการให้โมเดลตอบตาม Schema ที่กำหนด และการทำ Validation / Retry
• Workshop: ออกแบบ Prompt ให้ดึงข้อมูลจากเอกสารออกมาเป็น JSON ตาม Schema ที่กำหนดและตรวจสอบความถูกต้อง

Day 2: Context, การวัดผล และการวาง Prompt System ที่เชื่อถือได้

Section 6: Context Engineering และการลด Hallucination

• Context Engineering คืออะไร และต่างจากการเขียน Prompt อย่างไร
• การ Grounding ด้วยข้อมูลจริงและแนวคิด RAG-aware Prompting เบื้องต้น
• เทคนิคบังคับให้ AI อ้างอิงแหล่งข้อมูลและตอบ ไม่ทราบ เมื่อข้อมูลไม่พอ และการจัดการเอกสารยาวเกิน Context ด้วย Chunking
• กลยุทธ์ลด Hallucination เชิงปฏิบัติสำหรับงานที่ต้องการความถูกต้องสูง

Section 7: System Prompt, Template และ Prompt Library

• การออกแบบ System Prompt ที่กำหนดพฤติกรรมของผู้ช่วย AI ให้คงที่
• การสร้าง Prompt Template ที่มีตัวแปร (Variable) เพื่อใช้ซ้ำกับงานประเภทเดียวกัน และการทำ Versioning ของ Prompt
• การวาง Prompt Library ขององค์กรและการแบ่งปันให้ทีมใช้ร่วมกัน และการฝัง Business Rule กับ Tone of Voice ขององค์กร

Section 8: หลักการ AI Evaluation และการสร้างชุดข้อมูลทดสอบ

• เหตุใด ปรับ Prompt แล้วรู้สึกว่าดีขึ้น จึงไม่เพียงพอ และความสำคัญของการวัดผล
• ประเภทของการวัด: Reference-based, Reference-free และ Human Preference
• การสร้าง Evaluation Dataset และ Golden Set จากงานจริง
• มิติคุณภาพที่วัดบ่อย: Accuracy, Faithfulness, Relevance, Completeness และ Format Compliance

Section 9: เทคนิคการวัดผลและ Regression Testing

• Human Evaluation และการออกแบบ Rubric ที่ให้คะแนนได้สม่ำเสมอ
• LLM-as-a-Judge ให้ AI ช่วยประเมินตาม Rubric พร้อมข้อควรระวังเรื่องอคติ
• Pairwise Comparison สำหรับเทียบ Prompt สองเวอร์ชันว่าอันไหนดีกว่า และการทำ Regression Test เพื่อยืนยันว่าการแก้ Prompt ไม่ทำให้กรณีเดิมแย่ลง
• Workshop: สร้าง Golden Set และวัดคุณภาพ Prompt สองเวอร์ชันด้วย Rubric และ LLM-as-a-Judge

Section 10: Prompt Security, Robustness และ PDPA

• ความเสี่ยงของ Prompt Injection และ Jailbreak พร้อมตัวอย่างการโจมตี
• การป้องกันเบื้องต้น: การแยกข้อมูลผู้ใช้ออกจากคำสั่ง และการวาง Guardrail
• ข้อมูลที่ห้ามใส่ลง AI และการปกป้องข้อมูลส่วนบุคคลตาม PDPA และการทดสอบความทนทานของ Prompt
• แนวคิด Human-in-the-loop สำหรับงานที่มีความเสี่ยงสูง

Section 11: Capstone Project และการนำไปใช้จริง

• โจทย์: สร้าง Prompt System ครบวงจรสำหรับงานจริงของผู้เรียนหนึ่งงาน ออกแบบ System Prompt และ Template พร้อมกำหนด Structured Output
• สร้าง Golden Set และ Evaluation Harness เพื่อวัดคุณภาพก่อนและหลังปรับปรุง แล้วนำเสนอผลการวัดพร้อมหลักฐาน
• แนวทางนำ Prompt System ไปใช้จริงและต่อยอดสู่ AI Agent, RAG และ Automation