หลักสูตร LLM Fine-Tuning with LoRA เป็นการอบรมการปรับแต่งโมเดลภาษาด้วย LoRA และ QLoRA ตั้งแต่เตรียมชุดข้อมูลรวมถึงภาษาไทย ฝึกด้วย Unsloth และ Hugging Face วัดผล จนถึงนำขึ้น Ollama หรือ vLLM เหมาะกับ AI Engineer และนักพัฒนา Python ที่ใช้ LLM อยู่แล้ว จบแล้วได้โมเดลที่ Fine-tune สำหรับงานของตัวเอง
Prompt ที่ดีและ RAG แก้ปัญหาได้หลายอย่าง แต่บางงานก็ไปไม่สุด เช่น อยากให้โมเดลตอบในรูปแบบเฉพาะขององค์กรทุกครั้ง ใช้ศัพท์เฉพาะทางได้ถูกต้อง จัดหมวดเอกสารภาษาไทยได้แม่นยำ หรือใช้โมเดลขนาดเล็กที่รันในองค์กรได้แทนโมเดลใหญ่ราคาแพง Fine-tuning ด้วย LoRA และ QLoRA ทำให้การปรับแต่งโมเดลแบบนี้ทำได้บน GPU ตัวเดียว แต่ผลลัพธ์จะดีหรือไม่ขึ้นกับการตัดสินใจที่ถูกต้อง ชุดข้อมูลที่มีคุณภาพ และการวัดผลอย่างเป็นระบบ มากกว่าการกดรัน Notebook ให้จบ
หลักสูตรนี้พาผู้เรียน Fine-tune LLM แบบลงมือทำครบวงจร เริ่มจากเกณฑ์ตัดสินใจว่างานไหนควร Fine-tune เข้าใจหลักการของ LoRA และ QLoRA และออกแบบชุดข้อมูลฝึกรวมถึงข้อมูลภาษาไทย จากนั้นฝึกโมเดลจริงด้วย Unsloth และ Hugging Face TRL กับ PEFT ปรับ Hyperparameter อ่าน Loss Curve
และทดลองกับโมเดลที่รองรับภาษาไทยอย่าง Typhoon หรือ OpenThaiGPT พร้อมวัดผลเทียบกับโมเดลตั้งต้น ก่อนต่อยอดสู่ Preference Tuning ด้วย DPO การ Merge และ Export เป็น GGUF แล้วนำขึ้นใช้งานบน Ollama และ vLLM ปิดท้ายด้วย Capstone Fine-tune โมเดลสำหรับงานของตนเองตั้งแต่ชุดข้อมูลจนถึงการ Deploy (อบรม 3 วัน วันละ 6 ชั่วโมง รวม 18 ชั่วโมง ระดับ Intermediate - Advanced)
รายละเอียดหลักสูตร
หลักสูตรนี้อบรม 3 วัน วันละ 6 ชั่วโมง รวม 18 ชั่วโมง (09:00-16:00 น.) รูปแบบบรรยายพร้อม Lab ที่ต่อยอดโจทย์ธุรกิจตัวอย่างเดียวตลอดหลักสูตร ระดับ Intermediate - Advanced ทุก Lab รันบน Google Colab หรือ Cloud GPU ที่ผู้เรียนเช่าเอง ค่าใช้จ่ายส่วนนี้ผู้เรียนรับผิดชอบเอง ไม่จำเป็นต้องมี GPU บนเครื่อง หลักสูตรเน้นการ Fine-tune
แบบ Parameter-Efficient ด้วย LoRA และ QLoRA ครอบคลุมการตัดสินใจ การเตรียมข้อมูลรวมถึงข้อมูลภาษาไทย การฝึก การวัดผล DPO และการนำขึ้นใช้งาน ต่อยอดได้กับหลักสูตร Local LLM Deployment with Ollama and vLLM สำหรับงานให้บริการโมเดลในระดับองค์กร ผู้เรียนจะได้ Lab Guide, Notebook ตัวอย่างครบทุก Lab ชุดข้อมูลตัวอย่าง และสคริปต์วัดผลกลับไปใช้งานต่อ
Section 1: Workshop: Prompt, RAG หรือ Fine-tuning
Section 2: LLM ถูกฝึกอย่างไร และหลักการ LoRA กับ QLoRA
Section 3: Lab: เตรียมสภาพแวดล้อม Fine-tuning
Section 4: ออกแบบชุดข้อมูลฝึก
Section 5: Lab: เตรียมข้อมูลให้พร้อมฝึก
Section 6: Lab: QLoRA ตัวแรกด้วย Unsloth
Section 7: Hyperparameter และการอ่าน Loss Curve
Section 8: Lab: Fine-tune โมเดลภาษาไทย
Section 9: Lab: Hugging Face TRL และ PEFT โดยตรง
Section 10: Lab: วัดผลโมเดลที่ฝึกแล้ว
Section 11: Lab: Preference Tuning ด้วย DPO
Section 12: Lab: Merge และ Export โมเดล
Section 13: Lab: นำโมเดลขึ้นใช้งาน
Section 14: License, ความปลอดภัย และการดูแลโมเดล
Section 15: Capstone: Fine-tune โมเดลสำหรับงานของตัวเอง
ขณะนี้ยังไม่มีรอบอบรมเปิดรับสมัคร ลงชื่อจองไว้ได้เลย ทีมงานจะติดต่อกลับเป็นกลุ่มแรกเมื่อเปิดรอบถัดไป หรือสอบถามทางไลน์ หรือโทร 02-570-8449 หรือ 088-807-9770
LoRA เป็นวิธี Fine-tune แบบ Parameter-Efficient ที่ตรึงน้ำหนักเดิมของโมเดลไว้ แล้วฝึกเฉพาะเมทริกซ์ขนาดเล็กที่เพิ่มเข้าไปในบางชั้น ค่าสำคัญที่ต้องเลือกคือ Rank, Alpha และ Target Modules ส่วน QLoRA ใช้หลักเดียวกันแต่โหลดโมเดลฐานแบบ 4-bit จึงใช้หน่วยความจำ GPU น้อยลงมากและฝึกโมเดลขนาดใหญ่ขึ้นบน GPU ตัวเดียวได้
Fine-tuning เหมาะกับงานที่ต้องการให้โมเดลตอบในรูปแบบเดิมสม่ำเสมอ จัดหมวด ดึงข้อมูล หรือใช้ศัพท์เฉพาะทาง และช่วยให้ใช้โมเดลเล็กแทนโมเดลใหญ่ได้ แต่ไม่เหมาะกับการเพิ่มความรู้ที่เปลี่ยนบ่อย ซึ่งควรใช้ RAG แทน ก่อนตัดสินใจควรลองปรับ Prompt ให้เต็มที่ก่อน และคิดต้นทุนรวมทั้งการเตรียมข้อมูล GPU เวลา และการดูแลโมเดลหลังฝึก
เริ่มจากเลือกรูปแบบข้อมูลแบบ Instruction หรือแบบ Conversation แล้วทำความสะอาด ลบข้อมูลซ้ำ และกรองตัวอย่างคุณภาพต่ำออก โดยเน้นคุณภาพและความหลากหลายมากกว่าปริมาณ จากนั้นแบ่งชุด Train, Validation และ Test โดยไม่ให้ข้อมูลรั่วข้ามชุด แปลงเป็น Chat Template ของโมเดลที่จะใช้ และตรวจความยาว Token ของแต่ละตัวอย่าง ถ้าเป็นข้อมูลองค์กรต้องลบข้อมูลส่วนบุคคลก่อนตาม PDPA
เหมาะกับ AI Engineer และ ML Engineer ที่ต้องปรับแต่งโมเดลภาษาให้เหมาะกับงานขององค์กร นักพัฒนา Python ที่ใช้ LLM API อยู่แล้ว และ Data Scientist ที่ต้องการ Fine-tune บนข้อมูลภาษาไทย ควรเขียน Python ได้คล่อง เคยใช้ Jupyter Notebook หรือ Google Colab และเข้าใจ Prompt, Token และ Context Window ถ้ามีพื้นฐาน Machine Learning เช่น Overfitting จะเป็นประโยชน์
ตัดสินใจได้ว่างานใดควรใช้ Prompt, RAG หรือ Fine-tuning เตรียมชุดข้อมูลฝึกรวมถึงข้อมูลภาษาไทย Fine-tune ด้วย Unsloth และ Hugging Face TRL กับ PEFT บน GPU ตัวเดียว วัดผลเทียบโมเดลตั้งต้น และ Merge กับ Export เป็น GGUF เพื่อให้บริการบน Ollama หรือ vLLM ผู้ผ่านการอบรมได้รับใบประกาศนียบัตร (Certificate of Completion) ที่มีเลขที่ของตัวเองและตรวจสอบออนไลน์ได้
เตรียมโน้ตบุ๊กที่เชื่อมต่ออินเทอร์เน็ต บัญชี Google สำหรับ Google Colab และบัญชี Hugging Face ไม่จำเป็นต้องมี GPU บนเครื่อง เพราะทุก Lab รันบน Google Colab หรือ Cloud GPU ที่ผู้เรียนเช่าเอง ซึ่งค่าใช้จ่ายส่วนนี้ผู้เรียนรับผิดชอบเอง
หลายองค์กรอยากใช้ LLM กับเอกสารภายใน ข้อมูลลูกค้า หรือซอร์สโค้ด แต่ติดเงื่อนไขว่าข้อมูลห้ามส่งออกไปยังผู้ให้บริการภายนอก ทางออกคือรันโมเดล Open-weight บนเครื่องหรือเซิร์ฟเวอร์ขององค์กรเอง แต่พอลงมือจริงทีม IT ต้องตอบคำถามที่ไม่ง่ายเลย ว่าควรเลือกโมเดลไหน…
Deep Learning คือกลไกเบื้องหลังระบบ AI ที่ใช้อยู่ทุกวัน ทั้งการจำแนกภาพ ตรวจจับวัตถุจากกล้อง วิเคราะห์ความรู้สึกจากข้อความ ไปจนถึงโมเดลภาษาขนาดใหญ่ แต่เครื่องมือเปลี่ยนเร็วมาก โค้ดแบบ TensorFlow 1 และ Keras 2 ที่เคยสอนกันใช้ไม่ได้แล้ว ไลบรารีหลักอย่าง Hugging…
หลายองค์กรอยากใช้ AI Chatbot ตอบคำถามจากคู่มือ นโยบาย หรือเอกสารภายใน แต่ไม่สามารถส่งข้อมูลสำคัญออกไปประมวลผลบน Cloud API สาธารณะได้ ทั้งด้วยเหตุผลด้าน PDPA ความลับทางธุรกิจ และการควบคุมค่าใช้จ่าย ทางออกคือระบบ AI ที่รันบนเซิร์ฟเวอร์ขององค์กรเองทั้งหมด…
