หลักสูตร Local LLM Deployment with Ollama and vLLM เป็นการอบรมการรัน LLM บนเซิร์ฟเวอร์ขององค์กรเอง ตั้งแต่เลือกโมเดล Quantization คำนวณ GPU ใช้ Ollama และ vLLM จนถึงเปิดหน้าแชตด้วย Open WebUI เหมาะกับทีม IT, DevOps และนักพัฒนาที่ข้อมูลห้ามออกนอกองค์กร จบแล้วได้ระบบ LLM ภายในองค์กรต้นแบบ
หลายองค์กรอยากใช้ LLM กับเอกสารภายใน ข้อมูลลูกค้า หรือซอร์สโค้ด แต่ติดเงื่อนไขว่าข้อมูลห้ามส่งออกไปยังผู้ให้บริการภายนอก ทางออกคือรันโมเดล Open-weight บนเครื่องหรือเซิร์ฟเวอร์ขององค์กรเอง แต่พอลงมือจริงทีม IT ต้องตอบคำถามที่ไม่ง่ายเลย ว่าควรเลือกโมเดลไหน ต้องใช้ GPU กี่ GB จะ Quantize แค่ไหนโดยคุณภาพยังรับได้ ควรใช้ Ollama หรือ vLLM และจะเปิดให้ทั้งองค์กรใช้อย่างปลอดภัยได้อย่างไร
หลักสูตรนี้พาผู้เรียนตั้งระบบ LLM ภายในองค์กรตั้งแต่ต้นจนใช้งานได้จริง เริ่มจากเลือกโมเดลและอ่านเงื่อนไข License เข้าใจ Quantization และรูปแบบ GGUF คำนวณ VRAM, RAM และ Context Length ที่ต้องใช้ จากนั้นใช้ Ollama อย่างลึกทั้ง Modelfile, การตั้งค่าการทำงานพร้อมกัน และ OpenAI-compatible API ที่รองรับ Structured Output และ Tool Calling ก่อนขยับไปรัน vLLM บน GPU เพื่อรองรับผู้ใช้จำนวนมาก ปรับจูนหน่วยความจำ วัดผลด้วย Benchmark ต่อหน้าแชตด้วย Open WebUI และวางระบบความปลอดภัยกับ Monitoring แล้วปิดท้ายด้วย Capstone ออกแบบและติดตั้งระบบ LLM ภายในองค์กรของตนเอง (อบรม 2 วัน วันละ 6 ชั่วโมง รวม 12 ชั่วโมง ระดับ Intermediate)
รายละเอียดหลักสูตร
หลักสูตรนี้อบรม 2 วัน วันละ 6 ชั่วโมง รวม 12 ชั่วโมง (09:00-16:00 น.) รูปแบบบรรยายพร้อม Lab ทุกหัวข้อ ระดับ Intermediate วันแรกเน้นการเลือกโมเดล การคำนวณทรัพยากร และ Ollama ซึ่ง Lab ทำบนโน้ตบุ๊กของผู้เรียนด้วยโมเดลขนาดเล็ก วันที่สองเน้น vLLM บน GPU, Open WebUI ความปลอดภัย และ Monitoring โดยผู้เรียนใช้ Google Colab หรือ Cloud GPU
ที่เช่าเอง ค่าใช้จ่ายส่วนนี้ผู้เรียนรับผิดชอบเอง หลักสูตรเน้นงานติดตั้งและให้บริการโมเดล (Model Serving) ต่อยอดได้กับหลักสูตรสร้าง AI Chatbots On-Premise ด้วย LangChain และ LangGraph ที่เน้นการเขียนแอปแชตบอตบนโมเดลภายใน ผู้เรียนจะได้ Lab Guide ไฟล์ docker-compose ตารางคำนวณขนาด GPU และสคริปต์ Benchmark กลับไปใช้งานต่อ
Section 1: ทำไมต้องรัน LLM เอง และภาพรวมเครื่องมือ
Section 2: เลือกโมเดล Open-weight ให้เหมาะกับงาน
Section 3: Lab: Quantization และรูปแบบ GGUF
Section 4: Workshop: คำนวณ GPU และหน่วยความจำ
Section 5: Lab: Ollama และ API มาตรฐาน
Section 6: Lab: vLLM บน GPU และการปรับจูน
Section 7: Lab: Benchmark และเลือก Ollama หรือ vLLM
Section 8: Lab: หน้าแชตองค์กรด้วย Open WebUI
Section 9: ความปลอดภัยและการดูแลระบบ
Section 10: Capstone: ระบบ LLM ภายในองค์กร
ขณะนี้ยังไม่มีรอบอบรมเปิดรับสมัคร ลงชื่อจองไว้ได้เลย ทีมงานจะติดต่อกลับเป็นกลุ่มแรกเมื่อเปิดรอบถัดไป หรือสอบถามทางไลน์ หรือโทร 02-570-8449 หรือ 088-807-9770
Quantization คือการลดความละเอียดของตัวเลขน้ำหนักโมเดล เช่น จาก 16-bit เหลือ 4-bit ทำให้ใช้หน่วยความจำน้อยลงและรันบนเครื่องเล็กได้ แลกกับคุณภาพที่ลดลงบ้าง ไฟล์ GGUF ที่ใช้กับ Ollama นิยมระดับ Q4_K_M Q5_K_M และ Q8_0 ส่วนบน GPU กับ vLLM มักใช้ AWQ GPTQ หรือ FP8 วิธีเลือกคือรันโมเดลเดียวกันสองระดับแล้วเทียบคุณภาพคำตอบ ความเร็ว และหน่วยความจำกับงานจริง
เริ่มจากหน่วยความจำของน้ำหนักโมเดล ซึ่งประมาณได้จากจำนวนพารามิเตอร์คูณจำนวนไบต์ต่อพารามิเตอร์ตาม Precision เช่น โมเดล 8B ที่ 16-bit ใช้ราว 16 GB แต่ถ้า Quantize เป็น 4-bit จะเหลือราว 4 ถึง 5 GB จากนั้นบวก KV Cache ซึ่งโตตาม Context Length และจำนวนผู้ใช้พร้อมกัน แล้วเผื่อหน่วยความจำส่วนอื่นของระบบไว้อีกเล็กน้อย
Ollama ติดตั้งง่าย รันได้ทั้งบน CPU GPU และ Apple Silicon ใช้ไฟล์ GGUF เหมาะกับการทดลอง ทีมขนาดเล็ก หรือเครื่องที่ทรัพยากรจำกัด ส่วน vLLM ออกแบบมาสำหรับ GPU และรับคำขอพร้อมกันจำนวนมากได้ดีด้วย PagedAttention และ Continuous Batching ทั้งสองตัวเปิด OpenAI-compatible API ได้ จึงควรวัด Time to First Token และ Throughput บนงานจริงก่อนตัดสินใจ หลักสูตรนี้ให้วัดผลโมเดลเดียวกันบนทั้งสองระบบแล้วสรุปเป็นข้อเสนอ
เหมาะกับทีม IT Infrastructure และ System Engineer ที่ได้รับโจทย์ให้ตั้ง LLM ใช้ภายในองค์กร DevOps และ Platform Engineer ที่ดูแลบริการ AI และนักพัฒนาที่ต้องการ API ของ LLM ที่ข้อมูลไม่ออกนอกองค์กร ควรใช้ Linux Command Line และ Docker ขั้นพื้นฐานได้ เขียน Python เบื้องต้นและเรียก REST API ได้ และเคยใช้ ChatGPT หรือ LLM ตัวอื่นมาบ้าง
เลือกโมเดล Open-weight และระดับ Quantization ให้เหมาะกับงานและฮาร์ดแวร์ คำนวณ VRAM และ RAM ที่ต้องใช้ ติดตั้งและปรับแต่ง Ollama ด้วย Modelfile รันและปรับจูน vLLM บน GPU และวางระบบ LLM ภายในองค์กรที่มีหน้าแชต Open WebUI การยืนยันตัวตน และ Monitoring ผู้ผ่านการอบรมได้รับใบประกาศนียบัตร (Certificate of Completion) ที่มีเลขที่ของตัวเองและตรวจสอบออนไลน์ได้
เตรียมโน้ตบุ๊ก RAM 16 GB ขึ้นไปที่ติดตั้ง Docker ได้ สำหรับ Lab ของ Ollama ที่ทำบนเครื่องด้วยโมเดลขนาดเล็ก และบัญชี Google สำหรับ Google Colab เพราะส่วนของ vLLM บน GPU ใช้ Google Colab หรือ Cloud GPU ที่ผู้เรียนเช่าเอง ซึ่งค่าใช้จ่ายส่วนนี้ผู้เรียนรับผิดชอบเอง
Prompt ที่ดีและ RAG แก้ปัญหาได้หลายอย่าง แต่บางงานก็ไปไม่สุด เช่น อยากให้โมเดลตอบในรูปแบบเฉพาะขององค์กรทุกครั้ง ใช้ศัพท์เฉพาะทางได้ถูกต้อง จัดหมวดเอกสารภาษาไทยได้แม่นยำ หรือใช้โมเดลขนาดเล็กที่รันในองค์กรได้แทนโมเดลใหญ่ราคาแพง Fine-tuning ด้วย LoRA และ QLoRA…
หลายองค์กรอยากใช้ AI Chatbot ตอบคำถามจากคู่มือ นโยบาย หรือเอกสารภายใน แต่ไม่สามารถส่งข้อมูลสำคัญออกไปประมวลผลบน Cloud API สาธารณะได้ ทั้งด้วยเหตุผลด้าน PDPA ความลับทางธุรกิจ และการควบคุมค่าใช้จ่าย ทางออกคือระบบ AI ที่รันบนเซิร์ฟเวอร์ขององค์กรเองทั้งหมด…
โมเดล AI ทั่วไปเก่งเรื่องภาษาก็จริง แต่ไม่รู้จักข้อมูลภายในองค์กรของคุณ ไม่ว่าจะเป็นคู่มือ นโยบาย สัญญา ข้อมูลลูกค้า หรือองค์ความรู้ที่สั่งสมมา เมื่อถามเรื่องเฉพาะขององค์กร AI จึงมักตอบมั่ว (Hallucination) หรือตอบจากข้อมูลทั่วไปที่ไม่ตรงบริบท…
