Enterprise GenAI Gateway and Private AI Platform

Section 1: ทำไมองค์กรต้องมี GenAI Gateway

• ปัญหาที่พบเมื่อใช้ AI แบบต่างคนต่างใช้: Shadow AI, Key กระจัดกระจาย และค่าใช้จ่ายที่มองไม่เห็น
• บทบาทของ Gateway: จุดเดียวสำหรับสิทธิ์ ค่าใช้จ่าย นโยบาย และ Log
• สถาปัตยกรรมอ้างอิงของแพลตฟอร์ม AI ภายในองค์กรตั้งแต่ผู้ใช้จนถึงโมเดล
• ภาพรวมเครื่องมือโอเพนซอร์สและบริการ Gateway บน Cloud เพื่อใช้ประกอบการตัดสินใจ
• Workshop: สำรวจการใช้ AI ปัจจุบันขององค์กรตัวเองและจุดเสี่ยง

Section 2: Workshop: จัดชั้นข้อมูลและนโยบายเลือกโมเดล

• จัดชั้นข้อมูล เช่น สาธารณะ ภายใน ลับ และข้อมูลส่วนบุคคล
• จับคู่ชั้นข้อมูลกับโมเดลที่อนุญาต: Cloud API แบบ Enterprise หรือโมเดลภายใน
• อ่านเงื่อนไขการใช้ข้อมูลของผู้ให้บริการ AI เรื่องการเก็บและการนำข้อมูลไปฝึก
• ข้อพิจารณาตาม PDPA เมื่อส่งข้อมูลส่วนบุคคลไปประมวลผล
• Workshop: ร่างตารางนโยบายว่าข้อมูลแบบใดใช้กับโมเดลใดได้

Section 3: Lab: ติดตั้ง LiteLLM, Routing และ Fallback

• ติดตั้ง LiteLLM พร้อม PostgreSQL และ Redis ด้วย Docker Compose
• กำหนด Model List ใน config.yaml รวม Cloud API และโมเดลภายในผ่าน Ollama ภายใต้ชื่อกลางขององค์กร
• เรียกทุกโมเดลผ่าน OpenAI-compatible Endpoint เดียว และเก็บ API Key ของผู้ให้บริการเป็น Secret
• Load Balancing, Fallback, Retry และ Timeout เมื่อผู้ให้บริการล่มหรือเกินโควตา
• Routing ตามชั้นข้อมูล และ Caching ด้วย Redis เพื่อลดค่าใช้จ่าย
• Lab: ปิดผู้ให้บริการหนึ่งรายแล้วทดสอบว่าระบบสลับไปใช้ตัวสำรอง

Section 4: Lab: Virtual Key, ทีม และงบประมาณ

• ออก Virtual Key ให้ผู้ใช้ ทีม และแอป แทนการแจก Key จริงของผู้ให้บริการ
• จำกัดโมเดลที่แต่ละทีมเรียกได้ตามนโยบายข้อมูล
• ตั้งงบประมาณ Rate Limit และวันหมดอายุของ Key
• บทบาทผู้ดูแลใน LiteLLM และฟีเจอร์ที่ต้องใช้ License แบบ Enterprise
• Lab: จำลองทีมที่ใช้เกินงบแล้วดูว่าระบบตอบสนองอย่างไร

Section 5: Lab: หน้าแชตองค์กรด้วย Open WebUI

• ติดตั้ง Open WebUI และเชื่อมกับ LiteLLM แทนการต่อผู้ให้บริการโดยตรง
• เชื่อม SSO ผ่าน OIDC และภาพรวมการเชื่อม LDAP หรือ Active Directory
• จัดกลุ่มผู้ใช้และสิทธิ์การเข้าถึงโมเดล ฟีเจอร์ และ Knowledge ตามแผนก
• ตั้งโมเดลสำเร็จรูปพร้อม System Prompt สำหรับงานของแต่ละทีม
• เงื่อนไข License และ Branding ของ Open WebUI ที่ต้องรู้ก่อนใช้ในองค์กร

Section 6: Lab: Guardrail และการปกป้องข้อมูล

• Guardrail ทำงานตรงไหน: ก่อนส่งถึงโมเดล และหลังได้คำตอบ
• ตรวจจับและปกปิดข้อมูลส่วนบุคคลด้วย Microsoft Presidio ผ่าน LiteLLM
• ป้องกัน Prompt Injection เบื้องต้น และกำหนดหัวข้อที่ไม่อนุญาต
• ข้อจำกัดของ Guardrail กับข้อมูลภาษาไทย และการทดสอบให้ครอบคลุม
• Lab: ส่งข้อความที่มีเลขบัตรประชาชนและเบอร์โทรแล้วตรวจผลการปกปิด

Section 7: Lab: Log, Trace และ Audit ด้วย Langfuse

• ติดตั้ง Langfuse แบบ Self-host และเชื่อมกับ LiteLLM
• ดู Trace ของแต่ละคำขอ: ผู้ใช้ โมเดล Token เวลา และค่าใช้จ่าย
• ออกแบบนโยบายเก็บ Log: เก็บอะไร นานเท่าไร และใครเข้าถึงได้
• ความเสี่ยงของการเก็บ Prompt ที่มีข้อมูลส่วนบุคคล และการปกปิดก่อนบันทึก
• ใช้ Log ตอบคำถามของฝ่าย Audit และตรวจสอบเหตุย้อนหลัง

Section 8: Workshop: คุมค่าใช้จ่ายและ Chargeback

• เข้าใจโครงสร้างราคาแบบ Token ของผู้ให้บริการ และต้นทุนของโมเดลภายใน
• รายงานค่าใช้จ่ายตามทีม ผู้ใช้ แอป และโมเดล
• ตั้งการแจ้งเตือนงบประมาณ และกติกาเมื่อทีมใช้เกิน
• ลดค่าใช้จ่ายด้วยการเลือกโมเดลให้เหมาะงาน Caching และ Prompt ที่สั้นลง
• Workshop: ทำแบบจำลอง Chargeback รายเดือนให้แต่ละแผนก

Section 9: Knowledge, Tool และระบบ Production

• ให้บริการ Knowledge Base ของแต่ละแผนกบน Open WebUI พร้อมคุมสิทธิ์
• เชื่อม Tool ภายนอกผ่าน OpenAPI หรือ MCP และกำหนดผู้อนุมัติ Tool ใหม่
• High Availability ของ Gateway, ฐานข้อมูล และ Redis
• TLS, Reverse Proxy, การแยกเครือข่าย และการจัดการ Secret
• ภาพรวมการติดตั้งบน Kubernetes ด้วย Helm พร้อม Backup และการอัปเกรดเวอร์ชัน
• Monitoring ด้วย Metrics ของ Gateway ร่วมกับ Prometheus และ Grafana

Section 10: Capstone: แพลตฟอร์ม AI ขององค์กร

• ออกแบบสถาปัตยกรรมแพลตฟอร์ม AI สำหรับองค์กรของตนเองหรือโจทย์ตัวอย่าง
• ร่างนโยบายการใช้ AI: ชั้นข้อมูล โมเดลที่อนุญาต สิทธิ์ และการเก็บ Log
• ประกอบระบบต้นแบบ LiteLLM, Open WebUI, Ollama และ Langfuse ด้วย Docker Compose
• วางแผนเปิดใช้เป็นระยะ ตั้งแต่ทีมนำร่องจนถึงทั้งองค์กร
• นำเสนอและรีวิวร่วมกัน พร้อม Checklist ก่อนเปิดใช้งานจริง