NVIDIA Generative AI and LLM Associate (NCA-GENL)

Section 1: Lab: รู้จักข้อสอบ NCA-GENL และเตรียมเครื่องมือ

• รูปแบบข้อสอบ ระยะเวลา และน้ำหนักของทั้ง 5 Domain
• เปิด Google Colab และเลือก Runtime แบบ GPU
• สมัคร NVIDIA Developer Program และสร้าง API Key บน build.nvidia.com
• Lab: เรียกโมเดลแรกผ่าน API แบบ OpenAI-compatible จาก Python

Section 2: Lab: พื้นฐาน Machine Learning ที่ต้องแม่น

• Supervised, Unsupervised, Feature Engineering และการแบ่ง Train, Validation, Test
• Overfitting, Underfitting และ Cross Validation
• Accuracy, Precision, Recall, F1 และการเปรียบเทียบโมเดลเชิงสถิติ
• Lab: เปรียบเทียบโมเดลจำแนกข้อความด้วย scikit-learn

Section 3: Lab: Data Analysis และการเตรียม Dataset

• สำรวจข้อมูลขนาดใหญ่ หาแนวโน้มและความสัมพันธ์ด้วย pandas
• สร้างกราฟเพื่ออธิบายข้อมูลและผลการทดลอง
• ทำความสะอาด ตัดข้อมูลซ้ำ และดูการกระจายความยาว Token ของ Dataset
• Lab: เตรียม Dataset ข้อความสำหรับงาน RAG และ Fine-tuning

Section 4: Lab: Deep Learning, Tokenization และ Embedding

• Neural Network, Loss, Backpropagation และเหตุผลที่ GPU ทำงานนี้ได้เร็ว
• Tokenization แบบ BPE, WordPiece และ SentencePiece กับผลต่อภาษาไทย
• Word Embedding, Sentence Embedding และ Cosine Similarity
• Lab: Tokenize ข้อความและหาความคล้ายของประโยคด้วย Embedding

Section 5: สถาปัตยกรรม Transformer และ LLM

• Self-Attention, Multi-Head Attention และ Positional Encoding
• Encoder, Decoder และ Encoder-Decoder พร้อมตัวอย่างโมเดลแต่ละแบบ
• Context Window, KV Cache และ Mixture of Experts ในภาษาที่เข้าใจง่าย
• Pre-training, Instruction Tuning และ Alignment ด้วย RLHF หรือ DPO

Section 6: Lab: Prompt Engineering และการควบคุม Output

• Zero-shot, Few-shot, Chain-of-Thought และ System Prompt
• Temperature, Top-p, Top-k และความยาว Output มีผลอย่างไร
• บังคับ Output เป็น JSON และตรวจผลก่อนนำไปใช้
• Lab: เปรียบเทียบผลของหลายโมเดลใน API Catalog กับงานเดียวกัน

Section 7: Lab: RAG, Chatbot และ Summarizer

• องค์ประกอบของ RAG: Chunking, Embedding Model, Vector Database และ Reranker
• เลือก Text Embedding Model ให้เหมาะกับภาษาและงาน
• Chatbot ที่จำบริบทการสนทนา และ Summarizer สำหรับเอกสารยาว
• Lab: สร้าง RAG ถามตอบจากเอกสารด้วย FAISS และ API ของ NVIDIA

Section 8: Lab: Fine-tuning และ PEFT

• เมื่อไรควร Fine-tune และเมื่อไรใช้ Prompt หรือ RAG ก็พอ
• Full Fine-tuning เทียบกับ LoRA และ QLoRA และภาพรวม NVIDIA NeMo
• Hyperparameter สำคัญ: Learning Rate, Epoch, Batch Size และ Rank
• Lab: Fine-tune โมเดลขนาดเล็กด้วย LoRA บน Colab

Section 9: Lab: Evaluation และ Experimentation

• Perplexity, BLEU, ROUGE, BERTScore และ LLM-as-a-judge
• Benchmark มาตรฐานและการสร้างชุดทดสอบของงานเอง
• ออกแบบการทดลอง A/B และบันทึกผลให้ทำซ้ำได้
• Lab: วัดผล Summarizer ก่อนและหลังปรับ Prompt และโมเดล

Section 10: Deployment และ Inference Optimization

• NVIDIA NIM, TensorRT-LLM และ Dynamo-Triton (เดิมชื่อ Triton Inference Server)
• Quantization แบบ FP8, INT8 และ INT4 กับการประเมินหน่วยความจำ GPU
• Batching, Latency, Throughput และการติดตามระบบเมื่อขยายขนาด
• Lab: วัด Latency และ Throughput ของ API กับโมเดลขนาดเล็กบน Colab

Section 11: Lab: Trustworthy AI และ NeMo Guardrails

• หลักจริยธรรม AI, อคติในข้อมูลและโมเดล และวิธีลดอคติ
• ความเป็นส่วนตัว ความยินยอม และ PDPA กับข้อมูลที่ใช้ฝึกหรือส่งเข้าโมเดล
• Hallucination, Model Card และเทคโนโลยีที่ช่วยเพิ่มความน่าเชื่อถือ
• Lab: ใส่ Input และ Output Rail ให้ Chatbot ด้วย NeMo Guardrails

Section 12: Workshop: Capstone และทบทวนเตรียมสอบ

• Capstone: Chatbot แบบ RAG ที่มีการวัดผลและ Guardrails
• สรุปเนื้อหาสำคัญตามน้ำหนักของแต่ละ Domain
• ฝึกโจทย์แนวข้อสอบและวิธีจัดเวลาให้ทันใน 1 ชั่วโมง
• แผนอ่านทบทวนและแหล่งเรียนรู้ฟรีของ NVIDIA หลังจบหลักสูตร