Advanced PostgreSQL for Enterprise

Section 1: Process, Memory และ Write-Ahead Log

• โครงสร้าง postmaster, backend process และ background workers (checkpointer, background writer, WAL writer, autovacuum launcher)
• Shared Buffers, work_mem และ maintenance_work_mem ใช้ทรัพยากรเครื่องอย่างไร
• หลักการ WAL, Checkpoint และ Full Page Writes และความเชื่อมโยงกับ Backup และ Replication
• นโยบายเวอร์ชันของ PostgreSQL: รอบ Major ปีละครั้งและอายุการสนับสนุน 5 ปี

Section 2: MVCC, Transaction Isolation และ Locking

• Tuple Visibility (xmin/xmax) และเหตุผลที่ PostgreSQL ต้องมี VACUUM
• Read Committed, Repeatable Read และ Serializable พร้อมผลกระทบต่อแอปพลิเคชัน
• Row Lock และ Table Lock Mode ที่ขัดกัน และการดูด้วย pg_locks
• Lab: สาธิต Lock ที่รอกันและ Anomaly ในแต่ละระดับ Isolation

Section 3: Lab: Linux Essentials สำหรับงานฐานข้อมูล

• จัดการ Service ด้วย systemd และอ่าน Log ด้วย journalctl
• ตรวจพื้นที่ดิสก์และ I/O ด้วย df, du และ iostat และดูหน่วยความจำกับ Process
• ผู้ใช้ สิทธิ์ไฟล์ และการเข้าเครื่องด้วย SSH Key อย่างปลอดภัย
• Lab: ตรวจสุขภาพเครื่อง Ubuntu 24.04 ก่อนติดตั้งฐานข้อมูล

Section 4: Lab: ติดตั้งและปรับแต่ง PostgreSQL 17

• ติดตั้งจาก PGDG Repository บน Ubuntu 24.04 และเครื่องมือของ postgresql-common (pg_lsclusters, pg_ctlcluster)
• เปิด Data Checksums ตั้งแต่สร้าง Cluster และเหตุผลที่ควรเปิด
• postgresql.conf, pg_hba.conf และ ALTER SYSTEM พร้อมปรับค่าหน่วยความจำ Checkpoint และ Autovacuum ตามขนาดเครื่อง
• จัดการ Extension และข้อควรระวังเมื่อ Upgrade
• Lab: ปรับแต่ง Primary Node ตาม Checklist สำหรับ Production

Section 5: Workshop Day 1: Connection, สิทธิ์ และ PgBouncer

• เหตุผลที่ max_connections สูงเกินไปเป็นอันตราย และ PgBouncer แบบ Session, Transaction และ Statement Pooling
• Role Hierarchy ตามหลัก Least Privilege และ pg_maintain Role ที่เพิ่มเข้ามาใน PostgreSQL 17
• ยืนยันตัวตนด้วย SCRAM-SHA-256 และเปิด SSL/TLS
• Workshop: สร้าง Role สำหรับ Application, Read-only และ Admin ของ NovaMart เปิด TLS และวาง PgBouncer
• วัดผลด้วย pgbench ก่อนและหลังใช้ Connection Pooling

Section 6: EXPLAIN ANALYZE และ Planner Statistics

• อ่าน EXPLAIN (ANALYZE, BUFFERS) รวมถึงตัวเลือก SERIALIZE และ MEMORY ที่เพิ่มเข้ามาใน PostgreSQL 17
• Seq Scan, Index Scan, Bitmap Scan, Nested Loop, Hash Join และ Merge Join
• หาจุดที่ Row Estimate ผิดพลาด, ANALYZE และ Extended Statistics
• Lab: อ่านแผนของ Query รายงานคำสั่งซื้อและหาต้นเหตุที่ช้า

Section 7: Lab: ประเภท Index และการวิเคราะห์ Slow Query

• B-tree, GIN, GiST, BRIN, Partial Index และ Covering Index (INCLUDE)
• pg_stat_statements, auto_explain และ log_min_duration_statement
• ขั้นตอนตั้งแต่พบปัญหา ปรับแก้ จนถึงยืนยันผลด้วยตัวเลข
• Lab: ปรับ Query ช้า 5 รายการของ NovaMart จนเร็วขึ้นตามเป้าหมาย

Section 8: Lab: Observability ด้วย Prometheus และ Grafana

• pg_stat Views ที่ต้องรู้: pg_stat_activity, pg_stat_database, pg_stat_io, pg_stat_checkpointer และ pg_locks
• ติดตั้ง postgres_exporter และ node_exporter แล้วเชื่อมเข้ากับ Prometheus
• นำเข้าและปรับแต่ง Grafana Dashboard สำหรับฐานข้อมูล
• แนวทางเชื่อมกับ Prometheus และ Grafana ที่ทีมใช้งานอยู่แล้ว
• Lab: ดูผลก่อนและหลังปรับ Query บน Dashboard

Section 9: VACUUM, Bloat และ Transaction ID Wraparound

• Autovacuum Tuning รายตาราง และระบบหน่วยความจำใหม่ของ VACUUM ใน PostgreSQL 17 ที่ใช้หน่วยความจำน้อยลง
• ตรวจวัด Bloat และกำจัดด้วย pg_repack โดยไม่ล็อกตารางนาน
• ติดตาม age(datfrozenxid), REINDEX CONCURRENTLY และจัดตารางงานบำรุงรักษา
• Lab: สร้าง Bloat บนตาราง orders แล้ววัดผลก่อนและหลังแก้

Section 10: Workshop Day 2: Partitioning และ Data Archiving

• Range, List และ Hash Partitioning และ Partition Pruning
• ใช้ pg_partman สร้าง Partition ล่วงหน้าอัตโนมัติ
• DETACH PARTITION CONCURRENTLY และการย้ายข้อมูลเก่าไปจัดเก็บแยก
• Workshop: แปลงตาราง orders ของ NovaMart เป็น Partitioned Table รายเดือน และติดตามผลบน Grafana

Section 11: VM Snapshot กับ Database Backup

• ข้อจำกัดของ VM Snapshot: ความสอดคล้องของข้อมูล การกู้คืนย้อนไปยังเวลาที่ต้องการไม่ได้ และ RPO ที่ผูกกับรอบ Snapshot
• ใช้ VM Snapshot ร่วมกับ Database Backup ให้เสริมกัน
• คำนวณ RPO/RTO จากความต้องการทางธุรกิจ
• เปรียบเทียบ pgBackRest กับ Barman เชิงแนวคิด

Section 12: Lab: Logical, Physical Backup และ PITR

• pg_dump / pg_restore และกรณีที่ยังเหมาะสม
• pg_basebackup แบบ Incremental ที่เพิ่มเข้ามาใน PostgreSQL 17 พร้อม pg_combinebackup
• ตั้งค่า WAL Archiving และกู้คืนแบบ Point-in-Time ด้วย recovery_target_time และ Timeline
• Lab: ทำ Incremental Backup แล้วรวมและกู้คืนบนเครื่องทดสอบ

Section 13: Lab: pgBackRest และ DR Drill

• Full, Differential และ Incremental Backup, Parallel Backup, Compression และ Encryption
• Retention Policy และ Repository บน S3-compatible Storage (MinIO)
• ตรวจความถูกต้องด้วย pgbackrest verify, pg_amcheck และ Data Checksums
• ขั้นตอนซ้อมกู้คืนระบบ วัด RTO จริง และกำหนดรอบทดสอบ Backup
• Lab: ตั้งค่า pgBackRest กับ MinIO และทำ Full Backup ของ NovaMart

Section 14: Security และ PDPA

• Row-Level Security (RLS) ตามผู้ใช้หรือ Tenant และผลกระทบต่อประสิทธิภาพ
• pgAudit และการกำหนดขอบเขต Audit ที่พอเหมาะ
• เข้ารหัสระดับคอลัมน์ด้วย pgcrypto และ Data Masking
• Checklist มาตรการทางเทคนิคสำหรับข้อมูลส่วนบุคคลตาม PDPA

Section 15: Workshop Day 3: กู้คืนหลังลบข้อมูลผิด

• วิทยากรจำลองเหตุลบข้อมูลคำสั่งซื้อผิดพลาดบน NovaMart
• หาเวลาที่เกิดเหตุจาก Log และกู้คืนแบบ PITR ด้วย pgBackRest ย้อนไปก่อนเกิดเหตุ
• ตรวจความถูกต้องของข้อมูลและวัด RTO ที่ทำได้จริง
• Workshop: เปิด RLS และ pgAudit กับตารางข้อมูลลูกค้า

Section 16: Streaming และ Logical Replication

• Streaming Replication แบบ Asynchronous และ Synchronous และผลต่อ Latency และ RPO
• Replication Slot ความเสี่ยงดิสก์เต็มจาก Slot ค้าง และ max_slot_wal_keep_size
• Logical Replication และ Failover ของ Logical Slot ที่เพิ่มเข้ามาใน PostgreSQL 17
• Lab: สร้าง Replica บน pg2 และวัด Replication Lag

Section 17: Lab: Automatic Failover ด้วย Patroni และ etcd

• สถาปัตยกรรม DCS, Leader Lock และการตั้งค่า patroni.yml
• ตั้ง etcd 3 โหนดบน pg1, pg2 และ infra
• ใช้ patronictl สำหรับ Automatic Failover และ Planned Switchover
• ปรับค่า PostgreSQL ผ่าน patronictl edit-config และสร้าง Replica ใหม่ด้วย Bootstrap ของ Patroni
• Lab: แปลง Primary เดิมให้อยู่ภายใต้ Patroni โดยไม่เสียข้อมูล

Section 18: Load Balancing และการป้องกัน Split-Brain

• HAProxy Health Check ผ่าน REST API ของ Patroni และแยก Port สำหรับ Read-Write และ Read-only
• วาง PgBouncer ร่วมกับ HAProxy และผลต่อการเขียนแอปพลิเคชัน
• Quorum ของ etcd และซ้อมกรณีเครือข่ายขาดด้วย ufw บน Ubuntu
• Lab: ตัดเครือข่ายโหนดหนึ่งแล้วตรวจว่าไม่เกิด Split-Brain

Section 19: Lab: Alerting และการวิเคราะห์ Log

• ตัวชี้วัดหลัก: Replication Lag, Connection Saturation, Transaction ID Age, Disk Usage และ Long-running Transaction
• เขียน Alert Rule ใน Prometheus และส่งแจ้งเตือนผ่าน Alertmanager
• ตั้งค่า Logging และวิเคราะห์ Log ด้วย pgBadger
• Lab: สร้าง Alert Rule ชุด HA และทดสอบให้แจ้งเตือนจริง

Section 20: Workshop Day 4: คลัสเตอร์ HA ของ NovaMart

• ขยายระบบเป็น Patroni (Primary บน pg1 และ Replica บน pg2) กับ etcd 3 โหนด
• วาง HAProxy และ PgBouncer ด้านหน้าคลัสเตอร์
• เพิ่ม Grafana Dashboard สำหรับสถานะคลัสเตอร์
• Workshop: ปิด Primary ระหว่างรัน pgbench วัดเวลา Failover และตรวจว่า Alert ทำงานถูกต้อง
• สรุปเวลา Failover, Replication Lag และผลกระทบต่อแอปพลิเคชันที่วัดได้ลง Workbook

Section 21: Lab: Upgrade และ Migration จาก 17 เป็น 18

• Minor Upgrade และวงจรเวอร์ชัน: PostgreSQL 17 ได้รับการสนับสนุนถึงพฤศจิกายน 2029 และ 18 ถึงพฤศจิกายน 2030
• Major Upgrade ด้วย pg_upgrade ในคลัสเตอร์ Patroni และข้อควรรู้ของ PostgreSQL 18 เช่น Data Checksums เป็นค่าเริ่มต้นและสถิติที่ย้ายมาด้วย
• Upgrade แบบหยุดระบบน้อยที่สุดด้วย Logical Replication และ pg_createsubscriber
• ซิงก์ข้อมูล ตรวจความถูกต้อง Cutover และแผน Rollback
• Lab: Upgrade คลัสเตอร์ NovaMart เป็น PostgreSQL 18

Section 22: Lab: Lock, Query และการใช้ทรัพยากร

• Lock Contention และ Deadlock: pg_locks, pg_blocking_pids, lock_timeout และ statement_timeout
• Long-running Transaction และ idle in transaction ที่ขวาง VACUUM
• Query ที่ใช้ทรัพยากรผิดปกติ และการยุติด้วย pg_cancel_backend และ pg_terminate_backend อย่างปลอดภัย
• Lab: ไล่หาต้นเหตุ Query ล็อกตารางจาก Grafana และ pg_stat_activity

Section 23: Troubleshooting และ Runbook

• ดิสก์เต็มจาก WAL, Log หรือ Replication Slot ค้าง: หาต้นเหตุและขั้นตอนแก้ไข
• Replication Lag สูง: แยกปัญหาเครือข่าย ดิสก์ และ Query ที่ค้างบน Replica
• ข้อมูลเสียหาย (Corruption): ตรวจด้วย pg_amcheck และทางเลือกกู้คืน (สาธิต)
• โครงสร้าง Runbook ที่ดี: อาการ วิธีตรวจ ขั้นตอนแก้ และเกณฑ์ Escalate
• จัดทำ Runbook สำหรับ 8 เหตุการณ์ที่พบบ่อย

Section 24: PostgreSQL บน Kubernetes (สาธิต)

• แนวคิด Kubernetes Operator และสาธิต CloudNativePG: สร้าง Cluster, Failover และ Backup ไป Object Storage
• เปรียบเทียบการดูแล PostgreSQL บน VM กับบน Kubernetes และเกณฑ์ตัดสินใจ
• ข้อควรพิจารณาเรื่อง Storage, Backup และ Major Upgrade เมื่อรันบน Kubernetes
• แนวทางย้ายฐานข้อมูลจาก VM ขึ้น Kubernetes

Section 25: Master Workshop: Game Day

• ผู้เรียนรวมทีมละ 3 คน รับมือเหตุการณ์ต่อเนื่องบนคลัสเตอร์ที่สร้างสะสมตั้งแต่วันที่ 1-4
• เหตุการณ์จำลอง: Primary ล่ม, Replication Lag สูง, Query ล็อกตาราง, ดิสก์ใกล้เต็ม และลบข้อมูลผิด
• ตรวจพบจาก Grafana และ Alert แล้วแก้ไขตาม Runbook
• กู้คืนด้วย pgBackRest และรายงานค่า RPO/RTO ที่ทำได้จริง
• สรุปบทเรียนและ Checklist สำหรับนำไปใช้กับระบบจริง