Module 13 · วัดให้ได้ว่าดีจริงไหม คุ้มจริงไหม — ไม่ใช่แค่ "รู้สึกว่า"
"ปรับ prompt แล้วรู้สึกว่าดีขึ้น" → ดีขึ้นจริง หรือบังเอิญ?
"model ใหม่ออกแล้ว ควรเปลี่ยนไหม" → เทียบด้วยอะไร?
"AI ช่วยประหยัดเวลาเยอะ" → เยอะเท่าไร คุ้มไหม?
"ระบบนี้ดีอยู่แล้ว" → เดือนหน้ายังดีอยู่ไหม?
ทั้ง 4 ข้อเป็นปัญหาเดียวกัน — ไม่มีเครื่องมือวัด
และเมื่อไม่มีเครื่องวัด การตัดสินใจจะกลายเป็นความรู้สึก ซึ่งเข้าข้างสิ่งที่เราลงแรงไปแล้ว
Eval Set = ชุดตัวอย่างที่มีคำถาม + เกณฑ์ว่าคำตอบแบบไหนถือว่าผ่าน
เก็บไว้ถาวร รันซ้ำทุกครั้งที่เปลี่ยนอะไร
40%
Typical
เคสปกติ
30%
Edge
ข้อมูลไม่ครบ
20%
Adversarial
เคยพังมาแล้ว
10%
ควรปฏิเสธ
ต้องบอกว่าทำไม่ได้
15–20 ตัวอย่างพอแล้ว · คนลืมกลุ่มสุดท้ายบ่อยที่สุด — ระบบที่ตอบทุกอย่างด้วยความมั่นใจคือระบบอันตราย
เขียนเกณฑ์ก่อนดูคำตอบ
ไม่งั้นจะปรับเกณฑ์ให้เข้ากับสิ่งที่ได้โดยไม่รู้ตัว
รันชุดเดิมทุกครั้ง
เปลี่ยนชุด = เทียบไม่ได้
เก็บผลทุกครั้ง
วันที่ · model · เวอร์ชัน prompt · คะแนน
พังเมื่อไร เพิ่มเคสนั้นเข้าชุด
Eval set จะโตตามความล้มเหลวที่เจอ
Eval set คือทรัพย์สินที่มีค่าที่สุดในระบบ AI ของคุณ — มีค่ากว่า prompt เสียอีก
ปริมาณมาก โครงสร้างชัด
→ model เล็ก/เร็ว · ความสามารถส่วนเกินไม่ช่วย
วิเคราะห์ซับซ้อน หลายขั้น
→ model ใหญ่สุด · ความผิดพลาดแพงกว่าค่าใช้จ่าย
ผู้ใช้รออยู่
→ model เร็ว · ความเร็วคือประสบการณ์ผู้ใช้
การเงิน กฎหมาย ลูกค้า
→ model ใหญ่ + คนตรวจ · อย่าประหยัดตรงนี้
เมื่อ model ใหม่ออก — ทำแค่นี้
รัน eval set เดิม → เทียบคะแนน/ต้นทุน/ความเร็ว → ดูเฉพาะเคสที่ต่างกัน
ดีขึ้นน้อยกว่า 10% และต้องแก้ prompt เยอะ = ยังไม่ต้องเปลี่ยน
มักลืมนับ 4 อย่าง
3 ระดับของมูลค่า
1 · ประหยัดเวลา — วัดง่าย มูลค่าต่ำสุด
2 · ตัดสินใจดีขึ้น/เร็วขึ้น
3 · ทำสิ่งที่เดิมทำไม่ได้เลย — สูงสุด
ถ้าโครงการอยู่แค่ระดับ 1 ทั้งหมด — พิจารณาใหม่ว่าคุ้มไหม
และต้องถามด้วยว่า เวลาที่ประหยัดได้ เอาไปทำอะไร — ถ้าไม่ได้สร้างมูลค่าต่อ ก็ประหยัดแค่บนกระดาษ
ความถี่ — สัปดาห์ละครั้งขึ้นไป = 2 คะแนน
เกณฑ์ "ดี" ชัดไหม — เขียนเป็นข้อได้ = 2
ต้นทุนเมื่อผิด — แก้ได้ง่าย = 2
ข้อมูลพร้อมไหม — มีครบเข้าถึงได้ = 2
8–10
ทำเลย
5–7
ทำได้ แต่ต้องมีคนตรวจ
0–4
แก้ปัญหาต้นทางก่อน
สัญญาณว่าไม่ควรใช้ AI: ถ้าทีมยังเถียงกันว่าอะไรคือ "งานที่ดี" — AI จะขยายความไม่ชัดเจนนั้น ไม่ใช่ทำให้หายไป
สาเหตุที่ระบบเสื่อมโดยไม่มีใครรู้
model เปลี่ยนเวอร์ชันโดยไม่แจ้ง · ไฟล์ต้นทางเพิ่มคอลัมน์ · ธุรกิจเปลี่ยนจนเกณฑ์เดิมไม่ตรง · คนใช้ผิดจุดประสงค์แต่ยังได้ผลลัพธ์ออกมา
📊
QUALITY
คะแนน eval รายเดือน
💰
COST
ต้นทุนต่อครั้ง + แนวโน้ม
👥
USAGE
มีคนใช้จริงไหม
ระบบที่ไม่มีใครใช้ = ต้นทุนล้วน — และต้องมีเกณฑ์เลิกใช้ที่เขียนไว้ล่วงหน้าด้วย
1 · Baseline
ตอนนี้รู้ได้อย่างไรว่ามันดี — ตอบตามจริง
2 · สร้าง Eval Set
15 เคส ตามสัดส่วน 40/30/20/10
3 · รันและวิเคราะห์
หา pattern ของความผิด ไม่ใช่แค่รายงานคะแนน
4 · ROI
นับต้นทุนแฝงครบ 4 ข้อ
5 · Fit Score 3 งานถัดไป
ต้องมี 1 งานที่ตัดสินว่าไม่ควรใช้ AI
6 · เกณฑ์เลิกใช้
เกิดอะไรขึ้นถึงจะยอมปิดระบบนี้
ส่วนที่ 6 แยกคนที่คิดเป็นระบบ ออกจากคนที่หลงรักเครื่องมือที่ตัวเองสร้าง
เหลือขั้นสุดท้าย — ประกอบทุกอย่างจาก M01–M13 เป็นระบบเดียว ที่แก้ปัญหาจริงของธุรกิจคุณ
ถัดไป → Module 14 · Capstone — Personal AI System