M12 · Multi-Modal AI1 / 10
จบบทนี้ → เข้าใจ AI ระดับ Top 6% (ประมาณการตามเกณฑ์ของหลักสูตรนี้)
AI { }
AI MASTERY COURSE · COURSE 2 · MODULE 12

Multi-Modal AI

Module 12 · ทำงานกับภาพ เสียง เอกสาร — โดยข้อมูลไม่หายระหว่างทาง

M12 · Multi-Modal AI2 / 10
ปัญหาที่ต้องแก้

การบังคับทุกอย่างให้เป็นข้อความ

วิธีที่คนส่วนใหญ่ทำ

ภาพ → [แปลงเป็นคำบรรยาย] → ข้อความ → [AI วิเคราะห์] → ข้อความ
    └─ เสียข้อมูลไป 90% ตรงนี้ ─┘

วิธีที่ถูก

ภาพ → [AI อ่านภาพตรงๆ] → ข้อมูลมีโครงสร้าง → [วิเคราะห์]
     └─ แปลงครั้งเดียว จุดที่ตรวจสอบได้ ─┘

ทุกครั้งที่แปลงรูปแบบข้อมูล ข้อมูลหายไปบางส่วนเสมอ — คำถามคือหายส่วนไหน และสำคัญไหม

M12 · Multi-Modal AI3 / 10
AI "เห็น" อย่างไร

4 จุดที่ AI อ่านภาพผิดบ่อย

ภาพใหญ่ → รายละเอียดเล็กหาย

แก้ — crop เฉพาะส่วนที่ต้องการก่อนส่ง

นับของเกิน 10 ชิ้น ผิดบ่อย

แก้ — อย่าให้ AI นับ ใช้วิธีอื่น

เดาต่อจากบริบท

แก้ — สั่งว่า "อ่านไม่ออกให้เขียน UNREADABLE"

ตารางหัวซ้อน → จับคู่ผิด

แก้ — ขอผลเป็นโครงสร้าง แล้วสุ่มตรวจ 2–3 แถว

กฎเหล็ก: ถ้าต้องการตัวเลขถูก 100% — ห้ามให้ AI อ่านภาพแล้วสรุปเอง
ให้ สกัดออกมาเป็นข้อมูลมีโครงสร้างก่อน แล้วให้โปรแกรมคำนวณ

M12 · Multi-Modal AI4 / 10
CROSS-MODAL PIPELINE

โครงสร้างที่ใช้ได้จริง

ข้อมูลเข้า
→
สกัดออกมา
→
ข้อมูลมีโครงสร้าง
→
วิเคราะห์
→
ผลลัพธ์

ทำไมต้องมีขั้นกลางที่มีโครงสร้าง

  • ตรวจได้ว่าอ่านถูกไหม ก่อนวิเคราะห์ต่อ
  • แยก "อ่านผิด" ออกจาก "วิเคราะห์ผิด" ได้
  • ใช้ซ้ำได้ ไม่ต้องอ่านภาพใหม่ — ประหยัดมาก

จุดตรวจอยู่ตรงกลาง ไม่ใช่ตอนท้าย — ตรวจตอนท้ายคือตรวจสายเกินไป

M12 · Multi-Modal AI5 / 10
ตัวอย่างจริง

ใบเสร็จกระดาษ 30 ใบ → รายงาน

1

ถ่ายรูปใบเสร็จ

2

AI สกัด → วันที่ · ร้าน · ยอด · หมวด · ความมั่นใจ

✓

ตรวจ — ยอดรวมตรงกับที่นับมือไหม · มีใบไหนความมั่นใจต่ำ

4

โปรแกรมคำนวณสรุป — ไม่ใช่ AI

5

AI เขียนคำอธิบายจากตัวเลขที่คำนวณแล้ว

สังเกตว่า AI ไม่ได้บวกเลขเลย — AI อ่านและเขียน แต่โปรแกรมคำนวณ

M12 · Multi-Modal AI6 / 10
LOSSY BOUNDARY

จุดที่ห้ามแปลง

ภาพ → คำบรรยาย

หาย — การจัดวาง สี สัดส่วน รายละเอียดเล็ก

เสียง → ข้อความ

หาย — น้ำเสียง จังหวะ การเน้น ความลังเล

ตาราง → ความเรียง

หาย — ความสัมพันธ์ระหว่างแถวกับคอลัมน์

วิดีโอ → ภาพนิ่ง

หาย — การเคลื่อนไหว ลำดับเวลา

⚠️ เกมกระซิบ — ปัญหาที่พบบ่อยในระบบหลาย agent

Agent ตัวที่ 3 ตัดสินใจจากคำบรรยายของคำบรรยายของภาพ — ผิดสะสมทุกชั้น
ทางแก้: เก็บต้นฉบับไว้เสมอ ให้ agent ที่ต้องการรายละเอียดย้อนไปดูเอง

M12 · Multi-Modal AI7 / 10
AGENT MESSAGE PROTOCOL

Agent ต่าง Modality คุยกันอย่างไร

1

ส่งที่อยู่ของไฟล์ ไม่ใช่ส่งคำบรรยาย

ปลายทางที่ต้องการรายละเอียด เปิดต้นฉบับได้เอง

2

แนบความมั่นใจและที่มาเสมอ

ปลายทางจะได้รู้ว่าควรเชื่อแค่ไหน และควรตรวจซ้ำไหม

3

ประกาศความสามารถให้ชัด

"ฉันรับภาพและ PDF · คืนข้อมูลมีโครงสร้าง · ทำเสียงไม่ได้"

2 ฟิลด์ที่ป้องกันปัญหาใหญ่ที่สุด unreadable_fields : ["กำไร_Q3"] ← บอกว่าอ่านไม่ออกตรงไหน
do_not_infer_missing : true   ← ห้ามปลายทางเดาข้อมูลที่หาย
M12 · Multi-Modal AI8 / 10
เลือกให้ถูกงาน

งานไหน ใช้อะไร

อ่านเอกสารสแกน

ภาพ → ข้อมูลมีโครงสร้าง · อย่าสรุปตรงจากภาพ

ตรวจแบบ/ผังโครงการ

ถามเฉพาะจุด · อย่าถาม "วิเคราะห์ภาพนี้"

สรุปประชุม

เสียง → ถอดข้อความ → สกัด · แนบรายชื่อและศัพท์เฉพาะ

เทียบงานออกแบบหลายชิ้น

ส่งทุกภาพพร้อมกัน + เกณฑ์ · อย่าดูทีละภาพ

เคล็ดลับเรื่องเสียง: ส่งรายชื่อคน ชื่อโครงการ และศัพท์เฉพาะไปพร้อมไฟล์เสียงเสมอ — ลดความผิดพลาดได้มาก

M12 · Multi-Modal AI9 / 10
EXERCISE M12

ออกแบบ Pipeline ข้ามรูปแบบข้อมูล

1 · Modality Audit

งานไหนที่มีภาพ/เสียง/เอกสาร แต่ตอนนี้ใช้แค่ข้อความ

2 · Pipeline Design

ระบุขั้นกลางที่มีโครงสร้าง + จุดตรวจ

3 · Lossy Boundary

ต้องมี 1 จุดที่ตัดสินใจไม่แปลง + เหตุผล

4 · Message Protocol

ออกแบบรูปแบบข้อความระหว่าง agent 3 ตัว

5 · Test Case — ต้องมีกรณี "ผลลัพธ์ดูถูกแต่ผิดจริง" และวิธีตรวจจับ

M12 · Multi-Modal AI10 / 10
MODULE 12 · จบแล้ว

ระบบทำงานกับข้อมูลทุกรูปแบบได้แล้ว

แต่รู้ได้อย่างไรว่ามันทำงานดีจริง? Module 13 จะให้เครื่องมือวัด — และวิธีตอบคำถามว่า คุ้มหรือไม่

ถัดไป → Module 13 · AI Strategy & Evaluation