ภาพ Demo ที่ตรวจจับสินค้าได้ไม่กี่ชิ้นยังตอบไม่ได้ว่าระบบจะทำงานดีตลอดกะ การใช้ AI Vision ตรวจคุณภาพควรเริ่มด้วยการกำหนดว่า ความผิดพลาดแบบใดกระทบงานอย่างไร แล้วจึงออกแบบข้อมูลทดสอบและเกณฑ์ผ่านร่วมกับฝ่ายคุณภาพ
แนวทางต่อไปนี้เป็นรายการออกแบบการทดลอง ไม่ใช่เกณฑ์รับรองคุณภาพสากลหรือการรับประกันผลของโมเดลใด
นิยามของดีและของเสียให้ตรงกันก่อน
ให้ผู้รับผิดชอบคุณภาพเตรียมตัวอย่างพร้อมเหตุผล เช่น ซีลไม่สนิท ฉลากเอียง ขนาดผิด หรือชิ้นส่วนขาด สำหรับกรณีก้ำกึ่งต้องกำหนดผู้ตัดสินและวิธีบันทึก ไม่ควรปล่อยให้ผู้ติดป้ายข้อมูลแต่ละคนตีความต่างกัน
แยกงาน Object Detection ที่หาตำแหน่งหรือจำนวน ออกจากงานตรวจตำหนิที่อาจต้องดูรายละเอียดผิวหรือขอบซีล เพราะความละเอียดภาพ ตำแหน่งกล้อง และแสงที่เหมาะสมอาจต่างกัน
แยกข้อมูลฝึกและข้อมูลทดสอบตามหน้างาน
ถ้าภาพจากชิ้นงานเดียวกันหรือเฟรมติดกันอยู่ทั้งชุดฝึกและชุดทดสอบ ผลอาจดูดีเกินการใช้งานกับล็อตใหม่ ควรเก็บข้อมูลกำกับอย่างน้อยล็อต วันเวลา กล้อง สูตรผลิต และเงื่อนไขแสง เพื่อจัดชุดทดสอบที่ตรวจย้อนกลับได้
ลองกันบางล็อตหรือบางช่วงเวลาไว้เป็นชุดทดสอบที่ไม่ใช้ปรับระบบ และตรวจผลแยกตามสภาพจริง เช่น สินค้าสีเข้ม ผิวสะท้อน การเปลี่ยนกะ และความเร็วสายพาน
วัดข้อผิดพลาดสองด้านแยกกัน
ในบทความนี้กำหนดชื่อผลลัพธ์ให้ชัดดังตาราง โดยหน้างานต้องยืนยันนิยามเดียวกันก่อนทำรายงาน
| ตัวชี้วัด | นิยามที่ใช้ในโครงการ | |---|---| | ของเสียหลุด หรือ false accept | จำนวนชิ้นเสียที่ระบบยอมรับ หารด้วยจำนวนชิ้นเสียจริง | | ของดีถูกคัดทิ้ง หรือ false reject | จำนวนชิ้นดีที่ระบบปฏิเสธ หารด้วยจำนวนชิ้นดีจริง | | ไม่มั่นใจและส่งตรวจซ้ำ | จำนวนชิ้นที่ส่งคนตรวจ หารด้วยจำนวนชิ้นทั้งหมด | | เวลา end-to-end | ตั้งแต่จับภาพจนส่งผลถึงจุดตัดสินใจ |
ตัวอย่างสมมติ: ถ้ามีของเสียจริง 100 ชิ้นและระบบปล่อยผ่าน 3 ชิ้น อัตราของเสียหลุดตามนิยามนี้คือ 3% ตัวเลขนี้เป็นตัวอย่างการคำนวณ ไม่ใช่ผลทดสอบหรือเป้าหมายที่เหมาะกับทุกโรงงาน
แยกความแม่นยำโมเดลออกจากการทำงานทั้งระบบ
โมเดลอาจให้ผลถูกแต่ส่งผลช้าเกินจังหวะคัด หรือผลของชิ้นก่อนหน้าอาจไปผูกกับชิ้นถัดไป จึงควรทดสอบ trigger กล้อง รหัสชิ้นงาน เวลาเครือข่าย และการตอบกลับของชุดคัดด้วย
ทดสอบภาพเบลอ เลนส์สกปรก แสงดับ เครือข่ายหลุด และไม่มีสินค้าในภาพด้วย ระบบต้องมีสถานะที่แยกข้อขัดข้องออกจากการตัดสินว่าเป็นสินค้าดี
ใช้ shadow mode ก่อนให้ระบบควบคุมชุดคัด
ในระยะแรกให้ AI บันทึกผลโดยไม่สั่งชุดคัด แล้วเทียบกับผลตรวจอ้างอิง จากนั้นตกลงเกณฑ์เปิดใช้งาน วิธีหยุดใช้ และขั้นตอนกลับไปตรวจด้วยคน ผู้รับผิดชอบควรอนุมัติรุ่นโมเดลและการเปลี่ยน threshold ทุกครั้ง
การกำหนดบทบาทและการประเมินระบบตลอดการใช้งานสอดคล้องกับแนวทางจัดการความเสี่ยงของ NIST AI RMF ส่วนเกณฑ์ผ่านเชิงตัวเลขต้องออกแบบตามสินค้าและความเสี่ยงของหน้างาน
เริ่มดูภาพรวมได้ที่ บริการ AI และ Demo Center หรือ คุยเรื่องชุดข้อมูลและเกณฑ์ทดสอบ ก่อนเลือกกล้องหรือสั่งพัฒนาระบบ
