เมื่อเร็วๆ นี้ ทีมวิจัยและพัฒนาของ Homsh ได้ทำการผสานรวมแบบ Cascade สามระดับของโมดูลจับภาพตาข้างเดียว MD31, แพลตฟอร์มประมวลผล Edge RK3588 และบอร์ดเร่งความเร็ว FPGA AXU9EGB และได้เผยแพร่รายงานทางเทคนิคเป็นระยะๆ ตั้งแต่การจับภาพดวงตาแบบ Grayscale ขนาด 640x480 โดยกล้อง, การประเมินคุณภาพ, การระบุตำแหน่งม่านตา, การอนุมานคุณลักษณะ, การจับคู่แบบ 1:N, ไปจนถึงการแสดงผลการรู้จำบนหน้าจอ - กระบวนการทั้งหมดนี้ทำงานเต็มรูปแบบบนบอร์ดฮาร์ดแวร์สามบอร์ด
สำหรับ Homsh นี่เป็นมากกว่าการทดสอบการผสานรวมที่ประสบความสำเร็จอีกครั้ง มันหมายความว่าเราได้ย้ายความสามารถในการรู้จำม่านตาที่เคยทำงานบนพีซีอุตสาหกรรม Windows ไปยังสถาปัตยกรรม Edge ที่ใช้พลังงานต่ำกว่า, มีรูปแบบที่ยืดหยุ่นกว่า, และสามารถฝังลงในอุปกรณ์ปลายทางต่างๆ ได้
ระบบทั้งหมดใช้สถาปัตยกรรมแบบ Cascade: การจับภาพและตัดภาพโดยกล้อง MD31, การเข้าถึงและการส่งข้อมูลโดย RK3588, การอนุมานโดย AXU9EGB FPGA, และการแสดงผลย้อนกลับโดย RK3588 MD31 ส่งภาพตาข้างเดียวที่ตัดแล้วสำหรับตาทั้งซ้ายและขวา; RK3588 ทำงานบน Android ARM64 รับผิดชอบการจับคู่ตา, การจัดการงาน และการส่งข้อมูลเครือข่าย; FPGA จัดการ Quality Gate และอัลกอริทึมม่านตาทั้งหมด และส่งผลลัพธ์กลับไปยัง RK3588 เพื่อแสดงผล
การแบ่งงานนี้มีความหมายที่ลึกซึ้งกว่า: การจับภาพด้วยกล้องและการอนุมานด้วย FPGA ถูกแยกออกจากกันโดยสิ้นเชิง เชื่อมต่อด้วยชั้นความหมายของโปรโตคอลที่เป็นหนึ่งเดียว ภาพตาซ้ายและตาขวาแต่ละชุดจะเชื่อมโยงกับ ID การดำเนินการและหมายเลขลำดับที่เพิ่มขึ้นอย่างเคร่งครัด เพื่อให้แน่ใจว่าไม่มีความสับสนระหว่างเฟรมแสดงตัวอย่าง, เฟรมลองใหม่ และเฟรมจากงานก่อนหน้า ด้วยเหตุนี้ ทั้งโซลูชัน Windows เดิมของเราและโซลูชัน RK3588 ใหม่จึงใช้ชุดโปรโตคอล FPGA และคำจำกัดความผลลัพธ์การอนุมานชุดเดียวกัน โดยมีชุดบริการบนบอร์ดเดียวที่รองรับระบบโฮสต์สองรุ่น
ภาพรวมการไหลของข้อมูลของ Cascade สามระดับ
FPGA ส่งคืนสถานะคุณภาพ, ข้อมูลประจำตัวผู้สมัคร, คะแนนความคล้ายคลึง, ระยะห่าง, เกณฑ์ และระยะเวลาของแต่ละขั้นตอนร่วมกัน ทำให้กระบวนการรู้จำทั้งหมดมองเห็นได้ชัดเจนสำหรับผู้ใช้
ส่วนที่หนักที่สุดของกระบวนการอยู่ที่ AXU9EGB บนบอร์ด FPGA Zynq UltraScale+ MPSoC และเปิดใช้งานโดย Vitis AI 3.0 และการเร่งความเร็วฮาร์ดแวร์ DPU มันรับผิดชอบกระบวนการอนุมานเจ็ดขั้นตอนทั้งหมด: ตั้งแต่การตรวจสอบอินพุต, การระบุตำแหน่งรูม่านตาและม่านตาด้วยโมเดลวงกลมแบบหกพารามิเตอร์, Quality Gating, การคลี่พิกัดโพลาร์ของ Daugman, ไปจนถึงการสร้างคุณลักษณะม่านตา 512 มิติด้วยเครือข่าย Deep IResNet100, การจับคู่ 1:N หลังจากการทำให้เป็นมาตรฐาน L2, และสุดท้ายคือการส่งคืนผลลัพธ์พร้อมกับเวลาแฝงของแต่ละขั้นตอน
การเปิดใช้งานเครือข่าย Deep ร้อยชั้นเพื่อสกัดคุณลักษณะบน FPGA อย่างเสถียร อาศัยการจัดตำแหน่งที่แม่นยำระหว่างการควอนไทซ์โมเดล, ชุดข้อมูลการสอบเทียบ และการกระจายภาพจากกล้องจริง รวมถึงแบ็กเอนด์เร่งความเร็วแบบ Zero-copy ที่กำหนดเองสำหรับโมเดลวงกลม นี่คือสิ่งที่ Homsh ทำมาตลอด 15 ปี: การฝังอัลกอริทึมลงในฮาร์ดแวร์ เพื่อให้การรู้จำเกิดขึ้นใกล้กับอุปกรณ์มากที่สุด
กระบวนการอนุมานเจ็ดขั้นตอนบนบอร์ดบน FPGA
ภาพที่ล้มเหลวในการตรวจสอบคุณภาพจะถูกปฏิเสธในขั้นตอนที่สาม หลีกเลี่ยงการคำนวณคุณลักษณะที่สูญเปล่า เวกเตอร์คุณลักษณะม่านตา 512 มิติ - กระบวนการอนุมานเจ็ดขั้นตอนบนบอร์ด - ผ่านการทดสอบสะสม 326 ครั้ง
ในแง่ของตรรกะการใช้งาน ระบบยึดตามหลักการ "การลงทะเบียนที่เข้มงวด, การรู้จำที่ยืดหยุ่น" ในระหว่างการลงทะเบียน เทมเพลตตาซ้ายและตาขวาของผู้ใช้จะต้องผ่าน Quality Gate และได้รับการลงทะเบียนสำเร็จ; เฟรมที่ล้มเหลว, ตาข้างที่ซ้ำกัน และตาข้างที่ไม่รู้จักจะถูกยกเว้นจากการนับการลงทะเบียน ในทางตรงกันข้าม ในระหว่างการรู้จำ ตาซ้ายและตาขวาจะถูกอนุมานแยกกันและจับคู่แบบ 1:N กับเทมเพลตตาซ้ายและตาขวาในคลังเทมเพลตตามลำดับ การจับคู่จากภาพตาที่สอบถามเพียงตาเดียวกับเทมเพลตใดๆ จะส่งคืนผลลัพธ์ - ผู้ใช้ไม่จำเป็นต้องวางตำแหน่งทั้งสองตาสำหรับระบบ; ตาข้างใดก็ตามที่ถูกจับภาพจะถูกประมวลผล
ความล้มเหลวของคุณภาพ, การจับคู่ชั่วคราว หรือข้อผิดพลาดในการสื่อสารที่กู้คืนได้ จะไม่ทำให้งานสิ้นสุดลงอย่างกะทันหัน ระบบจะคงสถานะงานไว้และรอรับภาพชุดถัดไปต่อไป; หลังจากกู้คืนการเชื่อมต่อแล้ว ระบบจะดำเนินการต่อจาก ID การดำเนินการและหมายเลขลำดับที่ได้รับการยืนยัน โดยไม่ต้องส่งเฟรมที่ FPGA ได้รับแล้วใหม่ ทุกขั้นตอนของการรู้จำ - คุณภาพ, ความคล้ายคลึง, ระยะห่าง, เกณฑ์, เวลาแฝง - จะถูกส่งกลับไปยังอินเทอร์เฟซ ทำให้ความสำเร็จ, ความล้มเหลว และการลองใหม่มองเห็นได้สำหรับผู้ใช้
การลงทะเบียนต้องใช้เทมเพลตตาครบทั้งสองข้าง ในขณะที่การรู้จำต้องการเพียงการจับคู่จากตาข้างใดข้างหนึ่ง เพื่อสร้างสมดุลระหว่างความปลอดภัยและประสบการณ์ผู้ใช้
สิ่งที่เราภูมิใจที่สุดในรายงานฉบับนี้คือวิธีการของมัน ข้อสรุปการตรวจสอบแต่ละรายการจะถูกจัดหมวดหมู่อย่างชัดเจนเป็นสี่ประเภท: "ตรวจสอบแล้ว" สำหรับผลการทดสอบที่สามารถทำซ้ำได้, "ตรวจสอบแล้วในอดีต" จากบันทึกการผสานรวมก่อนหน้านี้, "อนุมานได้" มาจากตรรกะการใช้งาน, และ "รอการตรวจสอบ" ที่ระบุไว้อย่างตรงไปตรงมาสำหรับรายการที่ยังไม่ได้รับการยืนยันชั่วคราว การทดสอบอัตโนมัติ 176 รายการบนพื้นฐาน Windows ทั้งหมดผ่าน, การทดสอบ Python บนบอร์ด 150 รายการผ่าน, และฟังก์ชันการลงทะเบียน/การรู้จำและการกู้คืนการเชื่อมต่อเสร็จสิ้นการผสานรวม - ทั้งหมดนี้ถูกบันทึกไว้ในรายงาน รายการที่ยังไม่ได้ทดสอบซ้ำ ณ สถานที่จริงก็ถูกระบุว่าเป็น "รอการตรวจสอบ" อย่างชัดเจนเป็นลายลักษณ์อักษร โดยไม่มีความคลุมเครือ
การรู้จำม่านตาคือธุรกิจของการระบุตัวตน ไม่เหลือที่ว่างสำหรับ "อาจจะโอเค" การบันทึกความไม่แน่นอนเป็นลายลักษณ์อักษรคือความมุ่งมั่นของเราต่อลูกค้าของเรา และต่อตัวเราเอง
ตัวเลขสำคัญสามประการ: คุณลักษณะ 512 มิติที่สร้างขึ้นผ่านการเร่งความเร็ว DPU; การทดสอบอัตโนมัติพื้นฐาน Windows ทั้งหมด 176 รายการผ่าน; บันทึกการทดสอบ Python บนบอร์ด 150 รายการผ่าน
การตัดสินโดยรวมของรายงานคือโซลูชันปัจจุบันได้วางรากฐานสำหรับการสาธิตเป็นระยะ, การผสานรวม และการจัดทำเอกสาร โดยมีขอบเขตสถาปัตยกรรมที่ชัดเจน และสถาปัตยกรรมแบบ Cascade โดยรวมที่ทำได้ทางเทคนิค ลำดับความสำคัญต่อไปก็ชัดเจนเช่นกัน: ความเสถียรแบบ End-to-End, คุณภาพของภาพแบบเรียลไทม์, ความสอดคล้องของการคลี่พิกัดโพลาร์, และการตรวจสอบสถานะแบบวงปิดสำหรับการทำงานระยะยาว การย้ายกระบวนการจาก "ทำงานได้" ไปสู่ "เสถียรและน่าเชื่อถือ" และจากนั้นจึงเป็นผลิตภัณฑ์ที่พร้อมสำหรับการผลิต
ตั้งแต่ชิปรู้จำม่านตาที่พัฒนาเอง, ไปจนถึงการทำงานร่วมกันระหว่างซอฟต์แวร์และฮาร์ดแวร์ระหว่างอัลกอริทึมและ FPGA, ไปจนถึงกระบวนการรู้จำที่สมบูรณ์ในปัจจุบันที่ฝังอยู่ในอุปกรณ์ Edge, Homsh เชื่อเสมอว่าอนาคตของไบโอเมตริกซ์อยู่ที่ Edge รายงานฉบับนี้เป็นอีกก้าวหนึ่งสู่การบรรลุอนาคตนั้น
