Gần đây, nhóm nghiên cứu và phát triển của Homsh đã hoàn thành sự tích hợp ba tầng của mô-đun chụp thoáng kính MD31, nền tảng tính toán cạnh RK3588 và bảng gia tốc FPGA AXU9EGB,và phát hành một báo cáo kỹ thuật từng giai đoạnTừ việc chụp một hình ảnh mắt 640 × 480 màu xám bởi máy ảnh, thông qua đánh giá chất lượng, định vị iris, suy luận tính năng, 1: N phù hợp,để hiển thị kết quả nhận dạng trở lại màn hình toàn bộ đường ống này bây giờ chạy đầy đủ trên ba bảng phần cứng.
Đối với Homsh, đây không chỉ là một thử nghiệm tích hợp thành công khác.Nó có nghĩa là chúng tôi đã di chuyển khả năng nhận dạng mờ trước đây chạy trên máy tính Windows công nghiệp vào một kiến trúc cạnh với mức tiêu thụ năng lượng thấp hơn, các yếu tố hình thức linh hoạt hơn và khả năng được nhúng vào các thiết bị đầu cuối khác nhau.
Toàn bộ hệ thống áp dụng kiến trúc cascade: chụp và cắt bằng máy ảnh MD31, truy cập và truyền thông bằng RK3588, suy luận bằng AXU9EGB FPGA và phản hồi trực quan bằng RK3588.Các đầu ra MD31 cắt giảm hình ảnh một mắt cho cả hai mắt trái và phải; RK3588 chạy trên Android ARM64, chịu trách nhiệm cho việc ghép đôi ống nhòm, quản lý nhiệm vụ và truyền mạng; FPGA xử lý cổng chất lượng và tất cả các thuật toán iris,và gửi kết quả trở lại RK3588 để hiển thị.
Sự phân chia lao động này mang ý nghĩa sâu sắc hơn: chụp camera và suy luận FPGA được tách hoàn toàn, được kết nối bởi một lớp ngữ nghĩa giao thức thống nhất.Mỗi bộ hình ảnh mắt trái và phải được liên kết với một ID hoạt động và một số chuỗi tăng dần nghiêm ngặt, đảm bảo không có sự nhầm lẫn giữa khung xem trước, khung thử lại và khung từ các nhiệm vụ trước.cả giải pháp Windows cũ của chúng tôi và giải pháp RK3588 mới chia sẻ cùng một bộ giao thức FPGA và định nghĩa kết quả suy luận, với một bộ dịch vụ trên máy bay hỗ trợ hai thế hệ hệ máy chủ.
Dòng dữ liệu tổng thể của chuỗi ba cấp
FPGA trả về tình trạng chất lượng, danh tính ứng cử viên, điểm tương đồng, khoảng cách, ngưỡng và thời gian giai đoạn cùng nhau, làm cho toàn bộ quy trình nhận dạng có thể nhìn thấy đầy đủ cho người dùng.
Phần nặng nhất nằm trên AXU9EGB dựa trên bảng FPGA Zynq UltraScale + MPSoC, và được kích hoạt bởi Vitis AI 3.0 và gia tốc phần cứng DPU,nó thực hiện toàn bộ đường ống dẫn suy luận bảy bước: từ xác nhận đầu vào, xác định vị trí của học sinh và iris thông qua mô hình tròn sáu tham số, cổng chất lượng, giải nén tọa độ cực Daugman,đến 512 chiều tạo ra các tính năng iris bởi mạng sâu IResNet100, 1:N khớp sau khi bình thường hóa L2, và cuối cùng trả về kết quả cùng với độ trễ mỗi giai đoạn.
Cho phép một mạng lưới sâu trăm lớp để lấy ra các tính năng trên FPGA dựa trên sự liên kết chặt chẽ giữa định lượng mô hình, bộ dữ liệu hiệu chuẩn và phân phối hình ảnh máy ảnh thực,cũng như một tùy chỉnh không sao chép gia tốc backend cho mô hình hình trònĐây chính xác là những gì Homsh đã làm trong 15 năm: nhúng các thuật toán vào phần cứng, để nhận dạng xảy ra càng gần thiết bị càng tốt.
Bơm suy luận trên máy bay bảy bước trên FPGA
Hình ảnh không kiểm tra chất lượng được từ chối ở bước thứ ba, tránh tính toán tính năng lãng phí.Vector tính năng iris 512 chiều 7 bước dẫn đầu trên tàu 326 thử nghiệm tích lũy vượt qua
Về logic sử dụng, hệ thống tuân thủ nguyên tắc "đăng ký nghiêm ngặt, nhận dạng linh hoạt".cả hai mẫu mắt trái và phải của người dùng phải vượt qua cổng chất lượng và được đăng ký thành côngTrong quá trình nhận dạng, ngược lại, mắt trái và mắt phải được suy luận riêng biệt và khớp 1:N so với mẫu mắt trái và mắt phải trong thư viện mẫu tương ứng. Một sự khớp từ bất kỳ hình ảnh mắt truy vấn duy nhất với bất kỳ mẫu nào sẽ trả về kết quả. Người dùng không cần phải định vị cả hai mắt cho hệ thống; bất kỳ mắt nào được chụp được xử lý.
Các lỗi chất lượng, sự không phù hợp tạm thời hoặc lỗi liên lạc có thể phục hồi không đột ngột chấm dứt nhiệm vụ. Hệ thống giữ trạng thái nhiệm vụ và tiếp tục chờ đợi bộ hình ảnh tiếp theo;sau khi khôi phục kết nối, nó tiếp tục từ ID hoạt động và xác nhận số chuỗi mà không gửi lại khung đã nhận được bởi FPGA.độ trễ được đưa trở lại giao diện, làm cho sự thành công, thất bại và thử lại hiển thị cho người dùng.
Đăng ký đòi hỏi các mẫu ống nhòm hoàn chỉnh, trong khi nhận dạng chỉ cần một sự phù hợp từ một trong hai mắt, cân bằng an ninh và trải nghiệm người dùng.
Những gì chúng tôi tự hào nhất trong báo cáo từng giai đoạn này thực sự là phương pháp của nó. mỗi kết luận xác minh được phân loại rõ ràng thành bốn loại:"Historically Verified" từ các bản ghi tích hợp trước đó176 thử nghiệm tự động trên Windows cơ sở tất cả đều vượt qua,150 bài kiểm tra Python trên máy bay đã vượt qua, và các chức năng đăng ký / nhận dạng và khôi phục kết nối đã hoàn thành tích hợp tất cả đều được ghi lại trong báo cáo.Các mặt hàng chưa được kiểm tra lại tại chỗ cũng được đánh dấu rõ ràng "Được xác minh" màu đen và trắng, không có sự mơ hồ.
Nhận dạng tròng mắt là công việc của bản sắc, không để lại chỗ cho "có lẽ tốt".
Ba con số chính: Các tính năng 512 chiều được tạo ra thông qua tăng tốc DPU; tất cả 176 thử nghiệm cơ bản Windows tự động đã vượt qua; 150 bản ghi thử nghiệm Python trên máy bay đã vượt qua.
Phán quyết tổng thể của báo cáo là giải pháp hiện tại đã đặt nền tảng cho việc chứng minh, tích hợp và tài liệu theo từng giai đoạn,với ranh giới kiến trúc rõ ràng và kiến trúc cascade tổng thể khả thi về mặt kỹ thuậtƯu tiên tiếp theo cũng rõ ràng: ổn định từ đầu đến cuối, chất lượng hình ảnh thời gian thực, tính nhất quán giải nén tọa độ cực và giám sát trạng thái vòng kín cho hoạt động lâu dài,Di chuyển đường ống từ "hoạt động" đến "đứng vững và đáng tin cậy", và sau đó đến các sản phẩm sẵn sàng sản xuất.
Từ các chip nhận dạng iris tự phát triển, đến sự phối hợp phần mềm-phần cứng giữa các thuật toán và FPGA, đến hệ thống nhận dạng hoàn chỉnh hiện nay được nhúng trong các thiết bị cạnh,Homsh luôn tin rằng tương lai của sinh trắc học nằm ở rìaBáo cáo từng giai đoạn này là một bước nữa hướng tới tương lai đó.
