Thiết kế hệ thống điều khiển camera nội soi mạng nơ ron học sâu - Trường Quốc tế - ĐHQGHN

Trong thời gian vừa qua, nhóm nghiên cứu gồm TS. Kim Đình Thái, TS. Lê Xuân Hải và các em sinh viên đến từ Trường Quốc tế – ĐHQG HN và Trường đại học Công nghiệp Hà Nội đã xây dựng thành công một mô hình hệ thống điều khiển tự động vị trí của camera nội soi dựa trên công nghệ xử lý ảnh và thị giác máy tính.
Kết quả nghiên cứu của đề tài là tiền đề để xây dựng hệ thống điều khiển cánh tay robot nhằm thay thế vai trò của người trợ lý giữ camera trong quá trình phẫu thuật nội soi Hình 1. Nhóm nghiên cứu gồm TS. Kim Đình Thái, TS. Lê Xuân Hải và các em sinh viên.
TS.Kim Đình Thái cho biết: “Để thực hiện mổ nội soi, bác sĩ cần có sự giúp đỡ của người trợ lý giữ camera trong suốt quá trình thực hiện phẫu thuật.
Tuy nhiên, do sự không hiểu ý giữa bác sĩ và trợ lý, cũng như sự run của tay, dẫn đến góc quan sát thường không tối ưu và không ổn định.
Để giải quyết vấn đề này, chúng tôi đã đề xuất một hệ thống tự động điều khiển vị trí của camera mà không cần tới sự tham gia của người trợ lý.
Hệ thống của chúng tôi gồm có một bộ Kit Jetson AGX Xavier và một cánh tay robot sáu bậc tự do có vai trò giữ camera nội soi.
Từ những hình ảnh thu được bởi camera, một thuật toán xử lý ảnh dựa trên mạng nơ ron học sâu được đề xuất để phát hiện vị trí của dụng cụ phẫu thuật có trong bức ảnh đó.
Sau đó, một thuật toán điều khiển cánh tay robot được đề xuất để đảm bảo vị trí của dụng cụ luôn nằm ở khu vực trung tâm của hình ảnh. Hình 2. Mô hình thực nghiệm Các kết quả thực nghiệm ban đầu trên mô hình hệ thống cho thấy, khả năng phát hiện dụng cụ của mô hình là khoảng 68.15% và tỉ lệ dự đoán chính xác của mô hình là khoảng 65.85%, tốc độ khung hình là 10.4 (FPS), và hệ thống có thể tự động điều khiển vị trí của camera theo sự di chuyển của dụng cụ nhằm đảm bảo vùng quan sát là tối ưu và ổn định.
TS. Kim Đình Thái cũng chỉ ra rằng “Trong thời gian tới, nhóm nghiên cứu sẽ tiếp tục cải thiện mô hình mạng nơ-ron học sâu, gia tăng tập dữ liệu huấn luyện và thay thế cánh tay robot đang sử dụng bởi một cánh tay robot thích hợp hơn cho sự dịch chuyển các hướng của camera thông qua một khe hở nhỏ và với các động cơ quay trơn hơn để tránh rung, giật trong quá trình điều khiển. Kim Đình Thái Khoa Các khoa học ứng dụng, Trường Quốc tế, Đại học Quốc Gia Hà Nội