Thuật toán huấn luyện và kiến trúc phần cứng hiệu quả cao cho Spiking Neural Networks với trọng số tam phân - Viện Công nghệ Thông tin - Đại học Quốc gia Hà Nội

Trang chủ / Tin khoa học công nghệ / Thuật toán huấn luyện và kiến trúc phần cứng hiệu quả cao cho Spiking Neural Networks với trọng số tam phân Trong những năm gần đây, mạng nơ ron sâu (Deep Neural Network – DNN) đã có những đóng góp quan trọng trong những ứng dụng của học máy như nhận dạng ảnh [1, 2, 3], nhận dạng vật thể [4, 5], xử lý ngôn ngữ tự nhiên [6, 7] và thông hiểu cảnh quan [8]. Tuy nhiên quá trình thực thi các mạng nơ ron sâu và phức tạp thường yêu cầu rất nhiều năng lực tính toán của phần cứng, đồng thời tiêu tốn nhiều năng lượng.
Một hướng nghiên cứu để giải quyết vấn đề trên là áp dụng mạng nơ ron xung (Spiking Neural Network -SNN). SNN đã được ứng dụng rất rộng rãi trong các mô hình để mô phỏng và tìm hiểu cách thức não bộ con người hoạt động.
Trong những năm gần đây, SNN đã trở thành một mô hình tính toán mới với hiệu quả năng lượng cao cho các ứng dụng của học máy, với các ưu điểm về việc có thể giúp giảm độ phức tạp tính toán mà vẫn đảm bảo độ chính xác của ứng dụng.
Tuy nhiên thách thức chính của mạng SNN là việc tìm ra một thuật toán huấn luyện cho SNN hiệu quả, yêu cầu tốn ít bộ nhớ và có thể thực thi được trên các nền tảng phần cứng nhúng.
Để giải quyết khó khăn nêu trên, nhóm nghiên cứu của phòng Công nghệ mạng và Truyền thông, Viện Công nghệ Thông tin, Đại học quốc gia Hà Nội đã đề xuất một thuật toán huấn luyện ngoại tuyến với SNN, với các trọng số của mạng được biểu diễn dưới dạng tam phân (được thể hiện với 2-bit). Thuật toán đề xuất giúp giảm yêu cầu bộ nhớ lên đến 16 lần so với việc lưu trữ các trọng số với độ chính xác dấu phẩy động.
Ngoài ra, qua kết quả mô phỏng phần mềm trên tập dữ liệu nhận dạng chữ số viết tay MNIST và nhận dạng ảnh CIFAR10, kết quả cho thấy thuật toán huấn luyện đề xuất có thể đạt độ chính xác tương đương với các thuật toán huấn luyện hang đầu hiện nay cho SNN. Hình 1 mô tả lưu đồ của thuật toán huấn luyện đề xuất.
Hình 1 Thuật toán huấn luyện đề xuất.
Để đánh giá và kiểm tra hiệu quả của thuật toán huấn luyện đề xuất, nhóm nghiên cứu đã thiết kế và phát triển thành công một kiến trúc phần cứng với hiệu quả cao, yêu cầu công suất thấp và chi phí phần cứng thấp.
Kết quả thực thi phần cứng cho thấy mức tiêu thụ năng lượng của kiến trúc đề xuất đạt mức 74nJ/ảnh, tốt hơn từ 2-3 lần so với các công trình công bố trước đây.
Hình 2 mô tả layout của kiến trúc phần cứng khi được thực thi trên công nghệ 65nm của TSMC. Hình 2 Layout của thiết kế kiến trúc phần cứng.
Kết quả của công trình nghiên cứu đã được đăng trên tạp chí Microprocessor and Microsystems (SCIE) vào ngày 05/02/2022. Đường link của bài báo có thể được tìm thấy ở đây: https://doi.org/10.1016/j.micpro.2022.104458 Bài viết cùng chủ đề: Từng bước hiện thực hóa thỏa thuận hợp tác với trường Đại học Công nghệ Thông tin và Truyền thông (ĐH Thái Nguyên) Vi mạch Mạng nơ-ron xung (SNN) – Xu hướng tất yếu trong phát triển chip AI hiện đại Viện Công nghệ Thông tin góp phần đưa hai lĩnh vực của ĐHQGHN vào Top 500 thế giới theo bảng xếp hạng QS 2025 Seminar về công nghệ Gate-All-Around tại ĐHQGHN thu hút đông đảo chuyên gia và sinh viên Chuẩn đoán bệnh võng mạc đái tháo đường từ ảnh võng mạc Hội thảo “Một số thành tựu mới về máy tính thế hệ tương lai Sự kiện mới nhất Seminar “Distributed Information fusion for multitarget tracking Call-for-Paper: ICTA 2025 Seminar “The Road to Gate-All-Around and Its Impact on Analog Design“ Tin tức mới nhất Thông báo tuyển sinh đào tạo tiến sĩ đợt 1 năm 2025 21/03/2025 Từng bước hiện thực hóa thỏa thuận hợp tác với trường Đại học Công nghệ Thông tin và Truyền thông (ĐH Thái Nguyên) 21/03/2025 Vi mạch Mạng nơ-ron xung (SNN) – Xu hướng tất yếu trong phát triển chip AI hiện đại 14/03/2025 Viện Công nghệ Thông tin góp phần đưa hai lĩnh vực của ĐHQGHN vào Top 500 thế giới theo bảng xếp hạng QS 2025 13/03/2025 Seminar về công nghệ Gate-All-Around tại ĐHQGHN thu hút đông đảo chuyên gia và sinh viên 13/03/2025 Luận án tiến sĩ của nghiên cứu sinh Nguyễn Anh Chuyên 06/03/2025 Viện Công nghệ Thông tin tuyển sinh chương trình đào tạo tiến sĩ Công nghệ Thông tin 03/03/2025 Viện Công nghệ Thông tin và Học viện Tài chính thúc đẩy hợp tác đào tạo nguồn nhân lực Công nghiệp bán dẫn và Khoa học dữ liệu 27/02/2025