Smart Meeting Attendance Checking Based on A multi-biometric Recognition System

Multimodal biometric can address some of the restrictions of the unimodal biometric by the combination of multi-biometric information for the same person in the decision-making operation. In this regard, the development in deep learning technologies has been employed in the multimodal biometric system. The deep learning techniques in object detection, such as face recognition and voice identification, are become more popular. Meeting Attendance checking carry out a very important role in meeting management. The manual checking attendance such as calling names or sign-in sheets is time-consuming. Face recognition and voice identification can be applied for attendance checks based on deep learning techniques. This paper presents an automatic multimodal biometric attendance checking system using Convolutional Neural Networks (CNN). The system uses a known dataset for the meeting participants, to train the CNN algorithm with a known set of input data. A computer with a high-quality webcam is used during the meeting attendance check, the system detects the attender face and voice then compares it with the known dataset, whenever matched, the attendee’s name will be recorded in an excel file. The final result is an excel file with all attendance names. The result of the system shows that the proposed CNN architectures attained a high accuracy. Furthermore, this result could be beneficial in student attendance records, particularly in surveillance and person identification systems. Streszczenie. Biometria multimodalna może rozwiązać niektóre ograniczenia biometrii unimodalnej poprzez połączenie informacji multibiometrycznych dotyczących tej samej osoby w operacji podejmowania decyzji. W związku z tym rozwój technologii głębokiego uczenia się został wykorzystany w multimodalnym systemie biometrycznym. Coraz popularniejsze stają się techniki uczenia głębokiego w wykrywaniu obiektów, takie jak rozpoznawanie twarzy i identyfikacja głosu. Sprawdzanie obecności na spotkaniach pełni bardzo ważną rolę w zarządzaniu spotkaniami. Ręczne sprawdzanie obecności, takie jak wywoływanie nazwisk lub arkusze logowania, jest czasochłonne. Rozpoznawanie twarzy i identyfikacja głosu mogą być stosowane do sprawdzania obecności w oparciu o techniki głębokiego uczenia się. W artykule przedstawiono automatyczny multimodalny biometryczny system sprawdzania obecności z wykorzystaniem Convolutional Neural Networks (CNN). System wykorzystuje znany zbiór danych dla uczestników spotkania, aby wytrenować algorytm CNN ze znanym zbiorem danych wejściowych. Podczas sprawdzania obecności na spotkaniu używany jest komputer z wysokiej jakości kamerą internetową, system wykrywa twarz i głos uczestnika, a następnie porównuje je ze znanym zestawem danych, po dopasowaniu nazwisko uczestnika zostanie zapisane w pliku Excel. Ostatecznym wynikiem jest plik Excela ze wszystkimi nazwami obecności. Wynik działania systemu pokazuje, że proponowane architektury CNN osiągnęły wysoką dokładność. Ponadto wynik ten może być korzystny w rejestrach obecności uczniów, zwłaszcza w systemach nadzoru i identyfikacji osób. (Inteligentne sprawdzanie obecności na spotkaniach w oparciu o multi-biometryczny system rozpoznawania)