A Deep Learning Approach for Inertial Sensor-based Handwriting Recognition &amp; Reconstruction
Ein Deep Learning-Ansatz für inertialsensorgetriebene Handschrifterkennung &amp; Rekonstruktion
Creators: name: Wehbi, Mohamad
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2024

description: Handwriting recognition has been an active research area for several decades. The research in this field emerged with a focus on recognizing text acquired from scanned images and further evolved to the interpretation of handwritten text on touch screens of mobile devices. The state-of-the-art (SOTA) in this domain has advanced progressively to the point where, nowadays, such recognition systems enable highly accurate recognition of unconstrained handwriting, which includes writing in any style, cursive or print. However, there is a lack of research on recognition systems not limited to text acquired from images or smart devices, but rather reliant only on digital pens. A system based on a digital pen removes the requirement of having a digital writing surface. With the utilization of inertial measurement unit (IMU) sensors, such a system can track the movements of the pen, enabling the possibility of recognizing handwriting on regular paper. Throughout the past years, limited research has been done in this area, with the presented solutions failing to achieve adequate recognition rates. Furthermore, these solutions have been constrained to classify small sets of isolated characters and have failed to generalize to different users. This work aims to exceed the limitations within this research field by introducing a surface-free handwriting digitization system using an IMU-enhanced pen that enables unconstrained text recognition on paper. This thesis presents three contributions toward this goal. The first contribution introduced a classifier capable of accurately recognizing isolated characters written on paper [P1]. The presented classifier achieved improved recognition rates of characters written by unfamiliar users and demonstrated the capability of developing an end-to-end (E2E) deep learning (DL)-based system that was able to map raw data, recorded by the pen, into digital text. The second contribution extended the individual character classification to unconstrained word recognition [P2]. With the utilization of DL algorithms, a system that enabled segmentation-free word recognition written on paper was presented. The system showed the capability to recognize text in the form of random words written by unknown individuals. Although the word recognition system permitted the interpretation of handwritten text, it was limited to a pre-defined alphabet and lacked a visual representation of what was written. To derestrict the system from the fixed character set and enable visualization, the third contribution presented a novel DL-based regression model that enabled the reconstruction of the path of the pen tip [P3]. The system demonstrated the possibility of generating movement displacements in an E2E manner without having to manually transform and align the retraced coordinates. In summary, this work expands on the handwriting recognition field in terms of application areas, particularly in the area of IMU-based pen systems. It shows that, with the right tools and methods, the field can move towards the development of systems that enable real-time digitization of handwritten text on regular paper.
description: Die Handschrifterkennung ist seit mehreren Jahrzehnten ein aktives Forschungsgebiet. Die Forschung auf diesem Gebiet konzentrierte sich zunächst auf die Erkennung von Text von gescannten Bildern und entwickelte sich dann weiter zur automatischen Erkennung von handgeschriebenem Text auf Touchscreens von Mobilgeräten. Heutzutage können solche Erkennungssysteme eine hochpräzise Erkennung von Handschriften aller Art ermöglichen, sowohl kursiv als auch gedruckt. Andererseits fehlt es an Forschungsarbeiten zu Erkennungssystemen, die sich nicht auf Text beschränken, der von Bildern oder intelligenten Geräten erfasst wird, sondern sich ausschließlich auf digitale Stifte stützen. Bei einem System, das auf einem digitalen Stift basiert, ist keine digitale Schreibfläche mehr erforderlich. Durch den Einsatz von IMU-Sensoren kann ein solches System die Bewegungen des Stifts verfolgen und so die Möglichkeit bieten, Handschrift auf normalem Papier zu erkennen. In diesem Bereich existierten bisher nur wenig Forschungsarbeiten, wobei die vorgestellten Lösungen keine ausreichenden Erkennungsraten erzielten. Darüber hinaus waren diese Lösungen auf die Klassifizierung kleiner Mengen isolierter Zeichen beschränkt und konnten nicht für verschiedene Benutzer verallgemeinert werden. Diese Arbeit zielt darauf ab, die Beschränkungen in diesem Forschungsbereich zu überwinden, indem ein oberflächenfreies Handschrift-Digitalisierungssystem mit einem IMU-verstärkten Stift eingeführt wird, das eine uneingeschränkte Texterkennung auf Papier ermöglicht. In dieser Arbeit werden drei Beiträge zu diesem Ziel vorgestellt. Im ersten Beitrag wurde ein Klassifikator vorgestellt, der in der Lage ist, isolierte, auf Papier geschriebene Zeichen genau zu erkennen [P1]. Der vorgestellte Klassifikator erzielte verbesserte Erkennungsraten von Zeichen, die von unbekannten Benutzern geschrieben wurden. Der Klassifikiator demonstrierte die Möglichkeit zur Entwicklung eines E2E auf DL-basierenden Systems, das in der Lage ist, mit dem Stift aufgezeichnete Rohdaten in digitalen Text umzuwandeln. Der zweite Beitrag erweiterte die individuelle Zeichenklassifizierung auf die uneingeschränkte Worterkennung [P2]. Unter Verwendung von DL-Algorithmen wurde ein System vorgestellt, das eine segmentierungsfreie Erkennung von auf Papier geschriebenen Wörtern ermöglicht. Das System zeigte die Fähigkeit, Text in Form von zufälligen Wörtern zu erkennen, die von unbekannten Personen geschrieben wurden. Obwohl das Worterkennungssystem die Interpretation von handgeschriebenem Text ermöglichte, war es auf ein vordefiniertes Alphabet beschränkt und es fehlte eine visuelle Darstellung des Geschriebenen. Um das System von dem festen Zeichensatz zu befreien und eine visuelle Darstellung zu ermöglichen, wurde im dritten Beitrag ein neuartiges DL-basiertes Regressionsmodell vorgestellt, das die Rekonstruktion des Weges der Stiftspitze ermöglichte [P3]. Das System ist in derLage, Bewegungsabläufe auf E2E Weise zu generieren, ohne die zurückverfolgten Koordinaten manuell transformieren und ausrichten zu müssen. Zusammenfassend lässt sich sagen, dass diese Arbeit den Bereich der Handschrifterkennung in Bezug auf die Anwendungsgebiete erweitert, insbesondere im Bereich der IMU-basierten Stiftsysteme. Sie zeigt, dass das Feld mit den richtigen Werkzeugen und Methoden die Entwicklung von Systemen vorantreiben kann, die eine Echtzeit-Digitalisierung von handgeschriebenem Text auf normalem Papier ermöglichen.