RECOGNITION OF HANDWRITTEN TEXTS IN KAZAKH-RUSSIAN BASED ON NEURAL NETWORKS
Authors: Тойганбаева Н.А. , Алимова А.Н. , Сакыпбекова М.Ж. , Гусманова Ф.Р. , Әбдіманап Ғ.С. 
Published: July 2024

Мақалада кириллица графикасына негізделген қазақ және орыс тіліндегі қолжазбаны тануға рекурентті нейронды желілерді қолдану қарастырылды. Қолжазба мәтіндерін тану мәтін жазылған қағаздысканерлеуден, алынған ақпаратты мәтіндерге және бейнелерге бөлуден, қолжазбалардыинтеллектуалды тану үшін әдістерді қолданудан және нәтижелерді өңдеуден тұратын күрделі құрылымдыүдеріс. Бұл ғылыми жұмыста A. Abdallah ұсынған толық жабық конволюциялық нейрондық желілер негізінде құрылған жаңа моделді пайдаланылып, қазақ және орыс қолжазба мәтінін тану мәселесі шешіліп, нәтижелерге талдау жасалды. Жұмыста Gated-CNN-BGRU(CCN, convolutional neural networks, bidirectional gated recurrent unit, конволюциялық нейрондық желілер-екі бағытты басқарылатын блок) архитектурасына негізделген модель сипатталып, қолжазба тану бойынша таңбалар қатесінің жиілігі, сөздер қатесінің жиілігі және сөйлемдер қатесінің жиілігі есептелді. Қолжазбанытану жүйелерін оқыту және сынау үшін қазақ және орыс тіліндегі HKR(Handwritten Kazakh & Russian) және KOHTD (Kazakh Offline HandwrittenText Dataset) қолжазба деректер жиыны алынды. Ұсынылған модель Python үшін TensorFlow кітапханасын қолдана отырып жүзеге асырылды.

В статье рассмотрено использование рекурентных нейронных сетей для распознавания рукописного ввода на казахском и русском языках на основе кириллической графики. Распознавание рукописных текстовпредставляет собой сложный структурированный процесс, состоящий из сканирования бумаги с текстом, разделения полученной информации на тексты и изображения, использования методов интеллектуального распознавания рукописей и обработки результатов. В этой научной работе была решена проблема распознавания казахского и русского рукописного текста с использованием новой модели глубокой нейронной сети на основе полностью закрытого CNN, предложенного Abdallah, и проведен анализ результатов.В работе была описана модель, основанная на архитектуре Gated-CNN-BGRU(CCN, convolutional neural networks, Bidirectional gated recurrent unit, сверточные нейронные сети-двунаправленный управляемый блок), и рассчитана частота ошибок символов, частота ошибок слов и частота ошибок предложений по распознаванию рукописных текстов. Для обучения и тестирования систем распознавания рукописей использованы наборы рукописных данных HKR(Handwritten Kazakh & Russian) и KOHTD (Kazakh Offline Handwritten Text Dataset) на казахском и русском языках. Предложенная модель была реализована с использованием библиотеки TensorFlow для Python.

The article considers the use of recurrent neural networks for handwriting recognition in Kazakh and Russian languages based on Cyrillic graphics. Handwritten text recognition is a complex structured process consisting of scanning paper with text, dividing the received information into texts and images, using methods of intelligent recognition of manuscripts and processing the results. In this scientific work, the problem of recognition of Kazakh and Russian handwritten text was solved using a new deep neural network model based on a fully closed CNN proposed by Abdallah, and the results were analyzed. The paper describes a model based on the Gated-CNN-BGRU architecture (CCN, convolutional neural networks, Bidirectional gated recurrent unit), and calculates the error rate of characters, the error rate of words and the error rate of sentences for recognizing handwritten texts. Russian and Kazakh handwritten data sets HKR (Handwritten Kazakh & Russian) and KOHTD (Kazakh Offline Handwritten Text Dataset) in Kazakh and Russian were used for training and testing of manuscript recognition systems. The proposed model was implemented using the TensorFlow library for Python.