LETTER AND LINE DETECTION ALGORITHM IN TEXT IMAGES TYPED BY PRINTED BRAILLE FONT
Authors: Якушева С.Ф. 
Published: July 2021

Предложен простой алгоритм детекции букв и выделения строк на сканах и фотографиях текстов, набранных печатным шрифтом Брайля, при помощи оконных свёрток. Алгоритм изначально разрабатывался для автоматической и полуавтоматической разметки датасетов для обучения распознающих нейронных сетей со сложными архитектурами для существенного ускорения процесса подготовки данных. Он основан на специфичности этого шрифта, в котором каждая буква кодируется комбинацией выпуклых точек, расположенных в узлах прямоугольной решетки. Для распознавания букв используется оконный фильтр, подобранный для обнаружения пар букв в строке, с пороговым отсечением. Затем жадным алгоритмом выделяются центры пар соседних букв. Далее при помощи взвешенных расстояний для каждой точки ищутся две ближайшие и соединяются ребрами во вспомогательном графе. Точки, входящие в одну компоненту связности в этом графе, объединяются в строку и выравниваются для улучшения качества итогового распознавания. Обнаруженные буквы затем могут быть декодированы, например, при помощи классифицирующих нейронных сетей или других анализирующих алгоритмов, и переведены в текст в соответствии с положениями в распознанных строках. Алгоритм не накладывает очень жестких ограничений на входное изображение и допускает уточнение параметров в соответствии с форматом шрифта, однако он неустойчив к перспективным искажениям и сильным деформациям и требует дополнительных корректировок при распознавании участков текста с небольшим числом выпуклых точек. Метод хорошо подходит для сканированных изображений и в дальнейшем при помощи качественной предобработки может быть обобщен для работы с фотографиями

The article gives a simple algorithm for detecting letters and highlighting lines on scans and photographs of texts typed in braille using window convolutions. The algorithm was originally developed for automatic and semi-automatic marking of datasets for training recognizing neural networks with complex architectures to significantly speed up the data preparation process. It is based on the specificity of this font, in which each letter is encoded by a combination of uplifted points located at the nodes of a rectangular lattice. For letter recognition, a window filter is used, matched to detect pairs of letters in a line, with a threshold cutoff. Then the centers of pairs of adjacent letters are allocated by a greedy algorithm. Next, using the weighted distances for each point, the two nearest are searched and connected by edges in an auxiliary graph. Points included in one connected component in this graph are combined into a line and aligned to improve the quality of the final recognition. The detected letters can then be decoded, for example, using classifying neural networks or other analyzing algorithms, and translated into text according to the positions in the recognized strings. The algorithm does not impose strict restrictions on the input image and allows the parameters to be refined in accordance with the font format; however, it is unstable to perspective distortions and strong deformations and requires additional adjustments when recognizing areas of text with a small number of uplifted points. The method is well suited for scanned images and, with the help of high-quality preprocessing, can be generalized to work with photographs