СИСТЕМА И СПОСОБ СКАНИРОВАНИЯ И КОПИРОВАНИЯ
SYSTEM AND METHOD FOR SCANNING AND COPYING

Изобретение относится к системам и способам сканирования и копирования с коррекцией искажений на основе восстановления трехмерной модели сканируемой поверхности объектов в переплете.
При сканировании и копировании объекта в переплете практически невозможно получить результирующее изображение без геометрических искажений (дисторсии) и затемнения в области переплета. В связи с этим в настоящее время актуальна проблема коррекции искажений в отсканированных изображениях, например в текстовых, с целью последующего распознавания текста, поскольку системы распознания текста могут работать только с неискаженным изображением текста.
При сканировании объектов в переплете, например книг, на планшетном сканере искажения в отсканированном изображении объекта, а именно дисторсия и затемнение, возникают в области переплета и вызваны неплотным прилеганием поверхности сканируемого объекта к подложке сканера, вдоль которой сканируется объект. Кроме того, возможно присутствие искажений, связанных с поворотом объекта на подложке сканера.
Существующие системы для сканирования и копирования книг, имеющие в своем составе планшетный сканер, можно разделить на 3 группы:
- модифицирующие устройство сканера в целом и сканирующей головки и осветителя в частности для минимизации искажений в районе переплета,
- восстанавливающие форму трехмерной поверхности объекта со стороны подложки сканера на основе анализа сканированного искажения и корректирующие искажения на основе информации о трехмерной поверхности,
- измеряющие форму трехмерной поверхности объекта со стороны подложки сканера с помощью дополнительных устройств-датчиков и корректирующие искажения на основе информации о трехмерной поверхности.
К первой группе относится решение, описанное в заявке США № 20040190960 [1]. В ней предлагается модификация осветителя и расположение подложки в край корпуса сканера, а также специальная форма корпуса сканера. За счет предложенных модификаций достигается значительное уменьшение величины искажений, но они не исключаются вовсе. Недостатком устройства является невозможность сканирования одновременно двух страниц объекта в переплете.
Ко второй группе относится заявка США №20030198398 [2], в которой по сканированному изображению объекта анализируют характер и величину перспективных искажений и на основании этих данных делают оценку формы трехмерной поверхности объекта над подложкой сканера. Способ коррекции искажений основан на информации о трехмерной поверхности. Недостатками способа являются его относительно низкая точность, а также то, что он предназначен для коррекции только текстовых документов, причем строки текста должны быть приблизительно параллельны направлению движения сканирующей головки, иное расположение объекта не допускается. Кроме того, данный способ предполагает использование значительных ресурсов памяти.
Заявленное изобретение можно отнести к третьей группе. Наиболее близкими к заявленному изобретению являются устройство и способ коррекции изображения при копировании, описанные в патенте США № 5276530 [3]. В этом изобретении с помощью датчика высоты, встроенного в сканирующую головку, определяют и сохраняют в памяти данные о расстоянии от страниц объекта до подложки сканера. Таким образом, измеряют форму трехмерной поверхности. В патенте отсутствует подробное описание способа коррекции, только общие идеи, но очевидно, что для коррекции всех возможных типов искажений требуется предварительное сканирование с сохранением карты высот, что увеличивает время копирования и требует дополнительного объема памяти для хранения карты высот. Кроме того, для реализации устройства требуется прецизионный бесконтактный датчик расстояния с высокой локальностью, что ведет к удорожанию устройства.
Задачей заявленного изобретения является создание системы и способа сканирования и копирования предпочтительно для объекта в переплете, которые позволяют за счет использования двух дополнительных цифровых камер низкого разрешения и способа анализа их снимков увеличить точность определения областей искажений объекта вблизи переплета и в процессе коррекции строить трехмерную модель поверхности объекта со стороны подложки сканера, корректировать искажения объекта в области переплета, причем расширить число типов корректируемых искажений, увеличить скорость выполнения способа за счет возможности определения области искажения изображения объекта и данных для коррекции искажений до сканирования и за счет однократного прохода сканирующего устройства вдоль объекта сканирования, а также позволяет упростить техническую реализацию системы коррекции с незначительными затратами за счет возможности формирования системы на базе существующих планшетных сканеров и камер низкого разрешения.
Технический результат достигается за счет создания системы сканирования и копирования, которая содержит связанные между собой шиной данных сканер, первую камеру, вторую камеру, процессор, память программ, память данных и внешнее устройство, причем сканер имеет подложку, на которой размещается и вдоль которой сканируется объект, первая и вторая камеры расположены на противоположных друг другу боковых сторонах сканера напротив линии изгиба объекта в переплете, а объективы камер расположены с боковой стороны объекта, непосредственно напротив торцов переплета, при этом камеры выполнены с возможностью получения снимков объекта с боковых сторон в области изгиба страниц вблизи переплета, память программ содержит средство установления коррекции, выполненное с возможностью установления параметров и способа коррекции изображения, процессор имеет модуль коррекции искажений, выполненный с возможностью формирования трехмерной модели сканируемой поверхности объекта на основании данных, характеризующих форму изгиба страниц объекта вблизи переплета, анализа каждой отсканированной строки изображения объекта и в случае необходимости коррекции в каждой отсканированной строке искажений с использованием данных трехмерной модели сканируемой поверхности.
Для функционирования системы существенно, чтобы сканер был выполнен планшетным с системой зеркал, объективом и ПЗС-матрицей.
Для функционирования системы важно, чтобы подложка сканера была выполнена из стекла или другого прозрачного материала.
Для функционирования системы целесообразно, чтобы камеры являлись цифровыми камерами низкого разрешения.
Для функционирования системы необходимо, "чтобы объект сканирования размещался на подложке в развернутом виде, причем страницы объекта прижаты к подложке.
Для функционирования системы существенно, чтобы объект сканирования размещался на подложке сканера таким образом, чтобы линия переплета объекта была расположена приблизительно параллельно сканирующей головке сканера.
Для функционирования системы важно, чтобы объект сканирования размещался на подложке сканера таким образом, чтобы линия переплета объекта была расположена приблизительно перпендикулярно сканирующей головке сканера.
Для функционирования системы целесообразно, чтобы для облегчения позиционирования объекта на подложке сканера и на корпусе сканера наносилась метка.
Для функционирования системы необходимо, чтобы рядом с каждой из камер был расположен по меньшей мере один осветитель, выполненный с возможностью включения во время съемки объекта камерой и освещения объекта со стороны камеры.
Для функционирования системы существенно, чтобы камеры были встроены в корпус сканера или подсоединялись к сканеру на момент сканирования объекта.
Для функционирования системы важно, чтобы камеры были расположены под углом от 0 до 60 градусов к подложке сканера.
Для функционирования системы необходимо, чтобы в качестве внешнего устройства система содержала по меньшей мере одно устройство, выбранное из группы, включающей монитор, принтер, компьютер или другие аналогичные устройства.
Поставленная задача решена также путем создания способа сканирования и копирования, который включает в себя следующие операции:
- снимают первой камерой объект, при этом получают первый снимок объекта с первой боковой стороны;
- записывают полученный первый снимок объекта в память данных;
- определяют в модуле коррекции искажений процессора наличие искажений вблизи переплета на первом снимке объекта из памяти данных в соответствии с параметрами, полученными из средства установления коррекции, при этом определяют наличие зазора между объектом и подложкой и данные, характеризующие форму изгиба страниц объекта вблизи переплета с первой боковой стороны, в случае если объект не имеет искажений вблизи переплета, сканируют объект сканером и выводят изображение объекта на внешнее устройство, в случае если объект имеет искажения вблизи переплета:
- сохраняют в памяти данных данные, характеризующие форму изгиба страниц объекта вблизи переплета с первой боковой стороны;
- снимают второй камерой объект, при этом получают второй снимок объекта со второй боковой стороны;
- определяют в модуле коррекции искажений процессора из второго снимка и сохраняют в памяти данных данные, характеризующие форму изгиба страниц объекта вблизи переплета со второй боковой стороны;
- вычисляют размер буфера строк в памяти данных, необходимый для коррекции одной строки сканированного изображения;
- сканируют объект сканером, сохраняя в буфере строк строки сканированного изображения, до тех пор, пока не будет обнаружен край страницы объекта со стороны сканирующей головки и координаты двух его угловых вершин в соответствии с параметрами и способом коррекции, установленными в средстве установления коррекции;
- вычисляют из данных о форме изгиба страниц, полученных с первого и второго снимков, остальные координаты вершин страниц, длину и ширину страницы, определяют области, в которых присутствуют искажения, и формируют трехмерную модель поверхности объекта со стороны подложки сканера;
- сканируют объект сканером и корректируют искажения в каждой отсканированной строке изображения в модуле коррекции искажений в соответствии с параметрами и способом коррекции, установленными в средстве установления коррекции, при этом используют данные трехмерной модели сканируемой поверхности;
- выводят скорректированное изображение объекта на внешнее устройство.
Для функционирования способа существенно, чтобы во время съемки камерой объекта освещали объект, по меньшей мере, одним осветителем со стороны камеры.
Для функционирования способа важно, чтобы определяли в модуле коррекции искажений процессора наличие искажений вблизи переплета на снимке объекта первой камерой из памяти данных в соответствии с параметрами, полученными из средства установления коррекции, для этого находили расстояния от подложки до поверхности объекта со стороны подложки для всех столбцов изображения снимка, далее находили максимум в массиве расстояний, который соответствует точке стыка страниц в области переплета, и анализируют характер массива с целью выявления присутствия на изображении раскрытого переплета объекта и соответственно, присутствия искажений вблизи переплета.
Для функционирования способа необходимо, чтобы определяли по снимку объекта второй камерой расстояния от подложки до поверхности объекта со стороны подложки для всех столбцов изображения снимка, далее находили максимум в массиве расстояний, который соответствует точке стыка страниц в области переплета.
Для функционирования способа существенно, чтобы определяли данные, характеризующие форму изгиба страниц объекта вблизи переплета, для этого два массива расстояний от подложки до поверхности объекта, полученные со снимков двух боковых камер, преобразовывали в четыре массива координат краев страниц объекта со стороны камер.
Для функционирования способа необходимо, чтобы преобразовывали массивы координат краев страниц из системы координат изображений, снятых камерами, в систему координат сканера.
Для функционирования способа целесообразно, чтобы вычисляли размер буфера строк в памяти данных, необходимый для коррекции одной строки сканированного изображения на основе данных о форме изгиба страниц объекта вблизи переплета и координатах точек стыка страниц в области переплета.
Для функционирования способа существенно, чтобы поиск края страницы объекта со стороны сканирующей головки и координат двух его угловых вершин включал следующие операции:
- бинаризирование изображения из буфера строк по пороговому значению яркости, найденному с помощью алгоритма Otsu (James R. Parker, Algorithms for Image Processing and Computer Vision, 1996, John Wiley & Sons) [4];
- выделение бинарного объекта и его границы;
- определение координаты резкого изменения функции границы объекта.
Для функционирования способа важно, чтобы вычисляли остальные координаты вершин страниц, длину и ширину страницы, определяют области, в которых присутствуют искажения, а также углы поворота страниц на основе координат вершин края страницы со стороны сканирующей головки и данных о форме изгиба страниц объекта вблизи переплета.
Для функционирования способа существенно, чтобы корректировали искажения в следующем порядке:
- корректировали перспективные искажения,
- поворачивали изображения страниц, причем углы поворота для каждой страницы могли различаться,
- корректировали геометрические искажения, вызванные изгибом страниц,
- корректировали яркостные искажения.
Для функционирования способа необходимо, чтобы корректировали в каждой строке отсканированного изображения из буфера памяти данных перспективные искажения независимо от других строк, при этом для коррекции использовали двумерную функцию зависимости смещения проекции точки поверхности объекта от координаты проекции и расстояния до данной точки от подложки сканера, которое вычисляли исходя из трехмерной модели поверхности объекта со стороны подложки.
Для функционирования способа существенно, чтобы двумерную функцию зависимости смещения проекции точки поверхности объекта от координаты проекции и расстояния до данной точки от подложки сканера вычисляли теоретически из характеристик оптической системы сканера или определяли экспериментально в процессе калибровки, которую выполняли однократно для конкретной модели сканера.
Для функционирования способа важно, чтобы корректировали поворот страниц, при этом использовали билинейную или бикубическую интерполяцию.
Для функционирования способа существенно, чтобы корректировали геометрические искажения, вызванные изгибом страниц, при этом вычисляли значения расстояния от подложки сканера до поверхности объекта для каждой пары соседних точек двух соседних строк буфера строк, затем на отрезке между данными точками отсчеты выбирают с шагом в единицу длины системы координат сканера, в результате чего определяли координату текущей точки в отсканированном изображении, по которой из изображения путем линейной интерполяции по соседним пикселам вычисляли значения цветовых составляющих RGB текущей точки.
Для функционирования способа необходимо, чтобы корректировали яркостные искажения, при этом пиксел изображения из цветовой системы RGB конвертировали в цветовую систему, одна из составляющих которой кодирует яркость, а две другие кодируют цвет, далее корректировали значение яркости, используя функцию зависимости значения яркости скорректированного пиксела от значения яркости исходного пиксела и расстояния от подложки сканера до проецируемой точки на поверхности объекта, затем конвертировали значение пиксела обратно в цветовую систему RGB.
Для функционирования способа существенно, чтобы перед выводом изображения на внешнее устройство преобразовывали координаты пикселов скорректированного изображения в координаты внешнего устройства.
Техническим результатом заявленного изобретения является повышение качества коррекции отсканированного изображения, расширение числа типов корректируемых искажений, увеличение точности определения областей искажений, а также уменьшение времени сканирования и копирования.
Для более глубокого понимания заявленного изобретения далее приводится его подробное описание и чертежи.
Фиг.1. Блок-схема системы сканирования и копирования согласно изобретению.
Фиг.2. Внешний вид системы сканирования и копирования согласно изобретению.
Фиг.3. Блок-схема основных этапов способа сканирования и копирования согласно изобретению.
Фиг.4. Сканированное изображение объекта.
Фиг.5. Схема возникновения перспективных искажений в планшетном сканере.
Фиг.6. График яркости фона для страницы объекта вблизи корешка.
Фиг.7. Схема боковых сторон объекта в системе координат камер согласно изобретению.
Фиг.8. Блок-схема этапов анализа изображения боковой стороны объекта согласно изобретению.
Фиг.9. Схема страниц объекта в системе координат сканера согласно изобретению.
Фиг.10. Блок-схема этапов коррекции согласно изобретению.
Фиг.11. Изображение шаблона, использовавшегося для оценки перспективных искажений.
s
c
s
Фиг.12. График зависимости величины смещения вдоль оси Y от высоты zи координаты y.
Фиг.13. Блок-схема алгоритма коррекции перспективных искажений согласно изобретению.
Фиг.14. Блок-схема алгоритма коррекции геометрических и яркостных искажений, вызванных изгибом страниц, согласно изобретению.
Фиг.15. Пример коррекции с рядом упрощений изложенного алгоритма.
На Фиг.1 показана блок-схема системы сканирования и копирования согласно изобретению. Система сканирования и копирования содержит сканер 1, первую камеру 2, вторую камеру 3, процессор 4, содержащий модуль 5 коррекции изображений, память 6 данных, память 7 программ, содержащую средство 8 установления коррекции, внешнее устройство 9 и шину 10 данных. Работа системы управляется процессором 4. Камеры 2 и 3 расположены на противоположных друг другу боковых сторонах сканера 1, напротив линии изгиба объекта в переплете, а объективы камер расположены с боковой стороны объекта, непосредственно напротив торца переплета. При этом камера 2 и камера 3 выполнены с возможностью получения снимка объекта в области изгиба страниц вблизи переплета. Средство 8 установления коррекции выполнено с возможностью установления параметров и способа коррекции изображения. Модуль 5 коррекции искажений выполнен с возможностью анализа снимка объекта и коррекции искажений отсканированного изображения объекта. Обмен данными между сканером 1, камерой 2 и камерой 3, процессором 4, памятью 6 данных, памятью 7 программ и внешним устройством 9 осуществляется по шине 10 данных. При сканировании обработка выполняется для буфера из нескольких строк изображения.
Фиг.2 иллюстрирует возможный вариант внешнего вида системы сканирования и копирования и показывает взаимное расположение подложки 11, камеры 2, камеры 3 и объекта 12. Объект 12 сканирования располагают на подложке 11 планшетного сканера 1 в развернутом виде страницами вниз, а страницы объекта 12 прижаты к подложке 11. Причем объект 12 располагают на подложке 11 торцом переплета напротив метки 13 на корпусе сканера 1, а страницы объекта 12 расположены параллельно границам подложки 11. Для облегчения позиционирования на границы подложки 11 и на корпус сканера 1 наносят метки 13 или используют ограничители. На противоположных друг другу боковых сторонах сканера 1, напротив линии изгиба объекта в переплете расположены камеры 2 и 3, а объективы камер расположены с боковых сторон объекта, непосредственно напротив торца переплета. В данном варианте системы камеры 2 и 3 являются черно-белыми или цветными цифровыми камерами низкого разрешения, а сканер 1 является традиционным планшетным сканером с системой зеркал, объективом и ПЗС-матрицей. Поле зрения камеры 2 и камеры 3 таково, чтобы вся область изгиба страниц вблизи переплета объекта 11 с каждой боковой стороны попадала на снимки камер 2 и 3. Размер снимка камер по горизонтали 10-12 см достаточен для книг и аналогичных переплетенных объектов до формата A3. Угол наклона камеры 2 и камеры 3 к плоскости подложки 11 сканера 1 устанавливается в диапазоне от 0 до 60 градусов и зависит от оптической системы камер и дизайна внешнего вида системы в целом. Объективы камеры 2 и камеры 3 расположены с боковых сторон объекта вдоль линии переплета. Камеры 2 и 3 могут быть встроены в корпус сканера 1 или подсоединяться на момент сканирования.
Важно отметить, что использование камер 2 и 3 является естественным способом для оценки трехмерной модели поверхности изогнутых страниц объекта 12 вблизи переплета. Далее будет показано, что данное техническое решение позволяет получать трехмерную карту (модель) сканируемой поверхности объекта, а также определять и корректировать геометрические и яркостные искажения отсканированного изображения объекта вблизи переплета путем определения и обработки данных трехмерной карты (модели) сканируемой поверхности, характеризующих форму изгиба страниц объекта вблизи переплета.
s
На боковых сторонах сканера 1, рядом с камерами 2 и 3 расположены боковые осветители 14 и 15 камеры 2 и камеры 3 соответственно, которые включают во время съемки объекта 12 камерой 2 или камерой 3 и создают освещение такое, что каждая боковая часть объекта 12 освещается, а остальная часть остается темной или наоборот. Сканирующая головка 16 сканера 1 движется вдоль оси X параллельно подложке 11 сканера 1. Сверху объект 12, расположенный на подложке 11, накрывают крышкой 17 для прижатия объекта 12 к подложке 11 сканера 1. Скорректированное отсканированное изображение объекта 12 выводят на внешнее устройство 9, которым в данном варианте системы является принтер, встроенный в корпус сканера 1. На Фиг.1 показан выходной лоток 18 печатающего устройства.
На Фиг.1 также обозначены системы координат, используемые в описании ниже:
s
s
s
XYZ - система координат сканированного изображения объекта;
c
c
XZ - система координат изображений боковых сторон объекта, снятых камерами;
p
p
XY - система координат напечатанного скорректированного изображения объекта.
На Фиг.3 приведена блок-схема основных этапов способа сканирования и копирования объектов в переплете согласно изобретению. Сначала ориентируют объект 12 на подложке 11 сканера 1, закрывают крышку 17 сканера 1 и дают команду на копирование объекта 12, после чего включают боковой осветитель 14 камеры 2, снимают камерой 2 объект 12, при этом получают первый снимок объекта 12 с первой боковой стороны (шаг 1). Сохраняют полученный первый снимок объекта в памяти данных 6. Определяют в модуле 5 коррекции искажений процессора 4 наличие искажений вблизи переплета на первом снимке объекта 12 из памяти 6 данных в соответствии с параметрами, полученными из средства 8 установления коррекции, при этом определяют наличие зазора между объектом 12 и подложкой 11 и форму изгиба страниц вблизи переплета (шаг 2). В случае, если объект 12 не имеет искажений вблизи переплета, сканируют объект 12 сканером 1 без коррекции искажений (шаг 3) и выводят изображение объекта на внешнее устройство 10 (шаг 4). В случае если объект 12 имеет искажения вблизи переплета, определяют из первого снимка и сохраняют в памяти данных 6 данные, характеризующие форму изгиба страниц объекта 12 вблизи переплета с первой боковой стороны (шаг 3). Включают боковой осветитель 15 камеры 3 и снимают камерой 3 объект 12, при этом получают второй снимок объекта со второй боковой стороны (шаг 5). Определяют из второго снимка и сохраняют в памяти 6 данных данные, характеризующие форму изгиба страниц объекта 12 вблизи переплета со второй боковой стороны (шаг 6).
r
r
На основании данных, характеризующих форму изгиба страниц объекта вблизи переплета с первой и второй боковых сторон, вычисляют размер буфера строк N - число соседних сканированных строк изображения объекта, которые необходимо накопить и сохранить в памяти данных для того, чтобы скорректировать одну строку изображения объекта. При отсутствии глобального скоса и относительного разворота страниц N равно 2.
Далее (шаг 7) объект сканируют, накапливая в буфере строки сканированного изображения. Эти строки анализируются с целью нахождения края страницы и координат двух угловых вершин, по которым с помощью данных об изгибе вычисляют координаты вершин страниц, длину и ширину страницы, определяют области, в которых присутствуют искажения.
Сканируют объект 12 сканером 1, при этом корректируют искажения в модуле 5 коррекции искажений в соответствии с параметрами и способом коррекции, установленными в средстве 8 установления коррекции, при этом используют данные трехмерной модели сканируемой поверхности (шаг 8). Выводят скорректированное отсканированное изображение объекта 12 на внешнее устройство 10 (шаг 4).
Заявленный способ копирования и сканирования может применяться для коррекции искажений, которым подвержено изображение сканируемого объекта, например книги, положение которой отображено на Фиг.1.
s
s
Фиг.4 демонстрирует один из вариантов сканированного изображения объекта в системе координат XY с введенными условными обозначениями. Для облегчения восприятия обозначений темный фон изображения удален.
s
В общем случае, объект может быть ориентирован непараллельно границам стекла сканера, т.е. иметь глобальный скос. Тогда угол между прямой, проходящей через точки CD, и осью Y не будет равен нулю. Из-за неравномерного прижатия объекта крышкой сканера и разной высоты переплета с противоположных сторон объекта возможен относительный разворот страниц объекта. В общем случае углы разворота каждой страницы относительно переплета могут различаться. Далее, говоря об относительном угле поворота страниц, для страницы А будем иметь ввиду угол между прямыми, проходящими через точки CD и EF, а для страницы В - угол между прямыми, проходящими через точки CD и GH.
s
s
s
Вдоль линии сканирования, задаваемой головкой сканирования, т.е. вдоль оси Y, возникают перспективные искажения, которые выражаются в смещении изображений участков объекта, отстоящих от стекла сканера (т.е. имеющих Z, не равное нулю), ближе к центру сканирующей головки (показана на Фиг.4 штриховой линией) и, соответственно, уменьшения размера этих участков вдоль оси Y. Причиной перспективных искажений являются особенности устройства планшетных сканеров, поясняемые ниже.
На Фиг.5 дается упрощенное представление процедуры сканирования, осуществляемой планшетным сканером, с пояснением характера возникающих перспективных искажений в выбранной системе координат. Источник 19 света облучает поверхность объекта, неплотно прижатого к подложке 11 сканера, вследствие чего образуется изгиб 20 поверхности. Наблюдаемое вдоль некоторой выбранной линии 21 сканирования излучение отражается зеркалом 22 и после прохождения через линзовую систему 23 регистрируется ПЗС-матрицей 24 прибора. В идеальном случае регистрации подлежит лишь излучение, сосредоточенное в плоскости 25 сканирования. В реальных же условиях итоговое изображение оказывается подверженным влиянию следующих факторов:
а) проксимальный характер излучения, т.е. источник 19 света располагается в непосредственной близости от подложки 11 сканера, что влечет за собой зависимость результирующей световой интенсивности от угла наклона поверхности страницы;
б) переотражение, т.е. луч света, отраженный от одной страницы объекта, претерпевает отражение от другой страницы;
в) источник света находится в движении в процессе сканирования;
г) нарушение диффузного характера отражения поверхностью объекта;
д) неоднородность альбедо по поверхности объекта.
Вышеназванные факторы существенно затрудняют восстановление трехмерного профиля страницы 405 лишь на основании данных о распределении яркости в обрабатываемом изображении.
Перспективные искажения, изображенные на чертеже в форме проекционных линий, соединяющих точки на плоскости сканирования с фокусирующей линзой, выражаются в смещении изображений участков объекта, отстоящих от стекла сканера ближе к центру сканирующей головки. Проекционные линии показаны на Фиг.5 в упрощенной форме, минуя зеркальный отражатель. Чем дальше фрагмент поверхности объекта отстоит от стекла сканера, тем сильнее он смещается к центру. У боковых сторон сканера эффект смещения наибольший, в центре смещение отсутствует (соответствует схематически различным проекционным точкам на поверхности линзы).
s
Причиной геометрических искажений вдоль оси X является то, что изображение изогнутой трехмерной модели поверхности страницы объекта проецируется на плоскость подложки сканера.
В общем случае характер яркостных и цветовых искажений в области изгиба страницы имеет сложный характер, определяемый многими факторами. Типичным эффектом является затемнение изображения (образования тени) вблизи переплета объекта. График яркости фона страницы объекта для этой области (вдоль отрезка OR с Фиг.5) показан на Фиг.6.
Заметим, что скос и относительный поворот могут как присутствовать, так и отсутствовать в зависимости от позиционирования объекта на подложке сканера. Остальные 3 типа искажений имеют место всегда.
s
s
s
Фиг.7 демонстрирует пространственное представление сканируемого объекта в системе координат XYZ с введенными условными обозначениями. Схематически представлен случай, когда передняя торцевая часть объекта в области переплета, регистрируемая второй камерой, прижата более плотно к стеклу сканера, чем задняя торцевая часть объекта в области переплета, регистрируемая первой камерой.
На Фиг.8 приведена блок-схема этапов определения из первого снимка первой камеры данных, характеризующих форму изгиба страниц объекта вблизи переплета. В блок-схеме используются обозначения с Фиг.7.
c
с
c
с0
На этапе 1 для всех {x1(i)} определяется массив расстояний {h1(i)} от z=0 (подложка сканера) до страниц объекта для всех столбцов изображения первого снимка. В результате получается массив пар точек {x1(i), h1(i)}. Определяется координата точки стыка страниц x1, соответствующая максимуму массива расстояний (этап 2):
c
c0
c
ca
ca
cb
cb
ca
ca
cb
cb
Анализируется характер массива {x1(i), h1(i)} слева и справа от xl и делается заключение о том, изображен ли раскрытый переплет объекта и, соответственно, присутствуют ли на анализируемом изображении искажения вблизи переплета (этап 3). Если условие "Искажения вблизи области переплета обнаружены" ложно, то коррекция отменяется (этап 7). Иначе массив {x1(i), h1(i)} преобразуется в два массива координат краев страниц {x1(j), z1(j)} и {x1(j), z1(i)}, как показано на Фиг.7 (этап 5). Массивы координат краев страниц сохраняются в памяти данных и на этапе коррекции используются для восстановления трехмерной модели поверхности объекта со стороны подложки сканера. На этапе 6 массивы координат {x1(j), z1(j)} и {x1(j), z1(j)} преобразуются в систему координат сканера:
sa
sa
sb
sb
где а согласует разрешение камеры и сканера по оси X; d согласует разрешение камеры и сканера по оси Z, а также учитывает угол наклона камеры к горизонтали; tx переносит начало системы координат. В результате получаются массивы координат {x1(j), z1(j)} из n1 элементов для страницы А и {x1(j), z1(j)} из ml элементов для страницы В, определяющие форму изгиба страниц объекта с первой боковой стороны объекта.
sa
sa
sb
sb
Определение данных, характеризующих форму изгиба страниц объекта вблизи переплета из второго снимка второй камеры, производят в целом аналогично, но исключается условие "искажения вблизи области переплета обнаружены" и, соответственно, этап 7. Имеется в виду, что за этапом 3 выполняется сразу этап 5, и координаты х1 и z1 заменяются на координаты х2 и z2 в соответствии с обозначениями с Фиг.7. В результате получаются массивы координат {x2(j), z2(j)} из n2 элементов для страницы А и {x2(j), z2(j)} из m2 элементов для страницы В, определяющие форму изгиба страниц объекта вблизи переплета со второй боковой стороны. Следует отметить, что на снимках первой и второй камер страницы А и В меняются местами, т.е. если страница А на снимке первой камеры расположена слева, то на снимке второй камеры она будет расположена справа.
sa
sa
sb
sb
sa
sa
sb
sb
sa
sa
По значениям массивов координат {x1(j), z1(j)}, {x1(j), z1(j)}, {x2(j), z2(j)}, {x2(j), z2(j)} определяется присутствие или отсутствие глобального скоса объекта на стекле сканера и относительного разворота страниц. Если x1(1)и x2(1) не совпадают, то присутствует скос.
Для определения присутствия или отсутствия относительного разворота страниц требуется вычислить разности длин изогнутой части страницы и ее проекции для противоположной стороны страницы. Для восстановления кривой изгиба страниц объекта используется кусочно-линейная интерполяция по массивам координат.
a
Длина изогнутой части страницы со стороны первой камеры L1.
a
b
b
Аналогично вычисляются длины изгибов L2, L1, L2.
a
Величина DL определяет разницу длин проекций противоположных сторон страницы А (со стороны камер) на плоскость сканера:
a
b
Если DL не равно нулю, то существует ненулевой угол между прямыми CD и EF с Фиг.4, т.е. разворот имеет место. Аналогично для страницы В может быть вычислена величина DL, и сделан вывод об относительном развороте страниц.
r
Найденных величин достаточно для того, чтобы определить N размер буфера строк в памяти данных для коррекции всех перечисленных типов искажений в процессе сканирования:
где функция max определяет максимальный из аргументов, функция abs вычисляет абсолютное значение аргумента. Если повороты отсутствуют, то буфер состоит из двух строк, так как это минимальная величина, необходимая для коррекции геометрических искажений, вызванных изгибом страницы, а перспективные искажения, в этом случае, могут корректироваться независимо для каждой строки.
r
f
f
е
е
Далее сканируется N строк, и в отсканированной полосе изображения (буфере) осуществляется поиск края страницы объекта со стороны сканирующей головки с целью определения координат точек F и Е с Фиг.9. Если в буфере точки F и Е не обнаружены, то буфер сдвигается по изображению объекта на одну строку. Обработка изображения в буфере основана на том, что фон - темный, а сканируемый объект - светлый. Это значит, что гистограмма яркости изображения имеет бимодальный характер, т.е. для разделения (бинаризации) пикселов на фон и объект может быть использовано пороговое ограничение по яркости. Порог определяется по алгоритму Otsu [4]. После выделения бинарного объекта определяют координаты резкого изменения функции границы объекта. Данные координаты являются точками F и Е (координаты (x, y) и (х, у) соответственно).
Вычисляются остальные координаты вершин страниц, длина и ширина страницы, определяются области, в которых присутствуют искажения, а также углы поворота страниц на основе координат вершин края страницы со стороны сканирующей головки и данных о форме изгиба страниц объекта вблизи переплета. Схема объекта на подложке сканера показана на Фиг.9.
Длина страницы L полагается равной длине отрезка FE:
sa
sa
*
В общем случае высоты переплета с разных сторон объекта z1(1) и z2(1) не равны, т.е. имеет место наклон переплета по отношению к плоскости подложки сканера. Тогда длина отрезка CD, являющегося проекцией отрезка длины L на плоскость подложки сканера, L:
sa
sa
В общем случае, прямые FK и KD, а также прямые ЕР и PC, DT и ТН, CU и UG, строго говоря, не параллельны. Однако, учитывая то обстоятельство, что величина (z1(1)-z2(1)) на порядок или более меньше L, этим обстоятельством можно пренебречь. В дальнейших вычислениях перечисленные пары прямых полагаются параллельными.
s
sa
Точка С расположена на пересечении прямой, перпендикулярной прямой FE и проходящей через Е, и прямой, параллельной оси Y и проходящей через x2(1):
s
sa
Точка D расположена на пересечении прямой, перпендикулярной прямой FE и проходящей через D, и прямой, параллельной оси Y и проходящей через x1(1):
Аналогично вычисляются координаты точек Р и К.
s
Угол α поворота страницы А по отношению к оси Y:
Для коррекции как глобального скоса, так и эффекта относительного разворота страниц все пикселы страницы А должны быть повернуты на угол α против часовой стрелки.
sa
sa
sa
sa
Из координат точек FK и ЕР, а также по значениям массивов координат {x1(j), z1(j)} и {x2(j), z2(j)}, можно оценить ширину страницы W:
b
s
Длина отрезка CQ приблизительно равна DL. Тогда угол φ поворота страницы В по отношению к оси Y:
Координаты точек U и Т находятся следующим образом:
Координаты точек G и Н:
Для коррекции как глобального скоса, так и эффекта относительного разворота страниц все пикселы страницы В должны быть повернуты на угол φ по часовой стрелке.
Каждая страница разбивается на 2 области. На Фиг.9 данные области обозначены римскими цифрами: I и II для страницы А, III и IV для страницы В. Пикселы каждой области корректируются особым образом. В областях I и IV требуется только поворот. В областях II и III требуется построение трехмерной поверхности объекта и на ее основе проведение коррекции перспективных искажений, геометрических искажений из-за изгиба поверхности, яркостных искажений и поворота.
Последовательность коррекции различных искажений приведена на Фиг.10.
Первыми корректируются перспективные искажения. Затем страницы А и В поворачиваются на углы α и φ соответственно. Далее корректируются геометрические искажения, вызванные изгибом страниц. На последнем этапе корректируются яркостные искажения.
s
s
s
s
Перспективные искажения выражаются в смещении изображений участков объекта, отстоящих от подложки сканера ближе к центру сканирующей головки (показана на Фиг.9 штриховой линией) и уменьшения размера этих участков вдоль оси Y. Чем дальше фрагмент поверхности объекта отстоит от подложки сканера, тем сильнее он смещается к центру. У боковых сторон сканера эффект смещения наибольший, в центре смещение отсутствует. Смещение dy проекции точки поверхности вдоль оси Y является двумерной функцией, зависящей от координаты проекции y и расстояния от точки поверхности до подложки сканера z:
d
Значения этой функции могут различаться для различных моделей сканеров. Вид функции может быть вычислен теоретически из характеристик оптической системы сканера или получен экспериментально в процессе калибровки, которая однократно выполняется для модели сканера. На Фиг.11 показано сканированное изображение регулярной сетки, ориентированной к плоскости сканера под углом в 5 градусов, полученное для многофункционального периферийного устройства (MFP) Samsung 5312. Это изображение использовано для калибровки, и вид функции f показан на Фиг.12.
S
s
s
Для коррекции перспективных искажений необходимо вычислить высоту каждой точки изображения от подложки сканера. Высота z произвольной точки (x, y), принадлежащей области II, может быть вычислена следующим образом (обозначения см. Фиг.9):
S
s
- через точку (х, y) параллельно ЕС проводится прямая, и определяются точки
1
1
2
2
(х, у) и (х, y) пересечения с отрезками КР и DC соответственно;
- вычисляется dt:
3
3
4
4
- на отрезках KD и PC определяются координаты (x, у) и (х, у):
s
s
3
3
4
4
заметим, что точка (x, y) также лежит на прямой, проходящей через точки (x, y) и (x, y);
sa
sa
- для массива {x1(j), z1(j)} определяется минимальный индекс k1, такой что:
тогда:
sa
sa
- для массива {x2(j), z2(j)} определяется минимальный индекс k2, такой что:
тогда:
s
- высота z:
Алгоритм определения высоты произвольной точки, принадлежащей области III, в целом аналогичен.
s
d
s
s
1
1
1
Алгоритм коррекции перспективных искажений производится независимо для каждой отсканированной строки изображения из N пикселов (Фиг.13). На шаге 1301 осуществляется начальная инициализация i, которая соответствует координате y в сканированной строке. Шаги 1302,1303 и условие 1304 служат для нахождения отрезка, на протяжении которого высота изменяется незначительно (меньше порога Th). Для определения высоты используются соотношения (18)-(25), приведенные выше. Когда отрезок обнаружен или достигнут конец сканированной строки (условие 1304), то с помощью функции dy=f(y, z) определяются смещения начала и конца отрезка в результате перспективных искажений (шаг 1305). Далее RGB значения пикселов сканированной строки из искаженного отрезка с помощью линейной интерполяции корректируются в значения RGB скорректированного отрезка (шаги 1308, 1309, 1310 и условие 1307). Функция floor берет целую часть аргумента. Алгоритм заканчивает свою работу, когда достигнут конец строки (условие 1311).
s
s
s
s
Для коррекции поворота используется билинейная интерполяция. Координаты корректируемой точки изображения (x', y') умножаются на обратную матрицу поворота с целью нахождения соответствующих координат (x, y) на исходном изображении (имеется в виду изображение, для которого скорректированы перспективные искажения):
Приведенные формулы являются корректными для поворота против часовой стрелки. Помимо билинейной интерполяции возможно также использование бикубической интерполяции.
1
1
1
Обозначение RGB(x, у) означает, что вычисления применяются отдельно к каждому каналу цвета RGB.
1
1
2
2
s
s
s
s1
s
s
После поворота отрезок прямой, проходящей через точки (x, y) и (x, y), будет параллелен X. Пользуясь соотношениями для вычисления высоты (18)-(25) с учетом поворота координат, для каждого значения y вычисляются значения высот (расстояний от подложки сканера до поверхности объекта) z и z для точек (y, x) и
s
s
3
3
3
2
2
2
(y, x+1) двух соседних строк буфера. Далее на отрезке между данными точками отсчеты выбираются с шагом в единицу длины системы координат сканера, в результате чего определяется соответствующая координата , по которой из изображения вычисляются значения цветовых составляющих RGВ скорректированного изображения путем линейной интерполяции по значениям цветовых составляющих пикселов RGВ с координатами  и
Текущие координаты отсчетов  вычисляются по параметрическому уравнению прямой:
s
s
s
s1
где t=0 в начале отрезка (точка (x, z)), t=1 в конце отрезка (точка (x+1, z), шаг изменения t:
В общем случае характер яркостных и цветовых искажений в области изгиба страницы имеет сложный характер, определяемый многими факторами. Типичным эффектом является затемнение изображения (образования тени) вблизи переплета объекта. Экспериментально удалось установить, что существует усредненная зависимость яркости искаженного пиксела от яркости исходного пиксела и расстояния до проецируемой точки на странице от подложки сканера. Далее эта зависимость преобразуется в функцию, учитывающую также и разрешение сканирования:
где Y'(x, у) - яркость скорректированного пиксела,  - яркость пиксела сканированного изображения,  - расстояния до страницы от подложки сканера в
b
Одним из простейших вариантов f может служить следующая функция:
где значения яркости нормированы в диапазон [0, 1], а функция измерена для разрешения 200dpi и определенной модели сканера. Для каждой конкретной модели сканера эта зависимость может быть измерена предварительно.
3
3
3
Для получения значения яркости Y RGВ-составляющие отсканированного изображения после коррекции дисторсии преобразуются в цветовую систему (цветовое пространство), одна из составляющих которой кодирует яркость, а две другие кодируют цвет. Эффективным является использование линейного преобразования в систему YIQ или YCbCr, но в рамках данного изобретения могут применяться и более сложные преобразования, например, в цветовые системы HSB или L*a*b*. После коррекции значения яркости Y->Y' происходит обратное преобразование в цветовую систему RGB, две составляющие, кодирующие цвет, не изменяются.
3
3
3
2
2
2
Алгоритм коррекции геометрических искажений и тени, вызванной изгибом страниц объекта, приведен на фиг.14. На шаге 1401 в соответствии с формулой (30) определяется величина dt, равная единице длины системы координат сканера, и переменная nsteps, равная количеству отсчетов, дискретизирующих отрезок. На шаге 1402 инициализируется счетчик цикла k для перебора отсчетов на отрезке, и для параметра прямой t устанавливается нулевое значение, которое соответствует началу отрезка. На шаге 1403 отсчеты выбираются в соответствии с параметрическим уравнением прямой (29), и определяются значения  На шаге 1404 вычисляется значение индекса (номер строки) в массиве скорректированных пикселов. На шаге 1405 из сканированного изображения вычисляются значения цветовых составляющих RGВ скорректированного изображения путем линейной интерполяции (28) по значениям цветовых составляющих пикселов RGВ изображения с координатами  и  На шаге 1406 выполняется конвертирование значений цветовых координат текущего пиксела R'G'B' в цветовое пространство YCbCr. На шаге 1407 осуществляется коррекция яркостных (теневых) искажений. Обратное преобразование из цветового пространства YCbCr, где значение яркости Y уже скорректировано на предыдущем шаге, выполняется на шаге 1408. На шаге 1409 увеличиваются на единицу количество скорректированных пикселов и число взятых на отрезке отсчетов. При этом на величину dt увеличивается параметр прямой t. Шаги с 1403 по 1408 выполняются в цикле, пока условие 1410 истинно.
После выполнения коррекции изображение выводится на внешнее устройство. Перед выводом на печать координаты пикселов (х, у) скорректированного изображения преобразуются в координаты внешнего устройства:
где р согласует разрешение сканера и внешнего устройства; параметры tx1 и ty1 переносят начало системы координат.
Данное изобретение предполагает осуществлять кадрирование по границам объекта или страниц объекта.
Также возможна различная логика работы системы при копировании, например, когда копируется только одна страница книги или две страницы книги копируются на 1 лист с масштабированием и тому подобное.
s
В рамках данного изобретения возможно движение сканирующей головки планшетного сканера вдоль оси Y, что потребует некоторых изменений в средстве установления коррекции, но не влияет на основные принципы работы заявленной системы и способа сканирования.
На Фиг.15 приведен пример коррекции с рядом упрощений изложенного алгоритма.
Необходимо отметить, что настоящее изобретение может использоваться не только для книг, но и для любых других объектов (например, документов и фотографий), как обычный копир или планшетный сканер.
Наиболее существенными улучшениями, которые обеспечиваются на основе настоящего изобретения, являются:
а. формирование изображения документов в толстом переплете осуществляется в режиме картирования пространственного профиля реконструируемой страницы с целью получения высококачественной итоговой картины, свободной в максимальной степени от геометрических и яркостных искажений;
b. пространственная коррекция геометрических искажений и выравнивание относительной освещенности в процессе копирования документов в толстом переплете, в частности книг, обеспечивается практически в реальном масштабе времени за счет использования обработки снимков, формируемых камерами, расположенными сбоку от сканируемого/копируемого документа;
с. формирование оценки полного, трехмерного профиля страницы в предварительном режиме, а именно уже в момент начала процесса сканирования/копирования, дает возможность обеспечить низкие требования к аппаратным ресурсам (запоминание, в предпочтительном варианте изобретения, лишь нескольких линий сканирования).
Новизна настоящего изобретения подтверждается следующими факторами:
а. оценка пространственного профиля страницы, являющегося наиболее существенным фактором для применения последующей процедуры коррекции, осуществляется в поперечной плоскости, что значительно упрощает возможность технической реализации;
b. исключается типичная для подобного рода устройств процедура двойного прохода сканирующей системы вдоль документа, чем обеспечивается двукратное ускорение процесса сканирования/копирования;
с. сформулированное техническое решение может быть реализовано с незначительными затратами на уже имеющейся аппаратной базе.
Учитывая, что указанный выше вариант выполнения изобретения изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.