УСТРОЙСТВО ДЛЯ ОПРЕДЕЛЕНИЯ ОБЛАСТИ ДВИЖУЩЕГОСЯ ИЗОБРАЖЕНИЯ И СПОСОБ
DEVICE FOR DETERMINING MOVING IMAGE FIELD AND METHOD

Область техники, к которой относится изобретение
[0001]
Настоящее изобретение относится к способу для определения области движущегося изображения и, в частности, к способу для определения прямоугольной области движущегося изображения.
Уровень техники
[0002]
В настоящее время уделено внимание технологии, обеспечивающей увеличение разрешения входного сигнала движущегося изображения или сигнала неподвижного изображения и выходного результирующего сигнала. Например, если в отображающей области возможно увеличение только разрешения области движущегося изображения, то даже грубый входной сигнал движущегося изображения может быть отображен с улучшенной различимостью изображения.
[0003]
Если область такого движущегося изображения фиксирована, она может быть идентифицирована вручную. Однако этот процесс идентификации является затруднительным. Конечно, если область движущегося изображения перемещается, существует ограничение на его идентификацию вручную.
[0004]
Известны различные способы идентификации области движущегося изображения. Например, в патентном документе 1 раскрыт способ определения движения на основании блоков. В частности, этот способ определения включает: выполнение сравнения между уровнями серого одного и того же пикселя в предшествующем и последующем кадрах; если имеется различие между уровнями серого, выполняют оценивание того, что этот пиксель является пикселем движущегося изображения; получение отношения количества пикселей движущегося изображения к количеству всех пикселей на основании блоков; и если это отношение больше порогового значения, выполняют оценивание того, что этот блок является блоком движущегося изображения.
Документы, известные из уровня техники.
Патентные документы
[0005]
Патентный документ 1: Публикация не подвергнутой экспертизе заявки на японский патент №11-007266 на патент.
Раскрытие изобретения
Задачи, решаемые с помощью изобретения
[0006]
В способе определения, раскрытом в патентном документе 1, сравнение выполняют для каждого пикселя, а затем подсчитывают количество пикселей для каждого блока. Следовательно, необходимо выполнить сравнение для каждого из всех пикселей в одном кадре, что повышает затраты или усложняет проектирование.
[0007]
Настоящее изобретение призвано решить вышеупомянутую проблему, и его задача заключается в создании способа и устройства для определения прямоугольной области движущегося изображения с использованием простой конфигурации.
Средства для решения задач
[0008]
(1) Согласно настоящему изобретению предложен способ для определения границ прямоугольной области движущегося изображения, имеющей прямоугольную наружную форму, отображаемую в части отображающей области, на основании различия между соответствующими кадрами времени t и t+n, включающий:
удерживание граничных координат прямоугольной области движущегося изображения, если определена прямоугольная область движущегося изображения в кадре времени t; и
выполнение оценивания наличия поля в граничных координатах прямоугольной области движущегося изображения времени t в кадре времени t+m без использования кадра времени t, и при наличии поля выполнение оценивания того, что область, заданная граничными координатами прямоугольной области движущегося изображения времени является движущейся областью в кадре времени t+n, где n≥m.
[0009]
Таким образом, даже когда в последующем кадре движение временно остановлено, возможно выполнить оценивание того, что область, заданная граничными координатами прямоугольной области движущегося изображения времени t, является движущейся областью в кадре времени t+n.
[0010]
(2) В способе согласно настоящему изобретению, пиксели расположены в направлениях рядов и столбцов в отображающей области, и
прямоугольную движущуюся область изображения в кадре времени t определяют:
этапе оценивания движущегося блока путем разделения отображающей области на единичные блоки, каждый из которых содержит заранее определенное количество пикселей и оцениванием того, является ли каждый единичный блок движущимся единичным блоком, имеющим движение;
этапе определения движущегося блока столбца, на котором в качестве блока столбца устанавливают набор единичных блоков, содержащихся в столбце, включая один из самых верхних единичных блоков из единичных блоков, и, если один блок столбца содержит по меньшей мере один движущийся единичный блок, определяют, что указанный блок столбца является движущимся блоком столбца;
этапе определения движущегося блока ряда, на котором в качестве блока ряда устанавливают набор единичных блоков, содержащихся в ряде, включая один из самых левых единичных блоков, и, если один блок ряда содержит по меньшей мере один движущийся единичный блок, определяют, что блок ряда является движущимся блоком ряда; и
этапе первого определения прямоугольный области движущегося изображения, на котором определяют в качестве прямоугольной области движущегося изображения прямоугольную область, заданную единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца.
[0011]
Таким образом, возможно определить в качестве прямоугольной области движущегося изображения прямоугольной области, заданной единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца.
[0012]
В способе согласно настоящему изобретению, прямоугольная область движущегося изображения в кадре времени t дополнительно определяют на этапе второго определения прямоугольной области движущегося изображения, на котором определяют, область, ограниченную краями прямоугольной области движущегося изображения, в качестве прямоугольной области движущегося изображения на основании пикселей в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, содержащихся в прямоугольной области движущегося изображения. Таким образом, возможно точное определение прямоугольной области движущегося изображения.
[0013]
В способе согласно настоящему изобретению, на этапе первого определения прямоугольный области движущегося изображения, когда количество соседних движущихся блоков ряда из движущихся блоков ряда является большим или равным пороговому значению, выполняют определение прямой линии наружных блоков ряда из набора соседних блоков ряда; когда количество соседних движущихся блоков столбца из движущихся блоков столбца является большим или равным пороговому значению, выполняют определение прямой линии наружных блоков столбца из набора соседних блоков столбца, и определяют прямоугольную область, ограниченную прямой линией наружных блоков ряда и прямой линией наружных блоков столбца, как прямоугольную область движущегося изображения. Таким образом, возможно определение прямоугольной области движущегося изображения
[0014]
(5) В способе согласно настоящему изобретению, этап второго определения прямоугольной области движущегося изображения включает определение ряда, имеющего различное репрезентативное значение пикселей в единичных блоках, образующих четыре периферические стороны, в качестве границы в направлении ряда прямоугольной области движущегося изображения, и определение столбца, имеющего другое репрезентативное значение пикселей в единичных блоках, образующих четыре периферические стороны, в качестве границы в направлении столбца прямоугольной области движущегося изображения. Таким образом, возможно точное определение прямоугольной области движущегося изображения
[0015]
(6) В способе согласно настоящему изобретению, второй этап определения прямоугольной области движущегося изображения включает извлечение пикселей, служащих в качестве края в направлении ряда, и пикселей, служащих в качестве края в направлении столбца, из пикселей в единичном блоке, образующих четыре периферийные стороны, и определение границ прямоугольной области движущегося изображения на основании общего количества пикселей, служащих в качестве краев в направлении рядов в каждом ряду, и общего количества пикселей, служащих в качестве краев в направлении столбцов в каждом столбце. Таким образом, возможно точное определение прямоугольной области движущегося изображения
[0016]
(7) Способ согласно настоящему изобретению дополнительно включает:
если никакой движущейся области не обнаружено в кадрах времени t+n, выполняют оценивание того, имеется ли поле в граничных координатах прямоугольной движущегося области изображения времени t в кадре времени t+b, без использования кадра времени t, и, если поле имеется, оценивают область, заданную граничными координатами времени t в качестве движущейся области в кадрах времени t+n;
если движущаяся область обнаружена в кадрах времени t+n, определяют прямоугольную движущуюся область изображения в кадре времени t+n на основании кадров времени t и t+n и, выполняют оценивание того, содержится ли определенная прямоугольная движущаяся область изображения в кадре времени t+n в области, заданной граничными координатами времени t; и
если определенная прямоугольная движущаяся область изображения в кадре времени t+n содержится там, выполняют оценивание того, имеется ли поле в граничных координатах прямоугольной движущегося области изображения времени t в кадре времени t+b, без использования кадра времени t, и, если поле имеется, оценивают область, заданную граничными координатами времени t в качестве движущейся области в кадрах времени t+n, где
b и n целые числа, удовлетворяющие условию n≥b≥1.
[0017]
Таким образом, возможно определить область, заданную граничными координатами времени t в кадре времени t+b в виде движущейся области в кадре времени t+n, без использования кадра времени t.
[0018]
(8) В способе по настоящему изобретению, если количество раз, когда определенная прямоугольная область движущегося изображения в рамках времени t+n непрерывно включена в область, заданную граничными координатами прямоугольной движущейся области изображения времени t, является большим или равным пороговому значению, выполняют оценивание того, имеется ли поле в граничных координатах прямоугольной области движущегося изображения времени t в кадре времени t+b, без использования кадра времени t. Таким образом, если определенная прямоугольная движущаяся область изображения в рамках времени t+n многократно включается в область, заданную граничными координатами времени t, возможно выполнение оценивания поля.
[0019]
(9) В настоящем изобретении также предложено устройство для определения границ прямоугольной области движущегося изображения, имеющей прямоугольную наружную форму, отображаемой в части отображающей области на основании различия между соответствующими кадрами времени t и t+n, причем устройство содержит:
средства, выполненные с возможностью определения прямоугольной области движущегося изображения в кадре времени t;
средства для удерживания граничных координат, выполненные с возможностью удерживания граничных координат определенной прямоугольной области движущегося изображения;
средства для оценивания поля, выполненные с возможностью выполнения оценивания того, имеется ли поле в граничных координатах прямоугольной области движущегося изображения времени t в кадре времени t+m, без использования кадра времени t; и
средства для оценивания области, выполненные с возможностью, если средства для оценивания поля оценивают, что поле имеется, оценивания того, что область, заданная граничными координатами прямоугольной области движущегося изображения времени t является движущейся областью в кадре времени t+n, где n≥m.
[0020]
Таким образом, даже когда воспроизведение временно остановлено в последующем кадре, возможно выполнить оценивание того, является ли область, заданная граничными координатами прямоугольной области движущегося изображения времени t, движущейся областью в кадре времени t+n.
[0021]
(14) Настоящее изобретение также относится к способу для определения границ прямоугольной области движущегося изображения, имеющей прямоугольную наружную форму, отображаемую в части отображающей области, на основании различия между соответствующими кадрами времени t и t+n, включающий:
если прямоугольная область движущегося изображения времени t+n определена на основании соответствующих кадров времени t и t+n, удерживание координат границ прямоугольной области движущегося изображения кадра времени t+n;
если прямоугольная область движущегося изображения в кадре времени t+n определена на основании соответствующих кадров времени t+р и t+m, выполняют оценивание того, содержится ли прямоугольная область движущегося изображения в кадре времени t+m в области, заданной граничными координатами прямоугольной области движущегося изображения времени t+n;
если прямоугольная область движущегося изображения в кадре времени t+m содержится там, выполняют оценивание того, имеется ли поле в граничных координатах кадра времени t+n в кадре времени t+b, без использования кадра времени t+n; и
если поле имеется, выполняют оценивание того, является ли область, заданная граничными координатами времени t+n, движущейся областью в рамках времени t+m, где
m, n, p и b представляют собой целые числа, удовлетворяющие условию n<m, p<m, и b≤m.
[0022]
Таким образом, возможно определить область, заданную граничными координатами времени t+n в кадре времени t+b в качестве движущейся области в кадре времени t+m, без использования кадра времени t+n.
[0023]
В настоящем описании выражение "величина пикселя" относится к значению яркости, также как и все значения для указания информации об изображении, включая значения RGB. Термин "прямоугольная область движущегося изображения" относится к прямоугольной области, где значение пикселя изменяется между множеством кадров, и которая образует область движущегося изображения.
[0024]
Выражение "блок столбца" относится к совокупности единичных блоков, содержащихся в столбце, включающей в себя один из самых верхних единичных блоков из указанных единичных блоков. В настоящем варианте осуществления изобретения, блок столбца определяют посредством задания одного из самых верхних единичных блоков. Еще в одном варианте осуществления изобретения блок столбца может быть определен посредством задания единичного блока в ряду, отличном от самого верхнего ряда, при условии что указанный блок столбца в результате содержит один из самых верхних единичных блоков. Выражение "блок ряда" относится к совокупности единичных блоков, содержащихся в ряду, включающей один из самых левых единичных блоков. В отношении блока столбца, единичный блок может быть задан любым образом для определения блока ряда, при условии, что блок ряда в результате содержит один из самых левых единичных блоков.
[0025]
В предложенных вариантах осуществления изобретения выражение "этап первого определения прямоугольной области движущегося изображения" и выражение "этап второго определения прямоугольной области движущегося изображения" относятся к процессу определения области движущегося изображения (этап S7 согласно фиг. 3) и процессу определения границ (этап S9 согласно фиг. 3), соответственно.
[0026]
Выражение «направление ряда» относится к направлению, в котором расположены ряды, и в вариантах осуществления соответствует направлению а. Выражение «край, проходящий в направлении рядов» относится к краю, параллельному направлению ряда, и выражение «край, проходящий в направлении столбцов» относится к краю, параллельному направлению столбца.
[0027]
Использованное в материалах настоящей заявки выражение «содержится» относится к случаям, когда все четыре стороны содержатся в предшествующей движущейся области, как показано на фиг. 23, а также к случаям, когда один или два угла предшествующей движущейся области скрыты.
Краткое описание чертежей
[0028]
На фиг. 1 представлена функциональная блок-схема устройства 1 для определения прямоугольной области движущегося изображения.
На фиг. 2 представлена схема, иллюстрирующая пример конфигурации аппаратных средств устройства 1 для определения прямоугольной области движущегося изображения, содержащая центральный обрабатывающий блок.
На фиг. 3 представлена общее графическое представление способа.
На фиг. 4 изображена отображающая область 100, включающая области с 110 по 112 движущегося изображения.
На фиг. 5 представлена блок-схема, иллюстрирующая процесс выполнения оценивания того, что блок является движущимся блоком.
На фиг. 6 представлена схема, показывающая результат распознавания движущихся блоков.
На фиг. 7 представлена блок-схема, показывающая процесс определения области движущегося изображения.
На фиг. 8 представлена схема, показывающая движущиеся блоки столбца.
На фиг. 9 представлена блок-схема (продолжение), иллюстрирующая процесс определения области движущегося изображения.
На фиг. 10 представлена схема, показывающая движущиеся блоки ряда.
На фиг. 11 представлена схема, показывающая область 140 движущегося изображения.
На фиг. 12 представлена блок-схема, иллюстрирующая процесс определения границ.
На фиг. 13 представлена схема, показывающая 32*32 пикселей в одном единичном блоке.
На фиг. 14 показана отображающая область 200, включающая множество областей движущегося изображения.
На фиг. 15 показаны распознанные области с 301 по 304 движущегося изображения.
На фиг. 16 показаны области 311 и 312 движущегося изображения, распознанные из области 301 движущегося изображения.
На фиг. 17 представлена блок-схема, иллюстрирующая процесс определения границ.
На фиг. 18A и 18B изображены фильтры и формулы, используемые для оценивания того, является ли пиксель краевым.
На фиг. 19А-19С проиллюстрирован пример движущегося изображения для описания определения границ с использованием хронологии в направлении по оси времени.
На фиг. 20 представлена блок-схема, иллюстрирующая процесс выполнения оценивания о прокручивании.
На фиг. 21 представлена блок-схема, иллюстрирующая взаимодействие процесса распознавания движущейся области и дополнительного процесса определения.
На фиг. 22 представлена блок-схема дополнительного процесса определения.
На фиг. 23 представлена диаграмма, иллюстрирующая состояние, в котором движущаяся область 411 распознана внутри движущейся области 410.
На фиг. 24 представлена блок-схема, иллюстрирующая выполнение процессов согласно фиг. 21 и фиг. 22 с использованием аппаратных средств.
На фиг. 25 приведен пример изображения документа.
На фиг. 26 представлена блок-схема, иллюстрирующая процесс выполнения оценивания символьной области согласно шестому варианту осуществления изобретения.
Варианты осуществления изобретения
[0029]
Варианты осуществления настоящего изобретения описаны со ссылками на чертежи.
[0030]
1.1 Функциональные блоки
На фиг. 1 показана функциональная блок-схема устройства 1 для определения прямоугольной области движущегося изображения в соответствии с одним вариантом осуществления настоящего изобретения. Устройство 1 для определения прямоугольной области движущегося изображения выполнено с возможностью определения прямоугольной области движущегося изображения, отображаемого в части отображающей области, имеющей пиксели, расположенные в ней в направлениях рядов и столбцов. Устройство 1 содержит средства 5 для оценивания движущегося единичного блока, средства 7 для определения движущегося блока столбца, средства 9 для определения движущегося блока ряда, средства 11 для первого определения прямоугольной области движущегося изображения, средства 13 повторения, а также средства 14 для второго определения прямоугольной области движущегося изображения.
[0031]
Средства 5 для оценивания движущегося единичного блока делят отображающую область на единичные блоки, каждый из которых содержит предварительно определенное количество пикселей, и выполняют оценивание того, является ли каждый единичный блок движущимся единичным блоком, имеющим движение. Средства 7 для определения движущегося блока столбца в качестве блока столбца устанавливают набор единичных блоков, содержащихся в столбце, включающее один из самых верхних единичных блоков из указанных единичных блоков, и, если один блок столбца содержит по меньшей мере один движущийся единичный блок, определяют, что указанный блок столбца является движущимся блоком столбца. Средства 9 для определения движущегося блока ряда в качестве блока ряда устанавливают набор единичных блоков, содержащихся в ряде, включающее один из самых левых единичных блоков, и, если один блок ряда содержит по меньшей мере один движущийся единичный блок, определяют, что блок ряда является движущимся блоком ряда. Средства 11 для первого определения прямоугольной области движущегося изображения определяют, что прямоугольная область, задаваемая единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца, является прямоугольной областью движущегося изображения. Средства 13 для повторения обеспечивают многократное выполнение средствами 7 для определения движущегося блока столбца, средствами 9 для определения движущегося блока ряда, а также средствами 11 для первого определения прямоугольной области движущегося изображения процессов на прямоугольной области движущегося изображения, определенной средствами 11 для первого определения прямоугольной области движущегося изображения. На основании пикселей в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, образующих прямоугольную область движущегося изображения, вторые средства 14 для второго определения прямоугольной области движущегося изображения определяют, что область, ограниченная краями прямоугольной области движущегося изображения, является прямоугольной областью движущегося изображения.
[0032]
1.2 Конфигурация аппаратных средств
На фиг. 2 представлена конфигурация аппаратных средств устройства 1 для определения прямоугольной области движущегося изображения. Устройство 1 для определения прямоугольной области движущегося изображения содержит центральный обрабатывающий блок 23, оперативное запоминающее устройство (ОЗУ) 25 и постоянное запоминающее устройство (ПЗУ) 26. Постоянное запоминающее устройство (флеш-память) 26 хранит программу 26р. Программа 26р выполняет процесс определения прямоугольной области движущегося изображения, согласно следующему далее описанию. ОЗУ 25 хранит результат вычисления или т.п. Основное запоминающее устройство 27 хранит данные изображений одного экрана.
[0033]
Согласно программе 26р центральный обрабатывающий блок 23 выполняет оценивание того, является ли область изображения областью движущегося изображения, содержащей движущиеся пиксели, на основании значений пикселей, образующих отображающую область, сохраненную в основном запоминающем устройстве 27, а затем сохраняет результат определения в ОЗУ 25.
[0034]
1.3 Описание блок-схемы
Процесс, осуществляемый программой 26p, проиллюстрированный на фиг. 2, описан со ссылкой на фиг. 3. Далее в описании используется пример, показанный фиг. 4, в котором область 100 изображения, служащая в качестве одного кадра монитора, содержит три прямоугольные области с 110 по 112 движущегося изображения.
[0035]
В области 100 изображения пиксели расположены в направлении а ряда и в направлении β столбца.
[0036]
Центральный обрабатывающий блок 23 делит дисплейную область на блоки (этап S1 согласно фиг. 3). В настоящем варианте осуществления изобретения отображающая область 100, показанная на фиг. 4, разделена на множество блоков, каждый из которых содержит расположение пикселей 32*32. Далее принимается, что отображающая область 100 разделена на n+1 блоков в направлении α и m+1 блоков в направлении β.
[0037]
Центральный обрабатывающий блок 23 определяет репрезентативные значения всех блоков (этап S3 согласно фиг. 3). Примеры репрезентативного значения содержат усредненные значения пикселей в одном блоке и значение первого пикселя в одном блоке. Вместо использования значения пикселя как есть, в качестве репрезентативного значения может быть использовано значение хеш-функции, такое как CRC (циклический избыточный код - англ. Cyclic redundancy check). Среднее значение может быть представлено длиной 18-бит в восьмибитном изображении 32*32, однако в качестве среднего значения могут быть использованы центральные 8 бит, полученные путем отбрасывания верхних и нижних 10 бит. Таким образом, репрезентативные значения блоков (n+1)*(m+1) сохранены в ОЗУ 25.
[0038]
Центральный обрабатывающий блок 23 выполняет оценивание того, является ли каждый из блоков (n+1)*(m+1) движущимся блоком (этап S5). Процесс определения движущегося блока описан со ссылкой на фиг. 5.
[0039]
Центральный обрабатывающий блок 23 инициализирует числа i, j блока осуществления процесса (этапы S11, S13 согласно фиг. 5). Выполняют сравнение между репрезентативными значениями блока (0,0) в текущем и предшествующем кадрах (этап S15). В настоящем варианте осуществления изобретения выполняют сравнение между репрезентативными значениями в моменты времени t и t-1. Центральный обрабатывающий блок 23 выполняет оценивание того, превышает ли эта разница между репрезентативными значениями пороговое значение thb (этап S17). Если сравнение превышает пороговое значение thb, центральный обрабатывающий блок выполняет оценивание того, что указанный блок является движущимся блоком (этап S19). Напротив, если разница не превышает порогового значения thb, центральный обрабатывающий блок 23 выполняет оценивание того, что этот блок является неподвижным блоком (этап S21).
[0040]
Центральный обрабатывающий блок 23 выполняет оценивание того, является ли число j блока осуществления процесса последним числом (этап S23). Поскольку j является 0 и поэтому не является последним числом, центральный обрабатывающий блок 23 осуществляет приращение числа j блока осуществления процесса (этап S25) и повторяет этапы S15, а также последующие. Если число j блока осуществления процесса является последним числом на этапе S23, центральный обрабатывающий блок 23 переходит к этапу S27 и выполняет оценивание того, является ли число i блока осуществления процесса последним числом. Поскольку i не является последним числом, центральный обрабатывающий блок 23 осуществляет приращение числа i блока осуществления процесса (этап S29) и повторяет этапы S13, а также последующие. Если число i блока осуществления процесса является последним числом на этапе S27, центральный обрабатывающий блок 23 завершает процесс определения движущихся блоков.
[0041]
Таким образом, выполняют оценивание того, является ли каждый из блоков (n+1)*(m+1) движущимся блоком. В этом примере, как показано на фиг. 6, выполняют оценивание того, являются ли блоки (4,2), (4,3), (4,4) и т.п. движущимися блоками.
[0042]
Центральный обрабатывающий блок 23 осуществляет процесс определения области движущегося изображения (этап S7 согласно фиг. 3). Процесс определения области движущегося изображения описан подробно далее со ссылкой на фиг. 7 и 9.
[0043]
Центральный обрабатывающий блок 23 инициализирует число j блока осуществления процесса (этап S31 согласно фиг. 7). Центральный обрабатывающий блок 23 затем выполняет оценивание того, содержит ли указанный блок столбца, включая блок (0,0), по меньшей мере один движущийся блок (этап S33). Если среди блока (0,0) и блоков с (1,0) по (m,0), расположенных вертикально от блока (0,0), как показано на фиг. 6, движущиеся блоки отсутствуют центральный обрабатывающий блок 23 осуществляет оценивание, что этот столбец является неподвижным столбцом (этап S37 согласно фиг. 7). Затем центральный обрабатывающий блок 23 осуществляет оценивание того, имеются ли добавленный и сохраненный предположительно движущийся столбец (этап S39). Если такого столбца нет, центральный обрабатывающий блок 23 переходит к этапу S46 и выполняет оценивание того, является ли число j блока осуществления процесса последним числом. Если j составляет 0 и, следовательно, не является последним числом, центральный обрабатывающий блок 23 осуществляет приращение числа j блока осуществления процесса (этап S47) и повторяет этапы S33, а также последующие этапы.
[0044]
Если число j блока осуществления процесса равно 2, среди блока (0,2) и блоков, расположенных вертикально от блока (0,2) имеются движущиеся блоки. Соответственно, центральный обрабатывающий блок 23 добавляет и сохраняет этот столбец в качестве предположительно движущегося столбца (этап S35).
[0045]
Центральный обрабатывающий блок 23 выполняет оценивание того, является ли число j блока осуществления процесса последним числом (этап S46). Поскольку j составляет 2 и поэтому не является последним числом, центральный обрабатывающий блок 23 осуществляет приращение числа j блока осуществления процесса (этап S47) и повторяет этапы S33 и последующие.
[0046]
До тех пор, пока число j блока осуществления процесса не станет 8, центральный обрабатывающий блок 23 повторяет этап S35. Если число j блока осуществления процесса равно 9, то в блоке (0,9), включающем столбец, движущиеся блоки отсутствуют. Соответственно, центральный обрабатывающий блок 23 оценивает, что этот столбец является неподвижным столбцом (этап S37). Центральный обрабатывающий блок 23 выполняет оценивание того, есть ли добавленные и сохраненные предположительно движущиеся столбцы (этап S39). Если такие столбцы существуют, он выполняет оценивание того, имеет ли указанная совокупность смежных столбцов ширину, превосходящую пороговое значение thw (этап S41). В настоящем варианте осуществления изобретения, принимается, что пороговое значение thw составляет два блока или большее количество. Поскольку блоки с (0,2) по (0,8) являются добавленными и сохраненными предположительно движущимися столбцами и превосходят пороговое значение thw, центральный обрабатывающий блок 23 определяет, что указанные предположительно движущиеся столбцы являются движущимися столбцами (этап S45).
[0047]
ЦП 23 выполняет оценивание того, является ли число j блока осуществления процесса последним числом (этап S46).
[0048]
Если число j блока осуществления процесса равно 10, столбец блока (0,10) не содержит каких-либо движущихся блоков. Соответственно, центральный обрабатывающий блок 23 оценивает, что указанный столбец является неподвижным столбцом (этап S37). Центральный обрабатывающий блок 23 затем выполняет оценивание того, есть ли распознанный предположительно движущийся столбец (этап S39). Если такой столбец отсутствует, центральный обрабатывающий блок 23 выполняет оценивание того, является ли число j блока осуществления процесса последним числом (этап S46).
[0049]
В дальнейшем, до тех пор, пока j не станет n-7, центральный обрабатывающий блок 23 оценивает, что указанный столбец является неподвижным столбцом. Если число j блока осуществления процесса равно n-6, движущийся блок (m-3, n-6) существует. Соответственно, центральный обрабатывающий блок 23 добавляет и сохраняет этот столбец в качестве предположительно движущегося столбца (этап S35).
[0050]
Если число j блока осуществления процесса равно n-5, блок (0,n-5), содержащий столбец, не содержит никаких движущихся блоков. Соответственно, центральный обрабатывающий блок 23 оценивает, что этот столбец является неподвижным столбцом (этап S37). Центральный обрабатывающий блок 23 затем выполняет оценивание того, имеется ли распознанные предположительно движущиеся столбцы (этап S39). Если такие столбцы существуют, он выполняет оценивание того, имеет ли указанная совокупность смежных столбцов ширину, превосходящую пороговое значение thw (этап S41). Поскольку для настоящего варианта осуществления изобретения принято, что пороговое значение thw составляет два блока или большее количество, ширина предположительно движущегося столбца не превосходит порогового значения thw. Соответственно, центральный обрабатывающий блок 23 оценивает, что указанный предположительно движущийся столбец является неподвижным столбцом (этап S43). Таким образом можно предотвратить ошибочное признание области изображения, такой как мышь, в качестве области движущегося изображения.
[0051]
Аналогично центральный обрабатывающий блок 23 последовательно выполняет оценивание того, включает ли каждый столбец в направлении а ряда движущийся блок.
[0052]
Следует отметить, что последний столбец, включающий блок (0,n), может быть предположительно движущимся столбцом. В этом случае, центральный обрабатывающий блок 23 на этапе S49 выполняет оценивание того, имеются ли добавленные и сохраненные предположительно движущиеся столбцы. Если такие столбцы существуют, он осуществляет этапы S41 и последующие.
[0053]
На фиг. 8 показаны распознаваемые движущиеся столбцы. В этом случае, определяют область 121 в качестве движущегося столбца. С другой стороны, ни одна из областей 122 и 123, включающих блок (m-3, n-6) и блок (6, n-3), соответственно, не имеет ширины, превосходящей пороговое значение thw в направлении стрелки а. Соответственно, нет определения того, что эти области являются движущимися столбцами.
[0054]
Центральный обрабатывающий блок 23 затем инициализирует число i блока осуществления процесса (этап S51 согласно фиг. 9). Центральный обрабатывающий блок 23 выполняет оценивание того, включает ли ряд, включающий блок (0,0), по меньшей мере один движущийся блок (этап S53). Поскольку блок (0,0) и блоки с (0,1) по (0,n), расположенные горизонтально от блока (0,0), не включают движущихся блоков, как показано на фиг. 6, центральный обрабатывающий блок 23 оценивает, что этот ряд является неподвижным рядом (этап S57). Центральный обрабатывающий блок 23 затем выполняет оценивание того, есть ли добавленные и сохраненные движущиеся ряды (этап S59). Поскольку нет распознанного движущегося ряда, центральный обрабатывающий блок 23 переходит к этапу S66 и выполняет оценивание того, является ли число i блока осуществления процесса последним числом. Поскольку i составляет 0 и поэтому не является последним числом, центральный обрабатывающий блок 23 осуществляет приращение числа i блока осуществления процесса (этап S68) и повторяет этапы S53, а также последующие.
[0055]
Если число i блока осуществления процесса равно 4, ряд, включающий блок (4,0), включает движущиеся блоки. Соответственно, центральный обрабатывающий блок 23 добавляет и сохраняет этот ряд в качестве предположительно движущегося ряда (этап S55).
[0056]
Аналогично, до тех пор, пока i не станет 8, центральный обрабатывающий блок 23 оценивает, что ряд, включающий блок (i,0), является движущимся рядом, который содержит движущиеся блоки. Если i=9, ряд, включающий блок (i,0), не содержит каких-либо движущихся блоков. Соответственно, центральный обрабатывающий блок 23 оценивает, что этот ряд является неподвижным рядом (этап S57). Центральный обрабатывающий блок 23 затем выполняет оценивание того, имеются ли добавленные и сохраненные движущиеся ряды (этап S59). Поскольку добавленные и сохраненные движущиеся ряды существуют, центральный обрабатывающий блок 23 выполняет оценивание того, имеет ли совокупность добавленных и сохраненных движущихся рядов ширину, превосходящую пороговое значение thw (этап S61). В настоящем варианте осуществления изобретения, принимается, что пороговое значение thw составляет два блока или большее количество. Поскольку блоки с (4,0) по (8,0) являются распознанными движущимися рядами и имеют ширину, превосходящую пороговое значение thw, центральный обрабатывающий блок 23 оценивает, что указанные предположительно движущиеся ряды являются движущимися рядами (этап S65).
[0057]
Аналогично центральный обрабатывающий блок 23 последовательно выполняет оценивание того, является ли каждый ряд в направлении β столбца движущимся блоком. Этап S69 аналогичен этапу S49 и поэтому не будет описан.
[0058]
На фиг. 10 показан распознаваемый движущийся ряд. В частности, определяют область 131 в качестве движущегося ряда. Движущийся блок (6, n-3) содержится в области 131. С другой стороны, область 132, включающая движущийся блок (m-3, n-6), не имеет ширины, превосходящей пороговое значение thw в направлении стрелки β, и поэтому нет определения того, что он является движущимся рядом.
[0059]
Центральный обрабатывающий блок 23 определяет, что блоки, содержащиеся как в движущемся столбце, так и движущемся ряду, являются областью движущегося изображения (этап S70 согласно фиг. 9). В частности, определяется, что блоки, содержащиеся в области 140, в которой области 121 и 131, показанные на фиг. 11, перекрывают друг друга, являются областью движущегося изображения. По сравнению с движущимися блоками на фиг. 6, движущиеся блоки (6, n-3) и (m-3, n-6) оказываются исключены, поскольку определяется, что блок (4,5) и т.п. являются областью движущегося изображения. Таким образом, в отношении смежных блоков может быть предотвращен отказ включения блоков.
[0060]
Центральный обрабатывающий блок 23 реализует процесс определения границ движущихся блоков (этап S9 согласно фиг. 3). В области 140, показанной на фиг. 11, блоки, каждый из которых включает 32*32 пикселей, служат в качестве указанных границ области движущегося изображения. Посредством осуществления этапа S9 может быть получена граница 150, устанавливаемая на основании единичных пикселей, для области движущегося изображения, как показано на фиг. 13. Подробности этапа S9 будут описаны со ссылкой на фиг. 12.
[0061]
Центральный обрабатывающий блок 23 выполняет извлечение верхних блоков (этап S80 согласно фиг. 12). В частности, он выполняет извлечение в целом семи блоков, блоков с (4,2) по (4,8), изображенных на фиг. 13. Центральный обрабатывающий блок 23 затем инициализирует число P ряда осуществления процесса (этап S81) и выполняет извлечение всех пикселей в P-ых рядах подвергаемых извлечению блоков и рассчитывает их репрезентативное значение (этап S83). В частности, он выполняет извлечение 32 пикселей 0-го ряда блока (4,2), 32 пикселей в 0-ом ряду блока (4,3) и т.п., то есть 7*32 пикселей, и рассчитывает репрезентативные значения этого ряда. В настоящем варианте осуществления изобретения в качестве репрезентативного значения используют усредненное значение подвергаемых извлечению пикселей.
[0062]
Центральный обрабатывающий блок 23 затем выполняет извлечение всех пикселей в имеющем число P+1 ряду осуществление процесса подвергаемых извлечению блоков и рассчитывает репрезентативное значение этого ряда (этап S85). В частности, центральный обрабатывающий блок 23 выполняет извлечение 32 пикселей в 1-ом ряду блока (4,2), 32 пикселей в 1-ом ряду блока (4,3) и т.п., то есть 7*32 пикселей, и рассчитывает репрезентативное значение этого ряда.
[0063]
Центральный обрабатывающий блок 23 затем выполняет оценивание того, имеется ли различие между репрезентативным значением, рассчитанным на этапе S83, и репрезентативным значением, рассчитанным на этапе S85 (этап S87). Если на этапе S87 между ними имеется различие, центральный обрабатывающий блок 23 оценивает этот ряд, включающий пиксель (P,0), как служащий в качестве границы (этап S93). Если на этапе S87 между ними отсутствует различие, центральный обрабатывающий блок 23 осуществляет приращение числа P ряда осуществления процесса (этап S89) и повторяет этапы S83 и последующие этапы до тех пор, пока не будут достигнуты последние пиксели (в этом случае, 32 пикселей) в подвергаемых извлечению блоках (этап S91). Если на этапе S87 отсутствует различие между репрезентативным значением вторых последних пикселей и репрезентативным значением последних пикселей, центральный обрабатывающий блок 23 оценивает, что концы подвергаемых извлечению блоков образуют границу (этап S95).
[0064]
Случай, в котором границу, основанную на одиночных пикселях, подвергают извлечению из верхних блоков, описан применительно к фиг. 12, но аналогичное применимо и для нижних блоков.
[0065]
Согласно вышеупомянутому посредством горизонтального извлечения пикселей в каждом ряду периферийных верхних и нижних блоков и выполнения сравнения между репрезентативными значениями каждого ряда и смежного ряда обеспечивается возможность получения границы, устанавливаемой на основании одиночных пикселей, в указанных блоках.
[0066]
Для левой или правой границы необходимо только выполнять вертикальное извлечение блоков пикселей в каждом столбце и сравнение между репрезентативными значениями каждого столбца и смежного столбца.
[0067]
Настоящее устройство может автоматически распознавать область движущегося изображения. Кроме того, это распознавание может быть осуществлено только в нескольких кадрах. Таким образом, даже в том случае, когда сама область движущегося изображения динамически перемещается на мониторе, настоящее устройство может распознавать область движущегося изображения почти в режиме реального времени.
[0068]
2. Второй вариант осуществления изобретения
В вышеуказанном варианте осуществления изобретения описан пример, в котором количество областей, подлежащих распознаванию, составляет одну область. Во втором варианте осуществления изобретения повторяют этап S7 согласно фиг. 3, то есть процесс определения области движущегося изображения. Таким образом, может быть распознано даже множество областей с 201 по 207 движущегося изображения, как показано на фиг. 14.
[0069]
После выполнения этапа S7 согласно фиг. 3 определяют области с 301 по 304 движущегося изображения, как показано на фиг. 15. Выполняют оценивание того, что область 207 не имеет ширины, превосходящей пороговое значение thw, и поэтому не распознается в качестве области движущегося изображения.
[0070]
В этом состоянии область 301 движущегося изображения включает области неподвижного изображения. Соответственно, центральный обрабатывающий блок 23 рассматривает каждую из областей с 301 по 304 в качестве собирательной области изображения и снова осуществляет распознавание областей движущегося изображения. Таким образом, в области 301, например, распознают область 311, заданную координатами (y1, x1) и (y3, x11) блока, и область 312, заданную координатами (y1, x12) и (y3, x13) блока (фиг. 16). То же самое выполняют для других областей с 302 по 304.
[0071]
Аналогично центральный обрабатывающий блок 23 рассматривает область 311 в качестве собирательной области изображения и снова осуществляет распознавание областей движущегося изображения. Таким образом распознают область, установленную координатами (y1, x1) и (y11, x11) блока. То же самое выполняют для области 312.
[0072]
Такое повторяющееся распознавание может выполняться до тех пор, пока дальнейшее деление не станет невозможным, или частота верхнего предела повторяющегося распознавания может быть определена заранее.
[0073]
3. Третий вариант осуществления изобретения
В первом и втором вариантах осуществления изобретения осуществляют распознавание блоков; получают репрезентативные значения рядов единичных блоков, образующих четыре периферийные стороны распознанных блоков; и, если имеется различие между репрезентативными значениями одного ряда и смежного ряда, оценивают, что ряд является границей. То же самое выполняют для столбцов. В альтернативном варианте осуществления изобретения граница может быть распознана следующим образом. Альтернативный способ определения границ будет описан со ссылкой на фиг. 17.
[0074]
Центральный обрабатывающий блок 23 выполняет извлечение блоков, отличных от блоков, служащих в качестве концов верхних блоков (этап S100 согласно фиг. 17). В частности, центральный обрабатывающий блок 23 выполняет извлечение всех пяти блоков, блоков с (4,3) по (4,7), показанных на фиг. 13. Причиной того, почему выполняется исключение указанных концов, как раскрыто выше, заключается в том, что части блоков, служащих в качестве обоих концов, могут не иметь края. Следует отметить, что возможно использование также и концевых блоков.
[0075]
Центральный обрабатывающий блок 23 инициализирует число r ряда осуществления процесса и число g пикселя осуществления процесса (этапы S101, S102 согласно фиг. 17) и выполняет оценивание того, является ли g-ый пиксель подвергаемого извлечению блока ряда с числом «0» пикселем горизонтального ряда (край, проходящий в направлении рядов) (этап S103). Является ли g-ый пиксель пикселем горизонтального ряда может быть определено на основании различия яркости между g-ым пикселем и смежным пикселем. В настоящем варианте осуществления изобретения применяется фильтр и формула, как показано на фиг. 18A.
[0076]
Если центральный обрабатывающий блок 23 оценивает, что g-ый пиксель является пикселем горизонтального ряда, он осуществляет приращение общего числа Et (этап S105 согласно фиг. 17). Центральный обрабатывающий блок 23 затем выполняет оценивание того, все ли пиксели в этой линии подвергнуты процессу определения (этап S107). Если нет, центральный обрабатывающий блок 23 осуществляет приращение числа g пикселя осуществления процесса (этап S109) и повторяет этапы с S103 по S107.
[0077]
После того, как центральный обрабатывающий блок 23 выполняет оценивание того, является ли каждый из всех пикселей в этой линии горизонтальным краем, он выполняет оценивание того, превосходит ли общее число Et горизонтальных краев в этой линии заранее определенное пороговое значение ths (этап S111). Это выполняют для исключения пикселей горизонтальных краев, служащих в качестве частей контура в области движущегося изображения. Если общее число Et горизонтальных краев превосходит пороговое значение ths, центральный обрабатывающий блок 23 определяет, что горизонтальные края образуют границу (этап 117). Таким образом, может быть получена граница, в которой совокупность горизонтальных краев превосходит пороговое значение ths.
[0078]
Пороговое значение ths может быть фиксированным пороговым значением или может быть рассчитано согласно заранее определенному отношению и размеру (количеству блоков) распознанной области.
[0079]
Если на этапе S111 получено "НЕТ", центральный обрабатывающий блок 23 выполняет оценивание того, все ли ряды подвергнуты процессу определения (этап S113). Если этому были подвергнуты не все ряды, центральный обрабатывающий блок 23 осуществляет приращение числа r ряда осуществления процесса и повторяет этапы с S102 по S111.
[0080]
Таким образом может быть определена граница, устанавливаемая на основании одиночных пикселей. Аналогично в нижних блоках может быть определена граница, устанавливаемая на основании одиночных пикселей.
[0081]
Аналогично левую или правую границу определяют посредством распознавания вертикальных краев (краев, проходящих в направлении столбцов) в самых левых и самых правых единичных блоках с использованием фильтра и формулы, показанных на фиг. 18B.
[0082]
В настоящем варианте осуществления изобретения границу определяют на основании общего числа вертикальных краев или горизонтальных краев. Таким образом, можно осуществлять распознавание даже области движущегося изображения на нечетком фоне. Кроме того, точность распознавания оказывается увеличена, а дрожание области движущегося изображения уменьшено.
[0083]
В настоящем варианте осуществления изобретения пиксели во всех блоках, отличных от блоков, служащие в качестве концов блоков, полученных согласно фиг. 11, используют для получения границы. Еще в одном варианте осуществления изобретения определение может быть выполнено с использованием некоторых из этих пикселей.
[0084]
В настоящем варианте осуществления изобретения общее число краев в одной линии сравнивают с пороговым значением ths. Еще в одном варианте осуществления изобретения заранее определенное количество или большее количество непрерывно расположенных пикселей краев могут быть оценены как образующие границу. Поскольку естественное изображение включает изображение краев, в некоторых случаях определенное число непрерывно расположенных краев, которое меньше заранее определенного числа, может быть исключено из расчета указанного общего количества.
[0085]
Настоящий вариант осуществления изобретения применяют в случаях, при которых определяют прямоугольную область и затем получают границы, устанавливаемые на основании одиночных пикселей, в блоках, образующих периферии указанной прямоугольной области, однако при этом настоящий вариант осуществления изобретения также применим к оцениванию движения в целом и другим областям. Граница, устанавливаемая на основании множества пикселей (например, на основании 2*2 пикселей), может быть получена вместо границы, устанавливаемой на основании одиночных пикселей.
[0086]
В настоящем варианте осуществления изобретения пиксели краев подвергают извлечению для определения границы. Еще в одном варианте осуществления изобретения посредством оценивания того, является ли каждый из пикселей в целевых блоках пикселем, имеющим вектор движения между разными кадрами, граница между пикселями, в которых вектор движения может быть распознан, и пиксели, в которых вектор движения не может быть распознан, могут быть оценены как являющимися границей.
[0087]
Следует отметить, что в отдельном кадре может быть только незначительное различие по яркости между областью движущегося изображения и фоном. Например, в кадре t, показанном на фиг. 19А, имеет место незначительное различие по яркости между границами фона и области движущегося изображения. Может отсутствовать возможность распознавания указанных границ с использованием только этого кадра. Именно по этой причине посредством последовательного сохранения указанных границ в каждом кадре, сохраненные границы могут быть использованы, если какая-либо граница не может быть распознана в одном кадре. В настоящем варианте осуществления изобретения сохраняют дюжину или приблизительно дюжину кадров.
[0088]
В настоящем варианте осуществления изобретения описан случай, в котором процесс распознавания блоков, каждый из которых включает множество пикселей, (здесь и далее называемый грубым процессом) выполняют первым. Еще в одном варианте осуществления изобретения прямоугольные границы могут быть определены без этого процесса.
[0089]
Настоящий вариант осуществления изобретения может быть применен для устройства для определения прямоугольных границ статического изображения, а не для множества кадров.
[0090]
4. Четвертый вариант осуществления изобретения
В вышеуказанных вариантах осуществления изобретения оценку того, является ли область областью движущегося изображения, выполняют на основании пиксельной информации между кадрами. Однако если текстовые данные подвергаются прокручиванию в конкретной прямоугольной области, эти текстовые данные могут быть ошибочно оценены как область движущегося изображения. Именно по этой причине, как описано ниже, может быть выполнено оценивание относительно прокручивания, и, если выполнено оценивание, что прокручиванию подвергают текстовые данные, определение границ может быть отменено.
[0091]
В данных горизонтально написанного текста имеется пространство между символьными линиями. В частности, данные горизонтально написанного текста отличаются тем, что в области написанного символа каждой линии есть много краевых пикселей, а между символьными линиями краевых пикселей нет. Соответственно, является ли область областью движущегося изображения может быть определено на основании того, имеет ли указанная область такие отличия.
[0092]
Центральный обрабатывающий блок 23 инициализирует число Q целевого ряда и число соответствующих рядов k (этап S121 согласно фиг. 20) и рассчитывает общее число пикселей Enq краев в Q-ом ряду подвергаемого извлечению блока (этап S123). Является ли пиксель краевым пикселем, может быть определено на основании различия в яркости между указанным пикселем и смежным пикселем.
[0093]
Центральный обрабатывающий блок 23 выполняет оценивание того, превосходит ли общее число пикселей Enq краев пороговое значение thm и меньше ли общее число пикселей, En(q-1), краев в предшествующем ряду порогового значения thn (этап S125). Если на этапе S125 получают «ДА», центральный обрабатывающий блок 23 осуществляет приращение числа соответствующих рядов k (этап S127).
[0094]
Центральный обрабатывающий блок 23 выполняет оценивание того, выполнены ли оценивания в отношении всех рядов (этап S131). Если оценивания в отношении всех рядов не выполнены, центральный обрабатывающий блок 23 осуществляет приращение числа Q ряда осуществления процесса (этап S133) и повторяет этапы с S123 по S127.
[0095]
Если центральный обрабатывающий блок 23 оценивает на этапе S131, xnj оценивания в отношении всех рядов выполнены, он выполняет оценивание того, превосходит ли число соответствующих рядов к пороговое значение thg (этап S135). Если число соответствующих рядов k превосходит пороговое значение thg, центральный обрабатывающий блок 23 оценивает, что движение выполняют посредством прокручивания (этап S137).
[0096]
Оценивание относительно прокручивания выполняют между этапами S7 и S9 согласно фиг. 3. Если центральный обрабатывающий блок 23 оценивает, что движение выполняется посредством прокручивания, этап S9 может быть отменен.
[0097]
Таким образом, если символьная область подвергается прокручиванию в браузере, обеспечивается возможность предотвращения определения области как области движущегося изображения.
[0098]
Оценивание относительно прокручивания может быть выполнено в отношении некоторых рядов в указанной области, а не в отношении всех рядов в указанной области.
[0099]
В настоящем варианте осуществления изобретения описан случай, в котором текстовые данные написаны горизонтально, однако также возможно выполнение определения в отношении данных вертикально написанного текста. Следует отметить, что оценивание относительно прокручивания не обязательно должно быть выполнено вышеупомянутым способом, а может быть выполнено хорошо известными способами.
[0100]
В настоящем варианте осуществления изобретения описано оценивание относительно прокручивания в процессе определения области движущегося изображения, однако настоящий вариант осуществления может быть применим к оцениванию относительно прокручивания в целом.
[0101]
Кроме того, хотя конкретная область не подвергается прокручиванию, обеспечивается возможность оценивания того, является ли эта конкретная область текстовой областью. В этом случае указанная конкретная область не ограничена областью движущегося изображения, распознанной в процессе распознавания области движущегося изображения, и может являться конкретной областью в изображении, которое может быть неподвижным изображением или движущимся изображением.
[0102]
Согласно настоящему варианту осуществления также предложен способ определения прямоугольной области движущегося изображения, отображаемой в части отображающей области, имеющей пиксели, расположенные в направлении рядов и столбцов.
Способ включает:
этап выполнения оценивания перемещения единичного блока, на котором выполняют разделение отображающей области на единичные блоки, каждый из которых содержит заранее определенное количество пикселей, и выполняют оценивание того, является ли каждый единичный блок движущимся единичным блоком, имеющим движение;
этап определения движущегося блока столбца, на котором в качестве блока столбца устанавливают набор единичных блоков, содержащихся в столбце, включающем один из самых верхних единичных блоков из указанных единичных блоков, и если один блок столбца содержит по меньшей мере один движущийся единичный блок, определяют, что указанный блок столбца является движущимся блоком столбца;
этап определения движущегося блока ряда, на котором в качестве блока ряда устанавливают набор единичных блоков, содержащихся в ряде, включая один из самых левых единичных блоков, и, если один блок ряда содержит по меньшей мере один движущийся единичный блок, определяют, что блок ряда является движущимся блоком ряда;
процесс первого определения прямоугольный области движущегося изображения, на котором определяют в качестве прямоугольной области движущегося изображения прямоугольную область, заданную единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца; и
процесс второго определения прямоугольной области движущегося изображения, на котором определяют, область, заданную краями прямоугольной области движущегося изображения, в качестве прямоугольной области движущегося изображения на основании пикселей в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, содержащихся в прямоугольной области движущегося изображения.
[0103]
Согласно вышеуказанному, область движущегося изображения может быть определена путем выполнения оценивания того, является ли каждый из единичных блоков движущимся единичным блоком, определение движущегося блока столбца и движущегося блока ряда, и определения, в качестве прямоугольной области движущегося изображения, прямоугольной области, заданной единичными блоками, содержащимися в как в движущемся блоке ряда, так и в движущемся блоке столбца. Кроме того, область движущегося изображения может быть определена более точно путем определения области, заданной краями в прямоугольной области движущегося изображения, в качестве прямоугольной области движущегося изображения, на основании пикселей в единичных блоках, образующих четыре периферийные стороны указанных единичных блоков, содержащихся в указанной области.
[0104]
В способе согласно настоящему варианту осуществления, этап второго определения прямоугольной области движущегося изображения включает определение ряда, имеющего различное репрезентативное значение в единичных блоках, образующих четыре периферические стороны, в качестве границы в направлении ряда прямоугольной области движущегося изображения, и определение столбца, имеющего другое репрезентативное значение в единичных блоках, образующих четыре периферические стороны, в качестве границы в направлении столбца прямоугольной области движущегося изображения. Таким образом, возможно определить границы на основании репрезентативного значения пикселя каждого ряда.
[0105]
В способе согласно настоящему варианту осуществления, этап второго определения прямоугольной области движущегося изображения включает определение границ прямоугольной области движущегося изображения путем выполнения оценивания того, каждый ли пиксель в единичных блоках, образующих четыре периферийные стороны, является перемещающимся пикселем, который перемещается между различными кадрами. Таким образом, возможно определить границы на основании вектора движения каждого пикселя.
[0106]
В способе согласно настоящему варианту осуществления, второй этап определения прямоугольной области движущегося изображения включает извлечение пикселей, образующих край в направлении ряда, и пикселей, образующих край в направлении столбца, из пикселей в единичном блоке, образующих четыре периферийные стороны, и определение границ прямоугольной области движущегося изображения на основании общего количества пикселей, образующих края в направлении рядов в соответствующих рядах и общего количества пикселей, образующих края в направлении столбцов в соответствующих столбцах. Таким образом, возможно определить границы краев в направлении рядов и краев в направлении столбцов.
[0107]
В способе согласно настоящему варианту осуществления перед этапом второго определения прямоугольной области движущегося изображения, выполняют оценивание относительно, в котором определят, изменяется ли изображение в определенной прямоугольной области движущегося изображения между кадрами в результате прокручивания. Таким образом, возможно выполнить оценивание того, изменяется ли изображение в результате прокручивания. Если определено, что изображение изменяется в результате прокручивания, второе определение прямоугольной области движущегося изображения не выполнено. Таким образом, возможно в целом быстрое определение прямоугольной области движущегося изображения.
[0108]
В способе согласно настоящему варианту осуществления оценивание относительно прокручивания включает оценивание того, каждый ли из пикселей в определенной прямоугольной области движущегося изображения является краевым, на основании разницы в значении между этим пикселем и соседним пикселем, распознавание, в качестве области символьного промежутка, ряда или столбца, в котором предварительно определенное количество или более пикселей, не образующих края, имеется в направлении ряда или столбца, и выполняет оценивание относительно прокручивания на основании соотношения качестве области символьного промежутка к определенной прямоугольной области движущегося изображения. Таким образом, возможно достоверно определить, является ли изображение, включая символы, прокручиваемым.
[0109]
В способе согласно настоящему варианту осуществления перед этапом второго определения прямоугольной области движущегося изображения, выполняют многократно этап определения движущегося блока столбца, этап определения движущегося блока ряда, а также этап первого определения прямоугольный области движущегося изображения на прямоугольной области движущегося изображения, определенной на этапе второго определения прямоугольной области движущегося изображения. Таким образом, даже при наличии нескольких областей движущегося изображения, которые могут быть обнаружены, возможно точное обнаружение областей движущегося изображения.
[0110]
В способе согласно настоящему варианту этап первого определения прямоугольной области движущегося изображения включает выполнение дополнительно многократно этапа определения движущегося блока столбца и этапа определения движущегося блока ряда на определенной прямоугольной области. Таким образом, даже при наличии нескольких областей движущегося изображения, которые необходимо обнаружить, возможно точное обнаружение областей движущегося изображения.
[0111]
Согласно настоящему варианту осуществления также предложено устройство для оценивания того, является ли целевая область, относительно которой выполняют оценивание на экране, прокручиваемой областью. Устройство содержит: средства для оценивания краевых пикселей, выполненные с возможностью оценивания является ли каждый пиксель в целевой области краевым на основании различия в значении между пикселем и соседним пикселем; средства для оценивания области символьного промежутка, выполненные с возможностью оценивания, в качестве области символьного промежутка, рядов и столбцов, включая заданное количество или более пикселей, не образующих края; и средства для оценивания прокручивания области, выполненные с возможностью оценивания того, является ли целевая область прокручиваемой областью, на основании соотношения области символьного промежутка к целевой области.
[0112]
Таким образом, можно достоверно определить, является ли изображение, включая символы, прокручиваемым.
[0113]
Согласно настоящему варианту осуществления также предложено устройство для определения границ прямоугольной области на экране. Устройство содержит: средства для оценивания краевых пикселей, выполненные с возможностью оценивания пикселей, образующих края, на основании значений целевых пикселей, которые требуется оценить; средства для определения границы в направлении ряда, выполненные с возможностью извлечения пикселей, образующих края в направлении ряда, в качестве краевых пикселей в направлении ряда, с целью вычисления общего количества краев в направлении ряда в каждом ряду, и с возможностью определения границы в направлении ряда на основании общего количества краевых пикселей в направлении ряда в соответствующих рядах; средства для определения границы в направлении столбца, выполненные с возможностью извлечения пикселей, образующих края в направлении столбца, в качестве краевых пикселей в направлении столбца, и с возможностью вычисления общего количества краев в направлении столбца в каждом столбце, и с возможностью определения границы в направлении столбца на основании общего количества краев в направлении столбца в соответствующих столбцах; и средства для определения прямоугольной области, выполненные с возможностью определения определенных границ в направлении ряда и в направлении столбца в качестве границ прямоугольной области.
[0114]
Таким образом, возможно определить границы на основании краев в направлении ряда и столбца.
Устройство для определения границ согласно настоящему варианту осуществления дополнительно содержит средства для грубого определения области, выполненные с возможностью определения целевых пикселей, в отношении которых средства для определения краевых пикселей выполняют оценивание, и содержащие следующие средства:
[0115]
1) средства для оценивания движущегося единичного блока, выполнены с возможностью разделения отображающей зоны на единичные блоки, каждый из которых содержит предварительно заданное количество пикселей, причем область отображения имеет пиксели, расположенные в направлении рядов и столбцов, и с возможностью оценивания того, является ли каждый единичный блок движущимся единичным блоком, имеющим движение;
2) средства для определения движущегося блока столбца, выполненные с возможностью определения, в качестве блока столбца набор единичных блоков, содержащихся в столбце, включая один из верхних единичных блоков из указанных единичных блоков, и, если один блок столбца содержит по меньшей мере один движущийся единичный блок, определения блока столбца в качестве движущегося блока столбца;
3) средства для определения движущегося блока ряда, выполненные с возможностью определения, в качестве блока ряда набор единичных блоков, содержащихся в ряду, включая один из самых левых единичных блоков из указанных единичных блоков, и, если один блок ряда содержит по меньшей мере один движущийся единичный блок, определения блока ряда в качестве движущегося блока ряда;
4) средства первого определения прямоугольной области движущегося изображения, выполненные с возможностью определения, в качестве прямоугольной области движущегося изображения, прямоугольной области, заданной единичными блоками, содержащимися как в движущемся блоке ряда, так и в движущемся блоке столбца; и
5) средства для определения целевого пикселя, выполненные с возможностью определения, в качестве целевых пикселей, пикселей, содержащихся в единичных блоках, образующих четыре периферические стороны, из единичных блоков, содержащихся в прямоугольной области движущегося изображения.
[0116]
Таким образом, возможно быстрое определение границ.
[0117]
5. Пятый вариант
Приведенные выше варианты обеспечивают определить подвижные границы (поле), имеющее прямоугольную наружную форму. Соответственно, когда обе области, область неподвижного изображения и область движущегося изображения отображаются, например, при отображении в браузере сайта с размещенным на нем движущимся изображением, обеспечена возможность динамического обнаружения движущийся области путем использования способа отображения (например, путем технологии изменения четкости краев), отличающимся от такового для области неподвижного изображения. В результате, даже когда пользователь перемещает окно браузера или изменяет форму окна, например, путем его увеличения, возможно обеспечить автоматическое следование движущейся области за перемещением или т.п.окна.
[0118]
Однако это автоматическое следование может, например, вызвать проблемы, описанные ниже.
[0119]
1) Как правило, когда движение временно остановлено действием пользователя или т.п., движущаяся область исчезает; при возобновлении воспроизведения движущаяся область вновь обнаруживается. При временной остановке воспроизведения и его возобновлении четкость краев в области изменяется. Поэтому пользователь может почувствовать себя необычно.
[0120]
2) Кроме того, существуют движущиеся области некоторые части которых движутся отдельно, но большинство частей неподвижны, как видно при синхронизации губ в анимации. Если это состояние продолжается в течение заданного периода времени, некоторые отдельные части могут оценить в качестве движущейся области, а затем их обрабатывают с использованием технологии четкости краев или т.п.
[0121]
Согласно настоящему варианту осуществления, устройство для динамического определения прямоугольной движущейся области выполнено с возможностью точного определения прямоугольной движущейся области даже в особой ситуации путем выполнения следующих процессов.
[0122]
На фиг. 21 проиллюстрировано взаимосвязь между процессом обнаружения движущейся области из указанных выше вариантов осуществления и дополнительным процессом определения согласно настоящему варианту осуществления. Как видно на фиг. 21, дополнительный процесс определения (этап S155) представляет собой процесс, выполняющийся, когда движущаяся область не обнаружена или была обнаружена неправильная движущаяся область в процессе обнаружения движущейся области (этап S153).
[0123]
5.1 Когда движение временно приостановлено.
Процесс в целом, включающий дополнительный процесс определения, описан далее со ссылкой на фиг. 21 и 22. Далее в описании предполагается, что движение временно остановлено в момент времени t, а затем размер окна браузера сводится к минимуму и остается как есть в момент времени t+5.
[0124]
Когда центральный обрабатывающий блок 23 получает данные о последующем кадре, он выполняет процесс обнаружения движущейся области на этапе S153 на фиг. 21. В этом процессе, движение обнаруживают между соответствующими кадрами времени t-1 и t. Поскольку воспроизведение временно остановлено в момент времени t, существует различие между кадрами и, таким образом, обнаружена движущаяся область.
[0125]
Затем центральный обрабатывающий блок 23 переходит к этапу S155 на фиг. 21. Подробности этапа S155 отражены на фиг. 22.
[0126]
В настоящий момент времени, то есть момент времени t, центральный обрабатывающий блок 23 определяет, находится ли движущийся область, которая не была обнаружена непосредственно перед этим (этап S201 на фиг. 22). Поскольку имеет место обнаружение движущейся области непосредственно перед этим, то есть в момент времени t-1, центральный обрабатывающий блок 23 выполняет оценивание того, была ли обнаружена движущаяся область в момент времени t (этап S203).
[0127]
Поскольку движущаяся область была обнаружена на этапе S153 на фиг. 21 в момент времени t, центральный обрабатывающий блок 23 выполняет оценивание того, находится ли обнаруженная движущаяся область внутри движущейся области, которая была обнаружен непосредственно перед этим (шаг S221). В этом случае, обнаруженная движущаяся область является такой же, как и движущаяся область, которая была обнаружена непосредственно перед этим, и, следовательно, не расположена внутри последней. Поэтому процесс дополнительного определение завершается.
[0128]
Центральный обрабатывающий блок 23 затем определяет, имеются ли данные, полученные на последующем кадре (этап S151 на фиг. 21).
[0129]
Когда центральный обрабатывающий блок 23 получает данные о последующем кадре, он выполняет процесс обнаружения движущейся области на этапе S153 на фиг. 21. В ходе этого процесса центральный обрабатывающий блок 23 выполняет оценивание того, обнаружена ли движущаяся область в момент времени t+1. В частности, он выполняет оценивание того, обнаружено ли движение между соответствующими кадрами времени t и t+1. Так как воспроизведение было временно приостановлено в момент времени t, различие между кадрами времени t и t+1 отсутствует. Соответственно, никакое движение не обнаружено.
[0130]
Центральный обрабатывающий блок 23 затем выполняет дополнительный процесс определения (этап S155 на фиг. 21). В частности, в момент времени t+1, центральный обрабатывающий блок 23 выполняет оценивание того, имеется ли движущаяся область, который не была обнаружена непосредственно перед этим (этап S201 на фиг. 22). Поскольку имеет место обнаружение движущейся области непосредственно перед этим, то есть в момент времени t, центральный обрабатывающий блок 23 выполняет оценивание того, имело ли место обнаружение движущаяся области в момент времени t+1 (этап S203).
[0131]
В этом случае не было обнаружено никаких движущихся областей на этапе S153 на фиг. 21. Соответственно, центральный обрабатывающий блок 23 выполняет оценивание, имеется ли поле в движущейся области, которая была обнаружена непосредственно перед этим в кадре времени t+1 (этап S205 на фиг. 22). Например, центральный обрабатывающий блок 23 может заключить, что существует край между пикселями, когда существует заранее определенное или больше различие в значении между пикселями, и может заключить, что имеется окно, когда общее число краев превышает пороговое значение. Следует отметить, что могут быть использованы другие известные методы, чтобы выполнять оценивание о наличии поля.
[0132]
В этом случае воспроизведение просто временно останавливают. Соответственно, существуют края в движущейся области, которые были обнаружены непосредственно перед этим в кадре времени t+1. Соответственно, центральный обрабатывающий блок 23 сохраняет движущуюся область, которая была обнаружена непосредственно перед этим (этап S211).
[0133]
Согласно вышеизложенному при хранении координат области, обнаруженной в непосредственно предшествующем кадре, и предоставлении координат для последующего кадра в качестве данных о потенциальном поле области, возможно выполнить оценивание того, включает ли один кадр поле, без выполнения сравнения нескольких кадров, как в первом варианте осуществления.
[0134]
Таким образом, даже когда воспроизведение движущейся области остановлено, то возможно обнаружить движущуюся область, которая не была обнаружена в процессе обнаружения движущегося области на этапе S153 на фиг. 21.
[0135]
ПЦ 23 затем выполняет оценивание того, получены ли данные на последующем кадре (этап S151 на фиг. 21), и, если такие данные получены, повторяет процессы этапов S153 и S155.
[0136]
В частности, центральный обрабатывающий блок 23 не может обнаружить движущийся область на этапе S153 на фиг. 21, а затем последовательно проходит через этапы S201, S203, S205, S211 и на фиг. 22 в период с времени t+2 в момент t+4, и сохраняет движущуюся область, которая была обнаружена непосредственно перед этим.
[0137]
Поскольку окно закрыто в момент времени t+5, центральный обрабатывающий блок 23 не удается обнаружить движущуюся область на этапе S153 на фиг. 21, затем он переходит к этапу S155. На этапе S155, центральный обрабатывающий блок 23 последовательно проходит через этапы S201, S203 и S205. На этапе S205 он заключает, что в координатах движущейся области, обнаруженной непосредственно перед этим, поле отсутствует, а затем переходит к этапу S207. Центральный обрабатывающий блок 23 затем выполняет оценивание, является ли случай, когда поле отсутствует, непрерывно многократно повторяющимся (этап S207). В настоящем варианте осуществления предполагается, что на этапе S207 многократные повторения представляют собой "5". В этом случае, когда никакого поля не возникло и, следовательно, центральный обрабатывающий блок 23 удерживает в памяти подвижную область, которая была обнаружена непосредственно перед этим (этап S211).
[0138]
Центральный обрабатывающий блок 23 затем выполняет оценивание того, получены ли им данные на последующем кадре (этап S151 на фиг. 21), и, если он получил такие данные, повторяет процессы этапов S153 и S155.
[0139]
В частности, если центральный обрабатывающий блок 23 не обнаруживает движущуюся область на этапе S153 на фиг. 21, то на этапе S155, он проходит через этапы S201, S203, S205, S207 и этап S211 на фиг. 22 в период времени с t+6 до времени t+8, и сохраняет подвижную область, которая не была обнаружена непосредственно перед этим.
[0140]
Кроме того, если центральный обрабатывающий блок 23 не обнаруживает движущуюся область на этапе S153 на фиг. 21 и затем на этапе S155, он проходит через этапы S201, S203, S205 и S207 на фиг. 22 в момент t+9. На этапе S207, и он выполняет оценивание того, имел ли место случай, когда отсутствие поля происходило пять раз непрерывно, а затем отбрасывал подвижную область, которая была обнаружена непосредственно перед этим (этап S213).
[0141]
Таким образом, даже если прямоугольная движущаяся область существует, но воспроизведение остановлено, центральный обрабатывающий блок 23 может определить эту область в течение заданного периода времени.
[0142]
В настоящем варианте осуществления, когда центральный обрабатывающий блок 23 не обнаруживает движущуюся область на этапе S203 на фиг. 22, он выполняет процесс на этапе S205. Это нужно для того, чтобы выполнять оценивание того, следует ли выполнять шаги S221 и последующие шаги. Соответственно, если следует выполнять оценивание того, остановлено ли движение временно, центральный обрабатывающий блок 23 может перейти непосредственно к шагу S205, когда оцениванием на этапе S201 является значение "ДА".
[0143]
5.2 При внутреннем расположении области.
Далее описан процесс, когда только часть движущейся области является движущейся, а другие части являются почти движущимися. Затем приведен пример, в котором вся движущаяся область является движущейся в течение периода времени от t-20 до t и только часть экрана движется в течение периода времени от t+1 до t+6, как описано выше.
[0144]
В момент времени t центральный обрабатывающий блок 23 выполняет процесс обнаружения движущейся области этапе S153 на фиг. 21. В этом случае только часть экрана движется в момент времени t. Следовательно, как показано на фиг. 23, обнаруживают движущуюся область 411, которая меньше, чем непосредственно предшествующая движущаяся область 410.
[0145]
Центральный обрабатывающий блок 23 затем переходит к этапу S153 на фиг. 21. В частности, в момент времени t центральный обрабатывающий блок 23 выполняет оценивание того, имеется ли движущаяся область, которая не была обнаружена непосредственно перед этим (этап S201 на фиг. 22).
[0146]
Как показано на фиг. 23, имела место движущаяся область непосредственно перед этим, то есть в t-1. Следовательно, центральный обрабатывающий блок 23 выполняет оценивание того, была ли движущаяся область обнаружена в момент времени t (этап S203). Поскольку движущаяся область была обнаружена, центральный обрабатывающий блок 23 выполняет оценивание того, находится ли обнаруженная движущаяся область внутри движущейся области, которая была обнаружена непосредственно перед этим (этап S221).
[0147]
Как показано на фиг. 23, движущаяся область 411, обнаруженная в момент времени t, входит в движущуюся область 410, обнаруженную в момент времени t-1. Затем центральный обрабатывающий блок 23 выполняет оценивание того, является ли то количество раз, когда обнаруженная движущаяся область непрерывно обнаруживалась внутри движущейся области, которая была обнаружена непосредственно перед этим, большим или равным пороговому значению (этап S223). В настоящем варианте осуществления предполагается, что пороговое значение на этапе S223 представляет собой "пять раз".
[0148]
В настоящем случае обнаруженная движущаяся область не была непрерывно обнаружена внутри движущейся области, которая была обнаружена непосредственно перед этим. Соответственно, процессор 23 выполняет оценивание того, является ли количество раз является меньшим, чем пороговое значение, а затем выполняет оценивание того, является ли время, в течение которого он удерживал движущуюся область, которая была обнаружена непосредственно перед этим, большим или равным пороговому значению (этап S225). В настоящем варианте осуществления предполагается, что пороговое значение времени удерживания на этапе S225 представляет собой три секунды.
[0149]
Поскольку вся движущаяся область переместилась за период времени от t-20 до t, то центральный обрабатывающий блок 23 выполняет оценивание того, что время удерживания превышает пороговое значение, и продолжает хранить в памяти движущуюся область, которая была обнаружена непосредственно перед этим (этап S211). Таким образом, если только часть движущейся области движется, а другие части почти не движутся, то ошибочное обнаружение движущейся области возможно предотвратить.
[0150]
Согласно вышеизложенному, если время удерживания является большим или равным пороговому значению на этапе S225, центральный обрабатывающий блок 23 продолжает удерживать движущуюся область 410, которая была обнаружена непосредственно перед этим. Таким образом, ошибочное обнаружение движущейся области возможно предотвратить. То есть, если движущаяся область удерживалась в том же положении и с тем же размером в течение заданного времени, и если внутренняя часть движущейся области обнаружена случайно, то центральный обрабатывающий блок 23 распознает это обнаружение как ошибочное обнаружение и выполняет процесс этапа S211.
[0151]
Процессор 23 также выполняет аналогичные процессы в последующих кадрах. Таким образом, даже когда обнаруженная движущаяся область расположена внутри движущейся области, которая была обнаружена непосредственно перед этим, возможно удерживание первоначальной движущейся области.
[0152]
Когда время удерживания движущейся области, которая была обнаружена непосредственно перед этим, не превышает порогового значения на этапе S225, центральный обрабатывающий блок 23 выполняет оценивание того, имеются ли какие-либо изменения яркости внутри и вокруг четырех углов движущейся области, которая была обнаружена непосредственно перед этим (этап S227).
[0153]
В настоящем случае, только часть движущейся области движется, а другие части почти движутся. Соответственно, центральный обрабатывающий блок 23 выполняет оценивание того, что какие-либо изменения яркости отсутствуют, а затем переходит к этапу S229, чтобы выполнить оценивание того, имеется ли поле. Процесс на этапе S229 является таким же, как на этапе S205. Поскольку существует поле в движущейся области, центральный обрабатывающий блок 23 переходит к этапу S211.
[0154]
Как изложено выше, если часть движущейся области движется, а другие части случайно не движутся, и, если время удерживания движущейся области, которая была обнаружена непосредственно перед этим, не превышает порогового значения, центральный обрабатывающий блок 23 может удерживать эту движущуюся область (этап S211).
[0155]
Когда эти процессы повторяются, время удерживания становится большим или равным пороговому значению на этапе S225. Следовательно, центральный обрабатывающий блок 23 переходит к этапу S211.
[0156]
Далее изложен смысл этапа S227. Случаи, когда обнаруженная движущаяся область расположена внутри движущейся области, которая была обнаружена непосредственно перед этим, как показано на фиг. 23, включают случай, когда только часть движущейся области является движущейся, а другие части почти движущимися, а также случай, когда другое окно перекрывает движущуюся область и, таким образом, частично скрывает ее. В последнем случае по меньшей мере одна из скрытых частей содержит один из четырех углов обнаруженной области, и имеется изменение ее яркости. Соответственно, если есть изменения яркости по меньшей мере в одном местоположении и вокруг четырех углов движущейся области, которая была обнаружена непосредственно перед этим, центральный обрабатывающий блок 23 переходит на этап S211; в противном случае, он выполняет процесс на этапе S229.
[0157]
То есть, если другое окно перекрывает движущуюся область и тем самым частично скрывает ее, центральный обрабатывающий блок 23 на этапе S229 выполняет оценивание того, что поле отсутствует в движущейся области, которая была обнаружена непосредственно перед этим, и расценивает обнаруженную движущуюся область в качестве новой движущейся области (этап S231). Следует отметить, что путем регулирования порогового значения для обнаружения поля возможно регулировать степень перекрытия.
[0158]
Необходимо обратить внимание на то, что, когда изменения яркости в одном или нескольких местах на этапе S227 отсутствуют, то центральный обрабатывающий блок 23 может пропустить этап S229 и перейти к этапу S231.
[0159]
Затем на этапе S151 центральный обрабатывающий блок 23 выполняет оценивание того, получены ли им данные о последующем кадре (этап S151 на фиг. 21). Если он получил такие данные, центральный обрабатывающий блок 23 повторяет процессы этапов S153 и S155.
[0160]
Если количество раз, когда обнаруженная движущаяся область была непрерывно расположена внутри движущейся области, которая была обнаружена непосредственно перед этим, является большим или равным пороговому значению на этапе S223, то центральный обрабатывающий блок 23 пропускает выполнения оценивания на этапах S225 и S227, и выполняет оценивания на этапе S229.
[0161]
Этапы S227, S229 и S231 обеспечивают следующие эффекты. На начальной стадии процесса обнаружения движущегося области, надежность результата является относительно низкой. Это происходит потому, что по причине, например, перемещения курсора мыши или индикатора состояния, движущуюся область часто ошибочно обнаруживают, как большую, чем она есть. Поэтому в течение периода непосредственно после того, как движущаяся область обнаружена, если отсутствуют какие-либо изменения яркости в любом из четырех углов обнаруживаемой в текущий момент области, и, если отсутствует поле, обнаруженную движущуюся область снова устанавливают в качестве движущейся области.
[0162]
В настоящем варианте осуществления выполнение оценивания того, имеются ли какие-либо изменения яркости по меньшей мере в одном из четырех углов, является оценивающим критерием на этапе S227; альтернативно, выполняют оценивания того, имеются ли какие-либо изменения яркости в четырех углах и дополнительно в центре, то есть, в целом выполняют оценивание пяти местоположений. В этом случае, возможно выполнять оценивание того, есть ли какие-либо изменения яркости, имеются ли какие-либо изменения яркости по меньшей мере в одном из четырех углов, а также в центре.
[0163]
Если движущаяся область была перемещена или ее вид был изменен, например, она была увеличена, тогда на этапе S221 выполняют оценивание того, что обнаруженная движущаяся область не расположена внутри движущегося области, которая была обнаружена непосредственно перед этим. В этом случае, движущаяся область которая была обнаружена непосредственно перед этим не удерживается. То есть, область, обнаруженная в обычном процессе обнаружения движения на этапе S153 на фиг. 21 обнаруживается в качестве движущейся области.
[0164]
Необходимо обратить внимание на то, что на этапах S205 и S229 возможно выполнять оценивание того, существует ли, например, индикатор состояния, указывающий положение воспроизведения движущегося изображения или таймер, указывающий время воспроизведения, вместо поля, в движущейся области, которая была обнаружена непосредственно перед этим. Согласно вышеизложенному, если обнаруженная движущаяся область содержит поле и т.п., обнаруженная область может быть оценена в качестве движущейся области, которая была обнаружена непосредственно перед этим.
[0165]
Кроме того, возможно выполнение оценивания того, существует ли поле в движущейся области, которая была обнаружена непосредственно перед этим, на основании гистограммы, а не в зависимости от количества краев.
[0166]
На фиг. 24 представлена блок-схема, на которой процессы на фиг. 21 и 22 выполнены посредством аппаратных средств. Детектор координат 601 движущейся области выводит потенциальное время t движущейся области (1) с помощью соответствующих изображений моментов времени t-1 и t. Оценивающий блок 603 выбирает между потенциальным временем t движущейся области (1) и потенциальным временем t движущихся координат (2) (разъяснения следуют далее) и, в момент времени t выводит движущуюся область времени t. Удерживающий блок 604 удерживает движущуюся область (координаты) времени t. В момент времени t+1 она предоставляет эту сохраненную движущуюся область (координаты) детектору 605 характеристик конкретной области в качестве движущихся координат времени t, а также предоставляет эту движущуюся область (координаты) самой себе как движущиеся координаты (2) потенциального времени t+1.
[0167]
В момент времени t+1 детектор 605 характеристик конкретной области применяет движущиеся координаты времени t, предоставляемые оценивающим блоком 603, по отношению к соответствующим изображениям времени t и t+1 для вычисления характеристических данных d(t) вокруг движущихся координат времени t и характеристических данных d(t+1) вокруг движущихся координат времени t+1, а затем предоставляет вычисленные данные на оценивающий блок 603.
[0168]
Оценивающий блок 603 выполняет оценивание того, имеется ли поле, на основании характеристических данных d(t+1). Оценивающий блок 603 выполняет оценивание того, имеются ли изменения яркости в четырех углах (этап S227 на фиг. 22), на основании характеристических данных d(t) и характеристических данных d(t+1).
[0169]
Как видно из вышеизложенного, путем удерживания в памяти выведенных движущихся координат времени t и путем применения движущихся координат к изображениям в момент времени t+1, возможно выполнения оценивания по фиг. 22.
[0170]
Способ для обнаружения прямоугольной движущейся области в настоящем варианте осуществления описан в комбинации с вариантами осуществления с первого по четвертый варианты осуществления, и могут быть объединены с другими способами обнаружения прямоугольной движущейся области.
[0171]
Согласно настоящему варианту осуществления также предложен способ для обнаружения прямоугольной области движущегося изображения, имеющей прямоугольную наружную форму, отображаемую в части отображающей области, на основании различия между соответствующими кадрами изображений времени t и t+1, включающий, например, следующие этапы: оценивающий этап разделения отображающей области на единичные блоки, каждый из которых содержит заранее определенное количество пикселей, и оценивание того, является ли каждый единичный блок движущимся единичным блоком, имеющим движение; этап определения движущегося блока ряда, если один ряд содержит по меньшей мере один движущийся единичный блок в направлении столбца, в котором расположены ряды, то выполняют оценивание ряда в качестве движущегося блока ряда; этап определения движущегося блока столбца, если один столбец содержит по меньшей мере один движущийся единичный блок в направлении ряда, в котором расположены столбцы, о выполняют оценивание столбца в качестве движущегося блока столбца; и этап первого определения прямоугольный области движущегося изображения, когда количество соседних движущихся блоков ряда из движущихся блоков ряда является большим или равным пороговому значению, выполняют определение прямой линии наружных блоков ряда из набора соседних блоков ряда; когда количество соседних движущихся блоков столбца из движущихся блоков столбца является большим или равным пороговому значению, выполняют определение прямой линии наружных блоков столбца из набора соседних блоков столбца, и определяют прямоугольную область, ограниченную прямой линией наружных блоков ряда и прямой линией наружных блоков столбца, как прямоугольную область движущегося изображения.
[0172]
В настоящем варианте осуществления, когда один и тот же кадр изображения предоставлен детектору 601 координат движущейся области и детектору 605 характеристик конкретной области, детектору 605 характеристик конкретной области может быть предоставлен кадр изображения, отличающийся от кадра изображения, предоставленного детектору 601 координат движущейся области. В частности, в то время как в настоящем варианте осуществления выполняют оценивание отношения включения на основании движущейся области, полученной из кадров времени t-1 и t, и движущейся области, полученной из кадров времени t и t+1, возможно выполнить оценивание на основании движущейся области, полученной из кадров времени t и t+n, и движущейся области, полученной из кадров времени t+m и t+p. В настоящей заявке m, m и p представляют собой целые числа, удовлетворяющие условию n<m и p<m.
[0173]
Детектору 605 характеристик конкретной области могут быть предоставлены кадры времени t+a и t+b. В настоящей заявке a и b представляют собой целые числа, удовлетворяющие условию m≥b, m≥a и a≠b.
[0174]
6. Шестой вариант
В четвертом варианте осуществления оценивание о прокручивании выполняют на конкретной движущейся области изображения; когда символьная область прокручивается, оценивание границы не выполняется. Оценивание о прокручивании также может быть использовано для выполнение оценивания того, является ли конкретная область текстовой областью.
[0175]
В настоящем варианте осуществления, будут описаны случай, когда ли конкретный регион текста область оценивается с использованием другого метода.
[0176]
В этом способе также возможно выполнить оценивание того, прокручивается ли настоящее время конкретная область.
[0177]
В четвертом варианте осуществления, когда различие в количестве краев в каждой линии и в непосредственно предшествующей линии превышает пороговое значение, линию обнаруживают в качестве символьной линии; и когда общее количество обнаруженных символьных линий превышает пороговое значение, в частности, оценивают прямоугольную область в качестве символьной области. Тем не менее, возможно ошибочное обнаружение символьно-объединенной области, в которой смешаны естественные изображения и символы, как показано на фиг. 25. Причина заключается в том, что отсутствует разница в количестве краев между каждой линией и непосредственно предшествующей линией в области естественного изображения и, следовательно, оценивание того, является ли каждая линия символьной линией, должно выполняться только с использованием других областей. В настоящем варианте осуществления, с другой стороны, оценивание того, является ли область символьно-объединенной областью выполняется на основании того, является ли количество самых крупных непрерывный некраевых пикселей, содержащихся в каждой линии большим или равным пороговому значению, а не на основании различие в количестве краев между двумя линиями. Выполнение этого оценивания описано с использованием прямоугольной области, в которой символьные и естественные изображения смешаны, как показано на фиг. 25, и со ссылкой на фиг. 26.
[0178]
ПЦ 23 инициализирует общее количество символьных линий, k, (этап S221 на фиг. 26), а затем инициализирует количество непрерывных некраевых пикселей, r, (этап S223).
[0179]
Центральный обрабатывающий блок 23 затем определяет, является ли непрерывный некраевой пиксель начинающим (этап S224). Выполнять оценивание того, является ли непрерывный некраевой пиксель начинающим возможно на основании того, является ли пиксель первым некраевым пикселем в ряду или изменился из краевого пикселя в некраевой пиксель. Как описано выше, оценивание того, является ли каждый пиксель краевым, возможно на основании различия в яркости между пикселем и соседним пикселем.
[0180]
Если оцениванием на этапе S224 является значение "ДА", центральный обрабатывающий блок 23 приращивает количество непрерывных пикселей r (этап S225) и оценивает, закончились ли непрерывные некраевые пиксели (этап S226). Оценивание того, закончились ли непрерывные некраевые пиксели, возможно выполнять на основании того, изменился ли пиксель из некраевого пикселя в краевой пиксель, или является ли последний пиксель в линии некраевым пикселем.
[0181]
Центральный обрабатывающий блок 23 хранит текущее r в качестве количества потенциальных непрерывных некраевых пикселей (этап S227).
[0182]
Затем центральный обрабатывающий блок 23 выполняет оценивание того, были ли выполнены оценивания для всех пикселей в линии (этап S231). Если оценивания не были выполнены для всех пикселей, центральный обрабатывающий блок 23 повторяет этапы с S223 по S227.
[0183]
Если оцениванием на этапе S224 является значение "НЕТ", центральный обрабатывающий блок 23 повторяет процесс от этапа S224.
[0184]
Таким образом, для каждого ряда хранится один или большее количество из потенциальных непрерывных некраевых пикселей.
[0185]
Если на этапе S231 ПЦ 23 выполняет оценивание того, что оценивания для всех пикселей в ряду были выполнены, он извлекает наибольшее из количеств потенциальных непрерывных некраевых пикселей (этап S233), а затем удаляет все потенциальные количества. Затем центральный обрабатывающий блок 23 выполняет оценивание того, является ли извлеченный наибольший номер больше, чем пороговое значение (шаг S234).
[0186]
В то время как в настоящем варианте осуществления 40% или более от количества пикселей в горизонтальном направлении в той или иной области установлено на пороговом значении на этапе S234, однако пороговое значение не ограничено этой величиной.
[0187]
Так, например, ряд L1 на фиг. 25 оценивается как символьная линия. С другой стороны, ряд L2 не оценивается символьная линия.
[0188]
Если наибольшее количество больше, чем пороговое значение, ПЦ 23 приращивает общее количество символьных линий k (этап S235). Затем центральный обрабатывающий блок 23 выполняет оценивание того, были ли выполнены оценивания для всех рядов (этап S241). Если оценивания не были выполнены для всех рядов, ПЦ 23 повторяет этапы S223 и последующие.
[0189]
Если ПЦ 23 выполняет оценивание на этапе S241, что были выполнены оценивания для всех рядов, он выполняет оценивание того, является ли область символьной областью (этап S243).
[0190]
В настоящем варианте осуществления предполагается, что если общее количество символьных линий k больше, чем пороговое значение thk, область оценивается в качестве символьной области. Порог thk может иметь любое значение, и в настоящем варианте осуществления устанавливается в 30% от количества всех рядов в области.
[0191]
В настоящем варианте осуществления, если количество непрерывных некраевых пикселей больше, чем пороговое значение, то ряд оценивается в качестве символьной линии. По этой причине, если данные об изображении, включая естественное изображение, содержат текст, непрерывные некраевые пиксели могут присутствовать в большом количестве, поскольку имеются межрядные пространства. Согласно вышеизложенному благодаря самому большому количеству непрерывных некраевых пикселей, даже в отношении изображения, в котором горизонтально смешаны на относительно плоском фоне естественное изображение и изображение с символами, как показано на фиг. 25, предотвращена возможность ошибочного оценивания его в качестве несимвольной области.
[0192]
При выполнении этого оценивания несимвольной области возможно предотвратить возможность оценивания этой области в качестве движущегося изображения, когда символы в браузере в являются прокручиваемыми, как в четвертом варианте осуществления. Это оценивание о прокручивании может быть выполнено для некоторых рядов в области, а не для всех рядов в области.
[0193]
Случай, когда текстовые данные записаны горизонтально, как описано в настоящем варианте осуществления, также применим к вертикально записанным текстовым данным. Кроме того, это оценивание применимо к любым языках.
[0194]
Следует отметить, что способ выполнения оценивая о прокручивании не ограничен вышеизложенным, и может представлять собой хорошо известный способ.
[0195]
Случай, когда в настоящем варианте осуществления оценивание о прокручивании движущейся области изображения, как описано в настоящем варианте осуществления, также применим для оценивания о прокручивании в целом.
[0196]
Настоящий вариант осуществления также обеспечивает устройство для оценивания того, находится ли целевая область в прокручиваемой области на экране. Устройство содержит: средства для оценивания краевых пикселей, выполненные с возможностью оценивания того, является ли каждый пиксель в целевой области краевым пикселем на основании различия в величине между пикселем и соседним пикселем; средства для оценивания области символьного промежутка, выполненные с возможностью оценивания того, является ли ряд или столбец, включая предварительно определенное количество непрерывных пикселей, которые не образуют края, областью символьного промежутка; и средства для оценивания прокручивания области, выполненные с возможностью оценивания того, является ли целевая область прокручиваемой областью на основании соотношения области символьного промежутка к целевой области.
[0197]
Таким образом, возможно точно определить, является ли изображение, содержащее символы, прокручиваемым изображением. Этот способ оценивания о прокручивании может быть по выбору использован в сочетании с изобретением, раскрытым в настоящем варианте осуществления.
[0198]
Настоящий вариант осуществления также обеспечивает устройство для оценивания того, является ли целевая область на экране область символьно-объединенной областью. Устройство содержит: средства для оценивания краевых пикселей, выполненные с возможностью оценивания того, является ли каждый пиксель в целевой области краевым пикселем на основании различия в величине между пикселем и соседним пикселем; средства для оценивания области символьного промежутка, выполненные с возможностью оценивания того, является ли ряд или столбец, включая предварительно определенное количество непрерывных пикселей, которые не образуют края, рядом символьного промежутка или столбцом символьного промежутка; и средства для оценивания символьно-объединенной области, выполненные с возможностью оценивания того, является ли целевая область символьно-объединенной областью на основании соотношения области символьного промежутка к целевой области.
[0199]
Таким образом, обеспечено точное оценивание того, является ли целевая область символьно-объединенной областью. Устройство для оценивания символьно-объединенной области может быть по выбору использовано в сочетании со способами, отличающимися от способа для обнаружения прямоугольной области, раскрытого в настоящем варианте осуществления.
[0200]
После того, как целевая область была оценена как потенциальная движущаяся область, а затем оценена как прокручиваемая область, устройство для оценивания о прокручивании области согласно настоящему варианту осуществления может выполнить оценивание, что целевая область не является движущейся областью изображения.
[0201]
7. Другие варианты
В то время как значение яркости используется в качестве значения пикселя в вышеупомянутых вариантах осуществления, также могут быть использованы значения RGB или тому подобное.
[0202]
В описанном выше варианте, оценивание того, является ли блок блоком, содержащимся в движущейся области изображения, выполняют на основании кадров времени t и t+1 на этапе S15 на фиг. 5. Тем не менее, могут быть использованы другие кадры до тех пор, пока существует разница во времени между кадрами. Например, оценивание может быть выполнено на основании того, имеется ли движение между кадрами времени t и t+2. Кроме двух кадров, может быть выполнено сравнение между большим количеством кадров, полученных путем добавления предшествующих и последующих кадров.
[0203]
В описанном выше варианте на детектор 601 координат движущейся области и детектор 605 характеристик конкретной области предоставляется один и тот же кадр изображения, но в то же время могут быть предоставлены отличающиеся кадры изображения. Например, на детектор 601 координат движущейся области и детектор 605 характеристик конкретной области могут быть предоставлены кадр изображения времени t и t+3 и кадры изображения времени t+1 и t+2, соответственно.
[0204]
Другими словами, на детектор 601 координат движущейся области и детектор 605 характеристик конкретной области могут быть предоставлены кадр изображения времени t и t+n и кадры изображения времени t+а и t+b, соответственно. В настоящей заявке а и b представляют собой целые числа, удовлетворяющие условию n≥b>а≥0.
[0205]
В этом случае, детектор 605 характеристик конкретной области применяет в момент времени t+1 движущиеся координаты времени t, предоставленные оценивающим блоком 603 к соответствующим изображениям времени t+а и t+b для вычисления характеристических данных d(t+а) вокруг движущихся координат времени t и характеристических данных d(t+b) вокруг движущихся координат времени t+b, а затем предоставляет вычисленные данные на оценивающий блок 603.
[0206]
Оценивающий блок 603 выполняет оценивание того, имеется ли поле, на основании характеристических данных d(t+b). Оценивающий блок 603 выполняет оценивание того, имеются ли изменения яркости в четырех углах, на основании характеристических данных d(t+а) и характеристических данных d(t+b)
[0207]
В вышеприведенных вариантах осуществления процесс определения границ на этапе S9 на фиг. 3 является необязательным. Если граница основе пикселей не является необходимой, то нет необходимости выполнять этот процесс. В описанном выше процесс определения границ используются значения всех пикселей в одном ряду или в одном столбце в отношении всех периферийных блоков. Кроме того, значения пикселей могут быть прорежены, или может быть использовано репрезентативное значение. Кроме того, оценивание может быть выполнено с учетом некоторых периферийных блоков, а не всех периферийных блоков.
[0208]
Как и на этапе S15 на фиг. 5, репрезентативное значение прошедшего такого же положения может быть заранее сохранено и использовано для сравнения.
[0209]
В приведенных выше вариантах осуществления, один блок содержит 32*32 пикселей, но не ограничен этим количеством.
[0210]
Если значение любого пикселя (например, значение пикселя в верхнем левом углу блока) используется вместо среднего значения или хэш-значения пикселя, границы могут быть получены в процессе на шаге S9 на фиг. 3 путем размещения пикселей, соответствующих одному блоку, на периферии. Например, если обнаружены 7*5 блоки в подвижной области изображения в процессе на этапе S7, процесс на этапе S9 выполняется на основании 9*7 блоков, полученных путем добавления одного блока вокруг блоков.
[0211]
В описанном выше варианте возможно выполнение монитора или телекоммуникационного устройства, включая устройство для определения прямоугольной области движущегося изображения. Такое связующее телекоммуникационное устройство может быть выполнено в виде коммутатора для переключения между мониторами для приема входных данных.
[0212]
В приведенных выше вариантах осуществления, прямоугольная область движущегося изображения может быть обнаружена с точностью до пиксельного уровня. Кроме того, возможно определение нескольких областей движущегося изображения. Кроме того, возможно устранить движение области небольшой ширины. Например, возможно обратиться к квази-движениям указателя мыши или т.п.. Поскольку такие движения можно отличить от движущихся или неподвижных областей на изображении, возможно обеспечить оптимальное управление.
[0213]
В приведенных выше вариантах осуществления, оценивание того, является ли каждый единичный блок движущимся единичным блоком, выполняют путем: разделения отображающей области на единичные блоки, каждый из которых содержит заранее определенное количество пикселей, и вычисления репрезентативного значения каждого единичного блока на основании значений предварительно определенного количества пикселей, содержащихся в каждом единичном блоке; сравнения вычисленного репрезентативного значение каждого единичного блока с репрезентативным значением каждого единичного блока в том же положении в сравнительном кадре; и если различие между репрезентативными значениями превышает пороговое значение, оценивание единичного блока в качестве движущегося единичного блока, имеющего движение. Однако способ для оценивания того, является ли каждый ли единичный блок движущимся единичным блоком, не ограничен вышеизложенным, и возможны другие способы. Например, как описано выше, возможно использование любого известного способа для оценивания движущегося единичного блока, такого как сравнение сумм репрезентативных значений одного и того же блока в предварительно определенном количестве кадров.
[0214]
В приведенных выше вариантах осуществления функции, проиллюстрированные на фиг. 1, обеспечены благодаря центральному обрабатывающему блоку 23 и исполнительным программным обеспечением. В качестве альтернативы, некоторые или все функции могут быть обеспечены благодаря аппаратном средствам, таким как логическая схема. Кроме того, часть программы возможно выполнить в операционной системе (ОС).
Описание ссылочных номеров
[0215]
23 центральный обрабатывающий блок
25 оперативное запоминающее устройство (ОЗУ)
26 постоянное запоминающее устройство (флеш-память).