(57)【要約】  マルチチャネル画像を処理するための方法が開示される。この方法は、マルチチャネル画像から複数のグレースケール画像を生成することを含む。少なくとも１つのテキスト領域は、複数のグレースケール画像において識別され、テキスト領域情報は、少なくとも１つのテキスト領域から決定される。この方法は、テキスト領域情報に基づいて、マルチチャネル画像のテキスト情報を生成する。少なくとも１つのテキスト領域が、複数のテキスト領域を含む場合、複数のテキスト領域からのテキスト領域情報がマージされて、テキスト情報が生成される。複数のグレースケール画像は、並列に処理される。少なくとも１つのテキスト領域を識別することにおいて、少なくとも１つの候補テキスト領域が、複数のグレースケール画像において識別され得、少なくとも１つのテキスト領域が、識別された候補テキスト領域において識別され得る。
2014523036.tif 000002
【特許請求の範囲】
【請求項１】
マルチチャネル画像を処理するための方法であって、
前記マルチチャネル画像から複数のグレースケール画像を生成することと、
前記複数のグレースケール画像において少なくとも１つのテキスト領域を識別することと、
前記少なくとも１つのテキスト領域からテキスト領域情報を決定することと、
前記テキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成することと
を備える方法。
【請求項２】
前記マルチチャネル画像の前記テキスト情報を生成することは、
前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記２つ以上のテキスト領域からの前記テキスト領域情報をマージすること
を含む、請求項１に記載の方法。
【請求項３】
前記少なくとも１つのテキスト領域を識別することは、前記複数のグレースケール画像を並列に処理することを含む、請求項１に記載の方法。
【請求項４】
前記少なくとも１つのテキスト領域を識別することは、
前記複数のグレースケール画像において少なくとも１つの候補テキスト領域を識別することと、
前記識別された少なくとも１つの候補テキスト領域において、前記少なくとも１つのテキスト領域を識別することと
を含む、請求項１に記載の方法。
【請求項５】
前記少なくとも１つの候補テキスト領域を識別することは、
前記複数のグレースケール画像において少なくとも１つの非候補テキスト領域を識別することと、
前記少なくとも１つの非候補テキスト領域のうちの２つ以上の非候補テキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記２つ以上の非候補テキスト領域の共通部分を識別することと、
前記共通部分を前記少なくとも１つの候補テキスト領域に追加することと
を含む、請求項４に記載の方法。
【請求項６】
前記テキスト領域情報を決定することは、
前記少なくとも１つのテキスト領域の各領域についての位置を識別することと、
前記少なくとも１つのテキスト領域の各領域についてのテキストを認識することと
を含む、請求項１に記載の方法。
【請求項７】
前記テキスト領域情報を決定することは、前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記識別されたテキスト領域の各々において前記認識されたテキストについてのテキスト信頼性値を決定することをさらに含み、
前記マルチチャネル画像の前記テキスト情報を生成することは、前記識別されたテキスト領域のうちの少なくとも２つの前記識別された位置が、少なくとも部分的に重複する場合、前記少なくとも２つの重複するテキスト領域から前記認識されたテキストのうちの１つを選択することを含み、前記選択されたテキストは、前記決定されたテキスト信頼性値の中の最大値に対応する、請求項６に記載の方法。
【請求項８】
前記テキスト領域情報を決定することは、
前記少なくとも１つのテキスト領域の各領域についての位置を識別することと、
前記少なくとも１つのテキスト領域の各領域についての領域信頼性値を決定することと
を含む、請求項１に記載の方法。
【請求項９】
前記マルチチャネル画像の前記テキスト情報を決定することは、
前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別され、かつ、前記識別されたテキスト領域のうちの少なくとも２つの前記識別された位置が、少なくとも部分的に重複する場合、前記少なくとも２つの重複するテキスト領域のうちの１つを選択することを含み、前記選択されたテキスト領域は、前記決定された領域信頼性値のうちの最大値に対応し、
前記選択されたテキスト領域においてテキストを認識することと
をさらに含む、請求項８に記載の方法。
【請求項１０】
マルチチャネル画像を処理するための装置であって、
前記マルチチャネル画像から複数のグレースケール画像を生成するように構成された、少なくとも１つの画像変換器と、
前記複数のグレースケール画像において少なくとも１つのテキスト領域を識別し、前記少なくとも１つのテキスト領域からテキスト領域情報を決定するように構成された、複数のテキスト領域検出器と、
前記テキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成するように構成された、マージユニットと
を備える装置。
【請求項１１】
前記マージユニットは、前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記２つ以上のテキスト領域からの前記テキスト領域情報をマージするように構成される、請求項１０に記載の装置。
【請求項１２】
前記複数のテキスト領域検出器は、前記複数のグレースケール画像を並列に処理するように構成される、請求項１０に記載の装置。
【請求項１３】
前記複数のテキスト領域検出器は、
前記複数のグレースケール画像において少なくとも１つの候補テキスト領域を識別し、
前記識別された少なくとも１つの候補テキスト領域において、前記少なくとも１つのテキスト領域を識別する
ように構成される、請求項１０に記載の装置。
【請求項１４】
前記複数のテキスト領域検出器は、
前記複数のグレースケール画像において少なくとも１つの非候補テキスト領域を識別し、
前記少なくとも１つの非候補テキスト領域のうちの２つ以上の非候補テキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記２つ以上の非候補テキスト領域の共通部分を識別し、
前記共通部分を前記少なくとも１つの候補テキスト領域に追加する
ように構成される、請求項１３に記載の装置。
【請求項１５】
前記複数のテキスト領域検出器は、
前記少なくとも１つのテキスト領域の各々についての位置を識別し、
前記少なくとも１つのテキスト領域の各々についてのテキストを認識する
ように構成される、請求項１０に記載の装置。
【請求項１６】
前記複数のテキスト領域検出器は、前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記識別されたテキスト領域の各々において前記認識されたテキストについてのテキスト信頼性値を決定するように構成され、
前記マージユニットは、前記識別されたテキスト領域のうちの少なくとも２つの前記識別された位置が、少なくとも部分的に重複する場合、前記少なくとも２つの重複するテキスト領域から前記認識されたテキストのうちの１つを選択するように構成され、前記選択されたテキストは、前記決定されたテキスト信頼性値の中の最大値に対応する、請求項１５に記載の装置。
【請求項１７】
前記複数のテキスト領域検出器は、
前記少なくとも１つのテキスト領域の各々についての位置を識別し、
前記少なくとも１つのテキスト領域の各々についての領域信頼性値を決定する
ように構成される、請求項１０に記載の装置。
【請求項１８】
前記マージユニットは、
前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別され、かつ、前記識別されたテキスト領域のうちの少なくとも２つの前記識別された位置が、少なくとも部分的に重複する場合、前記少なくとも２つの重複するテキスト領域のうちの１つを選択することと、前記選択されたテキスト領域は、前記決定された領域信頼性値のうちの最大値に対応し、
前記選択されたテキスト領域においてテキストを認識することと、
を行うように構成される、請求項１７に記載の装置。
【請求項１９】
マルチチャネル画像を処理するための装置であって、
前記マルチチャネル画像から複数のグレースケール画像を生成する手段と、
前記複数のグレースケール画像において少なくとも１つのテキスト領域を識別し、前記少なくとも１つのテキスト領域からテキスト領域情報を決定する手段と、
前記テキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成する手段と
を備える装置。
【請求項２０】
前記テキスト情報を生成する前記手段は、前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記２つ以上のテキスト領域からの前記テキスト領域情報をマージするように構成される、請求項１９に記載の装置。
【請求項２１】
前記少なくとも１つのテキスト領域を識別する前記手段は、前記複数のグレースケール画像を並列に処理するように構成される、請求項１９に記載の装置。
【請求項２２】
マルチチャネル画像を処理するための命令を備える、非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサに、
前記マルチチャネル画像から複数のグレースケール画像を生成することと、
前記複数のグレースケール画像において少なくとも１つのテキスト領域を識別することと、
前記少なくとも１つのテキスト領域からテキスト領域情報を決定することと、
前記テキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成することと
を行わせる媒体。
【請求項２３】
前記マルチチャネル画像の前記テキスト情報を生成することは、
前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記２つ以上のテキスト領域からの前記テキスト領域情報をマージすること
を含む、請求項２２に記載の媒体。
【請求項２４】
前記少なくとも１つのテキスト領域を識別することは、前記複数のグレースケール画像を並列に処理することを含む、請求項２２に記載の媒体。
【請求項２５】
マルチチャネル画像を処理するための方法であって、
前記マルチチャネル画像から、第１のグレースケール画像と第２のグレースケール画像とを生成することと、
前記第１のグレースケール画像において第１のテキスト領域を識別することと、
前記第２のグレースケール画像において第２のテキスト領域を識別することと、
前記第１のテキスト領域および前記第２のテキスト領域から、第１のテキスト領域情報と第２のテキスト領域情報とをそれぞれ決定することと、
前記第１のテキスト領域情報および前記第２のテキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成することと
を備える方法。
【請求項２６】
前記テキスト情報を生成することは、前記第１のテキスト領域情報と前記第２のテキスト領域情報とをマージすることを含む、請求項２５に記載の方法。
【請求項２７】
前記第１のテキスト領域を識別することと、前記第２のテキスト領域を識別することとは、並列に実行される、請求項２５に記載の方法。
【請求項２８】
前記第１のテキスト領域を識別することは、
前記第１のグレースケール画像において第１の候補テキスト領域を識別することと、
前記識別された第１の候補テキスト領域において、前記第１のテキスト領域を識別することと
を含み、
前記第２のテキスト領域を識別することは、
前記第２のグレースケール画像において第２の候補テキスト領域を識別することと、
前記識別された第２の候補テキスト領域において、前記第２のテキスト領域を識別することと
を含む、請求項２５に記載の方法。
【請求項２９】
前記第１の候補テキスト領域を処理するための第１の負荷を推定することと、
前記第２の候補テキスト領域を処理するための第２の負荷を推定することと、
第１の負荷分散された候補テキスト領域と第２の負荷分散された候補テキスト領域とを生成するために、前記第１の負荷および前記第２の負荷に基づいて、前記第１の候補テキスト領域と前記第２の候補テキスト領域とを調整することと、
をさらに備える、請求項２８に記載の方法。
【請求項３０】
前記第１のテキスト領域は、前記第１の負荷分散された候補テキスト領域において識別される、請求項２９に記載の方法。
【請求項３１】
前記第１の負荷は、前記第１の候補テキスト領域のサイズに基づいて推定される、請求項２９に記載の方法。
【請求項３２】
前記第１の候補テキスト領域の一部分を前記第２の候補テキスト領域に与えることによって、前記第１の候補テキスト領域と前記第２の候補テキスト領域とが調整される、請求項２９に記載の方法。
【請求項３３】
マルチチャネル画像を処理するための装置であって、
前記マルチチャネル画像から、第１のグレースケール画像と第２のグレースケール画像とを生成するように構成された、少なくとも１つの画像変換器と、
前記第１のグレースケール画像において第１のテキスト領域を識別し、前記第１のテキスト領域から第１のテキスト領域情報を決定するように構成された、第１のテキスト領域検出器と、
前記第２のグレースケール画像において第２のテキスト領域を識別し、前記第２のテキスト領域から第２のテキスト領域情報を決定するように構成された、第２のテキスト領域検出器と、
前記第１のテキスト領域情報および前記第２のテキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成するように構成された、マージユニットと
を備える装置。
【請求項３４】
前記マージユニットは、前記第１のテキスト領域情報と前記第２のテキスト領域情報とをマージするように構成される、請求項３３に記載の装置。
【請求項３５】
前記第１のテキスト領域検出器および前記第２のテキスト領域検出器は、前記第１のグレースケール画像と前記第２のグレースケール画像とを並列に処理するように構成される、請求項３３に記載の装置。
【請求項３６】
前記第１のテキスト領域検出器は、
前記第１のグレースケール画像において第１の候補テキスト領域を識別し、
前記識別された第１の候補テキスト領域において、前記第１のテキスト領域を識別する
ように構成され、
前記第２のテキスト領域検出器は、
前記第２のグレースケール画像において第２の候補テキスト領域を識別し、
前記識別された第２の候補テキスト領域において、前記第２のテキスト領域を識別する
ように構成される、請求項３３に記載の装置。
【請求項３７】
前記第１の候補テキスト領域を処理するための第１の負荷を推定し、
前記第２の候補テキスト領域を処理するための第２の負荷を推定し、
第１の負荷分散された候補テキスト領域と第２の負荷分散された候補テキスト領域とを生成するために、前記第１の負荷および前記第２の負荷に基づいて、前記第１の候補テキスト領域と前記第２の候補テキスト領域とを調整する
ように構成された、負荷制御器をさらに備える、請求項３６に記載の装置。
【請求項３８】
前記第１のテキスト領域検出器は、前記第１の負荷分散された候補テキスト領域において、前記第１のテキスト領域を識別するように構成される、請求項３７に記載の装置。
【請求項３９】
前記負荷制御器は、前記第１の候補テキスト領域のサイズに基づいて、前記第１の負荷を推定するように構成される、請求項３７に記載の装置。
【請求項４０】
前記負荷制御器は、前記第１の候補テキスト領域の一部分を前記第２の候補テキスト領域に与えることによって、前記第１の候補テキスト領域と前記第２の候補テキスト領域とを調整するように構成される、請求項３７に記載の装置。
【請求項４１】
マルチチャネル画像を処理するための装置であって、
前記マルチチャネル画像から、第１のグレースケール画像と第２のグレースケール画像とを生成する手段と、
前記第１のグレースケール画像において第１のテキスト領域を識別し、前記第１のテキスト領域から第１のテキスト領域情報を決定する手段と、
前記第２のグレースケール画像において第２のテキスト領域を識別し、前記第２のテキスト領域から第２のテキスト領域情報を決定する手段と、
前記第１のテキスト領域情報および前記第２のテキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成する手段と
を備える装置。
【請求項４２】
前記第１のテキスト領域を識別する前記手段は、
前記第１のグレースケール画像において第１の候補テキスト領域を識別し、
前記識別された第１の候補テキスト領域において、前記第１のテキスト領域を識別する
ように構成され、
前記第２のテキスト領域を識別する前記手段は、
前記第２のグレースケール画像において第２の候補テキスト領域を識別し、
前記識別された第２の候補テキスト領域において、前記第２のテキスト領域を識別する
ように構成される、請求項４１に記載の装置。
【請求項４３】
前記第１の候補テキスト領域を処理するための第１の負荷を推定する手段と、
前記第２の候補テキスト領域を処理するための第２の負荷を推定する手段と、
第１の負荷分散された候補テキスト領域と第２の負荷分散された候補テキスト領域とを生成するために、前記第１の負荷および前記第２の負荷に基づいて、前記第１の候補テキスト領域と前記第２の候補テキスト領域とを調整する手段と
をさらに備える、請求項４２に記載の装置。
【請求項４４】
マルチチャネル画像を処理するための命令を備える、非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサに、
前記マルチチャネル画像から、第１のグレースケール画像と第２のグレースケール画像とを生成することと、
前記第１およびグレースケール画像において第１のテキスト領域を識別することと、
前記第２のグレースケール画像において第２のテキスト領域を識別することと、
前記第１のテキスト領域および前記第２のテキスト領域から、第１のテキスト領域情報と第２のテキスト領域情報とをそれぞれ決定することと、
前記第１のテキスト領域情報および前記第２のテキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成することと、
の動作を行わせる媒体。
【請求項４５】
前記第１のテキスト領域を識別することは、
前記第１のグレースケール画像において第１の候補テキスト領域を識別することと、
前記識別された第１の候補テキスト領域において、前記第１のテキスト領域を識別することと
を含み、
前記第２のテキスト領域を識別することは、
前記第２のグレースケール画像において第２の候補テキスト領域を識別することと、
前記識別された第２の候補テキスト領域において、前記第２のテキスト領域を識別することと
を含む、請求項４４に記載の媒体。
【請求項４６】
前記動作は、
前記第１の候補テキスト領域を処理するための第１の負荷を推定することと、
前記第２の候補テキスト領域を処理するための第２の負荷を推定することと、
第１の負荷分散された候補テキスト領域と第２の負荷分散された候補テキスト領域とを生成するために、前記第１の負荷および前記第２の負荷に基づいて、前記第１の候補テキスト領域と前記第２の候補テキスト領域とを調整することと、
をさらに備える、請求項４５に記載の媒体。
【発明の詳細な説明】
【優先権の主張】
【０００１】
関連出願の相互参照
本出願は、２０１１年７月８日に出願された米国仮特許出願第６１／５０５，９８４号および２０１２年７月２日に出願された米国非仮出願第１３／５３９，７９７号の各々の優先権を主張し、これらを参照により組み込む。
【技術分野】
【０００２】
本開示は、一般に、画像を処理することに関する。より詳細には、本開示は、並列処理チャネルを通して、マルチチャネル画像からテキスト情報を生成することに関する。
【背景技術】
【０００３】
デジタル画像は、文字、数字、およびシンボルを含むテキストオブジェクト、ならびに非テキストオブジェクトなど、様々なオブジェクトを含み得る。これらのオブジェクトの中で、テキストオブジェクトは、ユーザにとって特に有意味および有用であるコンテキスト情報を提供することができる。従来のアルゴリズムは、そのようなデジタル画像を処理するためにスカラーピクセル値をしばしば使用している。たとえば、ＳＩＦＴ（Scale Invariant Feature Transform：スケール不変特徴変換）およびＭＳＥＲ（Maximally Stable External Regions：最大安定外部領域）を含む、従来のアルゴリズムが、スカラーピクセル値に基づいて、デジタル画像においてテキストオブジェクトを検出することにおいて使用されている。
【０００４】
今日使用されているデジタル画像の大部分は、カラー画像である。カラー画像は、典型的には、画像における各ピクセルのＲＧＢ値、ＣＭＹ値、または、色相値、輝度値、および彩度値の組合せなど、色情報を含む。一般に、デジタルカラー画像における色は、多次元ベクトル（たとえば、ＲＧＢ値またはＣＭＹ値）によって表される。したがって、画像を処理するためにスカラー値を使用する従来のアルゴリズムは、一般に、カラー画像におけるテキストオブジェクトを認識するために好適ではない。代わりに、たとえば、ＭＳＣＲ（Maximally Stable Color Region：最大安定色領域）など、カラー画像におけるピクセルのベクトル値を使用してテキストオブジェクトを認識するためのアルゴリズムが、使用されている。しかしながら、そのようなベクトルに基づくアルゴリズムは、一般に、スカラーに基づくアルゴリズムよりもはるかに複雑であり、はるかにより多くの計算リソースを必要とする。
【０００５】
複雑さと計算リソースとを低減するために、従来の方式は、カラー画像における処理速度を向上させるために、スカラーに基づくアルゴリズムを使用している。たとえば、テキストオブジェクトにおける個々の文字は、元のカラー画像を、スカラーピクセル値を有する画像に変換することによって、元のカラー画像から認識される。このプロセスは、しかしながら、いくつかのテキストオブジェクトとそれらの背景との間のコントラストの損失を生じることがあり、テキストオブジェクトにおける文字が適切に認識され得ないようになる。
【発明の概要】
【０００６】
本開示は、マルチチャネル画像を処理して、マルチチャネル画像に関連付けられたテキスト情報を生成するための、方法と装置とを提供する。これらの方法および装置において、複数のグレースケール画像がマルチチャネル画像から生成される。テキスト情報が、次いで、グレースケール画像を並列に処理することによって生成される。
【０００７】
本開示の一態様によれば、マルチチャネル画像を処理するための方法が開示される。この方法は、マルチチャネル画像から複数のグレースケール画像を生成することを含む。少なくとも１つのテキスト領域が、複数のグレースケール画像において識別され、テキスト領域情報が、少なくとも１つのテキスト領域から決定される。この方法は、次いで、テキスト領域情報に基づいて、マルチチャネル画像のテキスト情報を生成する。本開示はまた、この方法に関係する装置、手段の組合せ、およびコンピュータ可読媒体についても説明する。
【０００８】
本開示の別の態様によれば、マルチチャネル画像を処理するための装置が開示される。この装置は、少なくとも１つの画像変換器と、複数のテキスト領域検出器と、マージユニットとを含む。少なくとも１つの画像変換器は、マルチチャネル画像から複数のグレースケール画像を生成する。複数のテキスト領域検出器は、複数のグレースケール画像において少なくとも１つのテキスト領域を識別し、少なくとも１つのテキスト領域からテキスト領域情報を決定するように構成される。マルチチャネル画像のテキスト情報は、マージユニットによって、テキスト領域情報に基づいて生成される。
【０００９】
本開示のさらに別の態様によれば、マルチチャネル画像を処理するための別の方法が開示される。この方法は、マルチチャネル画像から、第１のグレースケール画像と第２のグレースケール画像とを生成する。第１のテキスト領域が、第１のグレースケール画像において識別され、第２のテキスト領域が、第２のグレースケール画像において識別される。加えて、第１のテキスト領域情報および第２のテキスト領域情報が、第１のテキスト領域および第２のテキスト領域からそれぞれ決定される。この方法は、第１のテキスト領域情報および第２のテキスト領域情報に基づいて、マルチチャネル画像のテキスト情報を生成する。本開示はまた、この方法に関係する装置、手段の組合せ、およびコンピュータ可読媒体についても説明する。
【００１０】
本開示のさらに別の態様によれば、マルチチャネル画像を処理するための別の装置が開示される。この装置は、少なくとも１つの画像変換器と、第１のテキスト領域検出器と、第２のテキスト領域検出器と、マージユニットとを含む。少なくとも１つの画像変換器は、マルチチャネル画像から、第１のグレースケール画像と第２のグレースケール画像とを生成する。第１のテキスト領域検出器は、第１のグレースケール画像において第１のテキスト領域を識別し、第１のテキスト領域から第１のテキスト領域情報を決定するように構成される。同様に、第２のテキスト領域検出器は、第２のグレースケール画像において第２のテキスト領域を識別し、第２のテキスト領域から第２のテキスト領域情報を決定するように構成される。マルチチャネル画像のテキスト情報は、マージユニットによって、第１のテキスト領域情報および第２のテキスト領域情報に基づいて生成される。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態による、画像を受信し、受信された画像からテキスト情報を生成するように構成された、画像処理装置を示す図。
【図２】本開示の一実施形態による、画像を受信し、受信された画像からテキスト情報を生成するように構成された、別の画像処理装置を示す図。
【図３】本開示の一実施形態による、画像を受信し、受信された画像からテキスト情報を生成するように構成された、さらに別の画像処理装置を示す図。
【図４】本開示の一実施形態による、画像を受信し、受信された画像からテキスト情報を生成するための、画像処理装置によって実行される方法のフローチャート。
【図５】本開示の一実施形態による、並列に配置された処理チャネルを使用して、マルチチャネル画像からテキスト情報を生成する図。
【図６】処理チャネルのためのテキスト領域に関連付けられたテキスト領域情報を決定する、より詳細な図。
【図７】ブロブ検出技法を通して、グレースケール画像におけるテキスト領域を識別する、テキスト領域検出器によって実行される動作を示す図。
【図８】処理チャネルのためのグレースケール画像におけるテキスト領域に関連付けられたテキスト領域情報を決定する、より詳細な図。
【図９】別の処理チャネルのための別のグレースケール画像における別のテキスト領域に関連付けられたテキスト領域情報を決定する、より詳細な図。
【図１０】テキスト領域情報をマージして、テキスト情報を生成する、マージユニットによって実行される動作を示す図。
【図１１】それぞれ異なるグレースケール画像において識別された２つのテキスト領域が、位置において重複するとき、テキスト情報を生成する図。
【図１２】それぞれ異なるグレースケール画像において識別された２つのテキスト領域が、位置において重複するとき、テキスト情報を生成する別の図。
【図１３】本開示の一実施形態による、候補テキスト領域を決定することによって、画像からテキスト情報を生成するように構成された、画像処理装置を示す図。
【図１４】本開示の一実施形態による、画像を受信し、候補テキスト領域を識別することによって、受信された画像からテキスト情報を生成するための、画像処理装置によって実行される方法のフローチャート。
【図１５】本開示の一実施形態による、並列に配置された処理チャネルを使用して、マルチチャネル画像からテキスト情報を生成する図。
【図１６】処理チャネルのための候補テキスト領域に関連付けられた候補テキスト領域ロケータを決定する、より詳細な図。
【図１７】別の処理チャネルのための別の候補テキスト領域に関連付けられた別の候補テキスト領域ロケータを決定する、より詳細な図。
【図１８】グレースケール画像における非候補テキスト領域の共通部分を識別することによって、候補テキスト領域を調整する、制御器によって実行される動作を示す図。
【図１９】本開示の一実施形態による、処理チャネル間で処理負荷を調整することによって、画像からテキスト情報を生成するように構成された、画像処理装置を示す図。
【図２０】本開示の一実施形態による、推定された処理負荷に基づいて調整された候補テキスト領域において、テキスト領域を識別するための、画像処理装置によって実行される方法のフローチャート。
【図２１】並列に配置された処理チャネルと、処理チャネル間の負荷分散のための負荷制御器とを使用して、マルチチャネル画像からテキスト情報を生成する図。
【図２２】処理チャネルのための候補テキスト領域に関連付けられた候補テキスト領域ロケータを決定する、より詳細な図。
【図２３】別の処理チャネルのための別の候補テキスト領域ロケータを決定する、より詳細な図。
【図２４】負荷制御器によって、負荷分散された候補テキスト領域を生成し、テキスト領域検出器に割り当てる、より詳細な図。
【図２５】本開示の画像処理装置および方法が、本開示のいくつかの実施形態によって実装され得る、例示的なモバイルコンピューティングデバイスのブロック図。
【発明を実施するための形態】
【００１２】
次に、図面全体にわたって、同様の要素を指すのに同様の参照符号を使用する図面を参照しながら、様々な実施形態について説明する。以下の記述では、説明の目的で、１つまたは複数の実施形態の完全な理解を与えるために多数の具体的な詳細を記載する。ただし、そのような（１つまたは複数の）実施形態は、これらの具体的な詳細なしに実施できることは明らかであろう。他の例では、１つまたは複数の実施形態の説明を円滑にするために、よく知られている構造およびデバイスをブロック図の形態で示す。
【００１３】
図１は、本開示の一実施形態による、画像を受信し、受信された画像からテキスト情報を生成するように構成された、画像処理装置１００を示す。画像処理装置１００は、画像変換器１１０と、テキスト領域検出器１２０および１３０と、マージユニット１４０とを含む。受信された画像は、複数のチャネルを含むマルチチャネル画像であり、テキストまたは文字を有する１つまたは複数のテキスト領域を含む。マルチチャネル画像のいくつかの例は、ＲＧＢチャネル、ＹＵＶチャネル、もしくはＹＣｒＣｂチャネルを含む３チャネル画像、または、３チャネルへの追加の赤外チャネルを含む４チャネル画像である。
【００１４】
画像変換器１１０は、マルチチャネル画像を受信し、１対の処理チャネルＣＨ１およびＣＨ２によって処理されることになる１対のグレースケール画像に変換する。変換された画像は、メモリ（図示せず）に記憶され得、メモリは、記憶された画像を処理するために、テキスト領域検出器１２０および１３０、および／またはマージユニット１４０によってアクセス可能である。各グレースケール画像は、各ピクセルのスカラー値がチャネルによるピクセルの強度を示す、シングルチャネル画像である。典型的には、グレースケール画像における各ピクセルは、たとえば、最も弱い強度における黒から最も強い強度における白まで変動する、３つ以上のグレーレベルから選択された陰影レベルによって提示され、白黒の２値画像とは別個である。たとえば、ＲＧＢマルチチャネル画像の場合、１対のグレースケール画像は、ＲチャネルおよびＧチャネルから生成され得る。代替または追加として、グレースケール画像は、異なるチャネルのピクセル値に重み付けし、重み付けされたピクセル値を結合することによって、生成され得る。
【００１５】
画像変換器１１０から生成された異なるグレースケール画像の対は、テキスト領域検出器１２０および１３０にそれぞれ入力される。たとえば、Ｒチャネルにおけるピクセル値から構成される一方のグレースケール画像は、テキスト領域検出器１２０に入力され得るが、Ｇチャネルにおけるピクセル値から構成される他方のグレースケール画像は、テキスト領域検出器１３０に入力され得る。図１は、２つのグレースケール画像と、２つのテキスト領域検出器１２０および１３０とを示すが、これらの数は、例として提示されるものにすぎず、したがって、画像処理装置１００は、任意の好適な数のそのようなグレースケール画像およびテキスト領域検出器で構成され得る。
【００１６】
テキスト領域検出器１２０および１３０は、それぞれのグレースケール画像において１つまたは複数のテキスト領域を識別するように構成される。テキスト領域検出器１２０および１３０は、マルチチャネル画像の異なるグレースケール画像を受信するので、識別されたテキスト領域は、同じまたは互いに異なり得る。テキスト領域検出器１２０および１３０は、それぞれのテキスト領域に関連付けられたテキスト領域情報を決定するようにさらに構成される。テキスト領域情報は、グレースケール画像におけるテキスト領域の位置情報、および、テキスト領域において検出かつ認識された任意のテキストのテキスト認識情報など、関連付けられたテキスト領域に関する任意の好適な情報を含む。テキスト領域情報は、次いで、テキスト領域検出器１２０および１３０からマージユニット１４０へ出力される。
【００１７】
図１では、テキスト領域検出器１２０が、受信されたグレースケール画像において２つ以上のテキスト領域を識別する場合、テキスト領域検出器１２０は、識別されたテキスト領域のすべてに関連付けられたテキスト領域情報を決定し、出力する。一方、テキスト領域が識別されなかった場合、テキスト領域検出器１２０は、グレースケール画像が識別されたテキスト領域を有していないという指示を出力することができる。テキスト領域検出器１３０は、テキスト領域検出器１２０と同様の方法で動作する。画像処理装置１００におけるテキスト領域検出器１２０および１３０は、並列処理チャネルＣＨ１およびＣＨ２を定義する。したがって、テキスト領域検出器１２０および１３０の動作は、並列に実行される。
【００１８】
マージユニット１４０は、テキスト領域検出器１２０および１３０から受信されたテキスト領域情報をマージし、マルチチャネル画像に関連付けられたテキスト情報を生成するように構成される。処理チャネルＣＨ１およびＣＨ２において識別されたテキスト領域の位置が異なる場合、テキスト情報は、テキスト領域検出器１２０および１３０からのテキスト領域情報を結合することによって生成される。一方、識別されたテキスト領域の位置が同じである場合、テキスト情報は、テキスト認識精度またはテキスト領域識別精度のより大きい可能性を有するテキスト領域情報に基づいて生成され、それについては以下でより詳細に説明する。
【００１９】
ＯＣＲまたは手書き文字認識などのテキスト認識動作が、テキスト領域検出器１２０および１３０において、識別されたテキスト領域においてテキストを認識するために実行され得る。代替実施形態では、そのようなテキスト認識動作は、テキスト領域検出器１２０および１３０ではなく、マージユニット１４０において実行され得る。この場合、マージユニット１４０は、メモリに記憶されたグレースケール画像にアクセスし、処理して、識別されたテキスト領域においてテキストを認識することができる。
【００２０】
図２は、本開示の別の実施形態による、画像を受信し、受信された画像からテキスト情報を生成するように構成された、画像処理装置２００を示す。画像処理装置２００は、テキスト領域検出器１２０および１３０と、マージユニット１４０とを含み、これらは、図１の画像処理装置１００に含まれるものと同じまたは類似するユニットである。画像処理装置２００は、画像処理装置１００の画像変換器１１０の代わりに、画像変換器２１０および２２０をさらに含む。図２に示すように、画像変換器２１０および２２０の各々は、マルチチャネル画像を受信し、グレースケール画像を生成する。画像変換器２１０および２２０は、異なる変換方法を使用するので、生成されたグレースケール画像は、互いに異なり得る。生成されたグレースケール画像は、テキスト領域検出器１２０および１３０にそれぞれ入力される。図２は、２つの画像変換器２１０および２２０と、２つのテキスト領域検出器１２０および１３０とを示すが、これらの数は、例として提示されるものにすぎず、したがって、画像処理装置２００は、任意の好適な数のそのような画像変換器およびテキスト領域検出器で構成され得る。
【００２１】
テキスト領域検出器１２０および１３０による動作、およびマージユニット１４０による動作は、図１を参照しながら説明したものと同様の方法で実行され得る。この実施形態では、テキスト領域検出器１２０の動作は、一方の処理チャネルＣＨ１を通して実行されるが、テキスト領域検出器１３０の動作は、他方の処理チャネルＣＨ２を通して実行される。したがって、それぞれのグレースケール画像における動作は、互いに並列に実行され得る。
【００２２】
図１の実施形態は、複数のグレースケール画像を生成するプロセスが互いに関連付けられる場合に好適であり得るが、図２の実施形態は、そのようなプロセスが互いにほとんど関連付けられない場合に好適であり得る。たとえば、複数のチャネルから異なるグレースケール画像を生成するプロセスは、互いの間で中間処理情報（たとえば、チャネルに関連付けられたあるパラメータまたは値）を共有することができる。この場合、単一のユニット、すなわち、図１に示す画像変換器１１０が、関連付けられた情報をプロセス間で共有しながら、グレースケール画像生成プロセスを一括して実行する場合、動作全体の処理能力が向上し得る。
【００２３】
図３は、本開示のさらに別の実施形態による、画像を受信し、受信された画像からテキスト情報を生成するように構成された、画像処理装置３００を示す。画像処理装置３００は、画像変換器１１０と、テキスト領域検出器１２０および１３０と、マージユニット１４０とを含み、これらは、図１の画像処理装置１００に含まれるものと同じまたは類似するユニットである。画像処理装置３００は、画像変換器３１０と、テキスト領域検出器３２０、３３０、および３４０とをさらに含む。図３に示すように、画像変換器１１０は、マルチチャネル画像を受信し、２つのグレースケール画像を生成する。画像変換器３１０もまた、マルチチャネル画像を受信し、３つのグレースケール画像を生成する。異なる変換方法が使用されるので、５つのグレースケール画像は、互いに異なり得る。画像変換器１１０によって生成された２つのグレースケール画像は、テキスト領域検出器１２０および１３０にそれぞれ入力される。加えて、画像変換器３１０によって生成された３つのグレースケール画像は、テキスト領域検出器３２０、３３０、および３４０にそれぞれ入力される。図３は、２つの画像変換器１１０および３１０と、５つのテキスト領域検出器１２０、１３０、３２０、３３０、および３４０とを示すが、これらの数は、例として提示されるものにすぎず、したがって、画像処理装置３００は、任意の好適な数のそのような画像変換器およびテキスト領域検出器で構成され得る。
【００２４】
テキスト領域検出器１２０、１３０、３２０、３３０、および３４０は、それぞれのグレースケール画像においてテキスト領域を識別し、それぞれの識別されたテキスト領域に関連付けられたテキスト領域情報を決定する。図３に示すように、テキスト領域検出器１２０、１３０、３２０、３３０、および３４０は、それぞれの処理チャネルＣＨ１からＣＨ５を通して、上記の識別動作と決定動作とを並列に実行することができる。マージユニット１４０は、テキスト領域検出器１２０、１３０、３２０、３３０、および３４０から、決定されたテキスト領域情報を受信し、受信されたテキスト領域情報をマージして、テキスト情報を生成する。画像処理装置１００、２００、および３００における上述のユニットは、ハードウェア、コンピューティングデバイスもしくはシステムにおける１つもしくは複数のプロセッサにおいて実行されるソフトウェア、および／またはそれらの組合せによって実装され得る。
【００２５】
図４は、画像を受信し、受信された画像からテキスト情報を生成するための、画像処理装置１００によって実行される方法４００のフローチャートを表す。最初に、画像変換器１１０が、４１０で、マルチチャネル画像を受信する。その後、画像変換器１１０が、４２０で、様々な画像変換方法を使用することによって、受信されたマルチチャネル画像から複数のグレースケール画像を生成する。異なるグレースケール画像が、対応するテキスト領域検出器１２０および１３０に入力され、各テキスト領域検出器が、４３０で、その受信されたグレースケール画像においてテキスト領域を識別する。テキスト領域検出器１２０および１３０の各々が、４４０で、その識別されたテキスト領域に関連付けられたテキスト領域情報をさらに決定する。マージユニット１４０が、４５０で、テキスト領域検出器１２０および１３０からテキスト領域情報を受信し、受信されたテキスト領域情報をマージすることによって、テキスト情報を生成する。図４を参照しながら説明した上記の動作はまた、上述のユニットを使用して、装置２００および３００においても実行され得る。
【００２６】
図５は、本開示の一実施形態による、並列に配置された処理チャネルＣＨ１およびＣＨ２を使用して、マルチチャネル画像５１０からテキスト情報５６０を生成する図を示す。マルチチャネル画像５１０は、２つのテキスト部分を含み、一方が上側部分におけるもの（「ＵＰＰＥＲ  ＴＥＸＴ」）であり、他方が下側部分におけるもの（「ＬＯＷＥＲ  ＴＥＸＴ」）である。画像変換器１１０は、上記で説明したように異なる画像変換方法を使用することによって、マルチチャネル画像５１０を、それぞれ処理チャネルＣＨ１およびＣＨ２のための、２つの異なるグレースケール画像５２０および５４０に変換する。マルチチャネル画像の、異なるグレースケール画像への変換は、いくつかのテキスト部分を、より容易な検出のためにより弁別的になるようにレンダリングすることができるが、いくつかの他のテキスト部分は、グレースケール画像においてより弁別的でなくなり得る。変換されたグレースケール画像５２０において、上側部分におけるテキスト「ＵＰＰＥＲ  ＴＥＸＴ」は、弁別的なままであるが、下側部分おけるテキスト「ＬＯＷＥＲ  ＴＥＸＴ」は、背景から容易に区別可能ではない。対照的に、変換されたグレースケール画像５４０において、下側部分おけるテキスト「ＬＯＷＥＲ  ＴＥＸＴ」は、背景に対してより弁別的に見えるが、上側部分におけるテキスト「ＵＰＰＥＲ  ＴＥＸＴ」は、背景から容易に区別可能ではない。
【００２７】
グレースケール画像５２０を受信すると、処理チャネルＣＨ１におけるテキスト領域検出器１２０は、画像５２０を処理して、画像５２０において「ＵＰＰＥＲ  ＴＥＸＴ」を含むテキスト領域５３０を識別する。同様に、処理チャネルＣＨ２におけるテキスト領域検出器１３０は、画像５４０を処理して、画像５４０において「ＬＯＷＥＲ  ＴＥＸＴ」を含むテキスト領域５５０を識別する。したがって、いかなる認識可能なテキストをも含まない部分（たとえば、グレースケール画像５２０における下側部分、およびグレースケール画像５４０における上側部分）は、テキスト領域として識別されない。加えて、テキスト領域検出器１２０および１３０は、識別されたテキスト領域５３０および５５０に関連付けられたテキスト領域情報をそれぞれ決定し、出力する。
【００２８】
テキスト領域５３０および５５０に関連付けられたテキスト領域情報は、それぞれ処理チャネルＣＨ１およびＣＨ２からマージユニット１４０に与えられる。マージユニット１４０は、次いで、処理チャネルＣＨ１およびＣＨ２からのテキスト領域情報をマージして、マルチチャネル画像５１０についてのテキスト情報５６０を生成する。図５を参照しながら説明した上記の動作はまた、上述のユニットを使用して、装置２００および３００においても実行され得る。
【００２９】
図６は、処理チャネルＣＨ１のためのテキスト領域５３０に関連付けられたテキスト領域情報６１０を決定する、より詳細な図を示す。上記に記載したように、グレースケール画像５２０の上側部分における「ＵＰＰＥＲ  ＴＥＸＴ」は、その背景から明瞭である。本開示では、そのような明瞭なテキスト（または、互いに近くに位置する文字のセット）は、テキスト構成要素と呼ばれ、テキスト領域として識別され得る。したがって、テキスト領域検出器１２０は、テキスト構成要素、すなわち、「ＵＰＰＥＲ  ＴＥＸＴ」を含む領域を、テキスト領域５３０として識別する。テキスト領域５３０を識別することにおいて、テキスト領域５３０の境界は、テキスト構成要素における文字の配置に従ってテキスト構成要素を含むように構成される。
【００３０】
テキスト領域５３０が識別されると、テキスト領域検出器１２０は、テキスト領域５３０に関連付けられたテキスト領域情報６１０を決定する。たとえば、テキスト領域情報６１０は、グレースケール画像５２０におけるテキスト領域５３０の位置を示す位置情報（たとえば、テキスト領域５３０の頂点の座標）と、識別されたテキスト領域５３０の信頼性値（たとえば、０．０から１．０まで、または０％から１００％までの数値）を示す領域信頼性情報とを含む。たとえば、領域信頼性情報は、テキスト構成要素を含むものとして識別されたテキスト領域５３０についての正確度を示す値であり得る。
【００３１】
テキスト領域検出器１２０が、識別されたテキスト領域５３０においてテキスト認識動作を実行する場合、テキスト領域情報６１０は、テキスト領域５３０において認識されたテキスト（この例では、「ＵＰＰＥＲ  ＴＥＸＴ」）を示すテキスト認識情報と、認識されたテキストの信頼性値（たとえば、０．０から１．０まで、または０％から１００％までの数値）を示すテキスト信頼性情報とをさらに含み得る。たとえば、テキスト信頼性情報は、認識されたテキストの正確度を示す値であり得る。従来のＯＣＲ技法を使用することによって、テキストが認識され得、その信頼性値が計算され得る。テキスト領域情報６１０を決定することにおいて、テキスト認識動作は、グレースケール画像５２０全体ではなく、テキスト領域５３０においてのみ実行され得る。テキスト認識を、識別されたテキスト領域５３０においてのみ実行することによって、テキスト認識動作が実行される面積が実質的に低減され得、処理時間と必要とされる計算リソースとが低減されるようになる。
【００３２】
図７は、ブロブ（blob）検出技法を使用して、グレースケール画像５２０におけるテキスト領域５３０を識別する、テキスト領域検出器１２０によって実行される動作を示す。グレースケール画像５２０は、その上側部分において明確なテキスト構成要素「ＵＰＰＥＲ  ＴＥＸＴ」を含む。テキスト領域検出器１２０は、ブロブ検出動作を実行して、テキスト領域における個々の文字のブロブを決定する。詳細には、テキスト領域検出器１２０は、同質領域を識別して、ブロブを決定する。たとえば、図７では、文字「Ｕ」、「Ｅ」、「Ｔ」、または「Ｘ」は、その文字の外側境界によって輪郭を描かれた、単一の同質領域を有する。一方、文字「Ｐ」または「Ｒ」は、２つの同質領域を有し、２つの同質領域のうちの一方がその文字の外側境界によって輪郭を描かれ、他方の同質領域が（円のような）内側境界によって輪郭を描かれる。識別された同質領域に基づいて、テキスト領域検出器１２０は、次いで、ある同質領域を、文字を表すブロブとして決定する。
【００３３】
ブロブクラスタリング動作が、次いで実行されて、上記で決定されたようなブロブを含むクラスタ７１０が決定される。ブロブクラスタリング動作は、ブロブの位置、強度、および／またはストローク幅情報を利用することができる。たとえば、単一のテキストから導出されるブロブは、互いに極近傍内になる。加えて、そのようなブロブは、同じまたは類似する強度とストローク幅とを有し得る。したがって、いくつかのブロブが上記の要件を満たす場合、これらのブロブは、図７におけるクラスタ７１０のような、クラスタにマージされ得る。
【００３４】
次いで、テキスト構成要素における文字がそれに沿って整列する方向を決定するために、プロジェクションプロファイル分析が実行され得る。たとえば、ブロブにおけるピクセルの強度値の和が、矢印Ａの方向に平行な水平線７２０に沿って計算される。さらに、ピクセル強度値の和が、追加の平行な水平線７３０、７４０、７５０、および７６０の各々に沿って計算される。加えて、ピクセル強度値の和が、矢印Ｂの方向に平行な垂直線の各々に沿って、また、矢印Ｃの方向に平行な傾斜した線の各々に沿っても計算される。ブロブ内のピクセルの強度値が、ブロブの外側のピクセルの強度値よりも高いとすれば、図７に示すように、線７３０および７５０がブロブを通過し、線７２０、７４０、および７６０がブロブを通過しないので、線７３０および７５０に沿ったピクセル強度値の和は、残りの３本の線７２０、７４０、および７６０に沿ったピクセル強度値の和よりも大きくなる。
【００３５】
一実施形態では、ある線に沿った強度値の和を、所定の基準値と比較して、その和が所定の基準値を超えるとき、ブロブがその線に沿って存在すると決定されるようにすることができる。対照的に、その和が所定の基準値を超えない場合、ブロブがその線に沿って存在しないと決定される。図７の例では、線７３０および７５０に沿ったピクセル強度値の和は、所定の基準値よりも大きくなり得るが、線７２０、７４０、および７６０に沿った和は、所定の基準値よりも小さくなり得る。垂直線の場合、これらの線の大部分はブロブを通過し、これらの垂直線に沿った和は、所定の基準値よりも大きくなる。同様に、傾斜した線の場合、これらの線の大部分はブロブを通過し、これらの傾斜した直線に沿った和は、所定の基準値よりも大きくなる。水平線に沿ったピクセル強度値の和が、所定の基準値よりも大きい多数の和を含むので、テキスト構成要素は、次いで、水平方向に整列すると決定される。テキスト構成要素の方向が決定されると、テキスト領域５３０は、よく知られているテキスト領域検出アルゴリズムに従って識別され得る。
【００３６】
さらに、識別されたテキスト領域５３０についての正確度を示すための領域信頼性値が、機械学習技術（machine learning technologies）を使用することによって決定され得る。テキスト構成要素および非テキスト構成要素は、それらの形状、またはサイズ、幅、および長さの規則性などに鑑みて、異なる特性を有する。たとえば、テキスト構成要素から決定されたブロブは、著しく規則的なストローク幅を有し得るが、非テキスト構成要素から決定されたブロブは、変化するストローク幅を有し得る。したがって、テキスト構成要素および非テキスト構成要素のそのような特性は、従来の機械学習技法を使用して、トレーニングテキスト／非テキスト構成要素サンプルのセットから抽出され得、機械学習データベースに記憶され得る。たとえば、データベースは、テキスト構成要素および非テキスト構成要素のいくつかの基準特性を含み得る。テキスト領域５３０が上記のように識別されると、データベースは、テキスト領域５３０の特性を基準特性と比較し、次いで、どのくらいテキスト領域５３０がテキスト構成要素の基準特性を満たすか、またはそれにマッチするかを反映することによって、領域信頼性値を決定することができる。
【００３７】
図８は、処理チャネルＣＨ１のためのグレースケール画像５２０におけるテキスト領域８１０に関連付けられたテキスト領域情報８２０を決定する、別のより詳細な図を示す。図８では、テキスト領域検出器１２０は、上側部分においてテキスト構成要素、すなわち、「ＵＰＰＥＲ  ＴＥＸＴ」を含む領域を、テキスト領域８１０として識別する。しかしながら、図６の実施形態とは異なり、テキスト領域８１０の境界は、長方形の形状である。たとえば、この長方形は、テキスト構成要素を含むことが可能である、最小の長方形であり得る。テキスト領域検出器１２０は、次いで、テキスト領域８１０に関連付けられたテキスト領域情報８２０を決定し、出力する。図６と同様に、テキスト領域情報８２０は、位置情報と、領域信頼性情報と、テキスト認識情報と、テキスト信頼性情報とを含み得る。
【００３８】
図９は、処理チャネルＣＨ２のためのグレースケール画像５４０におけるテキスト領域５５０に関連付けられたテキスト領域情報９１０を決定する、より詳細な図を示す。図６を参照しながら説明したものと同様の方法で、テキスト領域検出器１３０は、下側部分においてテキスト構成要素、すなわち、「ＬＯＷＥＲ  ＴＥＸＴ」を含む領域を、テキスト領域５５０として識別する。テキスト領域検出器１３０は、次いで、テキスト領域５５０に関連付けられたテキスト領域情報９１０を決定し、出力する。同様に、テキスト領域情報９１０は、位置情報と、領域信頼性情報と、テキスト認識情報と、テキスト信頼性情報とを含み得る。
【００３９】
図１０は、テキスト領域情報６１０および９１０をマージして、テキスト情報５６０を生成する、マージユニット１４０によって実行される動作を示す。マージユニット１４０は、図６および図９で説明したように、それぞれテキスト領域検出器１２０および１３０からテキスト領域情報６１０および９１０を受信する。テキスト領域情報６１０および９１０が、次いでマージされて、マルチチャネル画像５１０についてのテキスト情報５６０が生成される。たとえば、マルチチャネル画像５１０は、２つのテキスト領域５３０および５５０を含むので、テキスト情報５６０は、「ＴＥＸＴ１」および「ＴＥＸＴ２」として示された、２つのテキスト情報のサブセットを有し得る。詳細には、「ＴＥＸＴ１」のテキスト情報は、図６における位置情報、領域信頼性情報、テキスト認識情報、およびテキスト信頼性情報など、テキスト領域情報６１０からの情報を含む。同様に、「ＴＥＸＴ２」のテキスト情報は、図９における位置情報、領域信頼性情報、テキスト認識情報、およびテキスト信頼性情報など、テキスト領域情報９１０からの情報を含む。画像処理装置１００の設計および要件に従って、テキスト情報５６０は、上記で説明した情報に加えて、たとえば、マルチチャネル画像５１０に関連付けられたメタデータなど、他の情報を含み得る。追加または代替として、テキスト情報５６０は、たとえば、領域信頼性情報など、上記で説明した情報の一部を省略してもよい。
【００４０】
別の実施形態では、識別されたテキスト領域５３０および５５０のテキスト認識は、テキスト領域検出器１２０および１３０ではなく、マージユニット１４０において実行される。この場合、マージユニット１４０は、テキスト領域検出器１２０および１３０から、テキスト認識情報およびテキスト信頼性情報のないテキスト領域情報を受信し、マージして、マルチチャネル画像５１０についてのテキスト情報５６０を生成する。上記の実施形態において説明したマージ動作と同様に、マージユニット１４０は、それぞれテキスト領域情報６１０および９１０についての２つのサブセット、「ＴＥＸＴ１」および「ＴＥＸＴ２」を含む、テキスト情報５６０を生成する。各サブセットは、テキスト領域情報６１０または９１０からの関連付けられた位置情報と領域信頼性情報とを含む。加えて、テキスト領域検出器１２０から受信されたテキスト領域情報の位置情報に基づいて、マージユニット１４０は、位置情報によって定義されたグレースケール画像５２０の領域においてテキストを認識し、認識されたテキストのテキスト信頼性値を決定する。同様に、テキスト領域検出器１３０から受信されたテキスト領域情報の位置情報に基づいて、マージユニット１４０は、位置情報によって定義されたグレースケール画像５４０の領域においてテキストを認識し、認識されたテキストのテキスト信頼性値を決定する。次いで、グレースケール画像５２０および５４０からの認識されたテキストと、それらのテキスト信頼性値とが、テキスト情報５６０のそれぞれのサブセット、すなわち、「ＴＥＸＴ１」および「ＴＥＸＴ２」に追加される。
【００４１】
図１１は、それぞれ異なるグレースケール画像５２０および１１１０において識別されたテキスト領域５３０および１１２０が、位置において重複するとき、テキスト情報１１４０を生成する図を示す。この実施形態では、テキスト領域５３０および１１２０におけるテキスト認識動作が、テキスト領域検出器１２０および１３０において実行されて、テキスト領域情報６１０および１１３０が生成される。図５、図６、図８、および図９において説明した実施形態とは異なり、テキスト領域検出器１２０および１３０によって識別されたテキスト領域５３０および１１２０は、互いに重複する。したがって、テキスト領域検出器１２０および１３０によって生成されたテキスト領域情報は、両方のテキスト領域５３０および１１２０についての、等しいかまたは異なる領域信頼性情報と、テキスト認識情報と、テキスト信頼性情報とともに、等しい位置情報を有し得る。
【００４２】
図１１の例では、テキスト領域検出器１２０は、識別されたテキスト領域５３０からテキスト「ＵＰＰＥＲ  ＴＥＸＴ」を認識する。テキスト領域検出器１２０は、たとえば、０．９などの数値であり得る、認識されたテキストについてのテキスト信頼性値をさらに決定する。同様に、テキスト領域検出器１３０は、識別されたテキスト領域１１２０からテキスト「ＵＰＰＦＲ  ＴＥＸＴ」を認識し、たとえば、０．８など、認識されたテキストについてのテキスト信頼性値を決定する。上記のテキスト領域情報６１０および１１３０に基づいて、マージユニット１４０は、テキスト領域５３０および１１２０が互いに重複するが、認識されたテキスト「ＵＰＰＥＲ  ＴＥＸＴ」および「ＵＰＰＦＲ  ＴＥＸＴ」が異なると決定する。この場合、マージユニット１４０は、認識されたテキストのうちのどちらがより正確であるかを、それらのテキスト信頼性値に基づいて決定する。たとえば、０．９のテキスト信頼性値をもつ「ＵＰＰＥＲ  ＴＥＸＴ」は、０．８のテキスト信頼性値をもつ「ＵＰＰＦＲ  ＴＥＸＴ」よりも高い信頼性値を有するので、マージユニット１４０は、「ＵＰＰＥＲ  ＴＥＸＴ」に関連付けられたテキスト領域情報６１０を選択して、マルチチャネル画像５１０についてのテキスト情報１１４０を生成する。２つのテキスト領域５３０および１１２０が、この例では互いに重複するが、３つ以上のテキスト領域が互いに重複してもよく、次いで、マージユニット１４０は、関連付けられたテキスト信頼性値の中の最も高いテキスト信頼性値に対応するテキスト領域情報を選択するようになる。
【００４３】
別の実施形態によれば、テキスト領域は、部分的にのみ重複してもよい。マージユニット１４０は、最も高いテキスト信頼性値をもつ、テキスト領域のうちの１つを選択して、マルチチャネル画像のテキスト情報の一部を生成する。加えて、マージユニット１４０は、他のテキスト領域において重複しない部分を決定し、重複しない部分に関連付けられたテキスト領域情報を、部分的に生成されたテキスト情報に追加して、マルチチャネル画像についてのテキスト情報を生成する。テキスト情報についてのテキスト信頼性情報が、テキスト領域に関連付けられた、または各テキスト領域の適切な寄与に従って重み付けされた、テキスト領域情報のいずれかから選択され得る。
【００４４】
図１２は、それぞれ異なるグレースケール画像５２０および１２１０において識別されたテキスト領域５３０および１２２０が、位置において重複するとき、テキスト情報１２４０を生成する、マージユニット１４０によって実行される別の図を示す。この実施形態では、テキスト領域５３０および１２２０におけるテキスト認識動作は、テキスト領域検出器１２０および１３０ではなく、マージユニット１４０において実行される。テキスト領域検出器１２０は、グレースケール画像５２０においてテキスト領域５３０を識別する。同様に、テキスト領域検出器１３０は、他方のグレースケール画像１２１０においてテキスト領域１２２０を識別する。図１２に示すように、テキスト領域検出器１２０および１３０によって識別されたテキスト領域５３０および１２２０は、部分的に互いに重複するので、テキスト領域検出器１２０および１３０によって生成されたテキスト領域情報は、異なる位置情報を含む。テキスト領域検出器１２０は、たとえば、０．９などの数値であり得る、識別されたテキスト領域５３０についての領域信頼性値をさらに決定する。同様に、テキスト領域検出器１３０は、たとえば、０．５など、識別されたテキスト領域１２２０についての領域信頼性値を決定する。テキスト領域検出器１２０および１３０は、次いで、関連付けられた位置情報と領域信頼性情報とを含む、テキスト領域情報６１０および１２３０をそれぞれ生成し、出力する。
【００４５】
テキスト領域検出器１２０および１３０からそれぞれ受信されたテキスト領域情報６１０および１２３０に基づいて、マージユニット１４０は、マージ動作を実行する。マージ動作では、マージユニット１４０は、テキスト領域情報６１０および１２３０に含まれた、テキスト領域５３０および１２２０の位置情報に基づいて、テキスト領域５３０および１２２０が部分的に互いに重複すると決定する。この場合、マージユニット１４０は、識別されたテキスト領域のうちのどちらがより正確であるかを、それらの領域信頼性値に基づいて決定する。たとえば、０．９の領域信頼性値をもつテキスト領域５３０は、０．５の領域信頼性値をもつテキスト領域１２２０よりも高い信頼性値を有するので、マージユニット１４０は、テキスト領域情報６１０を選択する。マージユニット１４０は、次いで、選択されたテキスト領域情報６１０の位置情報によって定義された、グレースケール画像５２０における領域において、テキストを認識する。２つのテキスト領域５３０および１２２０が、この例では重複するが、３つ以上のテキスト領域が重複してもよく、次いで、マージユニット１４０は、関連付けられた領域信頼性値の中の最も高い領域信頼性値に対応するテキスト領域情報を選択するようになる。したがって、本開示の上記の実施形態によれば、マルチチャネル画像から抽出された複数のグレースケール画像についてのテキスト認識結果をマージすることによって、マルチチャネル画像についてのテキスト認識精度が向上し得る。さらに、複数のグレースケール画像におけるテキスト認識動作が並列に実行されるので、全体的な処理時間は、グレースケール画像の数に比例して増加されないようになる。また、全体的な処理時間は、マルチチャネル画像のために必要とされる処理時間よりも大きくないように制御され得る。
【００４６】
図１３は、本開示の一実施形態による、候補テキスト領域を決定することによって、画像からテキスト情報を生成するように構成された、画像処理装置１３００を示す。画像処理装置１３００は、画像変換器１１０と、テキスト領域検出器１２０および１３０と、マージユニット１４０とを含み、これらは、上記の図１に示す装置１００の場合と同じ方法で動作する。画像処理装置１３００は、グレースケール画像において候補テキスト領域を識別するように構成された、候補テキスト領域検出器１３１０および１３２０と、テキスト領域情報の欠落を防止するために候補テキスト領域を調整するように構成された、制御器１３３０とをさらに含み、これらについては、後で説明する。
【００４７】
画像処理装置１３００では、画像変換器１１０が、マルチチャネル画像を受信し、１対のグレースケール画像を生成し、１対のグレースケール画像が、それぞれ候補テキスト領域検出器１３１０および１３２０に与えられる。候補テキスト領域検出器１３１０および１３２０は、それぞれのグレースケール画像において１つまたは複数の候補テキスト領域を識別するように構成される。各候補テキスト領域検出器において、その受信されたグレースケール画像においてテキスト構成要素および／またはテキストのような構成要素を含む領域が、候補テキスト領域であると識別される。ここでは、テキストのような構成要素は、文字から構成されないが、文字として類似した特性を有するパターンまたはオブジェクトから構成されるので、それらが文字として誤って認識される可能性がある、構成要素を指す。たとえば、そのようなパターンまたはオブジェクトは、１つもしくは複数の垂直、水平、もしくは傾斜した直線および／もしくは曲線、またはそれらの組合せから形成される。テキストのような構成要素の一例を、図１５に示す。以下でより詳細に説明するように、候補テキスト領域を識別する動作は、テキスト領域を識別する動作と比較して、テキスト認識精度に関してより粗いかまたは不正確な方法で実行され得る。しかしながら、候補テキスト領域の識別は、テキスト領域の識別と比較して、かなり短時間で実行され得、著しい計算リソースを必要としない。
【００４８】
候補テキスト領域検出器１３１０および１３２０は、識別された候補テキスト領域に関連付けられた候補テキスト領域ロケータをそれぞれ決定するようにさらに構成される。たとえば、候補テキスト領域ロケータは、グレースケール画像における関連付けられた候補テキスト領域の位置を示し、候補テキスト領域の頂点の座標を含む。
【００４９】
候補テキスト領域検出器１３１０が、受信されたグレースケール画像において２つ以上の候補テキスト領域を識別する場合、候補テキスト領域検出器１３１０は、候補テキスト領域のすべてに関連付けられた候補テキスト領域ロケータを決定し、出力する。一方、候補テキスト領域が識別されなかった場合、候補テキスト領域検出器１３１０は、グレースケール画像が識別された候補テキスト領域を有していないことを示す候補テキスト領域ロケータを出力することができる。候補テキスト領域検出器１３２０は、候補テキスト領域検出器１３１０と同様の方法で動作する。
【００５０】
テキスト領域検出器１２０および１３０は、それぞれ候補テキスト領域検出器１３１０および１３２０から、候補テキスト領域ロケータを受信する。それぞれの候補テキスト領域ロケータに基づいて、テキスト領域検出器１２０および１３０の各々は、候補テキスト領域にアクセスし、候補テキスト領域において識別されたテキスト領域についてのテキスト領域情報を決定する。テキスト領域情報は、次いで、テキスト領域検出器１２０および１３０からマージユニット１４０へ、それぞれ出力される。マージユニット１４０は、テキスト領域情報をマージし、マルチチャネル画像についてのテキスト情報を生成する。
【００５１】
この実施形態では、候補テキスト領域検出器１３１０およびテキスト領域検出器１２０は、処理チャネルＣＨ１を定義し、候補テキスト領域検出器１３２０およびテキスト領域検出器１３０は、他方の処理チャネルＣＨ２を定義する。したがって、処理チャネルＣＨ１およびＣＨ２を通した動作は、並列に実行される。図１３は、２つの処理チャネルを通して候補テキスト領域を識別することを示すが、画像処理装置１３００は、候補テキスト領域検出器とテキスト領域検出器とを含む、任意の好適な数の処理チャネルで構成され得る。画像処理装置１３００における上述のユニットは、ハードウェア、コンピューティングデバイスおよびシステムの１つもしくは複数のプロセッサによって実行されるソフトウェア、ならびに／またはそれらの組合せによって実装され得る。
【００５２】
図１４は、画像を受信し、識別された候補テキスト領域に基づいてテキスト情報を生成するための、画像処理装置１３００によって実行される方法１４００のフローチャートを表す。最初に、画像変換器１１０が、１４１０で、マルチチャネル画像を受信する。画像変換器１１０が、次いで、１４２０で、様々な画像変換方法を使用することによって、複数の異なるグレースケール画像を生成する。生成されたグレースケール画像が、それぞれ候補テキスト領域検出器１３１０および１３２０に入力され、候補テキスト領域検出器１３１０および１３２０の各々が、１４３０で、受信されたグレースケール画像において候補テキスト領域を識別する。さらに、候補テキスト領域検出器１３１０および１３２０は、それぞれの候補テキスト領域の位置を識別する候補テキスト領域ロケータを決定する。それぞれの候補テキスト領域ロケータを使用して、テキスト領域検出器１２０および１３０の各々が、次いで、１４４０で、関連付けられた候補テキスト領域からテキスト領域を識別する。テキスト領域検出器１２０および１３０が、１４５０で、それぞれの識別されたテキスト領域のテキスト領域情報をさらに決定する。マージユニット１４０が、１４６０で、テキスト領域検出器１２０および１３０からテキスト領域情報を受信し、受信されたテキスト領域情報をマージすることによって、テキスト情報を生成する。
【００５３】
図１５は、本開示の一実施形態による、並列に配置された処理チャネルＣＨ１およびＣＨ２を使用して、テキストのような構成要素を含むマルチチャネル画像１５１０からテキスト情報１５８０を生成する図である。マルチチャネル画像１５１０は、２つのテキスト部分を含み、一方が上側部分におけるもの（「ＵＰＰＥＲ  ＴＥＸＴ」）であり、他方が下側部分におけるもの（「ＬＯＷＥＲ  ＴＥＸＴ」）である。画像１５１０は、中間部分においてパターンをさらに含み、このパターンは、一連の「＃」から構成されるように見え、上記で説明したような、テキストのような構成要素と呼ばれ得る。マルチチャネル画像１５１０は、異なる画像変換方法を使用することによって、それぞれ処理チャネルＣＨ１およびＣＨ２のための、２つの異なるグレースケール画像１５２０および１５５０に変換される。変換されたグレースケール画像１５２０において、上側部分におけるテキスト「ＵＰＰＥＲ  ＴＥＸＴ」、および中間部分におけるパターンは、弁別的なままであるが、下側部分おけるテキスト「ＬＯＷＥＲ  ＴＥＸＴ」は、背景から容易に区別可能ではない。対照的に、変換されたグレースケール画像１５５０において、下側部分におけるテキスト「ＬＯＷＥＲ  ＴＥＸＴ」、および中間部分におけるパターンは、より弁別的に見えるが、上側部分おけるテキスト「ＵＰＰＥＲ  ＴＥＸＴ」は、背景から容易に区別可能ではない。
【００５４】
グレースケール画像１５２０を受信すると、処理チャネルＣＨ１における候補テキスト領域検出器１３１０は、画像１５２０において、「ＵＰＰＥＲ  ＴＥＸＴ」とパターン（または、テキストのような構成要素）とを含む候補テキスト領域１５３０を識別する。同様に、処理チャネルＣＨ２における候補テキスト領域検出器１３２０は、画像１５５０において、「ＬＯＷＥＲ  ＴＥＸＴ」とパターンとを含む候補テキスト領域１５６０を識別する。候補テキスト領域検出器１３１０および１３２０は、次いで、識別された候補テキスト領域１５３０および１５６０に関連付けられた候補テキスト領域ロケータをそれぞれ決定する。候補テキスト領域ロケータは、グレースケール画像１５２０および１５５０における候補テキスト領域１５３０および１５６０の位置をそれぞれ示す。
【００５５】
候補テキスト領域検出器１３１０から受信された候補テキスト領域ロケータに基づいて、処理チャネルＣＨ１におけるテキスト領域検出器１２０は、候補テキスト領域１５３０においてテキスト構成要素「ＵＰＰＥＲ  ＴＥＸＴ」を含むテキスト領域１５４０を識別する。同様に、候補テキスト領域検出器１３２０から受信された候補テキスト領域ロケータに基づいて、処理チャネルＣＨ２におけるテキスト領域検出器１３０は、候補テキスト領域１５６０においてテキスト構成要素「ＬＯＷＥＲ  ＴＥＸＴ」を含むテキスト領域１５７０を識別する。したがって、中間部分におけるパターンは、いかなるテキスト構成要素をも含まず、単にテキストのような構成要素を含み、テキスト領域として識別されない。加えて、テキスト領域検出器１２０および１３０は、識別されたテキスト領域１５４０および１５７０に関連付けられたテキスト領域情報をそれぞれ決定し、出力する。テキスト領域１５４０および１５７０を識別することにおいて、識別動作は、グレースケール画像１５２０および１５５０全体ではなく、候補テキスト領域１５３０および１５６０においてのみ実行され得る。識別動作を、識別された候補テキスト領域１５３０および１５６０においてのみ実行することによって、識別動作が実行される面積が実質的に低減され得る。また、候補テキスト領域１５３０および１５６０を識別するための動作が、テキスト領域１５４０および１５７０を識別するより前に追加として実行されるが、そのような追加の動作のために必要とされる処理時間は、処理時間全体および必要とされる計算リソースが低減されるように、処理時間全体と比較してわずかである。
【００５６】
テキスト領域１５４０および１５７０に関連付けられたテキスト領域情報は、それぞれ処理チャネルＣＨ１およびＣＨ２におけるテキスト領域検出器１２０および１３０からマージユニット１４０に与えられる。マージユニット１４０は、次いで、処理チャネルＣＨ１およびＣＨ２からのテキスト領域情報をマージして、マルチチャネル画像１５１０についてのテキスト情報１５８０を生成する。テキスト情報１５８０は、テキスト領域１５４０および１５７０に対応する２つのサブセットをそれぞれ含み得、テキスト情報１５８０の各サブセットは、位置情報と、領域信頼性情報と、テキスト認識情報と、テキスト信頼性情報とを含む。
【００５７】
図１６は、処理チャネルＣＨ１における候補テキスト領域１５３０に関連付けられた候補テキスト領域ロケータ１６１０を決定する、より詳細な図を示す。上記に記載したように、グレースケール画像１５２０の上側部分における「ＵＰＰＥＲ  ＴＥＸＴ」、および中間部分におけるパターンは、それらの背景とは異なる。この場合、「ＵＰＰＥＲ  ＴＥＸＴ」がテキスト構成要素に対応し、パターンがテキストのような構成要素に対応する。したがって、候補テキスト領域検出器１３１０は、テキスト構成要素をテキストのような構成要素と区別しないように構成されるので、候補テキスト領域検出器１３１０は、候補テキスト領域１５３０がテキスト構成要素とテキストのような構成要素の両方を含むと決定する。
【００５８】
そのような候補テキスト領域を識別するために、走査動作がグレースケール画像において実行されて、そのグレースケール画像における強度分散（intensity variance）が評価され得る。一般に、テキスト構成要素および／またはテキストのような構成要素は、その背景とは異なり、テキスト構成要素および／またはテキストのような構成要素と背景との間の強度分散は、背景と比較して、比較的大きい。したがって、グレースケール画像が、たとえば、左側から右側への方向で走査されるとき、隣接ピクセルの強度値間の１次導関数（または、勾配の大きさ）が計算され、候補テキスト領域は、大きい強度分散が観測され得る領域を含む。たとえば、図１６では、走査動作は、背景と、上側部分における「ＵＰＰＥＲ  ＴＥＸＴ」と中間部分におけるパターンの両方との間の高い強度分散を有する、候補テキスト領域１５３０をレンダリングするようになる。
【００５９】
候補テキスト領域１５３０が識別されると、候補テキスト領域検出器１３１０は、候補テキスト領域１５３０に関連付けられた候補テキスト領域ロケータ１６１０を決定する。候補テキスト領域ロケータ１６１０は、グレースケール画像１５２０における候補テキスト領域１５３０の位置を示し、候補テキスト領域１５３０の頂点の座標を含み得る。決定された候補テキスト領域ロケータ１６１０は、マージユニット１４０に与えられるようになる。
【００６０】
図１７は、処理チャネルＣＨ２におけるグレースケール画像１５５０における候補テキスト領域１５６０に関連付けられた候補テキスト領域ロケータ１７１０を決定する、より詳細な図を示す。図１６を参照しながら説明したものと同様の方法で、候補テキスト領域検出器１３２０は、下側部分におけるテキスト構成要素、すなわち、「ＬＯＷＥＲ  ＴＥＸＴ」と、中間部分におけるテキストのような構成要素とを含む領域を、候補テキスト領域１５６０であると識別する。次いで、候補テキスト領域検出器１３２０は、候補テキスト領域１５６０に関連付けられた候補テキスト領域ロケータ１７１０を決定し、出力する。上記と同様に、候補テキスト領域ロケータ１７１０は、グレースケール画像１５５０における候補テキスト領域１５６０の位置を示し、マージユニット１４０に与えられるようになる。
【００６１】
図１８は、グレースケール画像１５２０および１５５０における非候補テキスト領域の共通部分を識別することによって、候補テキスト領域１５３０および１５６０を調整する、制御器１３３０によって実行される動作を示す。制御器１３３０は、候補テキスト領域検出器１３１０および１３２０から、候補テキスト領域１５３０および１５６０に関連付けられた、候補テキスト領域ロケータ１６１０および１７１０をそれぞれ受信するように構成される。候補テキスト領域１５３０および１５６０の位置を示す、受信された候補テキスト領域ロケータ１６１０および１７１０に基づいて、制御器１３３０は、グレースケール画像１５２０および１５５０を処理して、非候補テキスト領域を識別する。非候補テキスト領域は、候補テキスト領域１５３０および１５６０以外の、画像１５２０および１５５０における残りの領域に対応する。したがって、そのような非候補テキスト領域は、テキスト構成要素もテキストのような構成要素も含まない。図１８によって示した例では、制御器１３３０は、グレースケール画像１５２０から非候補テキスト領域１８１２および１８１４を識別する。同様に、制御器１３３０はまた、グレースケール画像１５５０から非候補テキスト領域１８２２および１８２４をも識別する。
【００６２】
制御器１３３０は、非候補テキスト領域１８１２および１８１４を非候補テキスト領域１８２２および１８２４と比較し、グレースケール画像１５２０および１５５０からの非候補テキスト領域が互いに重複する共通部分１８３２および１８３４を識別する。制御器１３３０は、次いで、共通部分１８３２および１８３４を候補テキスト領域１５３０に追加して、調整された候補テキスト領域１８４０を生成する。同様に、制御器１３３０は、共通部分１８３２および１８３４を候補テキスト領域１５６０に追加して、他の調整された候補テキスト領域１８５０を生成する。制御器１３３０は、調整された候補テキスト領域１８４０および１８５０に関連付けられた、調整された候補テキスト領域ロケータをさらに決定する。調整された候補テキスト領域ロケータが、テキスト領域検出器１２０および１３０にそれぞれ与えられる。調整された候補テキスト領域ロケータに基づいて、テキスト領域検出器１２０および１３０は、調整された候補テキスト領域１８４０および１８５０においてテキスト領域を識別し、関連付けられたテキスト領域情報をそれぞれ決定する。
【００６３】
いくつかのグレースケール画像では、グレースケール画像におけるいくつかの領域がテキスト構成要素および／またはテキストのような構成要素を含む場合でも、候補テキスト領域検出器１３１０と１３２０の両方は、そのような領域を候補テキスト領域として誤って認識し得ない。この場合、テキスト構成要素および／またはテキストのような構成要素を含むいくつかの領域に関連付けられた情報は、テキスト領域検出器１２０および１３０のいずれによっても処理されないようになり、それらの領域に関するテキスト領域情報は失われるようになる。図１８の例では、共通部分１８３２および１８３４がテキスト構成要素を含み、候補テキスト領域１５３０および１５６０から誤って破棄される場合、それらの部分１８３２および１８３４は、テキスト領域検出器１２０および１３０のいずれによっても処理されないようになる。したがって、テキスト認識情報のそのような損失を防止するために、制御器１３３０は、共通部分１８３２および１８３４を識別し、テキスト領域検出器１２０および１３０が完全なテキスト領域検出動作を実行することができるように、共通部分１８３２および１８３４を含む、調整された候補テキスト領域１８４０および１８５０を生成する。
【００６４】
図１９は、本開示の一実施形態による、処理チャネルＣＨ１とＣＨ２との間で処理負荷を調整することによって、画像からテキスト情報を生成するように構成された、画像処理装置１９００を示す。画像処理装置１９００は、画像変換器１１０と、候補テキスト領域検出器１３１０および１３２０と、テキスト領域検出器１２０および１３０と、マージユニット１４０とを含み、これらは、上記の図１３に示す装置１３００の場合と同じ方法で動作する。画像処理装置１９００は、処理チャネルＣＨ１とＣＨ２との間の処理負荷を調整するための、負荷制御器１９１０をさらに含む。
【００６５】
画像処理装置１９００では、画像変換器１１０が、マルチチャネル画像を受信し、候補テキスト領域検出器１３１０および１３２０の各々のために、グレースケール画像を生成する。候補テキスト領域検出器１３１０および１３２０は、それぞれのグレースケール画像において１つまたは複数の候補テキスト領域を識別し、候補テキスト領域に関連付けられた候補テキスト領域ロケータを決定する。候補テキスト領域検出器１３１０および１３２０は、候補テキスト領域ロケータを負荷制御器１９１０に与え、負荷制御器１９１０は、関連付けられた候補テキスト領域ロケータに基づいて、各候補テキスト領域についての処理負荷を推定する。たとえば、各候補テキスト領域からテキスト領域を決定するための処理負荷は、関連付けられた候補テキスト領域ロケータから、候補テキスト領域のサイズに基づいて推定され得る。推定された処理負荷に基づいて、負荷制御器１９１０は、以下でより詳細に説明するように、候補テキスト領域のサイズを調整して、負荷分散された候補テキスト領域を生成する。加えて、負荷制御器１９１０は、負荷分散された候補テキスト領域の候補テキスト領域ロケータを新たに決定する。新たに決定された候補テキスト領域ロケータが、次いで、並列処理チャネルＣＨ１およびＣＨ２において、テキスト領域検出器１２０および１３０にそれぞれ出力される。
【００６６】
負荷制御器１９１０からの候補テキスト領域ロケータに基づいて、テキスト領域検出器１２０および１３０の各々は、負荷分散された候補テキスト領域にアクセスし、負荷分散された候補テキスト領域において識別されたテキスト領域についてのテキスト領域情報を決定する。テキスト領域情報は、次いで、テキスト領域検出器１２０および１３０からマージユニット１４０へ出力される。マージユニット１４０は、テキスト領域検出器１２０および１３０によって識別されたテキスト領域に関連付けられた情報をマージし、マルチチャネル画像についてのテキスト情報を生成する。
【００６７】
画像処理装置１９００では、候補テキスト領域検出器１３１０およびテキスト領域検出器１２０は、処理チャネルＣＨ１を定義するが、候補テキスト領域検出器１３２０およびテキスト領域検出器１３０は、他方の処理チャネルＣＨ２を定義する。したがって、処理チャネルＣＨ１およびＣＨ２の動作は、並列に実行される。図１９は、２つの処理チャネル間で処理負荷を分散させることを示すが、画像処理装置１９００は、候補テキスト領域検出器とテキスト領域検出器とを含む、任意の好適な数の処理チャネルで構成され得る。画像処理装置１９００における上述のユニットは、ハードウェア、コンピューティングデバイスおよびシステムの１つもしくは複数のプロセッサによって実行されるソフトウェア、ならびに／またはそれらの組合せによって実装され得る。
【００６８】
図２０は、推定された処理負荷に基づいて調整された候補テキスト領域において、テキスト領域を識別するための、画像処理装置１９００によって実行される方法のフローチャートを表す。図２０の動作は、テキスト領域を識別するための、図１４の動作１４４０の下位動作であり得る。候補テキスト領域検出器１３１０および１３２０から候補テキスト領域ロケータを受信すると、負荷制御器１９１０は、２０１０で、候補テキスト領域の各々についての処理負荷を推定する。候補テキスト領域についての処理負荷が推定されると、負荷制御器１９１０は、２０２０で、推定された処理負荷に基づいて、それぞれ、処理チャネルＣＨ１およびＣＨ２のために、候補テキスト領域を調整して、負荷分散された候補テキスト領域を生成する。負荷制御器１９１０は、次いで、負荷分散された候補テキスト領域の候補テキスト領域ロケータを新たに決定する。負荷分散された候補テキスト領域が、２０３０で、処理のためにテキスト領域検出器１２０および１３０にそれぞれ割り当てられる。新たに決定された候補テキスト領域ロケータが、次いで、並列処理チャネルＣＨ１およびＣＨ２において、テキスト領域検出器１２０および１３０にそれぞれ出力される。テキスト領域検出器１２０および１３０が、次いで、２０４０で、それらのそれぞれの割り当てられた、負荷分散された候補テキスト領域において、テキスト領域を識別する。
【００６９】
図２１は、並列に配置された処理チャネルＣＨ１およびＣＨ２と、処理チャネルＣＨ１とＣＨ２との間の負荷分散のための負荷制御器１９１０とを使用して、マルチチャネル画像２１１０からテキスト情報２１９０を生成する図である。マルチチャネル画像２１１０は、２つのテキスト構成要素を含み、一方が上側部分におけるもの（「ＵＰＰＥＲ  ＴＥＸＴ」）であり、他方が下側部分におけるもの（「ＴＥＸＴ」）である。画像２１１０は、中間部分においてテキストのような構成要素をさらに含み、このテキストのような構成要素は、一連の重複する０から構成されるように見える。マルチチャネル画像２１１０は、異なる画像変換方法を使用することによって、それぞれ処理チャネルＣＨ１およびＣＨ２のための、２つの異なるグレースケール画像２１２０および２１４０に変換される。変換されたグレースケール画像２１２０において、テキスト構成要素「ＵＰＰＥＲ  ＴＥＸＴ」および「ＴＥＸＴ」、ならびに、テキストのような構成要素は、すべて背景から弁別的である。対照的に、変換されたグレースケール画像２１４０においては、明確な構成要素が背景から発見されない。
【００７０】
グレースケール画像２１２０を受信すると、処理チャネルＣＨ１における候補テキスト領域検出器１３１０は、画像２１２０を処理して、画像２１２０においてテキスト構成要素およびテキストのような構成要素のすべてを含む候補テキスト領域２１３０を識別する。加えて、候補テキスト領域検出器１３１０は、候補テキスト領域２１３０についての候補テキスト領域ロケータが、グレースケール画像２１２０において識別された候補テキスト領域２１３０の位置を示すと決定する。一方、処理チャネルＣＨ２における候補テキスト領域検出器１３２０は、グレースケール画像２１４０を処理し、いかなる候補テキスト領域を識別することもできない。したがって、候補テキスト領域検出器１３２０は、グレースケール画像２１４０についての候補テキスト領域ロケータが、グレースケール画像２１４０において識別された候補テキスト領域がないことを示すと決定する。
【００７１】
候補テキスト領域ロケータが、候補テキスト領域検出器１３１０および１３２０から負荷制御器１９１０に与えられる。候補テキスト領域検出器１３１０から受信された候補テキスト領域ロケータに基づいて、負荷制御器１９１０は、候補テキスト領域２１３０のサイズと、処理チャネルＣＨ１についての対応する処理負荷とを推定する。一方、候補テキスト領域検出器１３２０から受信された候補テキスト領域ロケータに基づいて、負荷制御器１９１０は、処理チャネルＣＨ２についての処理負荷がゼロであると決定する。
【００７２】
処理チャネルＣＨ１とＣＨ２との間の処理負荷を分散させるために、負荷制御器１９１０は、推定された処理負荷に基づいて、候補テキスト領域２１３０を調整する。たとえば、図２１に示すように、処理チャネルＣＨ２におけるグレースケール画像２１４０は、いかなる識別された候補テキスト領域をも含まないので、処理チャネルＣＨ１における処理負荷は、処理チャネルＣＨ２における処理負荷よりも大きい。したがって、負荷制御器１９１０は、候補テキスト領域２１３０を、負荷分散された候補テキスト領域２１５０および２１６０に区分することによって、処理チャネルＣＨ１における処理負荷を低減する。加えて、負荷制御器１９１０は、負荷分散された候補テキスト領域２１５０および２１６０に関連付けられた候補テキスト領域ロケータをそれぞれ新たに決定する。次いで、負荷制御器１９１０は、新たに決定された候補テキスト領域ロケータを、処理チャネルＣＨ１およびＣＨ２にそれぞれ割り当てる。詳細には、処理チャネルＣＨ１のテキスト領域検出器１２０は、負荷分散された候補テキスト領域２１５０に関連付けられた、負荷分散された候補テキスト領域ロケータを受信し、領域２１５０においてテキスト領域２１７０を識別する。同様に、処理チャネルＣＨ２のテキスト領域検出器１３０は、負荷分散された候補テキスト領域２１６０に関連付けられた候補テキスト領域ロケータを受信し、領域２１６０においてテキスト領域２１８０を識別する。加えて、テキスト領域検出器１２０および１３０は、テキスト領域２１７０および２１８０に関連付けられたテキスト領域情報をそれぞれ決定し、マージユニット１４０に出力する。マージユニット１４０では、決定されたテキスト領域情報をマージすることによって、テキスト情報２１９０が生成される。
【００７３】
図２２は、処理チャネルＣＨ１のための候補テキスト領域２１３０に関連付けられた候補テキスト領域ロケータ２２１０を決定する、より詳細な図を示す。グレースケール画像２１２０は、テキスト構成要素「ＵＰＰＥＲ  ＴＥＸＴ」および「ＴＥＸＴ」と、中間部分におけるテキストのような構成要素とを含む。候補テキスト領域検出器１３１０は、テキスト構成要素およびテキストのような構成要素の周囲の領域を、候補テキスト領域２１３０であると識別する。候補テキスト領域検出器１３１０は、次いで、候補テキスト領域ロケータ２２１０が、グレースケール画像２１２０において識別された候補テキスト領域２１３０の位置情報を示すことを決定する。
【００７４】
図２３は、処理チャネルＣＨ２のための候補テキスト領域ロケータ２３１０を決定する、より詳細な図を示す。グレースケール画像２１２０とは対照的に、グレースケール画像２１４０は、テキスト構成要素も、テキストのような構成要素も含まない。したがって、どの領域も、グレースケール画像２１４０からの候補テキスト領域であると決定されない。結果として、候補テキスト領域検出器１３２０は、候補テキスト領域ロケータ２３１０が、グレースケール画像２１４０において識別された候補テキスト領域がないことを示すことを決定する。
【００７５】
図２４は、負荷制御器１９１０によって、負荷分散された候補テキスト領域２１５０および２１６０を生成し、テキスト領域検出器１２０および１３０に割り当てる、より詳細な図を示す。上記の図２２および図２３で説明したように、候補テキスト領域ロケータ２２１０および２３１０が、グレースケール画像２１２０および２１４０のために生成され、負荷制御器１９１０に与えられる。図示の実施形態では、グレースケール画像２１２０は、識別された候補テキスト領域２１３０を有するが、グレースケール画像２１４０は、識別された候補テキスト領域を有していない。したがって、負荷制御器１９１０は、識別された領域２１３０のサイズに基づいて、処理チャネルＣＨ１についての処理負荷を推定し、ゼロの処理負荷を処理チャネルＣＨ２に割り当てる。ただし、グレースケール画像２１４０が、識別された候補テキスト領域を有する場合、その処理負荷もまた、識別された候補テキスト領域のサイズに基づいて推定されるようになる。
【００７６】
テキスト領域検出器１２０および１３０のために、負荷分散された候補テキスト領域を生成するために、負荷制御器１９１０は、より大きい処理負荷を有する候補テキスト領域２１３０を区分する。たとえば、負荷制御器１９１０は、候補テキスト領域２１３０を、２つの負荷分散された候補テキスト領域２１５０および２１６０に区分し、区分された領域２１５０および２１６０に関連付けられた候補テキスト領域ロケータをそれぞれ決定する。次いで、領域２１５０に関連付けられた候補テキスト領域ロケータが、処理チャネルＣＨ１におけるテキスト領域検出器１２０に与えられる。同様に、領域２１６０に関連付けられた候補テキスト領域ロケータが、処理チャネルＣＨ２におけるテキスト領域検出器１３０に与えられる。
【００７７】
図２５は、本開示の画像処理装置および方法が、本開示のいくつかの実施形態によって実装され得る、例示的なモバイルコンピューティングデバイス２５００のブロック図である。モバイルコンピューティングデバイス２５００の構成は、画像処理装置１００、２００、３００、１３００、および１９００において実装され得る。モバイルデバイス２５００は、携帯電話、端末、送受器、携帯情報端末（ＰＤＡ）、ワイヤレスモデム、コードレス電話などであり得る。ワイヤレス通信システムは、符号分割多元接続（ＣＤＭＡ）システム、Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）（登録商標）システム、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ）（登録商標）システム、Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）システム、ＬＴＥ  Ａｄｖａｎｃｅｄシステムなどであり得る。さらに、モバイルデバイス２５００は、たとえば、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＦｌａｓｈＬｉｎｑ技術を使用して、別のモバイルデバイスと直接通信することができる。
【００７８】
モバイルデバイス２５００は、受信経路および送信経路を介して双方向通信を行うことが可能である。受信経路上で、基地局によって送信された信号は、アンテナ２５１２によって受信され、受信機（ＲＣＶＲ）２５１４に与えられる。受信機２５１４は、受信信号を調整し、デジタル化し、さらなる処理のために、調整およびデジタル化された信号をデジタルセクション２５２０に与える。送信経路上で、送信機（ＴＭＴＲ）２５１６は、デジタルセクション２５２０から送信すべきデータを受け取り、データを処理し、調整し、変調信号を発生し、変調信号はアンテナ２５１２を介して基地局に送信される。受信機２５１４および送信機２５１６は、ＣＤＭＡ、ＧＳＭ、Ｗ−ＣＤＭＡ、ＬＴＥ、ＬＴＥ  Ａｄｖａｎｃｅｄなどをサポートすることができるトランシーバの一部であり得る。
【００７９】
デジタルセクション２５２０は、モデムプロセッサ２５２２、縮小命令セットコンピュータ／デジタル信号プロセッサ（ＲＩＳＣ／ＤＳＰ）２５２４、コントローラ／プロセッサ２５２６、内部メモリ２５２８、一般化オーディオエンコーダ２５３２、一般化オーディオデコーダ２５３４、グラフィックス／ディスプレイプロセッサ２５３６、および外部バスインターフェース（ＥＢＩ）２５３８など、様々な処理ユニットと、インターフェースユニットと、メモリユニットとを含む。モデムプロセッサ２５２２は、データ送信および受信、たとえば、符号化、変調、復調、および復号を処理することができる。ＲＩＳＣ／ＤＳＰ２５２４は、モバイルデバイス２５００のための一般的な処理と専用の処理とを実行することができる。コントローラ／プロセッサ２５２６は、デジタルセクション２５２０内の様々な処理ユニットおよびインターフェースユニットの動作を制御することができる。内部メモリ２５２８は、デジタルセクション２５２０内の様々なユニットのためのデータおよび／または命令を記憶することができる。
【００８０】
一般化オーディオエンコーダ２５３２は、オーディオソース２５４２、マイクロフォン２５４３などからの入力信号についての符号化を実行することができる。一般化オーディオデコーダ２５３４は、コード化されたオーディオデータを復号することができ、復号された出力信号をスピーカー／ヘッドセット２５４４に与えることができる。一般化オーディオエンコーダ２５３２および一般化オーディオデコーダ２５３４は、必ずしも、オーディオソース、マイクロフォン２５４３およびスピーカー／ヘッドセット２５４４とのインターフェースのために必要とされるとは限らず、したがって、モバイルデバイス２５００において省略され得ることに留意されたい。グラフィックス／ディスプレイプロセッサ２５３６は、グラフィックスと、ビデオと、画像と、テキストとを処理することができ、これらはディスプレイユニット２５４６に提示され得る。ＥＢＩ２５３８は、デジタルセクション２５２０とメインメモリ２５４８との間のデータ転送を容易にすることができる。
【００８１】
デジタルセクション２５２０は、１つまたは複数のプロセッサ、ＤＳＰ、マイクロプロセッサ、ＲＩＳＣなどを用いて実装され得る。デジタルセクション２５２０はまた、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、および／または何らかの他のタイプの集積回路（ＩＣ）上にも作製され得る。
【００８２】
一般に、本明細書で説明する任意のデバイスは、ワイヤレス電話、携帯電話、ラップトップコンピュータ、ワイヤレスマルチメディアデバイス、ワイヤレス通信パーソナルコンピュータ（ＰＣ）カード、ＰＤＡ、外部または内蔵モデム、ワイヤレスチャネルを介して通信するデバイスなど、様々なタイプのデバイスを表すことができる。デバイスは、アクセス端末（ＡＴ）、アクセスユニット、加入者ユニット、移動局、モバイルデバイス、モバイルユニット、モバイル電話、モバイル、リモート局、遠隔端末、リモートユニット、ユーザデバイス、ユーザ機器、ハンドヘルドデバイスなど、様々な名前を有し得る。本明細書で説明する任意のデバイスは、命令およびデータ、ならびにハードウェア、ソフトウェア、ファームウェアまたはその組合せを記憶するためのメモリを有し得る。
【００８３】
本明細書で説明した技法は、様々な手段で実装され得る。たとえば、これらの技法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実装され得る。さらに、本明細書の本開示に関連して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装できることを、当業者は諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈すべきではない。
【００８４】
ハードウェア実装の場合、技法を実行するために使用される処理ユニットは、１つまたは複数のＡＳＩＣ、ＤＳＰ、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明する機能を実行するように設計された他の電子ユニット、コンピュータ、またはそれらの組合せ内で実装され得る。
【００８５】
したがって、本明細書の開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡまたは他のプログラマブル論理デバイス、個別ゲートまたはトランジスタロジック、個別ハードウェア構成要素、あるいは本明細書に記載の機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
【００８６】
ファームウェアおよび／またはソフトウェア実装では、技法は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、コンパクトディスク（ＣＤ）、磁気または光学データ記憶デバイスなど、コンピュータ可読媒体上に記憶された命令として組み込まれ得る。命令は、１つまたは複数のプロセッサによって実行可能であり得、（１つまたは複数の）プロセッサに、本明細書で説明する機能のいくつかの態様を実行させ得る。
【００８７】
ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、または他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、あるいは、命令もしくはデータ構造の形態の所望のプログラムコードを搬送もしくは記憶するために使用でき、コンピュータによってアクセスできる任意の他の媒体を備え得る。同様に、いかなる接続も適切にコンピュータ可読媒体と称される。たとえば、ソフトウェアが同軸ケーブル、光ファイバーケーブル、より対線、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他の遠隔の送信元から送信される場合、その同軸ケーブル、光ファイバーケーブル、より対線、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、ＣＤ（disc）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
【００８８】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取外し可能ディスク、ＣＤ−ＲＯＭ、または当技術分野で知られている任意の他の形態の記憶媒体中に常駐することができる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体は、プロセッサと一体とすることができる。プロセッサおよび記憶媒体は、ＡＳＩＣ中に常駐することができる。ＡＳＩＣは、ユーザ端末中に常駐することができる。代替として、プロセッサおよび記憶媒体は、離散構成要素としてユーザ端末中に常駐することができる。
【００８９】
本開示についての以上の説明は、当業者が本開示を作成または使用することができるように与えられる。本開示への様々な修正は当業者には容易に明らかであり、本明細書で規定した一般原理は、本開示の趣旨または範囲から逸脱することなく他の変形形態に適用され得る。したがって、本開示は、本明細書で説明する例に限定されるものではなく、本明細書で開示する原理および新規の特徴に合致する最も広い範囲を与えられるべきである。
【００９０】
例示的な実装形態は、１つまたは複数のスタンドアロンコンピュータシステムの文脈で、本開示の主題の態様を利用することに言及し得るが、主題は、そのように限定されるのではなく、任意のコンピューティング環境、たとえばネットワークまたは分散コンピューティング環境に関連して実施され得る。またさらに、本開示の主題の態様は、複数の処理チップまたはデバイスにおいて、またはそれにわたって実装され得、同様に、記憶は、複数のデバイスにわたって実施され得る。そのようなデバイスには、ＰＣ、ネットワークサーバ、およびハンドヘルドデバイスが含まれ得る。
【００９１】
主題について構造的特徴および／または方法論的行為に特有の言語で説明したが、添付の特許請求の範囲において定義される主題は、必ずしも上記で説明した特定の特徴または行為に限定されるとは限らないことを理解されたい。むしろ、上記の特定の特徴および行為は、特許請求の範囲を実施することの例示的な形態として開示される。
【図１】
2014523036.tif 000003
【図２】
2014523036.tif 000004
【図３】
2014523036.tif 000005
【図４】
2014523036.tif 000006
【図５】
2014523036.tif 000007
【図６】
2014523036.tif 000008
【図７】
2014523036.tif 000009
【図８】
2014523036.tif 000010
【図９】
2014523036.tif 000011
【図１０】
2014523036.tif 000012
【図１１】
2014523036.tif 000013
【図１２】
2014523036.tif 000014
【図１３】
2014523036.tif 000015
【図１４】
2014523036.tif 000016
【図１５】
2014523036.tif 000017
【図１６】
2014523036.tif 000018
【図１７】
2014523036.tif 000019
【図１８】
2014523036.tif 000020
【図１９】
2014523036.tif 000021
【図２０】
2014523036.tif 000022
【図２１】
2014523036.tif 000023
【図２２】
2014523036.tif 000024
【図２３】
2014523036.tif 000025
【図２４】
2014523036.tif 000026
【図２５】
2014523036.tif 000027
【手続補正書】
【提出日】平成26年2月12日(2014.2.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プロセッサを用いてマルチチャネル画像を並列処理するための方法であって、
前記マルチチャネル画像に対応するマルチチャネル画像データの第１のチャネルを用いて第１のグレースケール画像データを生成することと、
前記マルチチャネル画像データの第２のチャネルを用いて第２のグレースケール画像データを生成することと、前記第１のチャネルは前記第２のチャネルとは異なり、
前記第１のグレースケール画像データにおいて第１の候補テキスト領域データを識別することと、
前記第２のグレースケール画像データにおいて第２の候補テキスト領域データを識別することと、
前記第１の候補テキスト領域データから第１のテキスト領域情報を決定することと、
前記第２の候補テキスト領域データから第２のテキスト領域情報を決定することと、
前記第１のテキスト領域情報に基づいて、および前記第２のテキスト領域情報に基づいて、テキスト情報を生成することと
を備える方法。
【請求項２】
前記マルチチャネル画像の前記テキスト情報を生成することは、
前記第１のテキスト領域情報と前記第２のテキスト領域情報とをマージすること
を含む、請求項１に記載の方法。
【請求項３】
前記第１のグレースケール画像データにおいて第１の非候補テキスト領域データを識別することと、
前記第２のグレースケール画像データにおいて第２の非候補テキスト領域データを識別することと、
前記第１の非候補テキスト領域データの第１の部分が前記第２の非候補テキスト領域データの第２の部分と重複するとき、前記第１の非候補テキスト領域データと前記第２の非候補テキスト領域データとの共通部分データを識別することと、
前記共通部分データを前記第１の候補テキスト領域データ、または前記第２の候補テキスト領域データ、または両方に追加することと
をさらに含む、請求項４に記載の方法。
【請求項４】
前記第１の候補テキスト領域データ内の認識されたテキストについての第１のテキスト信頼性値を決定することと、
前記第２の候補テキスト領域データ内の認識されたテキストについての第２のテキスト信頼性値を決定することと、
をさらに含み、
前記第１の候補テキスト領域データの第１の識別された位置が、前記第２の候補テキスト領域データの第２の識別された位置と少なくとも部分的に重複する場合、前記テキスト情報を生成することは、前記第１の候補テキスト領域データまたは前記第２の候補テキスト領域データから特定の認識されたテキストを選択することを含み、
前記特定の認識されたテキストは、前記第１のテキスト信頼性値および前記第２のテキスト信頼性値の中の最大値に対応する、請求項６に記載の方法。
【請求項５】
前記第１のテキスト領域情報を決定することは、
前記第１の候補テキスト領域データについての前記第１の領域信頼性値を決定することと
を含み、
前記第２のテキスト領域情報を決定することは、
前記第２の候補テキスト領域データについての前記第１の領域信頼性値を決定することと
を含む、請求項１に記載の方法。
【請求項６】
前記第１の候補テキスト領域データの第１の識別された位置が、前記第２の候補テキスト領域データの第２の識別された位置と少なくとも部分的に重複する場合、前記第１の候補テキスト領域データと前記第２の候補テキスト領域データとのうちの１つを選択することと、前記選択されたテキスト領域データは、前記第１の領域信頼性値と前記第２の領域信頼性値とのうちの最大値に対応し、
前記選択されたテキスト領域データにおける選択されたテキスト領域情報に基づき前記テキスト情報を生成することと、
をさらに含む、請求項５に記載の方法。
【請求項７】
マルチチャネル画像を並列処理するための装置であって、
前記マルチチャネル画像に対応するマルチチャネル画像データの第１のチャネル用いて第１のグレースケール画像データを生成し、
前記マルチチャネル画像データの第２のチャネルを用いて第２のグレースケール画像データを生成するように構成された、少なくとも１つの画像変換器と、前記第１のチャネルは前記第２のチャネルとは異なり、
前記第１のグレースケール画像データにおいて第１の候補テキスト領域データを識別し、前記第１の候補テキスト領域データから第１のテキスト領域情報を決定するように構成された、第１のテキスト領域検出器と、
前記第２のグレースケール画像データにおいて第２の候補テキスト領域データを識別し、前記第２の候補テキスト領域データから第２のテキスト領域情報を決定するように構成された、第２のテキスト領域検出器と、
前記第１のテキスト領域情報に基づいて、および前記第２のテキスト領域情報に基づいて、テキスト情報を生成するように構成された、マージユニットと
を備える装置。
【請求項８】
前記マージユニットは、前記第１のテキスト領域情報と前記第２のテキスト領域情報とをマージするようにさらに構成される、請求項１０に記載の装置。
【請求項９】
前記第１のテキスト領域検出器と前記第２のテキスト領域検出器とに接続されたコントローラをさらに備え、
前記第１のテキスト領域検出器は、前記第１のグレースケール画像データにおいて第１の非候補テキスト領域データを識別するように構成され、
前記第２のテキスト領域検出器は、前記第２のグレースケール画像データにおいて第２の非候補テキスト領域データを識別するように構成され、
前記第１の非候補テキスト領域データの第1の部分が前記第２の非候補テキスト領域データの第２の部分と重複するとき、前記コントローラは、
前記第１の非候補テキスト領域データと前記第２の非候補テキスト領域データとの共通部分データを識別し、
前記共通部分データを前記第１の候補テキスト領域データ、または前記第２の候補テキスト領域データ、または両方に追加する
ように構成される、請求項７に記載の装置。
【請求項１０】
前記第１のテキスト領域検出器は、前記第１の候補テキスト領域データ内の認識されたテキストについての第１のテキスト信頼性値を決定するように構成され、
前記第２のテキスト領域検出器は、前記第２の候補テキスト領域データ内の認識されたテキストについての第２のテキスト信頼性値を決定するように構成され、
前記第１の候補テキスト領域データの第１の識別された位置が、前記第２の候補テキスト領域データの第２の識別された位置と少なくとも部分的に重複する場合、前記マージユニットは、前記第１の候補テキスト領域データまたは前記第２の候補テキスト領域データから特定の認識されたテキストを選択するように構成され、
前記特定の認識されたテキストは、前記第１のテキスト信頼性値および前記第２のテキスト信頼性値の中の最大値に対応する、請求項７に記載の装置。
【請求項１１】
前記第１のテキスト領域検出器は、
前記第１の候補テキスト領域データについて第１の領域信頼性値を決定し、
前記第２の候補テキスト領域データについて第２の領域信頼性値を決定する
ように構成される、請求項７に記載の装置。
【請求項１２】
前記マージユニットは、
前記第１の候補テキスト領域データの第１の識別された位置が前記第２の候補テキスト領域の第２の識別された位置と少なくとも部分的に重複する場合、前記第１の候補テキスト領域データと前記第２の候補テキスト領域データとのうちの１つを選択することと、前記選択されたテキスト領域データは、前記第１の領域信頼性値と前記第２の領域信頼性値とのうちの最大値に対応し、
前記選択されたテキスト領域データにおける選択されたテキスト領域情報に基づき前記テキスト情報を生成することと、
をさらに行うように構成される、請求項１７に記載の装置。
【請求項１３】
マルチチャネル画像を並列処理するための装置であって、
前記マルチチャネル画像に対応するマルチチャネル画像データの第１のチャネルを用いて第１のグレースケール画像データを生成し、
前記マルチチャネル画像データの第２のチャネルを用いて第２のグレースケール画像データを生成する
ように構成されたグレースケール画像データを生成する手段と、前記第１のチャネルは前記第２のチャネルとは異なり、
前記第１のグレースケール画像データにおいて第１の候補テキスト領域データを識別し、
前記第１の候補テキスト領域データから第１のテキスト領域情報を決定する、
ように構成された第１のテキスト領域情報を決定する手段と、
前記第２のグレースケール画像データにおいて第２の候補テキスト領域データを識別し、
前記第２の候補テキスト領域データから第２のテキスト領域情報を決定する、
ように構成された第２のテキスト領域情報を決定する手段と、
前記第１のテキスト領域情報に基づいて、および前記第２のテキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成する手段と
を備える装置。
【請求項１４】
マルチチャネル画像を並列処理するための命令を備える、非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサに、
前記マルチチャネル画像に対応するマルチチャネル画像データの第１のチャネルを用いて第１のグレースケール画像データを生成することと、
前記マルチチャネル画像データの第２のチャネルを用いて第２のグレースケール画像データを生成することと、前記第１のチャネルは前記第２のチャネルとは異なり、
前記第１のグレースケール画像データにおいて第１の候補テキスト領域データを識別することと、
前記第２のグレースケール画像データにおいて第２の候補テキスト領域データを識別することと、
前記第１の候補テキスト領域データから第１のテキスト領域情報を決定することと、
前記第２の候補テキスト領域データから第２のテキスト領域情報を決定することと、
前記第１のテキスト領域情報に基づいて、および前記第２のテキスト領域情報に基づいて、テキスト情報を生成することと
を行わせる媒体。
【請求項１５】
前記第１の候補テキスト領域データを処理するための第１の負荷を推定することと、
前記第２の候補テキスト領域データを処理するための第２の負荷を推定することと、
をさらに備える請求項１に記載の方法。
【請求項１６】
前記第１の負荷は、前記第１の候補テキスト領域データに対応する領域のサイズに基づき推定される、請求項１５に記載の方法。
【請求項１７】
前記第２の負荷は、前記第２の候補テキスト領域データに対応する領域のサイズに基づき推定される、請求項１５に記載の方法。
【請求項１８】
第１の負荷分散された候補テキスト領域データを生成するために、前記第１の負荷および前記第２の負荷に基づいて、前記第１の候補テキスト領域データを調整することと、前記第１のテキスト領域情報は前記第１の負荷分散された候補テキスト領域データから決定され、
第２の負荷分散された候補テキスト領域データを生成するために、前記第１の負荷および前記第２の負荷に基づいて、前記第２の候補テキスト領域データを調整することと、前記第２のテキスト領域情報は前記第２の負荷分散された候補テキスト領域データから決定され、
をさらに備える請求項１５に記載の方法。
【請求項１９】
前記第１の候補テキスト領域データおよび前記第２の候補テキスト領域データは、前記第１の候補テキスト領域データの一部分を前記第２の候補テキスト領域データに再割当てすることにより、調整される、請求項１８に記載の方法。
【請求項２０】
第１の画像変換器は、前記第１のグレースケール画像データを生成するために、前記マルチチャネル画像データを使用し、第２の画像変換器は、前記第２のグレースケール画像データを生成するために、前記マルチチャネル画像データを使用する、請求項１に記載の方法。
【請求項２１】
前記第１の候補テキスト領域データを処理するための第１の負荷を推定し、
前記第２の候補テキスト領域データを処理するための第２の負荷を推定する
ように構成された負荷制御器をさらに備える請求項7に記載の装置。
【請求項２２】
前記負荷制御器は、前記第１の候補テキスト領域データに対応する領域のサイズに基づき前記第１の負荷を推定するように構成される、請求項２１に記載の方法。
【請求項２３】
前記負荷制御器は、前記第２の候補テキスト領域データに対応する領域のサイズに基づき前記第２の負荷を推定するように構成される、請求項２１に記載の方法。
【請求項２４】
前記負荷制御器は、
第１の負荷分散された候補テキスト領域を生成するために、前記第１の負荷および前記第２の負荷に基づいて、前記第１の候補テキスト領域データを調整するようにさらに構成され、前記第１のテキスト領域検出器は、前記第１の負荷分散された候補テキスト領域から前記第１のテキスト領域情報を決定するようにさらに構成され、
前記負荷制御器は、
第２の負荷分散された候補テキスト領域を生成するために、前記第１の負荷および前記第２の負荷に基づいて、前記第２の候補テキスト領域データを調整するようにさらに構成され、前記第２のテキスト領域検出器は、前記第２の負荷分散された候補テキスト領域から前記第２のテキスト領域情報を決定するようにさらに構成される、請求項１５に記載の方法。
【請求項２５】
前記負荷制御器は、前記第１の候補テキスト領域データの一部分を前記第２の候補テキスト領域データに再割当てすることにより、前記第１の候補テキスト領域データおよび前記第２の候補テキスト領域データを調整するように構成される、請求項２４に記載の装置。
【請求項２６】
前記少なくとも１つの画像変換器の第１の画像変換器は、前記第１のグレースケール画像データを生成するために、前記マルチチャネル画像データを使用し、前記少なくとも１つの画像変換器の第２の画像変換器は、前記第２のグレースケール画像データを生成するために、前記マルチチャネル画像データを使用する、請求項７に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
主題について構造的特徴および／または方法論的行為に特有の言語で説明したが、添付の特許請求の範囲において定義される主題は、必ずしも上記で説明した特定の特徴または行為に限定されるとは限らないことを理解されたい。むしろ、上記の特定の特徴および行為は、特許請求の範囲を実施することの例示的な形態として開示される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］  マルチチャネル画像を処理するための方法であって、
前記マルチチャネル画像から複数のグレースケール画像を生成することと、
前記複数のグレースケール画像において少なくとも１つのテキスト領域を識別することと、
前記少なくとも１つのテキスト領域からテキスト領域情報を決定することと、
前記テキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成することと
を備える方法。
［２］  前記マルチチャネル画像の前記テキスト情報を生成することは、
前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記２つ以上のテキスト領域からの前記テキスト領域情報をマージすること
を含む、［１］に記載の方法。
［３］  前記少なくとも１つのテキスト領域を識別することは、前記複数のグレースケール画像を並列に処理することを含む、［１］に記載の方法。
［４］  前記少なくとも１つのテキスト領域を識別することは、
前記複数のグレースケール画像において少なくとも１つの候補テキスト領域を識別することと、
前記識別された少なくとも１つの候補テキスト領域において、前記少なくとも１つのテキスト領域を識別することと
を含む、［１］に記載の方法。
［５］  前記少なくとも１つの候補テキスト領域を識別することは、
前記複数のグレースケール画像において少なくとも１つの非候補テキスト領域を識別することと、
前記少なくとも１つの非候補テキスト領域のうちの２つ以上の非候補テキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記２つ以上の非候補テキスト領域の共通部分を識別することと、
前記共通部分を前記少なくとも１つの候補テキスト領域に追加することと
を含む、［４］に記載の方法。
［６］  前記テキスト領域情報を決定することは、
前記少なくとも１つのテキスト領域の各領域についての位置を識別することと、
前記少なくとも１つのテキスト領域の各領域についてのテキストを認識することと
を含む、［１］に記載の方法。
［７］  前記テキスト領域情報を決定することは、前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記識別されたテキスト領域の各々において前記認識されたテキストについてのテキスト信頼性値を決定することをさらに含み、
前記マルチチャネル画像の前記テキスト情報を生成することは、前記識別されたテキスト領域のうちの少なくとも２つの前記識別された位置が、少なくとも部分的に重複する場合、前記少なくとも２つの重複するテキスト領域から前記認識されたテキストのうちの１つを選択することを含み、前記選択されたテキストは、前記決定されたテキスト信頼性値の中の最大値に対応する、［６］に記載の方法。
［８］  前記テキスト領域情報を決定することは、
前記少なくとも１つのテキスト領域の各領域についての位置を識別することと、
前記少なくとも１つのテキスト領域の各領域についての領域信頼性値を決定することと
を含む、［１］に記載の方法。
［９］  前記マルチチャネル画像の前記テキスト情報を決定することは、
前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別され、かつ、前記識別されたテキスト領域のうちの少なくとも２つの前記識別された位置が、少なくとも部分的に重複する場合、前記少なくとも２つの重複するテキスト領域のうちの１つを選択することを含み、前記選択されたテキスト領域は、前記決定された領域信頼性値のうちの最大値に対応し、
前記選択されたテキスト領域においてテキストを認識することと
をさらに含む、［８］に記載の方法。
［１０］  マルチチャネル画像を処理するための装置であって、
前記マルチチャネル画像から複数のグレースケール画像を生成するように構成された、少なくとも１つの画像変換器と、
前記複数のグレースケール画像において少なくとも１つのテキスト領域を識別し、前記少なくとも１つのテキスト領域からテキスト領域情報を決定するように構成された、複数のテキスト領域検出器と、
前記テキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成するように構成された、マージユニットと
を備える装置。
［１１］  前記マージユニットは、前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記２つ以上のテキスト領域からの前記テキスト領域情報をマージするように構成される、［１０］に記載の装置。
［１２］  前記複数のテキスト領域検出器は、前記複数のグレースケール画像を並列に処理するように構成される、［１０］に記載の装置。
［１３］  前記複数のテキスト領域検出器は、
前記複数のグレースケール画像において少なくとも１つの候補テキスト領域を識別し、
前記識別された少なくとも１つの候補テキスト領域において、前記少なくとも１つのテキスト領域を識別する
ように構成される、［１０］に記載の装置。
［１４］  前記複数のテキスト領域検出器は、
前記複数のグレースケール画像において少なくとも１つの非候補テキスト領域を識別し、
前記少なくとも１つの非候補テキスト領域のうちの２つ以上の非候補テキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記２つ以上の非候補テキスト領域の共通部分を識別し、
前記共通部分を前記少なくとも１つの候補テキスト領域に追加する
ように構成される、［１３］に記載の装置。
［１５］  前記複数のテキスト領域検出器は、
前記少なくとも１つのテキスト領域の各々についての位置を識別し、
前記少なくとも１つのテキスト領域の各々についてのテキストを認識する
ように構成される、［１０］に記載の装置。
［１６］  前記複数のテキスト領域検出器は、前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記識別されたテキスト領域の各々において前記認識されたテキストについてのテキスト信頼性値を決定するように構成され、
前記マージユニットは、前記識別されたテキスト領域のうちの少なくとも２つの前記識別された位置が、少なくとも部分的に重複する場合、前記少なくとも２つの重複するテキスト領域から前記認識されたテキストのうちの１つを選択するように構成され、前記選択されたテキストは、前記決定されたテキスト信頼性値の中の最大値に対応する、［１５］に記載の装置。
［１７］  前記複数のテキスト領域検出器は、
前記少なくとも１つのテキスト領域の各々についての位置を識別し、
前記少なくとも１つのテキスト領域の各々についての領域信頼性値を決定する
ように構成される、［１０］に記載の装置。
［１８］  前記マージユニットは、
前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別され、かつ、前記識別されたテキスト領域のうちの少なくとも２つの前記識別された位置が、少なくとも部分的に重複する場合、前記少なくとも２つの重複するテキスト領域のうちの１つを選択することと、前記選択されたテキスト領域は、前記決定された領域信頼性値のうちの最大値に対応し、
前記選択されたテキスト領域においてテキストを認識することと、
を行うように構成される、［１７］に記載の装置。
［１９］  マルチチャネル画像を処理するための装置であって、
前記マルチチャネル画像から複数のグレースケール画像を生成する手段と、
前記複数のグレースケール画像において少なくとも１つのテキスト領域を識別し、前記少なくとも１つのテキスト領域からテキスト領域情報を決定する手段と、
前記テキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成する手段と
を備える装置。
［２０］  前記テキスト情報を生成する前記手段は、前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記２つ以上のテキスト領域からの前記テキスト領域情報をマージするように構成される、［１９］に記載の装置。
［２１］  前記少なくとも１つのテキスト領域を識別する前記手段は、前記複数のグレースケール画像を並列に処理するように構成される、［１９］に記載の装置。
［２２］  マルチチャネル画像を処理するための命令を備える、非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサに、
前記マルチチャネル画像から複数のグレースケール画像を生成することと、
前記複数のグレースケール画像において少なくとも１つのテキスト領域を識別することと、
前記少なくとも１つのテキスト領域からテキスト領域情報を決定することと、
前記テキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成することと
を行わせる媒体。
［２３］  前記マルチチャネル画像の前記テキスト情報を生成することは、
前記少なくとも１つのテキスト領域のうちの２つ以上のテキスト領域が、前記複数のグレースケール画像のうちの２つ以上において識別される場合、前記２つ以上のテキスト領域からの前記テキスト領域情報をマージすること
を含む、［２２］に記載の媒体。
［２４］  前記少なくとも１つのテキスト領域を識別することは、前記複数のグレースケール画像を並列に処理することを含む、［２２］に記載の媒体。
［２５］  マルチチャネル画像を処理するための方法であって、
前記マルチチャネル画像から、第１のグレースケール画像と第２のグレースケール画像とを生成することと、
前記第１のグレースケール画像において第１のテキスト領域を識別することと、
前記第２のグレースケール画像において第２のテキスト領域を識別することと、
前記第１のテキスト領域および前記第２のテキスト領域から、第１のテキスト領域情報と第２のテキスト領域情報とをそれぞれ決定することと、
前記第１のテキスト領域情報および前記第２のテキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成することと
を備える方法。
［２６］  前記テキスト情報を生成することは、前記第１のテキスト領域情報と前記第２のテキスト領域情報とをマージすることを含む、［２５］に記載の方法。
［２７］  前記第１のテキスト領域を識別することと、前記第２のテキスト領域を識別することとは、並列に実行される、［２５］に記載の方法。
［２８］  前記第１のテキスト領域を識別することは、
前記第１のグレースケール画像において第１の候補テキスト領域を識別することと、
前記識別された第１の候補テキスト領域において、前記第１のテキスト領域を識別することと
を含み、
前記第２のテキスト領域を識別することは、
前記第２のグレースケール画像において第２の候補テキスト領域を識別することと、
前記識別された第２の候補テキスト領域において、前記第２のテキスト領域を識別することと
を含む、［２５］に記載の方法。
［２９］  前記第１の候補テキスト領域を処理するための第１の負荷を推定することと、
前記第２の候補テキスト領域を処理するための第２の負荷を推定することと、
第１の負荷分散された候補テキスト領域と第２の負荷分散された候補テキスト領域とを生成するために、前記第１の負荷および前記第２の負荷に基づいて、前記第１の候補テキスト領域と前記第２の候補テキスト領域とを調整することと、
をさらに備える、［２８］に記載の方法。
［３０］  前記第１のテキスト領域は、前記第１の負荷分散された候補テキスト領域において識別される、［２９］に記載の方法。
［３１］  前記第１の負荷は、前記第１の候補テキスト領域のサイズに基づいて推定される、［２９］に記載の方法。
［３１］  前記第１の候補テキスト領域の一部分を前記第２の候補テキスト領域に与えることによって、前記第１の候補テキスト領域と前記第２の候補テキスト領域とが調整される、［２９］に記載の方法。
［３３］  マルチチャネル画像を処理するための装置であって、
前記マルチチャネル画像から、第１のグレースケール画像と第２のグレースケール画像とを生成するように構成された、少なくとも１つの画像変換器と、
前記第１のグレースケール画像において第１のテキスト領域を識別し、前記第１のテキスト領域から第１のテキスト領域情報を決定するように構成された、第１のテキスト領域検出器と、
前記第２のグレースケール画像において第２のテキスト領域を識別し、前記第２のテキスト領域から第２のテキスト領域情報を決定するように構成された、第２のテキスト領域検出器と、
前記第１のテキスト領域情報および前記第２のテキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成するように構成された、マージユニットと
を備える装置。
［３４］  前記マージユニットは、前記第１のテキスト領域情報と前記第２のテキスト領域情報とをマージするように構成される、［３３］に記載の装置。
［３５］  前記第１のテキスト領域検出器および前記第２のテキスト領域検出器は、前記第１のグレースケール画像と前記第２のグレースケール画像とを並列に処理するように構成される、［３３］に記載の装置。
［３６］  前記第１のテキスト領域検出器は、
前記第１のグレースケール画像において第１の候補テキスト領域を識別し、
前記識別された第１の候補テキスト領域において、前記第１のテキスト領域を識別する
ように構成され、
前記第２のテキスト領域検出器は、
前記第２のグレースケール画像において第２の候補テキスト領域を識別し、
前記識別された第２の候補テキスト領域において、前記第２のテキスト領域を識別する
ように構成される、［３３］に記載の装置。
［３７］  前記第１の候補テキスト領域を処理するための第１の負荷を推定し、
前記第２の候補テキスト領域を処理するための第２の負荷を推定し、
第１の負荷分散された候補テキスト領域と第２の負荷分散された候補テキスト領域とを生成するために、前記第１の負荷および前記第２の負荷に基づいて、前記第１の候補テキスト領域と前記第２の候補テキスト領域とを調整する
ように構成された、負荷制御器をさらに備える、［３６］に記載の装置。
［３８］  前記第１のテキスト領域検出器は、前記第１の負荷分散された候補テキスト領域において、前記第１のテキスト領域を識別するように構成される、［３７］に記載の装置。
［３９］  前記負荷制御器は、前記第１の候補テキスト領域のサイズに基づいて、前記第１の負荷を推定するように構成される、［３７］に記載の装置。
［４０］  前記負荷制御器は、前記第１の候補テキスト領域の一部分を前記第２の候補テキスト領域に与えることによって、前記第１の候補テキスト領域と前記第２の候補テキスト領域とを調整するように構成される、［３７］に記載の装置。
［４１］  マルチチャネル画像を処理するための装置であって、
前記マルチチャネル画像から、第１のグレースケール画像と第２のグレースケール画像とを生成する手段と、
前記第１のグレースケール画像において第１のテキスト領域を識別し、前記第１のテキスト領域から第１のテキスト領域情報を決定する手段と、
前記第２のグレースケール画像において第２のテキスト領域を識別し、前記第２のテキスト領域から第２のテキスト領域情報を決定する手段と、
前記第１のテキスト領域情報および前記第２のテキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成する手段と
を備える装置。
［４２］  前記第１のテキスト領域を識別する前記手段は、
前記第１のグレースケール画像において第１の候補テキスト領域を識別し、
前記識別された第１の候補テキスト領域において、前記第１のテキスト領域を識別する
ように構成され、
前記第２のテキスト領域を識別する前記手段は、
前記第２のグレースケール画像において第２の候補テキスト領域を識別し、
前記識別された第２の候補テキスト領域において、前記第２のテキスト領域を識別する
ように構成される、［４１］に記載の装置。
［４３］  前記第１の候補テキスト領域を処理するための第１の負荷を推定する手段と、
前記第２の候補テキスト領域を処理するための第２の負荷を推定する手段と、
第１の負荷分散された候補テキスト領域と第２の負荷分散された候補テキスト領域とを生成するために、前記第１の負荷および前記第２の負荷に基づいて、前記第１の候補テキスト領域と前記第２の候補テキスト領域とを調整する手段と
をさらに備える、［４２］に記載の装置。
［４４］  マルチチャネル画像を処理するための命令を備える、非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサに、
前記マルチチャネル画像から、第１のグレースケール画像と第２のグレースケール画像とを生成することと、
前記第１およびグレースケール画像において第１のテキスト領域を識別することと、
前記第２のグレースケール画像において第２のテキスト領域を識別することと、
前記第１のテキスト領域および前記第２のテキスト領域から、第１のテキスト領域情報と第２のテキスト領域情報とをそれぞれ決定することと、
前記第１のテキスト領域情報および前記第２のテキスト領域情報に基づいて、前記マルチチャネル画像のテキスト情報を生成することと
の動作を行わせる媒体。
［４５］  前記第１のテキスト領域を識別することは、
前記第１のグレースケール画像において第１の候補テキスト領域を識別することと、
前記識別された第１の候補テキスト領域において、前記第１のテキスト領域を識別することと
を含み、
前記第２のテキスト領域を識別することは、
前記第２のグレースケール画像において第２の候補テキスト領域を識別することと、
前記識別された第２の候補テキスト領域において、前記第２のテキスト領域を識別することと
を含む、［４４］に記載の媒体。
［４６］  前記動作は、
前記第１の候補テキスト領域を処理するための第１の負荷を推定することと、
前記第２の候補テキスト領域を処理するための第２の負荷を推定することと、
第１の負荷分散された候補テキスト領域と第２の負荷分散された候補テキスト領域とを生成するために、前記第１の負荷および前記第２の負荷に基づいて、前記第１の候補テキスト領域と前記第２の候補テキスト領域とを調整することと、
をさらに備える、請求項４５に記載の媒体。
【国際調査報告】
2014523036.tif 000028
2014523036.tif 000029
2014523036.tif 000030
2014523036.tif 000031