(57)【要約】      （修正有）【課題】書物などのスキャン画像は背に近い所に歪みを有する。歪みを検出し、補正する方法を提供する。【解決手段】特徴画像を用いてスキャンされた本の画像を分割化しページ領域に対応するピクセルをマップしページオブジェクトを作成してページの縁を検出する。ページオブジェクトの２つの間にある無地の背景領域を見つけ、ページ縁を分析してその形状を検出し、形状を分析して本の背の終端点を検出することにより本の背領域が検出される。ページ縁を用いて特徴画像を調べ、ピクセル値の上から下および下から上の下降勾配を検出し元のスキャンされた画像における影歪みの角を判定する。締め付けおよび湾曲歪みも検出される。ベジェ曲線を用いてページ上で検出された３つの歪みの各々をモデル化する。検出された歪みはまず台形の補正領域を定義することにより補正される。強度、締め付け、および湾曲補正が次に台形の補正領域内の線に沿って適用される。【選択図】図２
2012243307.tif 000002
【特許請求の範囲】
【請求項１】
スキャンされた本の入力画像における歪みを検出する方法であって、
前記入力画像はメモリーに記憶されたデジタル化画像またはスキャナーからスキャンされた画像の内の１つであり、
プロセッサーを用いて、
前記入力画像を複数のピクセルのブロックに分割するステップと、
前記入力画像における各ピクセルのブロックを特徴画像におけるピクセルに付属させるステップと、
前記特徴画像における各ピクセルの値を分析して前記特徴画像のバイナリーマップを作成するステップであって、前記バイナリーマップにおける各ピクセルはページ領域または非ページ領域に対応するステップと、
前記バイナリーマップに対しオブジェクト分割化を行ない１つのページ領域に対応するバイナリーマップのピクセルをグループ化するステップと、
ページオブジェクトのセットを作成するステップと、
前記ページ領域の縁を検出するステップと、
前記ページ領域内の歪みを検出するステップと、を実施する入力画像における歪を検出する方法。
【請求項２】
２つのページオブジェクトが作成され歪みを検出するステップは、
（ａ）前記特徴画像において、前記ページ領域の左縁に隣接する第１列を選択し上のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第１列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える上から下への下降勾配を有するか調べ、前記上から下への下降勾配が前記最小値を超える場合前記第１列において前記上から下への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記上から下への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第１列に隣接する別の列を選択するステップと、
前記第１列において前記上から下への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの左上の角の座標を特定するステップと、を有する請求項１に記載の入力画像における歪を検出する方法。
【請求項３】
前記歪みを検出するステップはさらに、
（ａ）前記特徴画像において、前記ページ領域の右縁に隣接する第２列を選択し上のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第２列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える上から下への下降勾配を有するか調べ、前記上から下への下降勾配が前記最小値を超える場合前記第２列において前記上から下への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記上から下への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第２列に隣接する別の列を選択するステップと、
前記第２列において前記上から下への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの右上の角の座標を特定するステップと、を有する請求項２に記載の入力画像における歪を検出する方法。
【請求項４】
前記歪みを検出するステップはさらに、
（ａ）前記特徴画像において、前記ページ領域の左縁に隣接する第３列を選択し下のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第３列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える下から上への下降勾配を有するか調べ、前記下から上への下降勾配が前記最小値を超える場合前記第３列において前記下から上への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記下から上への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第３列に隣接する別の列を選択するステップと、
前記第３列において前記下から上への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの左下の角の座標を特定するステップと、を有する請求項３に記載の入力画像における歪を検出する方法。
【請求項５】
前記歪みを検出するステップはさらに、
（ａ）前記特徴画像において、前記ページ領域の右縁に隣接する第４列を選択し下のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第４列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える下から上への下降勾配を有するか調べ、前記下から上への下降勾配が前記最小値を超える場合前記第４列において前記下から上への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記下から上への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第４列に隣接する別の列を選択するステップと、
前記第４列において前記下から上への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの右下の角の座標を特定するステップと、を有する請求項４に記載の入力画像における歪を検出する方法。
【請求項６】
前記歪みを検出するステップはさらに、
ガウスフィルターを用いて前記背景成分の値を平滑化するステップを有する請求項２に記載の入力画像における歪を検出する方法。
【請求項７】
プロセッサーをさらに用いて、
前記ページオブジェクトの２つの間における無地背景領域を見つけるステップと、
前記ページ縁を分析して前記縁の形状を検出するステップと、
前記縁の形状を分析して前記本の背の終端点を検出するステップと、
によって前記本の背を検出する請求項１に記載の入力画像における入力画像における歪を検出する方法。
【請求項８】
前記歪みを検出するステップはさらに、ピクセル値の前記背に垂直な方向における強度変化を近似するステップを有する請求項７に記載の入力画像における歪を検出する方法。
【請求項９】
さらにベジェ曲線に強度値をはめ合わせて強度曲線を作成するステップを有する請求項８に記載の入力画像における歪を検出する方法。
【請求項１０】
さらに強度曲線を締め付け曲線に変換するステップを有する請求項９に記載の入力画像における歪を検出する方法。
【請求項１１】
前記歪みを検出する方法は、前記ページ領域におけるテキストを調べテキスト区分のストリング上の点をベジェ曲線にはめ合わせ湾曲曲線を作成するステップを有する請求項１に記載の入力画像における歪を検出する方法。
【請求項１２】
さらに台形の補正領域を定義することにより前記検出された歪みを補正するステップを有する請求項１に記載の入力画像における歪を検出する方法。
【請求項１３】
さらにベジェ曲線で定義された強度補正を前記台形の補正領域内の線に沿って適用するステップを有する請求項１２に記載の入力画像における歪を検出する方法。
【請求項１４】
さらにベジェ曲線で定義された締め付けおよび湾曲補正を前記台形の補正領域内の線に沿って適用するステップを有する請求項１２に記載の入力画像における歪を検出する方法。
【請求項１５】
スキャンされた本の入力画像における歪みを検出する装置であって、
前記入力画像はメモリーに記憶されたデジタル化画像またはスキャナーからスキャンされた画像の内の１つであり、
前記入力画像を取り込む画像取り込み部と、
前記入力画像を記憶するメモリーと、
プロセッサーと、を有し、
前記プロセッサーは、
前記入力画像を複数のピクセルのブロックに分割するステップと、
前記入力画像における各ピクセルのブロックを特徴画像におけるピクセルに付属させるステップと、
前記特徴画像における各ピクセルの値を分析して前記特徴画像のバイナリーマップを作成するステップであって、前記バイナリーマップにおける各ピクセルはページ領域または非ページ領域に対応するステップと、
前記バイナリーマップに対しオブジェクト分割化を行ない１つのページ領域に対応するバイナリーマップのピクセルをグループ化するステップと、
ページオブジェクトのセットを作成するステップと、
前記ページ領域の縁を検出するステップと、
前記ページ領域内の歪みを検出するステップと、
を実行する、入力画像における歪を検出する装置。
【請求項１６】
前記プロセッサーは２つのページオブジェクトを作成し、
前記プロセッサーにより歪みを検出するステップは、
（ａ）前記特徴画像において、前記ページ領域の左縁に隣接する第１列を選択し上のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第１列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える上から下への下降勾配を有するか調べ、前記上から下への下降勾配が前記最小値を超える場合前記第１列において前記上から下への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記上から下への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第１列に隣接する別の列を選択するステップと、
前記第１列において前記上から下への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの左上の角の座標を特定するステップと、を有する請求項１５に記載の入力画像における歪を検出する装置。
【請求項１７】
前記プロセッサーにより歪みを検出するステップはさらに、
（ａ）前記特徴画像において、前記ページ領域の右縁に隣接する第２列を選択し上のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第２列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える上から下への下降勾配を有するか調べ、前記上から下への下降勾配が前記最小値を超える場合前記第２列において前記上から下への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記上から下への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第２列に隣接する別の列を選択するステップと、
前記第２列において前記上から下への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの右上の角の座標を特定するステップと、を有する請求項１５に記載の入力画像における歪を検出する装置。
【請求項１８】
前記プロセッサーにより歪みを検出するステップはさらに、
（ａ）前記特徴画像において、前記ページ領域の左縁に隣接する第３列を選択し下のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第３列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える下から上への下降勾配を有するか調べ、前記下から上への下降勾配が前記最小値を超える場合前記第３列において前記下から上への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記下から上への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第３列に隣接する別の列を選択するステップと、
前記第３列において前記下から上への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの左下の角の座標を特定するステップと、を有する請求項１７に記載の入力画像における歪を検出する装置。
【請求項１９】
前記画像取り込み部はスキャン装置である、請求項１５に記載の入力画像における歪を検出する装置。
【請求項２０】
プロセッサーにより実行されるとスキャンされた本の入力画像における歪みを検出するコンピューター読み取り可能な命令を有する１つ以上の有形なコンピューター読み取り可能な媒体であって、
前記入力画像はメモリーに記憶されたデジタル化画像またはスキャナーからスキャンされた画像の内の１つであり、
前記プロセッサーは、
前記入力画像を複数のピクセルのブロックに分割するステップと、
前記入力画像における各ピクセルのブロックを特徴画像におけるピクセルに付属させるステップと、
前記特徴画像における各ピクセルの値を分析して前記特徴画像のバイナリーマップを作成するステップであって、前記バイナリーマップにおける各ピクセルはページ領域または非ページ領域に対応するステップと、
前記バイナリーマップに対しオブジェクト分割化を行ない１つのページ領域に対応するバイナリーマップのピクセルをグループ化するステップと、
ページオブジェクトのセットを作成するステップと、
前記ページ領域の縁を検出するステップと、
前記ページ領域内の歪みを検出するステップと、を実行する、コンピューター読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は文書のスキャンおよび特に書物のスキャンに関する。
【背景技術】
【０００２】
書物のページをスキャンした画像はスキャンにより生成される３種類の歪みをしばしば有する。スキャンの方向に対し書物がスキャン面の上に伏せられた時の配向および面上における書物の背の隆起により、これら３種類の歪みは異なるレベルで出現する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２００８／００２４８４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図１に示すように、書物の背がスキャン面の上にある場合、スキャンされた画像は通常画像において背に近いところに影を有する（「影歪み」）。「締め付け歪み」はページ画像が背に向かって締め付けられ、それにより背により近いテキストが細く認識しにくくなると起こる。もう１種の歪み、「湾曲歪み」、は同じ理由からではあるが、本がその背をスキャナーのセンサーバーに平行してスキャンされる場合にのみ起こり、これは「平行スキャン状況」と呼ばれる。この場合、背に近いテキストはさらにページの中心に向かって湾曲する。上述の歪みは画像の視覚的読み易さに影響を与えるのみならず、影響された領域における光学文字読み取りの処理の失敗の原因ともなる。
本発明はこれらの歪みの存在を検出し歪みを補正する方法を提供する。
【課題を解決するための手段】
【０００５】
本発明の入力画像における歪を検出する方法は、スキャンされた本の入力画像における歪みを検出する方法であって、
前記入力画像はメモリーに記憶されたデジタル化画像またはスキャナーからスキャンされた画像の内の１つであり、
プロセッサーを用いて、
前記入力画像を複数のピクセルのブロックに分割するステップと、
前記入力画像における各ピクセルのブロックを特徴画像におけるピクセルに付属させるステップと、
前記特徴画像における各ピクセルの値を分析して前記特徴画像のバイナリーマップを作成するステップであって、前記バイナリーマップにおける各ピクセルはページ領域または非ページ領域に対応するステップと、
前記バイナリーマップに対しオブジェクト分割化を行ない１つのページ領域に対応するバイナリーマップのピクセルをグループ化するステップと、
ページオブジェクトのセットを作成するステップと、
前記ページ領域の縁を検出するステップと、
前記ページ領域内の歪みを検出するステップと、を実施することを特徴とする。
【０００６】
また、本発明の入力画像における歪を検出する方法において、２つのページオブジェクトが作成され歪みを検出するステップは、
（ａ）前記特徴画像において、前記ページ領域の左縁に隣接する第１列を選択し上のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第１列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える上から下への下降勾配を有するか調べ、前記上から下への下降勾配が前記最小値を超える場合前記第１列において前記上から下への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記上から下への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第１列に隣接する別の列を選択するステップと、
前記第１列において前記上から下への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの左上の角の座標を特定するステップと、を有することを特徴とする。
【０００７】
また、本発明の入力画像における歪を検出する方法において、前記歪みを検出するステップはさらに、
（ａ）前記特徴画像において、前記ページ領域の右縁に隣接する第２列を選択し上のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第２列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える上から下への下降勾配を有するか調べ、前記上から下への下降勾配が前記最小値を超える場合前記第２列において前記上から下への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記上から下への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第２列に隣接する別の列を選択するステップと、
前記第２列において前記上から下への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの右上の角の座標を特定するステップと、を有することを特徴とする。
【０００８】
また、本発明の入力画像における歪を検出する方法において、前記歪みを検出するステップはさらに、
（ａ）前記特徴画像において、前記ページ領域の左縁に隣接する第３列を選択し下のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第３列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える下から上への下降勾配を有するか調べ、前記下から上への下降勾配が前記最小値を超える場合前記第３列において前記下から上への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記下から上への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第３列に隣接する別の列を選択するステップと、
前記第３列において前記下から上への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの左下の角の座標を特定するステップと、を有することを特徴とする。
【０００９】
また、本発明の入力画像における歪を検出する方法において、前記歪みを検出するステップはさらに、
（ａ）前記特徴画像において、前記ページ領域の右縁に隣接する第４列を選択し下のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第４列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える下から上への下降勾配を有するか調べ、前記下から上への下降勾配が前記最小値を超える場合前記第４列において前記下から上への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記下から上への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第４列に隣接する別の列を選択するステップと、
前記第４列において前記下から上への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの右下の角の座標を特定するステップと、を有することを特徴とする。
【００１０】
また、本発明の入力画像における歪を検出する方法において、前記歪みを検出するステップはさらに、
ガウスフィルターを用いて前記背景成分の値を平滑化するステップを有することを特徴とする。
【００１１】
また、本発明の入力画像における歪を検出する方法において、プロセッサーをさらに用いて、
前記ページオブジェクトの２つの間における無地背景領域を見つけるステップと、
前記ページ縁を分析して前記縁の形状を検出するステップと、
前記縁の形状を分析して前記本の背の終端点を検出するステップと、
によって前記本の背を検出することを特徴とする。
【００１２】
また、本発明の入力画像における歪を検出する方法において、前記歪みを検出するステップはさらに、ピクセル値の前記背に垂直な方向における強度変化を近似するステップを有することを特徴とする。
【００１３】
また、本発明の入力画像における歪を検出する方法において、さらにベジェ曲線に強度値をはめ合わせて強度曲線を作成するステップを有することを特徴とする。
【００１４】
また、本発明の入力画像における歪を検出する方法において、さらに強度曲線を締め付け曲線に変換するステップを有することを特徴とする。
【００１５】
また、本発明の入力画像における歪を検出する方法において、前記歪みを検出する方法は、前記ページ領域におけるテキストを調べテキスト区分のストリング上の点をベジェ曲線にはめ合わせ湾曲曲線を作成するステップを有することを特徴とする。
【００１６】
また、本発明の入力画像における歪を検出する方法において、さらに台形の補正領域を定義することにより前記検出された歪みを補正するステップを有することを特徴とする。
【００１７】
また、本発明の入力画像における歪を検出する方法において、さらにベジェ曲線で定義された強度補正を前記台形の補正領域内の線に沿って適用するステップを有することを特徴とする。
【００１８】
また、本発明の入力画像における歪を検出する方法において、さらにベジェ曲線で定義された締め付けおよび湾曲補正を前記台形の補正領域内の線に沿って適用するステップを有することを特徴とする。
【００１９】
ここで、本発明の入力画像における歪を検出する装置は、スキャンされた本の入力画像における歪みを検出する装置であって、
前記入力画像はメモリーに記憶されたデジタル化画像またはスキャナーからスキャンされた画像の内の１つであり、
前記入力画像を取り込む画像取り込み部と、
前記入力画像を記憶するメモリーと、
プロセッサーと、を有し、
前記プロセッサーは、
前記入力画像を複数のピクセルのブロックに分割するステップと、
前記入力画像における各ピクセルのブロックを特徴画像におけるピクセルに付属させるステップと、
前記特徴画像における各ピクセルの値を分析して前記特徴画像のバイナリーマップを作成するステップであって、前記バイナリーマップにおける各ピクセルはページ領域または非ページ領域に対応するステップと、
前記バイナリーマップに対しオブジェクト分割化を行ない１つのページ領域に対応するバイナリーマップのピクセルをグループ化するステップと、
ページオブジェクトのセットを作成するステップと、
前記ページ領域の縁を検出するステップと、
前記ページ領域内の歪みを検出するステップと、
を実行することを特徴とする。
【００２０】
また、本発明の入力画像における歪を検出する装置において、前記プロセッサーは２つのページオブジェクトを作成し、
前記プロセッサーにより歪みを検出するステップは、
（ａ）前記特徴画像において、前記ページ領域の左縁に隣接する第１列を選択し上のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第１列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える上から下への下降勾配を有するか調べ、前記上から下への下降勾配が前記最小値を超える場合前記第１列において前記上から下への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記上から下への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第１列に隣接する別の列を選択するステップと、
前記第１列において前記上から下への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの左上の角の座標を特定するステップと、を有することを特徴とする。
【００２１】
また、本発明の入力画像における歪を検出する装置において、前記プロセッサーにより歪みを検出するステップはさらに、
（ａ）前記特徴画像において、前記ページ領域の右縁に隣接する第２列を選択し上のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第２列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える上から下への下降勾配を有するか調べ、前記上から下への下降勾配が前記最小値を超える場合前記第２列において前記上から下への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記上から下への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第２列に隣接する別の列を選択するステップと、
前記第２列において前記上から下への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの右上の角の座標を特定するステップと、を有することを特徴とする。
【００２２】
また、本発明の入力画像における歪を検出する装置において、前記プロセッサーにより歪みを検出するステップはさらに、
（ａ）前記特徴画像において、前記ページ領域の左縁に隣接する第３列を選択し下のページオブジェクトの中心から前記２つのページオブジェクトの中央まで第３列におけるピクセルの背景成分の値を追跡するステップと、
（ｂ）前記追跡された値が最小値を超える下から上への下降勾配を有するか調べ、前記下から上への下降勾配が前記最小値を超える場合前記第３列において前記下から上への下降勾配が始まるピクセル位置を前記特徴画像において特定し、前記下から上への下降勾配が前記最小値を超えない場合前記（ａ）に戻り前記第３列に隣接する別の列を選択するステップと、
前記第３列において前記下から上への下降勾配が始まる前記特徴画像における前記ピクセル位置を前記入力画像にマップし前記入力画像における影歪みの左下の角の座標を特定するステップと、を有することを特徴とする。
【００２３】
また、本発明の入力画像における歪を検出する装置において、
前記画像取り込み部はスキャン装置であることを特徴とする。
【００２４】
一方、本発明のコンピューター読み取り可能な媒体は、プロセッサーにより実行されるとスキャンされた本の入力画像における歪みを検出するコンピューター読み取り可能な命令を有する１つ以上の有形なコンピューター読み取り可能な媒体であって、
前記入力画像はメモリーに記憶されたデジタル化画像またはスキャナーからスキャンされた画像の内の１つであり、
前記プロセッサーは、
前記入力画像を複数のピクセルのブロックに分割するステップと、
前記入力画像における各ピクセルのブロックを特徴画像におけるピクセルに付属させるステップと、
前記特徴画像における各ピクセルの値を分析して前記特徴画像のバイナリーマップを作成するステップであって、前記バイナリーマップにおける各ピクセルはページ領域または非ページ領域に対応するステップと、
前記バイナリーマップに対しオブジェクト分割化を行ない１つのページ領域に対応するバイナリーマップのピクセルをグループ化するステップと、
ページオブジェクトのセットを作成するステップと、
前記ページ領域の縁を検出するステップと、
前記ページ領域内の歪みを検出するステップと、を実行することを特徴とする。
【図面の簡単な説明】
【００２５】
【図１】背がスキャナーのセンサーバーに平行している厚い書物を示す図である。
【図２】本発明を利用する画像取り込み装置およびシステムの全般的ブロック図である。
【図３】本発明の全般的方法のフローチャートである。
【図４】上端、下端、左、および右の境界に対する検索領域の初期ページ境界箱を示す図である。
【図５】２つのページ間における無地背景の上端および下端境界を検出するテキスト検索窓を示す。
【図６】ページ縁の形状を分析することによる書物の背の検出を示す。
【図７】図７Ａは１つの縁が検出されたバイナリーのページ縁の画像例を示し、図７Ｂは２つの別個の縁が検出されたバイナリーのページ縁の画像例を示す図である。
【図８】異なる制御点Ｐ1を有するベジェ曲線の例を示す図である。
【図９】書物の背の終端点を計算する５つの事例を示す図である。
【図１０】スキャンされた本における影歪みを示す図である。
【図１１】本発明の強度歪みパラメーター検出プロセスの全般的フローチャートである。
【図１２】影を検出するための画像における１つの条片の自動的選択を示す図である。
【図１３】強度曲線を示す図である。
【図１４】強度曲線当てはめのプロセスを示す図である。
【図１５】スキャンされた本の１画像と較正に用いられるグリッドシートを示す図である。
【図１６】１つの較正画像からの強度曲線および締め付け曲線の座標である。
【図１７】較正データを用いたΔＹ‐ΔＹS関係のモデル化を示す図である。
【図１８】較正データを用いたΔＩ‐Δδ関係のモデル化を示す図である。
【図１９】湾曲検出の例を示す図である。
【図２０】下のページにおける左側のテスト領域の検出を示す図である。
【図２１】２つテキスト領域において検出された湾曲の例を示す図である。
【図２２】台形補正領域の定義を示す図である。
【発明を実施するための形態】
【００２６】
はじめに本発明の概要をまとめると以下となる。すなわち、本発明はデジタル化またはスキャンされた文書画像を分析する方法および装置を提供する。本発明はブロックに基づく処理を用いて文書画像の空間特性を示す特徴画像を作成する。この特徴画像に基づき検出アルゴリズムをデザインしてページ本体、書物の背、およびスキャンにより生じる歪みを検出する。
【００２７】
より具体的には、スキャンされた書物の画像は特徴画像を用いて区分され、ページ領域に対応するピクセルをマップしてページオブジェクトを作成し、ページ縁を検出する。ページ縁を用い、特徴画像を左および右のページ縁に近い列ごとに調べピクセル値の上から下および下から上の減少を検出し、元のスキャン画像における影歪みの左上、右上、左下、および右下の角を判定する。２つのページオブジェクト間における無地の背景領域を突き止め、ページ縁を分析して縁の形状を検出し、縁の形状を分析して書物の背の終端点を検出することにより書物の背領域が検出される。ページ縁が背を突き止めるのに必要な情報に欠ける場合、支配的な線が存在する場合はそれが背であると想定される。
【００２８】
歪みの検出は書物の背に垂直なピクセル値における強度変化を近似し、強度値をベジェ曲線にはめて強度曲線を作成することが含まれる。加えて強度曲線が締め付け曲線に変換される。歪みの検出はさらにページ領域におけるテキストを調べて湾曲を検出し、テキスト部分のストリング上の点をベジェ曲線にはめ湾曲曲線を作成することを含む。検出された歪みは最初に台形の補正領域を定義することにより補正される。各々ベジェ曲線で定義される強度補正、締め付け補正、および湾曲補正は台形補正領域内の線に沿って適用される。
【００２９】
本発明はそのコンポーネントを用いてさまざまな拡張および分割化ソリューションを構築できるので、デジタル文書画像処理および操作用のスキャナーおよび画像ソフトウェアに適用される。スキャナーは通常スキャン領域の全表面をスキャンし、スキャナー面上のスキャンされる文書の寸法および位置双方とも相当異なるかもしれないため、さらに処理するのに画像サイズおよび演算上の複雑さを削減するために、自動的に実際の文書周囲の暗い余白部を取り除くこと、または文書上のテキストのみの本体を抽出することさえしばしば必要となる。
【００３０】
発明のより完全な理解とともに他の目的および達成は添付図面と併せて以下の説明およびクレームを参照することにより明らかになり、理解されよう。
【００３１】
以下の詳細な説明において、例示として発明の実施形態例を示す添付図面が参照される。図面において、各々の図を通し類似した数字は実質的に類似した部分を説明する。これらの実施形態は当業者が発明を実施し得るよう充分に詳しく説明される。本発明の範囲から逸脱することなく他の実施形態も利用することができ、構造的、論理的、および電気的な変更もなすことができる。さらに、発明のさまざまな実施形態は異なっていても、必ずしも互いに排他的ではないことが理解されよう。例えば、１つの実施形態において記述される特定の特徴、構造、または特質は他の実施形態内に含まれ得る。従って以下の詳細な説明は限定的な意味で捉えるものではなく、本発明の範囲は添付クレーム、およびこれらのクレームに与えられる全範囲の等価物によってのみ定義される。
【００３２】
一般的に、実施形態例は画像、特にデジタル化またはスキャンされた文書、を調べる方法、装置、およびコンピューター読み取り可能な媒体に関する。画像はスキャンの際に引き起こされた歪みを検出するために調べられ、次に補正されて歪みを除去または最小化する。
【００３３】
実施形態例はデジタル化またはスキャンされた画像から特徴を抽出し、特定の特質を検出するために文書を分析する。次に画像を補正するためにこれらの特質、例えばページ領域、書物の背、および歪みパラメーター、を処理することができる。このような補正は強度およびねじれの補正を含むことができる。発明と一貫している方法は中でもフラットベッドスキャナーなどの画像取り込み装置とともにプリンタードライバーまたは画像編集ソフトウェアを含むソフトウェアモジュールにおいて実施されることができる。
【００３４】
次に図３を参照すると、特徴抽出の方法例３００が図示される。全般的に方法例３００はデジタル化またはスキャンされた画像（入力画像x）で始まる（ステップ３０２）。入力画像xにおける複数のばらばらなピクセルブロックの各々は特徴画像における１つのピクセルに変換される。特徴画像は次に元の入力画像、例えば文書、を分析するのに用いることができる。方法例３００の主要なステップは図３において概略のブロックとして示されるが、以下の説明において詳細に説明される。
【００３５】
これらの方法例３００およびその変形はコンピューター実行可能な命令またはデータ構造を保存して搭載または有する非一時的なコンピューター読み取り可能な媒体を用いて実施することができる。このようなコンピューター読み取り可能な媒体は汎用または特殊用途のコンピューターのプロセッサーによりアクセスできる任意の入手可能な媒体であって良い。限定ではなく例として、このようなコンピューター読み取り可能な媒体はRAM、ROM、EEPROM、CD‐ROMもしくは他の光ディスク記憶、磁気ディスク記憶もしくは他の磁気記憶装置、またはコンピューター実行可能な命令またはデータ構造の形でプログラムコードを搭載または記憶するのに用いることができ、汎用または特殊用途のコンピューターのプロセッサーによりアクセスできる他の任意の媒体を含み得る。上記の組み合わせもコンピューター読み取り可能な媒体の範囲に含めるべきである。
【００３６】
コンピューター実行可能な命令は例えば汎用コンピューターまたは特殊用途のコンピューターのプロセッサーに特定の機能または機能のグループを実施させる命令およびデータを有する。本明細書において要旨は方法行為固有の言葉で説明されているが、添付クレームで定義される要旨は必ずしも本明細書に説明される具体的な行為に限定されないことが理解されよう。むしろ、本明細書に説明される具体的な行為はクレームを実施する形態例として開示される。
【００３７】
特殊用途のコンピューターの例はデジタルカメラ（例としては長野県諏訪市大和に本社を置くセイコーエプソン（株）製のデジタルカメラR‐D１が含まれるが、これに限定されない）、デジタルカムコーダー、プロジェクター、プリンタースキャナー、コピー機、携帯フォトビューアー（例としてはセイコーエプソン（株）製のEpson P‐３０００またはP‐５０００携帯フォトビューアーを含むがこれらに限定されない）、または携帯映画プレイヤー、またはプリンター／スキャナー／コピー機の組み合わせ（例としてはセイコーエプソン（株）製のEpson Stylus Photo RX５８０、RX５９５、またはRX６８０、Epson Stylus CX４４００、CX７４００、CX８４００、またはCX９４００Fax、およびEpson AcuLaser（登録商標） CX１１NFが含まれるが、これらに限定されない）、またはプリンター／スキャナーの組み合わせ（例としてはすべてセイコーエプソン（株）製のEpson TM‐J９０００、TM‐J９１００、TM‐J７０００、TM‐J７１００、およびTM‐H６０００IIIが含まれるが、これらに限定されない）、またはデジタルカメラ／カムコーダーの組み合わせなどこれらの何らかの組み合わせのような画像処理装置を含む。画像処理装置は例えば画像から特徴を抽出し、次に抽出された特徴を用いて画像を分析する特徴抽出機能を含むことができる。例えば、この特徴抽出および分析機能を有するフラットベッドスキャナーなどの画像取り込み装置は方法例３００を実施する１つ以上のコンピューター読み取り可能な媒体を含むことができる。あるいは、画像取り込み装置に接続されるコンピューターが方法例３００を実施する１つ以上のコンピューター読み取り可能な媒体を含むことができる。
【００３８】
図２に画像取り込み装置例２００の概略図を示す。画像取り込み装置例２００は介在インターフェイス２０２経由でホストコンピューター２５０とデータを交換する。ホストコンピューター２５０上のアクセスのためにアプリケーションプログラムおよび画像取り込みドライバーも記憶されることができる。例えば画像検索命令がアプリケーションプログラムから受信されると、画像取り込み装置ドライバーは命令データの画像取り込み装置２００向けに適したフォーマットへの転換を制御し、転換された命令データを画像取り込み装置２００に送信する。トライバーはさらにさまざまな信号およびデータを画像取り込み装置２００から受信し解釈し、ホストコンピューター２５０経由でユーザーに必要な情報を提供する。
【００３９】
ホストコンピューター２５０からデータが送信されると、インターフェイス２０２はデータを受信し、RAM２０４の一部を形成する受信バッファーに記憶する。RAM２０４は例えばアドレス指定を通していくつかの部分に分け、受信バッファーまたは送信バッファーなどの異なるバッファーとして割り当てることができる。デジタル画像データなどのデータも画像取り込み装置２００により取り込み機構２１２、フラッシュEEPROM２１０、またはROM２０８から得ることができる。例えば、取り込み機構２１２は書物などの出所文書をスキャンすることによりデジタル画像を生成することができる。このデジタル画像を次にRAM２０４の受信バッファーまたは送信バッファーに記憶することができる。
【００４０】
プロセッサー２０６は例えばROM２０８上またはフラッシュEEPROM２１０上に記憶されたコンピューター実行可能な命令を用いて例えば本発明の方法例３００など特定の機能または機能のグループを実施する。RAM２０４の受信バッファーにおけるデータが例えばデジタル画像である場合、プロセッサー２０６は方法例３００の方法行為をデジタル画像に対し実施し、デジタル画像における特徴を抽出し、さらに抽出された特徴に基づき画像を分析することができる。次に画像が例えばLCDディスプレイなどのディスプレイ２１４上で表示される前にデジタル画像に対しさらに画像化パイプラインにおいて処理を実施し、またはプリンター２６２で印刷するためにホストコンピューター２５０に転送し、または例えばプロジェクター２６４で投影し、またはハードディスク２６０に記憶することができる。
【００４１】
次に図３に関連して画像における特徴を抽出し、さらに抽出された特徴に基づき画像を分析する方法例３００を考察する。方法例３００を実施する前に、さまざまな処理操作用に入力画像を的にすることができる。入力画像はグレースケール画像、バイナリー画像、デジタルカラー画像、またはカラー画像のデジタル化もしくはスキャンされたものであることができる。方法例３００が実施される前に入力画像に対しさまざまな画像処理手法を適用することができる。理解を容易にするために、以下の考察は次の項に分けられる。
A．入力画像
B．特徴画像の形成
C．特徴画像の分析および分割
D．ページ領域の検出
E．書物の背の検出
F．歪みの検出、および
G．補正
【００４２】
2012243307.tif 000003
【００４３】
B．特徴画像の形成
特徴画像の形成、分析、および画像の分割化は２０１１年３月３０日に申請され「デジタル文書画像の分析方法」（弁護士整理番号EETP１２６）と題する共有の米国特許出願番号１３／０７５，９７８号公報の主題であり、引用により全体として本明細書に組み入れられる。しかし本発明はページ領域および書物の背の検出、およびスキャンされた画像における歪みのモデル化とともに、これらの歪みの補正に向けられており、特定の分割化手法に限定されない。しかし、完全性と理解の容易性から、共有の米国特許出願番号１３／０７５，９７８号公報に説明されクレームされる特徴画像に基づく分割化手法が以下の部分で説明される。
【００４４】
スキャナーは通常スキャン領域の表面全体をスキャンし、スキャナーの表面におけるスキャンされた文書のサイズおよび位置双方とも相当変化し得るので、本発明は特徴抽出（図３、ステップ３０４）を用いて後の分析用に特徴画像を形成する。スキャンプロセスの際デジタル化された文書画像に導入されるさまざまなスキャンの欠点および雑音に対し頑強さを達成するために、本発明は入力画像をブロック毎に処理する。
【００４５】
2012243307.tif 000004
【００４６】
2012243307.tif 000005
【００４７】
2012243307.tif 000006
【００４８】
いくつかの特徴画像を作成する必要がある場合、演算上効率的な方法はまず最大目標寸法の特徴画像を作成し、次により大きい特徴画像から別の（より小さい）特徴画像を作成することである。他の特徴画像の目標寸法により、この方法を反復的に繰り返し、特徴画像のピラミッドを得ることができる。
いずれの特徴画像もその分析の前に２チャンネルのいずれかにおける外れ値を除去するために低域通過フィルターを用いて増強することができる。ページの配向が分かっている場合、望まれる増強は方向フィルターを用いて実現することができる。
前景ピクセルが背景ピクセルより高い強度を示すかは例えばヒストグラムから容易に判断できるが、この場合元の文書画像の逆のバージョンを作成し、提案される方法の入力として用いるべきである。
【００４９】
最後に、本発明はグレースケール画像のみの実施形態を呈示しているが、本発明において提案される枠組みはバイナリーおよびカラー画像にも容易に取り入れることができる。バイナリー画像について、提案される枠組みの適用は簡単である。カラー画像について、いくつかの方法が可能である。例えば、１方法は３つの色データを１つの値に変換し（例えばカラーからグレースケールの転換を用いて）、次にこのようなスカラーデータをグレースケールまたはバイナリデータと同じように処理することである。別の可能性は提案される枠組みを成分毎の形で３つの色チャンネルに別個に適用し、次に中間結果を組み合わせることである。
【００５０】
2012243307.tif 000007
【００５１】
2012243307.tif 000008
【００５２】
2012243307.tif 000009
【００５３】
2012243307.tif 000010
【００５４】
2012243307.tif 000011
【００５５】
これらのパラメーターは望まれる性能を達成するよう予め決定することができ（例えばスキャン装置の較正においてまたは画像ソフトウェアの最適化の際）またはオブジェクトのセットから適応的に決定することができる（例えば、すべての分割化オブジェクトにわたる平均または加重平均としてで、より大きい加重はより大きいオブジェクトに結び付いている）。
【００５６】
2012243307.tif 000012
【００５７】
D．ページ領域の検出（ステップ３１４、図３）
スキャンされた本の文書の場合、特徴画像の分割化の結果はスキャンされたページの数により常に１つまたは２つのオブジェクトである。多くの文書画像用途において、ページ上のテキスト／グラフィックスを失わずにある領域を定義することがしばしば望まれる。本の画像が２つのページを有する場合、双方のページオブジェクトを囲む箱を用いて本のページ全体の画像位置を推定する。しかし、この推定は非常に粗い場合がある。この初期の境界箱の境界の周囲で次に正確なページの境界箱の検索が行なわれる。
【００５８】
2012243307.tif 000013
【００５９】
本発明は本のページがスキャン面より小さい場合スキャンされた画像は非スキャン領域とも呼ばれる暗い領域があるという事実に基づく検索方法を用いる。ページ画像と分離するために暗い領域の明るさは予め規定されている（例、８０）。画像の高さ次元においえページの箱の境界を見出すために対応する検索領域において行毎のスキャンが実行される。スキャンは検索領域上端における第１行から開始され、他方下端におけるページの箱の境界に対する検索領域においては反対のスキャン順序が用いられる。スキャンは最も少ない数の連続行における多くの部分が非スキャン領域より明るいピクセルを有する場合に停止される。画像の幅次元におけるページの箱の境界を見出すために同じ検索ストラテジーが列方向に実行される。
【００６０】
本が顕著な傾斜角を持ちページオブジェクトが水平に位置合わせされていない可能性を鑑み、上述の方法は実際のページ量言いより大きい境界箱を作り出す。この場合、別の解決法は同じ境界検出方法を各ページオブジェクトに対し別個に適用し３方向においてその境界を精緻化することである。上および下のページオブジェクトの２つの精緻化境界箱は最終的に融合され、ページ領域全体の新しい境界箱が作成される。
【００６１】
本発明は特徴画像を用いて影歪みを検出する。他の２種類の歪み、すなわち締め付けおよび湾曲、は影と併せてしばしば書物の背周囲に現れるので、影歪みが特定された領域をさらにこれら２つの歪みに対する初期検索領域として用いることができる。
【００６２】
E．書物の背の検出（ステップ３１６、図３）
本をスキャンする場合、書物の背領域の判定は例えば２つのページを分離し、または歪みを補正する目的から興味があり得る。本発明は以下の３ステップの手順を用いて書物の背を見出す。
（１）まず２つのページ間における無地の背景領域を見出す。書物の背の検出をこの領域に限定すると前景のグラフィックスを書物の背と間違える可能性を低減する。しかし例えば図１に示される画像のように、非常に厚い本がスキャンされる場合、２つのページからのテキストおよび他の前景内容は書物の背のみによって分離される。この場合領域は別に定義しなければならない。最も簡単な方法は２つのページオブジェクト間の領域を検索領域として設定することである。検索領域が以下の処理を実施するのに小さ過ぎる場合、それを拡張して最小サイズに到達させる必要がある。
（２）湾曲歪みは書物の背周囲におけるページ縁の湾曲を変えるので、この歪みが存在する場合ページ縁の形状が書物の背の位置を示すことができる。書物の背検出の第２ステップは関心領域のページ縁を分析することである。縁がまっすぐの場合、ステップ３に進み、そうでない場合は得られた湾曲を用いて書物の背を推定する。
（３）ページ縁を用いて本の背の位置確認ができない場合、背の線を見出すために修正ハフ変換に基づく線検出が検索領域に適用される。
【００６３】
2012243307.tif 000014
【００６４】
本発明のテキスト検出用のアルゴリズムは（１）テキストは背景に対しコントラストがある、および（２）文字はストローク（エッジ）および広いエッジ配向の分布を有する、という２つの規則に基づいてデザインされている。エッジ分析は演算上比較的高価なため、第１規則に適合した窓の確認ステップとしてのみ適用される。従ってテキスト検出の第１ステップは各窓の画像強度コントラストを計算し予め規定された最小値と比較することである。コントラストを得る迅速な方法は既存の特徴画像ｚから各窓の対応最大および最小強度を取り出して比率を計算することである。テキストまたは文字の存在を確認するために、窓内でエッジを抽出する。エッジ密度およびエッジ配向の分布は信頼できるテキスト検出を達成するための２つの基準である。確認には２つのパラメーターが関係する。１つはすべての窓内における画像の最小エッジ密度である。他方は０〜３６０度の範囲にわたりエッジ配向がどの広さで分布されなければならないかを定義する。
【００６５】
E．２  紙の縁を用いる背の検出
関心領域内のページ縁を用いた書物の背の検出に対する鍵は画像の幅次元におけるページ縁の信頼できる抽出である。本発明の抽出アルゴリズムは本のページの左および右側双方における縁領域に対し別個に適用される。各縁領域のバイナリー画像が注意深い分割化により生成されると、ページと非スキャン領域間の縁が抽出される。これは図６に図示されるように１つまたは２つの曲線における画像点のセットにより表される。縁の形状を効率的かつ正確な方法で分析するために、曲線はすう数学的に近似される。次にページの一辺においてページがまっすぐな縁または湾曲を有するかに対する決定をすることができる。曲がったページ縁が見出されると、背の終端点は湾曲から推定される。背における双方の終端点の検出は最終的に背の画像位置をもたらす。関心がある２つのページ縁は必ずしも対称的でなく、同じ縁は上および下のページにおいて背で異なって曲がり得ることを特筆する必要がある。
【００６６】
E．２．１  ページ縁の抽出
ページ縁領域のバイナリー画像において、本発明では縁を８‐接続性で検出するために縁トレースアルゴリズムが用いられる。非スキャン領域がページ縁の左側にあると仮定すると、縁候補の種ピクセルまたは縁の開始点はバイナリー画像の左上の角から検索される。縁はこの点から画像の下端に向かいトレースされる。代表的なトレースアルゴリズムに対する１つの修正は縁が最小長にわたり水平に平坦になるか上向きになるとトレースが終わることである。
本発明のこの修正縁トレースアルゴリズムは図７Ａにおいて図示される１つの縁を見出すことができる。その転回点は後に評価ステップにおいて縁を２つの曲線に分割する。場合により図７Ｂに図示される画像のように、画像の上端における１つの縁が最初に見出される。この縁は画像の下端に到達しないので、画像は垂直に反転され、同じトレースアルゴリズムが再度実行される。最終的に２つの縁が検出される。この例において、画像は背の周囲で暗いのでまっすぐなページ縁は２つの部分に分けられている。
【００６７】
E．２．２  湾曲分析および背の終端点の推定
背検出用の湾曲分析の目的は、ページ縁が上のページおよび下のページ双方において同じ点に向かって曲がるかを判定することであり、これはこの点がページ領域の片側における背の線の画像位置を示すことができるからである。ページ縁の抽出は１つまたは２つの曲線をもたらし、各々はその上の点のセットにより表される。１曲線を分析する第１ステップは、曲線を少数の係数で表すとその形状を分析するのが簡単になるので、その上の点を数学的モデルにはめることである。抽出された曲線がほとんどまっすぐな場合、ページはまっすぐな縁を有すると結論することは安全である。そうでない場合、縁が１点に向かって曲がる２つの曲線からなるかを調べるためにさらに１ステップの処理が必要である。画像雑音および曲線抽出における検出エラーの影響を低減するために、各抽出曲線上の点は湾曲分析の前に平滑化される。
【００６８】
2012243307.tif 000015
【００６９】
2012243307.tif 000016
【００７０】
2012243307.tif 000017
【００７１】
以下は１つのページ縁に生じ得る５つの一般的な状況で、図９に示すように異なる結果につながる。
１つの縁が検出され、まっすぐと判定された場合、背の終端点が推定できない、
２つの直線が上および下のページに検出された場合、背の終端点は２つの線の中央に設定される、
１つの縁が検出され２つのベジェ曲線に近似された場合、背の終端点はベジェ曲線の２つの終端制御点間の中央点になる、
２つの別個の縁が検出されベジェ曲線にはめられた場合、２つの曲線が互いに近いと背の終端点は２つの曲線が交わり得る点に外挿される、および
２つの曲線が大きな距離で離れており、または４の事例において交差点が見出されなかった場合、背の終端点はベジェ曲線の２つの終端点間の中央点として設定される。
【００７２】
F．歪みの検出（ステップ３１８、図３）
本のページのスキャンされた画像はしばしばスキャンにより生成される３種の歪みを有する。本がスキャン面に置かれた時のスキャン方向に対する配向および本の背領域が表面からどれだけ上がっているかにより、これら３種の歪みは異なるレベルにおいて現れる。本の背がスキャン面の上方にある場合、スキャンされた画像は通常書物の背に近い画像の部分において影が現れている。他の２種の歪みは同じ理由から起こるが、本がその背をスキャナーのセンサーバーに平行にしてスキャンされる場合にのみであり、これは「平行スキャン事例」と呼ばれる。この場合、ページ画像は背に向かって締め付けられ、その結果背により近いテキストは細くなり認識しにくくなる。この「締め付け」歪みの他に背に近いテキストはさらにページの中央に向かい曲がる。この種の歪みは本明細書において「湾曲歪み」と呼ばれる。以下の項は各歪みを検出する本発明の態様を考察する。検出は上および下のページの左および右側双方において実行される。検出された歪みはベジェ曲線により近似され補正手順において用いられる。
【００７３】
2012243307.tif 000018
【００７４】
まず、特徴画像において、プロセッサーはページ領域の左縁に隣接する第１列を選択し、上のページオブジェクトの中央から２つのページオブジェクトの中央まで第１列におけるピクセルの背景成分の値を追跡する。
プロセッサーが選択された列における背景成分値をガウスフィルターにより水平に平滑化し頑強な背景強度の推定を生み出すことが好ましい。
【００７５】
プロセッサーは次に平滑化された背景の推定が最小値より大きい（例、３０）上から下の下降勾配を有するか調べる。選択された列において下落が始まる位置が次に元のスキャンされた画像にマップされる。得られた画像座標は元のスキャンされた画像における影歪みの左上の角である。上から下の下降勾配が最小値より大きくない場合、左縁のとなりにある別の列を選択して調べ、これは選択された第１列に隣接する列であることが好ましい。
【００７６】
次にプロセッサーは上のページにおける右縁に隣接する列を選択し、上述の３つのステップを繰り返して上のページにおける影歪み領域の右上の角を見つける。
プロセッサーは上述のステップを繰り返して下のページにおける影歪み領域の左下および右下の角を見つける。下のページにおけるページ背景の望ましい下落は下から上である。
この影歪み検出アルゴリズムの精度は特徴画像における関心列の選択に依存している。特徴画像をできるだけページ縁に近く用いることが重要である。ページ上のグラフィックスによりページ縁領域がページ背景を表すのに不適切である場合、正確であるために検出された歪み領域をページ縁に補間する必要がある。
【００７７】
F．２  強度そり返りパラメーターの検出
強度そり返り検出は影の存在を検出し、背に垂直な方向における強度変化を近似する。この検出への入力はB項およびC項において考察された強度特徴画像である。図１１はプロセスの全般的なフローチャートである。上記のE．２．１項で抽出されたページ縁領域が与えられると、影検出における第１ステップ（図１１、ステップ１１０２）は強度特徴画像において１つの列を選択しページ背景の強度がどのように本の背に向かい変化するかを推定することである。この領域の背景強度はガウスフィルターにより平滑化される（ステップ１１０４）。新しい強度値はベジェ曲線にはめられる。非補正／平坦領域から補正領域への滑らかな遷移を保証するために、これら２つの領域間の境界における強度レベルが計算され、ベジェ曲線の開始点として用いられる（ステップ１１０６）。強度そり返しは推定されたベジェ曲線における３つの制御点によりパラメーター化される（ステップ１１０８）。
【００７８】
本発明において、検出領域は以下のとおり自動的に選択される。強度特徴画像における１つお画像列は元の画像における１つの矩形領域に対応する。より良い補正結果を達成するにはできるだけページ縁に近い領域を選択することが有利である。最適な領域を見出すために検索領域が定義される。検索領域はページ縁、補正領域の点、および背の位置に従い選択される。
【００７９】
図１２は一例を示し、外側の箱Ｂは検索領域の境界を形成し、垂直線Ｖは各条片の候補の境界を形成し、矢印Ｖはスキャン方向を示す。
図１２に示す例において、ページの左側における検索領域は、
上端：ページの左側における補正領域点の画像のＹ座標
下端：背の画像のＹ座標
左：ページの左縁＋ガウスフィルターの長さの半分
幅：選択できる条片の最大数
と定義される矩形である。
【００８０】
同様にページの右側における検索領域は、
上端：ページの右側における補正領域点の画像のＹ座標
下端：背の画像のＹ座標
右：ページの右縁＋ガウスフィルターの長さの半分
幅：選択できる条片の最大数
と定義される。
【００８１】
ページ上の図形または前景のテクスチャーは強度特徴画像を歪め、その結果強度変動の誤推定をもたらす可能性があるため、このような図形を含む領域の使用を避けることが重要である。図１２において垂直の条片として図示される各候補領域は強度特徴画像を用いて暗いブロックを数えることにより調べられる。スキャン方向において暗いブロックがない最初の領域が強度パラメーター検出の最適な関心領域として選択される。すべての領域が異なる数の暗いブロックを有する場合、暗いブロックが最も少ない領域が選択される。
【００８２】
2012243307.tif 000019
【００８３】
背の周囲の背景強度は必ずしも最も低いものではないことを見出した。図１４は背に到達する前に背景強度が最も低くなる例を示す。図１４において、黒い点は曲線にはめるのに用いられる背景強度値を表す。上側の曲線（約１００において始まる）および付属するバツ印のマーカーはすべての利用可能な強度値を用いて得られた曲線およびその制御点を表す。下側の曲線（約１２５において始まる）および付属するバツ印のマーカーは選択された強度値を用いて推定された曲線およびその制御点を表す。すべての値を用いて曲線が推定される場合、殆どの点はあまり良く近似されない。より良いはめ合わせ結果を達成するために、強度を反対方向に導く値ははめ合わせから除外される。曲線の曲がり目は勾配により検出できる。この曲がり目に続く点を切り捨てた後上側の曲線（約１００において始まる）が推定される。切り捨てられた点が画像内にある領域において曲線は背景強度の近い近似すら実現しないことが明らかである。
【００８４】
2012243307.tif 000020
【００８５】
F．３  締め付けそり返りパラメーターの検出
背付近の領域において、締め付け歪みにより文字は背に垂直な方向に小さくなる。締め付けは画像の位置により異なる。
【００８６】
2012243307.tif 000021
【００８７】
締め付けは通常影とともに現れ、強度曲線は上述のF．１項に説明する方法により求められるので、同じ画像のX位置において背景強度曲線を締め付け曲線に変換することを試みる。
背景強度曲線と締め付け曲線との関係を調べるために、本に格子シートが挿入され、格子シートを異なる角度に置き本に異なる圧力を印加してスキャンされる。図１５はスキャンされた画像の１つを示す。これらの較正画像により、強度曲線が推定される位置における締め付けを測定することができる。
【００８８】
図１６に図示されるように、強度および締め付け双方ともベジェ曲線で表すことができる。最も右の曲線およびバツ印のマーカーは強度−画像Y曲線およびその制御点である。最も左のおよびバツ印のマーカーは締め付け−画像Y曲線およびその制御点である。これらは次の２条件を満足する。
曲線の双方とも同じ画像の高さで始まり、終わる。
締め付け曲線は開始点で締め付けがないと仮定される。
【００８９】
2012243307.tif 000022
【００９０】
2012243307.tif 000023
【００９１】
2012243307.tif 000024
【００９２】
2012243307.tif 000025
【００９３】
F．４  湾曲そり返りパラメーターの検出
湾曲歪みはページ縁とともに画像内容にも影響する。文字、特に背周囲の領域における文字、はページの中央に向かって移動する。またページ縁は直線でなくなる。逆に中央に向かって曲がる。補正領域および背の位置が与えられると、湾曲歪みの検出はまずページ縁を用いて行なわれる。縁が抽出されず、またはその形状がベジェ曲線により確実に近似できない場合、文字を含む領域が自動的に選択され、文字から湾曲が推定される。
【００９４】
F．４．１  ページ縁を用いた湾曲の検出
図１９は湾曲検出の例である。線Cは補正領域を示す。背は線Sである。４つの湾曲（補正領域の縁Aおよび背Sを連結する曲線C）が上および下のページの左および右側に検出される。湾曲が検出される領域は矩形で示される。ページ縁の抽出および湾曲分析の推定アルゴリズムについては上述のE．２．２項を参照。補正領域は強度変化に基づきあるレベルの精度で定義されるので、ページ縁は補正領域の始めから曲がり始めない可能性がある。湾曲歪みの補正は検出された湾曲を用いて歪みをモデル化する。
【００９５】
F．４．２  文字を用いた湾曲の検出
本の背が水平の配向にある場合、上または下のページにおけるどちらかの側における検索領域は自動的に定義され、この領域内のテキストを用いて湾曲歪みが検出される。この湾曲検出方法の１つの仮定は検索領域内のテキストが類似したフォントサイズおよび色／強度であるということである。
【００９６】
F．４．２．１  テキスト領域の検出
図２０は下のページにおける左側のテキスト領域の検出を図示する。領域Rはページの左縁からページの中央まで領域Aを検索した後に選択された。検索は矢印ARにより示されるように左から右に実施される。湾曲はページの左および右側双方において検出される。各々の側において検索領域はページ縁から距離をおいて始まりページの中央で終わる。湾曲はページ縁の近くで検出されることが望ましいので、ページの左側における検索は左から右である。一方ページの右側において検索は右から左に行なわれる。
【００９７】
図２０に与えられる例において検索領域の垂直寸法は下のページにおいてテキストが始まる所からで補正領域の境界で終わる。選択されるテキスト領域は予め定義された画像幅（例、２００ピクセル）を有する。検索は２００ピクセルの窓を移動させ、窓内に充分なテキストが存在するか確認することを含む。
【００９８】
F．４．２．２  湾曲の検出
湾曲検出アルゴリズムは、
（１）テキストを分割化。
（２）湾曲を近似。
（３）曲線のはめ合わせ向けにテキスト区分を選択。
（４）近似曲線の評価。
の４つのステップで要約される。
【００９９】
図２１は２つのテキスト領域に検出された曲線の例を図示する。
詳細において湾曲アルゴリズムは以下のようになる。
与えられたテキスト領域において、
（１）テキストをページ背景から分割化する（エッジを用いて強度閾値を計算）。
（２）領域を水平にn個の重なり合うブロックに分割。
（３）各ブロックにおいて、
閾値化された白黒画像のｘ軸上の投影を計算、
投影からテキスト区分候補を抽出、
１つを超える区分が存在する場合、幅および密度に基づき小さな隣接区分候補を融合、
テキストのフォントサイズおよび密度の推定を更新。
（４）テキストの最終推定を用いて抽出されたテキスト区分を精緻化。大き過ぎ、または小さ過ぎる区分を削除。
（５）テキスト区分の開始または終端点のいずれかのストリングを作成。第１ストリングはページ縁に最も近くなる。
（６）現在のストリング上の点を調べる。Apply x６４規則（少数より多数優先）を適用して外れ値を退ける。次に残りの点をベジェ曲線により近似。
（７）現在のストリングが曲線を確実に推定するに充分な点を有せず、または得られた曲線が急に曲がる場合、次のストリングを見つけ、すべてのストリングが調べられるまでステップ５‐７を繰り返す。
【０１００】
G．補正（ステップ３２０、図３）
図２２は歪み補正用に定義される台形領域を図示。本の背は水平の線CNで定義される。元の画像における背が完全に水平でない場合、元の画像を回転して図２２に示される回転画像を生成する。背が完全に水平の場合、回転画像は元の画像と一致する。補正領域の線は左および右の点LおよびRにより定義される。線LRの上方にあるページ領域は歪んでおらず、補正する必要がない。補正領域は台形AKNCにより表される。
強度補正は線LEおよびRJに沿って適用される２つの二次ベジェ曲線で定義される。締め付けおよび湾曲補正は各々線LEおよびRJまたは線LEおよびRJに平行する他の線に沿って適用される２つの二次ベジェ曲線で定義される。曲線が適用される線LE、RJ、および他の線はトリミングの矩形の外側に位置していて良い。点LおよびR、また線AK上のすべての点における補正量はゼロである。
【０１０１】
G．１  強度補正
補正される画像において補正領域内の任意のピクセルGにおける強度は元に画像における対応ピクセルの強度および線LEおよびRJに沿って適用される強度補正ベジェ曲線に依存する。強度曲線は強度補正量を回転画像における垂直点の座標の関数として定義する。
【０１０２】
2012243307.tif 000026
【０１０３】
ステップ１：線LEおよびRJに対する強度補正ベジェ曲線に基づき強度補正マップが計算される。強度補正マップは線LEおよびRJ上のすべてのピクセルに対する強度補正量を含む。あるいは、１つおきのピクセル、２つおきのピクセル、以下同様、に対し強度補正量を計算することができる。強度補正が歪み補正（締め付けおよび／または湾曲補正）と組み合わされる場合、強度マップは回転画像における線L’E’およびR’J’に沿って計算され、これらは補正画像における線LEおよびRJに対応する。
【０１０４】
2012243307.tif 000027
【０１０５】
2012243307.tif 000028
【０１０６】
2012243307.tif 000029
【０１０７】
2012243307.tif 000030
【０１０８】
2012243307.tif 000031
【０１０９】
発明はいくつかの具体的な実施形態と併せて説明されたが、当業者であれば前述の説明に照らしさらに多くの代替、改変、および変形が明らかになることは明白であろう。従って、本明細書に説明される発明は添付クレームの精神および範囲に入るこのような代替、改変、用途、および変形のすべてを包含することが意図される。
【符号の説明】
【０１１０】
２００…画像取り込み装置例、２０２…インターフェイス、２０４…ＲＡＭ、２０６…プロセッサー、２０８…ＲＯＭ、２１０…フラッシュＥＥＰＲＯＭ、２１２…取り込み機構、２１４…ディスプレイ。
【図２】
2012243307.tif 000032
【図３】
2012243307.tif 000033
【図６】
2012243307.tif 000034
【図７】
2012243307.tif 000035
【図８】
2012243307.tif 000036
【図９】
2012243307.tif 000037
【図１１】
2012243307.tif 000038
【図１３】
2012243307.tif 000039
【図１４】
2012243307.tif 000040
【図１６】
2012243307.tif 000041
【図１７】
2012243307.tif 000042
【図１８】
2012243307.tif 000043
【図２２】
2012243307.tif 000044
【図１】
2012243307.tif 000045
【図４】
2012243307.tif 000046
【図５】
2012243307.tif 000047
【図１０】
2012243307.tif 000048
【図１２】
2012243307.tif 000049
【図１５】
2012243307.tif 000050
【図１９】
2012243307.tif 000051
【図２０】
2012243307.tif 000052
【図２１】
2012243307.tif 000053