(57)【特許請求の範囲】
【請求項１】
処理ユニット、メモリ、前記処理ユニットに動作上接続されタレットが備えつけられたカメラを備える計算処理システムで実行される計算実行方法であって、
前記処理ユニットは、
ａ  抽出対象のテキストを含む文書が置かれた表面の第一の複数画像を取得するよう前記カメラを用いて前記表面をスキャンし、
ｂ  取得された前記表面の第一の複数画像を用いて前記表面のテキスト位置と前記テキストに対するスキャン方向を決定し、
ｃ  決定された前記表面のテキスト位置およびスキャン方向に基づき前記カメラを用いて第二の複数画像をキャプチャし、
ｄ  キャプチャされた前記第二の複数画像を用いてテキストを抽出する、
計算実行方法。
【請求項２】
前記処理ユニットは、前記スキャン及び前記キャプチャの間、前記タレットに前記カメラを動かさせるように構成されている、請求項１記載の計算実行方法。
【請求項３】
前記ａの第一の複数画像は、前記カメラを予め定められた経路に沿って複数の固定位置に動かすことにより取得され、前記第一の複数画像の各々は、前記画像が取得される複数の固定位置のうちの１つの固定位置に対応する、請求項１記載の計算実行方法。
【請求項４】
前記表面の第一の複数画像の画像各々について、特徴点及びテキスト応答マップを計算することを更に含む、請求項３記載の計算実行方法。
【請求項５】
前記テキスト応答マップの各々は確率ヒストグラムを用いて計算され、前記確率ヒストグラムは前記特徴点に基づき予め計算される、請求項４記載の計算実行方法。
【請求項６】
前記第一の複数画像に対応する複数の前記テキスト応答マップを、前記第一の複数画像に対応する複数の固定位置に基づき単一のテキスト応答マップに合成することを更に含む、請求項４記載の計算実行方法。
【請求項７】
前記単一のテキスト応答マップにおいてテキスト塊を検出することを更に含む、請求項６記載の計算実行方法。
【請求項８】
前記表面のテキスト位置として、前記検出したテキスト塊から少なくとも一つの大きな矩形状の塊を認識することを更に含む、請求項７記載の計算実行方法。
【請求項９】
前記ｃの第二の複数画像は、前記カメラを前記表面のテキスト位置およびスキャン方向に基づき定められた経路に沿って動かすことにより取得される、請求項１記載の計算実行方法。
【請求項１０】
前記表面の決定されたテキスト位置はテキスト塊の位置であり、前記定められた経路は対応するテキスト塊の矩形を通過する中央線である、請求項９記載の計算実行方法。
【請求項１１】
前記第二の複数画像の画像は互いに重複している、請求項９記載の計算実行方法。
【請求項１２】
第二の合成画像を得るよう前記第二の複数画像の画像を合成し結合することを更に含む、請求項１１記載の計算実行方法。
【請求項１３】
前記第二の合成画像のテキスト塊の境界周辺の線を適合し、消点を決定することを更に含む、請求項１２記載の計算実行方法。
【請求項１４】
計算されたホモグラフィに基づき前記第二の合成画像で外観補正を実行することを更に含む、請求項１２記載の計算実行方法。
【請求項１５】
前記外観補正がされた第二の合成画像で実行される光学文字認識を用いてテキストを抽出することを更に含む、請求項１４記載の計算実行方法。
【請求項１６】
ａ  抽出対象のテキストを含む文書が置かれた表面の第一の複数画像を取得するようカメラを用いて前記表面をスキャンし、
ｂ  取得された前記表面の第一の複数画像を用いて前記表面のテキスト位置と前記テキストに対するスキャン方向を決定し、
ｃ  決定された前記表面のテキスト位置およびスキャン方向に基づき前記カメラを用いて第二の複数画像をキャプチャし、
ｄ  キャプチャされた前記第二の複数画像を用いてテキストを抽出する、
処理を、コンピュータに実行させるためのプログラム。
【請求項１７】
処理ユニット、メモリ、前記処理ユニットに動作上接続されタレットが備えつけられたカメラを備える計算処理システムであって、前記メモリには、前記計算処理システムを実行させる計算実行命令のセットが記憶されており、
ａ  抽出対象のテキストを含む文書が置かれた表面の第一の複数画像を取得するよう前記カメラを用いて前記表面をスキャンする手段と、
ｂ  取得された前記表面の第一の複数画像を用いて前記表面のテキスト位置と前記テキストに対するスキャン方向を決定する手段と、
ｃ  決定された前記表面のテキスト位置およびスキャン方向に基づき前記カメラを用いて第二の複数画像をキャプチャする手段と、
ｄ  キャプチャされた前記第二の複数画像を用いてテキストを抽出する手段と、
を備えた計算処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
一般には画像処理技術、より詳細にはパンチルトサーボに設置されたオーバーヘッドカメラを用いてテーブル面の紙文書をキャプチャ・認識する方法、システム及びプログラムに関する。
【背景技術】
【０００２】
言語翻訳システムや文書リポジトリ、コンテンツインデキシングや検索システムを広く含む多くのコンテンツ処理アプリケーションは、自動文書検出・キャプチャに依存している。一方、これまでの自動文書検出・キャプチャシステムは、文書ページの小領域（例えばユーザが選択したワードやフレーズ）のみをキャプチャする。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】クラーク（Clark）ら、「消点を用いた３次元シーンにおける文字の外観表示補正（Rectifying perspective views of text in ３D scenes using vanishing points）」、パターン認識３６、２００３年、ｐ．２６７３−２６８６
【非特許文献２】サーカ（Csurka）ら、「キーポイントのバッグを用いたビジュアル分類（Visual categorization with bags of keypoints）」、コンピュータビジョンの統計学習におけるＥＣＣＶ国際ワークショップ、２００４年
【非特許文献３】ダンス（Dance）ら、「文書画像の外観決定（Perspective estimation for document images）」、ＳＰＩＥ文書認識ｉｘ、２００２年
【非特許文献４】ハートレイ（Hartley）ら、「コンピュータビジョンにおける複数の視点形状（Multiple View Geometry in Computer Vision）、ケンブリッジ大学プレス、２００３年
【非特許文献５】ワンボ（Hwangbo）ら、「６４３の都市の規則的なシーンを用いたシーン周期性を用いたビジュアル慣性ＵＡＶ属性決定（Visual-inertial uav attitude Estimation using urban 643 scene regularities）」、ロボティクスと自動化（ICRA）、２０１１年、ｐ．２４５１−２４５８
【非特許文献６】キム（Kim）ら、「ビデオベース文書追跡：物理及び電子デスクトップの統一（Video-based document tracking: Unifying your physical and electronic desktops）」、ＵＩＳＴプロセッシング、２００４年、ｐ.９９-１０７
【非特許文献７】リアオ（Liao）ら、「ファクト：ポータブルハイブリットペーパラップトップインターフェイスを介した文書を用いた詳細なクロスメディアインタラクション（FACT: fine-grained cross-media interaction with documents via a portable hybrid paper-laptop interface）」、ＡＣＭマルチメディア、２０１０年、ｐ.３６１-３７０
【非特許文献８】マタス（Matas）ら、「プログレッシブな確率的ハフ変換を用いた線のロバスト検知（Robust Detection of Lines Using the Progressive Probabilistic Hough Transform）」、ＣＶＩＵ ７８１、２０００年、ｐ.１１９-１３７
【非特許文献９】ムジャ（Muja）ら、「自動アルゴリズムコンフィギュレーションを用いた高速Ｋ近傍法（Fast Approximate Nearest Neighbors with  Automatic Algorithm Configuration）」、２００９年
【非特許文献１０】ニューマン（Newman）ら、「CamWorks:紙文書から効率良くキャプチャするビデオベースツール（CamWorks: a video-based tool for efficient capture from paper source documents）」、マルチメディアコンピューティングシステム国際会議（ＩＣＭＣＳ）、１９９９年、ｐ.６４７−６５３
【非特許文献１１】スゼリスキ（Szeliski）、「画像位置合わせと合成：チュートリアル（Image alignment and stitching: A Tutorial）」、コンピュータグラフィックス及びビジョンの基礎及びトレンド（Foundations and Trends in Computer Graphics and Vision）、Vol. 2、No. 1、２００６年１月、ｐ.１-１０４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、最新カメラによる十分な解像度でさえ画像品質は幾何歪みやノイズにより悩まされるおそれがあり、更に既存システムはテーブル面で文書ページとして検出されるべきものが他のオブジェクト（コーヒーマグ、ペン等）に分類され、現実の使用例において処理し損ねる。
【０００５】
本発明は、画像の認識・再構成の改善に必要な、新たなそして改善されたシステム、方法及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
本発明の第１の態様は、計算実行方法であって、処理ユニット、メモリ、前記処理ユニットに動作上接続されタレットが備えつけられたカメラを備える計算処理システムで実行される計算実行方法であって、前記処理ユニットは、ａ  表面の第一の複数画像を取得するよう前記カメラを用いて前記表面をスキャンし、ｂ  前記表面のテキスト位置の少なくとも一つを決定するよう取得した前記表面の第一の複数画像を用い、ｃ  決定された前記表面のテキスト位置に基づき前記カメラを用いて第二の複数画像をキャプチャし、ｄ  キャプチャされた前記第二の複数画像を用いてテキストを抽出する。
【０００７】
本発明の第２の態様は、第１の態様の計算実行方法であって、前記処理ユニットは、前記スキャン及び前記キャプチャの間、前記タレットに前記カメラを動かさせるように構成されている。
【０００８】
本発明の第３の態様は、第１の態様の計算実行方法であって、前記ａの第一の複数画像は、前記カメラを予め定められた経路に沿って複数の固定位置に動かすことにより取得され、前記第一の複数画像の画像の各々は、前記画像が取得される複数の固定位置のうちの１つの固定位置に対応する。
【０００９】
本発明の第４の態様は、第３の態様の計算実行方法であって、前記表面の第一の複数画像の画像各々について、特徴点及びテキスト応答マップを計算することを更に含む。
【００１０】
本発明の第５の態様は、第４の態様の計算実行方法であって、前記テキスト応答マップの各々は確率ヒストグラムを用いて計算され、前記確率ヒストグラムは前記特徴点に基づき予め計算される。
【００１１】
本発明の第６の態様は、第４の態様の計算実行方法であって、前記第一の複数画像に対応する複数の前記テキスト応答マップを、前記第一の複数画像に対応する複数の固定位置に基づき単一のテキスト応答マップに合成することを更に含む。
【００１２】
本発明の第７の態様は、第６の態様の計算実行方法であって、前記単一のテキスト応答マップにおいてテキスト塊を検出することを更に含む。
【００１３】
本発明の第８の態様は、第７の態様の計算実行方法であって、前記表面のテキスト位置として、前記検出したテキスト塊から少なくとも一つの大きな矩形状の塊を認識することを更に含む。
【００１４】
本発明の第９の態様は、第１の態様の計算実行方法であって、前記ｃの第二の複数画像は、前記カメラを予め定められた経路に沿って複数の固定位置に動かすことにより取得され、前記第二の複数画像の画像の各々は、前記画像が取得される複数の固定位置のうちの１つの固定位置に対応する。
【００１５】
本発明の第１０の態様は、第９の態様の計算実行方法であって、前記表面の決定されたテキスト位置はテキスト塊の位置であり、前記予め定められた経路は対応するテキスト塊の矩形を通過する中央線である。
【００１６】
本発明の第１１の態様は、第９の態様の計算実行方法であって、前記第二の複数画像の画像は互いに重複している。
【００１７】
本発明の第１２の態様は、第１１の態様の計算実行方法であって、第二の合成画像を得るよう前記第二の複数画像の画像を合成し結合することを更に含む。
【００１８】
本発明の第１３の態様は、第１２の態様の計算実行方法であって、前記第二の合成画像のテキスト塊の境界周辺の線を適合し、消点を決定することを更に含む。
【００１９】
本発明の第１４の態様は、第１２の態様の計算実行方法であって、計算されたホモグラフィに基づき前記第二の合成画像で外観補正を実行することを更に含む。
【００２０】
本発明の第１５の態様は、第１４の態様の計算実行方法であって、前記外観補正がされた第二の合成画像で実行される光学文字認識を用いてテキストを抽出することを更に含む。
【００２１】
本発明の第１６の態様は、プログラムであって、ａ  表面の第一の複数画像を取得するようカメラを用いて前記表面をスキャンし、ｂ  前記表面のテキスト位置の少なくとも一つを決定するよう取得した前記表面の第一の複数画像を用い、ｃ  決定された前記表面のテキスト位置に基づき前記カメラを用いて第二の複数画像をキャプチャし、ｄ  キャプチャされた前記第二の複数画像を用いてテキストを抽出する、処理を、コンピュータに実行させる。
【００２２】
本発明の第１７の態様は、計算処理システムであって、処理ユニット、メモリ、前記処理ユニットに動作上接続されタレットが備えつけられたカメラを備える計算処理システムであって、前記メモリには、前記計算処理システムを実行させる計算実行命令のセットが記憶されており、ａ  表面の第一の複数画像を取得するよう前記カメラを用いて前記表面をスキャンする手段と、ｂ  前記表面のテキスト位置の少なくとも一つを決定するよう取得した前記表面の第一の複数画像を用いる手段と、ｃ  決定された前記表面のテキスト位置に基づき前記カメラを用いて第二の複数画像をキャプチャする手段と、ｄ  キャプチャされた前記第二の複数画像を用いてテキストを抽出する手段と、を備える。
【００２３】
本発明に関する更なる態様は、以下の記載で部分的に説明され、また記載から部分的に明白であり、発明の実施により習得することができる。本発明の態様は、以下の詳細な記載及び特許請求の範囲において特に指摘された要素、及び種々の要素と態様との組み合わせによって実施及び達成することができる。
【００２４】
上述また以下の記載は単なる例示や説明であり、特許請求の範囲に記載の発明もしくはその適用をいかなる形であれ制限することを意図したものではないことを理解されたい。
【発明の効果】
【００２５】
画像の認識・再構成の改善が可能となる。
【図面の簡単な説明】
【００２６】
【図１】紙文書からコンテンツを検出しキャプチャするシステムの実施例を示す。
【図２Ａ】紙文書からコンテンツを検出しキャプチャするシステムの操作シーケンスの実施例を示す。
【図２Ｂ】図２Ａに示す処理のテキスト情報を含む文書ページの領域を検出する操作シーケンスのステップ例を示す。
【図２Ｃ】図２Ａに示す処理の各文書ページをキャプチャし再構成する操作シーケンスのステップ例を示す。
【図３Ａ】システムの実施例の操作を示す。
【図３Ｂ】システムの実施例の操作を示す。
【図３Ｃ】システムの実施例の操作を示す。
【図３Ｄ】システムの実施例の操作を示す。
【図３Ｅ】システムの実施例の操作を示す。
【図４Ａ】外観の歪み訂正方法例のいくつかの様態を示す。
【図４Ｂ】外観の歪み訂正方法例のいくつかの様態を示す。
【図４Ｃ】外観の歪み訂正方法例のいくつかの様態を示す。
【図４Ｄ】外観の歪み訂正方法例のいくつかの様態を示す。
【図５Ａ】乱雑なテーブル面から計算されたテキスト応答マップ例を示す。
【図５Ｂ】乱雑なテーブル面から計算されたテキスト応答マップ例を示す。
【図５Ｃ】乱雑なテーブル面から計算されたテキスト応答マップ例を示す。
【図６】紙文書からコンテンツを検出しキャプチャする計算処理システムの実施例を示す。
【発明を実施するための形態】
【００２７】
本明細書に組み込まれ本明細書の一部を構成する添付図面は、本発明の実施形態を例示し、説明と相俟って本発明の技術の原理の説明及び例示に供される。
【００２８】
以下の詳細な記述において、添付の図面を参照する。添付の図面において、同様の機能を有する構成要素は同様の参照符号を付されている。添付の図面は例示のためのものであり、限定を意図するものではない。特定の実施例及び実装は本発明の原理と矛盾しない。これらの実装は当業者が実施できる程度に十分詳細に記述され、またその他の実装が使用されてもよく、様々な構成要素の構造の変更及び／もしくは置き換えが本発明の範囲及び思想から逸脱することなく可能であることは理解されるだろう。したがって、以下の詳細な記述は、限定的に解釈されるべきではない。さらに、記述される本発明の異なる実施例は、汎用計算機上で稼働するソフトウェアの形態によっても、専用ハードウェアの形態によっても、ソフトウェア及びハードウェアの組み合わせによっても、実装可能である。
【００２９】
上述または従来技術に関連する他の課題に対応するために、ここに記述される一つもしくは複数の実施例は、光学文字認識（ＯＣＲ）を実行する十分に高品質な乱雑なテーブル面の紙文書を検出しキャプチャする実装システム、方法を含む。当業者により理解されている通り、４０９６×２１６０ピクセルの解像度を持つ４Ｋビデオカメラの利用を含む画像キャプチャハードウエアの最近の改善により、画像解像度の問題に取り組むことが可能となった。なぜなら、３００ｄｐｉの文書ページ（ＯＣＲでは標準の解像度）は上述の解像度の４Ｋビデオカメラのような３３００×２２５０ピクセルの解像度を持つ。
【００３０】
図１は、紙文書からコンテンツを検出しキャプチャするシステム１００の実施例を示す。一つもしくは複数の実施例において、ここに記述されるシステム１００は乱雑なワークテーブルまたは他の面上１０３にパンチルトロボティックタレット１０２が設置された高解像度カメラ（例えば４ｋ）１０１が組み込まれている。ロボティックタレット１０２は乱雑なデスク１０３のどこかに置かれた文書を探索するようカメラ１０１を動かす。文書１０４が検出されると、カメラ１０１は文書１０４の高解像度画像をキャプチャするため検出された文書ページに向かうようにロボティックタレット１０２に動かされる。高解像度画像は順に計算システム１０５で実行するＯＣＲエンジンが用いられ、キャプチャした文書コンテンツはテキストに変換される。
【００３１】
一もしくは複数の実施例において、カメラ１０１の画像解像度は少なくとも４０９６×２１６０ピクセルである。しかしながら当業者により理解されている通り、本実施例はカメラ１０１の特定の解像度に限定されるものではなく、他の適した解像度のカメラを用いてもよい。一もしくは複数の実施例において、カメラ１０１とデスク１０３中央との距離は、光学ＯＣＲパフォーマンスを達成するよう約２０ピクセルのエックスハイト（ｘ−ｈｅｉｇｈｔ：ｘ、ａ、ｒなどの高さ）を持つ文書１０４の取得画像が約３００ｄｐｉの解像度を達成するよう計算される。
【００３２】
図２Ａは、紙文書からコンテンツを検出しキャプチャするシステム１００の操作シーケンス２００の実施例を示す。最初に、ステップ２０１では、システム１００はテキスト情報を含む文書ページの領域を検出するため、計算システム１０５で実行する画像処理ソフトウエアアプリケーションと合わせてカメラ１０１を用いる。次に、ステップ２０２では、システム１００は、各々の文書ページをキャプチャし再構成するため、カメラ１０１と上述の画像処理ソフトウエアアプリケーションを用いる。ステップ２０３では、上述のＯＣＲ操作がキャプチャした画像情報で実行される。上述のＯＣＲ操作により出力されたテキストは、インデキシング・探索システム２０５、文書リポジトリ２０６、又は／もしくは、言語翻訳２０７を含むような様々なアプリケーション２０４で用いられる。
【００３３】
図２Ｂは、図２Ａに示す処理２００のテキスト情報を含む文書ページの領域を検出する上述のステップ２０１の操作シーケンスのステップ例を示す。一方、図２Ｃは、各文書ページをキャプチャし再構成するステップ２０２の操作例を示す。図３Ａから図３Ｅは、更にそれら処理ステップ間のシステム１００の操作を示す。最初に、ステップ２１１では、キャプチャ処理が開始される。その後システム１００は、予め定められた経路に沿ってカメラ１０１を移動させることによりデスク１０３をスキャンしながら、図２Ｂのステップ２１２に示すように、予め定められたグリット位置でカメラ１０１を止め、デスク１０３の表面の一部をキャプチャする。図３Ａは、開示プロセスのこの最初のステップの間にキャプチャされた１２（３×４）個のデスク画像３０１の例を示す。
【００３４】
一もしくは複数の実施例において、図２Ｂに示すステップ２１４では、キャプチャされたデスク画像３０１はその後、図３Ｂに示す、当該位置で記録された既知カメラ１０１の方位に基づく画像合成法と予め計算された（図２Ｂのステップ２１３）テキスト確率ヒストグラムを用いることで、テキスト応答マップ３０２に変換される。デスク１０３の紙文書１０４の位置を示すテキスト応答マップ３０２からテキスト塊３０３を検出することで、システム１００は自動的に図３Ｂに示されるスキャン方向３０４を生成する。また、カメラ１０１の視点を移動させ、図３Ｃに示す、フレーム３０８を連続してキャプチャする。一もしくは複数の実施例において、カメラ１０１は、フレームをキャプチャするときに動きを止める。キャプチャしたフレームは、図３Ｄに示す、当業者によく知られた従来の画像合成方法により共に結合される。更に、システム１００は、図３Ｅに示す、垂直なパラグラフのマージンに沿った２つの垂直線とテキスト線に沿った２つの平行線で形成された四角形を見つけることにより結合された文書画像の外観歪みを補正する。その後、補正された文書画像３０６がＯＣＲエンジンに提供される。
「紙文書検知」
【００３５】
一もしくは複数の実施例において、キャプチャした画像からテキスト領域３０３を検出するために、システム１００は、例えば非特許文献２といったアプローチによる画像分類を用いる。上述の実施例において、システム１００は、画像の複数のカテゴリを用いずに、画像のテキスト領域のみを決定する。一もしくは複数の実施例において、{テキストや非テキスト}といった分類を構築する代わりに、システム１００は、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ）のキーポイント特徴に基づきテキスト発生のヒストグラムを計算するよう構成し、新たな画像の確率マップを計算するためにそれを用いる。一もしくは複数の実施例において、この正規化したヒストグラムは、図２Ｂのステップ２１３に示す通り、オフラインで事前に計算される。
【００３６】
次に、一もしくは複数の実施例において、図３Ａに示すデスク画像３０１の各々１つは、それぞれの画像３０１で検出されたＳＩＦＴのキーポイントに基づき、重み付き二次元（２Ｄ）ガウシアンカーネル密度推定によって、図３Ｂに示すテキスト応答マップに変換される。一もしくは複数の実施例において、ガウシアンカーネルの重みは、対応する特徴記述子に関連するビジュアルワードの正規化頻度である。一もしくは複数の実施例において、システム１００は、クエリ特徴記述子が与えられた関連したビジュアルワードを見つけるために、例えば、非特許文献９といった高速Ｋ近傍法探索アルゴリズムを用いる。
【００３７】
一もしくは複数の実施例において、すべての計算されたテキスト応答マップ３０２は、図２Ｂのステップ２１５に示す通り、カメラ１０１のパンチルトパラメタに基づき、関連するカメラ１０１の方位によって誘発されたホモグラフィに基づき、ある特定の画像に関するデスク１０３の画像各々について、相対的な移動を決定することにより共に合成される。従来の特徴点は、視点に至る特徴点の多数が検知されマッチングすることを当てにした合成アルゴリズムに基づいていた。あいにく同種のデスク表面でのロバスト点の検出やマッチングは挑戦的であり、検出可能な点の密度は低くなるであろう。
【００３８】
一もしくは複数の実施例において、最終的なバイナリマップは、合成された応答マップを閾値処理することにより計算され、図３Ｂに示されるようなモルフォロジカルフィルタを適用する。一もしくは複数の実施例において、図３Ｂに示されるバイナリマップ上のテキスト塊３０３は、図２Ｂのステップ２１６及びステップ２１７に示す通り、接続されたラべリング要素によって検出される（図３Ｂに示される矩形３０７）。各々のテキスト塊３０３はデスク１０３の紙文書１０４の候補位置を示し、システム１００はテキスト塊３０３の上下中央を選択する（図３Ｂの円３０５）ことにより紙文書１０４上のカメラ１０１のスキャン経路を定め、図２Ｃのステップ２２２に示す通り２点３０５（図３Ｂの矢印３０４）を接合する線上のカメラ１０１のキャプチャ点のリストを生成する。図２Ｃのステップ２２１に示す通り各々の候補文書ページの塊について上記処理を実行する。各々の点３０５について、システム１００は、マップ上（図３Ｂの円３０６）の整列した画像タイルの位置にある既知の近傍データ点を内挿（外挿）することにより対応するパン及びチルトの値（カメラ１０１の方向）を決定する。最後に、図２Ｃのステップ２２３の点リストに添って、一連の画像をキャプチャし、システムは文書画像の再構成を進める。図３Ｃは、スキャン経路３０４に沿った点でカメラ１０１によりキャプチャした画像のセット例を示す。
「文書画像の再構成」
【００３９】
次に、一もしくは複数の実施例において、図２Ｃのステップ２２４で、カメラ１０１によってキャプチャされた複数の文書画像は、一またはよく知られた画像合成方法、例えば非特許文献１１により共に合成される。一もしくは複数の実施例において、すべての画像は、ある特定のフレームに対応する各フレームに対して、対応する移動を決定することによりまず位置合わせされる。画像はテキスト領域に十分なテキスチャを含むため、システム１００は、Ｅｑｎ．１を用いる代わりにホモグラフィに基づく特徴点を用いる。各フレームのピクセルを参照画像のピクセルグリッドに持ち込むときに内挿が必要であるように、ホモグラフィはサブピクセルの精度を用いてピクセルの相対移動を生成する。参照画像の同じグリットのピクセル位置で位置合わせされたピクセルは、単純な計算手段によって結合される。最後に、一もしくは複数の実施例において、ぼかしを取除くために先鋭化フィルタが結合画像に適用される。
「外観調整」
【００４０】
当業者に理解されている通り、上述のような再構成された画像は、図４Ａに示す通りまだ外観歪みを持っている。それ故、システム１００はそれを補正し、ＯＣＲエンジンに与えられるようテキストの前方平行視点に復元するよう構成される。一実施例の補正方法は、テキスト線に沿った２つの平行線と垂直な段落の余白に沿った２つの垂直線とそれに対応するターゲット四角形（直立な矩形）によって形成された四角形のホモグラフィを見つける。類似の方法は、非特許文献１に記述されている。
【００４１】
一もしくは複数の実施例において、システム１００は最初に、例えば、非特許文献８に記載の確率的ハフ変換アルゴリズムによってテキスト線に沿った線セグメントを検出する。紙面のテキスト線は互いに平行であるため、それらの画像面への投影は、一つの消点（ｖａｎｉｓｈｉｎｇ  ｐｏｉｎｔ）に収束する。システム１００は、例えば、非特許文献５に記載のＲＡＮＳＡＣベースの方法を用いて消点を決定する。このように決定された消点は、次に、図２Ｃのステップ２２５に示す通り、元の四角形の上下境界線を取得するために用いられる。
【００４２】
また、一もしくは複数の実施例において、システム１００は第二の消点を得るため垂直な段落のマージンを用いる。ハフ変換によって検出された線セグメントの最後の点は、図４Ｂの線４０１及び線４０２で示す通り、線フィティングアルゴリズムに基づくＲＡＮＳＡＣを用いて２つの垂直線を決定するのに用いられる。２つの垂直線の交差が第二の主要な消点である。最後に、一もしくは複数の実施例において、システム１００は更に、図４Ｃの矩形４０３に示す通り、紙文書の検出に関する上述と同様の方法を用いてテキスト塊周辺の回転した矩形の中心を見つけるよう構成される。そして、元の四角形の上下側について、回転した矩形の上下側の線セグメントをその中心点周辺で回転させ、中心点から関連した消点方向へ位置合わせさせる。元の四角形の左右側について、システムは、図４Ｃの四角形４０４に示す通り、適合した２つの垂直線を使うよう構成される。
【００４３】
一もしくは複数の実施例において、対象の四角形は、スペース上のテーブル表面での元の四角形の逆投影の幅／高さの割合を用いてシステム１００によって決定される。これにより、テーブル表面と逆投影の線頂点間の交差点を見つけることで元の四角形の４つの頂点の３次元座標を復元することになる。
【００４４】
一もしくは複数の実施例において、４つの頂点の３次元座標を計算した後、上下側の平均長と平面上で逆投影された四角形の左右側の平均長との比率としてアスペクト比が決定される。幅は予め決定されたピクセル数で固定され、高さは予め計算されたアスペクト比を用いて計算する。元の四角形に対応する４つの頂点と対象の四角形が計算された後に、ホモグラフィは、図２Ｃのステップ２２６に示す通り、例えば非特許文献４の直接線形変換アルゴリズムを用いて取得する。補正された外観歪みを持つ画像例が図４Ｄに示される。一もしくは複数の実施例において、テキストの確率ヒストグラムは、ＵＮＬＶ−ＩＳＲ  ＯＣＲデータセットの約８００のスキャンされた文書画像から抽出された８００ＫのＳＩＦＴ特徴を用いて学習される。図５Ａ、図５Ｂ、図５Ｃは、乱雑なデスク画像から計算されたテキスト応答マップ例を示す。一もしくは複数の実施例において、予め定められたサイズよりも大きいテキスト塊を認識するよう構成されたテキスト塊のサイズフィルター適用後のままのテキスト塊５０１だけが、図５Ａ、５Ｂ、５Ｃに示す通り、更なる処理のために選択される。
「計算機プラットフォーム例」
【００４５】
図６は、紙文書からコンテンツを検知しキャプチャする計算処理システム６００の実施例を示す。一つもしくは複数の実施例において、計算処理システム６００は、当業者によく知られているデスクトップコンピュータのフォームファクタ内で実装されてもよい。変形例において、計算処理システム６００は、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、スマートフォンをベースに実装されてもよい。
【００４６】
計算処理システム６００はデータ・バス６０４あるいは計算処理システム６００の様々なハードウェアの間で情報を伝達するためのその他の相互接続機構もしくは通信機構を含んでもよい。中央処理ユニット（ＣＰＵあるいは単にプロセッサ）６０１はデータ・バス６０４に接続され、情報を処理し、その他の計算処理タスク及び制御タスクを実行する。計算処理システム６００は、ランダム・アクセス・メモリ（ＲＡＭ）もしくはその他の動的記憶装置などのメモリ６１２を含む。メモリ６１２は、データ・バス６０４に接続され、様々な情報及びプロセッサ６０１によって実行される命令を記憶する。メモリ６１２は、磁気ディスク、光ディスク、半導体フラッシュ・メモリ・デバイス、もしくは、その他の不揮発性記憶デバイスなどの永久記憶装置を含んでいてもよい。
【００４７】
一つもしくは複数の実施例において、プロセッサ６０１によって命令を実行する間、一時的な変数もしくはその他の中間的な情報を記憶するために、メモリ６１２が使用されてもよい。計算処理システム６００は、さらに、リード・オンリー・メモリ（ＲＯＭもしくはＥＰＲＯＭ）（などのファームウェアストレージ）６０２もしくはその他の半導体記憶装置を含んでもよいが、含むか否かは任意である。リード・オンリー・メモリ（ＲＯＭもしくはＥＰＲＯＭ）６０２もしくはその他の半導体記憶装置は、データ・バス６０４に接続され、計算処理システム６００の操作に必要なファームウェア、ＢＩＯＳ(basic input-output system)、計算処理システム６００の様々な構成パラメータなどの静的情報及びプロセッサ６０１のための命令を記憶する。
【００４８】
一つもしくは複数の実施例において、計算処理システム６００は、ディスプレイ６０９を備えていてもよく、ディスプレイ６０９は、データ・バス６０４に接続され、計算処理システム６００のユーザに、上述したキャプチャしたテキスト情報のような様々な情報を表示する。変形例において、ディスプレイ６０９は、（図示しない）グラフィック・コントローラ及び／もしくはグラフィック・プロセッサと関連付けられていてもよい。ディスプレイ６０９は、例えば、当業者にはよく知られているＴＦＴ(thin-film transistor)技術または有機ＬＥＤ(organic light emitting diode)技術を用いたＬＣＤ(liquid crystal display)として実装されていてもよい。異なる実施例において、ディスプレイ６０９は、計算処理システム６００のその他の構成要素と同じ一般的な筐体に含まれていてもよい。変形例において、ディスプレイ６０９は、テーブルまたはデスクの上といった、筐体の外側に配置されていてもよい。カメラタレット６０３（図１の要素１０２）は上述の通りカメラ１０１を回転／移動するよう構成された様々なモータ／アクチュエータに接続されてもよい。カメラタレット６０３はまたデータ・バス６０４に接続される。
【００４９】
一つもしくは複数の実施例において、計算処理システム６００は、ディスプレイ６０９上のカーソルを制御するために、またコマンドの選択指示をプロセッサ６０１に送り方向情報を通信するための、マウスやトラックボール、タッチパッドもしくはカーソル方向キーなどの、マウス／ポインティングデバイスなどのカーソル制御装置を含む一つもしくは複数の入力デバイスを備えてもよい。この入力デバイスは、典型的には、平面上の位置を特定するために、第１の軸（例えばｘ）及び第２の軸（例えばｙ）という２つの軸における２つの自由度を有してよい。
【００５０】
計算処理システム６００は、さらに、上述したデスクや文書画像を取得するために、キーボード６０６と共に高解像度カメラ６１１を備えてもよく、それらは、参加者がプロセッサ６０１に命令する（ジェスチャを含む）ことと共に、画像やビデオに限らない情報を通信するためにデータ・バス６０４に接続されていてもよい。
【００５１】
一つもしくは複数の実施例において、計算処理システム６００は、データ・バス６０４に接続されているネットワーク・アダプタ６０５などの通信インターフェイスをさらに備えていてもよい。ネットワーク・アダプタ６０５は、ローカルエリアネットワーク（LAN）及び／もしくはＩＳＤＮアダプタ６０７の少なくとも一つを用いて、計算処理システム６００とインターネット６０８との間での通信を確立することができる。ネットワーク・アダプタ６０５は、計算処理システム６００とインターネット６０８との間で、双方向データ通信を提供してもよい。計算処理システム６００のローカルエリアネットワーク・アダプタ６０７は、統合デジタルサービス網（ISDN）カードあるいはモデムであってよく、これにより、インターネットサービスプロバイダのハードウェア（不図示）を用いてインターネット６０８に接続する、電話回線とのデータ通信を確立する。他の例として、ネットワーク・アダプタ６０５は、ローカルエリアネットワークのインターフェイス／カード（LAN  NIC）であってよく、これにより、インターネット６０８と互換性を有する通信を提供してよい。ある実施例において、ローカルエリアネットワーク（LAN）アダプタ６０７は、様々なタイプのデジタルデータストリームを伝送するための電気的もしくは電磁的な信号を送受信する。
【００５２】
一つもしくは複数の実施例において、一般的に、インターネット６０８は、一つもしくは複数のサブ−ネットワークを介して、計算処理システム６００に類似するシステムを用いて実行されてもよい遠隔ビデオ会議システムのようなその他のネットワーク資源へのデータ通信を提供する。したがって、計算処理システム６００は、遠隔メディア・サーバ、ウェブ・サーバ、その他のコンテンツ・サービス、その他のネットワーク・データ・ストレージ資源などの、インターネット６０８のいずれかの位置に置かれている様々なネットワーク資源にアクセスすることができる。一つもしくは複数の実施例において、計算処理システム６００はメッセージ、メディア、及び、アプリケーション・プログラム・コードを含むその他のデータを、ネットワーク・アダプタ６０５によって、インターネット６０８を含む様々なネットワークを介して、送受信する。例示的なインターネットにおいて、計算処理システム６００がネットワーク・クライアントとして動作する場合、計算処理システム６００上で稼働しているアプリケーション・プログラムのコードもしくはデータを計算処理システム６００は要求することができる。同様に、計算処理システム６００は、その他のネットワーク資源へ様々なデータもしくは計算処理コードを送信することができる。
【００５３】
一つもしくは複数の実施例において、ここに記述される機能は、メモリ６１２に含まれる一つもしくは複数の命令の一つもしくは複数のシーケンスを実行するプロセッサ６０１に応じて、計算処理システム６００によって実装される。命令は、他のコンピュータ読取可能媒体からメモリ６１２に読み込まれてもよい。メモリ６１２に含まれている命令のシーケンスを実行することによって、ここに記述されている様々な処理のステップがプロセッサ６０１によって実行される。変形例において、本発明の実施例を実装するために、ソフトウェアの命令に代えて、もしくは、ソフトウェアの命令と組み合わせて、ハードウェアによって実現されている回路が使用されてもよい。すなわち、本発明の実施例は、ハードウェア回路及びソフトウェアの任意の特定の組み合わせに限定されるものではない。
【００５４】
ここで使用される用語「コンピュータ読取可能媒体」は、プロセッサ６０１へ実行するための命令を提供する際に関与する任意の媒体であってよい。コンピュータ読取可能媒体は、機械読取可能媒体の単なる一例であり、ここに記述される方法及び／もしくは技術の何れかを実装するための命令を搬送することができる。このような媒体は、不揮発性媒体、揮発性媒体などを含むが、これらに限定されない、多くの形態を採ることができる。
【００５５】
非一時コンピュータ読取可能媒体の一般的な形態は、例えば、フロッピー（登録商標）・ディスク、フレキシブル・ディスク、ハード・ディスク、磁気テープ、もしくは、任意のその他の磁気媒体、ＣＤ−ＲＯＭ、任意のその他の光媒体、パンチカード、紙テープ、孔パターンを有する任意のその他の物理的な媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュ・ドライブ、メモリ・カード、任意のその他のメモリ・チップ、もしくはカートリッジ、もしくは、コンピュータがそこから読み取ることができる任意のその他の媒体を含む。コンピュータ読取可能媒体の様々な形態は、プロセッサ６０１への、一つもしくは複数の実行する命令の一つもしくは複数のシーケンスの搬送に関連してもよい。例えば、命令は、遠隔コンピュータから磁気ディスクにまず搬送されてもよい。代替的に、遠隔コンピュータは、遠隔コンピュータのダイナミック・メモリに命令をロードし、インターネット９２０によって指示を送信してもよい。詳細には、コンピュータの命令は、当業者にはよく知られている様々なネットワーク・データ通信プロトコルを用いて、インターネット９２０を介して、遠隔コンピュータから計算処理システム６００のメモリ６１２へ、ダウンロードされてもよい。
【００５６】
一つもしくは複数の実施例において、計算処理システム６００のメモリ６１２は、以下のソフトウェア・プログラム、アプリケーション、もしくは、モジュールのいずれかを記憶してもよい。
１．オペレーティング・システム（ＯＳ）６１３。オペレーティング・システム（ＯＳ）６１３は、基本システム・サービスを実装し、計算処理システム６００の様々なハードウェア構成要素を管理する携帯型装置用オペレーティング・システムであってもよい。
【００５７】
２．ネットワークコミュニケーションモジュール６１４。ネットワークコミュニケーションモジュール６１４は、例えば計算機システム６００とネットワーク・アダプタ６０５を用いてインターネット６０８の様々なネットワークエントリ間のネットワーク接続を確立するよう一つもしくは複数のネットワークプロトコルスタックを実装してもよい。
【００５８】
３．アプリケーション６１５。アプリケーション６１５は、例えば、計算処理システム６００のプロセッサ６０１によって実行される一連のソフトウェアを含んでよく、これによって、計算処理システム６００は、予め定められたある処理、例えば、ここに記述される技術を用いてカメラ６１１を用いて文書とデスクの画像を取得してもよい。一つもしくは複数の実施例において、アプリケーション６１５は、ここに記述される機能を組み入れた独創的なテキスト検出及びキャプチャアプリケーション６１６を含んでもよい。
【００５９】
一つもしくは複数の実施例において、独創的なテキスト検出及びキャプチャアプリケーション６１６は、図２Ｂに示されたステップ２０１に関連する文書ページのテキスト領域を検出し紙文書１０４とデスク１０３の表面画像をキャプチャするテキスト検出モジュール６１７を含んでもよい。また、独創的なテキスト検出及びキャプチャアプリケーション６１６は図２Ｃに示されたステップ２０２に関連する文書ページのキャプチャ及び再構成を実行する文書ページ（テキスト）キャプチャ再構成モジュール６１８を含んでもよい。更には、キャプチャしたページ画像をテキストに変換するＯＣＲモジュール６１９が与えられてもよい。任意で、システム６００のメモリ６１２に展開される他のアプリケーションに、ＯＣＲモジュール６１９により生成されたテキストを受け取ってもよく、インデックスや検索システム、文書リポジトリ／言語翻訳アプリケーション（図示せず）が含まれてもよい。
【００６０】
最後に、ここに記述される処理及び技術は特定の装置の何れかに固有に関連するものではなく、適切に組み合わせられた構成要素の何れかによって実装されてもよいことが理解されるべきである。さらに、様々な種類の汎用目的装置が本明細書に記載される技術に従って使用されてもよい。本明細書に記載される方法ステップを実行するために専用装置を構築することは有利であるかもしれない。本発明は、特定の例示に関連して記述されているが、この記述は、限定ではなく、例示を意図している。多くの異なるハードウェア、ソフトウェア及びファームウェアの組み合わせが本発明を実行するために適切であることは、当業者には明らかである。例えば、ソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ−Ｃ、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）、現在知られているもしくは今後開発されるプログラミング言語もしくはスクリプト言語の何れかなどの様々なプログラミング言語もしくは記述言語によって実装されてもよい。
【００６１】
さらに、本明細書に記載された詳細及び実行を考慮すれば、本発明のその他の実装が当業者には明らかであろう。記述された実装の様々な態様及び／もしくは構成要素は、紙文書からコンテンツを検出しキャプチャするシステム及び方法を個別に、もしくは、任意に組み合わせて使用することができる。詳細及び例は例示としてのみ考慮されることを意図し、本発明の真の範囲及び思想は特許請求の範囲の記載によって示される。
【符号の説明】
【００６２】
１００  システム
１０１  カメラ
１０２  ロボティックタレット
１０３  乱雑なデスク
１０４  文書
１０５  コンピュータシステム
【図１】
0006766332.tif 000002
【図２Ａ】
0006766332.tif 000003
【図２Ｂ】
0006766332.tif 000004
【図２Ｃ】
0006766332.tif 000005
【図３Ａ】
0006766332.tif 000006
【図３Ｂ】
0006766332.tif 000007
【図３Ｃ】
0006766332.tif 000008
【図３Ｄ】
0006766332.tif 000009
【図３Ｅ】
0006766332.tif 000010
【図４Ａ】
0006766332.tif 000011
【図４Ｂ】
0006766332.tif 000012
【図４Ｃ】
0006766332.tif 000013
【図４Ｄ】
0006766332.tif 000014
【図５Ａ】
0006766332.tif 000015
【図５Ｂ】
0006766332.tif 000016
【図５Ｃ】
0006766332.tif 000017
【図６】
0006766332.tif 000018