(57)【要約】【課題】インタラクティブ文書スキャンのためのシステム及び方法を提供する。【解決手段】画像取得装置（１０４）は、ユーザが相対的にこの画像取得装置の前で文書のページを通過させるとき、ページの画像のシーケンスを記録する。画像処理装置（１０８）は、記録された画像のシーケンスを受信し、文書の各ページの画像のサブシーケンスを検出し、各サブシーケンスから各ページの最良画像を選択して、文書のディジタルコピーを作成する。【選択図】図１
2010187357.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが画像取得装置の前で少なくとも文書の一ページを相対的に通過させるとき、前記文書の少なくとも一ページの画像のシーケンスを記録する画像取得装置と、
前記記録された画像のシーケンスを受信して前記文書の各ページの画像のサブシーケンスを検出し、前記画像の各サブシーケンスから各ページの最良画像を選択して前記文書のディジタルコピーを作成する画像処理装置と、
を含む、文書をスキャンするためのシステム。
【請求項２】
前記画像処理装置が、更に、背景と一致する画像境界ピクセルに基づいて前記画像を見いだし、前記ページの角地点を決定することによって、前記画像のサブシーケンスから前記各ページの最良画像を選択する、請求項１に記載のシステム。
【請求項３】
前記画像処理装置が、更に、前記文書の各ページの最良画像に対して透視補正を実行する、請求項２に記載のシステム。
【請求項４】
前記画像処理装置が、更に、前記文書の各ページの最良画像を切り取って回転する、請求項３に記載のシステム。
【請求項５】
前記文書の画像のシーケンスが記録されるとき前記画像取得装置が面するカラー背景板を更に含む、請求項４に記載のシステム。
【請求項６】
前記画像処理装置が、更に、前記文書の各ページからの最良画像に対して画像ブレ除去を実行する、請求項５に記載のシステム。
【請求項７】
前記画像処理装置が、更に、前記文書の各ページからの最良画像に対してイメージクリーンアップを実行する、請求項６に記載のシステム。
【請求項８】
ａ）ユーザが画像取得装置の前で文書の少なくとも一ページを通過させるとき、前記画像取得装置が前記文書の少なくとも一ページの画像のシーケンスを記録し、
ｂ）画像処理装置が前記文書の各ページに対し画像のサブシーケンスを検出し、
ｃ）前記画像処理装置が前記画像のサブシーケンスから前記文書の各ページの最良画像を選択し、
ｄ）前記画像処理装置が前記文書の各ページの最良画像を一つのディジタル文書に結合することによって前記文書のディジタルコピーを作成する、
文書をスキャンするための方法。
【請求項９】
更に、前記画像処理装置が、前記文書の各ページの最良画像を決定するために、前記画像のサブシーケンスにおいて各画像上でページの端を検出することを含む、請求項８に記載の方法。
【請求項１０】
更に、前記画像処理装置が前記文書の各ページの最良画像に対して透視補正を実行することを含む、請求項９に記載の方法。
【請求項１１】
更に、前記画像処理装置が前記文書の各ページの最良画像を切り取って回転させることを含む、請求項１０に記載の方法。
【請求項１２】
更に、前記画像取得装置がカラー背景板に面しながら前記文書の画像のシーケンスを記録することを含む、請求項１１に記載の方法。
【請求項１３】
更に、前記画像処理装置が前記文書の各ページからの最良画像に対して画像ブレ除去を実行することを含む、請求項１２に記載の方法。
【請求項１４】
更に、前記画像処理装置が前記文書の各ページからの最良画像に対してイメージクリーンアップを実行することを含む、請求項１３に記載の方法。
【請求項１５】
ａ）画像処理装置がスキャン中に動作によってブレが生じた対象物のスキャン画像のシーケンスを受信し、
ｂ）前記画像処理装置が前記画像間での前記対象物の推定される動作を決定するために前記シーケンスにおける少なくとも２つの画像のエッジ特徴を検出し、
ｃ）前記画像処理装置がスキャンを実行した画像取得装置のバースト率を受信し、
ｄ）前記画像処理装置が前記スキャンを実行した前記画像取得装置のシャッター速度を受信し、
ｅ）前記画像処理装置が前記推定された動作、前記バースト率、及び前記シャッター速度を使用して少なくとも１つのスキャン画像のピクセル−ブレ幅として算出されるモーションブラーを推定し、
ｆ）前記画像処理装置が前記少なくとも１つの画像における前記対象物の位置を修正しブレを削除するために、前記ピクセル−ブレ幅を使用して前記対象物の前記少なくとも１つの画像を強調させる、
スキャン画像の画像強調のための方法。
【請求項１６】
更に、前記画像のシーケンスにおいて少なくとも３つの画像間で前記対象物の推定される動作を決定することによって、前記画像間の前記対象物の動作加速度を推定することを含む、請求項１５に記載の方法。
【請求項１７】
ユーザが画像取得装置の前で文書の少なくとも一ページを通過させるとき前記文書の少なくとも一ページの画像のシーケンスを記録する画像取得装置と接続するコンピュータに、
ａ）前記記録された画像のシーケンスを受信し、
ｂ）前記文書の各ページに対し画像のサブシーケンスを検出し、
ｃ）前記画像のサブシーケンスから前記文書の各ページの最良画像を選択し、
ｄ）前記文書の各ページの最良画像を一つのディジタル文書に結合することによって前記文書のディジタルコピーを作成する、
処理を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書をスキャンするためのシステム、方法及びプログラム、並びにスキャン画像の画像強調のための方法に係り、ユーザが画像取得装置の前で文書を通過させるときに画像のシーケンスを記録し、その後、これら画像を処理して文書のディジタル画像を供給することに関する。
【背景技術】
【０００２】
共通のシステム上で文書をスキャンする従来の方法は単調で扱いにくいことがあり、ディジタルカメラに基づく代替システム及び方法が長年にわたって開発されてきた。しかしながら、こうしたシステムのほとんどは、依然としてユーザに、文書ページをめくったり変えたりすることとシステムを作動することとの間で前後に移動することを要求する。
【０００３】
現在、事務所及び住宅用に数種のスキャナが市販されている。高品質で高価な大型オフィス・スキャナ／プリンタ（例えば、Ｘｅｒｏｘ ＤｏｃｕＣｏｌｏｒ、ゼロックス・コーポレーション、http://www.xerox.com（平成２０年７月１７日検索））がある。低コストで、限定されたタイプのスキャン・タスクを取り扱うことができる住宅用及びホーム・オフィス用スキャナ／プリンタ（例えば、Ｃａｎｏｎ  ＰＩＸＭＡ、キャノン株式会社、http://www.canon.com（平成２０年７月１７日検索））がある。一度に数枚のシートをスキャンするのに都合のよい可動スキャナ（例えば、Ｖｉｓｉｏｎｅｅｒ Ｒｏａｄｗａｒｒｉｏｒ、ビジオニア社、http://www.visioneer.com（平成２０年７月１７日検索））がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
スキャンプロセスの間文書を処理する観点から、上述のようなタイプのスキャナは、利用に際して改善が必要な問題を有する。大型オフィス・スキャナ及び一部のホーム・オフィス用スキャナは、複数ページ及び複式文書を処理するための自動文書供給装置を有する。しかしながら、文書は手動で分解しなければならず（例えば、ホッチキスの針の取り外し）、おそらくはスキャンした後に再び元に戻さなければならない。文書の用紙は紙詰まりを回避するために良い形状になっていなければならず、古い文書の中には正しく揃えられないものもある。本やマニュアルをスキャンすることは困難である。ビジネスアイテム、即ち、レシート、名刺、スケジュール表をスキャンすることは、困難であったり退屈であったりすることがある。同様の問題は、パーソナルアイテム、即ち、ノートブックのページ、レター、挨拶状、児童の図工作品などをスキャンすることに対しても生じることがある。
【０００５】
可動スキャナに関して、文書処理システムは、オフィス・スキャナと比較して、可動スキャナの速度及び品質が制限されていることは言うまでもなく、１ページずつ細いスリットにはめ込まなければならないように、より一層制限されている。
【０００６】
こうした問題を考えて、文書の用紙をスキャンしディジタル化するために次善策及び他の方法を開発されてきた。よく知られている１つの方法は、ディジタルカメラを使用してそれらの文書の写真をとることである。この方法をサポートするための業務がある（例えば、ＳｃａｎＲ、スキャンアール社、http://www.scanr.com（平成２０年７月１７日検索））。いくつかの文書のあちこちをディジタル化するためにはうまくいくが、一方、ユーザが文書ページをめくったり変えたりすることとカメラを作動することとの間で前後に移動しなければならないので、枚数が多い文書で退屈になる可能性がある。
【０００７】
そのため、多種多様な文書タイプをスキャンするための方法を開発することが求められている。
【課題を解決するための手段】
【０００８】
本発明は、画像取得装置及び画像処理を使用して文書のスキャンをするためのシステム及び方法に関し、ユーザが画像取得装置の前で文書のページを動かすとき、ディジタルカメラやビデオカメラなどの画像取得装置が画像のシーケンスを記録する。画像のサブシーケンスは、ユーザによって画像取得装置に提示されるそれぞれのページごとに記録され、その後に画像処理装置がページ検出及び画像強調を含むモーションベースの画像解析を実行する。
【０００９】
本発明の第１の態様によれば、ユーザが画像取得装置の前で少なくとも文書の一ページを相対的に通過させるとき、前記文書の少なくとも一ページの画像のシーケンスを記録する画像取得装置と、前記記録された画像のシーケンスを受信して前記文書の各ページの画像のサブシーケンスを検出し、前記画像の各サブシーケンスから各ページの最良画像を選択して前記文書のディジタルコピーを作成する画像処理装置と、を含む、文書をスキャンするためのシステムが提供される。
【００１０】
本発明の第２の態様によれば、第１の態様において、前記画像処理装置が、更に、背景と一致する画像境界ピクセルに基づいて前記画像を見いだし、前記ページの角地点を決定することによって、前記画像のサブシーケンスから前記各ページの最良画像を選択してもよい。
【００１１】
本発明の第３の態様によれば、第２の態様において、前記画像処理装置が、更に、前記文書の各ページの最良画像に対して透視補正を実行してもよい。
【００１２】
本発明の第４の態様によれば、第３の態様において、前記画像処理装置が、更に、前記文書の各ページの最良画像を切り取って回転してもよい。
【００１３】
本発明の第５の態様によれば、第４の態様において、前記文書の画像のシーケンスが記録されるとき前記画像取得装置が面するカラー背景板を更に含んでもよい。
【００１４】
本発明の第６の態様によれば、第５の態様において、前記画像処理装置が、更に、前記文書の各ページからの最良画像に対して画像ブレ除去を実行してもよい。
【００１５】
本発明の第７の態様によれば、第６の態様において、前記画像処理装置が、更に、前記文書の各ページからの最良画像に対してイメージクリーンアップを実行してもよい。
【００１６】
本発明の第８の態様によれば、ａ）ユーザが画像取得装置の前で文書の少なくとも一ページを通過させるとき、前記画像取得装置が前記文書の少なくとも一ページの画像のシーケンスを記録し、ｂ）画像処理装置が前記文書の各ページに対し画像のサブシーケンスを検出し、ｃ）前記画像処理装置が前記画像のサブシーケンスから前記文書の各ページの最良画像を選択し、ｄ）前記画像処理装置が前記文書の各ページの最良画像を一つのディジタル文書に結合することによって前記文書のディジタルコピーを作成する、文書をスキャンするための方法を提供する。
【００１７】
本発明の第９の態様によれば、第８の態様において、更に、前記画像処理装置が、前記文書の各ページの最良画像を決定するために、前記画像のサブシーケンスにおいて各画像上でページの端を検出することを含んでもよい。
【００１８】
本発明の第１０の態様によれば、第９の態様において、更に、前記画像処理装置が前記文書の各ページの最良画像に対して透視補正を実行することを含んでもよい。
【００１９】
本発明の第１１の態様によれば、第１０の態様において、更に、前記画像処理装置が前記文書の各ページの最良画像を切り取って回転させることを含んでもよい。
【００２０】
本発明の第１２の態様によれば、第１１の態様において、更に、前記画像取得装置がカラー背景板に面しながら前記文書の画像のシーケンスを記録することを含んでもよい。
【００２１】
本発明の第１３の態様によれば、第１２の態様において、更に、前記画像処理装置が前記文書の各ページからの最良画像に対して画像ブレ除去を実行することを含んでもよい。
【００２２】
本発明の第１４の態様によれば、第１３の態様において、更に、前記画像処理装置が前記文書の各ページからの最良画像に対してイメージクリーンアップを実行することを含んでもよい。
【００２３】
本発明の第１５の態様によれば、ａ）画像処理装置がスキャン中に動作によってブレが生じた対象物のスキャン画像のシーケンスを受信し、ｂ）前記画像処理装置が前記画像間での前記対象物の推定される動作を決定するために前記シーケンスにおける少なくとも２つの画像のエッジ特徴を検出し、ｃ）前記画像処理装置がスキャンを実行した画像取得装置のバースト率を受信し、ｄ）前記画像処理装置が前記スキャンを実行した前記画像取得装置のシャッター速度を受信し、ｅ）前記画像処理装置が前記推定された動作、前記バースト率、及び前記シャッター速度を使用して少なくとも１つのスキャン画像のピクセル−ブレ幅として算出されるモーションブラーを推定し、ｆ）前記画像処理装置が前記少なくとも１つの画像における前記対象物の位置を修正しブレを削除するために、前記ピクセル−ブレ幅を使用して前記対象物の前記少なくとも１つの画像を強調させる、スキャン画像の画像強調のための方法が提供される。
【００２４】
本発明の第１６の態様によれば、第１５の態様において、更に、前記画像のシーケンスにおいて少なくとも３つの画像間で前記対象物の推定される動作を決定することによって、前記画像間の前記対象物の動作加速度を推定することを含んでもよい。
【００２５】
本発明の第１７の態様によれば、ユーザが画像取得装置の前で文書の少なくとも一ページを通過させるとき前記文書の少なくとも一ページの画像のシーケンスを記録する画像取得装置と接続するコンピュータに、ａ）前記記録された画像のシーケンスを受信し、ｂ）前記文書の各ページに対し画像のサブシーケンスを検出し、ｃ）前記画像のサブシーケンスから前記文書の各ページの最良画像を選択し、ｄ）前記文書の各ページの最良画像を一つのディジタル文書に結合することによって前記文書のディジタルコピーを作成する、処理を実行させるための画像処理プログラムが提供される。
【００２６】
本発明に係る更なる態様は以下の説明においてある程度示され、一部が説明から明白となり、あるいは本発明の実施によって確認され得る。本発明の態様は、以下の詳細な説明及び添付された請求の範囲において特に指摘される要素、ならびに種々の要素と態様の組み合わせによって実現され達成され得る。
【発明の効果】
【００２７】
本発明によれば、従来と異なる文書のスキャン手法を提供することができる。
【図面の簡単な説明】
【００２８】
【図１】図１は、本発明の一実施の形態による、画像取得装置、及び画像処理装置とメモリを備えたコンピュータを含む、インタラクティブ文書スキャンのためのシステムを示す図である
【図２】図２は、本発明の一実施の形態による、文書の一ページが画像取得装置の前を通過するときの該ページに対応する画像のサブシーケンスを示す図である。
【図３】図３は、本発明の一実施の形態による、インタラクティブ文書スキャンの方法を示す図である。
【図４】図４は、本発明の一実施の形態による、文書内のスキャンされた各ページの最良画像を選択するために画像のサブシーケンスを処理する方法を示す図である。
【図５】図５は、本発明の一実施の形態による、スキャンされた画像におけるページの端（edge）を決定する方法を示す図である。
【図６】図６は、本発明の一実施の形態による、画像処理装置が文書の端と角を決定した場合のスキャンされたページの画像を示す図である。
【図７】図７（Ａ）は、本発明の一実施の形態による、画像処理装置が透視補正（パースペクティブコレクション）を実行し、ページを切り取り、回転させた後に文書のページの画像を示す図であり、図７（Ｂ）は、本発明の一実施の形態による、図７（Ａ）に示されたページの元のディジタル画像の説明図である。
【図８】図８は、本発明の一実施の形態による、画像のページのモーションブラーを推定することによって画像のブレを除去するための画像強調の方法を示す図である。
【図９】図９は、連続画像における文書の画像を照合するためにエッジ検出特徴が使用される場合にスキャンされた画像の比較を示す図である。
【図１０】図１０は、本発明の一実施の形態による、エッジ検出と照合結果として第１のスキャンされた画像と第２のモーション補正画像との比較を示す図である。
【図１１】図１１（Ａ）は、本発明の一実施の形態による、本発明のシステムを使用してスキャンされる前の文書のページを写真的に説明する図であり、図１１（Ｂ）は、本発明の一実施の形態による、画像のスキャンされたサブシーケンスからのページのぶれた画像を示す図である。
【図１２】図１２（Ａ）〜（Ｃ）は、本発明の一実施の形態による、モーションの異なる推定に基づいてブレが除去された画像を示す図である。
【図１３】図１３（Ａ）は、本発明の一実施の形態による、本発明のシステムを使用してスキャンされる前の文書のページを写真的に説明する図であり、図１３（Ｂ）〜（Ｄ）は、本発明の一実施の形態による、モーションの異なる推定、及び加速的モーションに基づいてブレが除去された画像を示す図である。
【図１４】図１４は、本発明のシステムが実施され得るコンピュータプラットフォームの例示的実施の形態を示す図である。
【発明を実施するための形態】
【００２９】
前述の及び以下の説明がともに例証し説明するだけであり、請求の範囲に記載されている発明やその用途をどんな方法においても制限することを意図していないことは理解すべきである。
【００３０】
本明細書に組み込まれ、その一部を構成し、本発明の実施の形態を例示する添付の図面は、説明文とともに、本発明の技術の原理を説明し図示するのに役立つ。
【００３１】
以下の詳細な説明において、同一の機能要素が同じ数字で示される添付の図面が参照される。これら添付の図面は、実例として、制限するためでなく、本発明の原理と一致する特定の実施の形態を示す。こうした実施の形態は、当業者が発明を実施できるように十分詳細に記述され、他の実施の形態が利用され、種々の要素の構造上の変化及び／又は置換が本発明の範囲及び趣旨から逸脱することなく行なわれ得ることを理解すべきである。以下の詳細な説明は、それゆえ、限定された意味で解釈されるべきではない。さらに、上記の発明の種々の実施の形態は、汎用コンピュータ上で動作するソフトウェアの形式で、特定のハードウェアの形式で、あるいはソフトウェアとハードウェアの組み合わせで実施され得る。
【００３２】
本発明は、画像取得装置と画像処理装置を使用して文書のインタラクティブにスキャンをするためのシステム及び方法に関し、ユーザが画像取得装置の前で文書のページを動かすと、ディジタルカメラやビデオカメラなどの画像取得装置が画像のシーケンスを記録する。画像のシーケンスは、ユーザによって画像取得装置に提示されるそれぞれのページごとに記録され、その後で、画像処理装置が、文書のそれぞれのページごとに画像のサブシーケンスを検出し、それぞれのページの最良の画像を画像のサブシーケンスから選択する。画像処理装置は、ページ検出、再構成、及び強調を実行するために更なるアルゴリズムを使用する。
【００３３】
一実施の形態において、システムは、インタラクティブで半自動式であり、ユーザは、ビデオカメラ及び固定色の背景領域の前で文書ページ（又は被写体）を動かし、システムは、修正され及び強調されたページの画像を再構成するために記録された画像のシーケンスを使用する。
【００３４】
システム設計及びコストに関して、本発明のシステムは極めてより簡単であり生産費用がかからないが、これは従来のスキャナよりも少ない電子機械部品ですむためである。さらに、これらの機構は、良質の結果をもたらすために正確に製造しなければならない。それに比べて、本発明のシステムは、文書ページ画像を処理し計算するためのソフトウェアが複雑になっている。
【００３５】
文書を処理する観点から、システムは、ディジタルカメラで１つずつ文書ページの写真を撮るよりもより効率的なワークフローを可能にする。このことは、流動的なユーザのインタラクションを容易にし、多くのタイプの文書形式要素をサポートする。
【００３６】
画像取得及び解析
インタラクティブ文書スキャンシステム１００の実例が図１に示され、ページをスキャンするためのユーザ・インタラクションが図２に図示される。ユーザは、ディジタルカメラ、ビデオカメラ又はウェブカメラなどの画像取得（image capture）装置１０４の前を文書のページ１０２を１枚ずつ通過させ（pass）ながら動かす（揺り動かす、振る、wave）ことによって文書のページ１０２をスキャンする。ユーザは、垂直又は水平に置いてもよい着色背景板１０６上でページ１０２をスライドさせることができる。画像取得装置１０４は、「バースト」モードにおいて撮影するディジタルカメラ、即ち短時間フレームで多数の写真を撮るディジタルカメラ、又は、音声を記録し、ゆえに高フレーム率で多数の画像を捕捉するビデオカメラであってもよい。画像のシーケンスは、スキャンプロセスの間カメラ１０４によって記録される。ユーザがカメラ１０４の前で１つのページ１０２を通過させると、別のページを識別することができ、ユーザはカメラ１０４の前で次のページを通過させることができる。カメラ１０４はプロセス全体の間自動的に画像を捕捉し続け、ユーザが単に文書の種々のページをめくりカメラ１０４の前で次のページを通過させることを容易にする。ユーザがしなければならないことは、スキャンプロセスの初めにカメラ１０４を起動させ、スキャンプロセス終了時にカメラ１０４を停止させるだけである。これによって、ユーザが文書の部分を提示する時間を最大限にし、カメラ１０４を制御する必要性を最小限にする。カメラの前でページを通過させる代わりに、ユーザはカメラをページ全体の上で通過させることもできる。
【００３７】
カメラは次に、プロセッサ（図示せず）及びメモリ１１０を含むコンピュータ１０８と通信し、スキャンプロセスの際に捕捉された画像のシーケンスをコンピュータ１０８に送信する。ディスプレイ１１２はユーザにフィードバックを提供する。コンピュータ１０８は、他の位置から画像のシーケンスを送受信するためのネットワーク１１４に任意に接続されることがある。記録された画像のシーケンスからサブシーケンス１１６が自動的に検出され、サブシーケンスそれぞれは、図２に示すように、カメラ１０４の前で通過するときの一ページのページ１０２の画像を表示する。
【００３８】
半自動式のインタラクティブシステムを使用して文書の１ページをスキャンするためのプロセスが図３に示される。ステップ３０２において、このシステムは、スキャンの開始、例えば、カメラ１０４の起動やコンピュータ１０８上のプロンプトを指示するユーザによる入力を待つ。ステップ３０４において、システムは、画像１１８によって示されるようにページがカメラの視野に入る時間ｔ１を検出する。ユーザがカメラ１０４の前でページ１０２を通過させると、画像１１８〜１３８のシーケンスが捕捉される。ステップ３０６で、システムは、画像１３８によって示されるようにページがカメラ１０４の視野から出る時間ｔ２を検出する。システムは、文書のそれぞれのページに対し、ページのすべてを全体シーケンスとして捕捉し、次に、全体シーケンスを文書の各ページに対応するサブシーケンス１１６に分割するプロセスを繰り返して行なう。ステップ３０８で、各サブシーケンスに関する画像、この場合はｔ１とｔ２との間にある画像（画像１１８〜１３８）は、コンピュータ１０８に設置される画像処理装置（図示せず）によって処理される。画像処理３０８に関連するステップは以下に詳述される。
【００３９】
スキャンされた文書の各ページ１０２に関連する画像１１６のサブシーケンスは、スキャンさらた文書の最良のディジタルコピーを作成するために、各サブシーケンス１１６から各ページ１０２の最良の画像を選択するよう画像処理装置によって処理される、図４にさらに図示されるプロセスである。ページを含むそれぞれのサブシーケンスでは、ページの最良表示を有する画像Ｉ*が決定される。ステップ４０２では、画像処理装置は、ほとんどのピクセルが背景色に一致する画像境界ピクセルを有する画像１１８〜１３８のセットを見いだす。このステップ４０２は、画像の境界が背景色を含むだけである（例えば、画像１２８）ように、ページ１０２全体がカメラに見える場合にその画像を識別することになる。ステップ４０４において、画像Ｉ*は、ほとんどのピクセルが背景１０６の色に一致しないピクセルを有するいずれかの画像に基づいて選択される。ほとんどのピクセルが背景に一致しない画像が、ページ２０２の全部ではないがほとんどがカメラに見えている画像であると思われる。既に述べたように、画像１２８は画像Ｉ*に対する最良の候補である。カラー背景板１０６は絶対不可欠ではないが、背景色がスキャンされているページの色と異なるときにページと背景とをより容易により効果的に区別するステップを行なうことができる。次に、ステップ４０６において、画像処理装置は、図６のページ１０２の端１４２に対応するライン１４０によって図示されるように、ページの４つの端に最も近接して一致する４本のラインを決定する。ステップ４０８で、ページ１０２の角地点１４４がライン１４０の交差点に基づいて見出される。ステップ４１０において、透視補正（パースペクティブコレクション）変換は、ＯｐｅｎＣＶライブラリー（http://opencvlibrary.sourceforge.net、平成２１年２月５日検索）に見出されるようなソフトウェアを用いてこれらの角地点によって決定される四辺形に適用される。ステップ４１２において、画像Ｉ*は回転され、切り取られる。最後に、図７（Ａ）に図示されるように結果として生じる最良の画像１４６がステップ４１４に返される。
【００４０】
同じページ１０２の元のディジタル画像は、インタラクティブな半自動式のスキャンシステムが効率的に且つ正確にページをスキャンする精度を示すために、図７（Ｂ）に示される。
【００４１】
上述され図３及び図４に示されるプロセスは、文書内のそれぞれのページごとに繰り返され、その後で文書はディジタル式にアセンブルされ、ディスプレイ１１２上でユーザに表示される。
【００４２】
画像Ｉ*のページ１０２の角地点１４４を見いだす際、図５の流れ図によって更に記述されているように、背景色に一致するピクセルのセットの投影プロファイル（projection profiles）を分析する。第１のステップ５０２では、背景色１０６に一致しない画像Ｉ*のピクセルのセット上で重心Ｃを見いだす。次にステップ５０４において、投影軸ａ［ｉ］、ｉ＝１, ..., ４が画像境界の４つの側面のそれぞれに対し定義される。投影軸はその辺と共線的である。次に、ステップ５０６において、角度シータ＊［ｉ］が、それぞれの投影写軸ａ［ｉ］に対して、投影軸に沿ってＣの投影された座標にまで進み、背景色に一致するピクセルの投影プロファイルの飛越しが最大になるように決定される。ステップ５０８において、それぞれの角度シータ*［ｉ］ごとに、投影軸ａ［ｉ］上の原点Ｐ及びシータ*によって付与される方向を備えた線群が定義される。次に、ステップ５１０で、値Ｈは、各線が通過する、背景色に一致するピクセルがいくつであるかを表すように計算される。最後に、ステップ５１２において、原点Ｐ*［ｉ］は、それぞれの線群に対し、線ｒ*［ｉ］＝（Ｐ*［ｉ］、シータ*［ｉ］）が、投影軸ａ［ｉ］に沿って線群を横断し、背景色に一致するピクセルの投影プロファイルの飛越しが最大になるように求められる。ステップ５１４において、図６に示すように、線ｒ*［ｉ］によって決定されるライン１４０が画像Ｉ*上に作成される。
【００４３】
本発明のシステムを、文書の写真を撮るために周知のスキャン方法及びディジタルカメラを使用するシステムと比較する。ディジタルカメラを用いて、ユーザは、カメラを操作し、テーブル上でページをめくりセットするまで前後に移動しなければならない。デスクトップ・フラットベッドスキャナ（例えば、ＣａｎｏｎＰＩＸＭＡ）では、それぞれのページごとに、ユーザが上部を持ち上げ、ページをスキャナ・ベッドにセットし、ボタンを押さなければならない。一方、本明細書中に記述されるインタラクティブシステムは、文書を準備することと、カメラやスキャナを操作することとの間における面倒な作業を軽減することができる。
【００４４】
一部のデスクトップ・スキャナには、スタックされた状態のよいばらのページ束には適切であるが、ホッチキスで止められた文書、状態が良くない古紙、又はほとんどのシステムで紙詰まりを引き起こすことになる従来にない文書タイプ、スタイル、若しくはフォーマットを処理することができない給紙機が備えられている。
【００４５】
画質の観点から、本発明のシステムを試験することにより、ユーザがページを動かすことによる記録画像のシーケンスから良質の画像を再構成することが可能であることが証明される。本発明の方法の実験は、それぞれ毎秒２．５フレーム及び６フレームのバーストモードで撮影する２つのディジタルカメラ（Ｎｉｋｏｎ  Ｄ４０及びＮｉｋｏｎ  Ｄ３００、株式会社ニコン、日本国）を用いて実行される。上述の方法及びアルゴリズムに従って図３、図４及び図５の流れ図において画像を処理した後で、出力画像がＯｍｎｉＰａｇｅ  ＯＣＲソフトウェア（ニュアンスコミュニケーションズ、バーリントン、マサチューセッツ州、米国）で処理される。Ｄ４０及びＤ３００に対する言語精度レートは、それぞれ７９％と９８％である。
【００４６】
画像強調
撮影条件が望ましくない（例えば、文書が明るくなかったり、ページを動かす動作が激しかったりする）と、選択され処理された画像の画像強調が必要とされることがある。本発明のシステムによって記録された画像はカメラの前でのページの動作によりぶれる可能性が大きく、そのため、モーションブラーを修正し、フレーム間の動作を推定する技術が有用である。画像強調は、文書とページ構成の前後いずれかで生じる可能性がある。
【００４７】
画像強調手順は、当業者は多数の画像強調方法及び技術があることを理解するが、イメージクリーンアップ、画像ブレ除去、又は超解像から成る。イメージクリーンアップに関しては、問題点としてノイズ及び不均一な照明が挙げられる。イメージクリーンアップの１つの限定されない例は、試験画像でシステムを較正し、試験画像を修正するために調整を推論し、他のページを処理するときに調整を適用することである。超解像は、複数の低解像画像を使用して１つの高解像画像を作成することによって画像の解像度を強調する技術であり、上述のシステムにおいて特に有利であり、一ページに多数の画像が作成される。
【００４８】
別の画像強調方法は、トラッキングによる画像のブレ除去であり、他の関連データとともに画像間の動作推定を使用してモーションブラーを推定し修正する。画像がブレるシナリオは、第一に、文書ページが手動によって等速でぶれているときであり、第二に、文書ページが手動によって加速度でぶれているときである。従来の方法とは異なり、本明細書に記載された画像ブレ除去方法は、ブレのない文書ページを再構成するために、動作推定技法、カメラのバースト率、及びカメラのシャッター速度を用いてページ動作を推定する。
【００４９】
図８の流れ図は、ステップ８０２から始まり、ほとんどが前景ピクセルである画像のサブシーケンスにおいて少なくとも３つの連続する画像の識別をトラッキングすることによってブレを除去するための方法の概要を示す。画像間のページの動作が少なくとも３つの画像によって推定することができる。３つの画像を使用すると、動作の加速度の推定を可能とし、これは以下にさらに詳述される。ステップ８０４で、選択された少なくとも３つの画像間のページの動作が推定される。一実施の形態において、図９及び図１０に示されるように、ページのエッジ特徴を使用して、画像間の動作を推定し、連続するフレーム間の照合を実行する。図９において、２つの連続的に記録された画像１４８及び１５０は、それぞれのエッジ特徴画像１５２及び１５４に示されるように、それぞれのエッジ特徴を決定するために処理される。図１０では、動作修正画像１５６及び対応するエッジ特徴画像１５８に示すように、エッジ特徴画像１５２及び１５４のエッジ特徴が照合される。照合されると、フレーム全体で推定された動作をステップ８０６において算出することができる。さらなるパラメータが、ステップ８０６において提供される。これらは、カメラ１０４のシャッター速度及びバースト率である。カメラのシャッター速度及びバースト率情報を考慮すると、フレーム全体の動作を推定した後で、それぞれの画像におけるモーションブラーがステップ８０８でサンプリングされる。たとえば、ユーザの手が一定速度でカメラ１０４の前をページ１０２が通過していると仮定すると、各画像におけるモーションブラーは以下のとおりである。
（フレーム全体の動作（motion across frames））＊（バースト率／シャッター速度）
【００５０】
結果として生じる計算は、ピクセル−ブレの幅、即ち、カーネル幅をもたらす。ステップ８１０において、推定されたカーネル幅は、逆畳み込みを使用して画像のブレを除去するために使用することができる。尚、文書画像上の光学的フローのようなデンスマッチング方法は文書内の固定文字形状の特徴により悪い結果をもたらすことに留意されたい。
【００５１】
上述の画像ブレ除去方法は、図１１（Ａ）、（Ｂ）、図１２（Ａ）〜（Ｃ）に示されるページによって示される。図１１（Ａ）は、スキャンする前の元の画像を示し、図１１（Ｂ）は、手動により等速でモーションブラーが生じた画像である。ピクセル−ブレの幅（カーネル幅）を認識せずに、ピクセル−ブレの幅を推測することにより好ましくない結果が生じられ、これは図１２（Ａ）における１６．６４９１９７の低い信号対雑音比（「ＳＮＲ」）と、図１２（Ｂ）における１５．５４１１２５によって示され、カーネル幅はそれぞれ２及び２４であると推定される。補正カーネル幅６が推定される場合、ＳＮＲが１６．７０６３５１である図１２（Ｃ）の画像によって示されるように最適結果が得られる。
【００５２】
カーネル幅の正確な推定値でも、ブレがスキャンプロセスの間の加速動作に起因する場合、加速動作パターンを認識することなく良い画像を再構成することは困難である。図１３（Ａ）はスキャン前の元の画像を示し、図１３（Ｂ）は手動により加速度でモーションブラーが生じた画像を示す。図１３（Ｃ）は、加速度を原因としない上述の画像ブレ除去プロセスを示し、結果としてＳＮＲが１６．０５１９５９となる。しかしながら、図１３（Ｄ）の画像によって示されるように、複数のフレーム間の加速度パターンを計算することによって正しい動作を推定することは好ましい結果をもたらし、ＳＮＲが１６．２５００４７となる。この実施の形態において、加速度は、サンプリングされた地点及びフレーム率を用いて第２の導関数を計算することによって推定される。
【００５３】
ツートンカラー（白黒）の一定の文字形状の一般的文書特徴によれば、加工前の（元の）画像から同じモーション効果を修正するよりも、モーションブレからのアーチファクトを修正することの方がよりやりがいがある。
【００５４】
例示的コンピュータシステム
図１４は、本発明の方法論の実施の形態がインプリメントされ得るコンピュータ／サーバ・システム１４００の実施の形態を示すブロック図である。システム１４００は、コンピュータ／サーバ・プラットホーム１４０１、周辺デバイス１４０２、及びネットワーク資源１４０３を有する。
【００５５】
コンピュータプラットフォーム１４０１は、該コンピュータプラットフォーム１４０１の種々のパーツにわたって、またそれらパーツの間で情報を伝達するためのデータバス１４０４又は他の通信機構、及び、情報を処理し他の計算タスクと制御タスクを実行するための、バス１４０４に結合されるプロセッサ１４０５を有し得る。コンピュータプラットフォーム１４０１はまた、種々の情報とプロセッサ１４０５によって実行されるべき命令を記憶するためのバス１４０４に結合される、ランダムアクセスメモリ（ＲＡＭ）や他の動的記憶装置などの揮発性記憶装置１４０６を有する。この揮発性記憶装置１４０６はまた、プロセッサ１４０５による命令の実行中に一時的数値変数若しくは他の中間情報を記憶するために使用することもできる。コンピュータプラットフォーム１４０１は、基本入出力システム（ＢＩＯＳ）などのプロセス１４０５に対する静的情報と命令、及び種々のシステム構成パラメータを記憶するためのバス１４０４に結合された読み出し専用メモリ（ＲＯＭ又はＥＰＲＯＭ）１４０７若しくは他の静的記憶装置をさらに有し得る。固定記憶装置１４０８、例えば、磁気ディスク、光学ディスク、若しくは固体フラッシュメモリ装置が設けられ、情報及び命令を記憶するためにバス１４０４に結合される。
【００５６】
コンピュータプラットフォーム１４０１は、情報をシステム・アドミニストレーやコンピュータプラットフォーム１４０１のユーザに表示するために、ブラウン管（ＣＲＴ）、プラズマディスプレイ、若しくは液晶ディスプレイ（ＬＣＤ）などのディスプレイ１４０９にバス１４０４を介して結合され得る。入力装置１４２０は、英数字及び他のキーを有し、プロセッサ１４０５に情報及びコマンド選択を伝達するためにバス１４０１に結合される。別のタイプのユーザ入力装置は、カーソル制御デバイス１４１１であり、例えば、マウス、トラックボール、若しくは、方向情報とコマンド選択をプロセッサ１４０４に伝達し、ディスプレイ１４０９上のカーソル動作を制御するためのカーソル方向キーである。この入力装置は、一般に、２つの軸として第１の軸（例えば、ｘ）と第２の軸（例えば、ｙ）の２つの自由度を有し、これによりデバイスが平面上の位置を特定することを可能にする。
【００５７】
外部記憶装置１４１２は、コンピュータプラットフォーム１４０１用の予備の若しくは取り外し可能な記憶容量を設けるために、バス１４０４を介してコンピュータプラットフォーム１４０１に接続されることもある。コンピュータシステム１４００の実施の形態において、取り外し可能な外部記憶装置１４１２は、データを他のコンピュータシステムと交換するのを容易にするために使用され得る。
【００５８】
本発明は、本明細書中に記載される技術をインプリメントするためのコンピュータシステム１４００の使用に関する。実施の形態において、本発明のシステムは、コンピュータプラットフォーム１４０１などのマシン上に存在することもある。本発明の一実施の形態によれば、本明細書中に記載される技術は、揮発性メモリ１４０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ１４０５に応答してコンピュータシステム１４００によって実行される。このような命令は、他のコンピュータ可読媒体、例えば、固定記憶装置１４０８から揮発性メモリ１４０６に読み込まれることもある。揮発性メモリ１４０６に含まれる命令のシーケンスの実行は、プロセッサ１４０５に本明細書に記載される工程段階を実行させる。代替的実施の形態では、配線で接続された回路構成が、本発明を実施するためにソフトウェア命令の代わりに又はこれらと組み合わせて使用され得る。ゆえに、本発明の実施の形態はハードウェア回路構成及びソフトウェアの特定の組み合わせに限定されない。
【００５９】
本明細書中に使用される用語「コンピュータ可読媒体」は、実行のためにプロセッサ１４０５に命令を与えることに関与するいかなる媒体をも意味する。コンピュータ可読媒体は、機械可読媒体のほんの一例ですぎず、これは、本明細書中に記載される方法及び／又は技術のいずれかを実施するための命令を伝送し得る。このような媒体は、多くの形状をとることもでき、限定されないが、非揮発性媒体及び揮発性媒体を有する。非揮発性媒体は、例えば光学ディスクや磁気ディスク、例えば記憶装置１４０８などを有する。揮発性媒体は、動的メモリ、例えば発性記憶装置１４０６を有する。
【００６０】
コンピュータ可読媒体の普通の形状として、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープやその他磁気媒体、ＣＤ−ＲＯＭ、その他光学媒体、パンチカード、ペーパーテープ、ホールのパターンを有するその他物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、フラッシュドライブ、メモリーカード、その他メモリーチップやカートリッジ、後述される搬送波、あるいはコンピュータにより読み取り可能なその他媒体が挙げられる。
【００６１】
コンピュータ可読媒体の種々の形式は、実行のためにプロセッサ１４０５に１つ以上の命令の１つ以上のシーケンスを伝送することに関係し得る。たとえば、これら命令は、最初に遠隔コンピュータから磁気ディスク上に伝送され得る。もう１つの方法として、遠隔コンピュータは、命令をその動的メモリにロードし、モデムを使用して電話線上で命令を送信することができる。コンピュータシステム１４００に対し局所のモデムは、電話線上でデータを受信し、赤外線送信器を使用して、そのデータを赤外線信号に変換することができる。赤外線検出器は赤外線信号に伝送されたデータを受信することができ、適切な回路構成はデータをデータバス１４０４上に設置することができる。バス１４０４はデータを揮発性記憶装置１４０６へ伝送し、そこからプロセッサ１４０５が命令を検索し実行する。揮発性メモリ１４０６によって受信された命令は、プロセッサ１４０５による実行の前後いずれかで固定記憶装置１４０８に任意に記憶してもよい。命令は、また、公知技術の種々のネットワークデータ通信プロトコルを使用するインターネットを介してコンピュータプラットフォーム１４０１にダウンロードすることもできる。
【００６２】
コンピュータプラットフォーム１４０１は、また、データバス１４０４に結合されるネットワーク・インタフェース・カード１４１３などの通信インタフェースも有する。通信インタフェース１４１３は、ローカルネットワーク１４１５に接続されるネットワーク・リンク１４１４に結合する双方向データ通信を行なう。たとえば、通信インタフェース１４１３は、対応タイプの電話線へのデータ通信接続を行なうために総合サービス・ディジタル・ネットワーク（ＩＳＤＮ）カード又はモデムであればよい。別の例として、通信インタフェース１４１３は、適合性ＬＡＮへのデータ通信接続を行なうためにローカルエリア・ネットワーク・インタフェース・カード（ＬＡＮ  ＮＩＣ）であればよい。ワイヤレスリンク、例えば周知の８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、及びＢｌｕｅｔｏｏｔｈ（登録商標）は、ネットワーク・インプリメンテーションのために使用され得る。このようなインプリメンテーションにおいて、通信インタフェース１４１３は、種々のタイプの情報を示すディジタルデータストリームを伝送する、電気信号、電磁信号又は光学信号を送受信する。
【００６３】
ネットワーク・リンク１４１３は、一般に１つ以上のネットワークを介して他のネットワーク資源に対しデータ通信を行なう。たとえば、ネットワーク・リンク１４１４は、ホストコンピュータ１４１６又はネットワーク・ストレージ／サーバ１４１７に対しローカルネットワーク１４１５を介して接続を行なってもよい。さらに、あるいは、代替的に、ネットワーク・リンク１４１３は、インターネットなどの広域又は大域ネットワーク１４１８にゲートウェイ／ファイアウォール１４１７を介して接続してもよい。ゆえに、コンピュータプラットフォーム１４０１は、遠隔ネットワーク・ストレージ／サーバ１４１９などのインターネット１４１８上のどこかに設置されるネットワーク資源にアクセスすることができる。一方で、コンピュータプラットフォーム１４０１は、また、ローカルエリア・ネットワーク１４１５及び／又はインターネット１４１８上のどこかに設置されるクライアントによってアクセスされることもある。ネットワーク・クライアント１４２０及び１４２１は、プラットホーム１４０１に類似したコンピュータプラットフォームに基づいて、それ自身がインプリメントされることもある。
【００６４】
ローカルネットワーク１４１５及びインターネット１４１８はともに、ディジタルデータストリームを伝送する、電気信号、電磁信号若しくは光学信号を使用する。種々のネットワークを経由する信号、及びネットワーク・リンク上で通信インタフェース１４１３を経由する信号は、ディジタルデータをコンピュータプラットフォーム１４０１との間で伝送し、情報を搬送する搬送波の例示の形式である。
【００６５】
コンピュータプラットフォーム１４０１は、インターネット１４１８及びＬＡＮ１４１５、ネットワーク・リンク１４１４及び通信インタフェース１４１３を含む種々のネットワークを介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、システム１４０１がネットワーク・サーバとしての働く場合、このシステムは、インターネット１４１８、ゲートウェイ／ファイアウォール１４１７、ローカルエリア・ネットワーク１４１５及び通信インタフェース１４１３を介して、クライアント１４２０及び／又は１４２１上で動作するアプリケーションプログラムに対して要求されたコード若しくはデータを転送することがある。同様に、このシステムは、他のネットワーク資源からコードを受信してもよい。
【００６６】
受信されたコードは、受信されたままプロセッサ１４０５によって実行されることもあり、さらに／あるいは、それぞれ固定又は揮発性記憶装置１４０８及び１４０６に、若しくは後で実行するために他の非揮発性記憶装置に記憶されることもある。このように、コンピュータシステム１４０１は、搬送波の形式でアプリケーション・コードを取得してもよい。
【００６７】
最後に、本明細書中に記載されるプロセス及び技術は本質的にいずれか特定の装置に関係がなく、構成要素の適切な組み合わせによって実施され得ることを理解されたい。さらに、種々のタイプの汎用装置を、本明細書中に記載される教示に従って使用してもよい。本明細書中に記載される方法ステップを実行するために専門の装置を構成することが有利であることもまた判明される。本発明は特定の例に関連して記載されているが、これらはすべての点において限定的でなく説明するものとして意図される。ハードウェア、ソフトウェア、及びファームウェアの多くの異なる組み合わせが本発明を実施するのに好適であると当業者によって認識される。たとえば、記載されたソフトウェアは、多種多様なプログラミング言語又はスクリプト言語、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）などでインプリメントされてもよい。
【００６８】
本発明の種々の代表する実施の形態がある程度の特殊性で上述されているが、当業者は、明細書及び請求の範囲に示される本発明の主題の精神又は範囲から逸脱することなく開示された実施の形態に対し多数の変更を行なうことができる。直接的又は間接的に本明細書中に示される方法論において、種々のステップ及び動作が１つの可能な作業の順序で記載されるが、当業者は、本発明の精神及び範囲から必然的に逸脱することなく再編成されたり、交換されたり、あるいは削除されてもよいことを認識するであろう。さらに、記載された実施の形態の種々の態様及び／又は構成要素がコンピュータ・スキャンシステムにおいて単独であるいは組み合わせて使用されてもよい。上記の説明に含まれ、又は添付の図面に示されるすべての内容が一例にすぎず、限定的でないとして解釈すべきことが意図される。
【符号の説明】
【００６９】
１０４  ディジタルカメラ/ビデオカメラ
１０６  背景板
１０８  コンピュータ
１１０  データ記憶装置
１１２  ディスプレイ
１１４  ネットワーク
【図３】
2010187357.tif 000003
【図４】
2010187357.tif 000004
【図５】
2010187357.tif 000005
【図８】
2010187357.tif 000006
【図１４】
2010187357.tif 000007
【図１】
2010187357.tif 000008
【図２】
2010187357.tif 000009
【図６】
2010187357.tif 000010
【図７】
2010187357.tif 000011
【図９】
2010187357.tif 000012
【図１０】
2010187357.tif 000013
【図１１】
2010187357.tif 000014
【図１２】
2010187357.tif 000015
【図１３】
2010187357.tif 000016