(57)【要約】【課題】位置決め精度の高くない安価な移動機構でも分割撮影された画像の接合精度を高めることのできる画像入力システム、画像入力方法及び画像入力プログラムの提供を目的とする。【解決手段】被写体を複数の領域に分割して撮像する撮像手段を有する画像入力装置であって、前記領域を撮像した際の前記撮像手段の位置情報に基づいて、前記撮像手段が撮像した分割画像を所定の平面へ射影するための変換行列を算出する変換行列算出手段と、前記変換行列手段が算出した変換行列を適用して前記分割画像を射影変換して変換画像を生成する変換画像生成手段と、複数の前記変換画像の画像の位置を合わせつつ前記変換画像を接合する接合手段とを有することにより上記課題を解決する。【選択図】　　　　図１
2004135085.tif 000002
【特許請求の範囲】
【請求項１】
被写体を複数の領域に分割して撮像する撮像手段を有する画像入力装置であって、
前記領域を撮像した際の前記撮像手段の位置情報に基づいて、前記撮像手段が撮像した分割画像を所定の平面へ射影するための変換行列を算出する変換行列算出手段と、
前記変換行列手段が算出した変換行列を適用して前記分割画像を射影変換して変換画像を生成する変換画像生成手段と、
複数の前記変換画像の画像の位置を合わせつつ前記変換画像を接合する接合手段とを有することを特徴とする画像入力装置。
【請求項２】
被写体を複数の領域に分割して撮像する撮像手段を有する画像入力装置であって、
前記撮像手段に対応して予め算出された前記分割画像を所定の平面へ射影するための変換行列を保持する変換行列保持手段と、
前記変換行列手段に保持されている変換行列を適用して前記分割画像を射影変換して変換画像を生成する変換画像生成手段と、
複数の前記変換画像の画像の位置を合わせつつ前記変換画像を接合する接合手段とを有することを特徴とする画像入力装置。
【請求項３】
被写体を複数の領域に分割して撮像する撮像手段を有する画像入力装置と前記画像入力装置に接続される情報処理装置とを有する画像入力システムであって、
前記情報処理装置は、前記領域を撮像した際の前記撮像手段の位置情報に基づいて、前記撮像手段が撮像した分割画像を所定の平面へ射影するための変換行列を算出する変換行列算出手段と、
前記変換行列手段が算出した変換行列を適用して前記分割画像を射影変換して変換画像を生成する変換画像生成手段と、
複数の前記変換画像の画像の位置を合わせつつ前記変換画像を接合する接合手段とを有することを特徴とする画像入力システム。
【請求項４】
被写体を複数の領域に分割して撮像する撮像手段を有する画像入力装置と前記画像入力装置に接続される情報処理装置とを有する画像入力システムであって、
前記情報処理装置は、前記撮像手段に対応して予め算出された前記分割画像を所定の平面へ射影するための変換行列を保持する変換行列保持手段と、
前記変換行列手段に保持されている変換行列を適用して前記分割画像を射影変換して変換画像を生成する変換画像生成手段と、
複数の前記変換画像の画像の位置を合わせつつ前記変換画像を接合する接合手段とを有することを特徴とする画像入力システム。
【請求項５】
被写体を複数の領域に分割して撮像する撮像手順を有する画像入力装置における画像入力方法であって、
前記領域を撮像した際の前記撮像手順の位置情報に基づいて、前記撮像手順が撮像した分割画像を所定の平面へ射影するための変換行列を算出する変換行列算出手順と、
前記変換行列手順が算出した変換行列を適用して前記分割画像を射影変換して変換画像を生成する変換画像生成手順と、
複数の前記変換画像の画像の位置を合わせつつ前記変換画像を接合する接合手順とを有することを特徴とする画像入力方法。
【請求項６】
被写体を複数の領域に分割して撮像する撮像手順を有する画像入力装置における画像入力方法であって、
前記撮像手順に対応して予め算出された前記分割画像を所定の平面へ射影するための変換行列を適用して前記分割画像を射影変換して変換画像を生成する変換画像生成手順と、
複数の前記変換画像の画像の位置を合わせつつ前記変換画像を接合する接合手順とを有することを特徴とする画像入力方法。
【請求項７】
被写体を複数の領域に分割して撮像する撮像手段が撮像した分割画像を変換するための画像入力プログラムであって、
前記領域を撮像した際の前記撮像手段の位置情報に基づいて、前記撮像手段が撮像した分割画像を所定の平面へ射影するための変換行列を算出する変換行列算出手順と、
前記変換行列手順において算出された変換行列を適用して前記分割画像を射影変換して変換画像を生成する変換画像生成手順と、
複数の前記変換画像の画像の位置を合わせつつ前記変換画像を接合する接合手順とを画像入力装置又はコンピュータに実行させるための画像入力プログラム。
【請求項８】
被写体を複数の領域に分割して撮像する撮像手段が撮像した分割画像を変換するための画像入力プログラムであって、
前記撮像手段に対応して予め算出された前記分割画像を所定の平面へ射影するための変換行列を適用して前記分割画像を射影変換して変換画像を生成する変換画像生成手順と、
複数の前記変換画像の画像の位置を合わせつつ前記変換画像を接合する接合手順とを画像入力装置又はコンピュータに実行させるための画像入力プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像入力装置、画像入力システム、画像入力方法及び画像入力プログラムに関し、特に被写体を分割撮影することにより被写体全体の画像を得ることができる画像入力装置、画像入力システム、画像入力方法及び画像入力プログラムに関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータの処理能力が飛躍的に向上しており、画像データの取り扱いが容易になっている。それに伴い、オフィスでの文書作成等にも画像データが数多く使われ、画像データは非常に重要なものとなった。そのような状況において、どこにいても手元にある文書を画像として手軽に取り込みたいと言う要求が高まりつつある。
【０００３】
画像を取り込んで画像データを生成する代表的な機器としては、スキャナとデジタルカメラが挙げられる。スキャナは、高解像度で紙面を読み取ることができるものの、機器のサイズに応じて読み取り可能な用紙サイズに制限がある点において不便である。また、スキャナ自体のサイズも大きいので、持ち運びには適していない。一方、デジタルカメラは、読み取り可能なサイズの制限、及び持ち運びに不便という問題点は解決されるものの、解像度が低いと言う問題がある。この問題を解決するため、被写体を複数の領域に分割して撮影し、各領域を撮影することにより得た複数の画像データを合成して被写体全体の画像データを得る方法がある。しかしながら、分割撮影を行うには撮影者への負担が大きく、また必ずしも自動でうまく合成できるわけではない。それを解決する方法として、被写体を撮像するための撮像部が支持され、上方より机面上の被写体を分割撮影する画像入力装置が提案されている。
【０００４】
しかしながら、分割撮影のために撮像部を移動させる機構を安価なものにすると位置決め精度、即ち、期待している位置に撮像部を性格に移動させる精度が悪くなり、そのため分割撮影された画像データを一つに合成すると位置ずれが生じる。
【０００５】
このような問題を解決するための、特許文献１においては、被写体である紙面の全体画像から分割撮影画像の粗い位置合せを行い、その後分割画像のエッジ情報からそれらの高精度な位置合せを行う発明が記載されている。また、特許文献２においては、走査手段により撮像系を動かし、原稿を複数の分割画像として撮像し、正面から見た画像に変換し、その後にそれらの画像を接合する。加速度センサによるモニタ手段で撮像系の方向、仰角、回転角を算出し、射影変換行列を算出する発明が記載されている。
【０００６】
【特許文献１】
特許第３１２８９０１号公報
【特許文献２】
特開平１０−１７８５３５号公報。
【０００７】
【発明が解決しようとする課題】
しかしながら、特許文献１における発明では、全体画像を撮像する工程と、その全体画像と分割画像との相関を取る処理とが必要となり、撮影時間やメモリ量、計算量の増大を招く。また、特許文献２における発明では、モニタ手段での撮像系の把握は高い精度が期待でない上、撮像系の方向、仰角、回転角から射影変換行列を算出する方法が開示されていないため、開示されている情報のみでは射影変換行列は算出することができない。
【０００８】
一方、位置決め精度が高い移動機構を用いると画像データを合成する際の位置ずれの改善を図ることができるが、機器のコストアップあるいは大型化を招くという問題がある。
【０００９】
本発明は、上記の点に鑑みてなされたものであって、位置決め精度の高くない安価な移動機構でも分割撮影された画像の接合精度を高めることのできる画像入力システム、画像入力方法及び画像入力プログラムの提供を目的とする。
【００１０】
【課題を解決するための手段】
そこで上記課題を解決するため、本発明は、請求項１に記載されるように、被写体を複数の領域に分割して撮像する撮像手段を有する画像入力装置であって、前記領域を撮像した際の前記撮像手段の位置情報に基づいて、前記撮像手段が撮像した分割画像を所定の平面へ射影するための変換行列を算出する変換行列算出手段と、前記変換行列手段が算出した変換行列を適用して前記分割画像を射影変換して変換画像を生成する変換画像生成手段と、複数の前記変換画像の画像の位置を合わせつつ前記変換画像を接合する接合手段とを有することを特徴とする。
【００１１】
このような画像入力装置では、分割撮影することにより得た各分割画像に対し所定の変換行列を適用し、画像の位置合わせをしつつ接合するため、各領域を撮像する際の位置決め精度の高くない安価な移動機構を利用して撮像した分割画像の接合精度を高めることができる。
【００１２】
また、本発明は、請求項２に記載されるように、被写体を複数の領域に分割して撮像する撮像手段を有する画像入力装置であって、前記撮像手段に対応して予め算出された前記分割画像を所定の平面へ射影するための変換行列を保持する変換行列保持手段と、前記変換行列手段に保持されている変換行列を適用して前記分割画像を射影変換して変換画像を生成する変換画像生成手段と、複数の前記変換画像の画像の位置を合わせつつ前記変換画像を接合する接合手段とを有することを特徴とする。
【００１３】
このような画像入力装置では、請求項１による画像入力装置と同様の効果が得られると共に、撮像手段に対応して予め算出された射影変換行列を利用して分割画像を射影変換するため、撮像手段の特性等による位置決め誤差等を吸収した射影変換を施すことが可能であり、射影変換後の各変換画像の相対位置をより正確に決めることができる。従って、各変換画像を接合する際の画像の位置合わせ処理に対する負担を低減することができ、接合処理の高速化を図ることができる。
【００１４】
また上記課題を解決するため、本発明は、上記画像入力装置と情報処理装置とによる画像入力システム、上記画像入力装置による画像入力方法、又は上記画像入力装置による処理をコンピュータに行なわせるためのプログラムとしてもよい。
【００１５】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における画像入力装置の例を示す図である。図１の画像入力装置１０は、撮像部１１、移動部１２、支持部１３、解像度指示部１４及び撮像スイッチ１５等から構成される。
【００１６】
撮像部１１は、移動部１２を介して支持部１３によって支持されており、撮像スイッチ１５が押されると、支持部２０が設置されている机などの面上にある被写体１６を撮像する。
【００１７】
移動部１２は、撮像部１１を上下及び左右方向に回転させることにより、撮影光軸を移動させるためのものであり、モータ及びギア等で構成されている。移動部１２により回転移動できることで、撮像部１１は、撮像の対象である被写体１６を複数の領域に分割して撮像することができる。なお、分割して撮影する場合は、撮像部１１の撮影画角を狭めて撮影することにより、被写体１６の撮影解像度を向上させることができる。
【００１８】
解像度指示部１４は、被写体を撮像する際の解像度を指示するためのものであり、表示つきのタッチパネルなどで構成され、任意の解像度を指定できるようになっている。
【００１９】
図２は、撮像部の機能構成例を示す図である。図２の撮像部１１は、ズームレンズ１、絞り機構２、撮像素子３、ＣＤＳ（相関二重サンプリング回路）４、Ａ／Ｄ変換器５、ＴＧ（タイミングジェネレータ）６、ＩＰＰ（画像前処理回路）７、メモリ８、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９等から構成される。
【００２０】
被写体１６の像は、ズームレンズ１及び絞り機構２によって、撮像素子３の上に形成される。撮像素子３からの画像信号はＣＤＳ（相関二重サンプリング回路）４でサンプリングされた後、Ａ／Ｄ変換器５でデジタル信号化される。この時のタイミングはＴＧ（タイミングジェネレータ）６で生成される。画像信号はその後、ＩＰＰ（画像前処理回路）７でアパーチャ補正などの画像処理、圧縮等が施されメモリ８に保存される。
【００２１】
上述した各ユニット及び移動部１２の動作は、メモリ８に保存されているプログラムを読み込むことによりＭＰＵ９が制御する。撮像された複数の分割画像と、その分割画像が撮像された時の移動部１２による回転角度（以下、「分割画像が撮像された時の移動部１２による回転角度」を単に「回転角度」という）は、射影変換部１７に入力される。
【００２２】
射影変換部１７は、各分割画像に対して回転角度及び撮像部１１の撮影光学中心と回転中心の位置ずれ（ベクトル量）を用いて射影変換行列を算出する。そして、その射影変換を各分割画像に適用することで得られる画像（以下「変換画像」という。）を生成する。
【００２３】
接合部１８は、分割画像ごとに射影変換部１７によって生成された変換画像の位置合せを行い、接合画像を生成する。
【００２４】
次に分割撮影の方法について説明する。図３は、分割撮影の方法を説明するための図である。解像度指示部１４により指示された解像度をｒとし、被写体１６までの距離をｈとすると、光学系の焦点距離ｆは、
【００２５】
【数１】
2004135085.tif 000003
となるが、図３（ａ）は、被写体１６と、撮像部１１の焦点距離をｆにしたときの撮影範囲３０の概略を示したものである。まず、図３（ｂ）のように、その画角で原稿の左上を第一分割画像として撮影する。続いて、図３（ｃ）のように、第一分割画像に含まれていない領域を撮影できるよう、撮像部１１を移動させ、第二分割画像として撮影する。このような操作を繰り返し、図３（ｄ）のように原稿全体が撮影されれば終了する。
【００２６】
次に、上記のような方法により被写体１６を分割撮影する際の画像入力装置１０の処理について説明する。図４は、画像入力装置の処理を説明するためのフローチャートである。
【００２７】
ステップＳ１０において、被写体１６を撮像するための解像度が解像度指示部１４より入力されると、入力された解像度はＭＰＵ９へ通知される。ステップＳ１０に続いてステップＳ１１に進み、被写体１６をセットし、撮像スイッチ１５が押されると、ＭＰＵ９に撮像開始の指示が通知される。
【００２８】
ステップＳ１１に続いてステップＳ１２に進み、ＭＰＵ９は、移動部１２のモータを所定の角度だけ回転させ、撮像部１１を撮像位置に移動させる。ステップＳ１２に続いてステップＳ１３に進み、撮像部１１は、ＭＰＵ９からの指示に従い所定のズーム倍率を設定し、被写体１６の一領域を撮像し分割画像をその回転角度等の分割画像の位置を特定するためのパラメータ（以下「位置情報」という。）と関連付けてメモリ８に保存する。
【００２９】
ステップＳ１３に続いてステップＳ１４に進み、射影変換部１７は、分割画像を所定の平面へ射影するための射影変換行列を算出し、射影変換行列を分割画像に適用して変換画像を生成しメモリ８に保存する。
【００３０】
ステップＳ１４に続いてステップＳ１５に進み、ＭＰＵ９は、撮像対象となる全ての領域を撮像したか否かを判断する。まだ全ての領域の撮像が完了していない場合は、ステップＳ１２に進み各領域の撮像等を繰り返す。
【００３１】
全ての領域の撮像が完了した場合はステップＳ１６に進み、分割された領域毎の変換画像を接合して、被写体１６の全体画像を生成し、処理を終了する。
【００３２】
次に、図４のステップＳ１４における射影変換部１７の処理の詳細について説明する。図５は、射影変換を説明するための図である。図５のように、回転軸をｘ軸とし、原稿設置面にｘｙ平面が水平になるよう、ｘｙｚ座標を設定する。回転による回転行列を
【００３３】
【数２】
2004135085.tif 000004
とし、光学中心の位置を
【００３４】
【数３】
2004135085.tif 000005
とすれば、射影変換行列は次のようになる。
【００３５】
【数４】
2004135085.tif 000006
分割画像の画素位置と、それを射影変換した画素位置をそれぞれ、
【００３６】
【数５】
2004135085.tif 000007
とすると、両者には以下の関係が成り立つ。
【００３７】
【数６】
2004135085.tif 000008
射影変換部１７は、（５）式、（６）式を用いて、各分割画像の射影変換を行う。
【００３８】
次に、図４のステップＳ１６における接合部１８の処理を説明する。上述の射影変換によってそれぞれ隣接する分割画像は、互いに接合される位置に変換されている。図６は、変換画像が接合される様子を模式的に示す図であり、射影変換部１７によって生成された４枚の変換画像がそれぞれの位置情報に基づいて接合された様子を示している。但し、移動部１２による回転角度の誤差が生じている場合は、各変換画像に関連付けられている位置情報に基づいて接合しただけでは接合部分に画像のずれが発生する。従って、接合部１８は、この４枚の変換画像の相対的な位置関係を微小量シフトさせ、画像が最も滑らかに接合できる位置を探す。
【００３９】
図７は、接合処理の詳細を説明するためのフローチャートである。
【００４０】
ステップＳ２０において、接合部１８は、撮像時において撮像光軸が原稿面に対して最も垂直方向に近い撮像位置で撮像された変換画像を基準画像として選択する。例えば図６においては、変換画像４１が基準画像として選択されたものとする。
【００４１】
ステップＳ２０に続いてステップＳ２１に進み、接合部１８は、変換画像４１と変換画像４１に隣接する他の変換画像との画像の位置合わせを行う。図６においては、接合部１８は、変換画像４１と変換画像４２との相互相関を計算することにより、最も相関値が高い位置を検索し、位置合わせを行う。
【００４２】
ステップＳ２１に続いてステップＳ２２に進み、接合部１８は、最も相関値が高い位置で変換画像４２を固定し、変換画像４１と変換画像４２とを接合した接合画像を生成する。
【００４３】
ステップＳ２２に続いてステップＳ２３に進み、接合部１８は、全ての変換画像の接合処理が完了したか否かを判断する。接合処理が完了していない場合はステップＳ２１に進み、既に生成された接合画像とまだ接合されていない変換画像を順番に接合し新たな接合画像を生成する。例えば、図６においては、ステップＳ２２に生成された接合画像と変換画像４３が接合されることにより新たな接合画像が生成され、さらに変換画像４４が接合される。
【００４４】
接合処理が完了し、分割されていた画像から一枚の全体画像が生成されると、接合部１８は処理を終了する。
【００４５】
上述したように本実施の形態における画像入力装置１０によれば、分割撮影して得られたそれぞれの分割画像データに対し射影変換を施し、さらに隣接する画像について相互相関を計算することにより接合処理を行うことにより画像のずれを補正するため、移動部１２による回転誤差が発生する場合においても画像が滑らかに接合された全体画像を得ることができる。従って、移動部１２は安価な機構で構成することができる共に、撮像部１１については微妙に位置がずれる可能性のある着脱可能な構成とすることもできる。
【００４６】
なお、上述した実施の形態においては、射影変換行列は撮像時に射影変換部１７が算出したが、予め算出した射影変換行列をメモリ８に記録しておき、その射影変換行例を利用して分割画像の射影変換を行ってもよい。射影変換部１７は、分割画像とその分割画像が撮影された位置情報に関するインデックスをメモリ８から取得する。更に、射影変換部１７はＬＵＴ（Ｌｏｏｋ−Ｕｐ　Ｔａｂｌｅ）を用い、そのインデックスに応じた射影変換行列を用いて分割画像を射影変換する。
【００４７】
射影変換行列は、実験的に分割撮影した際の分割画像及び位置情報に基づいて算出すればよい。そうすることによって、撮影時には画像入力装置１０の特性に応じた射影変換行列を利用して分割画像の射影変換を行うことが可能になるため、射影変換後の各変換画像の相対的な位置決をより正確にすることができる。従って、接合部１８による相互相関計算を行う範囲（シフト量）が抑えられ、接合処理の高速化を図ることができる。
【００４８】
更に、画像入力装置１０をＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等の情報処理装置に接続した構成をとることにより、射影変換部１７と接合部１８とによる処理をＰＣ等に行わせてもよい。図８は、画像入力装置をＰＣに接続した例を示す図である。図８において、画像入力装置１０は接続コード６０を介してＰＣ３０に接続されている。またＰＣ３０には、射影変換部１７及び接合部１８が実行する処理を実現するプログラムがインストールされている。
【００４９】
図９は、ＰＣに接続する場合の画像入力装置の機能構成例を示す図である。図９中、図２と同一部分には同一符号を付し、その説明は省略する。
【００５０】
Ｉ／Ｆ１９は、ＰＣ３０と接続するためのインタフェースである。送信スイッチ２０は、画像入力装置１０が撮像した画像等のＰＣ３０へ送信を指示するためのスイッチである。
【００５１】
上述した手順と同様の手順によって撮像された分割画像とその撮像時の回転角度は、送信スイッチ２０が押されることによりＩ／Ｆ１９によってＰＣ３０へ送信される。ＰＣ３０では、上述した射影変換、接合処理を行うことにより分割画像から被写体１６の全体画像を生成する。なお、ＰＣ３０において撮像時に射影変換行列を算出するのではなく、予め算出した射影変換行列を用いても良いのは上述した場合と同じである。この場合、メモリ８からは分割画像とその分割画像が撮像された際の位置情報に関するインデックスがＩ／Ｆ１９によってＰＣ３０へ送信される。ＰＣ３０ではＬＵＴ（Ｌｏｏｋ−Ｕｐ　Ｔａｂｌｅ）を用い、そのインデックスに応じた射影変換行列を用いて分割画像を射影変換する。
【００５２】
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００５３】
【発明の効果】
上述の如く、本発明によれば、分割撮影することにより得た各分割画像に対し所定の変換行列を適用し、画像の位置合わせをしつつ接合するため、各領域を撮像する際の位置決め精度が高くない安価な移動機構を利用して撮像した分割画像の接合精度を高めることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における画像入力装置の例を示す図である。
【図２】撮像部の機能構成例を示す図である。
【図３】分割撮影の方法を説明するための図である。
【図４】画像入力装置の処理を説明するためのフローチャートである。
【図５】射影変換を説明するための図である。
【図６】変換画像が接合される様子を模式的に示す図である。
【図７】接合処理の詳細を説明するためのフローチャートである。
【図８】画像入力装置をＰＣに接続した例を示す図である。
【図９】ＰＣに接続する場合の画像入力装置の機能構成例を示す図である。
【符号の説明】
１　　レンズ
２　　絞り機構
３　　撮像素子
４　　ＣＤＳ
５　　Ａ／Ｄ変換器
６　　ＴＧ
７　　ＩＰＰ
８　　メモリ
９　　ＭＰＵ
１０　　画像入力装置
１１　　撮像部
１２　　移動部
１３　　支持部
１４　　解像度指示部
１５　　撮像スイッチ
１６　　被写体
１７　　射影変換部
１８　　接合部
１９　　Ｉ／Ｆ
２０　　送信スイッチ
３０　　ＰＣ
６０　　接続コード
【図１】
2004135085.tif 000009
【図２】
2004135085.tif 000010
【図３】
2004135085.tif 000011
【図４】
2004135085.tif 000012
【図５】
2004135085.tif 000013
【図６】
2004135085.tif 000014
【図７】
2004135085.tif 000015
【図８】
2004135085.tif 000016
【図９】
2004135085.tif 000017