(57)【特許請求の範囲】
【請求項１】
被写体上で光学走査し、前記被写体上の画像を部分画像として撮像する第１の撮像手段を有し、前記部分画像を一枚の画像に合成する画像入力装置において、
前記第１の撮像手段に対して低解像度で高速の撮像機能を有し、走査中の画像を連続的に撮像する第２の撮像手段と、
前記第１の撮像手段で撮像した部分画像間の重なり量を、第２の撮像手段で撮像した画像から算出する重なり量算出手段と、
前記重なり量算出手段で算出された重なり量の大きさに応じて現在の部分画像の記録可否を決定する画像記録決定手段と、
を備えたことを特徴とする画像入力装置。
【請求項２】
さらに、前回の部分画像を入力した時刻からの経過時間を計時する計時手段を備え、
前記画像記録決定手段は、前記計時手段による経過時間を含む情報を用いて現在の部分画像の記録可否を決定することを特徴とする請求項１に記載の画像入力装置
【請求項３】
前記画像記録決定手段は、前記計時手段による経過時間にしたがって現在の部分画像の記録可否を決定することを特徴とする請求項２に記載の画像入力装置。
【請求項４】
前記画像記録決定手段は、画像入力装置の移動量が一定値以上である場合、画像入力をおこなわないことを特徴とする請求項１、２または３に記載の画像入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラや非接触型ハンディスキャナなどの画像入力装置に関し、より詳細には、走査中の部分画像間の重なり量が適当になるタイミングで取り込み、一枚の画像に合成する画像入力装置に関する。
【０００２】
【従来の技術】
昨今の携帯情報端末において、特にモバイルコンピュータにおける環境で、様々なドキュメントを入力したいという要求が高まってきている。このドキュメントは、Ａ４サイズの紙面から大判サイズのものまで多様である。このような要求に対し、現状のフラッドベットスキャナでは、持ち運びが不可能であったり、大判サイズの紙面の入力が不可能であるといった不具合があった。そこで、このような不具合を解消する方法が、たとえば特開平１１−７３４９４号公報に開示されている。上記公報では、入力装置を原稿面上に接触させて走査し、複数の部分画像として原稿画像取り込み、後にそれらを合成し、原稿画像を再現している。しかしながら、紙面上を接触させて走査する行為（操作）は、操作性が悪いために、入力時間がかかってしまう問題点がある。
【０００３】
一方、デジタルカメラを持ち運びのできるスキャナとして利用することも考えられる。このような技術は、たとえば特開平１１−９８４８５号公報に開示されている。ここでは、原稿側に入力装置を配置し、その入力装置で原稿の撮影を可能にし、特に斜め方向からの撮影による歪みを除去している。しかし、この公報に開示されている画像入力装置では、全体的に入力画像の解像度が不足がちになると共に、入力装置の手前にある部分と遠くにある部分とにおいて解像度が異なってしまうという問題点があった。
【０００４】
さて、デジタル撮像装置に高解像度化に伴い、ここ数年においてはＣＣＤ撮像素子の画素数が格段に向上しつつあるものの、細かい文字や模様を再現性よく撮影するにはまだ十分とはいえない。そこで、撮影対象の一部を部分画像として撮影し、この部分画像を合成することにより、あたかも、広い画角で高密度な画素を有する撮像素子で撮影した画像と同等の画像を生成する処理がおこなわれている。この部分画像の合成技術によって高精細な画像を生成する場合、部分画像を撮影するときに以下の点に注意をはらう必要がある。
【０００５】
すなわち、それぞれの部分画像は、隣り合う部分画像とオーバーラップする領域が必要となる。このオーバーラップ領域の画像情報によって、各部分画像の合成がおこなわれる。一般に、オーバーラップ領域が大きいほど画像合成の精度は向上するが、その反面、撮影すべき部分画像の枚数も増加し、画像合成における処理時間も増大してしまうことになる。
【０００６】
このように、部分画像を撮影する場合には、適当な画像枚数でオーバーラップ領域が確保されるように撮影する必要がある。しかし、このような操作は、撮影者に対してかなりのスキルと労力が要求される。そのため、このような不具合を解消するために、たとえば特開平７−１０７３７９号公報の「静止画像撮像装置」が開示されている。図において、符号１は被写体の一部を撮像して順に画像データを出力する撮像部、符号２は撮像部１の位置と姿勢とを測定して位置姿勢情報を出力する撮像位置姿勢測定部、符号３は撮像部１から順次送出されてくる画像データおよび撮像範囲情報と、撮像位置姿勢測定部２から送出されてくる位置姿勢情報とに基づいて、被写体上における各撮像画像の範囲を求める画像選択部、符号４は以前に取り込まれた画像が格納される内部メモリである。
【０００７】
この静止画像撮像装置では、入力装置を原稿上で手で保持し、撮像面を結像面上で機械的に移動させ、各位置で撮像画面がオーバーラップ領域を有するように部分画像を自動的に撮影する。しかしながら、大判サイズの紙面を入力することができず、かつ手振れの影響を考慮しなければならず、その結果、オーバーラップ領域を多めに取り込むことになる。
【０００８】
そこで、原稿上を非接触で手で走査しながら、最適なオーバーラップ量を確保した部分画像を取り込む画像入力装置が特開平９−２６１５２０号公報に開示されている。これは、図２０に示すように、入力装置（撮像部１）の位置姿勢を測定し、この位置姿勢の測定情報にしたがって原稿における現在の撮影範囲を算出し、該算出結果から、前に撮影した画像とのオーバーラップ量を推定することにより、走査中に適切なオーバーラップ量になった時点での画像の取り込みを実現している。また、ここでは、入力画像における両画像のパターンマッチング（相互相関）によりオーバーラップ領域の大きさを判定している。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記に示されるような従来の特開平９−２６１５２０号公報の画像入力装置にあっては、入力装置の被写体に対する６自由度の姿勢角、位置を検出することが必要であり、これら検出をおこなうには装置が大型化し、経済的にも高価なものになってしまうため、携帯型の装置としては実用的ではないという問題点があった。
【００１０】
また、入力画像からパターンマッチングによりオーバーラップ領域の大きさを判定しているが、このような処理を実現するには高速で画像を入力する必要があるため、非常に高価な撮像素子を必要としたり、使用できる環境が制限されるといった問題点があった。
【００１１】
本発明は、上記に鑑みてなされたものであって、前回の部分画像と現在の部分画像との撮像変位を簡単な構成で検出し、部分画像間の重なり量を算出することにより、合成時に必要な部分画像の重なり量を適切に確保し、小型で経済性の高い画像入力装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、請求項１にかかる画像入力装置にあっては、被写体上で光学走査し、前記被写体上の画像を部分画像として撮像する第１の撮像手段を有し、前記部分画像を一枚の画像に合成する画像入力装置において、前記第１の撮像手段に対して低解像度で高速の撮像機能を有し、走査中の画像を連続的に撮像する第２の撮像手段と、前記第１の撮像手段で撮像した部分画像間の重なり量を、前記第２の撮像手段で撮像した画像から算出する重なり量算出手段と、前記重なり量算出手段で算出された重なり量の大きさに応じて現在の部分画像の記録可否を決定する画像記録決定手段と、を備えたものである。
【００１３】
この発明によれば、たとえば、高速エリアセンサなどの第２の撮像手段を設けることにより、姿勢検出や移動検出が不要になると共に、重なり量を算出するために用いる画像を撮像する画像センサ（第２の撮像手段）を、部分画像の撮像に用いる画像センサ（第１の撮像手段）とは別に設けることにより、高解像度が必要な画像には第１の撮像手段、高速撮像には第２の撮像手段というような使い分けが可能になる。
【００１７】
この発明によれば、撮像体が走査されて移動した場合、その移動後の角度変化あるいは相対位置の情報を取得し、該取得した値を用いて前回取り込んだ部分画像と今回取り込んだ部分画像との重なり量を算出し、その算出結果があらかじめ定めた値より小さい場合に現在の部分画像を記録し、他方、上記値より重なり量が大きい場合は記録をおこなわないようにすることにより、画像入力時における回転の大きい操作者や使用環境であっても、合成時に必要な重なり量を適切に確保する装置を、従来のように被写体に対する６自由度の位置姿勢を検出する装置構成に対し、簡単な構成で実現可能となる。
【００２６】
また、請求項２にかかる画像入力装置にあっては、さらに、前回の部分画像を入力した時刻からの経過時間を計時する計時手段を備え、前記画像記録決定手段は、前記計時手段による経過時間を含む情報を用いて現在の部分画像の記録可否を決定するものである。
【００２７】
この発明によれば、請求項１に記載の画像入力装置において、計時手段により、前回の部分画像を入力した時刻からの経過時間を計時し、その値を用いて重なり量を算出することにより、各センサがノイズなど何らかの原因で良好な検出ができない場合などが発生した場合、特に有効となる。
【００２８】
また、請求項３にかかる画像入力装置にあっては、前記画像記録決定手段は、前記計時手段による経過時間にしたがって現在の部分画像の記録可否を決定するものである。
【００２９】
この発明によれば、姿勢検出手段などの特別な手段によらず、前回の部分画像を入力した時刻からの経過時間を計時する計時手段を設け、該計時手段の出力値に応じ、重なり量を確保しながら分割画像の入力が可能になる。
【００３０】
また、請求項４にかかる画像入力装置にあっては、前記画像記録決定手段は、画像入力装置の移動量が一定値以上である場合、画像入力をおこなわないものである。
【００３１】
この発明によれば、画像入力装置が、あらかじめ設定された移動量以上である場合は画像の取り込みをおこなわないようにし、移動量が大きいことに起因するぶれ画像の取り込みを回避する。
【００３２】
【発明の実施の形態】
以下、本発明にかかる画像入力装置の好適な実施の形態に突いて添付図面を参照し、詳細に説明する。なお、本発明はこの実施の形態に限定されるものではない。
【００３３】
図１は、本発明の実施の形態にかかる画像入力装置の基本構成を示すブロック図である。図において、符号１０は被写体像を取り込んで撮像素子に結像させるレンズ、符号１１はＣＣＤなどを用い、レンズ１０によって結像された被写体像の画像信号を得る撮像素子、符号１２は撮像素子１１から送出された画像信号（アナログ値）をデジタル信号に変換するＡ／Ｄ変換器、符号１３はＡ／Ｄ変換器１２によってデジタル値に変換された画像信号に対し、各種の補正処理や圧縮処理を行うＭＰＵ、符号１４はＭＰＵ１３で処理された画像を格納する画像メモリ、符号１５はＬＣＤなどの表示パネルで構成され、画像メモリ１４に格納され直前の画像や画像メモリ１４に格納されている画像が表示される表示装置、符号１６は画像取り込み操作や電源のＯＮ／ＯＦＦなどをおこなう操作部、符号１７は画像取り込み時に用いるスイッチである。なお、上述した構成要素の他に、必要に応じて、フォーカシング用の測距センサ、ズーム倍率の設定機構、各種モードの設定機構などを設けてもよい。
【００３４】
つぎに、以上のように構成された画像入力装置の動作について説明する。図２は、画像取り込み〜合成処理までの操作および処理を示すフローチャートである。図３は、画像入力装置による撮像操作の状態を示す説明図である。図４は、取り込まれる画像の状態を示す説明図である。
【００３５】
まず、図３に示すように、操作者は画像入力装置２１を手にもち、文書原稿、新聞紙面、パネルなどの画像情報として入力対象の被写体２０に対し、スイッチ１７をＯＮし（ステップＳ１１）、そのＯＮ状態のまま被写体２０の上を非接触に走査する。この走査中に、所定のタイミングで被写体画像を複数に分割した画像に相当する部分画像を取り込む（ステップＳ１２）。その後、スイッチ１７をＯＦＦとし（ステップＳ１３）、合成処理をおこなう（ステップＳ１４）。
【００３６】
すなわち、上述の画像取り込みにおいて、たとえば図４に示す（ａ）〜（ｄ）の順に画像が取り込まれた場合には、これらを合成することにより、被写体２０の全画像あるいは必要部分を、被写体２０と同様に高精細で広範囲な一枚の画像として生成する。なお、この画像合成は、画像入力装置２１本体内でおこなってもよく、また、部分画像をパーソナルコンピュータなどに転送し、パーソナルコンピュータ上でおこなってもよい。また、画像取り込みのための操作方法は上述した例に限らず、たとえば、スイッチ１７を設けずに走査を開始した場合に自動的に画像取り込みを開始してもよい。
【００３７】
つぎに、部分画像の合成方法について説明する。図５は、本発明の実施の形態にかかる部分画像の合成手順を示すフローチャートである。図６は、部分画像Ｐ（１）、Ｐ（２）およびＰ（１）の特徴点に対応する対応点抽出例を示す説明図である。
【００３８】
ここで、部分画像をＰ（ｉ）（ｉ＝１〜Ｎ）とし、部分画像は全部でＮ枚とする。まず、図６（ａ）に示すように、部分画像Ｐ（１）、ｉ＝１をロードし（ステップＳ２１）、部分画像Ｐ（１）から特徴点を自動的に抽出する（ステップＳ２２）。このとき、部分画像Ｐ（１）が図６（ａ）とした場合、丸印で囲んだようなコーナー部分６０〜６６を特徴点として抽出することが好ましい。このような特徴点は、微分フィルタなどを用いて抽出することができる。
【００３９】
続いて、部分画像Ｐ（１）に隣接する部分画像Ｐ（２）、（ｉ＋１）をロードし（ステップＳ２３）、部分画像Ｐ（１）の特徴点に対応する対応点を抽出する（ステップＳ２４）。この部分画像Ｐ（２）を図６（ｂ）とした場合、特徴点６０〜６６に対応する対応点６０’〜６６’が抽出される。このような対応点抽出は、Ｐ（１）上の各特徴点を中心とする小画像領域の、Ｐ（２）上で相関値を求め、その相関が極大となる領域の中心を対応点として抽出すればよい。
【００４０】
続いて、後述する射影変換パラメータを算出し（ステップＳ２５）、これら特徴点と対応点の関係からＰ（１）、Ｐ（２）を合成し一枚の画像を生成する（ステップＳ２６）。この２つの画像の合成処理例について以下に説明する。
【００４１】
Ｐ（１）上のある点の座標を（ｘ，ｙ）とし、それに対応するＰ（２）上の座標を（ｘ’，ｙ’）とする。被写体が紙面や壁などの平面であったり、遠方の物体である場合、下記式（１）の関係が成り立つ。
【００４２】
【数１】
0003817119.tif 000002
【００４３】
なお、（１）式におけるｈ０〜ｈ７は射影変換パラメータと呼ばれるものであり、２つの画像間に固有の定数である。したがって、特徴点と対応点のペアが４組以上あれば、この射影変換パラメータが求まる。一般に、画像にはノイズが含まれているので、数十個のペアを用い、最小自乗法でこの射影変換パラメータを算出する。
【００４４】
このように射影変換パラメータが算出されると、上記式（１）を用いることにより、Ｐ（２）のすべての画素が、Ｐ（１）上のどの位置に配置されるかが計算される。よって、Ｐ（１）とＰ（２）は合成され一枚の画像（これを新たにＰ（１）とする）になる。以上の処理を、すべての部分画像が一枚の画像として合成されるまで同様の計算処理を繰り返し実行する。すなわち、ｉを一つインクリメントし（ステップＳ２７）、ｉがＮとなるまで（ステップＳ２８）になるまで同様の処理を実行する。
【００４５】
すなわち、図４に示したような部分画像の例では、図７の（ａ）から（ｃ）に示すように、４枚の画像が順次生成され，一枚の合成画像が生成され、広範囲で高精細な画像の生成が可能となる。
【００４６】
つぎに、部分画像間のオーバーラップ領域を適切な量だけ確保するために、所定のタイミングで部分画像を取り込む装置の構成および動作の具体例を挙げて説明する。
【００４７】
（実施の形態１）
図８は、本発明の実施の形態１にかかる画像入力装置の構成を示すブロック図である。図において、符号３０は画像入力装置の、ある時刻間での相対位置を検出する相対位置検出部、符号３１は相対位置検出部３０の検出値から部分画像間の重なり量（オーバーラップ領域）を検出する重なり量算出部、符号３２は重なり量算出部３１で算出された重なり量から現部分画像の記録可否を決定する画像記録決定部である。なお、他の構成要素は図１と同様であるので同一符号を付しその説明は省略する。
【００４８】
相対位置検出部３０は、たとえば、撮像面に対して略平行な方向で、互いに略直交する加速度を検出する加速度センサと積分回路より構成されている。加速度センサとしては、たとえば、小型で安価な圧電式加速度センサを用いる。
【００４９】
ここで、前回、部分画像を取り込んだ時刻をｔとすると、相対位置検出部３０により、現時刻ｔ＋Δｔにおける時刻ｔとの相対位置が検出可能になる。加速度値から相対位置を検出する場合、２回積分して計算するが、積分定数（初期速度）が不明である。しかし、画像取り込み開始時の速度が０と仮定することができるので、積分定数を０として計算する。
【００５０】
図９は、本発明の実施の形態１にかかる画像入力装置の重なり量検出例を示す説明図である。図９において、符号４０は図８で示した機能要素を含む画像入力装置、符号４１は被写体面である。
【００５１】
ここで、画像入力装置４０がｘ方向にｄｘだけ相対位置が変位したとする。また、画像入力装置４０の撮像面と被写体面４１とは平行であると仮定する。さらに、画像入力装置４０の被写体面４１までの距離をｌと仮定する。この距離ｌは操作者が被写体を入力するときの最近接値に設定することが望ましい。
【００５２】
画像入力装置４０のｘ方向の画角を２×θｘとすると、部分画像がオーバーラップする領域の長さｐｘ１は次式で表される。
ｐｘ１＝２ｌｔａｎθｘ−ｄｘ      ・・・（２）
同様に、画像面に平行でｘ方向と直交するｙ方向において、部分画像がオーバーラップする領域の長さｐｙ１は次式で表される。
ｐｙ１＝２ｌｔａｎθｙ−ｄｙ      ・・・（３）
ただし、画像入力装置４０のｙ方向への相対変位量をｄｙ、ｙ方向の画角を２×θｘとする。このような、ｐｘ１およびｐｙ１の算出が重なり量算出部３１でおこなわれる。
【００５３】
その後、この算出されたｐｘ１およびｐｙ１は、画像記録決定部３２において所定のしきい値ｔｘ、ｔｙと比較される。このとき、
ｐｘ１＜ｔｘあるいはｐｙ１＜ｔｙ
になると、画像記録信号をＭＰＵ１３に送信し、画像の取り込みがおこなわれる。画像が取り込まれると、隣接するつぎの新たな画像を取り込むべく、再びこの位置を基準としてｐｘ１およびｐｙ１が算出され、画像記録の要否が判定される。なお、上述した重なり量算出部３１、画像記録決定部３２は、ＭＰＵ１３内のソフトウェアによって実現することもできる。
【００５４】
したがって、この実施の形態１によれば、相対位置検出部３０で画像入力装置の相対位置の、少なくとも撮像面に略平行な方向成分を検出し、重なり量算出部３１によって走査中の画像入力装置が入力できる部分画像の、これまでに入力した部分画像の少なくとも一枚との重なり量を姿勢検出値と移動速度から算出し、その重なり量から現部分画像を記録要否を画像記録決定部３２で決定することにより、従来のように被写体に対する６自由度の位置姿勢検出をおこなう装置構成に対し、合成時に必要な重なり量を、小型で安価な構成で確保することができる。
【００５５】
（実施の形態２）
図１０は、本発明の実施の形態２にかかる画像入力装置の構成を示すブロック図である。図において、符号５０は画像入力装置の、ある時刻間での角度変化を検出する角度検出部、符号５１は角度検出部５０の検出値から部分画像間の重なり量（オーバーラップ領域）を検出する重なり量算出部、符号５２は重なり量算出部５１で算出された重なり量から現部分画像の記録可否を決定する画像記録決定部である。なお、他の構成要素は図１と同様であるので同一符号を付しその説明は省略する。
【００５６】
角度検出部５０は、たとえば、撮像面に略平行な方向で、互いに略直交する２軸回りの回転角速度を検出するジャイロセンサと積分回路より構成されている。ジャイロセンサとしては、たとえば、物体の運動をコリオリの力で検出し、正三角柱の振動を音叉の振動数と等しい振動トルクに変換し、回転角速度を電圧の変位量として取り出す圧電振動ジャイロセンサを用いる。角速度から角度変化を検出する場合、１回積分にて計算する。前回、部分画像を取り込んだ時刻をｔとすると、この角度検出部５０により、現時刻ｔ＋Δｔにおける時刻ｔとの角度変化を検出することができる。
【００５７】
これ以外にも、加速度センサと磁気センサを用いて絶対角度を検出し、角度変化を計算してもよい。磁気センサとしては、半導体ホール素子、半導体磁気抵抗素子、磁性体磁気抵抗素子、磁気誘導型磁気センサといったものを用いる。
【００５８】
図１１は、本発明の実施の形態２にかかる画像入力装置の重なり量検出例を示す説明図である。図において、符号７０は図１０のごとく構成された画像入力装置、符号７１は被写体面である。
【００５９】
ここで、画像入力装置７０がｙ軸まわりにφｙだけ角度変化したとする。また、ｘ軸、ｙ軸は撮像面に平行で、画像入力装置７０の光学中心を通り、互いに直交する軸とする。さらに、画像入力装置７０の被写体面７１の距離をｌ、時刻ｔでの画像入力装置７０の位置に対する時刻ｔ＋Δｔでの相対位置を（ｅｘ，ｅｙ）と仮定する。距離ｌは操作者が被写体を入力するときの最近接値に設定することが望ましく、また、（ｅｘ，ｅｙ）は（０，０）としてもよい。
【００６０】
画像入力装置７０のｘ方向の画角を２×θｘとすると、部分画像がオーバーラップする領域のｘ方向の長さｐｘ２は次式で与えられる。
ｐｘ２＝ｌｔａｎθｘ＋ｌｔａｎ（θｘ＋φｙ）−ｅｘ      ・・・（４）
同様に、部分画像がオーバーラップする領域のｙ方向の長さｐｙ２は次式であわわされる。
ｐｙ２＝ｌｔａｎθｙ＋ｌｔａｎ（θｙ＋φｘ）−ｅｙ      ・・・（５）
ただし、画像入力装置７０のｙ方向の画角を２×θｙとする。このようなｐｘ２、ｐｙ２の算出が重なり量算出部５１でおこなわれる。
【００６１】
その後、上記ｐｘ２、ｐｙ２は、画像記録決定部５２で所定のしきい値ｔｘ、ｔｙと比較される。そして、
ｐｘ２＜ｔｘあるいはｐｙ２＜ｔｙ
になると、画像記録信号をＭＰＵ１３に送信し、画像が取り込まれる。
【００６２】
画像が取り込まれると、隣接するつぎの新たな画像を取り込むべく、再びこの位置を基準としてｐｘ２、ｐｙ２を算出し、画像記録の要否を判定する。なお、上述した重なり量算出部５１、画像記録決定部５２は、ＭＰＵ１３内のソフトウェアによって実現することもできる。また、この実施の形態においては、画像入力装置７０の撮像面と被写体面７１は、時刻ｔにおいて平行であると仮定したが、最初の部分画像Ｐ（１）が取り込まれるときの時刻において平行と仮定し、角度変化を算出してもよい。
【００６３】
したがって、この実施の形態２によれば、角度検出部５０によって画像入力装置７０の回転角の、少なくとも光軸と略直交し互いに略直交する２軸まわりの成分を検出し、重なり量算出部５１によって、走査中の画像入力装置７０が入力できる部分画像の、これまでに入力した部分画像の少なくとも一枚との重なり量を、角速度から算出し、その重なり量から現部分画像を記録要否を画像記録決定部５２で決定することにより、画像入力装置が、回転の大きい操作者や使用環境において、従来よりも小型で安価な構成で、合成時に必要な重なり領域を確保することができる。
【００６４】
（実施の形態３）
図１２は、本発明の実施の形態３にかかる画像入力装置の構成を示すブロック図である。図において、符号８０は画像入力装置の、ある時刻間での姿勢角度変化を検出する角度検出部、符号８１は画像入力装置の、ある時刻間での相対位置を検出する相対位置検出部、符号８２は角度検出部８０の検出値あるいは相対位置検出部８１の検出値から部分画像間の重なり量（オーバーラップ領域）を検出する重なり量算出部、符号８３は重なり量算出部８２で算出された重なり量から現部分画像の記録可否を決定する画像記録決定部である。なお、他の構成要素は図１と同様であるので同一符号を付しその説明は省略する。
【００６５】
角度検出部８０は、たとえば、撮像面に略平行な方向で、互いに略直交する２軸回りの回転角速度を検出するジャイロセンサと積分回路より構成されている。角速度から角度変化を検出する場合、１回積分にて計算する。相対位置検出部８１は、たとえば撮像面に略平行な方向で、互いに略直交する加速度を検出する加速度センサと積分回路より構成されている。
【００６６】
加速度値から相対位置を検出する場合、２回積分にて計算するが、積分定数（初期速度）が不明である。しかし、画像取り込み開始時の速度が０と仮定することができるので、積分定数を０として計算する。また、加速度値に重力成分が混入する。しかし、画像取り込み開始時の走査による加速度が０ならば、そのときの加速度値が重力によるものとなる。
【００６７】
ここで時刻０を画像取り込み開始時とし、そのときの加速度センサの値を次式であらわす。
【００６８】
【数２】
0003817119.tif 000003
【００６９】
つぎに、時刻ｔにおいて加速度センサで得られた値を次式であらわす。
【００７０】
【数３】
0003817119.tif 000004
【００７１】
角度検出部８０によって時刻ｔにおける時刻０に対する回転角度変位は検出することができる。この３軸回転行列をＲとすると、時刻ｔにおける重力方向は次式であらわされる。
【００７２】
【数４】
0003817119.tif 000005
【００７３】
そこで、時刻ｔにおいて走査による加速度成分は、次式であらわされる。
【００７４】
【数５】
0003817119.tif 000006
【００７５】
これらにより、前回、部分画像を取り込んだ時刻をｔとすると、現時刻ｔ＋Δｔにおける時刻ｔとの相対位置、角度変化を検出することができる。
【００７６】
図１３は、本発明の実施の形態３にかかる画像入力装置の重なり量検出例を示す説明図である。図において、符号９０は図１２のごとく構成された画像入力装置、符号９１は被写体面である。
【００７７】
ここで、画像入力装置９０がｙ軸まわりにφｙだけ角度変化したとする。また、画像入力装置９０の相対位置を（ｄｘ，ｄｙ，ｄｚ）とする。ｘ軸、ｙ軸は撮像面に平行で、画像入力装置９０の光学中心を通り、互いに直交する軸とする。画像入力装置９０の撮像面と被写体面９１は、時刻ｔにおいて平行であると仮定する。また、画像入力装置９０の被写体までの距離をｌと仮定する。距離ｌは操作者が被写体を入力するときの最近接値を設定することが望ましい。
【００７８】
画像入力装置９０のｘ方向の画角を２×θｘとすると、部分画像がオーバーラップする領域のｘ方向の長さｐｘ３は式（６）であらわされる。
ｐｘ３＝ｌｔａｎθｘ＋ｌｔａｎ（θｘ＋φｙ）−ｄｘ    ・・・（６）
同様に、部分画像がオーバーラップする領域のｙ方向の長さｐｙ３は式（７）であらわされる。
ｐｙ３＝ｌｔａｎθｙ＋ｌｔａｎ（θｙ＋φｘ）−ｄｙ    ・・・（７）
【００７９】
ただし、画像入力装置９０のｙ方向の２×θｙとする。このようなｐｘ３、ｐｙ３の算出が重なり量算出部８２でおこなわれる。その後、上記ｐｘ３、ｐｙ３は、画像記録決定部８３で所定のしきい値ｔｘ、ｔｙと比較される。そして、
ｐｘ３＜ｔｘあるいはｐｙ３＜ｔｙ
になると、画像記録信号をＭＰＵ１３に送信し、画像が取り込まれる。
【００８０】
画像が取り込まれると、隣接するつぎの新たな画像を取り込むべく、再びこの位置を基準としてｐｘ２、ｐｙ２を算出し、画像記録の要否を判定する。なお、上述した重なり量算出部８２、画像記録決定部８３は、ＭＰＵ１３内のソフトウェアによって実現することもできる。また、この実施の形態においては、画像入力装置９０の撮像面と被写体面９１は、時刻ｔにおいて平行であると仮定したが、最初の部分画像Ｐ（１）が取り込まれるときの時刻において平行と仮定し、角度変化を算出してもよい。
【００８１】
したがって、この実施の形態３によれば、角度検出部８０によって画像入力装置の姿勢を検出すると共に、相対位置検出部８１によって画像入力装置の相対位置を検出し、重なり量算出部８２により走査中の画像入力装置が入力できる部分画像の、これまでに入力した部分画像の少なくとも一枚の重なり量を、姿勢検出と移動速度から算出し、その重なり量から現部分画像の記録要否を画像記録決定部８３で決定することにより、さらに信頼性の高い装置が、小型で低コストで実現することができる。
【００８２】
（実施の形態４）
この実施の形態４では、前述した実施の形態１から３の何れかにおいて、画像入力装置の略光軸方向の、被写体との距離を計測する測距センサを設ける。すなわち、図８、図１０または図１２の構成において、ＭＰＵ１３に測距センサを接続する。図１４は、図８、図１０または図１２の構成に測距センサ１０１を付加した画像入力装置１００における重なり量検出例を示す説明図である。図において、符号１００は画像入力装置、符号１０１は測距センサ１０１、符号１０２は被写体面である。
【００８３】
この測距センサ１０１は、測距センサ１０１としては、超音波方式、光学方式、渦電流方式のいずれであってもよい。たとえば、赤外線ビームの散乱光を検出して三角測量で距離を計算するなどのアクティブな方式でもよいし、焦点距離から求めるパッシブな欲しきであってもよい。あるいは測距センサ１０１としてオートフォーカスに用いる機能を兼用してもよい。
【００８４】
ここで、図１４に示すように、画像入力装置１００が左の位置から右の位置に移動したとする。左の位置における測距センサ１０１で得られた距離情報をｌ１、右に移動したときに測距センサ１０１で得られた距離情報をｌ２とする。この場合、実施の形態１で示したｐｘ１、ｐｙ１は、式（８）であらわされる。
ｐｘ１＝（ｌ１＋ｌ２）ｔａｎθｘ−ｄｘ          ・・・（８）
ｐｙ１＝（ｌ１＋ｌ２）ｔａｎθｙ−ｄｙ
【００８５】
また、実施の形態２でｐｘ２、ｐｙ２は、式（９）であらわされる。
ｐｘ２＝ｌ１ｔａｎθｘ＋ｌ２ｓｉｎ（θｘ＋φｙ）−ｅｘ    ・・・（９）
ｐｙ２＝ｌ１ｔａｎθｙ＋ｌ２ｓｉｎ（θｙ＋φｘ）−ｅｙ
【００８６】
また、実施の形態２でｐｘ３、ｐｙ３は、式（１０）であらわされる。
ｐｘ３＝ｌ１ｔａｎθｘ＋ｌ２ｓｉｎ（θｘ＋φｙ）−ｄｘ  ・・・（１０）
ｐｙ３＝ｌ１ｔａｎθｙ＋ｌ２ｓｉｎ（θｙ＋φｘ）−ｄｙ
【００８７】
したがって、この実施の形態４によれば、実施の形態１〜３の画像入力装置に被写体との距離を検出する測距センサ１０１を設け、重なり量検出部が、測距センサ１０１による距離情報を用いて部分画像間の重なり量を検出することにより、さらに正確に、合成時に必要な重なり領域を確保することができる。
【００８８】
（実施の形態５）
この実施の形態５では、前述した実施の形態１〜４において、被写体の傾きを検出し、それを重なり量算出に用いる。被写体の傾きを検出する場合、画像入力装置から互いに平行ではない少なくとも３方向の、被写体との距離を計測する測距センサ（図１４において測距センサ１０１を互いに平行ではない３方向に設置する）を設ける。この場合、少なくとも３方向の距離が分かれば、被写体面の画像入力装置に対する法線ベクトル（ａ，ｂ，ｃ）を算出することができる。
【００８９】
被写体面に平行で互いに直交する軸をｘ軸、ｙ軸とすると、被写体に対する画像入力装置の傾き、すなわちｘ軸まわり、ｙ軸まわりの回転角ψｘ，ψｙを、式（１１）により求める。
【００９０】
【数６】
0003817119.tif 000007
【００９１】
上記式により、式（８）〜（１０）はそれぞれ式（１２）〜１４）で表現される。
ｐｘ１＝（ｌ１＋ｌ２）ｔａｎ（θｘ＋ψｙ）−ｄｘ
ｐｙ１＝（ｌ１＋ｌ２）ｔａｎ（θｙ＋ψｘ）−ｄｙ
上記２つが式（１２）
ｐｘ２＝ｌ１ｔａｎ（θｘ＋ψｙ）＋ｌ２ｓｉｎ（θｘ＋ψｙ＋φｙ）−ｅｘ
ｐｙ２＝ｌ１ｔａｎ（θｙ＋ψｘ）＋ｌ２ｓｉｎ（θｙ＋ψｘ＋φｘ）−ｅｙ
上記２つが式（１３）
ｐｘ３＝ｌ１ｔａｎ（θｘ＋ψｙ）＋ｌ２ｓｉｎ（θｘ＋ψｙ＋φｙ）−ｄｘ
ｐｙ３＝ｌ１ｔａｎ（θｙ＋ψｘ）＋ｌ２ｓｉｎ（θｙ＋ψｘ＋φｘ）−ｄｙ
上記２つが式（１４）
【００９２】
したがって、この実施の形態５によれば、実施の形態１から３において、被写体との距離を検出し、重なり量検出部がこの距離を用いて重なり量を算出することにより、画像入力装置側の位置姿勢に関する情報だけでなく、被写体の姿勢に関する情報も入力されるので、さらに正確に合成時に必要な重なり領域を確保することができる。
【００９３】
（実施の形態６）
図１５は、本発明の実施の形態６にかかる画像入力装置の構成を示すブロック図である。図において、符号１１０は被写体の垂直方向の移動量を測定するラインセンサ、符号１１１は被写体の水平方向の移動量を測定するラインセンサ、符号１１２はラインセンサ１１０，１１１の出力値から部分画像間の重なり量を算出する重なり量算出部、符号１１３は重なり量算出部１１２による重なり量から現部分画像を記録するか否かを決定する画像記録決定部である。なお、他の構成要素は図１と同様であるので同一符号を付しその説明は省略する。
【００９４】
このように、ラインセンサ１１０とラインセンサ１１１とは略直交する関係に配置されている。図１６はラインセンサの時刻ｔと時刻ｔ＋Δｔの出力関係を示す説明図である。図１６の（ａ）に示すように、前回、部分画像を取り込んだ時刻ｔにおけるラインセンサ１１０，１１１の入力波形と、（ｂ）に示すように、現時刻ｔ＋Δｔにおける入力波形から、重なり量算出部１１２が部分画像の移動量を算出する。ここで、ラインセンサ１１０，１１１それぞれの移動量をｐｘ，ｐｙとする。この移動量は、画像記録決定部１１３において、所定のしきい値ｔｘ，ｔｙと比較される。
【００９５】
上記画像記録決定部１１３による比較の結果が、
ｐｘ＜ｔｘあるいはｐｙ＜ｔｙ
になった場合、画像記録信号をＭＰＵ１３に送信し、部分画像の取り込みが行われる。部分画像が取り込まれると、隣接するつぎの新たな部分画像を取り込むべく、再びこの位置でのラインセンサ１１０，１１１それぞれの値を基準とし、重なり量算出部１１２によってｐｘ，ｐｙを算出し、画像記録決定部１１３によって画像記録の要否を判定する。なお、重なり量算出部１１２、画像記録決定部１１３はＭＰＵ１３内のソフトウェアとして実現してもよい。
【００９６】
このように、互いに直交するラインセンサ１１０，１１１を配置し、走査中の画像入力装置が入力できる部分画像の、これまでに入力した部分画像の少なくとも一枚の重なり量を、ラインセンサ１１０，１１１の移動量から算出し、現部分画像の記録可否を決定することにより、精度および信頼性の面で不安な画像入力装置の姿勢検出や移動速度検出を行う必要がなくなる。
【００９７】
（実施の形態７）
図１７は、本発明の実施の形態７にかかる画像入力装置の構成を示すブロック図である。図において、符号１２０は撮像素子１１とほぼ同じ領域の画像を高速に取り込む高速エリアセンサ、符号１２１は高速エリアセンサ１２０で取り込んだ部分画像の重なり量を検出する重なり量検出部、符号１２２は重なり量算出部１２１による重なり量から現部分画像を記録するか否かを決定する画像記録決定部である。なお、他の構成要素は図１と同様であるので同一符号を付しその説明は省略する。
【００９８】
以上の構成において、まず、高速エリアセンサ１２０で撮像素子１１とほぼ同一領域の画像を入力する。そして、前回、部分画像を取り込んだ時刻ｔにおける高速エリアセンサ１２０への入力画像と、現時刻ｔ＋Δｔにおける高速エリアセンサ１２０への入力画像の重なり量を、重なり量算出部１２１で算出する。
【００９９】
この重なり量の算出方法は、両画像での相互相関を求め、最大値を示す位置から両者の重なり領域の大きさを求めればよい。たとえば、図１８に示すように、時刻ｔでの取得画像と時刻ｔ＋Δｔでの取得画像とが重なっていると算出された場合、ｐｘ，ｐｙを求める。そして、これらの値を用い、画像記録決定部１２２で所定のしきい値ｔｘ，ｔｙと比較する。
【０１００】
そして、上記画像記録決定部１２２による比較の結果が、
ｐｘ＜ｔｘあるいはｐｙ＜ｔｙ
になった場合、画像記録信号をＭＰＵ１３に送信し、部分画像の取り込みが行われる。部分画像が取り込まれると、隣接するつぎの新たな部分画像を取り込むべく、再びこの位置でのラインセンサ１１０，１１１それぞれの値を基準とし、重なり量算出部１２１によってｐｘ，ｐｙを算出し、画像記録決定部１２２によって画像記録の要否を判定する。なお、重なり量算出部１２１、画像記録決定部１２２はＭＰＵ１３内のソフトウェアとして実現してもよい。
【０１０１】
このように、走査中の画像を連続的に撮像する高速エリアセンサ１２０を設け、走査中の画像入力装置が撮像素子１１で撮像できる部分画像の少なくとも一枚の重なり量を高速エリアセンサ１２０で撮像された画像から算出し、現部分画像の記録可否を決定することにより、精度および信頼性の面で不安な画像入力装置の姿勢検出や移動速度検出を行う必要がなくなる。また、重なり量を検出するために用いる高速エリアセンサ１２０を、分割画像の撮像に用いる撮像素子１１とは別に設けることにより、高解像度が必要な分割画像の撮像には通常の撮像素子１１を用い、他方、高速読み出しが必要な重なり量算出用の撮像には高速で低画素数の高速エリアセンサ１２０を用いる、というような選択的なモードが実現し、従来の装置に対しても経済的で、かつ機能向上を図ることができる。
【０１０２】
（実施の形態８）
図１９は、本発明の実施の形態８にかかる画像入力装置の構成を示すブロック図である。図において、符号１３０は前回の部分画像を取り込んだときからの時間を計時するタイマ、符号１３１はタイマ１３０による計時から現部分画像を記録するか否かを決定する画像記録決定部である。なお、他の構成要素は図１と同様であるので同一符号を付しその説明は省略する。
【０１０３】
以上の構成において、まず、タイマ１３０により、前回の部分画像を取り込んだ入力時刻からの経過時間を計時する。そして、画像記録決定部１３１において、この計時時間と所定のしきい値とを比較する。比較の結果、計時時間が所定のしきい値を超えると、画像記録信号をＭＰＵ１３に送信し、部分画像の取り込みが行われる。部分画像が取り込まれると、隣接するつぎの新たな部分画像を取り込むべく、タイマ１３０をリセットした後に計時を再開し、画像記録の可否を判定する。この動作は、前述した実施形態１〜７で述べた画像入力装置に付加することも可能である。この場合、上述した各実施の形態における部分画像の入力条件を満たさなくても、計時時間が上記しきい値を超えたならば画像を取り込むことにすればよい。なお、画像記録決定部１３１はＭＰＵ１３内のソフトウェアとして実現してもよい。
【０１０４】
このように、前画像入力からの経過時間を計時するタイマ１３０を設け、タイマ１３０による経過時間が所定値以上になった場合に、現部分画像を取り込むことにより、部分画像の重なり量を確保しながら部分画像を入力することができる構成となるので、装置の小型化が図られ、経済性も向上する。
【０１０５】
【発明の効果】
以上説明したように、本発明にかかる画像入力装置（請求項１）によれば、たとえば、高速エリアセンサなどの第２の撮像手段を設けたので、精度および信頼性の面において不安であった姿勢検出や移動検出が不要になると共に、重なり量を算出するために用いる画像を撮像する画像センサ（第２の撮像手段）を、部分画像の撮像に用いる画像センサ（第１の撮像手段）とは別に設けたので、高解像度が必要な画像には第１の撮像手段を、高速撮像時には第２の撮像手段というように使い分けの装置が経済的に実現する。
【０１１２】
また、本発明にかかる画像入力装置（請求項２）によれば、請求項１に記載の画像入力装置において、計時手段により前回の部分画像を入力した時刻からの経過時間を計時し、その値を用いて重なり量を算出することにより、各センサがノイズなど何らかの原因で良好な検出ができない場合などが発生しても、計時手段の情報を用いることができる。
【０１１３】
また、本発明にかかる画像入力装置（請求項３）によれば、姿勢検出手段などの特別な手段によらず、前回の部分画像を入力した時刻からの経過時間を計時する計時手段を設け、該計時手段の出力値に応じ、重なり量を確保しながら分割画像の入力が可能になるため、特別な検出手段を設けなくてもよく、かつ画像入力装置の小型化および低コスト化が実現する。
【０１１４】
また、本発明にかかる画像入力装置（請求項４）によれば、請求項１、２または３に記載の画像入力装置において、画像入力装置が、あらかじめ設定された移動量以上である場合は画像の取り込みを停止するため、移動量が大きい場合に生じるぶれ画像（不要画像）を取り込まなくてもよくなる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる画像入力装置の基本構成を示すブロック図である。
【図２】画像取り込み〜合成処理までの操作および処理を示すフローチャートである。
【図３】画像入力装置による撮像操作の状態を示す説明図である。
【図４】取り込まれる画像の状態を示す説明図である。
【図５】本発明の実施の形態にかかる部分画像の合成手順を示すフローチャートである。
【図６】部分画像Ｐ（１）、Ｐ（２）およびＰ（１）の特徴点に対応する対応点抽出例を示す説明図である。
【図７】部分画像の合成過程を示す説明図である。
【図８】本発明の実施の形態１にかかる画像入力装置の構成を示すブロック図である。
【図９】本発明の実施の形態１にかかる画像入力装置の重なり量検出例を示す説明図である。
【図１０】本発明の実施の形態２にかかる画像入力装置の構成を示すブロック図である。
【図１１】本発明の実施の形態２にかかる画像入力装置の重なり量検出例を示す説明図である。
【図１２】本発明の実施の形態３にかかる画像入力装置の構成を示すブロック図である。
【図１３】本発明の実施の形態３にかかる画像入力装置の重なり量検出例を示す説明図である。
【図１４】本発明の実施の形態４にかかり、図８、図１０または図１２の構成に測距センサを付加した画像入力装置における重なり量検出例を示す説明図である。
【図１５】本発明の実施の形態６にかかる画像入力装置の構成を示すブロック図である。
【図１６】本発明の実施の形態６にかかるラインセンサの時刻ｔおよび時刻ｔ＋Δｔの検出状態を示す説明図である。
【図１７】本発明の実施の形態７にかかる画像入力装置の構成を示すブロック図である。
【図１８】本発明の実施の形態７にかかる高速エリアセンサの取得画像例を示す説明図である。
【図１９】本発明の実施の形態８にかかる画像入力装置の構成を示すブロック図である。
【図２０】従来における画像入力装置の構成を示すブロック図である。
【符号の説明】
１１  撮像素子
１３  ＭＰＵ
３０，８１  相対位置検出部
３１，５１，８２，１１２，１２１  重なり量算出部
３２，５２，８３，１１３，１２２，１３１  画像記録決定部
４０，７０，９０，１００  画像入力装置
５０，８０  角度検出部
１１０，１１１  ラインセンサ
１２０  高速エリアセンサ
１３０  タイマ
【図１】
0003817119.tif 000008
【図２】
0003817119.tif 000009
【図３】
0003817119.tif 000010
【図４】
0003817119.tif 000011
【図５】
0003817119.tif 000012
【図６】
0003817119.tif 000013
【図７】
0003817119.tif 000014
【図８】
0003817119.tif 000015
【図９】
0003817119.tif 000016
【図１０】
0003817119.tif 000017
【図１１】
0003817119.tif 000018
【図１２】
0003817119.tif 000019
【図１３】
0003817119.tif 000020
【図１４】
0003817119.tif 000021
【図１５】
0003817119.tif 000022
【図１６】
0003817119.tif 000023
【図１７】
0003817119.tif 000024
【図１８】
0003817119.tif 000025
【図１９】
0003817119.tif 000026
【図２０】
0003817119.tif 000027