(57)【要約】【課題】二次元だけでなく３次元の画像をも容易に入力可能な画像入力装置を提供することを目的とする。【解決手段】被写体１０に投光部３から所定の投光パターンを照射して投光パターンの歪を有する投光画像を撮像部２で撮影するものであって、投光部３と撮像部２との相対位置が固定され、移動部４で撮像部２を相対移動させて撮像位置の異なる複数の投光画像を撮影する構成。【選択図】図２
2006179031.tif 000002
【特許請求の範囲】
【請求項１】
被写体に撮影用の光を投光する投光手段と、
前記被写体を撮影する撮像手段と、
前記撮像手段を支持する支持手段と、
前記撮像手段を前記支持手段に対して相対的に移動させる移動手段とを有し、前記被写体に前記投光手段から所定の投光パターンの光を照射して、当該投光パターンの歪を有する投光画像を前記撮像手段で撮影する画像入力装置であって、  前記投光手段と前記撮像手段との相対位置が固定され、前記移動手段で前記撮像手段を相対移動させて、撮像位置の異なる複数の前記投光画像を当該撮像手段で撮影することを特徴とする画像入力装置。
【請求項２】
前記投光手段と前記支持手段との相対位置が固定され、前記移動手段で前記撮像手段が移動されて、撮像位置の異なる複数の前記投光画像を前記撮像手段で撮影することを特徴とする請求項１記載の画像入力装置。
【請求項３】
前記画像入力装置は、前記撮像手段が、前記投光手段から前記被写体に投光されていないときの非投光画像を撮影することを特徴とする請求項１または請求項２記載の画像入力装置。
【請求項４】
前記画像入力装置は、前記撮影時の前記撮像手段の位置を記憶する位置記憶手段をさらに備え、前記撮像手段で撮影された前記画像のあおり歪を前記位置記憶手段の記憶する位置データに基づいて補正することを特徴とする請求項１から請求項３のいずれかに記載の画像入力装置。
【請求項５】
平面撮影用の第１の状態と立体撮影用の第２の状態とを切り替える切り替え手段を更に有することを特徴とする請求項１乃至４のいずれか一項に記載の画像入力装置。
【請求項６】
前記撮像手段で撮影領域を予備撮影することを特徴とする請求項１乃至５のいずれか一項に記載の画像入力装置。
【請求項７】
前記撮像手段で前記被写体を撮影する前に、前記投光手段は撮影領域を指示する投光パターンを照射することを特徴とする請求項１乃至６のいずれか一項に記載の画像入力装置。
【請求項８】
前記第１の状態では前記投光手段からの光を投光せずに前記撮像手段で撮影し、前記第２の状態では前記被写体に前記投光手段から所定の投光パターンの光を照射して当該投光パターンの歪を有する投光画像を前記撮像手段で撮影することを特徴とする請求項１乃至８のうちのいずれか一項に記載の画像入力装置。
【請求項９】
前記第２の状態では、前記投光画像を前記撮像手段で撮影する前、あるいは後に、前記投光手段から前記被写体に投光されていないときの非投光画像を前記撮像手段で撮影することを特徴とする請求項１乃至８のうちのいずれか一項に記載の画像入力装置。
【請求項１０】
前記撮影手段による撮影画像から被写体の立体形状を計算する立体形状計算手段を有することを特徴とする請求項１乃至９のうちのいずれか一項に記載の画像入力装置。
【請求項１１】
前記撮影手段による撮影画像と、前記立体形状計算手段によって得られた被写体の立体形状から、3次元画像を生成する３Ｄ画像生成手段を有することを特徴とする請求項１０記載の画像入力装置。
【請求項１２】
撮影画像のあおり歪を補正するあおり補正手段を有することを特徴とする請求項１乃至１１のいずれか一項に記載の画像入力装置。
【請求項１３】
前記支持手段が回動自在であることを特徴とする請求項１乃至１２のうちのいずれか一項に記載の画像入力装置。
【請求項１４】
撮像手段と該撮像手段を支持する支持手段と被写体の立体形状を計測する立体形状計測手段とを有する画像入力装置であって、
少なくとも紙面等のほぼ平面の被写体を撮影する紙面撮影モードと、本等の見開き原稿を撮影する書籍撮影モードと、立体形状を含む被写体像を撮影する立体物撮影モードの三つの撮影モード設定を有し、該撮影モードに応じて異なった撮影条件で撮影可能な画像入力装置。
【請求項１５】
請求項１４記載の画像入力装置において、
各撮影モード設定に応じて前記撮像手段が複数の撮像解像度設定を有することを特徴とした画像入力装置。
【請求項１６】
請求項１４又は１５に記載の画像入力装置において、
前記立体形状計測手段による立体計測結果より、被写体の特徴を判定する被写体判定手段を具備し、該被写体判定手段の判定結果によって前記３種類の被写体に対応する撮影モードを自動的に選択して動作させる撮影モード自動選択手段を有することを特徴とした画像入力装置。
【請求項１７】
被写体に撮影用の光を投光する投光手段と、
前記被写体を撮影する撮像手段と、
前記撮像手段を支持する支持手段と、
前記撮像手段を前記支持手段に対して相対的に移動させる移動手段とよりなり、前記被写体に前記投光手段から所定の投光パターンの光を照射して、当該投光パターンの歪を有する投光画像を前記撮像手段で撮影する画像入力装置であって、
前記移動手段で前記撮像手段を微小に移動させることにっよって、撮像位置が微小に異なる複数の前記投光画像を当該撮像手段で撮影することを特徴とする画像入力装置。
【請求項１８】
前記複数の投光画像の各々から得られた立体形状データを合成し、合成立体形状データを生成する合成手段を更に有する請求項１７に記載の画像入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像入力装置に関し、詳細には、２次元だけでなく、３次元の画像をも容易に入力することのできる画像入力装置に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータの処理能力が飛躍的に向上して、画像データを容易に操作できるようになるに伴って、オフィスでの文書作成等においても画像データが数多く使われ、画像データは非常に重要なものとなってきている。
【０００３】
このような状況下、どこにいても手元にある文書や物体の画像を画像データとして簡単に取り込みたいと言う要求が高まりつつある。
【０００４】
画像データを取得するツールとしては、スキャナとデジタルカメラがある。スキャナは、高解像度で紙面の画像を入力することはできるが、立体物やその表面の文字等を入力することができず、入力サイズにも制限がある。また、スキャナは、占有面積自体も大きく、持ち運びが困難である。一方、デジタルカメラは、上記の問題点は解決されるものの、比較的解像度が低いという問題がある。この問題を解決するため、デジタルカメラで被写体を分割撮影し、それら撮影画像を合成する方法がある。
【０００５】
ところが、分割撮影を行うことは、撮影者にとって負担が大きく、また、必ずしも自動で精度良く合成できるわけではない。この問題点の解決方法として、例えば特公平８−１３０８８号に開示された構成では、結像光学系と撮像光学系とを移動して画像を分割撮影し、そのように撮影された複数の分割画像を合成する。ここでは、２軸方向に撮像装置を回転し、被写体を分割撮影し画像合成することで高解像度化を実現する手段が提案されている。
【０００６】
また、従来、セパレータを検出して部分画像の撮影回数及び位置合わせのための画像間相関演算回数を少なくし、更に視点制御機構を備えることによって自動的に分割入力とその貼り合わせを実行して、高精細文書画像を獲得する文書画像入力装置（特開平９−１６１０４３号公報参照）が提案されている。すなわち、この文書画像入力装置は、図１に示すように、カメラ１００をカメラ制御機構１０１に取り付け、原稿に対して、カメラ位置を移動できるようにして、分割入力とその貼り合わせを容易に実現している。
【０００７】
又、読み取り面を上向きにした状態で本等の見開き原稿を取り込む装置としては特許第3063099号にて開示されている。この構成では、原稿面に所定角度で直線状の光を照射する光照射手段による照射画像を撮像することで、見開き原稿の曲がり具合を検出し、検出結果に基づき、曲がり具合を補正するものである。また、特開昭62-143557号公報では、前記曲がり具合の検出の代わりに原稿面との距離を検出し、前記曲がり具合を補正する構成が開示されている。
【０００８】
又、立体物の立体形状を計測する手法としては、対象物に対して所定のパターンを投影し、該パターン像の歪より三角測量を行う手法が一般的であり、一般的なカメラに適用するためにストロボをパターン投影手段として用いる方法がある（特開平2000-55636号公報参照）。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、このような従来公報記載の技術による構成は、３次元情報を入力する機能を有していなかった。
【００１０】
今後、パーソナルコンピュータの処理能力はますます向上し、通常の画像データだけではなく、３次元情報を有する画像データ（３次元画像データ）を容易に扱えるようになり、オフィス業務に３次原画像が浸透すると考えられる。この時、文書や立体物の（２次元）画像に加えて、３次元画像も撮れることが望まれる。
【００１１】
又、従来、主に文書画像、書籍画像、立体物の画像の３種類の画像が撮影対象物とされている。この３種類の撮影対象では、ズーム倍率やパターン光照射の有無等の撮影条件を変える必要があるため、同一装置にて全撮影対象の撮影を実現できる画像入力装置における操作手段及び、該操作手段の改良に関する提案はなされていなかった。
【００１２】
そこで本発明は、分割撮影で被写体の立体形状を高分解能でかつ安価に撮影することのできる画像入力装置を提供することを目的としている。
【００１３】
更に、被写体に対して正対して画像を撮影することができず、画像に所謂あおり歪が発生する場合、特に、文書画像等にあおり歪が発生する場合にも、あおり歪補正を行って、正対した画像を得られるようにし、高分解能で高品質の画像を得ることのできる画像入力装置を提供することを目的としている。
【００１４】
又、机上で容易、安価、高分解能で紙面情報と立体形状などの画像情報を得ることを可能にすることを目的としている。
【００１５】
更に、立体形状の検出分解能を向上させることを目的とする。
【００１６】
そして、被写体が存在する場所を認識し、また、被写体が紙面なのか立体物なのかを自動的に識別することを可能にすることを目的とする。
【００１７】
更に、撮影領域を容易に知ることが出来る構成を提供することを目的とする。
【００１８】
そして、紙面を撮影するときに余分な光を与えず高品質な画像を得、投光による電力消耗を防ぐことが可能な構成を提供することを目的とする。
【００１９】
或いは、立体形状のみならず、３Ｄ画像を生成するための画像を取得できる構成を提供することを目的とする。
【００２０】
更に、パーソナルコンピュータ等を使用せずに被写体の立体形状を計測でき、画像そのものではなく立体形状データを保存することにより、記憶領域の節約することが可能な構成を提供することを目的とする。
【００２１】
そして、パーソナルコンピュータ等を使用せずに、直接、３次元画像データを配信できる構成を提供することを目的とする。
【００２２】
更に、被写体の全方位の立体形状を容易に得ることが可能な構成を提供することを目的とする。
【００２３】
或いは、紙面等の平面の被写体を撮影する紙面撮影モード、本等の見開き原稿を撮影する書籍撮影モード、及び立体形状を含む被写体像を撮影する立体物撮影モードのぞれぞれで撮影できる構成を提供することを目的とする。
【００２４】
又、更に、上記各撮影モードに対して、それぞれ撮像解像度を設定し、より詳細な撮影条件の設定ができるようにする構成を提供することを目的とする。
【００２５】
そして、更に、被写体の種類（紙面、書籍、立体物）を自動的に判定できるようにすることで、前記モード設定を自動で行えるような構成を提供することを目的とする。
【００２６】
又、３次元的な位置を計測する入力画像の画素数を増加し得る構成を提供することを目的とする。
【００２７】
更に、より高精度な立体形状データを得ることが可能な構成を提供することを目的とする。
【００２８】
更に、ノイズ（計測誤差による歪み）の少ない立体形状データを得ることを可能にする構成を提供することを目的とする。
【課題を解決するための手段】
【００２９】
請求項１記載の発明の画像入力装置は、被写体に撮影用の光を投光する投光手段と、前記投光手段から投光されている前記被写体を撮影する撮像手段と、前記撮像手段を支持する支持手段と、前記撮像手段を前記支持手段に対して相対的に移動させる移動手段と、を有し、前記被写体に前記投光手段から所定の投光パターンの光を照射して、当該投光パターンの歪を有する投光画像を前記撮像手段で撮影する画像入力装置であって、前記投光手段と前記撮像手段との相対位置が固定され、前記移動手段で前記撮像手段を相対移動させて、撮像位置の異なる複数の前記投光画像を当該撮像手段で撮影することを特徴とする。
【００３０】
上記構成によれば、被写体に撮影用の光を投光する投光手段と投光手段から所定の投光パターンの光が投光されている被写体を撮影する撮像手段との相対位置が固定され、撮像手段を支持する支持手段に対して撮像手段を相対的に移動させる移動手段で撮像手段を相対移動させて、撮像位置の異なる複数の投光画像を撮像手段で撮影するので、被写体の立体形状を被写体に照射されたパターン光で撮影することができるとともに、通常の画像を分割撮影する場合の移動機構と、パターン投光画像を分割撮影する場合の移動機構とを兼用することができ、分割撮影で被写体の立体形状を高分解能でかつ安価に撮影することができる。
【００３１】
この場合、例えば、請求項２に記載するように、前記画像入力装置は、前記投光手段と前記支持手段との相対位置が固定され、前記移動手段で前記撮像手段が移動されて、撮像位置の異なる複数の前記投光画像を前記撮像手段で撮影するものであってもよい。
【００３２】
上記構成によれば、投光手段と支持手段との相対位置が固定され、移動手段で撮像手段が移動されて、撮像位置の異なる複数の投光画像を撮像手段で撮影しているので、被写体の立体形状を被写体に照射されたパターン光で撮影することができるとともに、通常の画像を分割撮影する場合の移動機構と、パターン投光画像を分割撮影する場合の移動機構とを兼用することができ、分割撮影で被写体の立体形状を高分解能でかつ安価に撮影することができる。又、投光手段が固定されることにより、高精度なスリットパターン等を投光しても各スリットの投射角度を特定可能であり、立体形状計測の分解能を向上し得る。
【００３３】
また、例えば、請求項３に記載するように、前記画像入力装置は、前記撮像手段が、前記投光手段から前記被写体に投光されていないときの非投光画像を撮影するものであってもよい。
【００３４】
上記構成によれば、撮像手段で、投光手段から被写体に投光されていないときの非投光画像を撮影するので、立体形状にマッピングするテクスチャ画像が得られ、被写体の撮影から立体画像作成までを実施することができる。又、所謂３Ｄ画像も作成可能となる。
【００３５】
さらに、例えば、請求項４に記載するように、前記画像入力装置は、前記撮影時の前記撮像手段の位置を記憶する位置記憶手段をさらに備え、前記撮像手段で撮影された前記画像のあおり歪を前記位置記憶手段の記憶する位置データに基づいて補正するものであってもよい。
【００３６】
上記構成によれば、撮影時の撮像手段の位置を位置記憶手段に記憶し、撮像手段で撮影された画像のあおり歪を位置記憶手段の記憶する位置データに基づいて補正するので、被写体に対して正対して画像を撮影することができず、画像にあおり歪が発生する場合、特に、文書画像等にあおり歪が発生する場合にも、あおり歪補正を行って、正対した画像を得ることができ、高分解能で高品質の画像を得ることができる。
【００３７】
又、前記投光手段を動作させない第１の状態と動作させる第２の状態とを切り替える切り替え手段を更に有するようにしてもよい。
【００３８】
上記構成によれば、撮影画像の種類（平面、立体）に応じた切替えが可能となり、操作性が向上される。
【００３９】
更に、前記撮像手段で撮影領域を予備撮影するようにしても良い．
その結果、被写体の場所が予め認識でき、或いは被写体の種類（立体画像か平面画像か）を認識でき、適切な撮影条件を装置で自動設定して撮影可能となる。
【００４０】
又、前記撮像手段で前記被写体を撮影する前に、前記投光手段は撮影領域を指示する投光パターンを照射するようにしてもよい。
【００４１】
このように構成することによって、ユーザは予め撮影領域を認識でき、撮影の失敗を防ぐことが可能である。
【００４２】
更に、前記第１の状態では前記投光手段からの光を投光せずに前記撮像手段で撮影し、前記第２の状態では前記被写体に前記投光手段から所定の投光パターンの光を照射して当該投光パターンの歪を有する投光画像を前記撮像手段で撮影するようにしてもよい。
【００４３】
このように構成することによって、紙面と撮影する際には第１の状態とし、その場合投光は不要であるため、余分な光照射を行なわないようにすることができ、電力の節約が可能となる。
【００４４】
更に、前記第２の状態では、前記投光画像を前記撮像手段で撮影する前、あるいは後に、前記投光手段から前記被写体に投光されていないときの非投光画像を前記撮像手段で撮影するようにしてもよい。
【００４５】
その結果、立体形状のみならず、３Ｄ画像を生成するための画像データを取得可能となる。
【００４６】
そして、前記撮影手段による撮影画像から被写体の立体形状を計算する立体形状計算手段を有するようにしてもよい。
【００４７】
このように構成することによって、パーソナルコンピュータ等別途計算手段を使用せずとも被写体の立体形状を計測可能となり、又画像そのもののデータでなく、立体形状データを保存するようにすることにより、所要の記憶要領を節約可能となる。
【００４８】
更に、前記撮影手段による撮影画像と、前記立体形状計算手段によって得られた被写体の立体形状から、3次元画像を生成する３Ｄ画像生成手段を有するようにしてもよい。
【００４９】
このように構成することによって、パーソナルコンピュータ等別途計算手段を使用せずとも３Ｄ画像データを直接配信可能となる。
【００５０】
更に、撮影画像のあおり歪を補正するあおり補正手段を有するようにすることにより、装置自体であおり歪みの無い高品質な紙面画像データを提供できるようになる。
【００５１】
そして、前記支持手段が回動自在なように構成することにより、被写体の全方位の立体形状情報を容易に所得可能となる。
【００５２】
更に、本発明は、撮像手段と該撮像手段を支持する支持手段と被写体の立体形状を計測する立体形状計測手段とを有する画像入力装置において、
少なくとも紙面等のほぼ平面の被写体を撮影する紙面撮影モードと、本等の見開き原稿を撮影する書籍撮影モードと、立体形状を含む被写体像を撮影する立体物撮影モードの三つの撮影モード設定を有し、該撮影モードに応じて異なった撮影条件で撮影可能な構成を含む。
【００５３】
そして、各撮影モード設定において、更に前記撮像手段に複数の撮像解像度設定を有するようにしてもよい。
【００５４】
その結果、より詳細な撮影条件の設定が可能となる。
【００５５】
又、前記立体形状計測手段による立体計測結果より、被写体の特徴を判定する被写体判定手段を具備し、該被写体判定手段の判定結果によって前記３つの被写体に対応する撮影モードを自動的に選択して動作させる撮影モード自動選択手段を有するよう構成してもよい。
【００５６】
そのように構成することによって、操作者が撮影モード選択操作を行なう必要がなくなり、操作性の向上が可能である。
【００５７】
また、移動手段で撮像手段を微小に移動させることにっよって、撮像位置が微小距離異なる複数の前記投光画像を当該撮像手段で撮影する構成としてもよい。
【００５８】
その結果、被写体上の微小距離位置の異なる複数の画素データ（３次元計測点）を得ることが可能となる。
【００５９】
更に、前記複数の投光画像の各々から得られた立体形状データを合成し、合成立体形状データを生成する合成手段を更に有する構成としてもよい。
【００６０】
その結果、より高精細な立体形状データを得ることが可能となる。
【発明の効果】
【００６１】
本発明によれば、分割撮影で被写体の立体形状を高分解能でかつ安価に撮影することができる。
【００６２】
更に、被写体に対して正対して画像を撮影することができず、画像にあおり歪が発生する場合、特に、文書画像等にあおり歪が発生する場合にも、あおり歪補正を行って、正対した画像を得られるようにし、高分解能で高品質の画像を得ることのできる。
【００６３】
又、机上で容易、安価、高分解能で紙面情報と立体形状などの画像情報を得ことが可能となる。
【００６４】
更に、立体形状の検出分解能を向上することが可能となる。
【００６５】
そして、自動的に、被写体が存在する場所を認識し、また、被写体が紙面なのか立体物なのかを自動的に識別することが可能となり操作性向上が可能となる。
【００６６】
更に、操作者が予め撮影領域を容易に知ることが出来、失敗撮影を防止できる。
【００６７】
そして、紙面を撮影するときに余分な光を与えず高品質な画像を得、投光による電力消耗を防ぐことが可能となる。
【００６８】
又、立体形状のみならず、所謂３Ｄ画像を生成するための画像を取得できる。
【００６９】
更に、パーソナルコンピュータ等を使用せずに被写体の立体形状を計測でき、又画像そのものではなく立体形状データを保存することにより、記憶領域の節約することが可能となる。
【００７０】
そして、パーソナルコンピュータ等を使用せずに、直接、３Ｄ画像データを配信できる。
【００７１】
更に、あおり歪のない高品質な紙面画像を得ることが可能となる。
【００７２】
更に又、被写体の全方位の立体形状を容易に得ることが可能となり、所謂３Ｄ画像を容易に生成し得る。
【００７３】
そして、紙面等の平面の被写体を撮影する紙面撮影モード、本等の見開き原稿を撮影する書籍撮影モード、及び立体形状を含む被写体像を撮影する立体物撮影モードのぞれぞれに適した撮影条件で撮影可能となる。
【００７４】
又、更に、上記各撮影モードに対して、撮像解像度を設定し、より詳細な撮影条件の設定が可能となる。
【００７５】
そして、更に、被写体の種類（紙面、書籍、立体物）を自動的に判定できるようにすることで、前記モード設定を自動で行えるようになるため、操作性の向上が可能となる。
【００７６】
更に、投光部を微小移動させながら、投光パターンが投射された画像を撮影することにより、被写体表面上の、次元位置が計測される点を増加可能であり、これにより、より高精細に３次元位置を検出できる。
【００７７】
更に、このようにして得られた３次元位置データを合成することにより、より高精細な立体形状データを生成することができる。
【００７８】
又、外光などの要因で、被写体表面上の点の３次元位置の測定に誤差が生じる場合があり、測定点が少ない状態ではその誤差を見つけるのは容易ではないが、上記の如く被写体表面の高密度な３次元位置データが得られる構成とすることにより、測定の誤った誤差データを抽出し除去あるいは修正しやすくなり、これにより、３次元位置の誤った点から３次元画像を生成することにより生じる違和感を除去可能である。
【発明を実施するための最良の形態】
【００７９】
以下、本発明の好適な実施の形態を添付図面に基づいて詳細に説明する。なお、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【００８０】
図２乃至図６は、本発明の画像入力装置の第１の実施の形態を示す図であり、図２は、本発明の画像入力装置の第１の実施の形態の外観構成図である。
【００８１】
図２において、画像入力装置１は、撮像部２、投光部３、移動部４、支持部５、投光スイッチ６、撮影スイッチ７を備えており、撮像部（撮影手段）２は、移動部（移動手段）４を介して支持部（支持手段）５によって支持されている。
【００８２】
画像入力装置１は、撮影スイッチ７が押されると、支持部５の設置されている机などの面上にセットされている被写体１０を撮像する機能を有する。
【００８３】
撮像部２は、移動部４により上下、左右にその撮影光軸を移動させることができ、被写体１０を分割して撮影することができる。分割して撮影する場合は、撮像部２の撮影画角を狭めて撮影するため、被写体１０の撮影解像度が向上することになる。
【００８４】
投光部３は、投光スイッチ６が押されると、被写体１０上に投光パターン１１を照射する。
【００８５】
選択スイッチ８は、本画像入力装置１を第１の状態にするか第２の状態にするかを選択するためのスイッチである。ここで、この第１の状態では紙面等の平面を撮影出来、第２の状態では立体形状の３Ｄ（３次元）情報を得ることが出来るものである。
【００８６】
そして、被写体１０を撮影するときには、まず、投光スイッチ６を押すことにより、投光部３が撮影可能な領域を照らす。
【００８７】
このときの投光パターン１１は、矩形状であることが望ましいが、撮影領域が分かるようなものであれば、特に明確な形状を有していなくてもよい。投光部３が、投光パターン１１を拡大縮小できる光学系を有していれば、投光領域の大きさを自由に変えることができる。この動作により被写体１０を置くべき場所が示される。
【００８８】
被写体１０を置いた後に、撮影スイッチ７を押すと、撮像部２が、被写体１０の画像を撮影する。
【００８９】
前記投光は、一定時間後に自動的に終了してもよいし、撮影スイッチ７が押されたときに終了してもよい。また、投光は、撮影時の照明として、撮影が終了するまで照射を続行してもよいし、さらに、撮影スイッチ７が押された時点で、一端照射を中断し、撮影時に再び照射してもよい。
【００９０】
そして前記第１の状態にあるときには、投光部１０からの３Ｄ計測用投光パターン（後述）は照射せずに撮影し、第２の状態にあるときは、投光部１０からの３Ｄ計測用投光パターンを照射して撮影する。また、第１の状態であっても、撮影時の照明として、撮影が終了するまで投光部１０から照明用投光パターンを照射しても良い。この照明光は、撮影領域を示す投光と同じものを用いても良く、前記の如く撮影領域の投光から撮影終了まで継続して投光してよいし、さらに、その間に投光を一端中断し、撮影時に再び投光（照明）しても良い。
【００９１】
また、撮影の前に、撮影領域全体を撮影する予備撮影を行っても良い。これにより、画像入力装置自体が自動的に被写体の場所を認識でき、次の本撮影時には、そこを撮影領域とすることが出来る。
【００９２】
被写体１０は、支持部５が設置されている面上にある場合に限られるわけではなく、例えば、机の正面の壁を撮影することもできる。また、撮影した画像を転送するために、パーソナルコンピュータ等とのインターフェイスを有していてもよい。
【００９３】
上記撮像部２は、図３に示すように、レンズ２１、絞り機構２２、撮像素子２３、相関二重サンプリング回路（ＣＤＳ）２４、Ａ／Ｄ変換器２５、タイミングジェネレータ（ＴＧ）２６、画像前処理回路（ＩＰＰ）２７、メモリ２８及びＭＰＵ（マイクロプロセッシングユニット）２９等を備えており、被写体１０の像は、レンズ２１、絞り機構２２によって、撮像素子２３上に形成される。又撮像素子２３からの画像信号は、相関二重サンプリング回路２４でサンプリングされた後、Ａ／Ｄ変換器２５でデジタル信号化される。このときのタイミングは、タイミングジェネレータ６で生成される。画像信号は、その後、画像前処理回路２７でアパーチャ補正などの画像処理、圧縮などが行われて、メモリ２８に保存される。各ユニットの動作は、ＭＰＵ２９で制御され、投光部３も、ＭＰＵ２９によってその投光のタイミングが制御される。
【００９４】
上記第１の状態において被写体１０を高解像に撮影する場合は、撮像系の画角を狭くし、図４に示すように、複数の位置で撮影、すなわち分割撮影する。この場合、被写体１０の全ての部分が分割画像のいずれかとして撮影されるように撮影することが望ましい。分割撮影は、撮像部２を移動部４を用いて移動することにより行う。図４の場合、第１画像と第２画像を撮影し、これを合成して一枚の画像を生成する。ただし、合成処理は通常多大な計算リソースを要するため、外部のパーソナルコンピュータ等へ転送して実行するものとしてもよい。
【００９５】
このようにして分割画像を撮影した後にこれらの分割画像を合成するが、簡単のために、２枚の分割画像を合成する場合について説明すると、いま、図４の第１画像上の点と第２画像上の点の座標位置を、それぞれ（ｕ１，ｖ１）、（ｕ２，ｖ２）とすると、被写体１０が平面の場合、両者には以下の関係が成り立つ。
【００９６】
【数１】
2006179031.tif 000003
ここで、上式（３）で示すＨは、射影変換行列であり、画像が撮影される二つの位置関係が同じ場合、この関係は一定である。したがって、予め既知の組（ｕ１，ｖ１）、（ｕ２，ｖ２）からｈ１乃至ｈ８を算出すればよい。
【００９７】
上記式（１）、式（２）を用いることにより、第２画像の各点について、第１画像を撮影した位置において撮影された場合の位置を算出することができるため、第１画像を基準とし、第１画像上に第２画像の画素をマッピングすることができる。なお、分割画像が三枚以上の場合も、例えば、第１画像と第ｎ画像との射影変換行列を予め算出しておくことで、同様の方法で順次合成していくことができる。
【００９８】
上記方法で画像を合成する場合であっても、一枚の画像で被写体を撮影する場合であっても、例えば図５に示すように、台形状の歪（あおり歪）が生じることがある。このあおり歪を適宜補正して、図６に示すように、正対した画像を生成するためにも、上記方法を適用することが可能である。すなわち、被写体１０に正対した位置での正対画像を基準とし、正対画像と斜め状態での撮影画像との間の射影変換行列を予め求め、この射影変換行列を用いて実際に撮影された各画素を再配置すればよい。
【００９９】
この処理は本装置内部で実行させてもよいし、或いは外部のパーソナルコンピュータ等へ画像情報を転送してそこで実行させても良い。
【０１００】
次に、この第１の実施の形態の画像入力装置１の前記第２の状態における動作を図７乃至図１０に則して説明する。
【０１０１】
図７は、上述の本画像入力装置が上記第２の状態にある際の画像入力装置１の撮像部２と投光部３部分のブロック図である。
【０１０２】
図７に示す如く、この状態では投光部３にフィルタ３１が設けられており、投光部３から照射される光をフィルタ３１を通すことにより、特定のパターン光を生成する。このフィルタ３１によるパターン光としては、図８に示すような縞模様３２が考えられるが、他のパターン光であってもよい。
【０１０３】
いま、パターン光として、縞模様を用い、図８に示すように、このパターン光３２を被写体３３に照射し、パターン光３２の照射されている被写体３３を撮像部２で撮像すると、歪んだパターン光３２’が撮影される。この歪の程度から三角測量の原理によって被写体３３の表面上の各点の３次元的な位置を検出することができる。
【０１０４】
すなわち、投光部３からのパターン光（のうちの一本のスリット光）が照射された部分の像は、図９に示すように、撮像部２の撮像素子２３上の点（ｕ，ｖ）で結像される。ここで撮像部２の光学中心を原点とする座標系を定義すると、スリット光が照射された被写体３３上の奥行き距離ｚは、次式（４）で表すことができる。
【０１０５】
【数２】
2006179031.tif 000004
ここで、θ１は、パターン光を照射した角度であって既知であり、θ２は、被写体３３から撮像素子２３へのパターン光の反射角度であって、次式（５）で与えられる。
ｔａｎθ２＝ｖ／ｆ      ・・・（５）
また、ｄは、投光部３の中心から撮像素子２３の中心までの距離であり、ｆは、撮像部２の焦点距離である。
【０１０６】
式（４）で、ｚが求まると、次式（６）、（７）によりｘ、ｙが求まる。
ｘ＝（ｕ／ｆ）×ｚ      ・・・（６）
ｙ＝（ｖ／ｆ）×ｚ      ・・・（７）
したがって、被写体３３上の点の３次元位置が求まる。これを様々な点に対して求めることにより、被写体３３の立体形状が求まることになる。
【０１０７】
そして、撮像部２で、パターン光３２を照射していない状態の被写体３３の画像を撮影し、その撮影画像を上述の如くに求められた立体形状データにマッピングすることにより、立体画像を生成することもできる。この場合、被写体にパターン光が投光された状態の投光画像を撮影する前か或いはその後に、パターン光を照射していない状態の被写体の画像を撮影する。また、被写体３３を分割撮影し、各部分の立体形状を計測して、後にそれら形状データを合成して、被写体３３全体の立体形状を求めてもよい。この合成処理は本装置内部で実行させても良いし、或いは外部のパーソナルコンピュータ等へ画像情報を転送して実行させても良い。更に又、メモリ２８にこのようにして求めた立体形状情報を記録しても良い。
【０１０８】
又、分割撮影の前の予備撮影として、撮影領域全体の立体形状を上述の如くの方法（縞模様のパターン光を利用）で求めておいても良い。このようにすることによって、予め被写体が紙面等の平面なのか立体物なのかを装置自体で認識できるため、その時点で自動的に上記第１又は第２の状態に切替えるように構成することが可能となる。
【０１０９】
次に本発明の第２の実施の形態について説明する。本実施の形態は、上記第１の実施の形態の画像入力装置１と同様の画像入力装置であり、上記第１の実施の形態と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０１１０】
上記第１の実施の形態においては、スリット光（パターン光３２）が複数本照射されているため、個々のスリット光の照射角度θ１を特定することは一般に困難である。これを確実に特定する方法として、第２の実施の形態では、被写体３３の奥行き距離を制限することにより、あるスリット光３２の画像上での可動範囲を限定し、その可動範囲が両隣のスリット光３２の可動範囲と重ならないようにすることによってスリット光３２の照射角度を確実に特定する。ところが、この場合、スリット光３２同士の間隔を十分に取る必要があり、被写体３３上の３次元位置を計測する点を、十分な密度分確保することができない可能性がある。
【０１１１】
そこで、図１０に被写体３３とそれに照射されたパターン光３２を、投光部３から見た図として示すように、最初に、図１０（ａ）の状態で計測し、次に、図１０（ｂ）に示すように、パターン光３２を形成するスリット（縞模様）を半ピッチずらした状態で計測するようにすることによって、倍の密度で計測することができるようになる。この場合、パターン光３２を形成するスリットをずらすピッチを狭くして撮影枚数を増やすことにより、計測密度を増すことができる。また、この場合、投光部３は撮像部２とともに移動するようにしてもよいし、撮像部２と独立して動くようにしてもよい。前者の、投光部３を撮像部２とともに移動するようにした場合、撮像部２に対する被写体３３の位置も変わるが、その移動量は既知であるため、被写体３３の移動量を用いて補正することができる。
【０１１２】
上記において、撮像部２と投光部３の相対位置が固定された場合について、さらに詳しく説明する。例えば、図２２に示すような三角柱を被写体として、その立体形状を入力する場合、まず、前述した方法でパターン光を照射することにより、図２３に示すような３次元空間上の点群を得ることができる。図２３の丸印が、その位置が計測された点を夫々示す。次に、移動部４により撮像部２および投光部３の位置を僅かに動かすことにより、被写体（三角柱）と、撮像部２ならびに投光部３との位置関係を変化させる。そしてその位置から同様に得た３次元空間上の点群は、例えば図２４に示す如くとなる。そして最初の撮影位置と第２回目の撮影位置との間の相対位置関係は、周知の如く、最初の撮影位置を基準として回転行列R及び並進ベクトルTを用いて表すことが可能である。
【０１１３】
例えば最初の撮影位置で得られた点の３次元位置を
【０１１４】
【数３】
2006179031.tif 000005
とすると、これを基準として、対応する、第２回目の撮影によって得られた点の３次元位置は
【０１１５】
【数４】
2006179031.tif 000006
として表すことが出来る。
【０１１６】
そして、両方の３次元位置データを合成すると、図２５が得られる。これにより、より高精細に被写体上の点の３次元位置を計測したことになる。これを用いて、ポリゴンを形成し、テクスチャ画像を各ポリゴンにマッピングすることにより、より高精細な３次元画像を生成することができる。
【０１１７】
このように、投光部３を微小距離分移動し、その前後の位置のそれぞれにおいて投光パターンが投射された画像を撮影することにより、被写体表面上の３次元位置を計測する点を増加させることが可能となる。その結果、より高精度に３次元位置を検出可能である。又、そのようにして得られた３次元位置データを合成することによって、より高精細な立体形状データを生成することが可能となる。
【０１１８】
また、例えば、同じ被写体の計測の結果、この合成された３次元位置データが例えば図２６に示される如くになったとする。このとき図中の点Aは、何らかの計測誤差によって誤って測定された点である。これを残しておくと、そのデータを含んだ３次元位置データによって３次元画像を生成したときに、違和感のある画像ができてしまう。そこで、それを除去、あるいは修正するよう構成することが望ましい。
【０１１９】
この除去方法および修正方法として、例えば、まず各測定点の近傍の測定点のデータを用いた移動平均を取る。図２６中の破線がそのようにして移動平均によって得られたデータを示す。そして、その平均値と元の測定点との間の距離が所定のしきい値以上の場合、その測定点を除去、あるいは更にその位置に対応する上記平均値による点を新たな測定点として置き換える。或いはこれ以外の方法として、測定点のうちの異なる二つ以上の近接点との間の距離がしきい値以上の場合に、その測定点を除去、又は上記の如く置き換える構成としても良い。
【０１２０】
このように、外光などの要因で、被写体表面上の点の３次元位置の測定に誤差が生じた場合、測定点が少ない状態ではその誤差（誤った測定点）を見つけるのは容易ではないが、上述の如くに構成することによって被写体表面の高密度な３次元位置データが得られるため、測定の誤った誤差データ（誤った測定点）を抽出し、除去あるいは修正しやすくなる。これにより、３次元位置の誤った点から３次元画像を生成することにより生じるノイズが除去可能となり、生成画像における違和感をなくすことができる。
【０１２１】
図１１乃至図１３は、本発明の画像入力装置の第３の実施の形態を示す図である。なお、本実施の形態は、上記第１の実施の形態の画像入力装置１と同様の画像入力装置であり、上記第１の実施の形態と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０１２２】
図１１は、本発明の画像入力装置の第３の実施の形態の投光部３部分の構成図である。
【０１２３】
図１１において、投光部３は、支持部５（図２参照）に対して固定されており、被写体の計測は、撮像部２の位置を移動させた２枚の画像（第１画像と第２画像）を用いる。図１１において、投光部３から被写体に照射された複数のスリット光のうち一つの、第１画像上での像の位置をＸとする。この点Ｘに相当する被写体の位置の候補を算出することが可能で、例えば、点Ａ１、Ｂ１、Ｃ１であるものとする。これらの点の第２画像上での位置も計算で求めることができる。その位置を図１２に示す（Ａ２，Ｂ２，Ｃ２）。これら被写体位置候補の中で、正しいものは、第２画像上でもスリット光の像上にあるはずである。したがって図１２の例では、Ｂ２が実際の被写体上の点ということになる。このように２枚の画像を利用することによって個々のスリット光の照射角度を確実に特定することが可能であり、このように構成することによって、撮影枚数を増やすことなく、充分な密度で３次元形状を計測することができる。
【０１２４】
また、立体形状を計測する際、投光部３において、撮影領域を指示するための投光と、立体形状を計測するときの投光（スリット光等）とで、そのパターンを変えてもよい。また、立体形状を計測する場合（スリット光等）でも、所望の解像度に応じてパターン光の（スリット等の）密度を変えてもよい。これらの場合、図１３に示す如く、複数種類のパターンが形成されたフィルタ４０を用意し、パターンを他の種類のものに変えるときに、それらを切り替えるようにすればよい。このパターンの切り替え方法としては、図１４に示すように、歯車４１の回転によってフィルタ４０のパターンが切り替わる切替機構４２を用いることができる。
【０１２５】
さらに、上述のように、本実施の形態の画像入力装置１では、文書紙面等の平面を撮影するのか、立体形状を計測するのかで、撮影時の動作が異なり、また、撮影解像度や撮影対象物の大きさによっても分割撮影の仕方やズーム倍率が異なる。そこで、これらの項目を入力できる操作ボタンを用意し、また、現在の設定状態や設定可能な状態を表示するため表示装置を用意することによって、画像入力装置１の利便性をより一層向上させることができる。
【０１２６】
図１５（ａ）は、本発明の画像入力装置の第４の実施の形態を示す図である。なお、本実施の形態は、上記第１の実施の形態の画像入力装置１と同様の画像入力装置であり、上記第１の実施の形態と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０１２７】
立体物を撮影する場合、様々な方向から観た画像を撮影することによって、所謂「３Ｄ画像」として記録したい場合が多い。しかしながら、以上で説明したように、上方からの撮影の場合、いくつかの方向から観た画像を得ることに煩わしさがある。第４の実施の形態は、そのような問題点を解消するための構成である。
図１５（ａ）は本画像入力装置を横から見た図である。支持部５を構成する支持柱５１を、図１５（ｂ）に示す如くに倒すことにより、撮像部２でほぼ水平方向を撮影できるようになる。そして、例えば図１５（ｂ）に示す如く、被写体５２をターンテーブル５３上に乗せ、自動あるいは手動で回転させることによって、いくつかの方向から観た被写体画像を撮影することが可能となり、各方向から見た３Ｄ画像を合成して、全方位から観ることのできる３Ｄ画像を生成することできる。
【０１２８】
次に本発明の第５の実施の形態について図１６及び図１７に即して説明する。
【０１２９】
本発明の第５の実施の形態の画像入力装置は、撮像部１１５と、撮像部内に設けられた電源スイッチ１１４と撮影レンズ１２１、立体形状を計測するために所定のパターン光を照射するためのパターン投光部１２２、前記撮像部１１５を支持するための支持柱１１６a、支持柱１１６ａを固定するための支持ユニット１１６b、支持ユニット１１６ｂに設けられた制御ユニット１１７と前記支持ユニット１１６ｂ上に設けられた入力指示スイッチ１１３、撮影モードを設定するための撮影モード設定スイッチ１２３等により構成される。
【０１３０】
制御ユニット１１７は、MPU（Micro Processing Unit）１１２とハードディスク、半導体メモリ等の記録媒体１１１、インターフェース１１８等により構成され、前記撮像部１１５の動作制御、撮像部から転送された画像データの画像処理や編集、記録等を行い、外部機器へインターフェース１１８を介して接続され、外部機器との通信を行なう。インターフェース１１８としては、PC用の汎用インターフェース、例えば、RS-232C、USB(Universal Serial Bus)、IEEE1394、ネットワークアダプタ、IrDA(Infrared Data Association)を用いることが出来る。
【０１３１】
図１６において、被写体１１９の像は、固定レンズ１０１、ズームレンズ１０２（以上撮像レンズ）、絞り機構１０３、フォーカスレンズ１０５を通して、シャッタ１０４により露光時間が制御され、撮像素子１０６上に形成される。撮像素子１０６からの画像信号はCDS（Correlated Double Sampling）（相関二重サンプリング）回路１０７でサンプリングされた後、A/D変換器１０８でデジタル信号化される。この時のタイミングはTG（Timing Generator）１０９で生成される。画像信号はその後、IPP（Image Pre-Processor）１１０でアパーチャ補正などの画像処理、圧縮などを経てメモリ１１１に保存される。各ユニットの動作は、MPU１１２にて制御される。画像記録は、前記支持ユニット１１６ｂ上の前記入力指示スイッチ１１３の操作により行うようにする。
この撮像部１１５では、パターン投光部１２２によって被写体１１９上に投射されたパターンの歪具合を撮像することで、立体形状を算出できる。立体形状の算出は、上述の如く、第１８図に示した如くの三角測量の原理に基づいて行う。即ち、投光部１２２からのスリット光（パターン光）が照射された部分の像は、撮像素子１０６上の点(u.v)で結像される。撮像部１１５の光学系の光学中心を原点とする座標系を定義すると、個々のスリット光が照射された被写体上の奥行き距離は上記式（４）で表される。
【０１３２】
ここで、θ１はスリット光を照射した角度であり既知である。また、θ２は、上記式（５）で表される。ｆは撮像部１１５の光学系の焦点距離である。
【０１３３】
zが求まると、上記式（６）、（７）によりx、yが求まる。
【０１３４】
以上により、被写体上の各点の立体位置が求まる。これを様々な点で求めることにより、被写体の立体形状が求まることになる。
本発明の第５の実施の形態は、このように立体形状を計測できる撮像部１１５において、前記撮影モード設定スイッチ１２３で、紙面撮影モード、書籍撮影モード、及び立体物撮影モードをそれぞれ設定し、各々の設定モードに応じて異なった撮像動作を行うようにするものである。以下、第１９図の動作フローチャートを用いて、詳細に説明する。
【０１３５】
紙面撮影時には、紙面撮影モードが選択され(ステップS1-1、以下「ステップ」の語を省略する)、入力が指示されると(S1-2)、画像取り込みが開始され(S1-3)、所定の撮像動作が実行され、画像取り込みが終了する(S1-4)。このようにして取り込まれた画像について、レンズの歪曲補正が施され(S1-5)、画像情報がメモリ１１１に保存される(S1-6)。前記S1-5は、前記レンズの歪曲補正に限らず、汎用のデジタル画像処理（濃淡補正、２値化処理、スキュー補正等）を行うようにしても良い。紙面撮影モードでは、撮像部１１５による撮像動作を行うが、パターン投光部１２２を使用した立体形状の計測等は行わない。
【０１３６】
次に書籍撮影時には、書籍撮影モードが選択され(S1-7)、入力が指示されると(S1-9)、光源用コンデンサ(不図示)への充電等のパターン光（スリット光等）照射のための準備が行われ(S1-9)、前述の如くのパターン投光部１２２によるパターン投射を伴った画像取り込みが開始され、これが完了(S1-10,S1-11)される。ここで得られた画像におけるパターン光の位置情報より、上述の如くの方法によって被写体の立体形状が算出され，これによって本（書籍）の湾曲形状を算出する(S1-13)。
【０１３７】
次に、パターン投光部１２２を使用したパターン光の照射モードが解除され（S1-15）、テクスチャ画像（即ち本来の被写体の画像）の取り込みが開始され、これが完了される(S1-15,S1-16)。このようにして取り込まれた画像情報に対してレンズの湾曲補正が施され(S1-18)、前記S1-13による湾曲形状の算出結果より、テクスチャ画像の歪が補正され(S1-18)、平面に投影する処理がなされ、その結果が保存される(S1-19)。
【０１３８】
次に立体物撮影時には、立体物撮影モードが選択され(S1-20)、以降レンズの歪補正(S1-29,S1-30)までは、前記書籍撮影モードと同様の処理がなされる。パターン投光部１２２を使用して得られたパターン光の位置情報により、立体形状が算出され、このようにして得られた立体形状にＳ１−２８、Ｓ１−２９で取り込まれたテクスチャ画像がマッピングされ(S1-32)、もって立体情報を有する画像データが合成される。このようにして得られた画像データは、例えばVRML(Virtual Reality Modeling Language)等に変換された後に記録される。
【０１３９】
次に本発明の第６の実施の形態について図２０に即して説明する。
【０１４０】
第６の実施の形態では、上記第５の実施の形態における各モード（紙面撮影モード、書籍撮影モード、立体物撮影モード）について、更に、撮像解像度の設定ができるようにしたものである。他の構成は上述の第５の実施の形態の構成と同様であり、対応する構成要素には同一符号を付して重複説明を省略する。
【０１４１】
該撮像解像度の設定は、前記撮像部１１５のIPP１１０のデジタル画像処理の特性の設定として行うようにすれば良い。また、図２０に示したように、撮像部１１５の方向を変えるための駆動手段として駆動部１２８を設け、更にズームレンズ１０２によってズームを制御する手段（ハードとしてはＭＰＵ１１２）を設けることで、撮像部１１５の視点中心、画角を変えられるような構成とし、被写体１１９を複数の分割画像として記録し、一枚の画像とする画像合成手段（ＭＰＵ１１２）を設け、更に前記撮像解像度を変えられるような構成としても良い。駆動部１２８としては、互いに回転軸を直交させた2個のステッピングモータと所定の減衰比を有するギアを用いればよい。これにより、各モードでの記録解像度が適宜選択できるようになる。
【０１４２】
次に本発明の第７の実施の形態について図２１に即して説明する。
【０１４３】
第７の実施の形態は、被写体が紙面、書籍、立体物のいずれかであるかを自動的に判別する自動選択手段（バードとしてはＭＰＵ１１２）を具備する。他の構成は上述の第５の実施の形態と同様であり、重複説明を省く。
図２１の動作フローチャートを用い、前記自動選択手段を含め、第７の実施の形態の動作について詳細に説明する。
【０１４４】
画像取り込み開始操作によりパターン投光部１２２によるパターン光照射のための準備が行われ(S2-1)、前述の如くのパターン投光部を使用した画像取り込みが開始され、これが完了される(S2-2,S2-3)。次にこのようにして得られた画像情報に対してレンズの歪曲歪補正等の画像処理が施され(S2-3)、前述の如くの方法にて被写体表面の立体形状が算出される(S2-4)。このようにして得られた立体形状の算出結果を基に、上記各モードのうちのいずれを選択すべきかを自動的に判別するようにする。
【０１４５】
まず、S2-5では、平面か非平面かを判別する。この判別では、ある所定の１次元の形状値（距離値）の平均値等の統計量を用いて予め定められた閾値を使用し、この閾値と前記立体形状算出結果とを比較する。即ち、この閾値より小さい場合（即ち所定の平面を計測した値に近い場合）は、平面、大きい場合は、非平面と判別すれば良い。ここで、平面と判別された場合には、前記紙面撮影モードでの一連の撮影(S2-6〜S2-11)が行われるようにし、非平面と判別された場合には、次のS2-12の判別条件により、書籍か立体物かの判別を行う。
【０１４６】
なお、ここで、書籍とは見開き原稿を示す。見開き原稿の形状は見開き部において、高さ方向に対して同一方向に湾曲するという共通の特徴量を有する。また、書籍は、ある平面の一方向には、高さがほぼ一定という特徴量を有する。したがって背景と書籍部（被写体）との間のエッジを検出することより、書籍部の位置を検出し、この検出位置のデータを使用してスキュー補正を行い常に原稿が撮影領域で、同一方向に正対するように原稿画像情報を補正し、原稿のほぼ絶対的な立体形状を算出する。この補正データを基に前記特徴量の代表値として記録する。この代表値とのテンプレートマッチングにより、書籍であるか否かを判別するようにすれば良い。
【０１４７】
書籍であると判別された場合は、前記書籍撮影モードによる一連の動作（S2-13〜S2-19）を行うようにし、立体物であると判別された場合には、前記立体物撮影モードによる一連の動作(S2-20〜S2-27)を行うようにすれば良い。
【０１４８】
以上、本発明について好適な実施の形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【図面の簡単な説明】
【０１４９】
【図１】従来の文書画像入力装置の外観構成図である。
【図２】本発明の画像入力装置の第１の実施の形態を適用した画像入力装置の外観構成図である。
【図３】図２の撮像部の構成図である。
【図４】図２の画像入力装置で被写体を高解像度に撮影するために撮像部の画角を狭くして分割撮影している状態を示す図である。
【図５】斜めに撮影して画像が台形状の歪（あおり歪み）が生じている状態を示す図である。
【図６】図５の台形状の歪を補正し正対状態の画像に修正した状態を示す図である。
【図７】図２の画像入力装置の第２の状態における画像入力装置の撮像部と投光部部分のブロック図である。
【図８】図７の状態の画像入力装置で縞模様のパターン光（スリット光）を用いて立体の被写体に投光している状態の外観構成図である。
【図９】本発明の第１の実施の形態における立体形状計算の原理を説明するための、図８の立体の被写体の撮影時の投光部と被写体及び撮像部の撮像素子との相対位置関係を示す図である。
【図１０】本発明の画像入力装置の第２の実施の形態の特徴を説明するための、上記縞模様のパターン光が被写体に照射された際の状態（スリット光を半ピッチずらしている）を示す図である。
【図１１】本発明の画像入力装置の第３の実施の形態の特徴を説明するための、撮像部を移動させたときの被写体上の点の候補位置を示す図である。
【図１２】図１１の候補位置の第２の画面における計算上の位置を示す図である。
【図１３】上記第３の実施の形態に適用し得るパターン光切替え用フィルタの設置状態を示す図である。
【図１４】図１３のフィルタのパターン切替機構の一例を示す図である。
【図１５】本発明の画像入力装置の第４の実施の形態の構成、機能を説明するための図である。
【図１６】本発明の画像入力装置の第５の実施の形態の撮像部の内部ブロック図である。
【図１７】上記第５の実施の形態の全体構成及び機能を説明するための斜視図である。
【図１８】上記第５の実施の形態における立体形状計算原理を説明するための図である。
【図１９】上記第５の実施の形態の動作フローチャートを示す図である。
【図２０】本発明の画像入力装置の第６の実施の形態の全体構成及び機能を説明するための斜視図である。
【図２１】本発明の画像入力装置の第７の実施の形態の動作フローチャートである。
【図２２】被写体の例としての三角柱の斜視図である。
【図２３】図２２の三角柱を一の撮影位置で撮影することによって得られた３次元空間上の測定点群を示す図である。
【図２４】図２２の三角柱を一の撮影位置から微小移動した他の撮影位置で撮影することによって得られた３次元空間上の測定点群を示す図である。
【図２５】図２３に示す点群と図２４に示す点群との夫々の位置データを合成して得られた合成位置データの点群を示す図である。
【図２６】なんらかの計測誤差を含む図２５に示す合成位置データの点群を示す図である。
【符号の説明】
【０１５０】
１  画像入力装置
２、１１５  撮像部
３、１２２  投光部
４  移動部
５  支持部
６  投光スイッチ
７  撮影スイッチ
１０、３２、１１９  被写体
１１、３２、１３２  投光パターン
２１、１２１  レンズ
２２、１０３  絞り機構
２３、１０６  撮像素子
２４、１０７  相関二重サンプリング回路（ＣＤＳ）
２５、１０８  Ａ／Ｄ変換器
２６、１０９  タイミングジェネレータ（ＴＧ）
２７、１１０  画像前処理回路（ＩＰＰ）
２８、１１１  メモリ
２９、１１２  ＭＰＵ
３１、４０  フィルタ
４１  歯車
４２  切替機構
１１３  入力指示スイッチ
１１６ａ  支持柱
１１７ｂ  支持ユニット
１１７  制御ユニット
１１８  インタフェース
１２０  撮像領域
１２３  撮影モード設定スイッチ
１２８  駆動部
１４３  分割撮影領域
【図１】
2006179031.tif 000007
【図２】
2006179031.tif 000008
【図３】
2006179031.tif 000009
【図４】
2006179031.tif 000010
【図５】
2006179031.tif 000011
【図６】
2006179031.tif 000012
【図７】
2006179031.tif 000013
【図８】
2006179031.tif 000014
【図９】
2006179031.tif 000015
【図１０】
2006179031.tif 000016
【図１１】
2006179031.tif 000017
【図１２】
2006179031.tif 000018
【図１３】
2006179031.tif 000019
【図１４】
2006179031.tif 000020
【図１５】
2006179031.tif 000021
【図１６】
2006179031.tif 000022
【図１７】
2006179031.tif 000023
【図１８】
2006179031.tif 000024
【図１９】
2006179031.tif 000025
【図２０】
2006179031.tif 000026
【図２１】
2006179031.tif 000027
【図２２】
2006179031.tif 000028
【図２３】
2006179031.tif 000029
【図２４】
2006179031.tif 000030
【図２５】
2006179031.tif 000031
【図２６】
2006179031.tif 000032
【手続補正書】
【提出日】平成18年4月12日(2006.4.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像手段と前記撮像手段を支持する支持手段とを有する画像入力装置であって、少なくとも平面状の被写体を撮影する平面原稿撮影モードと、見開いた本を撮影する書籍撮影モードと、立体形状を含む被写体を撮影する立体物撮影モードの撮影モード設定を有する画像入力装置。
【請求項２】
前記撮影モードに応じて異なった撮影条件で撮影可能な請求項１に記載の画像入力装置。
【請求項３】
被写体の立体形状を算出する立体形状算出手段を備えた請求項１に記載の画像入力装置。
【請求項４】
前記撮像手段のズーム制御手段を備え、前記ズーム制御手段は前記撮影モード設定に応じてズーム制御を行うことを特徴とする請求項１乃至３のうちのいずれか一項に記載の画像入力装置。
【請求項５】
請求項１記載の画像入力装置において、
各撮影モード設定に応じて前記撮像手段が複数の撮像解像度設定を有することを特徴とした画像入力装置。
【請求項６】
請求項１又は５に記載の画像入力装置において、
被写体の立体形状を計測する立体形状計測手段と、前記立体形状計測手段による立体形状計測結果より、被写体の特徴を判定する被写体判定手段とを具備し、該被写体判定手段の判定結果によって前記３種類の被写体に対応する撮影モードを自動的に選択して動作させる撮影モード自動選択手段を有することを特徴とした画像入力装置。
【請求項７】
請求項６に記載の画像入力装置において、
書籍撮影モードが選択された場合、前記立体形状計測手段による立体形状計測結果に基づきモード選択後に撮影した結果を補正し、立体物撮影モードが選択された場合、前記立体形状計測手段による立体形状計測結果とモード選択後に撮影した結果とから画像データを合成することを特徴とした画像入力装置。
【請求項８】
請求項５に記載の画像入力装置において、
前記撮像解像度の設定は、前記撮像手段のデジタル画像処理の設定として行うことを特徴とした画像入力装置。
【請求項９】
請求項５に記載の画像入力装置において、
前記撮像解像度の設定に関し、前記撮像手段を駆動する駆動手段と、撮像手段のズームを制御するズーム制御手段とを設けたことを特徴とした画像入力装置。
【請求項１０】
請求項６に記載の画像入力装置において、
前記撮影モード自動選択手段は、前記被写体判定手段による被写体が平面か非平面かの判別の結果平面と判別された場合、平面原稿撮影モードを選択することを特徴とする画像入力装置。
【請求項１１】
請求項９に記載の画像入力装置において、
前記立体形状計測手段による立体形状計測結果より、被写体の特徴を判定する被写体判定手段を具備し、
前記被写体判定手段は、被写体が平面か非平面かの判別の結果被写体が非平面と判別された場合、被写体が書籍か立体物化の判別を行うことを特徴とする画像入力装置。
【請求項１２】
請求項６，１０及び１１のうちのいずれか一項に記載の画像入力装置において、
前記立体形状計測手段は被写体にパターン投光を行って撮像を行うことを特徴とした画像入力装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
本発明の画像入力装置は、被写体に撮影用の光を投光する投光手段と、前記投光手段から投光されている前記被写体を撮影する撮像手段と、前記撮像手段を支持する支持手段と、前記撮像手段を前記支持手段に対して相対的に移動させる移動手段と、を有し、前記被写体に前記投光手段から所定の投光パターンの光を照射して、当該投光パターンの歪を有する投光画像を前記撮像手段で撮影する画像入力装置であって、前記投光手段と前記撮像手段との相対位置が固定され、前記移動手段で前記撮像手段を相対移動させて、撮像位置の異なる複数の前記投光画像を当該撮像手段で撮影することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
この場合、前記画像入力装置は、前記投光手段と前記支持手段との相対位置が固定され、前記移動手段で前記撮像手段が移動されて、撮像位置の異なる複数の前記投光画像を前記撮像手段で撮影するものであってもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
また、前記画像入力装置は、前記撮像手段が、前記投光手段から前記被写体に投光されていないときの非投光画像を撮影するものであってもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
さらに、前記画像入力装置は、前記撮影時の前記撮像手段の位置を記憶する位置記憶手段をさらに備え、前記撮像手段で撮影された前記画像のあおり歪を前記位置記憶手段の記憶する位置データに基づいて補正するものであってもよい。