(57)【要約】  【課題】  投影手段により画像信号光が投影される方向に存在する被写体、及び投影手段により画像信号光が投影される方向と異なる方向に存在する被写体を撮像することができ、投影方向に任意の情報を表示出力させることのできる画像入出力装置を提供すること。  【解決手段】  撮像ケース１１を撮像ヘッド２に対し軸心回りに回動させることにより、撮像ケース１１に固定された画像撮像部１４による撮像方向と、撮像ヘッド２に固定された画像投影部１３による投影方向に対し相対的に変更される。よって、投影方向とは異なる方向に存在する被写体に画像撮像部１４を対向させることができるので、画像投影部１３により画像信号光が投影される方向に存在する被写体だけでなく、画像投影部１３により画像信号光が投影される方向と異なる方向に存在する被写体をも撮像することができる。  【選択図】        図１
2005354306.tif 000002
【特許請求の範囲】
【請求項１】
光を出射する光源手段と、その光源手段から出射される光に空間変調を施して任意の画像信号光を出力する空間変調手段とを有し、その空間変調手段により出力される画像信号光を投影方向に向けて投影する投影手段と、
少なくとも前記投影方向に存在する被写体を撮像し、その撮像データを取得可能な撮像手段とを備えた画像入出力装置であって、
前記投影方向とは異なる方向に存在する被写体を前記撮像手段により撮像可能なように、前記撮像手段の撮像方向が前記投影手段の投影方向に対して相対的に変更可能に設けられていることを特徴とする画像入出力装置。
【請求項２】
前記空間変調手段は液晶パネルで構成され、前記投影手段はその液晶パネルにより出力された画像信号光を所定の投影面に結像させる投影光学系を有し、
前記撮像手段は、光を電気信号に変換する受光素子と、入射する光をその受光素子に結像させる撮像光学系とを有するものであって、
前記投影手段を保持する投影筺体と、その投影筺体に対し相対的に移動可能に配設された前記撮像手段を保持する撮像筺体を有することを特徴とする請求項１記載の画像入出力装置。
【請求項３】
前記投影手段は、前記光源手段から出射される光を所定の投影方向に投影するための投影方向決定手段を有することを特徴とする請求項２記載の画像入出力装置。
【請求項４】
前記投影手段及び前記撮像手段を支持する基体と、
その基体に対して前記投影手段及び前記撮像手段の少なくとも一方の位置を移動可能に支持する支持部材とを有することを特徴とする請求項１記載の画像入出力装置。
【請求項５】
前記支持部材は、その一端側が前記投影手段及び前記撮像手段の少なくとも一方に連結されるとともに、その他端側に、前記基体にその支持部材を取り付けるための取付部を有し、
前記基体及び前記支持部材の少なくとも一方には、前記投影手段及び前記撮像手段の少なくとも一方へ電力を供給するための電源部が設けられていることを特徴とする請求項４記載の画像入出力装置。
【請求項６】
前記投影手段により画像信号光を投影しつつ、前記撮像手段による撮像を実行する投影撮像制御手段を備えることを特徴とする請求項１から５のいずれかに記載の画像入出力装置。
【請求項７】
前記投影撮像制御手段は、前記投影手段を制御することにより、前記撮像手段により取得された撮像画像に関する関連情報を、前記投影手段により投影するものであることを特徴とする請求項６記載の画像入出力装置。
【請求項８】
前記投影撮像制御手段は、前記投影手段を制御することにより、前記撮像手段により撮像された被写体の撮像画像を前記投影手段により投影するものであることを特徴とする請求項６記載の画像入出力装置。
【請求項９】
前記投影手段により投影される画像信号光を更新する投影画像更新手段を有することを特徴とする請求項６から８のいずれかに記載の画像入出力装置。
【請求項１０】
所定のパターンを有した画像信号光が前記投影手段により前記被写体上に投影された場合に、前記撮像手段により撮像された撮像画像に基づいて、前記被写体の三次元情報を検出する三次元情報検出手段を備えたものであることを特徴とする請求項１から９のいずれかに記載の画像入出力装置。
【請求項１１】
前記撮像手段と前記投影手段との相対的な位置関係が所定範囲の位置関係にあるかを判定する位置判定手段を有することを特徴とする請求項１から１０のいずれかに記載の画像入出力装置。
【請求項１２】
前記撮像手段と前記投影手段との相対的な位置関係が前記所定の位置関係にある状態で、前記撮像手段と前記投影手段の位置関係を固定する固定手段を有することを特徴とする請求項１１記載の画像入出力装置。
【請求項１３】
前記撮像手段と前記投影手段との相対的な位置関係を判定する位置判定手段を有し、前記位置判定手段により、前記撮像手段と前記投影手段との相対的な位置関係が所定範囲の位置関係にないと判定された場合には、前記三次元情報検出手段による三次元情報の検出を禁止する三次元情報検出禁止手段とを有することを特徴とする請求項１０に記載の画像入出力装置。
【請求項１４】
前記撮像手段により取得される撮像画像の解像度を下げて外部に送信する解像度低下送信手段を有することを特徴とする請求項１から１３のいずれかに記載の画像入出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影手段により画像信号光が投影される方向に存在する被写体、及び投影手段により画像信号光が投影される方向と異なる方向に存在する被写体を撮像することができ、投影方向に任意の情報を表示出力させることのできる画像入出力装置に関する。
【背景技術】
【０００２】
従来より、面上に載置された被写体を撮像し、その撮像データを取得可能な画像入出力装置において、撮像可能な領域を視覚的に表示するために、面上の撮像可能な領域に光を投射する投影手段を備えたものが知られている。そのような画像入出力装置に備えられた投影手段は、光源から出射された光に空間変調を施す液晶パネルを備え、光源から出射された光の透過を画素毎に制御することにより、その撮像領域を示すスポット光を投射することができるよう構成されている。
【特許文献１】特開平８−３２８４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載されるような画像入出力装置では、投影手段と撮像手段との相対的な位置関係が固定されており、投影手段により画像信号光が投影される方向に存在する被写体のみ撮像可能に構成されていたため、画像入出力装置の用途が限定されてしまうという問題点があった。
【０００４】
例えば、使用者が撮像手段を自分自身に向け、使用者自身を撮像しようとする場合が考えられるが、その場合は、投影手段を用いて、被写体の撮像方向を含まない方向、例えば、机上に投影手段の投影方向を向けて情報を表示出力させることができない。
【０００５】
本発明は、上述した問題点を解決するためになされたものであり、投影手段により画像信号光が投影される方向に存在する被写体、及び投影手段により画像信号光が投影される方向と異なる方向に存在する被写体を撮像することができ、投影方向に任意の情報を表示出力させることのできる画像入出力装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
この目的を達成するために請求項１記載の画像入出力装置は、光を出射する光源手段と、その光源手段から出射される光に空間変調を施して任意の画像信号光を出力する空間変調手段とを有し、その空間変調手段により出力される画像信号光を投影方向に向けて投影する投影手段と、少なくとも前記投影方向に存在する被写体を撮像し、その撮像データを取得可能な撮像手段とを備えたものであって、前記投影方向とは異なる方向に存在する被写体を前記撮像手段により撮像可能なように、前記撮像手段の撮像方向が前記投影手段の投影方向に対して相対的に変更可能に設けられている。
【０００７】
この請求項１記載の画像入出力装置によれば、撮像手段の撮像方向と投影手段の投影方向とを任意に相対的に変更可能であり、且つ空間変調手段により任意の画像信号光が出力され、その画像信号光が投影手段により投影方向に向けて投影されるので、撮像方向とは異なる方向に任意の情報を投影手段により表示出力可能である。
【０００８】
請求項２記載の画像入出力装置は、請求項１記載の画像入出力装置において、前記空間変調手段は液晶パネルで構成され、前記投影手段はその液晶パネルにより出力された画像信号光を所定の投影面に結像させる投影光学系を有し、前記撮像手段は、光を電気信号に変換する受光素子と、入射する光をその受光素子に結像させる撮像光学系とを有するものであって、前記投影手段を保持する投影筺体を有し、前記撮像手段はその投影筺体に対し相対的に移動可能に配設された前記撮像手段を保持する撮像筺体を有する。
【０００９】
この請求項２記載の画像入出力装置によれば、請求項１記載の画像入出力装置と同様に作用する上、投影手段は液晶パネルにより出力された画像信号光を所定の投影面に結像させる投影光学系を有し、撮像手段は入射する光を受光素子に結像させる撮像光学系を有する。一般的に、上記撮像手段に設けられる受光素子は、上記投影手段に設けられる液晶パネルに比較して、小さいものが多い。このような場合、撮像手段が有する撮像光学系は、投影手段が有する投影光学系よりも小さく構成される。さらに、投影手段には、光源手段が備えられている。よって、撮像手段を保持する撮像筺体は、投影手段を保持する投影筺体に比較して小さく構成することが容易であり、その撮像筺体が投影筺体に対し相対的に移動可能に配設されている。
【００１０】
請求項３記載の画像入出力装置は、請求項２記載の画像入出力装置において、前記投影手段は、前記光源手段から出射される光を所定の投影方向に投影するための投影方向決定手段を有する。
【００１１】
請求項４記載の画像入出力装置は、請求項１記載の画像入出力装置において、前記投影手段及び前記撮像手段を支持する基体と、その基体に対して前記投影手段及び前記撮像手段の少なくとも一方の位置を移動可能に支持する支持部材とを有する。
【００１２】
請求項５記載の画像入出力装置は、請求項４記載の画像入出力装置において、前記支持部材は、その一端側が前記投影手段及び前記撮像手段の少なくとも一方に連結されるとともに、その他端側に、前記基体にその支持部材を取り付けるための取付部を有し、前記基体及び前記支持部材の少なくとも一方には、前記投影手段及び前記撮像手段の少なくとも一方へ電力を供給するための電源部が設けられている。
【００１３】
請求項６記載の画像入出力装置は、請求項１から５のいずれかに記載の画像入出力装置において、前記投影手段により画像信号光を投影しつつ、前記撮像手段による撮像を実行する投影撮像制御手段を備える。
【００１４】
請求項７記載の画像入出力装置は、請求項６記載の画像入出力装置において、前記投影撮像制御手段は、前記投影手段を制御することにより、前記撮像手段により取得された撮像画像に関する関連情報を、前記投影手段により投影するものである。
【００１５】
ここで、撮像手段に関する関連情報とは、例えば、撮像手段の操作方法、操作手順、撮像手段の撮像モードを示す文字列や図形が相当する。
【００１６】
請求項８記載の画像入出力装置は、請求項６記載の画像入出力装置において、前記投影撮像制御手段は、前記投影手段を制御することにより、前記撮像手段により撮像された被写体の撮像画像を前記投影手段により投影するものである。
【００１７】
請求項９記載の画像入出力装置は、請求項６から８のいずれかに記載の画像入出力装置において、前記投影手段により投影される画像信号光を更新する投影画像更新手段を有する。
【００１８】
請求項１０記載の画像入出力装置は、請求項１から９のいずれかに記載の画像入出力装置において、所定のパターンを有した画像信号光が前記投影手段により前記被写体上に投影された場合に、前記撮像手段により撮像された撮像画像に基づいて、前記被写体の三次元情報を検出する三次元情報検出手段を備えたものである。
【００１９】
請求項１１記載の画像入出力装置は、請求項１から１０のいずれかに記載の画像入出力装置において、前記撮像手段と前記投影手段との相対的な位置関係が所定範囲の位置関係にあるかを判定する位置判定手段を有する。
【００２０】
請求項１２記載の画像入出力装置は、請求項１１記載の画像入出力装置において、前記撮像手段と前記投影手段との相対的な位置関係が前記所定の位置関係にある状態で、前記撮像手段と前記投影手段の位置関係を固定する固定手段を有する。
【００２１】
請求項１３記載の画像入出力装置は、請求項１０記載の画像入出力装置において、前記撮像手段と前記投影手段との相対的な位置関係を判定する位置判定手段を有し、その位置判定手段により、前記撮像手段と前記投影手段との相対的な位置関係が所定範囲の位置関係にないと判定された場合には、前記三次元情報検出手段による三次元情報の検出を禁止する三次元情報検出禁止手段とを有する。
【００２２】
請求項１４記載の画像入出力装置は、請求項１から１３のいずれかに記載の画像入出力装置において、前記撮像手段により取得される撮像画像の解像度を下げて外部に送信する解像度低下送信手段を有する。
【発明の効果】
【００２３】
この請求項１記載の画像入出力装置によれば、光源手段より出射された光に対して、空間変調手段により空間変調が施されて任意の画像信号光として出力されると、その任意の画像信号光が、投影手段により投影方向に向けて投影される。ここで、撮像手段の撮像方向と投影手段の投影方向とは相対的に変更可能であり、投影手段により任意の画像信号光が投影方向に向けて投影されるので、投影手段により画像信号光が投影される方向に存在する被写体、及び投影手段により画像信号光が投影される方向と異なる方向に存在する被写体を撮像することができ、さらに投影方向に任意の情報を表示出力させることができるという効果がある。
【００２４】
請求項２記載の画像入出力装置によれば、請求項１記載の画像入出力装置の奏する効果に加えて、撮像筺体は投影筺体に比較して小さく構成することが容易であり、その撮像筺体が投影筺体に対し相対的に移動可能に配設されているので、その撮像筺体に保持された撮像手段と投影筺体に保持された投影手段とを容易に相対的に移動させることができるという効果がある。
【００２５】
請求項３記載の画像入出力装置によれば、請求項２記載の画像入出力装置の奏する効果に加えて、投影手段は、光源手段から出射される光を所定の投影方向に投光するための投影方向決定手段を有するので、光源手段、空間変調手段及び投影光学系を一直線上に設ける必要がなく、投影筺体の形状に合わせて投影手段をコンパクトに設けることができ、投影筺体を小型化できるという効果がある。
【００２６】
請求項４記載の画像入出力装置によれば、請求項１記載の画像入出力装置の奏する効果に加えて、基体に対し投影手段及び撮像手段の少なくとも一方の位置を移動することができるので、投影手段及び撮像手段が基体に支持された状態であっても、投影手段により画像信号光を投影可能な方向や、撮像手段により撮像可能な方向に融通性を持たせることができるという効果がある。
【００２７】
請求項５記載の画像入出力装置によれば、請求項４記載の画像入出力装置の奏する効果に加えて、投影手段及び撮像手段の少なくとも一方へ電力を供給するための電源部は基体及び支持部材の少なくとも一方に設けられているので、投影手段及び撮像手段を軽量化することができ、基体に対し投影手段及び撮像手段の位置を移動する操作が容易になるという効果がある。また、投影手段及び撮像手段が軽量化されているので、投影手段及び撮像手段に電源部を設ける場合に比較して、支持部材の強度がそれほど要求されないという効果もある。
【００２８】
請求項６記載の画像入出力装置によれば、請求項１から５のいずれかに記載の画像入出力装置の奏する効果に加え、投影手段により画像信号光を投影しつつ、撮像手段による撮像が実行される。ここで、撮像手段により投影方向とは異なる方向に存在する被写体を撮像することができるので、例えば、使用者自身が存在する方向とは異なる方向に画像信号光を投影しつつ、撮像手段により使用者自身を撮像することにより、使用者は、投影手段により投影された画像を視認しながら、自分自身を撮像することができるという効果がある。また、例えば、撮像手段により、投影方向と異なる方向に存在する被写体を撮像する場合には、その被写体上には画像信号光が投影されないので、投影手段により投影された画像を含まずに被写体の撮像を行うことができるという効果がある。
【００２９】
請求項７記載の画像入出力装置によれば、請求項６記載の画像入出力装置の奏する効果に加え、撮像手段により取得された撮像画像に関する関連情報が投影手段により投影されるので、使用者は、撮像手段により取得された撮像画像に関する関連情報を視認しつつ、撮像を実行することができるという効果がある。
【００３０】
請求項８記載の画像入出力装置によれば、請求項６記載の画像入出力装置の奏する効果に加え、撮像手段により撮像された被写体の撮像画像が投影手段により投影されるので、使用者は、撮像手段により撮像された被写体の撮像画像を視認しつつ、撮像を実行することができるという効果がある。
【００３１】
請求項９記載の画像入出力装置によれば、請求項６から８のいずれかに記載の画像入出力装置の奏する効果に加え、投影手段により投影される画像信号光が更新されるので、使用者は投影手段により投影された画像の更新を視認しつつ、撮像を実行することができるという効果がある。
【００３２】
請求項１０記載の画像入出力装置によれば、請求項１から９のいずれかに記載の画像入出力装置の奏する効果に加え、所定のパターンを有した画像信号光が投影手段により被写体上に投影された場合に、撮像手段により撮像された撮像画像に基づいて、被写体の三次元情報が検出される画像入出力装置において、撮像手段と投影手段とを互いに相対的に移動させることにより、投影方向とは異なる方向に存在する被写体を撮像することができるよう構成されているので、画像入出力装置において三次元情報を検出するために設けられた投影手段及び撮像手段の用途が拡大するという効果がある。
【００３３】
請求項１１記載の画像入出力装置によれば、請求項１０記載の画像入出力装置の奏する効果に加え、位置判定手段により、撮像手段と投影手段との相対的な位置関係が所定範囲の位置関係にないと判定することができるという効果がある。
【００３４】
請求項１２記載の画像入出力装置によれば、請求項１１記載の画像入出力装置の奏する効果に加え、撮像手段と投影手段との相対的な位置関係が所定の位置関係にある状態で、固定手段により、撮像手段と投影手段の位置関係を固定することができるという効果がある。
【００３５】
請求項１３記載の画像入出力装置によれば、請求項１０記載の画像入出力装置の奏する効果に加え、位置判定手段により、撮像手段と投影手段との相対的な位置関係が所定範囲の位置関係にないと判定された場合には、三次元情報検出手段による三次元情報の検出が禁止されるので、精度の高い三次元情報を確実に検出することができるという効果がある。すなわち、三次元情報検出手段は、所定のパターンを有した画像信号光が投影手段により被写体上に投影された場合に、撮像手段により撮像された撮像画像に基づいて、三次元情報を検出する。したがって、撮像手段と投影手段との相対的な位置関係が所定範囲の位置関係になく、投影手段により所定のパターンを有した画像信号光を被写体上に投影することができない、または精度の高い三次元情報が得られない場合には、三次元情報の検出が禁止されるので、精度の悪い三次元情報が検出されるのを抑制することができるのである。
【００３６】
請求項１４記載の画像入出力装置によれば、請求項１から１３のいずれかに記載の画像入出力装置の奏する効果に加え、撮像手段により取得される撮像画像の解像度が下げられて外部に送信されるので、処理速度を向上することができるという効果がある。
【発明を実施するための最良の形態】
【００３７】
以下、本発明の好ましい実施例について、添付図面を参照して説明する。図１は、本発明の画像入出力装置１の外観斜視図であって、（ａ）は上面側から見た図であり、（ｂ）は撮像ヘッド２を拡大して示す図である。
【００３８】
画像入出力装置１は、デジタルカメラとして機能するデジカメモード、ウェブカメラとして機能するｗｅｂｃａｍモード、３次元形状を検出して立体画像を取得するための立体画像モード、湾曲した原稿等を平面化した平面化画像を取得するための平面化画像モード等の種々のモードを備えた装置であるとともに、任意の画像を投影可能な装置である。さらに、画像入出力装置１は、画像が投影される方向に位置する被写体だけではなく、画像が投影される方向と異なる方向に位置する被写体も撮像可能なように構成されている。
【００３９】
図１では、特に、立体画像モードや平面化画像モードにおいて、被写体Ｐの３次元形状を検出するために、後述する画像投影部１３から明暗を交互に並べてなる縞状のパターン光（所定のパターンを有した画像信号光）を投影している様子を図示している。
【００４０】
画像入出力装置１は、撮像ヘッド２と、その撮像ヘッド２と一端が着脱自在に連結されたアーム部材３とが設けられ、そのアーム部材３の他端には、ラップトップ型のパーソナルコンピュータ４９（以下、単に「ＰＣ４９」と称す）に、撮像ヘッド２及びアーム部材３を取り付け可能な取付部４が備えられている。
【００４１】
撮像ヘッド２は、その内部に後述する画像投影部１３を内包するとともに、その外部において円筒状の撮像ケース１１を軸心回りに回転可能に保持するケースである。撮像ヘッド２の一面には、その中央部に筒状の鏡筒５が配置されている。以下の説明では、鏡筒５が設けられている面を撮像ヘッド２の正面とする。
【００４２】
鏡筒５は、撮像ヘッド２の正面から突出し、その内部に画像投影部１３の一部である投影光学系２０を内包する部材である。この鏡筒５によって、投影光学系２０が保持され、全体を焦点調節のため移動可能とされている。また、鏡筒５端面からは、画像投影部１３の一部である投影光学系２０のレンズの一部が外面に露出しており、この露出部分から投影面に向かって画像信号光が投影される。
【００４３】
撮像ケース１１には、ホワイトバランスセンサー６と、フラッシュ７とが設けられている。また、ホワイトバランスセンサー６とフラッシュ７との間に、後述する画像撮像部１４の一部である撮像光学系２１のレンズの一部が外面に露出しており、この撮像光学系２１に対向する被写体が撮像される。
【００４４】
フラッシュ７は、例えば、デジカメモードにおいて、必要な被写体照度を補足するための光源であり、キセノンガスが充填された放電管で構成されている。また、撮像ヘッド２に内蔵されているコンデンサ（図示せず）からの放電により繰り返し使用することができる。
【００４５】
また撮像ヘッド２の背面には、モニタＬＣＤ１０が配置されている。モニタＬＣＤ１０は、液晶ディスプレイ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）で構成されており、後述するプロセッサ１５からの画像信号を受けて画像を使用者に表示する。例えば、モニタＬＣＤ１０には、デジカメモードやｗｅｂｃａｍモードにおける撮像画像や、立体画像モードにおける３次元形状検出結果画像、平面化画像モードにおける平面化画像等が表示される。
【００４６】
更に、撮像ヘッド２の側面には、撮像ヘッド２とアーム部材３とを着脱自在に連結する連結部材１２が配置されている。画像入出力装置１のうち、撮像ヘッド２部分は単なるモバイル型のデジタルカメラとしても使用可能である。
【００４７】
連結部材１２は、リング状に形成され、撮像ヘッド２の側面に固定されている。また、アーム部材３の一端側には連結部材１２に嵌合する部位が形成されている。この嵌合により、撮像ヘッド２とアーム部材３とを連結することができると共に、撮像ヘッド２をＰＣ４９に対し任意の角度で固定することができるようになっている。また嵌合を解放することによって、アーム部材３と撮像ヘッド２とを切り離すことができる。
【００４８】
アーム部材３は、撮像ヘッド２の向きをＰＣ４９に対し変更可能に保持するためのものであり、任意の形状に屈曲可能な蛇腹状のパイプで構成されている。よって撮像ヘッド２を任意の位置に向けることができるので、ＰＣ４９に取り付けられた状態でも、画像入出力装置１により画像投影可能な方向と撮像可能な方向とを任意に設定することができる。
【００４９】
また、アーム部材３は、上述のようにその一端側が連結部材１２を介して撮像ヘッド２に連結されるとともに、その他端側には、アーム部材３をＰＣ４９に着脱可能に取り付けるための取付部４が設けられている。
【００５０】
取付部４は、その内部に後述するバッテリ２６や電子回路基板等が内包されている。さらに、取付部４には、手前側にレリーズボタン８と、そのレリーズボタン８の上方にオン／オフスイッチ９ａと、下方にモード切替スイッチ９ｂと、パソコン用インターフェイス２４のコネクタとが設けられている。画像入出力装置１は、このパソコン用インターフェイス２４に接続されたケーブル（図示せず）を介して、ＰＣ４９と接続される。
【００５１】
レリーズボタン８は、「半押し状態」と「全押し状態」との２種類の状態に設定可能な２段階の押しボタン式のスイッチで構成されている。レリーズボタン８の状態は後述するプロセッサ１５に管理されており、「半押し状態」で周知のオートフォーカス（ＡＦ）および自動露出（ＡＥ）機能が起動し、ピント、絞り、シャッタスピードが調節され、「全押し状態」で撮像等が行われる。
【００５２】
オン／オフスイッチ９ａは、これを押圧することにより、画像入出力装置１の主電源のオンとオフとを切り換える。
【００５３】
モード切替スイッチ９ｂは、デジカメモード、ｗｅｂｃａｍモード、立体画像モード、平面化画像モード、オフモード等の種々のモードに設定可能なスイッチである。モード切替スイッチ９ｂの状態はプロセッサ１５に管理されており、モード切替スイッチ９ｂの状態がプロセッサ１５によって検出されることで各モードの処理が実行される。
【００５４】
図２は、撮像ヘッド２の内部構成を示す図である。図２（ａ）に示すように、撮像ヘッド２は、蓋部２ａと底部２ｂとからなる。また、撮像ケース１１は、後述する画像撮像部１４を内包する円筒状のケースであって、その外周面に、画像撮像部１４の一部である撮像光学系２１のレンズの一部が露出しているとともに、複数のリブ１１ａが立設されている。
【００５５】
図２（ｂ）は、撮像ヘッド２の蓋部２ａを取り外し、撮像ヘッド２に内包される画像投影部１３を取り外した状態を示す図である。図２（ｂ）に示すように、底部２ｂには、撮像ヘッド位置検出センサＳ１と、撮像部位置検出センサＳ２と、孔２ｃとが設けられている。
【００５６】
撮像ヘッド位置検出センサＳ１は、撮像ヘッド２の傾きを検出するための２軸加速度センサであって、撮像ヘッド２に固定される画像投影部１３の投影方向（後述する投影光学系２０の光軸方向）が鉛直方向に対し何度傾斜しているかを２軸で検出し、電気信号として出力する。
【００５７】
撮像部位置検出センサＳ２は、撮像ヘッド２に対する画像撮像部１４の位置を検出するためのセンサである。
【００５８】
孔２ｃは撮像ヘッド２の正面を構成する面に形成される略円形の孔であって、ネジ切りが施され、この孔２ｃに鏡筒５（図１参照）がネジ嵌合される。後述するように、撮像ヘッド２に内包される画像投影部１３は、この孔２ｃに移動自在にネジ嵌合された鏡筒５から画像を投影する。
【００５９】
撮像ケース１１は、その両端面に撮像ケース１１よりも小径の円筒状部材である小径部１１ｂを有し、その小径部１１ｂの一方には、撮像部位置検出用リブ１１ｃが設けられている。
【００６０】
小径部１１ｂは、底部２ｂに設けられた切欠きに、軸心回りに回転可能に支持される。これにより、撮像ケース１１は、撮像ヘッド２に対し相対回転可能に保持される。
【００６１】
撮像部位置検出用リブ１１ｃは、小径部１１ｂの一方に固定されており、撮像ケース１１の回転に伴って撮像ケース１１の軸心回りに回転する。この撮像部位置検出用リブ１１ｃの近傍には、底部２ｂに固定された上述の撮像部位置検出センサＳ２が位置している。その撮像部位置検出センサＳ２により、この撮像部位置検出用リブ１１ｃの位置を検出することで、撮像ヘッド２に対する画像撮像部１４の撮像方向の向きを検出し、投影方向と撮像方向とが所定範囲の位置関係にあるか否かを判定する為の電気信号を出力する。
【００６２】
図２（ｃ）は、底部２ｂから撮像ケース１１を取り外した状態を示す図であり、図２（ｄ）は、撮像ケース１１を示す図である。図２（ｃ）に示すように、底部２ｂは、所定位置固定用リブ２ｄと回転止め２ｅとを備えている。
【００６３】
所定位置固定用リブ２ｄは、撮像ケース１１の小径部１１ｂと付勢係合することにより、画像投影部１３と画像撮像部１４との相対的な位置関係が所定の位置関係にある状態で撮像ケース１１を所定の位置に固定する。
【００６４】
回転止め２ｅは、撮像ケース１１の外周面に立設された複数のリブ１１ａと係合するように設けられている。したがって、複数のリブ１１ａにより撮像ケース１１を付勢することによって、撮像ケース１１を断続的に回動させ且つ固定させることができる。
【００６５】
図２（ｅ）は、撮像ケース１１の内部構成を示す図である。図２（ｅ）に示すように、撮像ケース１１には、撮像光学系２１と、その撮像光学系２１を介して入射した光を電気信号に変換するＣＣＤ２２とが固定されている。この撮像光学系２１とＣＣＤ２２とから構成される画像撮像部１４は、その画像撮像部１４に対向して存在する被写体を撮像しその撮像データを取得することができる。また、撮像ケース１１を撮像ヘッド２に対し軸心回りに回動させることにより、撮像ケース１１に固定された画像撮像部１４による撮像方向が、撮像ヘッド２に固定された画像投影部１３の投影方向に対して相対的に変更される。よって、投影方向とは異なる方向に存在する被写体に画像撮像部１４を対向させることができるので、画像投影部１３により画像信号光が投影される方向に存在する被写体だけでなく、画像投影部１３により画像信号光が投影される方向と異なる方向に存在する被写体をも撮像することができる。
【００６６】
また、図２（ｅ）に示すように、小径部１１ｂの一方は管状に構成されており、信号ケーブルが挿通される。この信号ケーブルにより、撮像ケース１１内の電気的構成部品と撮像ヘッド２内の電気的構成部品とが電気的に接続される。
【００６７】
図３は、画像入出力装置１の内部の電気的構成をブロック図として示す図である。撮像ヘッド２には主に画像投影部１３と画像撮像部１４とが設けられ、取付部４には主にプロセッサ１５やバッテリ２６が内蔵されている。
【００６８】
また、アーム部材３の内部には信号ケーブルが挿通される。この信号ケーブルは、取付部４の内部まで延出され、取付部４内の電気的構成部品と撮像ヘッド２内の電気的構成部品とを接続する。
【００６９】
画像投影部１３は、投影面に任意の投影画像を投影するためのユニットであり、基板１６と、複数個のＬＥＤ１７（その総称として以下「ＬＥＤアレイ１７Ａ」という）と、光源レンズ１８と、投影ＬＣＤ１９と、投影光学系２０とを、投影方向（投影光学系２０の光軸）１３ａに沿って一直線上に備えている。尚、この画像投影部１３については、図４において詳細に説明する。
【００７０】
画像撮像部１４は、被写体Ｐを撮像するためのユニットであり、撮像光学系２１と、ＣＣＤ２２とを、光の入力方向（撮像光学系２１の光軸）１４ａに沿って備えている。
【００７１】
撮像光学系２１は、複数枚のレンズで構成され、周知のオートフォーカス機能を有し、自動で焦点距離及び絞りを調整して外部からの光をＣＣＤ２２上に結像する。
【００７２】
ＣＣＤ２２は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）素子などの光電変換素子をマトリクス状に配列して構成され、撮像光学系２１を介して表面に結像される画像の光の色及び強さに応じた信号を生成し、これをデジタルデータに変換してプロセッサ１５に出力する。
【００７３】
プロセッサ１５には、フラッシュ７、レリーズボタン８、オン／オフスイッチ９ａ、モード切替スイッチ９ｂ、パソコン用インターフェイス２４、電源インターフェイス２５を介してバッテリ２６、外部メモリ２７、キャッシュメモリ２８、光源ドライバ２９を介してＬＥＤアレイ１７Ａ、投影ＬＣＤドライバ３０を介して投影ＬＣＤ１９、ＣＣＤインターフェイス３１を介してＣＣＤ２２の各々が電気的に接続され、プロセッサ１５によって管理されている。
【００７４】
外部メモリ２７は、着脱自在なフラッシュＲＯＭであり、デジカメモードやｗｅｂｃａｍモード、そして立体画像モードにおいて撮像した撮像画像や３次元情報を記憶する。具体的には、ＳＤカード、ＸＤカード（共に登録商標）等を使用することができる。
【００７５】
キャッシュメモリ２８は、高速な記憶装置である。例えば、デジカメモードにおいて撮像した撮像画像を高速でキャッシュメモリ２８に転送し、プロセッサ１５で画像処理を行ってから外部メモリ２７に格納されるように使われる。具体的には、ＳＤＲＡＭ、ＤＤＲＲＡＭ等を使用することができる。
【００７６】
尚、電源インターフェイス２５はバッテリ２６を、光源ドライバ２９はＬＥＤアレイ１７Ａを、投影ＬＣＤドライバ３０は投影ＬＣＤ１９を、ＣＣＤインターフェイス３１はＣＣＤ２２を各々制御する各種のＩＣ（Integrated Circuit：集積回路）によって構成されている。
【００７７】
ここで、図３に示すように、撮像ヘッド２へ駆動電力を供給するためのメインバッテリ２６は取付部４に設けられているので、撮像ヘッド２を軽量化することができる。よって、ＰＣ４９に対し撮像ヘッド２の向きを変更する操作が容易になる。また、撮像ヘッド２が軽量化されているので、撮像ヘッド２にメインバッテリ２６を設ける場合に比較して、アーム部材３の強度がそれほど要求されない。
【００７８】
図４（ａ）は画像投影部１３の拡大図であり、（ｂ）は光源レンズ１８の平面図であり、（ｃ）は投影ＬＣＤ１９とＣＣＤ２２との配置関係を示す図である。
【００７９】
上述した通り、画像投影部１３は、投影方向に沿って、基板１６と、ＬＥＤアレイ１７Ａと、光源レンズ１８と、投影ＬＣＤ１９と、投影光学系２０とを備えている。
【００８０】
基板１６は、ＬＥＤアレイ１７Ａを実装すると共に、ＬＥＤアレイ１７Ａとの電気的な配線をするためのものである。具体的には、スルーホールを設けたアルミ製基板に絶縁樹脂を塗布してから無電解メッキにて銅パターンを形成したものやガラエポ基材をコアとする単層または多層構造の基板を使用することができる。
【００８１】
ＬＥＤアレイ１７Ａは、各々が放射状の光を発光する光源であり、基板１６上に、複数個のＬＥＤ１７（発光ダイオード）が千鳥状に配列され、銀ペーストを介して接着および電気的に結線されている。また、ボンディングワイヤを介しても電気的に結線されている。
【００８２】
このように光源として複数個のＬＥＤ１７を使用することで、光源として白熱電球、ハロゲンランプ等を使用する場合に比べて、電気を光に変換する効率（電気光変換効率）を高め、同時に赤外線や紫外線の発生を抑えることができる。よって、省電力で駆動でき、節電化、長寿命化を図ることができる。また、装置の温度上昇を低減させることができる。
【００８３】
この様に、ＬＥＤ１７はハロゲンランプ等に比べて熱線の発生が極めて低く、且つ光源自身の総発熱量も低いので、後述する光源レンズ１８や投影光学系２０として、樹脂製のレンズを採用することができる。よって、ガラス製のレンズを採用する場合に比べて、各レンズ１８，２０を安価で軽量に構成することができる。
【００８４】
また、ＬＥＤアレイ１７Ａを構成する各ＬＥＤ１７は、各々同じ発光色を発光するもので、材料にＡｌ、Ｉｎ、Ｇａ、Ｐの４元素を用いたアンバー色を発光するもので構成されている。よって、複数色の発光色を発光させる場合に生ずる色収差の補正を考慮する必要はなく、色収差を補正するために投影光学系２０として色消しレンズを採用する必要はないので、簡単な面構成および安価な材料の投影手段を提供することができるという効果がある。
【００８５】
また、他の発光色に比べて電気光変換率が約８０ｌｕｍｅｎ／Ｗと高い４元素材料のアンバー色ＬＥＤを採用することで、一層、高輝度、節電、長寿命化を図ることができる。尚、各ＬＥＤ１７を千鳥状に配置する事に関する効果については、図４を参照して説明する。
【００８６】
具体的には、ＬＥＤアレイ１７Ａは５９個のＬＥＤ１７からなり、各ＬＥＤ１７は５０ｍＷ（２０ｍＡ，２．５Ｖ）で駆動され、結局、全５９個のＬＥＤ１７は略３Ｗの消費電力で駆動される。また、各ＬＥＤ１７から発光される光が、光源レンズ１８、投影ＬＣＤ１９を通過して投影光学系２０から照射される場合の光束値としての明るさは、全面照射の場合であっても２５ＡＮＳＩルーメン程度に設定されている。
【００８７】
この明るさを採用することで、例えば、立体画像モードにおいて、人や動物の顔面等の被写体の３次元形状を検出する場合に、人や動物に眩しさを与えず、人や動物が目をつぶっていない状態の３次元形状を検出することができる。
【００８８】
光源レンズ１８は、ＬＥＤアレイ１７Ａから放射状に発光される光を集光するレンズであり、その材質はアクリルに代表される光学樹脂で構成されている。
【００８９】
具体的には、光源レンズ１８は、ＬＥＤアレイ１７Ａの各ＬＥＤ１７に対向する位置に投影ＬＥＤ１９側に向けて凸設された凸状のレンズ部１８ａと、そのレンズ部１８ａを支持するベース部１８ｂと、そのベース部１８ｂの内部空間であってＬＥＤアレイ１７Ａを内包する開口に充填されるＬＥＤ１７の封止および基板１６と光源レンズ１８との接着を目的としたエポキシまたはシリコン樹脂の封止材１８ｃと、ベース部１８ｂから基板１６側に突設され、光源レンズ１８と基板１６とを接続する位置決めピン１８ｄとを備えている。
【００９０】
光源レンズ１８は、開口の内部にＬＥＤアレイ１７Ａを内包させつつ、基板１６に穿設されている長孔１６に位置決めピン１８ｄを差込み、基板１６上に固定される。
【００９１】
よって、省スペースで光源レンズ１８を配置することができる。また、基板１６にＬＥＤアレイ１７Ａを実装するという機能の他に、光源レンズ１８を支持するという機能を兼任させることで、光源レンズ１８を支持する部品を別途必要とせず、部品の点数を削減することができる。
【００９２】
また、各レンズ部１８ａは、ＬＥＤアレイ１７Ａの各ＬＥＤ１７と１対１の関係で対向する位置に配置されている。
【００９３】
よって、各ＬＥＤ１７から発光される放射状の光は、各ＬＥＤ１７に対向する各レンズ部１８によって効率良く集光され、図に示すような指向性の高い放射光として投影ＬＥＤ１９に照射される。この様に指向性を高めたのは、投影ＬＣＤ１９に略垂直に光を入射することによって、液晶の旋光性に起因する面内の透過率ムラが抑制され得るためである。また同時に、投影光学系２０は、テレセントリック特性を持ち、その入射ＮＡが０．１程度であるため、垂直±５°以内の光のみが内部の絞りを通過できるように規制されているためである。従って、ＬＥＤ１７からの光を出射角度を垂直に揃え、且つ、±５°にほどんどの光束を入れることが画質向上の要点となる。なぜなら投影ＬＣＤ１９に垂直から外れた光を入射すると、液晶の旋光性により、透過率が入射角度に依存して変わってしまい、透過率ムラとなるからである。
【００９４】
投影ＬＣＤ１９は、光源レンズ１８を通過して集光された光に空間変調を施して、投影光学系２０に向けて任意の画像信号光を出力する空間変調素子であって、具体的には、縦横の比率の異なる板状の液晶ディスプレイ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）で構成されている。
【００９５】
また、（Ｃ）に示すように、この投影ＬＣＤ１９を構成する各画素は、その液晶ディスプレイの長手方向に沿って一直線状に並べられた１の画素列と、その１の画素列とは液晶ディスプレイの長手方向に所定間隔ずれた他の画素列とを交互に並列に並べて配置されている。
【００９６】
尚、（Ｃ）は紙面手前側に撮像ヘッド２の正面を向け、紙面裏側から光が投影ＬＣＤ１９に向けて照射され、紙面手前側からＣＣＤ２２に被写体像が結像される状態であるとする。
【００９７】
このように、投影ＬＣＤ１９を構成する画素を長手方向に千鳥状に配置することで、長手方向と直交する方向（短手方向）において、投影ＬＣＤ１９によって空間変調が施される光を１／２ピッチで制御することができる。従って、細いピッチで投影パターンを制御でき、分解能を上げて高精度に３次元の形状を検出することができる。
【００９８】
特に、後述する立体画像モードにおいて、被写体の３次元形状を検出すべく、被写体に向けて明暗を交互に並べてなる縞状のパターン光を投光する場合に、その縞方向を投影ＬＣＤ１９の短手方向に一致させることで、明暗の境界を１／２ピッチで制御することができるので、同様に高い解像点数で高精度に３次元の形状を検出することができる。
【００９９】
また、撮像ヘッド２の内部において、投影ＬＣＤ１９とＣＣＤ２２とは、（Ｃ）に示すような関係で配置される。具体的には、投影ＬＣＤ１９の幅広面とＣＣＤ２２の幅広面とは略同一の方向に向いて配置されているので、投影ＬＣＤ１９から投影面に投影されている画像をＣＣＤ２２に結像させる場合に、投影画像をハーフミラー等で屈曲させることなく、そのままの状態で投影画像を結像させることができる。
【０１００】
また、ＣＣＤ２２は、投影ＬＣＤ１９の長手方向側（画素列が延びる方向側）に配置されている。よって、特に、立体画像モードにおいて、三角測量の原理を利用して被写体の３次元形状を検出する場合には、ＣＣＤ２２と被写体とのなす傾きを１／２ピッチで制御することができるので、同様に高精度に３次元の形状を検出することができる。
【０１０１】
投影光学系２０は、投影ＬＥＤ１９を通過した画像信号光を投影面に向けて投影する複数のレンズであり、ガラス及び樹脂の組み合わせからなるテレセントリックレンズで構成されている。テレセントリックとは、投影光学系２０を通過する主光線は、入射側の空間では光軸に平行になり、射出瞳の位置は無限になる構成をいう。このようにテレセントリックにすることで、前述のように投影ＬＣＤ１９を垂直±５°で通過する光のみを投影し得るので、画質を向上させることができる。
【０１０２】
図５は、ＬＥＤアレイ１７Ａの配列に関する説明をするための図である。（ａ）は光源レンズ１８を通過した光の照度分布を示す図であり、（ｂ）はＬＥＤアレイ１７Ａの配列状態を示す平面図であり、（ｃ）は投影ＬＣＤ１９面における合成照度分布を示す図である。
【０１０３】
（ａ）に示すように、光源レンズ１８を通過した光は、半値拡がり半角θ（＝略５°）で、（ａ）左側に図示するような照度分布を有する光として投影ＬＣＤ１９の表面に到達するように設計されている。
【０１０４】
また、（ｂ）に示すように、複数のＬＥＤ１７は基板上１６に千鳥状に配列されている。具体的には、複数個のＬＥＤ１７をｄピッチで直列に並べたＬＥＤ列を、√３／２ｄピッチで並列に並べ、更に、そのＬＥＤ列を１列おきに同じ方向に１／２ｄ移動させた状態になるように配置されている。
【０１０５】
換言すれば、１のＬＥＤ１７と、その１のＬＥＤ１７の周辺のＬＣＤ１７との間隔はｄになるように設定されている（三角格子配列）。
【０１０６】
そして、このｄの長さは、ＬＥＤ１７の１つから出射された光によって投影ＬＣＤ１９において形成される照度分布の半値全幅（ＦＷＨＭ（Full  Width  Half  Maximun））以下となる様に決定されている。
【０１０７】
よって、光源レンズ１８を通過して投影ＬＣＤ１９の表面に到達する光の合成照度分布は、（ｃ）に示すように小さなリップルを含んだ略直線状になり、投影ＬＣＤ１９の面に略均一に光を照射することができる。従って、投影ＬＣＤ１９における照度ムラを抑制することができ、結果的に、高品質な画像を投影することができる。
【０１０８】
図６は、画像入出力装置１の電気的なブロック図である。尚、既に上述した構成ついては、その説明を省略する。プロセッサ１５は、ＣＰＵ３５と、ＲＯＭ３６と、ＲＡＭ３７とを備えている。
【０１０９】
ＣＰＵ３５は、ＲＯＭ３６に記憶されたプログラムによる処理に応じて、ＲＡＭ３７を利用して、レリーズボタン８の押下げ操作の検知、ＣＣＤ２２から画像データの取り込み、その画像データの転送、格納、モード切替スイッチ９ｂの状態の検出等の各種処理を行う。
【０１１０】
ＲＯＭ３６には、カメラ制御プログラム３６ａと、パターン光撮影プログラム３６ｂと、輝度画像生成プログラム３６ｃと、コード画像生成プログラム３６ｄと、コード境界抽出プログラム３６ｅと、レンズ収差補正プログラム３６ｆと、三角測量演算プログラム３６ｇと、原稿姿勢演算プログラム３６ｈと、平面変換プログラム３６ｉとが格納されている。
【０１１１】
カメラ制御プログラム３６ａは、図７に示すメイン処理を含む画像入出力装置１全体の制御に関するプログラムである。
【０１１２】
パターン光撮影プログラム３６ｂは、被写体Ｐの３次元形状を検出するために被写体にパターン光を投影した状態と、投影していない状態とを撮像するプログラムである。
【０１１３】
輝度画像生成プログラム３６ｃは、パターン光撮影プログラム３６ｂによってパターン光を投影した状態を撮像したパターン光有画像と、パターン光を投影していない状態を撮像したパターン光無画像のそれぞれについて、ＹＣｂＣｒ空間におけるＹ値を画像のＲＧＢ値から算出するプログラムである。
【０１１４】
また、パターン光は複数種類のものが時系列に投影され各パターン光毎に撮像され、複数種類の輝度画像が生成される。
【０１１５】
コード画像生成プログラム３６ｄは、輝度画像生成プログラム３６ｃによって生成される複数枚の輝度画像について、予め設定した輝度閾値あるいはパターン光無画像の輝度画像を参照して２値化し、その結果より各画素毎に所定のコードを割り当てたコード画像を生成するプログラムである。
【０１１６】
コード境界抽出プログラム３６ｅは、コード画像生成プログラム３６ｄによっって生成されるコード画像と、輝度画像生成プログラム３６ｃによって生成される輝度画像とを利用して、コードの境界座標をサブピクセル精度で求めるプログラムである。
【０１１７】
レンズ収差補正プログラム３６ｆは、コード境界抽出プログラム３６ｅによってサブピクセル精度で求められているコードの境界座標に対して、撮像光学系２０の収差補正を行うプログラムである。
【０１１８】
三角測量演算プログラム３６ｇは、レンズ収差補正プログラム３６ｆによって収差補正がなされたコードの境界座標から、その境界座標に関する実空間の３次元座標を演算するプログラムである。
【０１１９】
原稿姿勢演算プログラム３６ｈは、三角測量演算プログラム３６ｇで演算された３次元座標から例えば書籍などの被写体Ｐの３次元形状を推定して求めるプログラムである。
【０１２０】
平面変換プログラム３６ｉは、原稿姿勢演算プログラム３６ｈで演算される原稿などの被写体Ｐの３次元形状に基づき、例えば書籍などの被写体Ｐを正面から撮像したような平面化画像を生成するプログラムである。
【０１２１】
ＲＡＭ３７には、パターン光有画像格納部３７ａと、パターン光無画像格納部３７ｂと、輝度画像格納部３７ｃと、コード画像格納部３７ｄと、コード境界座標格納部３７ｅと、ＩＤ格納部３７ｆと、収差補正座標格納部３７ｇと、３次元座標格納部３７ｈと、原稿姿勢演算結果格納部３７ｉと、平面変換結果格納部３７ｊと、投影画像格納部３７ｋと、ワーキングエリア３７ｌとが記憶領域として割り当てられている。
【０１２２】
パターン光有画像格納部３７ａは、パターン光撮影プログラム３６ｂによって被写体Ｐにパターン光を投影した状態を撮像したパターン光有画像を格納する。パターン光無画像格納部３７ｂは、パターン光撮影プログラム３６ｂによって被写体Ｐにパターン光を投影していない状態を撮像したパターン光無画像を格納する。
【０１２３】
輝度画像格納部３７ｃは、輝度画像生成プログラム３６ｃによって生成される輝度画像を格納する。コード画像格納部３７ｄは、コード画像生成プログラム３６ｄによって生成されるコード画像を格納する。コード境界座標格納部３７ｅは、コード境界抽出プログラム３６ｅによって、抽出されるサブピクセル精度で求められた各コードの境界座標を格納する。ＩＤ格納部３７ｆは、境界を有する画素位置において明暗の変化を有する輝度画像に割り当てられるＩＤ等を格納する。収差補正座標格納部３７ｇは、レンズ収差補正プログラム３６ｆによって収差補正がなされたコードの境界座標を格納する。３次元形状座標格納部３７ｈは、三角測量演算プログラム３６ｇによって演算される実空間の３次元座標を格納する。
【０１２４】
原稿姿勢演算結果格納部３７ｉは、原稿姿勢演算プログラム３６ｈによって演算される原稿などの被写体Ｐの３次元形状に関するパラメータを格納する。平面変換結果格納部３７ｊは、平面変換プログラム３６ｉよって生成される平面変換結果を格納する。投影画像格納部３７ｋは、画像投影部１３から投影する画像情報を格納する。ワーキングエリア３７ｌは、ＣＰＵ１５での演算のために一時的に使用するデータを格納する。
【０１２５】
プロセッサ１５には、上述した構成に加え、バスラインを介してアンプ３２が接続されており、アンプ３２は、そのアンプ３２に接続されたスピーカ３３を鳴動して、警告音などを出力するためのものである。
【０１２６】
また、ＰＣ４９は、ＣＰＵ５０と、そのＣＰＵ５０と内部バスを介して接続されたＲＯＭ５１及びＲＡＭ５２と、パソコン用インターフェイス２４と接続可能なインターフェイス５５と、ＣＲＴディスプレイ５８と、キーボード５９とが各々入出力ポート５４を介して電気的に接続されている。
【０１２７】
図７は、メイン処理のフローチャートである。尚、このメイン処理におけるデジカメ処理（Ｓ６０５）、ｗｅｂｃａｍ処理（Ｓ６０７）、立体画像処理（Ｓ６０９）、平面化画像処理（Ｓ６１１）の各処理についての詳細は後述する。
【０１２８】
メイン処理では、まず、電源が起動されると（Ｓ６０１）、プロセッサ１５やその他のインターフェイス等が初期化される（Ｓ６０２）。
【０１２９】
そして、モード切替スイッチ９の状態を判別するキースキャンが行われ（Ｓ６０３）、モード切替スイッチ９の設定がデジカメモードか否かが判断され（Ｓ６０４）、デジカメモードであれば（Ｓ６０４：Ｙｅｓ）、後述するデジカメ処理に移行する（Ｓ６０５）。
【０１３０】
一方、デジカメモードでなければ（Ｓ６０４：Ｎｏ）、モード切替スイッチ９の設定がｗｅｂｃａｍモードか否かが判断され（Ｓ６０６）、ｗｅｂｃａｍモードであれば（Ｓ６０６：Ｙｅｓ）、後述するｗｅｂｃａｍ処理に移行する（Ｓ６０７）。
【０１３１】
一方、ｗｅｂｃａｍモードでなければ（Ｓ６０６：Ｎｏ）、モード切替スイッチ９の設定が立体画像モードか否かが判断され（Ｓ６０８）、立体画像モードであれば（Ｓ６０８：Ｙｅｓ）、後述する立体画像処理に移行する（Ｓ６０９）。
【０１３２】
一方、立体画像モードでなければ（Ｓ６０８：Ｎｏ）、モード切替スイッチ９の設定が平面化画像モードか否かが判断され（Ｓ６１０）、平面化画像モードであれば（Ｓ６１０：Ｙｅｓ）、後述する平面化画像処理に移行する（Ｓ６１１）。
【０１３３】
一方、平面化画像モードでなければ（Ｓ６１０：Ｎｏ）、モード切替スイッチ９の設定がオフモードか否かが判断され（Ｓ６１２）、オフモードでなければ（Ｓ６１２：Ｎｏ）、Ｓ６０３からの処理を繰り返し、オフモードであれば（Ｓ６１２：Ｙｅｓ）、当該処理を終了する。
【０１３４】
以下に、デジカメ処理、ｗｅｂｃａｍ処理、立体画像処理について詳細に説明する。これらの処理では、画像投影部１３と画像撮像部１４との相対的な位置関係に基づいて、条件判定が行われるため、まず、画像投影部１３と画像撮像部１４との相対的な位置関係について説明する。
【０１３５】
図８は画像投影部１３と画像撮像部１４との位置関係を示す図である。まず、撮像ヘッド位置検出センサＳ１及び撮像部位置検出センサＳ２により出力される信号に基づいて、画像投影部１３の投影方向（投影光学系２０の光軸方向）が鉛直方向に対し０°±３０°（略−３０°〜略３０°）であり、画像撮像部１４の撮像方向（撮像光学系２１の光軸方向）が、撮像ヘッド２の正面（鏡筒５が設けられた面）に対し０°以外であると検出された場合を、以下Ａモードと称する（図８（ｂ）Ａに示す状態）。
【０１３６】
また、撮像ヘッド位置検出センサＳ１及び撮像部位置検出センサＳ２により出力される信号に基づいて、画像投影部１３の投影方向が鉛直方向に対し０°±３０°であり、画像撮像部１４の撮像方向が、撮像ヘッド２の正面に対し略０°であると検出された場合を、以下Ｂモードと称する（図８（ｂ）Ｂに示す状態）。
【０１３７】
このＢモードでは、画像撮像部１４により撮像される被写体が存在する方向と、画像投影部１３により画像信号光が投影される方向とが互いに垂直に近い大きな角度となるので、被写体上には画像信号光が投影されず、画像投影部１３により画像信号光を投影しつつ画像撮像部１４による撮像を行っても、投影画像は撮像しないようにすることができる。したがって、画像投影部１３と画像撮像部１４との位置関係がＢモードである場合には、例えば操作方法や操作手順を示す文字列等（撮像手段により取得された撮像画像に関する関連情報）が投影された状態で、使用者がそれらの投影された文字列等を確認しながら、適宜撮像を実行することができる。また例えば、使用者自身が存在する方向とは異なる方向に画像信号光を投影しつつ、画像撮像部１４を使用者自身に対向させて撮像することにより、使用者は、画像投影部１３により投影された画像を視認しながら、自分自身を撮像することができる。
【０１３８】
また、撮像ヘッド位置検出センサＳ１及び撮像部位置検出センサＳ２により出力される信号に基づいて、画像投影部１３の投影方向が鉛直方向に対し０°±３０°以外であり、画像撮像部１４の撮像方向が撮像ヘッド２の正面に対し略０°以外であると検出された場合を、以下Ｃモードと称する（図８（ｂ）Ｃに示す状態）。
【０１３９】
また、撮像ヘッド位置検出センサＳ１及び撮像部位置検出センサＳ２により出力される信号に基づいて、画像投影部１３の投影方向が鉛直方向に対し０°±３０°以外であり、画像撮像部１４の撮像方向が撮像ヘッド２の正面に対し略０°であると検出された場合を、以下Ｄモードと称する（図８（ｂ）Ｄに示す状態）。
【０１４０】
このＤモードでは、画像撮像部１４により撮像される被写体が存在する方向と、画像投影部１３により画像信号光が投影される方向とが互いに垂直に近い大きな角度となるので、被写体上には画像信号光が投影されず、画像投影部１３により画像信号光を投影しつつ画像撮像部１４による撮像を行っても、投影画像は撮像しないようにすることができる。
【０１４１】
図９は、デジカメ処理（図６のＳ６０５）のフローチャートである。デジカメ処理は、画像撮像部１４によって撮像した画像を取得する処理である。
【０１４２】
この処理では、まず、ＣＣＤ２２に高解像度設定信号を送信する（Ｓ７０１）。これにより高品質の撮像画像を使用者に提供することができる。
【０１４３】
次に、撮像ヘッド位置検出センサＳ１から出力される信号に基づいて、画像投影部１３の位置を取得し、撮像部位置検出センサＳ２から出力される信号に基づいて、画像撮像部１４の位置を取得する（Ｓ７０２ｂ）。
【０１４４】
続いて、画像投影部１３と画像撮像部１４との位置関係が上述したＡモード（図８参照）か否かを調べ（Ｓ７０２ｃ）、Ａモードである場合（Ｓ７０２ｃ：Ｙｅｓ）、画像投影部１３により撮像可能な領域に撮像可能範囲を示す画像である矩形画像光を投射する（Ｓ７０２ｄ）。図１０は、撮像可能な領域を示す矩形画像光が面上に投射されている状態を示す図である。このように、使用者はレリーズボタン８を押下することにより実際に撮像する前に、矩形画像光により撮像可能な領域を視認することができる。
【０１４５】
一方、画像投影部１３と画像撮像部１４との位置関係が上述したＡモードではない場合（Ｓ７０２ｃ：Ｎｏ）、Ｂモード（図８参照）か否かを調べ（Ｓ７０２ｅ）、Ｂモードである場合（Ｓ７０２ｅ：Ｙｅｓ）、撮像が可能であることを知らせるための文字等の画像を、画像投影部１３により投影する（Ｓ７０２ｆ）。
【０１４６】
一方、画像投影部１３と画像撮像部１４との位置関係が上述したＢモードではない場合（Ｓ７０２ｅ：Ｎｏ）、撮像可能である旨をスピーカ３３（図６参照）を鳴動して報知する（Ｓ７０２ｇ）。すなわち、画像投影部１３による画像信号光の投影方向が鉛直方向に対し０°±３０°以外（ＣモードまたはＤモード）である場合は、画像投影部１３の投影方向に投影可能な面が存在していない可能性が高いので、画像投影部１３と画像撮像部１４との位置関係が上述したＡモード及びＢモードのいずれでもない場合は、撮像可能である旨を投影画像によってではなく、音声により報知するのである。なお、音声による報知に替えて、図示しないパイロットランプ等の点灯、点滅により撮像可能である旨を報知するものであっても良い。
【０１４７】
次に、レリーズボタン８をスキャンし（Ｓ７０３ａ）、レリーズボタン８が半押しされたか否かを判断する（Ｓ７０３ｂ）。半押しされていれば（Ｓ７０３ｂ：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ７０３ｃ）。尚、半押しされていなければ（Ｓ７０３ｂ：Ｎｏ）、Ｓ７０３ａからの処理を繰り返す。
【０１４８】
次に、再び、レリーズボタン８をスキャンし（Ｓ７０３ｄ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ７０３ｅ）。全押しされていれば（Ｓ７０３ｅ：Ｙｅｓ）、フラッシュモードか否かを判断する（Ｓ７０４）。
【０１４９】
その結果、フラッシュモードであれば（Ｓ７０４：Ｙｅｓ）、フラッシュ７を投光して（Ｓ７０５）、撮影し（Ｓ７０６）、フラッシュモードでなければ（Ｓ７０４：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ７０６）。尚、Ｓ７０３ｅの判断において、全押しされていなければ（Ｓ７０３ｅ：Ｎｏ）、Ｓ７０３ａからの処理を繰り返す。
【０１５０】
ここで、Ｓ７０２ｅの処理においてＢモードであると判定され、Ｓ７０２ｆの処理において、撮像可能を知らせる画像が投影されている場合には、Ｓ７０６の処理では、その画像の投影が継続されつつ、被写体Ｐの撮像が行われる。すなわち、Ｂモードでは、撮像方向が撮像ヘッド２の正面に対し略０°であり、画像撮像部１４により撮像される方向と画像投影部１３により画像信号光が投影される方向とが互いに略垂直に近い大きな角度となるため、画像撮像部１４により撮像されるべき被写体上には、画像投影部１３による画像信号光の投影がなされない。よって、画像投影部１３により画像の投影を行いつつ撮像したとしても、その投影された画像を含まずに被写体Ｐを撮像することができるのである。
【０１５１】
次に、撮影した撮像画像をＣＣＤ２２からキャッシュメモリ２８に転送し（Ｓ７０７）、キャッシュメモリ２８に記憶された撮像画像をモニタＬＣＤ１０に表示する（Ｓ７０８）。このように、撮像画像をキャッシュメモリ２８に転送することでメインメモリに転送する場合に比較して、撮像画像を高速にモニタＬＣＤ１０に表示させることができる。そして、その撮像画像を外部メモリ２７に格納する（Ｓ７０９）。
【０１５２】
最後に、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ７１０）、そ変化が無ければ（Ｓ７１０：Ｙｅｓ）、Ｓ７０２ｂからの処理を繰り返し、変化があれば（Ｓ７１０：Ｎｏ）、当該処理を終了する。
【０１５３】
図１１は、ｗｅｂｃａｍ処理（図７のＳ６０７）のフローチャートである。ｗｅｂｃａｍ処理は、画像撮像部１４で撮像した撮像画像（静止画および動画を含む）を外部ネットワークに送信する処理である。尚、本実施例では、撮像画像として動画を外部ネットワークに送信する場合を想定している。
【０１５４】
この処理では、まず、ＣＣＤ２２に低解像度設定信号を送信し（Ｓ８０１）、周知のオートフォーカス（ＡＦ）及び自動露出（ＡＥ）機能を起動して、ピント、絞り、シャッター速度を調節する（Ｓ８０２ａ）。
【０１５５】
次に、撮像ヘッド位置検出センサＳ１から出力される信号に基づいて、画像投影部１３の位置を取得し、撮像部位置検出センサＳ２から出力される信号に基づいて、画像撮像部１４の位置を取得する（Ｓ８０２ｂ）。
【０１５６】
続いて、画像投影部１３と画像撮像部１４との位置関係が上述したＡモード（図８参照）か否かを調べ（Ｓ８０２ｃ）、Ａモードである場合（Ｓ８０２ｃ：Ｙｅｓ）、デジカメ処理（図９参照）におけるＳ７０２ｄの処理と同様に、画像投影部１３により撮像可能範囲を示す画像である矩形画像光を投射する（Ｓ８０２ｄ）。
【０１５７】
一方、画像投影部１３と画像撮像部１４との位置関係が上述したＡモードではない場合（Ｓ８０２ｃ：Ｎｏ）、Ｂモード（図８参照）か否かを調べる（Ｓ８０２ｅ）。Ｂモードである場合（Ｓ８０２ｅ：Ｙｅｓ）、後述する投影処理が行われ（Ｓ８０２ｆ）、続いて画像撮像部１４により撮像が行われる。画像投影部１３と画像撮像部１４との位置関係がＢモードである場合、撮像方向が投影方向に対し垂直に近い大きな角度で交わるため、画像撮像部１４により撮像されるべき被写体Ｐ上には、画像投影部１３による画像信号光の投影はなされない。よって、デジカメ処理（図９参照）におけるＳ７０２ｆの処理と同様に、画像投影部１３により画像の投影を行いつつ撮像したとしても、その投影された画像を含まずに被写体Ｐを撮像することができる。
【０１５８】
図１２は、ｗｅｂｃａｍ処理の投影処理（Ｓ８０２ｆ）において、画像投影部１３により画像出力光が投影されている状態を示す図である。図１２に示すようにｗｅｂｃａｍ処理では、例えば、「ＷＥＢＣＡＭモードです」などの撮像モードを示す文字列からなるメッセージ画像Ｍと、撮像画像ｆとが合成されて投影される。ｗｅｂｃａｍ処理の開始時には、未だ撮像画像ｆが得られていないので、メッセージＭのみが投影される。
【０１５９】
一方、画像投影部１３と画像撮像部１４との位置関係が上述したＢモードではない場合（Ｓ８０２ｅ：Ｎｏ）、撮像可能である旨をスピーカ３３（図６参照）を鳴動して報知し（Ｓ８０２ｇ）、撮影を開始する（Ｓ８０３）。すなわち、デジカメ処理（図９参照）と同様の理由により、画像投影部１３と画像撮像部１４との位置関係がＡモードではなくＢモードでもない場合は、画像投影部１３による画像の投影を行わなわず、音声のみで使用者に対する報知を行う。
【０１６０】
そして、撮影された撮像画像をモニタＬＣＤ１０に表示する（Ｓ８０４）。次に、例えば「撮像中です」などの文字列からなるメッセージ画像Ｍと撮像画像ｆとを合成して、投影画像格納部３７ｋに格納する（Ｓ８０５）。すなわち、Ｓ８０４の処理において、投影画像格納部３７ｋに格納される投影画像が更新されるので、Ｓ８０２ｆの投影処理において、更新された画像出力光により、撮像画像ｆ及びメッセージ画像Ｍが投影され、使用者は、画像撮像部１４による撮像状態の変化を投影画像により視認することができる。
【０１６１】
また、撮像画像をＣＣＤ２２からキャッシュメモリ２８に転送し（Ｓ８０７）、キャッシュメモリ２８に転送された撮像画像をＲＦインターフェイスであるＲＦドライバ２４及びアンテナ１１を介して外部ネットワークに送信する（Ｓ８０８）。
【０１６２】
そして、最後に、モード切替スイッチ９に変化が無いかを判断し（Ｓ８０９）、変化が無ければ（Ｓ８０９：Ｙｅｓ）、Ｓ８０２からの処理を繰り返し、変化があれば（Ｓ８０９：Ｎｏ）、当該処理を終了する。
【０１６３】
なお、上述のｗｅｂｃａｍ処理では、図１２に示すように、メッセージ画像Ｍと撮像画像ｆとが投影されていたが、図１３に示すように、撮像画像ｆのみが画像投影部１３により投影されるようにしても良い。
【０１６４】
また、図１３に示されるように、画像投影部１３と画像撮像部１４との相対的な位置関係がＢモードである場合には、例えば使用者が自らを撮像しながらその撮像により取得された撮像画像ｆを随時確認することができる。
【０１６５】
図１４は、投影処理（図１１のＳ８０２ｆ）のフローチャートである。この処理は、画像投影部１３から投影画像格納部３７ｋに格納されている画像を投影面に投影する処理である。この処理では、まず、投影画像格納部３７ｋに画像が格納されているか否かを確認する（Ｓ９０１）。格納されていれば（Ｓ９０１：Ｙｅｓ）、投影画像格納部３７ｋに格納されている画像を投影ＬＣＤドライバ３０に転送し（Ｓ９０２）、投影ＬＣＤドライバ３０から、その画像に応じた画像信号を投影ＬＣＤ１９に送り、投影ＬＣＤ１９に画像を表示する（Ｓ９０３）。
【０１６６】
次に、光源ドライバ２９を駆動し（Ｓ９０４）、その光源ドライバ２９からの電気信号によってＬＥＤアレイ１７Ａを点灯し（Ｓ９０５）、当該処理を終了する。
【０１６７】
こうして、ＬＥＤアレイ１７Ａが点灯すると、ＬＥＤアレイ１７Ａから発光する光は、光源レンズ１８を介して投影ＬＣＤ１９に到達し、投影ＬＣＤ１９において、投影ＬＣＤドライバ３０から送信される画像信号に応じた空間変調が施され、画像信号光として出力される。そして、その投影ＬＣＤ１９から出力される画像信号光は、投影光学系２０を介して投影面に投影画像として投影される。
【０１６８】
図１５は、立体画像処理（図７のＳ６０９）のフローチャートである。立体画像処理は、被写体の３次元形状を検出し、その立体画像としての３次元形状検出結果画像を取得、表示する処理である。
【０１６９】
この処理では、まず、ＣＣＤ２２に高解像度設定信号を送信し（Ｓ１００１）、撮像ヘッド位置検出センサＳ１から出力される信号に基づいて、画像投影部１３の位置を取得し、撮像部位置検出センサＳ２から出力される信号に基づいて、画像撮像部１４の位置を取得する（Ｓ１００２ｂ）。
【０１７０】
続いて、画像投影部１３と画像撮像部１４との位置関係が上述したＣモード（図８参照）か否かを調べ（Ｓ１００２ｃ）、Ｃモードである場合（Ｓ１００２ｃ：Ｙｅｓ）、撮像可能である旨をスピーカ３３を鳴動して音声により報知する（Ｓ１００２ｄ）。
【０１７１】
一方、画像投影部１３と画像撮像部１４との相対的な位置関係が上述したＣモードではない場合（Ｓ１００２ｃ：Ｎｏ）、Ａモード（図８参照）か否かを調べる（１００２ｅ）。Ａモードである場合（Ｓ１００２ｅ：Ｙｅｓ）、撮像可能である旨をスピーカ３３を鳴動して音声により報知する（Ｓ１００２ｄ）。なお、Ａモードである場合は、この音声による報知に替えて、メッセージを投影したり、撮像可能範囲を示す矩形画像光を投影しても良い。
【０１７２】
一方、画像投影部１３と画像撮像部１４との相対的な位置関係が上述したＣモードではなく、Ａモードでもない場合（Ｓ１００２ｅ：Ｎｏ）、ＡモードまたはＣモードの状態にするようスピーカ３３を鳴動して音声により警告し（Ｓ１００２ｇ）、Ｓ１００２ｂの処理に戻る。すなわち、使用者が撮像ヘッド２と撮像ケース１１を調整することによりＡモードまたはＣモードとするまで、後述する三次元形状検出処理（Ｓ１００６）による三次元形状の検出が禁止される。
【０１７３】
後に詳細に説明するが、三次元形状検出処理（Ｓ１００６）では、画像投影部１３により所定のパターン光が投影されている状態で画像撮像部１４により被写体が撮像され、その撮像により取得された撮像データに基づいて被写体Ｐの三次元形状が検出される。したがって、画像投影部１３と画像撮像部１４との相対的な位置関係が予め定められた所定の関係にない場合は、その三次元形状の計測の精度が著しく低下するため、画像投影部１３と画像撮像部１４とが予め定められた所定の関係にある場合のみ、三次元形状検出処理（Ｓ１００６）の実行を許可することとしたのである。
【０１７４】
次に、レリーズボタン８をスキャンし（Ｓ１００３ａ）、レリーズボタン８が半押しされたか否かを判断する（Ｓ１００３ｂ）。半押しされていれば（Ｓ１００３ｂ：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ１００３ｃ）。尚、半押しされていなければ（Ｓ１００３ｂ：Ｎｏ）、Ｓ１００３ａからの処理を繰り返す。
【０１７５】
次に、再び、レリーズボタン８をスキャンし（Ｓ１００３ｄ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ１００３ｅ）。全押しされていれば（Ｓ１００３ｅ：Ｙｅｓ）、フラッシュモードか否かを判断する（Ｓ１００３ｆ）。
【０１７６】
その結果、フラッシュモードであれば（Ｓ１００３ｆ：Ｙｅｓ）、フラッシュ７を投光して（Ｓ１００３ｇ）、撮影し（Ｓ１００３ｈ）、フラッシュモードでなければ（Ｓ１００３ｆ：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ１００３ｈ）。尚、Ｓ１００３ｅの判断において、全押しされていなければ（Ｓ１００３ｅ：Ｎｏ）、Ｓ１００３ａからの処理を繰り返す。
【０１７７】
次に、後述する３次元形状検出処理を行い、被写体の３次元形状を検出する（Ｓ１００６）。
【０１７８】
次に、３次元形状検出処理（Ｓ１００６）における３次元形状検出結果を外部メモリ２７に格納し（Ｓ１００７）、３次元形状検出結果をモニタＬＣＤ１０に表示する（Ｓ１００８ａ）。尚、この３次元形状検出結果とは、各計測頂点の実空間における３次元座標（Ｘ，Ｙ，Ｚ）の集合体として表示される。すなわち、３次元形状検出結果としての計測頂点をポリゴンで結んでそのサーフェスを表示した立体画像（３ＤのＣＧ画像）としての３次元形状検出結果画像がモニタＬＣＤ１０に表示される。
【０１７９】
そして、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ１０１１）、変化が無ければ（Ｓ１０１１：Ｙｅｓ）、Ｓ７０２からの処理を繰り返し、変化があれば（Ｓ１０１１：Ｎｏ）、当該処理を終了する。
【０１８０】
図１６（ａ）は、上述した３次元形状検出処理（図１５のＳ１００６）において、３次元形状を検出するために利用する空間コード法の原理を説明するための図であり、（ｂ）は（ａ）とは異なるパターン光を示す図である。パターン光にはこれら（ａ）または（ｂ）のいずれを用いても良く、更には、多階調コードであるグレイレベルコードを用いても良い。
【０１８１】
尚、この空間コード法につての詳細は、佐藤宏介、他１名、「空間コード化による距離画像入力」、電子通信学会論文誌、８５／３Ｖｏｌ．Ｊ  ６８−Ｄ  Ｎｏ３  ｐ３６９〜３７５に詳細に開示されている。
【０１８２】
空間コード法は、投影光と観測画像間の三角測量に基づいて被写体の３次元形状を検出する方法の１種であり、（ａ）に示すように、投影光源Ｌと観測器Ｏとを距離Ｄだけ離して設置し、空間を細長い扇状領域に分割しコード化することを特徴とする。
【０１８３】
図中の３枚のマスクパターンＡ，Ｂ，ＣをＭＳＢから順番に投影すると、各扇状領域はマスクによって明「１」と暗「０」とにコード化される。例えば、点Ｐを含む領域は、マスクＡ，Ｂでは光が当たらず、マスクＣでは明になるので、００１（Ａ＝０、Ｂ＝０、Ｃ＝１）とコード化される。
【０１８４】
各扇状の領域には、その方向φに相当するコードが割り当てられ、それぞれを１本のスリット光線とみなすことができる。そこで各マスクごとに情景を観測機器としてのカメラで撮影し、明暗パターンを２値化してメモリの各ビットプレーンを構成していく。
【０１８５】
こうして、得られた多重ビットプレーン画像の横方向の位置（アドレス）は、観測方向θに相当し、このアドレスのメモリの内容は投影光コード、即ち、φを与える。このθとφとから注目点の座標を決定する。
【０１８６】
また、この方法で使用するマスクパターンとしては、（ａ）ではマスクパターンＡ，Ｂ，Ｃのような純２進コードを用いる場合を図示しているが、マスクの位置ズレが起こると領域の境界で大きな誤差が生ずる危険性がある。
【０１８７】
例えば、（ａ）の点Ｑは領域３（０１１）と領域４（１００）の境界を示しているが、もしマスクＡの１がずれ込むと領域７（１１１）のコードが生ずる可能性がある。換言すれば、隣接する領域間でハミング距離が２以上のところで、大きな誤差が発生する可能性がある。
【０１８８】
そこで、この方法で使用するマスクパターンとしては、（ｂ）に示すように、隣接する領域間でハミング距離が常に１であるコードを使うことで、上述したようなコード化誤差を避けることができるとされている。
【０１８９】
図１７（ａ）は、３次元形状検出処理（図１５のＳ１００６）のフローチャートである。この処理では、まず、撮像処理を行う（Ｓ１２１０）。この撮像処理は、図１６（ａ）に示す複数枚の純２進コードのマスクパターンを利用して画像投影部１３から、明暗を交互に並べてなる縞状のパターン光（図１及び図１８参照）を時系列的に被写体に投影し、各パターン光が投影されている状態を撮像したパターン光有画像と、パターン光が投影されていな状態を撮像したパターン光無画像とを取得する処理である。図１は、画像投影部１３と画像撮像部１４との相対的な位置関係がＡモードである場合に、上記パターン光が投影されている状態を示す図であって、図１８は、画像投影部１３と画像撮像部１４との相対的な位置関係がＣモードである場合に、上記パターン光が投影されている状態を示す図である。
【０１９０】
撮像処理を終了すると（Ｓ１２１０）、３次元計測処理を行う（Ｓ１２２０）。３次元計測処理は、撮像処理によって取得したパターン光有画像とパターン光無画像とを利用して、実際に被写体の３次元形状を計測する処理である。こうして、３次元計測処理を終了すると（Ｓ１２２０）、当該処理を終了する。
【０１９１】
図１７（ｂ）は、撮像処理（図１２（ａ）のＳ１２１０）のフローチャートである。この処理は、パターン光撮影プログラム３６ａに基づき実行され、まず、画像投影部１３からパターン光を投影することなく、画像撮像部１４によって被写体を撮像することで、パターン光無画像を取得する（Ｓ１２１１）。尚、取得したパターン光無画像はパターン光無画像格納部３７ｂに格納される。
【０１９２】
次に、カウンタｉを初期化し（Ｓ１２１２）、そのカウンタｉの値が最大値ｉｍａｘか否かを判断する（Ｓ１２１３）。尚、最大値ｉｍａｘは使用するマスクパターンの数によって決定される。例えば、８種類のマスクパターンを使用する場合には、最大ｉｍａｘ（＝８）となる。
【０１９３】
そして、判断の結果、カウンタｉの値が最大値ｉｍａｘより小さい場合には（Ｓ１２１３：Ｙｅｓ）、使用するマスクパターンの内、ｉ番のマスクパターンを投影ＬＣＤ１９に表示し、そのｉ番のマスクパターンによって投影されるｉ番のパターン光を投影面に投影し（Ｓ１２１４）、そのパターン光が投影されている状態を画像撮像部１４によって撮影する（Ｓ１２１５）。
【０１９４】
こうして、被写体にｉ番のパターン光が投影された状態を撮像したパターン光有画像を取得する。尚、取得したパターン光有画像は、パターン光有画像格納部３７ａに格納される。
【０１９５】
撮影を終了すると、ｉ番のパターン光の投影を終了し（Ｓ１２１６）、次のパターン光を投影すべく、カウンタｉに「１」を加算して（Ｓ１２１７）、Ｓ１２１３からの処理を繰り返す。
【０１９６】
そして、カウンタｉの値が最大値ｉｍａｘより大きいと判断すると（Ｓ１２１３：Ｎｏ）、当該処理を終了する。即ち、この撮像処理においては、１枚のパターン光無画像と、最大値ｉｍａｘ枚のパターン光有画像とを取得することになる。
【０１９７】
図１７（ｃ）は、３次元計測処理（図１７（ａ）のＳ１２２０）のフローチャートである。この処理は、輝度画像生成プログラム３６ｃに基づき実行され、まず、輝度画像を生成する（Ｓ１２２１）。ここで、輝度は、ＹＣｂＣｒ空間におけるＹ値であり、各画素のＲＧＢ値よりＹ＝０．２９８９・Ｒ＋０．５８６６・Ｇ＋０．１１４５・Ｂから計算される値である。各画素についてＹ値を求めることにより、各パターン光有及び無し画像に関する輝度画像を生成する。生成した輝度画像は、輝度画像格納部３７ｃに格納される。また、パターン光の番号に対応した番号を各輝度画像に割り付けておく。
【０１９８】
次に、コード画像生成プログラム３６ｄにより、上述した空間コード法を利用して、生成した輝度画像を組み合わせることで、各画素毎にコード化されたコード画像を生成する（Ｓ１２２２）。
【０１９９】
このコード画像は、輝度画像格納部３７ｃに格納したパターン光有り画像に関する輝度画像の各画素について、あらかじめ設定した輝度閾値あるいはパターン光無画像と比較することで２値化し、その結果を図１６（ａ），（ｂ）に説明した様に、ＬＳＢ〜ＭＳＢに割り当てることで生成することができる。生成されたコード画像はコード画像格納部３７ｄに格納される。
【０２００】
次に、コード境界抽出プログラム３６ｅにより、後述するコード境界座標検出処理を行い（Ｓ１２２３）、各画素毎に割り当てられたコードの境界座標をサブピクセル精度で検出する。
【０２０１】
次に、レンズ収差補正プログラム３６ｆにより、レンズ収差補正処理を行う（Ｓ１２２４）。この処理によって、撮像光学系２１の歪みなどの影響で誤差を含んでいるＳ１２２３で検出されるコード境界座標の誤差を補正することができる。
【０２０２】
次に、三角測量演算プログラム３６ｇにより、三角測量原理による実空間変換処理を行う（Ｓ１２２５）。この処理によって収差補正が施された後のＣＣＤ空間上のコード境界座標は、実空間における３次元座標に変換され、３次元形状検出結果としての３次元座標が求められる。
【０２０３】
図１９は、コード境界座標検出処理（図１７のＳ１２２３）の概略を説明するための図である。上側の図は、ＣＣＤ空間において実際のパターン光の明暗の境界を境界線Ｋで示し、そのパターン光を上述した空間コード法でコード化し、１のコードと他のコードとの境界を図中太線で示した図である。
【０２０４】
即ち、上述した空間コード法におけるコード化は、各画素単位で行われるため、実際のパターン光の境界線Ｋと、コード化された境界（図中太線）とではサブピクセル精度の誤差が生ずる。そこで、このコード境界座標検出処理は、コードの境界座標をサブピクセル精度で検出することを目的とする。
【０２０５】
この処理では、まず、ある検出位置（以下「ｃｕｒＣＣＤＸ」と称す）において、ある着目コード（以下「ｃｕｒＣｏｄｅ」という）から他のコードに変化する第１画素Ｇを検出する（第１画素検出工程）。
【０２０６】
例えば、ｃｕｒＣＣＤＸにおいて、上から順番に各画素を検出すると、境界（太線）まではｃｕｒＣｏｄｅを有する画素であるが、境界の次の画素、即ち、第１画素Ｇにおいて、ｃｕｒＣｏｄｅは変化しているので、これを第１画素Ｇとして検出する。
【０２０７】
次に、その第１画素Ｇの画素位置において、図１７のＳ１２２１において輝度画像格納部３７ｃに格納された輝度画像の内から、明暗の変化を持つ輝度画像の全部を抽出する（輝度画像抽出工程）。
【０２０８】
次に、近似に利用するための画素領域を特定するために検出位置を「２」左側に移動させ、検出位置ｃｕｒＣＣＤＸ−２の位置において、コード画像を参照して、着目コード（ｃｕｒＣｏｄｅ）から他のコードに変化する画素（境界画素（ｃｕｒＣＣＤＸ−２の検出位置では画素Ｈ））を探し、その画素を中心に予め定めた範囲（本実施例の場合Ｙ軸方向に−３画素と＋２画素の範囲）の画素範囲を特定する（画素領域特定工程の一部）。
【０２０９】
次に、その予め定めた範囲内において、図中の下側の左側のグラフに示すように、Ｙ方向の画素位置と輝度とに関する近似式（図中実線で示す）を求め、その近似式における輝度閾値ｂＴｈとの交点におけるＹ座標Ｙ１を求める（境界座標検出工程の一部）。
【０２１０】
尚、輝度閾値ｂＴｈは、予め定められた範囲内から算出（例えば、各画素の輝度の平均の２分の１）しても良く、予め与えられた固定値であっても良い。これにより、明と暗との境界をサブピクセル精度で検出することができる。
【０２１１】
次に、検出位置をｃｕｒＣＣＤＸ−２から「１」右側に移動させ、ｃｕｒＣＣＤＸ−１において上述したのと同様な処理を行い、ｃｕｒＣＣＤＸ−１における代表値を求める（境界座標検出工程の一部）。
【０２１２】
このように、境界画素を中心にＹ軸方向に予め定めた範囲と、Ｘ軸方向におけるｃｕｒＣＣＤＸ−２からｃｕｒＣＣＤＸ＋２の範囲とで構成される画素領域（図中右下がり斜線部参照）において、各検出位置における代表値を求める。
【０２１３】
これまでの処理をｃｕｒＣｏｄｅから他のコードへ変化する画素を持つ輝度画像の全てに行い、各輝度画像についての代表値の加重平均値を最終的にｃｕｒＣｏｄｅにおける境界座標として採用する（境界座標検出工程の一部）。
【０２１４】
これにより、コードの境界座標を高精度にサブピクセル精度で検出することができ、この境界座標を利用して上述した三角測量原理による実空間変換処理（図１７のＳ１２２５）を行うことで、高精度に被写体の３次元形状を検出することができる。
【０２１５】
また、このように輝度画像に基づき算出される近似式を利用して境界座標をサブピクセル精度で検出することができるため、従来のように撮像枚数を増加させることもなく、また、純２進コードで明暗付けられたパターン光であっても良く、特殊なパターン光であるグレイコードを用いる必要はない。
【０２１６】
尚、本実施例では、各検出位置において境界画素を中心にＹ軸方向に「−３」から「＋２」の範囲と、Ｘ軸方向における検出位置としてのｃｕｒＣＣＤＸ−２からｃｕｒＣＣＤＸ＋２の範囲とで構成される領域を、近似を求めるための画素領域として説明したが、この画素領域のＹ軸、Ｘ軸の範囲はこれらに限定されるものではない。例えば、ｃｕｒＣＣＤＸの検出位置における境界画素を中心としたＹ軸方向への所定範囲だけを画素領域としても良い。
【０２１７】
図２０は、コード境界座標検出処理（図１７のＳ１２２３）のフローチャートである。この処理は、コード境界抽出プログラム３６ｅに基づき実行され、まず、ＣＣＤ空間におけるコード境界座標列の各要素を初期化し（Ｓ１４０１）、ｃｕｒＣＣＤＸを開始座標に設定する（Ｓ１４０２）。
【０２１８】
次に、ｃｕｒＣＣＤＸが終了座標以下か否かを判断し（Ｓ１４０３）、終了座標以下であれば（Ｓ１４０３：Ｙｅｓ）、ｃｕｒＣｏｄｅを「０」に設定する（Ｓ１４０４）。即ち、ｃｕｒＣｏｄｅは当初、最小値に設定される。
【０２１９】
次に、ｃｕｒＣｏｄｅが最大コードより小さいか否かを判断する（Ｓ１４０５）。ｃｕｒＣｏｄｅが最大コードより小さければ（Ｓ１４０５：Ｙｅｓ）、ｃｕｒＣＣＤＸにおいてコード画像を参照して、ｃｕｒＣｏｄｅの画素を探し（Ｓ１４０６）、ｃｕｒＣｏｄｅの画素が存在するか否かを判断する（Ｓ１４０７）。
【０２２０】
その結果、ｃｕｒＣｏｄｅの画素が存在していれば（Ｓ１４０７：Ｙｅｓ）、ｃｕｒＣＣＤＸにおいて、そのｃｕｒＣｏｄｅよりも大きなＣｏｄｅの画素をコード画像を参照して探し（Ｓ１４０８）、そのｃｕｒＣｏｄｅよりも大きなｃｕｒＣｏｄｅの画素が存在するか否かを判断する（Ｓ１４０９）。
【０２２１】
その結果、ｃｕｒＣｏｄｅよりも大きなＣｏｄｅの画素が存在していれば（Ｓ１４０９：Ｙｅｓ）、後述する境界をサブピクセル精度で求める処理を行う（Ｓ１４１０）。そして、次のｃｕｒＣｏｄｅについて境界座標を求めるべく、ｃｕｒＣｏｄｅに「１」を加算して（Ｓ１４１１）、Ｓ１４０５からの処理を繰り返す。
【０２２２】
即ち、境界は、ｃｕｒＣｏｄｅを有する画素の画素位置またはｃｕｒＣｏｄｅよりも大きなＣｏｄｅの画素の画素位置に存在しているため、本実施例では、暫定的に境界は、ｃｕｒＣｏｄｅより大きなｃｕｒＣｏｄｅの画素の画素位置にあると仮定して処理を進めるものである。
【０２２３】
また、ｃｕｒＣｏｄｅが存在していない場合や（Ｓ１４０７：Ｎｏ）、ｃｕｒＣｏｄｅよりも大きなＣｏｄｅの画素が存在していない場合には（Ｓ１４０９：Ｎｏ）、次のｃｕｒＣｏｄｅについて境界座標を求めるべく、ｃｕｒＣｏｄｅに「１」を加算して（Ｓ１４１１）、Ｓ１４０５からの処理を繰り返す。
【０２２４】
こうして、０から最大コードまでのｃｕｒＣｏｄｅについて、Ｓ１４０５からＳ１４１１までの処理を繰り返し、ｃｕｒＣｏｄｅが最大コードより大きくなると（Ｓ１４０５：Ｎｏ）、検出位置を変更すべく、ｃｕｒＣＣＤＸに「ｄＣＣＤＸ」を加算し（Ｓ１４１２）、新たな検出位置において、上述したのと同様にＳ１４０３からの処理を繰り返す。
【０２２５】
そして、ｃｕｒＣＣＤＸを変更してゆき、最終的にｃｕｒＣＣＤＸが終了座標より大きくなると（Ｓ１４０３）、即ち、開始座標から終了座標までの検出が終了すると、当該処理を終了する。
【０２２６】
図２１は、コード境界座標をサブピクセル精度で求める処理（図２０のＳ１４１０）のフローチャートである。
【０２２７】
この処理では、まず、図１７のＳ１２２１において輝度画像格納部３７ｃに格納された輝度画像の内から、図２０のＳ１４０９において検出されたｃｕｒＣｏｄｅよりも大きなＣｏｄｅを有する画素の画素位置において、明暗の変化を持つ輝度画像の全部を抽出する（Ｓ１５０１）。
【０２２８】
そして、その抽出した輝度画像のマスクパターン番号を配列ＰａｔＩＤ［］へ格納し、その抽出した輝度画像の画像数をｎｏＰａｔＩＤへ格納する（Ｓ１５０２）。尚、配列ＰａｔＩＤ［］とｎｏＰａｔＩＤとはＩＤ格納部３７ｆに格納される。
【０２２９】
次に、カウンタｉを初期化し（Ｓ１５０３）、カウンタｉの値がｎｏＰａｔＩＤより小さいか否かを判断する（Ｓ１５０４）。その結果、小さいと判断されれば（Ｓ１５０４：Ｙｅｓ）、カウンタｉに対応するＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像について、境界のＣＣＤＹ値を求め、その値をｆＣＣＤＹ［ｉ］へ格納する（Ｓ１５０５）。
【０２３０】
このＳ１５０５の処理を終了すると、カウンタｉに「１」を加算し（Ｓ１５０６）、Ｓ１５０４からの処理を繰り返す。そして、Ｓ１５０４において、カウンタｉの値がｎｏＰａｔＩＤより大きいと判断されると（Ｓ１５０４：Ｎｏ）、即ち、Ｓ１５０１で抽出された全部の輝度画像についてＳ１５０５の処理が終了すると、Ｓ１５０５の処理で求めたｆＣＣＤＹ［ｉ］の加重平均値を計算し、その結果を境界値とする（Ｓ１５０７）。
【０２３１】
尚、加重平均値に代えて、Ｓ１５０５の処理で求めたｆＣＣＤＹ［ｉ］の中央値を計算し、その結果を境界値としたり、統計的な計算により境界値を計算したりすることもできる。
【０２３２】
即ち、境界座標は、ｃｕｒＣＣＤＸの座標と、Ｓ１５０７で求められる加重平均値とで表現され、この境界座標をコード境界座標格納部３７ｅに格納して、当該処理を終了する。
【０２３３】
図２２は、ＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像について、境界のＣＣＤＹ値を求める処理（図２１のＳ１５０５）のフローチャートである。
【０２３４】
この処理では、まず、「ｃｕｒＣＣＤＸ−ｄｘ」と「０」との内、大きい値をｃｃｄｘとして設定する「ｃｃｄｘ＝ＭＡＸ（ｃｕｒＣＣＤＸ−ｄｘ，０）」で表される処理を行うと共に、カウンタｊを初期化する（Ｓ１６０１）。
【０２３５】
具体的には、Ｓ１６０１でいう「０」はＣＣＤＸ値の最小値を意味し、例えば、今、検出位置としてのｃｕｒＣＣＤＸ値が「１」で、予め設定されているｄｘ値が「２」であったとすると、「ｃｕｒＣＣＤＸ−ｄｘ」は「−１」となり、ＣＣＤＸ値の最小値である「０」よりも小さくなるため、「−１」における以降の処理は、「ｃｃｄｘ＝０」として設定する処理を行う。
【０２３６】
即ち、ＣＣＤＸ値の最小値よりも小さい位置については、以降の処理を除外する処理を行う。
【０２３７】
尚、この「ｄｘ」の値は、予め「０」を含む適当な整数に設定することができ、図１９で説明した例では、この「ｄｘ」は「２」に設定されており、図１９の例に従えば、このｃｃｄｘは「ｃｕｒＣＣＤＸ−２」に設定されることになる。
【０２３８】
次に、ｃｃｄｘ＜＝ＭＩＮ（ｃｕｒＣＣＤＸ＋ｄｘ，ｃｃｄＷ−１）であるか否かを判断する（Ｓ１６０２）。つまり、左辺の「ＭＩＮ（ｃｕｒＣＣＤＸ＋ｄｘ，ｃｃｄＷ−１）」は、「ｃｕｒＣＣＤＸ＋ｄｘ」と、ＣＣＤＸ値の最大値「ｃｃｄＷ」から「１」を減算した「ｃｃｄＷ−１」との内、小さい値であることを意味しているので、その値と「ｃｃｄｘ」値との大小を比較する。
【０２３９】
即ち、ＣＣＤＸ値の最大値よりも大きい位置については、以降の処理を除外する処理を行う。
【０２４０】
そして、判断の結果、ｃｃｄｘがＭＩＮ（ｃｕｒＣＣＤＸ＋ｄｘ，ｃｃｄＷ−１）よりも小さければ（Ｓ１６０２：Ｙｅｓ）、コード画像とＰａｔＩＤ［ｉ］が割り当てられた輝度画像とを参照して、境界の存在する画素の画素位置のｅＣＣＤＹ値を求める（Ｓ１６０３）。
【０２４１】
例えば、検出位置を図１９に示すｃｕｒＣＣＤＸ−１であるとすると、画素Ｉを境界が存在する画素候補として検出し、画素Ｉの位置においてｅＣＣＤＹ値を求める。
【０２４２】
次に、ＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像から、ＭＡＸ（ｅＣＣＤＹ−ｄｙ，０）＜＝ｃｃｄｙ＜＝ＭＩＮ（ｅＣＣＤＹ＋ｄｙ−１，ｃｃｄＨ−１）の範囲で、ｃｃｄｙ方向における輝度に関する近似多項式Ｂｔ＝ｆｂ（ｃｃｄｙ）を求める（Ｓ１６０４）。
【０２４３】
次に、その近似多項式Ｂｔと輝度閾値ｂＴｈとの交差するｃｃｄｙ値を求め、その値をｅｆＣＣＤＹ［ｊ］へ格納する（Ｓ１６０５）。このＳ１６０４とＳ１６０５とによって、サブピクセル精度の境界座標の検出をすることができる。
【０２４４】
次に、ｃｃｄｘとカウンタｊとに各々「１」を加算し（Ｓ１６０５）、Ｓ１６０２からの処理を繰り返す。即ち、ｃｕｒＣＣＤＸを中心とした左右の所定範囲内における各検出位置において、サブピクセル精度の境界を検出するのである。
【０２４５】
そして、Ｓ１６０２において、「ｃｃｄｘ」が「ＭＩＮ（ｃｕｒＣＣＤＸ＋ｄｘ，ｃｃｄＷ−１）」より大きいと判断されると（Ｓ１６０２：Ｎｏ）、ｃｕｒＣＣＤＸ−ｄｘからｃｕｒＣＣＤＸ＋ｄｘの範囲で計算されたｅｆＣＣＤＹ［ｊ］について、ｃｃｄｙ＝ｆｙ（ｃｃｄｘ）の近似多項式を求める（Ｓ１６０６）。この処理によってＳ１６０５において検出された各値を用いるので、１つの検出位置において境界座標を検出しようとする場合に比べて、境界座標の検出精度を向上させることができる。
【０２４６】
こうして得られた近似多項式とｃｕｒＣＣＤＸとの交点を、ＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像についての境界のＣＣＤＹ値として（Ｓ１６０７）、当該処理を終了する。ここまでの処理を図１５のフローチャートに示すように、抽出した全部の輝度画像の１枚、１枚に実行し、求められた境界座標について加重平均値を計算して、その結果を最終的な境界座標としているので（Ｓ１５０７）、更に、境界座標の検出精度を向上させることができる。
【０２４７】
図２３は、レンズ収差補正処理（図１７のＳ１２２４）を説明するための図である。レンズ収差補正処理は、図２３（ａ）に示すように、撮像光学系２１の収差により、入射した光束が理想レンズにより結像すべき位置からずれてしまうことに対して、撮像された画素の位置を本来結像すべき位置へ補正する処理である。
【０２４８】
この収差補正は、例えば、図２３（ｂ）に示すように、撮像光学系２１の撮像範囲において、入射光の角度である半画角ｈｆａをパラメータとして光学系の収差を計算して求めたデータを基に補正する。
【０２４９】
この収差補正処理では、レンズ収差補正プログラム３６ｆに基づき実行され、コード境界座標格納部３７ｅに格納されているコード境界座標について行なわれ、収差補正処理がなされたデータは、収差補正座標格納部３７ｇに格納される。
【０２５０】
具体的には、実画像における任意点座標（ｃｃｄｘ、ｃｃｄｙ）を理想カメラ画像での座標（ｃｃｄｃｘ、ｃｃｄｃｙ）に変換する次の（ａ）から（ｃ）のカメラキャリブレーション（近似式）を用いて補正する。
【０２５１】
本実施例では、収差量ｄｉｓｔ（％）は、半画角ｈｆａ（ｄｅｇ）を用いてｄｉｓｔ＝ｆ（ｈｆａ）と記述する。また、撮像光学系２１の焦点距離をｆｏｃａｌｌｅｎｇｔｈ（ｍｍ）、ｃｃｄ画素長ｐｉｘｅｌｌｅｎｇｔｈ（ｍｍ）、ＣＣＤ２２におけるレンズの中心座標を（Ｃｅｎｔｘ、Ｃｅｎｔｙ）とする。
【０２５２】
（ａ）ｃｃｄｃｘ＝（ｃｃｄｘ−Ｃｅｎｔｘ）／（１＋ｄｉｓｔ／１００）＋Ｃｅｎｔｘ
（ｂ）ｃｃｄｃｙ＝（ｃｃｄｙ−Ｃｅｎｔｙ）／（１＋ｄｉｓｔ／１００）＋Ｃｅｎｔｙ
（ｃ）ｈｆａ＝ａｒｃｔａｎ［（（（ｃｃｄｘ−Ｃｅｎｔｘ）２＋（ｃｃｄｙ−Ｃｅｎｔｙ）２）０．５）×ｐｉｘｅｌｌｅｎｇｔｈ／ｆｏｃａｌｌｅｎｇｔｈ］
図２４は、三角測量原理による実空間変換処理（図１７のＳ１２２５）において、ＣＣＤ空間における座標から、３次元空間における３次元座標を算出する方法を説明するための図である。
【０２５３】
三角測量原理による実空間変換処理では、三角測量演算プログラム３６ｇによって、収差補正座標格納部３７ｇに格納されている収差補正がなされたコード境界座標についての３次元空間における３次元座標が算出される。こうして算出される３次元座標は、３次元座標格納部３７ｈに格納される。
【０２５４】
本実施例では、撮像される横方向に湾曲した被写体Ｐに対する画像入力出力装置１の座標系として、撮像光学系２１の光軸方向をＺ軸、そのＺ軸に沿って撮像光学系２１の主点位置からＶＰＺ離れた地点を原点、画像入出力装置１に対して水平方向をＸ軸、垂直方向をＹ軸とする。
【０２５５】
また、３次元空間（Ｘ，Ｙ，Ｚ）への画像投影部１３からの投影角度θｐ、撮像光学系２１の光軸と画像投影部１３の光軸との距離をＤ、撮像光学系２１のＹ方向の視野をＹｆｔｏｐからＹｆｂｏｔｔｏｍ、Ｘ方向の視野をＸｆｓｔａｒｔからＸｆｅｎｄ、ＣＣＤ２２のＹ軸方向の長さ（高さ）をＨｃ、Ｘ軸方向の長さ（幅）をＷｃとする。尚、投影角度θｐは、各画素毎に割り当てられたコードに基づき与えられる。
【０２５６】
この場合、ＣＣＤ２２の任意座標（ｃｃｄｘ，ｃｃｄｙ）に対応する３次元空間位置（Ｘ，Ｙ，Ｚ）は、ＣＣＤ２２の結像面上の点と、パターン光の投影点と、Ｘ−Ｙ平面に交差する点とで形成される三角形について５つの式を解くことで得ることができる。
（１）Ｙ＝−（ｔａｎθｐ）Ｚ＋ＰＰＺ＋ｔａｎθｐ−Ｄ＋ｃｍｐ（Ｘｔａｒｇｅｔ）
（２）Ｙ＝−（Ｙｔａｒｇｅｔ／ＶＰＺ）Ｚ＋Ｙｔａｒｇｅｔ
（３）Ｘ＝−（Ｘｔａｒｇｅｔ／ＶＰ）Ｚ＋Ｘｔａｒｇｅｔ
（４）Ｙｔａｒｇｅｔ＝Ｙｆｔｏｐ−（ｃｃｄｃｙ／Ｈｃ）×（Ｙｆｔｏｐ−Ｙｆｂｏｔｔｏｍ）
（５）Ｘｔａｒｇｅｔ＝Ｘｆｓｔａｒｔ＋（ｃｃｄｃｘ／Ｗｃ）×（Ｘｆｅｎｄ−Ｘｆｓｔａｒｔ）
尚、（１）におけるｃｍｐ（Ｘｔａｒｇｅｔ）は、撮像光学系２１と画像投影部１３とのズレを補正する関数であり、ズレが無い理想的な場合にはｃｍｐ（Ｘｔａｒｇｅｔ）＝０とみなすことができる。この式は、湾曲した被写体Ｐに限られるものではなく、任意の三次元形状を有するものに対しても利用できるものである。
【０２５７】
一方、上述したのと同様に、画像投影部１３に含まれる投影ＬＣＤ１９上の任意座標（ｌｃｄｃｘ、ｌｃｄｃｙ）と３次元空間中の３次元座標（Ｘ，Ｙ，Ｚ）との関係は次の（６）から（９）の式で表せる。
【０２５８】
尚、本実施例では、画像投影部１３の主点位置（０，０，ＰＰＺ）、画像投影部１３のＹ方向の視野をＹｐｆｔｏｐからＹｐｆｂｏｔｔｏｍ、Ｘ方向の視野をＸｐｆｓｔａｒｔからＸｐｆｅｎｄ、投影ＬＥＤ１９のＹ軸方向の長さ（高さ）をＨｐ、Ｘ軸方向の長さ（幅）Ｗｐとする。
（６）Ｙ＝−（Ｙｐｔａｒｇｅｔ／ＰＰＺ）Ｚ＋Ｙｐｔａｒｇｅｔ
（７）Ｘ＝−（Ｘｐｔａｒｇｅｔ／ＰＰＺ）Ｚ＋Ｘｐｔａｒｇｅｔ
（８）Ｙｐｔａｒｇｅｔ＝Ｙｐｆｔｏｐ−（ｌｃｄｃｙ／Ｈｐ）×（Ｙｐｆｔｏｐ−Ｙｐｆｂｏｔｔｏｍ）
（９）Ｘｐｔａｒｇｅｔ＝Ｘｐｆｓｔａｒｔ＋（ｌｃｄｃｘ／Ｗｐ）×（Ｘｐｆｅｎｄ−Ｘｐｆｓｔａｒｔ）
この関係式を利用することで、３次元空間座標（Ｘ，Ｙ，Ｚ）を上記（６）から（９）の式に与えることで、ＬＣＤ空間座標を（ｌｃｄｃｘ，ｌｃｄｃｙ）を算出することができる。よって、例えば、３次元空間に任意の形状、文字を投影するためのＬＣＤ素子パターンを算出することができる。
【０２５９】
図２５は、平面化画像処理（図７のＳ６１１）のフローチャートである。平面化画像処理は、例えば、書籍のような湾曲した状態の原稿（被写体）Ｐを撮像した場合や矩形状の原稿Ｐを斜め方向から撮像した場合（撮像された画像は台形状になる）であっても、その原稿が湾曲していない状態やその面に対して垂直方向から撮像したような状態に補正された平面化画像を取得、表示する処理である。
【０２６０】
この処理では、まず、ＣＣＤ２２に高解像度設定信号を送信する（Ｓ１９０１）。
【０２６１】
次に、レリーズボタン８をスキャンし（Ｓ１９０３ａ）、レリーズボタン８が半押しされたか否かを判断する（Ｓ１９０３ｂ）。半押しされていれば（Ｓ１９０３ｂ：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ１９０３ｃ）。尚、半押しされていなければ（Ｓ１９０３ｂ：Ｎｏ）、Ｓ１９０３ａからの処理を繰り返す。
【０２６２】
次に、再び、レリーズボタン８をスキャンし（Ｓ１９０３ｄ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ１９０３ｅ）。全押しされていれば（Ｓ１９０３ｅ：Ｙｅｓ）、フラッシュモードか否かを判断する（Ｓ１９０３ｆ）。
【０２６３】
その結果、フラッシュモードであれば（Ｓ１９０３ｆ：Ｙｅｓ）、フラッシュ７を投光して（Ｓ１９０３ｇ）、撮影し（Ｓ１９０３ｈ）、フラッシュモードでなければ（Ｓ１９０３ｆ：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ１９０３ｈ）。尚、Ｓ１９０３ｅの判断において、全押しされていなければ（Ｓ１９０３ｅ：Ｎｏ）、Ｓ１９０３ａからの処理を繰り返す。
【０２６４】
次に、上述した３次元形状検出処理（図１５のＳ１００６）と同一の処理である３次元形状検出処理を行い、被写体の３次元形状を検出する（Ｓ１９０６）。
【０２６５】
次に、３次元形状検出処理（Ｓ１９０６）によって得られた３次元形状検出結果に基づき、原稿Ｐの姿勢を演算する原稿姿勢演算処理を行う（Ｓ１９０７）。この処理によって原稿Ｐの姿勢パラメータとして、原稿Ｐの画像入力装置１に対する位置Ｌや角度θ、湾曲φ（ｘ）が演算される。
【０２６６】
次に、その演算結果に基づき、後述する平面変換処理を行い（Ｓ１９０８）、たとえ、原稿Ｐが湾曲していたとしても湾曲していない状態に平面化された平面化画像を生成する。
【０２６７】
次に、平面変化処理（Ｓ１９０８）によって得られた平面化画像を外部メモリ２７に格納し（Ｓ１９０９）、平面化画像をモニタＬＣＤ１０に表示する（Ｓ１９１０）。
【０２６８】
そして、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ１９１１）、その結果、変化が無ければ（Ｓ１９１１：Ｙｅｓ）、再び、Ｓ７０２からの処理を繰り返し、変化があれば（Ｓ１９１１：Ｎｏ）、当該処理を終了する。
【０２６９】
図２６は、原稿姿勢演算処理（図２５のＳ１９０７）を説明するための図である。尚、本等の原稿の仮定条件として、原稿Ｐの湾曲はｙ方向に一様であるとする。この原稿姿勢演算処理では、まず、図２６（ａ）に示すように、３次元座標格納部３７ｈに格納されているコード境界に関する座標データから３次元空間位置において２列に並ぶ点を回帰曲線近似した２本の曲線を求める。
【０２７０】
例えば、パターン光を投影した範囲の上下それぞれ４分の１の位置情報（コード６３とコード６４の境界と、コード１９１とコード１９２との境界とに関する境界）から求めることができる。
【０２７１】
その２本の曲線のＸ軸方向の位置が「０」における点を結ぶ直線を想定し、この直線がＺ軸と交わる点、つまり、光軸が原稿Ｐと交差する点を、原稿Ｐの３次元空間位置（０，０，Ｌ）とし、この直線がＸ−Ｙ平面となす角を原稿ＰのＸ軸まわりの傾きθとする。
【０２７２】
次に、図２６（ｂ）に示すように、原稿Ｐを、先に求めたＸ軸まわりの傾きθ分だけ逆方向に回転変換し、つまり、原稿ＰをＸ−Ｙ平面に対して平行にした状態を想定する。
【０２７３】
そして、図２６（ｃ）に示すように、Ｘ−Ｚ平面における原稿Ｐの断面について、Ｚ軸方向の変位をＸの関数として湾曲φ（Ｘ）で表すことができる。こうして、原稿姿勢パラメータとして、原稿Ｐの位置Ｌや角度θ、湾曲φ（ｘ）が演算され、当該処理を終了する。
【０２７４】
図２７は、平面変換処理（図２５のＳ１９０８）のフローチャートである。この処理は、まず、ＲＡＭ３７のワーキングエリア３７ｌに当該処理の処理領域を割り当て、当該処理に用いるカウンタｂの変数を初期値（ｂ＝０）に設定する（Ｓ２１０１）。
【０２７５】
次に、原稿姿勢演算プログラム３６ｈでの演算結果による原稿Ｐの位置Ｌと、傾きθと、湾曲φ（ｘ）とに基づき、パターン光無画像格納部３７ｂに格納されたパターン光無画像の４隅の点を、それぞれ、Ｚ方向に−Ｌ移動し、Ｘ軸方向に−θ回転し、更にφ（ｘ）にする湾曲の逆変換（後述する「湾曲処理」と同等な処理）により求められる点で取成される矩形領域（つまり、原稿Ｐの文字等が書かれた面が略直交方向から観察されたような画像となる矩形領域）を設定すると共に、この矩形領域内に含まれる画素数ａを求める（Ｓ２１０２）。
【０２７６】
次に、設定された矩形領域を構成する各画素に対応するパターン光無画像上の座標を求めて、この座標周辺の画素情報から、平面化画像の各画素の画素情報を設定する。
【０２７７】
つまり、まず、カウンタｂが画素数ａに到達したか否かを判断する（Ｓ２１０３）。カウンタｂが画素数ａに到達していなけば（Ｓ２１０３：Ｎｏ）、矩形領域を構成する１つの画素について、Ｙ軸を中心に湾曲φ（ｘ）回転移動させる湾曲計算処理を行い（Ｓ２１０４）、Ｘ軸を中心に傾きθ回転移動させ（Ｓ２１０５）、Ｚ軸方向に距離Ｌだけシフトさせる（Ｓ２１０６）。
【０２７８】
次に、求められた３次元空間位置を、先の３角測量の逆関数により理想カメラで写されたＣＣＤ画像上の座標（ｃｃｄｃｘ，ｃｃｄｃｙ）を求め（Ｓ２１０７）、使用している撮像光学系２０の収差特性に従って、先のカメラキャリブレーションの逆関数により、実際のカメラで写されたＣＣＤ画像上の座標（ｃｃｄｘ，ｃｃｄｙ）を求め（Ｓ２１０８）、この位置に対応するパターン光無画像の画素の状態を求めて、ＲＡＭ３７のワーキングエリア３７ｌに格納する（Ｓ２１０９）。
【０２７９】
そして、次の画素について上述したＳ２１０３からＳ２１０９までの処理を実行すべく、カウンタｂに「１」を加算する（Ｓ２１１０）。
【０２８０】
こうして、Ｓ２１０４からＳ２１１０までの処理をカウンタｂが画素数ａになるまで繰り返すと（Ｓ２１０３：Ｙｅｓ）、Ｓ２１０１において、当該処理を実行するためにワーキングエリア３７ｌに割り当てた処理領域を開放して（Ｓ２１１１）、当該処理を終了する。
【０２８１】
図２８（ａ）は、湾曲処理（図２７のＳ２１０４）についての概略を説明するための図であり、（ｂ）は平面変換処理（図２５のＳ１９０８）によって平面化された原稿Ｐを示している。尚、この湾曲処理についての詳細については、電子情報通信学会論文誌ＤＩＩＶｏｌ.Ｊ８６−Ｄ２  Ｎｏ.３  ｐ４０９「アイスキャナによる湾曲ドキュメント撮影」に詳細に開示されている。
【０２８２】
湾曲Ｚ＝φ（ｘ）は、求められたコード境界座標列（実空間）で構成される３次元形状を、任意のＹ値におけるＸＺ平面に平行な平面切断された断面形状を、最小２乗法により多項式で近似した式で表現される。
【０２８３】
湾曲する曲面を平面化する場合、（ａ）に示すように、Ｚ＝φ（ｘ）上の点に対応する平面化された点は、Ｚ＝φ（０）からＺ＝φ（ｘ）までの曲線の長さによって対応付けられることになる。
【０２８４】
こうした湾曲処理を含む平面変換処理によって、例えば、湾曲している状態の原稿Ｐを撮像した場合であっても、図２２（ｂ）に示すように、平面化された平面画像を取得することができ、このように平面化された画像を用いればＯＣＲ処理の精度を高めることができるため、その画像によって、原稿に記載された文字や図形等を明確に認識することができる。
【０２８５】
図９に示したデジカメ処理、図１１に示したｗｅｂｃａｍ処理、図１５に示した立体画像処理において、投影方向に依存することなく無歪の投影画像を投影する場合には、図１４のＳ８０６の投影処理と同様に実行される投影処理（Ｓ７０２ｆ、Ｓ８０２ｆ、Ｓ１０１０）に換えて、後述するような投影用画像変換処理（Ｓ２９００）を実行するように構成される。
【０２８６】
図２９は、その無歪投影用画像変換処理（Ｓ２９００）のフローチャートである。この無歪投影用画像変換処理（Ｓ２９００）は、投影画像格納部３７ｋに格納される画像情報に従って投影ＬＣＤ１９に表示される画像を、無歪な状態で被写体に投影可能な画像に変換する処理である。
【０２８７】
この処理では、まず、ＲＡＭ３７のワーキングエリア３７ｌに当該処理の処理領域を割り当て、当該処理に用いるカウンタｑの変数を初期値（ｑ＝０）に設定する（Ｓ２９０１）。
【０２８８】
次に、無歪投影用画像（つまり、湾曲した被写体上において無歪である画像）に変換された後の画像となる矩形領域として、ＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）の空間に相当するメモリをＲＡＭ３７のワーキングエリア３７ｌに確保し、設定すると共に、この矩形領域内に含まれる画素数Ｑａを求める（Ｓ２９０２）。
【０２８９】
次に、投影画像格納部３７ｋに格納される、例えばメッセージ画像Ｍや撮像画像ｆなどの画像情報の各画素値を、理想カメラ画像座標系（ｃｃｄｃｘ，ｃｃｄｃｙ）の各画素に配置する（Ｓ２９０３）。
【０２９０】
次に、設定された矩形領域を構成するＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）上の各画素について、上述した式（６）〜（９）により、３次元座標格納部３７ｈに格納された被写体の表面上の対応点である三次元座標（Ｘ，Ｙ，Ｚ）を求め、さらに式（１）〜（５）において、（ｃｃｄｃｘ，ｃｃｄｃｙ）について解くことにより、無歪投影用画像の各画素の画素情報を算出し設定する。
【０２９１】
つまり、まず、カウンタｑが画素数Ｑａに到達したか否かを判断する（Ｓ２９０４）。カウンタｑが画素数Ｑａに到達していなければ（Ｓ２９０４：Ｎｏ）、カウンタｑの値に対応する画素のＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）を、式（６）〜（９）により、ワーキングエリア３７ｌに格納された被写体上の座標（Ｘ，Ｙ，Ｚ）に変換する（Ｓ２９０５）。
【０２９２】
次に、Ｓ２９０５の処理により変換されて得られた被写体上の座標（Ｘ，Ｙ，Ｚ）を、式（１）〜（５）において、（ｃｃｄｃｘ，ｃｃｄｃｙ）について解いた式を利用して理想カメラ画像上の座標（ｃｃｄｃｘ，ｃｃｄｃｙ）に変換する（Ｓ２９０６）。
【０２９３】
次に、Ｓ２９０６の処理により変換されて得られた座標（ｃｃｄｃｘ，ｃｃｄｃｙ）に配置されている画素情報を取得し、その画素情報を、カウンタｑの値に対応するＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）に書き込む（Ｓ２９０７）。
【０２９４】
そして、次の画素について上述したＳ２９０４からＳ２９０７までの処理を実行すべく、カウンタｑに「１」を加算する（Ｓ２９０８）。
【０２９５】
こうして、Ｓ２９０４からＳ２９０８までの処理を、カウンタｑが画素数Ｑａになるまで繰り返すと（Ｓ２９０４：Ｙｅｓ）、設定された矩形領域を構成するＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）に対応付けられた画素情報を、投影ＬＣＤドライバ３０に転送する（Ｓ２９０９）。
【０２９６】
最後に、Ｓ２９０１において、当該処理を実行するためにワーキングエリア３７ｌに割り当てた処理領域を開放して（Ｓ２９１０）、当該処理を終了する。
【０２９７】
Ｓ２９０９の処理により、ＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）上の画素情報が投影ＬＣＤドライバ３０へ転送されることにより、投影ＬＣＤ１９は、歪曲面上において無歪に投影される投影画像が表示される。よって、被写体上に無歪な画像が投影される。
【０２９８】
従って、無歪投影用画像変換処理（Ｓ２９００）を実行することにより、投影方向が斜めである場合だけでなく、投影面が湾曲している場合であっても、無歪な投影画像を投影することができる。その結果として、特に、メッセージ画像Ｍなどの文字列を投影する場合に、使用者にその情報を正確に認識させることができる。
【０２９９】
図３０は、上述した第１実施例の光源レンズ１８に関する第２実施例の光源レンズ５０ａを説明するための図であり、（ａ）は第２実施例の光源レンズ５０ａを示す側面図であり、（ｂ）は第２実施例の光源レンズ５０ａを示す平面図である。尚、上述したのと同一な部材には、同一の符号を付し、その説明は省略する。
【０３００】
第１実施例における光源レンズ１８は、各ＬＥＤ１７に対応する凸状の非球面形状からレンズ部１８ａをベース１８ｂ上に一体的に並べて配置して構成されているのに対し、この第２実施例の光源レンズ５０ａは、ＬＥＤ１７の各々を内包する砲弾型に形成された樹脂製レンズを各々別体に構成したものである。
【０３０１】
このように、各ＬＥＤ１７を内包する光源レンズ５０ａを各々別体に構成することで、各々のＬＥＤ１７とそれに対応する各々の光学レンズ５０ａとの位置が１対１で決められるので、相対的な位置精度を高めることができ、光の出射方向が揃うという効果がある。
【０３０２】
これに対し、基板１６上にレンズアレイをまとめて位置合わせをすると、各々のＬＥＤ１７がダイボンディングされる際の位置決め誤差やレンズアレイと基板の線膨張係数の違いから、光の出射方向がバラバラになってしまう恐れがある。
【０３０３】
従って、投影ＬＣＤ１９の面には、ＬＥＤ１７からの光の入射方向が投影ＬＣＤ１９の面に垂直にそろった光が照射され、投影光学系２０の絞りを均一に通過できる様になるため、投影画像の照度ムラを抑えることができ、結果的に高品質な画像を投影することができる。尚、光源レンズ５０ａに内包されているＬＥＤ１７はリードおよびリフレクタからなる電極５１ａを介して基板１６に実装されている。
【０３０４】
また、この第２実施例における１群の光源レンズ５０ａの外周面には、各光源レンズ５０ａを束ねて所定の方向に規制する枠状の弾性を有する固定部材５２ａが配置されている。この固定部材５２ａは、ゴム、プラスチック等の樹脂製材料で構成されている。
【０３０５】
第２実施例の光源レンズ５０ａは各ＬＥＤ１７に対して各々別体に構成されているので、各光源レンズ５０ａの凸状の先端部が形成する光軸の角度を正しく揃えて投影ＬＣＤ１９と対向するように設置することが困難である。
【０３０６】
そこで、この固定部材５２ａによって１群の光源レンズ５０ａを取り囲み、各光源レンズ５０ａの外周面同士を接触させ、各光源レンズ５０ａの光軸が投影ＬＣＤ１９と正しい角度で対向するように各光源レンズ５０ａの位置を規制することで、各光源レンズ５０ａから投影ＬＣＤ１９に向けて光を略垂直に照射させることができる。よって、投影ＬＣＤ１９の面に垂直にそろった光が照射され、投影レンズの絞りを均一に通過できる様になるため、投影画像の照度ムラを抑えることができる。従って、一層、高品質な画像を投影することができる。
【０３０７】
尚、この固定部材５２ａは、予め所定の大きさに規定された剛性を有するものであっても良く、弾性力を有する材料で構成してその弾性力によって各光源レンズ５０の位置を所定の位置に規制するようにしても良い。
【０３０８】
図３１は、図３０で説明した光源レンズ５０ａを所定位置に規制する固定部材５２ａに関する第２実施例を説明するための図であり、（ａ）は光源レンズ５０ａを固定した状態を示す斜視図であり、（ｂ）はその部分的な断面図である。尚、上述したのと同一の部材には、同一の符号を付し、その説明は省略する。
【０３０９】
この第２実施例の固定部材６０は、各光源レンズ５０ａの外周面に沿った断面を有する断面視円錐形状の貫通孔６０ａが穿設された板状に形成されている。各光源レンズ５０ａは、この各貫通孔６０ａに差し込まれて固定される。
【０３１０】
また、この固定部材６０と基板１６との間には弾性を有する付勢プレート６１が介装されており、更に、この付勢プレート６１と各光源レンズ５０ａの下面との間には、電極５１ａを囲むように弾性を有する環状のＯリング６２が配置されている。
【０３１１】
尚、光源レンズ５０ａに内包されるＬＥＤ１７は、付勢プレート６１、基板１６に穿設されたスルーホールを貫通する電極５１ａを介して基板１６に実装されている。
【０３１２】
上述した固定部材６０によれば、各光源レンズ５０ａを、その光源レンズの外周面に沿った断面を有する各貫通孔６０ａに各々貫通させて固定するので、上述した固定部材５０ａよりも、一層確実に光源レンズ５０の光軸を正しい角度で投影ＬＣＤ１９に向くように固定することができる。
【０３１３】
また、組立時に、Ｏリング６２の付勢力によってＬＥＤ１７を正しい位置に付勢して固定することができる。
【０３１４】
また、本装置１を運搬する場合等に生ずる可能性のある衝撃力を、Ｏリング６２の弾性力によって吸収することができ、その衝撃の影響で光源レンズ５０ａの位置がずれてしまい、光源レンズ５０ａから垂直に投影ＬＣＤ１９に向けて光を照射できないという不都合を防止することができる。
【０３１５】
なお、請求項６記載の投影中撮像制御手段としては、図９のデジカメ処理におけるＳ７０６の処理、図１１のｗｅｂｃａｍ処理におけるＳ８０３の処理が該当する。
【０３１６】
また、請求項９記載の投影画像更新手段は、図１１のｗｅｂｃａｍ処理におけるＳ８０５の処理が該当する。請求項１０記載の三次元情報検出手段としては、図１５の立体画像処理におけるＳ１００６の処理が該当する。
【０３１７】
また、請求項１３記載の三次元情報検出禁止手段としては、図１５の立体画像処理におけるＳ１００２ｇの処理が該当する。請求項１４記載の解像度低下送信手段としては、図１１のｗｅｂｃａｍ処理におけるＳ８０１の処理が該当する。
【０３１８】
以上実施例に基づき本発明を説明したが、本発明は上記実施例に何ら限定されるものでなく、本発明の主旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。
【０３１９】
例えば、上記実施例では、平面化画像モードとして、平面化された画像を取得、表示する処理を説明したが、周知のＯＣＲ機能を搭載させ、平面化された平面画像をこのＯＣＲ機能によって読み取らせるように構成しても良い。かかる場合には、ＯＣＲ機能によって湾曲した状態の原稿を読み取る場合に比べて高精度に原稿に記載された文章を読み取ることができるという大きな効果を奏する。
【０３２０】
また、上記実施例における図１１のウェブカム処理は、ＣＣＤ２２に低解像度設定信号を送信する処理（Ｓ８０１）に代えて、ＣＣＤ２２からキャッシュメモリ２８に転送する処理（Ｓ８０７）または撮像画像を外部ネットワークに送信する処理（Ｓ８０８）において、撮像画像の解像度を低下させて送信するものであっても良い。このようにしても、撮像画像の解像度を低下させることにより、その後の処理速度を向上させることができる。
【０３２１】
また、上記実施例における図２１のＳ１５０１においては、明暗の変化を持つ輝度画像の全部を抽出し、その全部について暫定的なＣＣＤＹ値を求める場合について説明したが、抽出する輝度画像としては、全部である必要はなく、１枚以上であれば、その枚数に限定されることはない。抽出する枚数を減らすことで境界座標を高速に求めることができる。
【０３２２】
また、上記実施例における図２１のＳ１５０７では、ｆＣＣＤＹ［ｉ］を加重平均し、図２２のＳ１６０７ではｅｆＣＣＤＹ［ｊ］を近似多項式として、各値を平均化する場合について説明したが、各値を平均化する方法としては、これらに限定されるものではなく、例えば、各値の単純平均値を採る方法、各値の中央値を採用する方法、各値の近似式を算出し、その近似式における検出位置を境界座標とする方法、統計的な演算により求める方法等であっても良い。
【０３２３】
また、例えば、上記実施例における平面化画像モードにおける３次元形状検出処理においては、原稿Ｐの３次元形状を検出するために、複数種類の明暗を交互に並べてなる縞状のパターン光を投影する場合について説明したが、３次元形状を検出するための光は、かかるパターン光に限定されるものではない。
【０３２４】
例えば、図３２に示すように、湾曲原稿の３次元形状の検出を簡便に行う場合には、画像投影部１３から２本の帯状のスリット光７０，７１を投影するようにしても良い。この場合には、８枚のパターン光を投影する場合にくらべ、僅か２枚の撮像画像から高速に３次元形状の検出をすることができる。
【０３２５】
また、上記実施例における画像投影部１３において、光源レンズ１８と、投影ＬＣＤ１９と、投影光学系２０とは、投影方向に沿って一直線上に備えられていたが、画像投影部１３の構成は必ずしもこれに限られない。
【０３２６】
図３３は、画像投影部１３の変形例を示す図であって、（ａ）は撮像ヘッド２の平面図であり、（ｂ）、（ｃ）は（ａ）のＡ−Ａ視断面図である。なお、（ａ）は撮像ヘッド２の内部を示すために蓋部２ａの記載を省略している。図３３（ｂ）、（ｃ）に示すように、複数のレンズから構成される投影光学系２０に反射ミラー２００を設け、光源レンズ１８から出射した光の方向を所定の投影方向に変更して投影するものであっても良い。
【０３２７】
このようにすれば、反射ミラー２００により光路を変更できるので、光源レンズ１８、ＬＣＤ１９、投影光学系２０は必ずしも投影方向に沿って一直線上に設ける必要はなく、画像投影部１３を撮像ヘッド２の形状に合わせてコンパクトに収納することができる。
【０３２８】
また、上記実施例は光源手段として、ＬＥＤアレイ１７Ａ、光源レンズ１８を備えていたが、これらの光源手段に代えて、図３３（ｃ）に示すように、光源手段が、白色光を発光するハロゲンランプや白色ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などの光源１７０と、光源１７０から発せられた白色光をＬＣＤ１９に効率的に入射させるための反射板１８０とから構成されるものであっても良い。
【０３２９】
また、上記実施例のデジカメ処理（図９参照）、ｗｅｂｃａｍ処理（図１１参照）、立体画像処理（図１５参照）の各処理において、撮像ケース１１の小径部１１ｂに固定された撮像部位置検出用リブ１１ｃの位置を、撮像部位置検出センサＳ２により検出することで、撮像ヘッド２に対する画像撮像部１４の位置を検出していたが、画像投影部１３と画像撮像部１４との相対的な位置関係を検出する手段はこれに限られない。例えば、所定位置固定用リブ２ｄが、撮像ケース１１の小径部１１ｂの一方に設けられた図示しないストッパと係合し、撮像ケース１１のそれ以上の回動が規制されたことに基づいて、画像撮像部１４が画像投影部１３に対し所定の位置関係にあることを検出しても良い。このようにすれば、画像投影部１３と画像撮像部１４との位置関係が確実に所定の位置関係となった場合にのみ三次元形状の検出が許可され、三次元形状の検出をより高い精度で行うことができる。
【図面の簡単な説明】
【０３３０】
【図１】画像入出力装置の外観斜視図であり、（ａ）は上面側から見た図であって、（ｂ）は撮像ヘッドを拡大して示す図である。
【図２】撮像ヘッドの内部構成を示す図である。
【図３】画像入出力装置の内部の電気的構成を模式的に示す図である。
【図４】（ａ）は画像投影部の拡大図であり、（ｂ）は光源レンズの平面図であり、（ｃ）は投影ＬＣＤの正面図である。
【図５】ＬＥＤアレイの配列に関する説明をするための図である。
【図６】画像入出力装置の電気的なブロック図である。
【図７】メイン処理のフローチャートである。
【図８】画像投影部と画像撮像部との相対的な位置関係を示す図である。
【図９】デジカメ処理のフローチャートである。
【図１０】撮像可能な領域を示す矩形画像光が面上に投射されている状態を示す図である。
【図１１】ｗｅｂｃａｍ処理のフローチャートである。
【図１２】ｗｅｂｃａｍ処理の投影処理において、画像投影部により画像出力光が投影されている状態を示す図である。
【図１３】ｗｅｂｃａｍ処理の投影処理において、画像投影部により画像出力光が投影されている状態を示す図である。
【図１４】投影処理のフローチャートである。
【図１５】立体画像処理のフローチャートである。
【図１６】（ａ）は、空間コード法の原理を説明するための図であり、（ｂ）は（ａ）とは異なるマスクパターン（グレイコード）を示す図である。
【図１７】（ａ）は３次元形状検出処理のフローチャートである。（ｂ）は撮像処理のフローチャートである。（ｃ）は３次元計測処理のフローチャートである。
【図１８】画像投影部と画像撮像部との相対的な位置関係がＣモードである場合に、パターン光が投影されている状態を示す図である。
【図１９】コード境界座標検出処理の概略を説明するための図である。
【図２０】コード境界座標検出処理のフローチャートである。
【図２１】コード境界座標をサブピクセル精度で求める処理のフローチャートである。
【図２２】ＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像について、境界のＣＣＤＹ値を求める処理のフローチャートである。
【図２３】レンズ収差補正処理を説明するための図である。
【図２４】ＣＣＤ空間における座標から３次元空間における３次元座標を算出する方法を説明するための図である。
【図２５】平面化画像処理のフローチャートである。
【図２６】原稿姿勢演算処理を説明するための図である。
【図２７】平面変換処理のフローチャートである。
【図２８】（ａ）は、湾曲計算処理についての大略を説明するための図であり、（ｂ）は平面変換処理によって平面化された平面化画像を示す図である。
【図２９】無歪投影用画像変換処理のフローチャートである。
【図３０】（ａ）は第２実施例の光源レンズ５０を示す側面図であり、（ｂ）は第２実施例の光源レンズ６０を示す平面図である。
【図３１】（ａ）は、光源レンズ５０を固定した状態を示す斜視図であり、（ｂ）はその部分的な断面図である。
【図３２】被写体に投影するパターン光としての他の例を示す図である。
【図３３】画像投影部の変形例を示す図であって、（ａ）は撮像ヘッドの平面図であり、（ｂ）、（ｃ）は（ａ）のＡ−Ａ視断面図である。
【符号の説明】
【０３３１】
２          撮像ヘッド（投影筺体、基体）
２ｄ        所定位置固定用リブ（固定手段）
３          アーム部材（支持部材）
４          取付部
１１        撮像ケース（撮像筺体）
１３        画像投影部（投影手段）
１４        画像撮像部（撮像手段）
１７        ＬＥＤ（光源手段）
１９        投影ＬＣＤ（空間変調手段、液晶パネル）
２０        投影光学系（投影手段の一部）
２１        撮像光学系（撮像手段の一部）
２２        ＣＣＤ（撮像手段の一部、受光素子）
２６        メインバッテリ（電源部）
４９        ＰＣ（基体）
２００      反射ミラー（投影方向決定手段）
Ｓ２        撮像部位置検出センサ（位置判定手段）
【図１】
2005354306.tif 000003
【図２】
2005354306.tif 000004
【図３】
2005354306.tif 000005
【図４】
2005354306.tif 000006
【図５】
2005354306.tif 000007
【図６】
2005354306.tif 000008
【図７】
2005354306.tif 000009
【図８】
2005354306.tif 000010
【図９】
2005354306.tif 000011
【図１０】
2005354306.tif 000012
【図１１】
2005354306.tif 000013
【図１２】
2005354306.tif 000014
【図１３】
2005354306.tif 000015
【図１４】
2005354306.tif 000016
【図１５】
2005354306.tif 000017
【図１６】
2005354306.tif 000018
【図１７】
2005354306.tif 000019
【図１８】
2005354306.tif 000020
【図１９】
2005354306.tif 000021
【図２０】
2005354306.tif 000022
【図２１】
2005354306.tif 000023
【図２２】
2005354306.tif 000024
【図２３】
2005354306.tif 000025
【図２４】
2005354306.tif 000026
【図２５】
2005354306.tif 000027
【図２６】
2005354306.tif 000028
【図２７】
2005354306.tif 000029
【図２８】
2005354306.tif 000030
【図２９】
2005354306.tif 000031
【図３０】
2005354306.tif 000032
【図３１】
2005354306.tif 000033
【図３２】
2005354306.tif 000034
【図３３】
2005354306.tif 000035