(57)【特許請求の範囲】
【請求項１】
測距光を被写体に照射し、その反射光を撮像素子で受光・検出することにより、画素値が前記被写体までの距離に対応する３次元画像を検出する距離測定手段と、
通常の視覚的な画像である２次元画像のステレオ画像を撮像するための２次元画像用ステレオ光学系と、
前記２次元画像用ステレオ光学系を用いて撮像された２次元画像のステレオ画像における対応点の探索を、前記３次元画像に基づいて行うための対応点探索手段と、
前記３次元画像をステレオ画像として撮像するための３次元画像用ステレオ光学系と
を備えることを特徴とする３次元画像検出装置。
【請求項２】
前記対応点探索手段が、前記３次元画像用ステレオ光学系を用いて撮像された３次元画像のステレオ画像において画素間の対応関係を求めることを特徴とする請求項１に記載の３次元画像検出装置。
【請求項３】
前記３次元画像のステレオ画像における画素間の対応関係が前記３次元画像から算出される３次元座標値に基づいて行われることを特徴とする請求項２に記載の３次元画像検出装置。
【請求項４】
前記２次元画像用ステレオ光学系をカメラの光学系と接続するための接続部を備えることを特徴とする請求項１に記載の３次元画像検出装置。
【請求項５】
前記接続部が、カメラのレンズ鏡筒先端開口部に設けられたネジマウントに装着されるネジマウントであることを特徴とする請求項４に記載の３次元画像検出装置。
【請求項６】
カメラのホットシューから出力される外部トリガ信号を検知するための外部トリガ入力手段を備え、前記距離測定手段の駆動が前記外部トリガ信号に基づいて制御されることを特徴とする請求項１に記載の３次元画像検出装置。
【請求項７】
ストロボ光を受光トリガ信号として検知するためのストロボ光検知手段を備え、前記距離測定手段の駆動が前記受光トリガ信号に基づいて制御されることを特徴とする請求項１に記載の３次元画像検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像及び光伝播時間測定法を用いて被計測物体の３次元形状等を検出する３次元画像検出装置に関する。
【０００２】
【従来の技術】
ステレオ画像を用いた写真測量では、計測物体を２つの異なる視点から撮影し、撮影された２枚の画像の視差を利用して計測点までの距離を三角測量の原理に基づいて計測する。このとき２枚の画像のエピポーラ・ライン上で対応点を探索する必要がある。従来、エピポーラ・ライン上の対応点の探索は、例えば撮影されたステレオ画像に画像処理を施して特徴点を抽出し、これらの特徴点の間で対応関係を求めることにより行われている。
【０００３】
一方、光伝播時間測定法を用いた測量としては、測距光を計測物体に照射し、その反射光を所定のタイミングでＣＣＤなどの撮像素子で受光・検出することにより、計測物体までの距離を画素毎に検出可能な３次元画像検出装置が知られている。
【０００４】
【発明が解決しようとする課題】
しかし、ステレオ画像を用いる写真測量では、例えば被写体に模様がなく、その形状が平坦であるときなど特徴点の抽出が困難な場合や、視差が大きく２枚の画像が共有する領域が少ないときなどには、両画像間における対応付けが困難となる。これに対し、上記３次元画像検出装置を用いた測距方法では、各画素の画素値が対応する計測物体までの距離に直接対応しているので、ステレオ画像を用いたときのような対応付けの問題は生じない。しかし、この方法では必ずしも計測精度を十分に得られないという問題がある。
【０００５】
本発明は、ステレオ画像における対応点探索処理を高速かつ簡略にするための３次元画像検出装置を得ることを目的としている。
【０００６】
【課題を解決するための手段】
本発明の３次元画像検出装置は、画素値が被写体までの距離に対応する３次元画像を検出可能な距離測定手段と、通常の視覚的な画像である２次元画像のステレオ画像を撮像するための２次元画像用ステレオ光学系と、２次元画像用ステレオ光学系を用いて撮像された２次元画像のステレオ画像における対応点の探索を、距離測定手段により検出された３次元画像に基づいて行うための対応点探索手段とを備えることを特徴としている。
【０００７】
また、３次元画像検出装置は、３次元画像をステレオ画像として撮像するための３次元画像用ステレオ光学系を備えることが好ましい。また、このとき対応点探索手段は、３次元画像用ステレオ光学系を用いて撮像された３次元画像のステレオ画像において画素間の対応関係を求めることが好ましく、３次元画像のステレオ画像における画素間の対応関係は、３次元画像から算出される３次元座標値に基づいて行われることが好ましい。これにより、簡略かつ高速に３次元画像のステレオ画像における画素間の対応関係が求められ、この対応関係に基づいて２次元画像のステレオ画像における画素間の対応関係がより簡略かつ高速に求められる。また、３次元画像のステレオ画像から２次元画像のステレオ画像への対応がより直接的に求められることから、２次元画像のステレオ画像における画素間の対応関係も、より簡略、高速かつ高い精度で求めることができる。
【０００８】
３次元画像検出装置は、２次元画像用ステレオ光学系をカメラの光学系と接続するための接続部を備えることが好ましい。この接続部により２次元画像用ステレオ光学系とカメラの光学系とが接続されることにより、カメラにおいて２次元画像のステレオ画像の撮像が可能となり、３次元画像検出装置を既存のカメラに着脱自在なステレオアダプタ型とすることができる。このとき接続部は、カメラのレンズ鏡筒先端開口部に設けられたネジマウントに装着されるネジマウントであることが好ましい。これにより既存のカメラに変更を加えることなく簡単にステレオアダプタ型の３次元画像検出装置を装着することができる。
【０００９】
また、３次元画像検出装置は、例えばカメラのホットシューから出力される外部トリガ信号を検知するための外部トリガ入力手段を備え、距離測定手段の駆動が、この外部トリガ信号に基づいて制御される。あるいは、３次元画像検出装置は、ストロボ光を受光トリガ信号として検知するためのストロボ光検知手段を備え、距離測定手段の駆動が受光トリガ信号に基づいて制御される。これにより、既存のカメラに変更を加えることなく、カメラでの２次元画像の撮像動作と、３次元画像検出装置における３次元画像の検出動作を同期させて行うことが可能となる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の一実施形態であるステレオアダプタ型の３次元画像検出装置を従来型のデジタルカメラに装着したときの状態を模式的に示す斜視図である。図１を参照して本実施形態において用いられるステレオアダプタ型の３次元画像検出装置について説明する。
【００１１】
デジタルカメラ１０は従来型のデジタルカメラであり、デジタルカメラ１０の上面にはホットシュー１１及びレリーズスイッチ１４が設けられ、側面にはインターフェースケーブルを接続するためのオプションコネクタ１２、例えばＵＳＢ、が設けられている。デジタルカメラ１０の鏡筒１３の先端にはステレオアダプタ型の３次元画像検出装置（以後ステレオアダプタと呼ぶ）２０が装着されている。ステレオアダプタ２０の鏡筒１３への装着には、例えば鏡筒１３の先端開口部に形成され、例えばフィルタやフード等を取り付けるために利用されるネジマウントが用いられる。
【００１２】
ステレオアダプタ２０の前面には上下２段にそれぞれ一対のステレオ撮影用のレンズが設けられている。上段に設けられた一対のレンズ２１は、デジタルカメラの光軸を二分し、視差のある通常のステレオ画像をデジタルカメラ１０に設けられたＣＣＤにおいて撮影するための２次元画像用ステレオレンズである。一方、下段に設けられた一対のレンズ２２は、後述する３次元画像のステレオ画像を撮影するための３次元画像用ステレオレンズである。ステレオアダプタ２０の両側面には、測距用の赤外レーザ光を拡散して照射するため光源装置２３が設けられている。また、ステレオアダプタ２０の上面中央には、フラッシュライトの反射光を検出する受光トリガ検出装置２４が設けられている。なお、３次元画像用ステレオレンズ２２におけるレンズ間の距離は、２次元画像用ステレオレンズ２１におけるレンズ間の距離に等しい。
【００１３】
ステレオアダプタ２０の裏面には外部トリガ用ケーブル１８及びインターフェースケーブル１９の一方の端が接続されており、ケーブル１８、１９のもう一方の端はホットシュー１１及びオプションコネクタ１２にそれぞれ接続されている。なお、図１において、デジタルカメラ１０には、ホットシュー１１、オプションコネクタ１２及び鏡筒１３のみが図示されており、その他の部分に関しては省略されている。
【００１４】
図２、図３（ａ）、（ｂ）は、本実施形態におけるステレオアダプタ２０の光学系の構造を概略示す図である。図２は、２次元画像用ステレオレンズ２１（２１ａ及び２１ｂ）に係る光学系（２次元画像用ステレオ光学系）の構造を示し、図３（ａ）、（ｂ）は３次元画像用ステレオレンズ２２（２２ａ及び２２ｂ）に関する光学系の構造を示す。
【００１５】
ステレオアダプタ２０の光学系はデジタルカメラの光軸Ｌに関し左右対称である。２次元ステレオ画像の左側画像を撮影するための２次元画像用ステレオレンズ２１ａから入射した光は、光軸Ｌａに沿ってデジタルカメラ１０内に搭載されたＣＣＤ５０の右半分の領域に投影される。一方、２次元ステレオ画像の右側画像を撮影するための２次元画像用ステレオレンズ２１ｂから入射した光は、光軸Ｌｂに沿ってＣＣＤ５０の左半分の領域に投影される。
【００１６】
すなわち、２次元画像用ステレオレンズ２１ａにおいて光軸Ｌに平行な光軸Ｌａは、この軸に対し４５°傾けられて配置された反射ミラー２５ａにより光軸Ｌに向けて９０°屈曲される。反射ミラー２５ａにより屈曲された光軸Ｌａは、この軸に対して傾けられて配置された反射ミラー２６ａによりＣＣＤ５０の方向へ屈曲される。反射ミラー２６ａにより屈曲された光軸Ｌａは、デジタルカメラ１０の撮像レンズ５１を介しＣＣＤ５０の右側の受光面に達する。一方、２次元画像用ステレオレンズ２１ｂにおいて光軸Ｌに平行な光軸Ｌｂは、この軸に対し４５°傾けられて配置された反射ミラー２５ｂにより光軸Ｌに向けて９０°屈曲される。反射ミラー２５ｂにより屈曲された光軸Ｌｂは、この軸に対して傾けられて配置された反射ミラー２６ｂによりＣＣＤ５０の方向へ屈曲される。反射ミラー２６ｂにより屈曲された光軸Ｌｂは、デジタルカメラ１０の撮像レンズ５１を介しＣＣＤ５０の左側の受光面に達する。
【００１７】
上述したように、図３（ａ）、（ｂ）は、ステレオアダプタ２０のうち、３次元画像用ステレオレンズ２２（２２ａ及び２２ｂ）に関する光学系の構造を模式的に示す図であり、図３（ａ）は、ステレオアダプタ２０を上方から見たときの模式図であり、図３（ｂ）は、正面から見たときの模式図である。
【００１８】
３次元ステレオ画像の左側画像を撮影するための３次元画像用ステレオレンズ２２ａから入射した光は、光軸Ｌａ’に沿ってステレオアダプタ２０の底部２８に搭載されたＣＣＤ２７の左半分の領域に投影される。一方、３次元ステレオ画像の右側画像を撮影するための３次元画像用ステレオレンズ２２ｂから入射した光は、光軸Ｌｂ’に沿ってＣＣＤ２７の右半分の領域に投影される。
【００１９】
すなわち、３次元画像用ステレオレンズ２２ａにおいて、デジタルカメラ１０の光軸Ｌに平行な光軸Ｌａ’は、この軸に対し４５°傾けられて配置された反射ミラー２９ａによりレンズ３０ａ方向へ９０°屈曲される。反射ミラー２９ａにより屈曲された光軸Ｌａ’はレンズ３０ａの中心を通って、この光軸に対して４５°傾けられて配置された反射ミラー３１ａによりＣＣＤ２７の方向へ９０°屈曲され、ステレオアダプタ２０の底部２８に装置されたＣＣＤ２７の左側の受光面に達する。一方、３次元画像用ステレオレンズ２２ｂにおいて光軸Ｌに平行な光軸Ｌｂ’は、この軸に対し４５°傾けられて配置された反射ミラー２９ｂによりレンズ３０ｂ方向へ９０°屈曲され、反射ミラー２９ｂにより屈曲された光軸Ｌｂ’はレンズ３０ｂの中心を通って、この光軸に対して４５°傾けて配置された反射ミラー３１ｂによりＣＣＤ２７の方向へ９０°屈曲される。その後光軸Ｌｂ’は、ステレオアダプタ２０の底部２８に装置されたＣＣＤ２７の右側の受光面に達する。
【００２０】
図４は、図１〜図３に示されたステレオアダプタ２０の回路構成を概略示すブロック図である。図４を参照して本実施形態のステレオアダプタ型の３次元画像検出装置について説明する。なお、図４における撮像光学系の構成は模式的なものである。
【００２１】
本実施形態のステレオアダプタ２０には、デジタルカメラ１０のホットシュー１１からの信号をトリガとしてＣＣＤ２７を用いた３次元画像の撮影を行う外部トリガモードと、デジタルカメラ１０のストロボ（図示せず）の発光をフォトダイオード（ＰＤ）２４で検知し、これをトリガとして３次元画像の撮影を行う受光トリガモードとがある。図４では、ホットシュー１１に外部トリガ用ケーブル１８を接続したときの構成が示されている。
【００２２】
外部トリガモードに設定されているとき、デジタルカメラ１０のレリーズスイッチ１４が押され、ホットシュー１１からストロボ発光のためのトリガ信号が出力されると、ホットシュー１１から出力されたトリガ信号はホットシュー１１及びコネクタ７０に接続された外部トリガ用ケーブル１８を介してステレオアダプタ２０の外部トリガ入力回路６１に入力される。その後、外部トリガ入力回路６１からトリガ信号が、システムコントロール回路６０へ出力される。外部トリガ入力回路６１からのトリガ信号がシステムコントロール回路６０に入力されると、システムコントロール回路６０は発光素子制御回路６２及びＣＣＤ駆動回路６３を制御して、３次元画像に対するステレオ画像の撮像を開始する。すなわち、発光素子２３ａと照明用レンズ２３ｂとからなる発光装置２３では、赤外レーザダイオードなどの発光素子２３ａが発光素子駆動制御回路６２の制御信号に基づいてパルス状の測距光を照射し、赤外領域の測距光が照明用レンズ２３ｂを介して被写体の全体に照射される。また、ＣＣＤ２７では、ＣＣＤ駆動回路６３からのＣＣＤ駆動信号に基づいて、発光装置２３の発光に合わせた電荷の蓄積及び電荷の読み出し動作が行われる。
【００２３】
ＣＣＤ２７から読み出された電荷信号、すなわち画像信号はアンプ６４において増幅され、Ａ／Ｄ変換器６５においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は、撮像信号処理回路６６においてガンマ補正等の処理を施され、画像メモリ６７に一時的に格納される。その後画像信号は画像メモリ６７から読み出され、システムコントロール回路６０、インターフェース回路６８及びコネクタ６９に接続されたインターフェースケーブル１９を介してデジタルカメラ１０に出力され、デジタルカメラ１０の画像メモリや、メモリカード等の記録媒体に記録される。
【００２４】
モードが受光トリガモードに設定されているときには、受光トリガ検出回路７３に接続されたフォトダイオード（ＰＤ）２４においてカメラ本体に内蔵または装着されたストロボから照射されたストロボ光が検出され、トリガ信号としてシステムコントロール回路６０に入力される。このときシステムコントロール回路６０では、外部トリガモードのときと同様に、発光素子制御回路６２及びＣＣＤ駆動回路６３を制御して、３次元画像に対するステレオ画像の撮像を開始する。なお、受光トリガモードは、ステレオアダプタ２０を例えばカメラボディにストロボが一体的に装備され、ホットシューを備えないデジタルカメラとともに用いるときや、２次元画像の撮影にストロボ光が必要なためストロボをホットシューに取り付けているときなど、ホットシューに外部トリガ用ケーブルを接続できないときに利用される。
【００２５】
なお、システムコントロール回路６０には、液晶等からなる表示素子７１及び、外部トリガモードと受光トリガモードとの間の切換を行うためのモード切換スイッチ７２も接続されている。また、ステレオアダプタ２０はネジマウント３２を、デジタルカメラ１０のレンズ鏡筒１３に設けられたネジマウント１５に装着することにより接続される。
【００２６】
図５、図６は、本実施形態のステレオアダプタ２０において実行されるプログラムのフローチャートである。図５、図６を参照して本実施形態のステレオアダプタ型の３次元画像検出装置において実行される３次元画像の検出動作について説明する。
【００２７】
まず、ステップ１０１において、ステレオアダプタ２０の電源スイッチがオン状態にあるか否かが判定され、電源スイッチがオン状態に設定されるまでステップ１０１が繰り返し実行される。ステップ１０１において電源スイッチがオン状態にあると判定されるとステップ１０２において、接続されたデジタルカメラ１０のモードがＰＣ通信モードに設定されているか否かが判定される。ＰＣ通信モードは、従来のデジタルカメラに設けられた１つのモードであり、デジタルカメラとコンピュータ本体１０と間をオプションコネクタ１２に接続されたインターフェースケーブルを介して接続し、データ通信を行うためのモードである。ステップ１０２では、インターフェース回路６８を介してデジタルカメラ１０のシステムコントロール回路との通信を行い、デジタルカメラがＰＣ通信モードに設定されているか否かが判定される。
【００２８】
ステップ１０２においてデジタルカメラ１０がＰＣ通信モードに設定されていると判定されると、ステップ１０６において画像メモリ６７に記憶された画像データ等のデータがインタフェース回路６８を介してデジタルカメラ１０に転送される。ステップ１０７では、画像メモリ６７に記憶されている画像データの転送が終了したか否かが判定される。画像データの転送が終了していないときにはステップ１０６に戻り、再び画像データの転送動作が実行される。画像データの転送が終了すると処理はステップ１０３へ移る。
【００２９】
ステップ１０３では、ステレオアダプタ２０のモード切換スイッチ７２が受光トリガモードに設定されているか否かが判定される。モード切換スイッチ７２が受光トリガモードに設定されていると判定されると、ステップ１０８において、ストロボ光がフォトダイオード２４で受光されたかが判定される。フォトダイオード２４でのストロボ光の受光検知動作は、ストロボ光が受光されるまで繰り返し行われる。すなわち、ストロボ光による受光トリガ信号を受信するための待機状態となる。フォトダイオード２４においてストロボ光が受光されると処理はステップ１０９へ移る。なお、このときデジタルカメラ１０では、ＣＣＤ５０により通常の画像（例えばカラー画像）からなるステレオ画像が撮像される。このステレオ画像は、デジタルカメラ１０内に設けられたメモリなどの記録媒体に記録される。
【００３０】
一方、ステップ１０３において、モード切換スイッチ７２が受光トリガモードに設定されていないと判定されると、処理はステップ１０４へ移り、モード切換スイッチ７２の設定が、外部トリガモードであるか否かが判定される。モード切換スイッチ７２の設定が外部トリガモードでないときには、処理はステップ１０１へ戻り、再び上述のステップが繰り返し実行される。一方、モード切換スイッチ７２の設定が外部トリガモードであると判定されると、処理はステップ１０５へ移る。
【００３１】
ステップ１０５では、デジタルカメラ１０のホットシュー１１からの外部トリガ信号が外部トリガ入力回路に入力されたか否かが判定される。ステップ１０５の判定動作は、外部トリガ入力回路６１に外部トリガ信号が入力されるまで繰り返される。外部トリガ信号がステップ１０５において、外部トリガ入力回路６１に入力されたと判定されると処理はステップ１０９へ移る。なお、このときデジタルカメラ１０では、ステップ１０８においてストロボ光がフォトダイオード２４で受光されたときのように通常のステレオ画像がＣＣＤ５０において撮像され、デジタルカメラ１０内に設けられたメモリなどの記録媒体に記録される。
【００３２】
ステップ１０９では、測距光を照射するための発光装置２３を用いた発光制御がオン状態に定められる。すなわち発光素子制御回路６２による発光素子２３ａの駆動が開始される。ステップ２００では、測距光の照射タイミングに合わせたＣＣＤ２７の駆動が開始され、被写体までの距離に対応した信号電荷を画素毎に画像データとして検出する。すなわち、ＣＣＤ駆動回路６３によるＣＣＤ２７の駆動を開始し３次元画像を検出する。なお、本実施形態では、大きな信号出力を得るために、パルス状の測距光が断続的に繰り返し被写体に照射され、この測距光の照射に合わせてＣＣＤ２７における信号電荷の蓄積動作が制御される。すなわち、後に図７、図８を参照して説明される距離測定の原理が、例えば１フィールド期間に渡り繰り返し実行される。繰り返し実行される距離測定動作の各々において検出される信号電荷はＣＣＤ２７の垂直転送部（図示せず）において積分され、これにより大きな信号出力が得られる。
【００３３】
ステップ２０１では、ステップ１０９においてオン状態に定められた発光装置２３に対する発光制御がオフ状態に定められ、ステップ２００において実行された距離測定動作が終了する。ステップ２０２では、検出された３次元画像の画素値（画像データ）に基づいて演算処理が行われ、被写体までの距離データが画素毎に算出されるとともに、各画素に対応する被写体の座標データが算出される。なお、ステップ２００での距離測定（３次元画像検出）動作及びステップ２０２の距離データ、座標データの算出方法に関しては後述する。また、上記距離データ及び座標データの算出は、左右のステレオ画像毎に行われる。すなわち、左右のステレオ画像にそれぞれに対応するＣＣＤ２８の撮像面の右側領域、左側領域毎に行われる。
【００３４】
ステップ２０３では、ステップ２００でステレオ画像として撮像された左側画像と右側画像との間において、各画素間の対応関係が画素対応データとして求められる。すなわち、被写体のある点を、右側画像に投影したときの画素と、左側画像に投影したときの画素との間の対応が、ステップ２０２において各画素毎に算出された被写体の座標データに基づいて求められる。
【００３５】
ステップ２０４では、ステップ２００において検出された３次元画像に画像圧縮処理が施される。ステップ２０５では、画像圧縮処理を施された３次元画像、ステップ２０２において算出された距離データや座標データ、ステップ２０３で求められた左右の画像における画素の対応関係を示す画素対応データが画像メモリ６７に記憶される。この後、処理は再びステップ１０１へ戻り、以上に述べた処理を繰り返し実行する。
【００３６】
なお、画像メモリ６７に記憶された画像データ、距離データ、座標データや画素対応データ等は、ステップ１０６においてデジタルカメラ１０のメモリ等の記録媒体に転送され一時的に記憶される。デジタルカメラ１０のメモリに記憶されたこれらのデータは、その後、デジタルカメラ１０において撮像されたステレオ画像（２次元画像）の画像データとともにコンピュータに転送される。
【００３７】
３次元画像による被写体までの距離の測定では、ＣＣＤ２７を極めて高速に駆動しなければならない等の理由から、その精度は必ずしも高くない。また、ＣＣＤの高速駆動を実現するには、ＣＣＤ回路の漂遊容量を低減することが望まれ、このためにはＣＣＤの画素数を減らすことが望まれる。これらのことから、３次元画像の検出には、２次元画像を検出するためのＣＣＤ５０よりも画素数の少ないＣＣＤ２７が用いられる。以上のことから、データが転送されたコンピュータでは、まず３次元画像により求められた画素対応データから大まかに２次元画像の左右の画像における画素間の対応関係を求め、この対応関係を基礎として左右の２次元画像に対して従来公知のパターンマッチング等を適用する。これにより、より正確な画素間の対応関係が求められ、この対応関係に基づいて被写体の３次元空間における座標値を、従来公知の立体写真測量の原理を用いてより高い精度で算出することが可能となる。なお、３次元画像により求められた画素対応データから２次元画像の左右の画像における画素間の対応関係を求める方法に関しては後述する。
【００３８】
次に図７、図８を参照して本実施形態のステレオアダプタ２０において実行される距離測定動作（３次元画像検出動作）の原理について説明する。なお、図８において横軸は時間である。
【００３９】
距離測定装置Ｂから出力された測距光は被写体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被写体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離測定装置Ｂと被写体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２                                      ・・・（１）
により得られる。ただしＣは光速である。
【００４０】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切り換えるようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）小さくなる。
【００４１】
本実施形態における３次元計測では、上述した原理を利用してＣＣＤ２７に設けられ、２次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Ａを検出することにより行われる。すなわち、各フォトダイオード（各画素）において検出された受光量Ａに基づいて、ステレオアダプタ２０から被写体Ｓの表面の各フォトダイオードに対応する点までの距離情報をフォトダイオード（画素）毎に画像信号（３次元画像）として検出し、この画像信号から被写体Ｓの表面形状を表わす距離データをフォトダイオード（画素）毎に算出する。
【００４２】
次に図９、図１０を参照して、３次元画像により求められた画素対応データから２次元画像の左右の画像における画素間の対応関係を求める方法に関して説明する。
【００４３】
図９は、ステレオ画像を用いた従来の距離測定の原理を模式的に表している。点ＯL、点ＯRは、それぞれ左側画像（左側投影面）ＳL及び右側画像（右側投影面）ＳRの視点であり、半直線ＬL、ＬRは視点ＯL、ＯRをそれぞれ通り、互いに平行な光軸である。２つの光軸ＬL、ＬRの距離ｈは、視点ＯL、ＯRを結ぶ基線の長さ（基線長）に対応する。被写体Ｓ上の任意の点を代表する点Ｐは、画像ＳL、ＳRにおいてそれぞれ点ＰL、点ＰRに投影される。点ＰL、点ＰRを通る直線ＬEL、ＬERは、２つの視点ＯL、ＯRと被写体上の点Ｐとで定義されるエピポーラ面と、画像ＳL、ＳRとが交わるエピポーラ線である。被写体上の点Ｐの位置を、視点ＯLを座標原点とした３次元座標系ＸＹＺで表し、画像ＳL、ＳRへの点Ｐの投影点ＰL、ＰRの位置をそれぞれ２次元の写真座標系ＸLＹL、及び写真座標系ＸRＹRで表すとき、点Ｐの３次元座標値（ｘ，ｙ，ｚ）は、点ＰLの座標値（ｘL ，ｙL）及び点ＰRの座標値（ｘR ，ｙR）を用いて、
ｘ＝ｘL・ｈ／（ｘL―ｘR）                              ・・・（２）
ｙ＝ｙR・ｈ／（ｘL―ｘR）                              ・・・（３）
ｚ＝ ｆ・ｈ／（ｘL―ｘR）                              ・・・（４）
のように求められる。なお、ｆは焦点距離であり、視点ＯL、ＯRと画像ＳL、ＳRとの間の距離に対応する。また、座標系ＸＹＺは、光軸ＬLがＺ軸として採られ、Ｘ軸が視点ＯLから視点ＯRの方向へ採られた左手系座標系である。左右の画像上に設けられた写真座標系ＸLＹL、及び写真座標系ＸRＹRの原点は、各画像を貫く光軸ＬL、ＬR上にそれぞれあり、ＸL軸、ＸR軸はＸ軸に、ＹL軸、ＹR軸はＹ軸にそれぞれ平行に採られている。なお、図９において、左側投影面に対応する左側画像ＳLと右側投影面に対応する右側画像ＳRとは、分離した面として描かれているが、本実施形態のように、１つのＣＣＤの撮像面を左右二分して左右の投影面とした場合のように、左右の画像ＳR、ＳLが隣接していても何ら変わるところはない。
【００４４】
このように、立体写真測量では、左右の画像の同一のエピポーラ線上において対応する点ＰL、ＰRを求めることにより被写体の３次元座標が求められる。しかし、左右の画像の視差が大きい場合や、撮像された画像に特徴点が余り見出せないときなどには、従来のように２次元画像のみを用いて上記対応点の探索を行うことは困難となる。
【００４５】
次に本実施形態における対応点の探索方法について、図１０を参照して説明する。図１０において、曲線Ｓは、ステレオ画像として撮像された３次元画像の１つのエピポーラ線に対応する被写体の断面形状を表している。直線ＬELは左側画像のエピポーラ線、直線ＬERは右側画像のエピポーラ線である。また、破線で囲まれた領域は、左右の画像において共通する領域を示したものである。
【００４６】
エピポーラ線ＬEL、ＬER上の任意の画素の画素値は、その画素に対応する被写体までの距離に対応しているため、図７、図８を参照して説明した距離測定原理に基づいてその距離が求められる。ＣＣＤの各画素と焦点（視点）との位置関係は既知なので、これに基づいて各画素に対応する被写体上の点の３次元座標値が求められる。例えば、左側画像においてエピポーラ線ＬEL上の任意の画素（点）ＰL（ｘL ，ｙL）を指定すると、その画素に対応する被写体上の点Ｐの３次元座標（ｘ，ｙ，ｚ）が求められる。右側画像では、３次元座標（ｘ，ｙ，ｚ）に対応する画素ＰR（ｘR ，ｙR）が求められ、これにより、左側画像の任意の点ＰLに対応する右側画像の点ＰRが求められる。ＣＣＤ２７の画素とＣＣＤ５０の画素との間の対応関係は、各ＣＣＤの画素数等の情報から既知なので、上述の３次元画像を用いた方法により求められた左右の画像の画素間の対応関係から、２次元画像における画素間の対応が求められる。また、左右の画像において共通して撮影されている領域（破線で囲まれた領域）も容易に判別できる。なお、本実施形態の２次元画像に対するステレオ画像の撮影では、ＣＣＤ５０の右半分の受光面で左側画像を撮像し、左半分の受光面で右側画像を撮像している。これに対して、本実施形態の３次元画像に対するステレオ画像の撮像では、左側画像がＣＣＤ２７の左半分の受光面、右側画像が右半分の受光面で撮像されている。したがって、本実施形態において、ＣＣＤ２７の右半分の画素はＣＣＤ５０の左半分の画素に対応し、左半分の画素は右半分の画素に対応している。
【００４７】
なお、本実施形態では、左右の画像におけるエピポーラ線ＬL、ＬRは、ＣＣＤの同一水平ライン上にあるので、左右の写真座標系（ｘL ，ｙL）、（ｘR ，ｙR）においてｙL＝ｙRであり、探索の対象となるのは、ｘLとｘRとの間の対応関係のみである。
【００４８】
以上のように、本実施形態によれば、従来のステレオアダプタに、３次元画像（各画素値が被写体までの距離に対応する画像）をステレオ画像として検出する３次元画像検出装置を搭載することにより、従来のステレオ画像における対応点の探索処理を高速・簡略にすることができる。また、本実施形態のステレオアダプタ型の３次元画像検出装置によれば、通常のデジタルカメラに着脱自在なので、ステレオ写真、又は３次元画像が必要でないときには、デジタルカメラからステレオアダプタを取り外すことができるため、デジタルカメラは通常のデジタルカメラとして利用できる。一方、ステレオアダプタ型の３次元画像検出装置においては、通常の２次元画像を検出するための構成や、ファインダ、レリーズスイッチ等の機構を省くことができる。
【００４９】
更に、本実施形態では、ステレオアダプタにおける距離測定動作（３次元画像検出動作）のトリガ信号として、デジタルカメラに装備されたホットシューからの信号、またはストロボ光を用いているので、既存のデジタルカメラに特別の変更を加えることなく、デジタルカメラの撮影に同期して３次元画像の検出を行うことができる。
【００５０】
なお、本実施形態では、３次元画像もステレオ画像として撮像した。これにより３次元画像と２次元画像との対応付けが直接的に行えるため、より高速かつ高精度にこれらの対応付けが可能となる。しかし、３次元画像はステレオ画像でなくともよく、例えば、１つの３次元画像から算出された被写体の３次元座標値を、２次元画像の左右の視点を原点とした座標系にそれぞれ変換することにより、２次元画像のステレオ画像における画素間の対応関係を概略求めてもよい。
【００５１】
また、本実施形態では、３次元画像から算出される３次元座標値を用いてステレオの３次元画像における画素間の対応関係を求めたが、ステレオ画像の画素値に対して直接に従来公知のパターンマッチ処理等を施して、画素間の対応関係を求めてもよい。
【００５２】
本実施形態において、３次元画像検出装置は、例えば通常のデジタルカメラに装着可能なステレオアダプタに搭載されていたが、ステレオ写真専用のステレオカメラに一体的に搭載されていてもよい。
【００５３】
本実施形態において、２次元画像はデジタルカメラにより撮像されたが、２次元のステレオ写真は銀塩フィルムを用いるカメラにより撮影されてもよい。このときには、３次元画像検出用のＣＣＤの各画素と銀塩フィルム上の点との対応が既知であれば本実施形態と同様の方法により左右の銀塩フィルムの対応関係が概略求められる。
【００５４】
【発明の効果】
以上のように、本発明によれば、ステレオ画像における対応点探索処理を高速かつ簡略にするための３次元画像検出装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態であるステレオアダプタ型３次元画像検出装置が、従来のデジタルカメラに装着されたときの斜視図である。
【図２】図１に示されたステレオアダプタの撮像光学系のうち、デジタルカメラにおけるステレオ画像の撮影に係る光学系の構造を模式的に示す水平断面である。
【図３】図１に示されたステレオアダプタの撮像光学系のうち、ステレオアダプタ内に設けられた３次元画像撮像用ＣＣＤにおいてステレオ画像を撮影するための光学系の構造を模式的に示す水平断面図及び垂直断面図である。
【図４】本実施形態のステレオアダプタの回路構成を概略示すブロック図である。
【図５】本実施形態のステレオアダプタにおいて実行されるプログラムフローチャートの前半部である。
【図６】図５に示されたフローチャートの後半部である。
【図７】測距光による距離測定の原理を説明するための図である。
【図８】測距光、反射光、ゲートパルス、及びＣＣＤが受光する光量分布を示す図である。
【図９】ステレオ画像を用いた立体写真測量の原理を説明するための図である。
【図１０】本実施形態において、ステレオ画像として撮像された左右の３次元画像の間において画素間の対応を求めるときの原理を説明するための図である。
【符号の説明】
１０  デジタルカメラ
１３  鏡筒
２０  ステレオアダプタ
２１  ２次元画像用ステレオレンズ
２２  ３次元画像用ステレオレンズ
２３  光源装置
２７、５０  ＣＣＤ
【図１】
0003986748.tif 000002
【図２】
0003986748.tif 000003
【図３】
0003986748.tif 000004
【図４】
0003986748.tif 000005
【図５】
0003986748.tif 000006
【図６】
0003986748.tif 000007
【図７】
0003986748.tif 000008
【図８】
0003986748.tif 000009
【図９】
0003986748.tif 000010
【図１０】
0003986748.tif 000011