(57)【要約】【課題】  エッジ画像における基準点の対応付けを簡単な処理で正確に行なうことでリアルタイム処理も可能な立体形状検出装置及び立体形状検出方法を提供する。【解決手段】  対象物体２０を撮影しその立体形状を検出するために、カメラ部１０により少なくとも２つの所定の撮影位置から対象物体２０を撮影する。カメラ部１０は、レンズ１と撮像素子２とを有する。視軸微動装置４により、撮影位置間を結ぶ方向にカメラ部１０の光軸を微小に移動させる。このときに撮影された複数枚の画像に、画像処理部３でエッジ強調等の画像処理を施し、対象物体２０のエッジが抽出されたエッジ画像を生成し、そして２つの撮影位置からのエッジ画像を比較して、対象物体２０の対応するエッジを検出する。【選択図】図４
2006258543.tif 000002
【特許請求の範囲】
【請求項１】
対象物体を撮影しその立体形状を検出する立体形状検出装置であって、該装置は、
対象物体への視線が異なる少なくとも２つの所定の撮影位置から対象物体を撮影するための、撮像素子とレンズとを有する少なくとも１つのカメラ手段と、
前記少なくとも２つの所定の撮影位置間を結ぶ方向に前記カメラ手段の光軸を微小に移動させる視軸微動手段と、
前記視軸微動手段により光軸が微小に移動させられるカメラ手段からの複数枚の画像を画像処理することで、前記少なくとも２つの所定の撮影位置における対象物体のエッジが抽出されたエッジ画像をそれぞれ生成し、前記それぞれのエッジ画像を比較して対象物体の対応するエッジを検出する画像処理手段と、
を具備することを特徴とする立体形状検出装置。
【請求項２】
請求項１に記載の立体形状検出装置において、前記所定の撮影位置は、水平方向、垂直方向、斜め方向の少なくとも１つの方向又はこれらの複数の方向に沿って配置されることを特徴とする立体形状検出装置。
【請求項３】
請求項１又は請求項２に記載の立体形状検出装置であって、さらに、前記カメラ手段を所定の撮影位置に移動可能な、移動手段を有することを特徴とする立体形状検出装置。
【請求項４】
請求項１又は請求項２に記載の立体形状検出装置において、前記カメラ手段が少なくとも２つのカメラからなり、各カメラが所定の撮影位置に予め配置されることを特徴とする立体形状検出装置。
【請求項５】
請求項４に記載の立体形状検出装置において、前記少なくとも２つのカメラ手段はそれぞれ同期が取られ、同じ微小な移動で同時に撮影することを特徴とする立体形状検出装置。
【請求項６】
請求項１乃至請求項５の何れかに記載の立体形状検出装置において、前記視軸微動手段は、前記レンズを微小に移動させることを特徴とする立体形状検出装置。
【請求項７】
請求項１乃至請求項５の何れかに記載の立体形状検出装置において、前記視軸微動手段は、前記カメラ手段を微小に移動させることを特徴とする立体形状検出装置。
【請求項８】
請求項１乃至請求項７の何れかに記載の立体形状検出装置において、前記視軸微動手段は、圧電素子、超磁歪素子、静電アクチュエータ、油圧アクチュエータ、空圧アクチュエータ、電磁石、光アクチュエータ、形状記憶合金、高分子アクチュエータの何れかからなることを特徴とする立体形状検出装置。
【請求項９】
請求項１乃至請求項８の何れかに記載の立体形状検出装置において、前記視軸微動手段による微小移動は、前記カメラ手段の光軸の法線方向への並進運動であることを特徴とする立体形状検出装置。
【請求項１０】
請求項１乃至請求項８の何れかに記載の立体形状検出装置において、前記視軸微動手段による微小移動は、所定の点を中心とする回転運動であることを特徴とする立体形状検出装置。
【請求項１１】
請求項１０に記載の立体形状検出装置において、前記回転運動の回転角度は、無限遠に近い対象物体の撮像素子上での移動幅が、０〜３画素の幅となるような角度であることを特徴とする立体形状検出装置。
【請求項１２】
対象物体を撮影しその立体形状を検出する立体形状検出方法であって、該方法は、
対象物体への視線が異なる少なくとも２つの所定の撮影位置から、撮像素子とレンズとを有する少なくとも１つのカメラ手段で対象物体を撮影する過程と、
前記撮影する過程の間に、前記少なくとも２つの所定の撮影位置間を結ぶ方向に前記カメラ手段の光軸を微小に移動させる過程と、
前記光軸が微小に移動させられるカメラ手段からの複数枚の画像を画像処理することで、前記少なくとも２つの所定の撮影位置における対象物体のエッジが抽出されたエッジ画像をそれぞれ生成する過程と、
前記それぞれのエッジ画像を比較して対象物体の対応するエッジを検出する過程と、
を具備することを特徴とする立体形状検出方法。
【請求項１３】
請求項１２に記載の立体形状検出方法において、前記エッジ画像を生成する過程は、前記複数枚の画像の各対応画素の濃淡値又は彩度値を差分処理し、正規化を行なうことを特徴とする立体形状検出方法。
【請求項１４】
請求項１３に記載の立体形状検出方法において、前記エッジ画像を生成する過程は、さらに２値化処理を行なうことを特徴とする立体形状検出方法。
【請求項１５】
請求項１２乃至請求項１４の何れかに記載の立体形状検出方法において、前記対応するエッジを検出する過程は、前記エッジ画像の前記エッジの幅及び長さを基準に、前記少なくとも２つの所定の撮影位置におけるエッジ画像のエッジを対応付けることを特徴とする立体形状検出方法。
【請求項１６】
請求項１２乃至請求項１４の何れかに記載の立体形状検出方法において、前記対応するエッジを検出する過程は、パターンマッチング法により、前記少なくとも２つの所定の撮影位置におけるエッジ画像のエッジを対応付けることを特徴とする立体形状検出方法。
【請求項１７】
請求項１２乃至請求項１６の何れかに記載の立体形状検出方法において、前記対応するエッジを検出する過程は、さらに、対象物体への視線の方向も基準にすることを特徴とする立体形状検出方法。
【請求項１８】
請求項１７に記載の立体形状検出方法において、前記対応するエッジを検出する過程は、生成されたエッジ画像のエッジを、対象物体への視線の方向を基準に所定の基準幅に変換した後、それぞれのエッジ画像を比較することを特徴とする立体形状検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体形状を検出する装置及び方法に関し、特に、カメラの光軸を微小に移動させることにより距離情報を有するエッジ画像を生成し、これを用いて基準点の対応付けを行ない、立体形状を検出する立体形状検出装置及び立体形状検出方法に関する。
【背景技術】
【０００２】
従来から、視差を用いて２つの画像による立体の形状を検出する方法が種々開発されている。これらは、通常、三角測量の原理を用いて、既知の２ヶ所の位置に配置された２つのカメラによって対象物体を撮影し、対象物体の基準点（対応点）を決定し、各カメラにて撮影された対象物体の基準点を合わせ、他の部分の視差を求めることで、カメラから対象物体の各エッジまでの距離を検出することが可能なものである。
【０００３】
ここで、視差を求めるためには、各カメラで撮影された対象物体の画像から、対象物体の同じ位置を示す基準点を決定する必要がある。基準点が対象物体の異なる位置に設定されてしまうと、立体形状を誤認してしまい正しい形状が検出できなくなってしまうため、これは非常に重要な問題であり、この問題に対する解法も種々提案されている。例えば、あるエッジの各画素に対する他のエッジの各画素間のｘ軸方向の位置の相対差が視差に対応するものと考え、２つのエッジ画像のエッジが対象物体の同じ線上のエッジに対応するのであれば、エッジ上の画素の視差はｙ軸方向のどの位置でもほぼ均しくなるという原理を用いるものがある。
【０００４】
さらに、特許文献１に記載のように、２つのエッジ画像のエッジを構成する各画素に対して相対差を求め、さらに各画素に関する濃度の部分情報に基づいて重み付けを行なうことで、より正確に対応する基準点を決定しようとしたものもある。
【０００５】
【特許文献１】特開平６−１８０２１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の方法では対応する基準点を正確に求められたとしても、それには非常に多くの計算が必要となり、処理時間がかかるものであった。したがって、２つのカメラを用いて動く対象物体を撮影してリアルタイムで立体形状を検出するようなことは、処理時間の関係から難しかった。
【０００７】
本発明は、斯かる実情に鑑み、エッジ画像における基準点の対応付けを簡単な処理で正確に行なうことでリアルタイム処理も可能な立体形状検出装置及び立体形状検出方法を提供しようとするものである。
【課題を解決するための手段】
【０００８】
上述した本発明の目的を達成するために、本発明による立体形状検出装置は、対象物体への視線が異なる少なくとも２つの所定の撮影位置から対象物体を撮影するための、撮像素子とレンズとを有する少なくとも１つのカメラ手段と、前記少なくとも２つの所定の撮影位置間を結ぶ方向に前記カメラ手段の光軸を微小に移動させる視軸微動手段と、前記視軸微動手段により光軸が微小に移動させられるカメラ手段からの複数枚の画像を画像処理することで、前記少なくとも２つの所定の撮影位置における対象物体のエッジが抽出されたエッジ画像をそれぞれ生成し、前記それぞれのエッジ画像を比較して対象物体の対応するエッジを検出する画像処理手段と、を具備するものである。
【０００９】
ここで、所定の撮影位置は、水平方向、垂直方向、斜め方向の少なくとも１つの方向又はこれらの複数の方向に沿って配置されれば良い。
【００１０】
さらに、カメラ手段を所定の撮影位置に移動可能な、移動手段を有しても良い。
【００１１】
また、カメラ手段が少なくとも２つのカメラからなり、各カメラが所定の撮影位置に予め配置されたものであっても良い。
【００１２】
そして、少なくとも２つのカメラ手段はそれぞれ同期が取られ、同じ微小な移動で同時に撮影するようにしても良い。
【００１３】
また、視軸微動手段は、前記レンズを微小に移動させるか、カメラ手段を微小に移動させるようにすれば良い。
【００１４】
また、視軸微動手段は、圧電素子、超磁歪素子、静電アクチュエータ、油圧アクチュエータ、空圧アクチュエータ、電磁石、光アクチュエータ、形状記憶合金、高分子アクチュエータの何れかから構成されれば良い。
【００１５】
ここで、視軸微動手段による微小移動は、前記カメラ手段の光軸の法線方向への並進運動であれば良い。
【００１６】
また、視軸微動手段による微小移動は、所定の点を中心とする回転運動であっても良い。そのときの回転運動の回転角度は、無限遠に近い対象物体の撮像素子上での移動幅が、０〜３画素の幅となるような角度であれば良い。
【００１７】
さらに、本発明による立体形状検出方法は、対象物体への視線が異なる少なくとも２つの所定の撮影位置から、撮像素子とレンズとを有する少なくとも１つのカメラ手段で対象物体を撮影する過程と、前記撮影する過程の間に、前記少なくとも２つの所定の撮影位置間を結ぶ方向に前記カメラ手段の光軸を微小に移動させる過程と、前記光軸が微小に移動させられるカメラ手段からの複数枚の画像を画像処理することで、前記少なくとも２つの所定の撮影位置における対象物体のエッジが抽出されたエッジ画像をそれぞれ生成する過程と、前記それぞれのエッジ画像を比較して対象物体の対応するエッジを検出する過程と、を具備するものである。
【００１８】
ここで、エッジ画像を生成する過程は、前記複数枚の画像の各対応画素の濃淡値、又は彩度値を差分処理し、正規化を行なっても良い。さらに、２値化処理を加えても構わない。
【００１９】
また、対応するエッジを検出する過程は、前記エッジ画像の前記エッジの幅及び長さを基準に、前記少なくとも２つの所定の撮影位置におけるエッジ画像のエッジを対応付ければ良い。
【００２０】
さらに、対応するエッジを検出する過程は、パターンマッチング法により行なっても構わない。
【００２１】
そして、対応するエッジを検出する過程は、さらに対象物体への視線の方向も基準にしても良い。この場合、生成されたエッジ画像のエッジを、対象物体への視線の方向を基準に所定の基準幅に変換した後、それぞれのエッジ画像を比較するようにしても良い。
【発明の効果】
【００２２】
本発明の立体形状検出装置及び立体形状検出方法には、距離情報を有するエッジ画像が生成されるので、エッジ画像のエッジの幅と長さのみに着目して対応するエッジを容易に検出可能であるという利点がある。また、容易に検出可能であるため処理時間も短く、リアルタイム処理も可能であるという利点がある。
【発明を実施するための最良の形態】
【００２３】
人間の眼球は、非常に小さな高周波の振動であるトレモア（ｔｒｅｍｏｒ）や小さななめらかな動きであるドリフト（ｄｒｉｆｔ）、そして直線的な運動であるマイクロサッカード（ｍｉｃｒｏｓａｃｃａｄｅ）というような微小振動を絶えず無意識で行なっている。このような微小振動が視覚認識においてどのような影響を与えているかについては、生理学と工学の両面から数多くの研究が行なわれており、視覚対象の奥行きを検出するための動きと考えられている。このような人間の眼球の動きの中で、特にマイクロサッカードの動きに注目し、マイクロサッカードと同じような動きを用いて立体形状の検出を精度良く高速にできる装置及び方法を開発した。
【実施例】
【００２４】
以下、本発明を実施するための最良の形態を図示例と共に説明する。図１は、本発明の立体形状検出装置で用いるカメラ部の詳細を説明するための概略図である。図示のように、カメラ部１０はレンズ１と撮像素子２とからなる。レンズは短焦点レンズであってもズームレンズであっても構わず、また、その画角は広角であっても狭角であっても構わない。これらは立体形状検出装置の使用目的、対象物体までの距離等で種々変更又は選択等すれば良いものである。撮像素子２は、ＣＣＤやＣＭＯＳ等の光電変換素子であり、レンズによって撮像素子に結像された像を電気信号に変換するものである。そして、撮像素子２に接続された画像処理部３により、撮像素子からの電気信号を用いて映像を生成する。
【００２５】
そして、本願発明の特徴的な部分である視軸微動装置４が、カメラ部１０に接続されている。視軸微動装置４により、カメラ部が光軸に対して横方向に振動させられ、カメラ部の光軸が微小に横方向に移動させられる。振動周波数は特に限定されないが、例えば数Ｈｚから数十Ｈｚ程度で適当に振動させれば良い。この辺りは対象物体の移動速度に対する追従性等を考慮して種々設定可能である。そして、カメラ部の光軸を振動中に、カメラ部１０で対象物体を複数枚撮影する。なお、画像は最も移動した左右端部の位置の２枚の画像が最低限あれば良いため、視軸微動装置４とカメラ部１０の撮影のタイミングとを図るようにしても良いし、高速シャッタを用いて多数の画像を生成するようにしても良い。但し、後述のように、エッジ画像を生成する上では左右端部だけでなく、その間の画像も複数枚あったほうがよりはっきりしたエッジ画像となるため、複数枚の画像を生成することが好ましい。この辺りは画像処理部３の処理能力と要求する立体形状検出速度に応じて、適宜調整すれば良い。なお、画像処理部３は、具体的にはパーソナルコンピュータ等の電子計算機であれば良いが、ＤＳＰ等の専用チップにより実現しても勿論良い。
【００２６】
視軸微動装置４は、カメラ部１０の光軸を所定の方向に微小に振動させることが可能であれば如何なるものを用いても良く、これらに限定されるものではないが、具体的な例を挙げると、例えば圧電素子や、超磁歪素子、静電アクチュエータ、油圧アクチュエータ、空圧アクチュエータ、電磁石、光アクチュエータ、形状記憶合金、高分子アクチュエータ等を用いることが可能である。
【００２７】
また、視軸微動装置４は、カメラ部１０自体を微小に移動させるものであっても良いし、レンズ１を微小に移動させるものであっても構わない。レンズ１を微小に移動させる場合には、例えば図２に示すようにレンズ部を構成すれば良い。図２は、レンズを微小に移動させる場合のレンズ部の構造の一例を説明するための正面概略図である。図示のように、レンズ１の周りに、視軸微動装置４、例えば圧電素子、より具体的には圧電セラミックス等を配置し、適当な部材で圧電セラミックス４をレンズ１に接続する。図示の圧電セラミックス４は４つの部位に分かれており、各部位を制御することで、レンズ１をｘ軸方向、ｙ軸方向の任意の方向に移動させることが可能となる。但し、左右のみの移動で足りる場合には、圧電セラミックスは４つの部位に分かれている必要はなく、２つに分かれていれば良い。なお、カメラ部１０自体を移動させる場合も同様の構成が利用可能である。
【００２８】
図１を再度参照し、カメラ部１０の光軸の変化に伴う、対象物体とレンズまでの距離とレンズから撮像素子までの距離及び撮像素子上での結像点の変化量の関係を説明する。図示のように、対象物体２０からレンズ１までの距離をｄ、レンズ１から撮像素子２までの距離をｈ、カメラ部の移動距離をｌとすると、カメラ部の移動前の結像点ｐ１と移動後の結像点Ｐ２との間の距離ｓは、以下の式で表わされる。
ｓ＝ｈｌ／ｄ                                            （１）
【００２９】
式１から、ｄが小さければ小さいほどｓは大きくなり、逆にｄが大きければ大きいほどｓは小さくなることが分かる。すなわち、レンズから対象物体までの距離が近ければ近いほど結像点の移動幅ｓは大きくなることになる。したがって、この結像点の移動幅ｓにより、対象物体までの距離がある程度わかることになる。すなわち、移動幅ｓには対象物体までの距離情報が含まれていると言える。したがって、カメラ部を移動させて複数枚撮影したものを合成していけば、移動幅ｓが大きい近くの対象物体の線が複数本集まることになり太く見え、遠くの対象物体の線は移動幅ｓが小さいため太くはならない。
【００３０】
図３を用いて、画像処理部３におけるエッジ画像の生成について説明する。なお、エッジ画像とは、対象物体を撮影した画像において、対象物体のエッジを強調した画像のことである。図３（ａ）は、視軸微動装置を用いない場合の従来技術によるエッジ画像である。これは例えば画像内の濃淡の急激な変化の部分の濃淡差を微分処理することによりエッジを強調したものである。対象物体を同一の位置から何枚撮影しようとエッジ画像に変化はなく、エッジの線幅は、元のエッジが同じ幅であれば同じ線幅となり、距離に関する情報は一切含まれない画像である。
【００３１】
ところが、本願発明に係る視軸微動装置を用いたカメラ部からの複数の画像を画像処理部３で処理したエッジ画像は、上述の移動幅ｓに応じて、図３（ｂ）に示すように、近くのエッジは太く遠くのエッジは細くなる。したがって、このエッジ画像のエッジの幅には距離情報が含まれていると言え、同じ距離に位置する対象物体のエッジは同じ幅になることとなり、逆に違う幅のエッジであれば、異なる距離に位置することとなる。なお、図３（ｂ）は、カメラ部の光軸を図面上水平方向左右に移動させた場合に得られるエッジ画像であり、左右に移動させることにより、上述の移動幅ｓに応じて縦方向のエッジが強調されたものとなっている。すなわち、縦方向のエッジには距離情報が含まれているが、横方向のエッジには距離情報は含まれていないことになる。したがって、完全に水平なエッジであれば、エッジの幅は太くはならないか、差分を取るような画像処理によっては、まったく表示されなくなるものである。
【００３２】
画像処理部３における画像処理は、上記のように各画像の濃淡差を微分処理してそれを重ね合わせていっても良いし、各画像の対応画素の濃淡値や彩度値の差分を取りそれを正規化しても良い。ここで、正規化とは、各画像の差分を取ると、マイナスの値が出力されるため、これの絶対値を取るか、あるいは全体の値をプラスの方向に移動する等の処理を言う。さらに、得られた画像を２値化して単純化しても良い。また、必要により誇張処理や細線化処理を加えても良い。このようなエッジ画像を生成するための画像処理には、従来の方法や今後開発され得るあらゆる処理が含まれるものである。
【００３３】
このように構成されたカメラ部を、立体形状の検出に用いる場合の構成を以下に説明する。図４は、本発明の立体形状検出装置の構成を説明するための概略ブロック図である。図示のように、カメラ部１０を左右に平行に配置し、それぞれの出力を画像処理部３に入力する。なお、本明細書中で用語「視線」とは、カメラ部１０と対象物体２０とを結ぶ線を意味し、用語「光軸」とはカメラ部１０の光学的な中心軸を意味するものとする。
【００３４】
また、以下では図４に示すように、カメラ部１０を所定の２ヶ所に配置し、異なる視線の位置から対象物体２０を撮影する例について主に説明するが、本発明はこれに限定されず、一つのカメラ部１０を所定の撮影位置まで左右に大きく移動させ、視線の異なる２ヶ所から撮影するように構成しても良い。この場合、これに限定されないが、例えばレール等にカメラ部１０を載置し、レール上を移動可能にするような移動機構を設ければ良い。さらに、撮影位置は２ヶ所に限定されるものではない。双眼タイプであれば２ヶ所で良いが、立体物の表面形状等をより細かく高精度に検出しようとする場合等には、複数ヶ所にカメラ部を配置するようなものとしても良い。すなわち、カメラ部１０はｘ軸方向に並べられるだけではなく、さらにｙ軸方向にも並べることが可能である。なお、処理の容易性等の観点から、各カメラの撮像素子は、同一平面上に配置することが好ましい。
【００３５】
このように配置されたカメラ部１０において、視軸微動装置４は、２つの所定の撮影位置間を結ぶ方向にカメラ部の光軸を微小に移動させる。この微小移動は、カメラ部１０の光軸の法線方向への並進運動であれば良い。また、並進運動だけではなく、回転運動であっても良い。回転運動の場合、その回転中心はレンズの光学中心以外であり、光軸の上又は光軸付近であることが好ましい。すなわち、カメラ部１０の光軸が変化するような動きであればどのような動きであっても構わない。例えば、人間の眼球は回転運動により微動しているので、人間型ロボットの目に本願発明の立体形状検出装置を適用した場合には、通常の目の動きをさせるアクチュエータ等をそのまま視軸微動装置としても利用可能となる。なお、処理の容易性等の観点から、各カメラの回転中心は、同一平面上に配置することが好ましい。また、カメラ部の回転角度は、無限遠に近い対象物体の撮像素子上での移動幅ｓが、０〜３画素程度の幅となるように調整することが好ましい。これにより、無限遠に近い遠くの対象物体のエッジは、できるだけ細く（例えば２画素分の幅）、又はまったく写らないようになる。
【００３６】
このように、本明細書中では、「２つの所定の撮影位置間を結ぶ方向の移動」とは、カメラ部の光軸の法線方向への並進運動だけではなく、カメラ部（レンズ）同士が互いに近づいたり遠ざかったりする方向の、所定の点を中心とする回転運動も含むものである。
【００３７】
図５を用いて本願発明に係る視軸微動装置４の移動方向を説明する。図５は、複数のカメラ部１０の光軸を、それぞれを結ぶ方向に移動させる例を説明するための図であり、カメラ部を正面から見た正面概略図である。図５（ａ）はカメラ部が２つの場合の例であり、視軸微動装置は、カメラ部１０ａと１０ｂを、ａｂの方向に左右に微動させる。カメラ部が３つの場合には、例えば図５（ｂ）に示すようにカメラ部を３角形の頂点の位置に配置するようにし、カメラ部１０ａと１０ｂで撮影中にはａｂの方向に微動させ、撮影位置を切り替えてカメラ部１０ａと１０ｃで撮影中にはａｃの方向に微動させる。さらに撮影位置を切り替えて、カメラ部１０ｂと１０ｃで撮影中には、ｂｃの方向に微動させるようにする。このように複数の方向にカメラ部の光軸を微動させることにより、複数の方向のエッジの距離をより正確に検出することが可能となる。さらに、図５（ｃ）に示すように、４つのカメラ部１０ａ〜１０ｄを用いて、上下左右にそれぞれ微動させることも勿論可能である。なお、本発明による立体形状検出装置では、撮影位置間を結ぶ方向に光軸を移動させれば良いため、図５（ｂ）と図５（ｃ）を組み合わせたような複数の方向に微動させても勿論構わない。
【００３８】
さらに、図５に示すカメラ部を結ぶ方向以外の方向にそれぞれ光軸を微動させることも勿論構わない。複数の方向に光軸を微動させることにより、人間の眼球の動きのようなマイクロサッカード以外のトレモアやドリフトの動きに対応した動きを実行し、エッジ画像を補完することも可能となる。
【００３９】
また、複数のカメラ部を用いる場合、各カメラ部の同期を取ることが好ましい。すなわち、各カメラ部の微小な移動は同じ移動であり、同時に同じ方向に同じ幅で同じように微小移動させるように構成する。また、撮影も同時に行なうようにする。これにより、動きのある対象物体に対しても良好なエッジ画像を得ることが可能となる。
【００４０】
このようにして得られたエッジ画像を用いて、各エッジ画像の基準点の対応付けを行なう手法を以下に説明する。一般的に２つのカメラ部を用いて撮影した画像の対応点を求めるには、パターンマッチング法が用いられており、本発明の場合においても勿論パターンマッチング法が利用可能である。また、例えば以下で説明する方法により、エッジ画像を単純化して高速処理が行なえるようにすることも可能である。
【００４１】
図６は、本発明に係る視軸微動装置を有する２つのカメラ部を用いて対象物体を撮影した場合に得られる各エッジ画像を説明するための図である。視軸微動装置によりカメラ部の光軸を左右に微動させたため、上下方向のエッジが強調された画像が生成されるが、これをさらに単純化し、縦方向のみのエッジだけを抽出するように画像処理を行なった結果が図示のものである。上述のように、本発明に係るエッジ画像のエッジには、距離情報が含まれているため、同じ距離にあるものは同じ幅のエッジになるので、このエッジの幅及びエッジの長さを基準に、２つのカメラ部からのエッジ画像のエッジを対応付けることが可能となる。すなわち、図６の左側のエッジ画像のエッジＲａ，Ｒｂ，Ｒｃと右側のエッジ画像のエッジＬａ，Ｌｂ，Ｌｃについて、例えば左側のエッジ画像のエッジＲｂに対応するエッジを右側のエッジ画像から決定する場合には、エッジＲｂのエッジ幅と長さと同じエッジ幅と長さを有するエッジを右側のエッジ画像から検出する。そうすると、同じ幅で同じ長さのエッジＬｂが検出されることになる。したがって、これらのエッジＲｂ，Ｌｂの例えば左上の頂点を基準点として左右のエッジ画像の対応付けを行なうことが可能となる。
【００４２】
なお、複雑な形状でエッジ画像のエッジの幅や長さが一定のものとならないような場合には、左右の画像における同様のパターンを見つけることで対応付けるパターンマッチング法を用いれば良い。
【００４３】
そして、基準点の対応付けが行なわれたエッジ画像を用いて、視差を求めることで、立体形状を検出することが可能となる。
【００４４】
このように、本願発明によれば、エッジ画像を非常に単純化でき、単にエッジ画像のエッジの長さと幅を基準にするだけで基準点の対応付けが行なえるため、対応付けに要する処理時間を大幅に削減することが可能となる。そして、必要により２ヶ所以上の撮影位置からのエッジ画像を加えることで、より細かい立体形状の検出も可能となる。さらに、立体画像を構築後、エッジで囲まれた部分の対象物体のなめらかな表面形状を、例えば濃淡値等を解析することにより求め、対象物体の表面の立体情報として立体画像に貼り付けることも可能である。
【００４５】
なお、左右のカメラ部の間の中心軸に近い位置に対象物体があれば上記のように得られたエッジ画像から対応付けが可能であるが、対象物体が左右のカメラ部の間の中心軸から大きく外れた位置にある場合、同じエッジでも各カメラ部からの距離が大きく変わってしまい、対応するエッジであるにもかかわらずエッジの幅が変わってしまうことがある。このような場合には、対象物体への視線の方向も基準に加えて対応するエッジを検出するようにすれば良い。例えば左側のエッジ画像において、エッジがエッジ画像の中心からどのくらいずれているのかを計測することによって視線の方向が分かるため、これも考慮に入れて右側のエッジ画像から左側の視線の方向にあるエッジの中から同じ長さのエッジを対応付けることが可能となる。さらに、対象物体への視線の方向を基準に、得られたエッジ画像のエッジをそれぞれ所定の基準幅に変換することも可能である。すなわち、ずれている視線の方向を光軸上に移動した場合の幅（基準幅）に変換することで、視線の方向を考慮せずに単純にエッジの幅と長さで比較することができるようにすることも可能である。
【００４６】
なお、本発明の立体形状検出装置及び立体形状検出方法は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００４７】
【図１】図１は、本発明の立体形状検出装置で用いるカメラ部の詳細を説明するための概略図である。
【図２】図２は、レンズを微小に移動させる場合のレンズ部の視軸微動装置を説明するための正面概略図である。
【図３】図３は、エッジ画像を説明するための図であり、図３（ａ）が視軸微動装置を用いない場合のエッジ画像を、図３（ｂ）が視軸微動装置を用いた場合のエッジ画像である。
【図４】図４は、本発明の立体形状検出装置の構成を説明するための概略ブロック図である。
【図５】図５は、複数のカメラ部の光軸を、カメラ部間を結ぶ方向に移動させる例を説明するためのカメラ部の正面概略図である。
【図６】図６は、本発明に係る視軸微動装置を有する２つのカメラ部を用いて対象物体を撮影した場合に得られる各エッジ画像を説明するための図である。
【符号の説明】
【００４８】
１    レンズ
２    撮像素子
３    画像処理部
４    視軸微動装置
１０    カメラ部
２０    対象物体
【図１】
2006258543.tif 000003
【図２】
2006258543.tif 000004
【図３】
2006258543.tif 000005
【図４】
2006258543.tif 000006
【図５】
2006258543.tif 000007
【図６】
2006258543.tif 000008