(57)【要約】【課題】撮影物体の３次元形状の計測において、対応点マッチング処理を必要としない距離の抽出を行うことによって対応点マッチングに起因して発生する誤計測の問題を解決する。【解決手段】所定の位置で撮影された第１の画像を入力する第１のステップと、前記所定の位置と水平方向に離れた位置から撮影された第２の画像を入力する第２のステップと、前記第１の画像と前記第２の画像の差分を求める第３のステップと、差分がない領域を遠景、差分がある領域およびその近傍領域を近景とする第４のステップとにより３次元形状計測を行う。これによってパッシブ型計測方法の利点を有しながら信頼性も高い３次元形状計測方法および３次元形状計測装置が提供できる。【選択図】        図２
2004317332.tif 000002
【特許請求の範囲】
【請求項１】
所定の位置で撮影された第１の画像を入力する第１のステップと、
前記所定の位置と水平方向に離れた位置から撮影された第２の画像を入力する第２のステップと、
前記第１の画像と前記第２の画像の差分を求める第３のステップと、
差分がない領域を遠景、差分がある領域およびその近傍領域を近景とする第４のステップと
を有することを特徴とする３次元形状計測方法。
【請求項２】
所定の位置で撮影された第１の画像を入力する第１のステップと、
前記所定の位置と水平方向に離れた位置から撮影された第２の画像を入力する第２のステップと、
前記第１の画像と前記第２の画像の差分を求める第３のステップと、
差分が抽出された領域の水平方向の長さからその領域の距離を算出する第４のステップと、
差分が抽出できなかった領域に対しては、第４のステップで距離を算出した近傍の領域の距離から補間することによって距離を算出する第５のステップと
を有することを特徴とする３次元形状計測方法。
【請求項３】
請求項１または請求項２に記載の各ステップで３次元形状を計測する第６のステップと、
第６のステップで計測された３次元形状から、異なる距離間が連続的に接続するような変形操作を行うことによって距離分解能の高い３次元形状を生成する第７のステップと
を有することを特徴とする３次元形状計測方法。
【請求項４】
所定の位置で撮影された第１の画像を入力する第１の手段と、
前記所定の位置と水平方向に離れた位置から撮影された第２の画像を入力する第２の手段と、
第１の画像と第２の画像の差分を求める第３の手段と、
差分がない領域を遠景、差分がある領域およびその近傍領域を近景とする第４の手段と、
を備えることを特徴とする３次元形状計測装置。
【請求項５】
所定の位置で撮影された第１の画像を入力する第１の手段と、
前記所定の位置と水平方向に離れた位置から撮影された第２の画像を入力する第２の手段と、
第１の画像と第２の画像の差分を求める第３の手段と、
差分が抽出された領域の水平方向の長さからその領域の距離を算出する第４の手段と、
差分が抽出できなかった領域に対しては、第４のステップで距離を算出した近傍の領域の距離から補間することによって距離を算出する第５の手段と
を備えることを特徴とする３次元形状計測装置。
【請求項６】
請求項４または請求項５の各手段で３次元形状を計測する第６の手段と、
第６の手段で計測された３次元形状から、異なる距離間が連続的に接続するような変形操作を行うことによって距離分解能の高い３次元形状を生成する第７の手段と
を備えることを特徴とする３次元形状計測装置。
【請求項７】
コンピュータを請求項４ないし６のうちいずれか１項に記載の各手段として機能させるための３次元形状計測プログラム。
【請求項８】
コンピュータを請求項４ないし６のうちいずれか１項に記載の各手段として機能させるための３次元形状計測プログラムを記録したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影物体の３次元形状を計測する３次元形状計測方法、３次元形状計測装置、プログラム、および記録媒体に係わり、特に、計測産業、通信産業、映像産業などの分野において使用される３次元形状計測方法、３次元形状計測装置、プログラム、および記録媒体に関する。
【０００２】
【従来の技術】
近年、携帯器機等で３次元表示または擬似的な３次元表示が行われるようになり、３次元画像の入力手段として、小型、低コスト、低消費電力、計測環境や計測範囲に制限のない３次元形状計測装置が求められている。
ところが、従来の３次元形状計測装置ではこれらの条件を全て満たせるものが存在しなかった。
【０００３】
例えば、被計測物体に光を照射して計測するアクティブ型３次元形状計測装置は、照射光源を駆動するため消費電力が大きい、計測距離に制限がある、環境光に制限があり例えば太陽光の元では動作できない等の欠点を有する。また、これらの手法の中で照射光にレーザを用いるものは、安全性の観点においても民生用としては不適であった。
【０００４】
また、これらの技術は主に工業計測分野への適用を目指して考案されており、比較的高い計測分解能を有するものが多いが、映像分野への適用においては必ずしも高い計測分解能が要求されるわけではない。例えば、立体表示のために撮影する場合、人間が見て立体的に見える分解能で距離計測できれば十分である。更に大まかな３次元形状から擬似的に立体形状を生成する手法の補助データとして用いる場合では遠近の２値（＝分解能１ｂｉｔ）の距離情報さえあれば十分使える場合もある。しかしながら、これらの技術の大半は分解能を下げても効果的なコスト削減につながらないことが多い。
【０００５】
一方、被計測物体に特別な光を照射することなく計測を行うパッシブ型３次元形状計測装置があれば上記の問題を解決できる。しかしながら、パッシブ型に属する３次元形状計測方法は信頼性が低いため、大半の方法は実用的な計測装置を作れる段階に至ってない。ここでは、パッシブ型の代表的な方法であるステレオ法について動作原理と信頼性が低い原因を説明する。
【０００６】
図１はステレオ法の動作原理を示した図である。１１は左側カメラＬ、１２は右側カメラＲであり、両カメラの間隔は既知の距離Ｄだけ離れている。また、両カメラ共に同じ方向を向いて平行に並んでいるものとする（説明の式を簡潔にするため平行としたが、両カメラの向く方向が既知であるなら平行である必要はない）。１３は撮影物体であり１４は撮影物体上のある１点である。１５はカメラＬで撮影した画像、１６はカメラＲで撮影した画像である。撮影物体上の点１４は画像においてそれぞれ１７および１８の位置に写っている。図中の角度θ１とθ２は画像内の１７および１８の位置と撮影カメラの画角から一意に決定されるので、撮影物体上の点１４とカメラ間の距離ｚはθ１とθ２の値から、
【０００７】
【数１】
式１  ｚ＝Ｄ×ｔａｎθ１×ｔａｎθ２／（ｔａｎθ１＋ｔａｎθ２）
として求めることができる。この距離計測を画像内の全ての点について行うことによって撮影物体の３次元形状が生成される。
【０００８】
しかし、ステレオ法では画像１５と画像１６から同じ位置の撮影点１７と１８の組を見つける処理が必要である。この処理を対応点マッチングと呼ぶが、極めて困難な問題であることが知られており、信頼性の高い処理方法は未だに実現できていない（非特許文献１）。このため、ステレオ法は以下に述べる方法を除いて実用化の段階に至っていない。
【０００９】
この対応点マッチング問題を解決する方法として、特別なパターンの照明を撮影物体に照射する方法がある（非特許文献２）。例えば、垂直なスリット照明を１４を含むように照射して撮影すれば画像内の１７および１８は同じ水平ライン１９にある特別に明るく写った点として容易に求まる。しかしながら、これはアクティブ型計測装置の一種となり、本来のステレオ法のパッシブ型である特徴を全て失ってしまう問題があった。
【００１０】
別な方法として、多数のカメラを用いて対応点マッチングを行う多眼式ステレオ法がある（非特許文献３）。これは複数のカメラの組同士で対応点マッチングを複数回行うことによって統計的により信頼度の高い対応点を決定する方法である。この方法は理論的には優れているものの、現実には複数のカメラの位置ずれやレンズの歪みのキャリブレーションが難しいため理論通りの性能をなかなか出せない問題がある。また、多数のカメラを用いるため装置の大型化、コスト高となる問題も抱える。
【００１１】
また、ステレオ法は対応点マッチングを、対応点近傍の画像の細かい輝度や色の変化を比べることによって行うため、単色で細かい凹凸のない平面または曲率の小さい曲面等の撮影画像上にある点は対応点マッチングできない問題がある。このような特徴のない領域上の点の対応点マッチングは誤判定され易いため、計測の信頼性を下げる大きな要因となっていた。
【００１２】
この問題は、前述の特別なパターンの照明を撮影物体に照射する方法を用いれば解決できるが、ステレオ法のパッシブ型である特徴を全て失ってしまう問題が生じる。また、多眼式ステレオ法ではこの問題を解決することができない。
【００１３】
また、既存のステレオ法は対応点マッチングが正しくできた領域については比較的高い計測分解能を有するが、映像分野では必ずしも高い計測分解能が要求されるわけではない。つまり、計測分解能はほどほどで良く計測の信頼性が高いステレオ法が求められている。
【００１４】
【非特許文献１】
奥富正敏、「ステレオ法はなぜ難しいか」、日本ロボット学会誌、Ｖｏｌ．１６、Ｎｏ．６、１９９８、ｐｐ．７７３−７７７
【非特許文献２】
吉澤徹編、「光３次元計測」、新技術コミュニケーションズ、１９９８年１２月、ｐｐ．２８−１１３
【非特許文献３】
金出武雄、「ビデオレート・ステレオマシン」、日本ロボット学会誌、Ｖｏｌ．１３、Ｎｏ．３、１９９５、ｐｐ．３２２−３２６
【００１５】
【発明が解決しようとする課題】
本発明が解決しようとする課題は、対応点マッチング処理を必要としない距離の抽出を行うことによって対応点マッチングに起因して発生する誤計測の問題を解決することである。これによってパッシブ型計測方法の利点を有しながら信頼性も高い３次元形状計測方法および３次元形状計測装置が提供できる。
【００１６】
また、本発明が解決しようとする別な課題は、単色で細かい凹凸のない平面または曲率の小さい曲面等が写っている画像上の領域を直接計測するのでなく、該領域内の距離は周囲の距離計測できた領域から補間生成することによって、該領域で発生する誤計測の問題を解決することである。補間生成する場合、必ず近似による誤差が発生するが、該領域は元々距離変化の小さい領域であるので大きな誤差が発生することはない。また、許容誤差は計測分解能が上がるに従って小さな値が要求されるが、本計測方法は元々計測分解能が高くないので許容誤差も大きく、補間によって生じる誤差はほとんど無視できる。
【００１７】
【課題を解決するための手段】
前述の課題を解決するため、請求項１にあげた本発明は、所定の位置で撮影された第１の画像を入力する第１のステップと、前記所定の位置と水平方向に離れた位置から撮影された第２の画像を入力する第２のステップと、前記第１の画像と前記第２の画像の差分を求める第３のステップと、差分がない領域を遠景、差分がある領域およびその近傍領域を近景とする第４のステップとを有する。
【００１８】
図２を用いて本発明の作用を説明する。遠距離に物体２１、近距離に物体２２が存在する。カメラ２３はステップ１で用いる撮影カメラ、カメラ２４はステップ２で用いる撮影カメラである。カメラ２３とカメラ２４は水平方向にある既知の距離Ｄだけ離されている。
【００１９】
第１のステップにおいてカメラ２３で撮影された画像を入力する。これを画像２５として示す。第２のステップにおいてカメラ２４で撮影された画像を入力する。これを画像２６として示す。画像２５と画像２６を比較すると遠距離にある物体２１はほとんど同じ位置に写っているのに対して近距離にある物体２２はより大きな視差量を発生するので水平方向に位置がずれているのがわかる。第３のステップにおいて画像２５と画像２６から差分画像２７を求める。この差分画像２７は２値画像であり、画像２５と画像２６の同位置における画素の輝度値がある一定の閾値未満であった場合には白、閾値以上であった場合には黒とすることによって生成する。すると、ほとんど同じ位置に写っている遠距離にある物体の差分はほとんど０であるので白領域２８となる。一方、近距離にある物体は両画像間で水平方向にずれて撮影されるため、水平方向に輝度が変化する領域の左右に視差量分の長さを有する黒領域２９が発生する。この黒領域は近距離物体の輪郭線や近距離物体内の輝度変化の大きい領域で顕著に発生するので、近距離にある物体の輪郭線および内部で輝度変化の大きい領域が黒領域となる。
【００２０】
第４のステップにおいて、差分がない領域を遠景、差分がある領域およびその近傍領域を近景とする。遠景と近景に切り分ける距離は、カメラ２３とカメラ２４の間隔Ｄで決定する。
【００２１】
ここで、遠距離にある物体は全て白領域２８となるが、近距離にある物体は全て黒領域２９となるわけではないので、黒領域の近傍は黒に補正することによって近距離にある物体の領域を全て抽出する。この補正方法は様々な方法が考えられ、後述の実施例１に記載した方法もその一つである。しかしながら、黒領域の近傍を黒に補正する方法であるならば、本請求項のステップ４は実施例１に記載した方法に限定するものではない。
【００２２】
この作用の結果、近景と遠景の２値の３次元形状データを得ることが出来る。本方法は特別な照射光を照射する方式ではないので、消費電力が小さく、外光の強さに制限を受けることもなく、計測距離に制限もなく、安全性も高い。また、従来のステレオ法と比べると、対応点マッチングを必要としないため計測結果の信頼性が高く、計算コストも非常に小さい。従って、携帯機器に搭載されている性能の低いＣＰＵでも処理が可能である等の利点がある。
【００２３】
一方、本計測法で得られる３次元形状データは遠近だけを表現する２値画像なので非常に計測分解能が荒い。しかし、映像分野で書き割り調の立体画像を生成する場合、擬似的に立体形状を生成する手法の原データとして用いる場合等では２値の３次元形状情報でも構わないことも多く、これらの用途には有用である。
【００２４】
前述の課題を解決するため、請求項２にあげた本発明は、所定の位置で撮影された第１の画像を入力する第１のステップと、前記所定の位置と水平方向に離れた位置から撮影された第２の画像を入力する第２のステップと、前記第１の画像と前記第２の画像の差分を求める第３のステップと、差分が抽出された領域の水平方向の長さからその領域の距離を算出する第４のステップと、差分が抽出できなかった領域に対しては、第４のステップで距離を算出した近傍の領域の距離から補間することによって距離を算出する第５のステップとを有する。
【００２５】
図３を用いて本発明の作用を説明する。遠距離に物体３１、近距離に物体３２が存在する。カメラ３３はステップ１で用いる撮影カメラ、カメラ３４はステップ２で用いる撮影カメラである。カメラ３３とカメラ３４は水平方向にある既知の距離Ｄだけ離されている。
【００２６】
第１のステップにおいてカメラ３３で撮影された画像を入力する。これを画像３５として示す。第２のステップにおいてカメラ３４で撮影された画像を入力する。これを画像３６として示す。画像３５と画像３６を比較すると遠距離にある物体３１はほとんど同じ位置に写っているのに対して近距離にある物体３２はより大きな視差量を発生するので距離に応じて水平方向に位置がずれる。第３のステップにおいて画像３５と画像３６から差分画像３７を求める。この差分画像３７は２値画像であり、画像３５と画像３６の同位置における画素の輝度値がある一定の閾値未満であった場合には白、閾値以上であった場合には黒とすることによって生成する。すると、両画像に写っている物体は距離にだいたい反比例した視差量分だけ水平方向に位置がずれて写っているので、水平方向に輝度が変化する領域の左右に視差量分の長さを有する黒領域が発生する。この黒領域は近距離物体の輪郭線や近距離物体内の輝度変化の大きい領域で顕著に発生するので、近距離にある物体は輪郭線および内部の一部が黒領域となる。
【００２７】
第４のステップにおいて、差分が抽出された領域の水平方向の長さからその領域の距離を算出する。例えば、差分画像３７のある水平ラインを示したものが３９である。この水平ライン上に長さ（ｘ１−ｘ０）の黒領域３１０がある時、黒領域の左端の画素位置ｘ０よりθ１、右端の画素位置ｘ１よりθ２を求めることによって前述の式１より該水平ライン上における黒領域３１０に対応する撮影物体とカメラ間の距離ｚ１が求まる。
【００２８】
第５のステップにおいて、黒領域に挟まれた白領域の距離を、第４のステップで距離を算出した両側の黒領域の距離から補間することによって距離を算出する。例えば、白領域３１１に対しては、左側に隣接する黒領域３１０の右端の水平画素位置をｘ１、第４のステップで求めた黒領域３１０に対応する撮影物体上の点とカメラ間の距離をｚ１、右側に隣接する黒領域３１２の左側の水平画素位置をｘ２、第４のステップで求めた黒領域３１２に対応する撮影物体上の点とカメラ間の距離をｚ２とすると、黒領域３１０と黒領域３１２に間に挟まれた白領域３１１の水平画素位置ｘに対応する撮影物体上の点とカメラ間の距離ｚは式２の線形補間で決定する。
【００２９】
【数２】
式２  ｚ＝｛（ｘ−ｘ１）ｚ２＋（ｘ２−ｘ）ｚ１｝／（ｘ２−ｘ１）
なお、補間方法の式は種々の多項式補間やスプライン補間等を用いても良く、本特許は補間方法を線形補間に限定するものではない。
【００３０】
この作用の結果、近景から遠景にわたる複数階調の３次元形状データを得ることが出来る。本方法は特別な照射光を照射する方式ではないので、消費電力が小さく、外光の強さに制限を受けることもなく、計測距離に制限もなく、安全性も高い。また、従来のステレオ法と比べると、対応点マッチングを必要としないため計測結果の信頼性が高い、計算コストが非常に小さいので、処理時間の観点、消費電力の観点で携帯器機に搭載されているＣＰＵでも処理が可能である等の利点がある。
【００３１】
一方、本計測法で得られる３次元形状データの計測分解能はカメラ間隔Ｄに比例して向上するが、Ｄが小さいほど安定して動作するため、かなり低い計測分解能で使用することが現実的である。従って、工業計測の分野で用いるような高精度計測には不向きであるが、映像分野で書き割り調の立体画像を生成する場合、擬似的に立体形状を生成する手法の原データとして用いる場合等では十分な距離分解能の３次元形状情報を提供できるので、これらの用途には非常に有用である。
【００３２】
前述の課題を解決するため、請求項３にあげた本発明は、請求項１または請求項２の各ステップで３次元形状を計測する第６のステップと、第６のステップで計測された３次元形状データから異なる距離間が連続的に接続するような変形操作を行うことによって距離分解能の高い３次元形状データを生成する第７のステップとを有する。
【００３３】
図４を用いて本発明の作用を説明する。４１は請求項２の方法で計測された３次元形状データの画像である。距離分解能が低いため、撮影物体は最も近い距離から順に４２、４３、４４、４５の４段階の距離領域で構成されている。従って、撮影物体が距離が連続して変わる滑らかな形状であっても４６に示す形状の物体で表現されるため、このまま立体表示装置に提示した場合不自然な形状に見えてしまう。
【００３４】
そこで、第１のステップにおいて、請求項１または請求項２で３次元形状を計測することによって距離分解能の低い画像４１を求める。
【００３５】
次に、第２のステップにおいて、これらの３次元形状データから異なる距離間が連続的に接続するような変形操作を行う。例えば、４７に示すある画素の距離は、その画素を中心とする半径δ内にある画素が持つ距離値の平均値で置き換え、この処理を全画素に適用することによって、異なる距離間が連続的に接続するような変形操作が実現される。なお、本変形操作は一例を示したものであって、異なる距離間が連続的に接続するような変形操作であるなら良く、前記の変形操作に限定するものではない。
【００３６】
この作用の結果、４８に示す滑らかな３次元形状データを生成することが可能となる。補間される画素近傍は輝度変化に乏しい領域なので、従来のステレオ法では誤計測によって大きな誤差を生じ易い領域である。しかし、本方法によれば補間による近似誤差が発生するだけである。一般に輝度変化の乏しい領域は距離変化の乏しい領域であるので近似誤差は小さい場合が多く、計測精度の低下を最小限に抑えることが出来る。
【００３７】
なお、４８の３次元形状は４６の３次元形状と比較すると、見かけの分解能が向上しているだけで計測精度が向上しているわけではない。しかしながら、視覚的な画質劣化の要因である不連続性がなくなるため、視覚的により高品位の３次元形状に見せる効果を与えることが出来る。
【００３８】
前述の課題を解決するため、請求項４にあげた本発明は、所定の位置で撮影された第１の画像を入力する第１の手段と、前記所定の位置と水平方向に離れた位置から撮影された第２の画像を入力する第２の手段と、第１の画像と第２の画像の差分を求める第３の手段と、差分がない領域を遠景、差分がある領域およびその近傍領域を近景とする第４の手段と、を備える。
【００３９】
本装置の構成を図５に示す。５１は撮影カメラで第１の撮影手段を構成する。５２は５１と水平方向に並べて配置された撮影カメラで第２の撮影手段を構成する。５３は画像記録メモリ、５４はＣＰＵ、５５は３次元形状記録メモリである。５３、５４、５５の組み合わせで画像データの演算手段を構成する。
【００４０】
本装置は、カメラ５１とカメラ５２を用いてステレオ画像データを画像記録メモリ５３に記録し、ＣＰＵ５４にて請求項１の方法に従って３次元形状データを生成して３次元形状記録メモリ５５に記録する動作を行う。
【００４１】
前述の課題を解決するため、請求項５にあげた本発明は、所定の位置で撮影された第１の画像を入力する第１の手段と、前記所定の位置と水平方向に離れた位置から撮影された第２の画像を入力する第２の手段と、第１の画像と第２の画像の差分を求める第３の手段と、差分が抽出された領域の水平方向の長さからその領域の距離を算出する第４の手段と、差分が抽出できなかった領域に対しては、第４のステップで距離を算出した近傍の領域の距離から補間することによって距離を算出する第５の手段とを備える。
【００４２】
本装置の構成を図６に示す。６１は撮影カメラで第１の撮影手段を構成する。６２はカメラ６１と水平方向に並べて配置された撮影カメラで第２の撮影手段を構成する。６３は画像記録メモリ、６４はＣＰＵ、６５は３次元形状記録メモリである。６３、６４、６５の組み合わせで画像データの演算手段を構成する。
【００４３】
本装置は、カメラ５１とカメラ５２を用いてステレオ画像データを画像記録メモリ５３に記録し、ＣＰＵ５４にて請求項２の方法に従って３次元形状データを生成して３次元形状記録メモリ５５に記録する動作を行う。
【００４４】
前述の課題を解決するため、請求項６にあげた本発明は、請求項４または請求項５の各手段で３次元形状を計測する第６の手段と、第６の手段で計測された３次元形状から、異なる距離間が連続的に接続するような変形操作を行うことによって距離分解能の高い３次元形状を生成する第７の手段とを備える。
【００４５】
本装置の構成を図７に示す。７１は撮影カメラで第１の撮影手段を構成する。７２はカメラ７１と水平方向に並べて配置された撮影カメラで第２の撮影手段を構成する。７３は画像記録メモリ、７４はＣＰＵ、７５は３次元形状記録メモリである。７３、７４、７５の組み合わせで画像データの演算手段を構成する。
【００４６】
本装置は、カメラ７１とカメラ７２を用いてステレオ画像データを画像記録メモリ７３に記録し、ＣＰＵ７４にて請求項１または請求項２の方法に従って分解能の低い３次元形状データを生成した後で、請求項３の方法に従って滑らかな３次元形状データに変換した後で、３次元形状記録メモリ７５に記録する動作を行う。
【００４７】
請求項４、請求項５、請求項６の装置を用いることによってカメラ２台と計算機で３次元形状が取得できるので、極めて安価に３次元形状情報を取得できる手段が提供できる。また、対応点マッチングを用いないので計測の信頼性が高い他、計算コストも小さいので携帯端末に用いられる性能の低いＣＰＵでも処理が可能となる利点を提供できる。
【００４８】
また、請求項７にあげた本発明は、コンピュータを請求項４ないし６のうちいずれか１項に記載の各手段として機能させるための３次元形状計測プログラムであり、請求項８にあげた本発明は、コンピュータを請求項４ないし６のうちいずれか１項に記載の各手段として機能させるための３次元形状計測プログラムを記録したコンピュータ読み取り可能な記憶媒体である。
【００４９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００５０】
［実施の形態１］
本発明請求項１の方法および請求項４の装置の一実施形態を図８および図９を用いて説明する。図８は本発明の装置の構成図であり、図９は本発明の方法の処理の流れを表すフローチャートである。図８において、８１と８２は水平方向に並べて配置された撮影カメラ、８３は画像データ記録メモリ、８４は画像データ演算器、８５は３次元形状データの記録メモリ、８６は全体の制御装置である。なお、８３から８６までを汎用の計算機を用いて実現しても良い。８７は撮影物体である。
【００５１】
次に本発明の装置の動作を図９を用いて説明する。なお、画像Ａのｘ，ｙ座標の画素の値をＡ（ｘ，ｙ）と記述する。ステップ９１において、制御装置８６は撮影カメラ８１と８２に撮影を指示して画像を撮影し、左側の撮影カメラ８１で撮影した画像Ｌと右側の撮影カメラ８２で撮影した画像Ｒを画像データ記録メモリ８３に記録する。ステップ９２において、制御装置８６は画像データ演算器８４に３次元形状の算出を指示する。ステップ９３において、画像データ演算器８４は画像Ｌと画像Ｒの全画素について、同じｘ，ｙ座標の画素Ｌ（ｘ，ｙ）とＲ（ｘ，ｙ）を比較し、予め設定した閾値ｋに対して｜Ｌ（ｘ，ｙ）−Ｒ（ｘ，ｙ）｜＞ｋであるなら１を、そうでないなら０を画素値とすることによって２値画像Ｂ１を生成する。ステップ９４において、２値画像Ｂ１にメディアンフィルタをかけてノイズ除去を行い２値画像Ｂ２に変換する。なお、本実施例ではノイズ処理のステップ９４を記載しているが、ステップ９４は撮影した画像のノイズが十分に小さければ必ずしも必要な処理ではない。また、ノイズ除去には様々なフィルタがあり、ノイズ除去の対象画像も２値化された画像Ｂ１でなく、２値化前の差分画像（画像Ｌ−画像Ｒ）を選ぶことも可能である。本発明はノイズ処理の有無、ノイズフィルタの種類を限定するものではない。ステップ９５において、画像Ｂ２の走査線方向の全水平線分について、ステップ９６の処理を行う。ステップ９６において、線分を構成する画素値を調べ、画素値１の画素で挟まれた画素値０の連続する画素数が、予め設定された画素数ｍより小さい場合、該位置の画素値を１に置き換える。この結果、２値画像Ｂ３に変換され、近景領域と遠景領域を表す２値の３次元形状データが生成される。
【００５２】
なお、ステップ９６は差分がある領域の近傍領域を近景とする処理方法の一つであって、これ以外の処理方法であっても、請求項中の差分がある領域およびその近傍領域を近景とする作用をもたらす処理であるなら、本発明に含まれる。ステップ９７において、２値画像Ｂ３を３次元形状データ記録メモリ８５に書き込む。
【００５３】
［実施の形態２］
本発明請求項２の方法および請求項５の装置の一実施形態を図１０および図１１を用いて説明する。図１０は本発明の装置の構成図であり、図１１は本発明の方法の処理の流れを表すフローチャートである。図１０において、１０１と１０２は水平方向に並べて配置された撮影カメラ、１０３は画像データ記録メモリ、１０４は画像データ演算器、１０５は３次元形状データの記録メモリ、１０６は全体の制御装置である。なお、１０３から１０６までを汎用の計算機を用いて実現しても良い。１０７は撮影物体である。
【００５４】
次に本発明の装置の動作を図１１を用いて説明する。
ステップ１１１において、制御装置１０６は撮影カメラ１０１と１０２に撮影を指示して画像を撮影し、左側の撮影カメラ１０１で撮影した画像Ｌと右側の撮影カメラ１０２で撮影した画像Ｒを画像データ記録メモリ１０３に記録する。
【００５５】
ステップ１１２において、制御装置１０６は画像データ演算器１０４に３次元形状の算出を指示する。ステップ１１３において、画像データ演算器１１４は画像Ｒと画像Ｌの全画素について、同じｘ，ｙ座標の画素Ｌ（ｘ，ｙ）とＲ（ｘ，ｙ）を比較し、予め設定した閾値ｋに対して｜Ｌ（ｘ，ｙ）−Ｒ（ｘ，ｙ）｜＞ｋであるなら１を、そうでないなら０を画素値とすることによって２値画像Ｂ１を生成する。
【００５６】
ステップ１１４において、２値画像Ｂ１にメディアンフィルタをかけてノイズ除去を行い２値画像Ｂ２に変換する。なお、本実施例ではノイズ処理のステップ１１４を記載しているが、ステップ１１４は撮影した画像のノイズが十分に小さければ必ずしも必要な処理ではない。また、ノイズ除去には様々なフィルタがあり、ノイズ除去の対象画像も２値化された画像Ｂ１でなく、２値化前の差分画像（画像Ｌ−画像Ｒ）を選ぶことも可能である。本発明はノイズ処理の有無、ノイズフィルタの種類を限定するものではない。
【００５７】
ステップ１１５において、画像Ｂ２の走査線方向の全水平線分について、ステップ１１６からステップ１１９の処理を行う。ステップ１１６において、線分を構成する画素値を調べ画素値１の連続する領域を抽出する。抽出された各々の領域についてステップ１１７からステップ１１９の処理を行う。ステップ１１７において、領域右端画素位置ｘＲ、領域左端画素位置ｘＬを求める。ステップ１１８において、ｘＲ、ｘＬよりθ１とθ２を求めた後で、距離ｚを前述の式１に従って算出し、この距離ｚを画素位置（ｘＲ＋ｘＬ）／２に対応する撮影物体上の点とカメラ間の距離とする。厳密には、距離ｚはｘＲかｘＬのどちらかの位置における距離であるが、ｘＲとｘＬは極めて近い位置にあるので、両者の中間点で代用しても位置ずれの誤差は微小である。
【００５８】
ステップ１１９において、線分中で距離の求められた画素間の距離を補間することによって生成する。これは両端画素の位置をあらためてそれぞれｘＬ、ｘＲとし、このｘＬ、ｘＲに対応する撮影物体上の点とカメラ間の距離をそれぞれｚＲ、ｚＬとすると、ｘＬとｘＲの間の位置ｘの画素の距離ｚをｚＲ＞ｚＬならｚＲ、ｚＲ≦ｚＬならｚＬとする。
【００５９】
なお、補間方法には、例えば、両端画素の位置をそれぞれｘＬ、ｘＲ、距離をそれぞれｚＲ、ｚＬとすると、間の位置ｘの画素の距離ｚを、
【００６０】
【数３】
式３  ｚ＝｛（ｘＲ−ｘ）ｚＬ＋（ｘ−ｘＬ）ｚＲ｝／（ｘＲ−ｘＬ）
として求める方法もある。この式３以外にも補間式にはより高次の補間式やスプライン補間に代表される有理多項式の補間がある。本発明は補間式を実施例にあげた特定の方法に限定するものではない。補間処理を行った結果、３次元形状データＣが生成される。ステップ１２０において、３次元形状データＣを３次元形状記録メモリ１０５に書き込む。
【００６１】
［実施の形態３］
本発明請求項３の方法および請求項６の装置の一実施形態を図１２および図１３を用いて説明する。図１２は本発明の装置の構成図であり、図１３は図１２の装置を用いて行われる本発明の方法の処理の流れを表すフローチャートである。図１２において、１２１と１２２は水平方向に並べて配置された撮影カメラ、１２３は画像データ記録メモリ、１２４は画像データ演算器、１２５は３次元形状データの記録メモリ、１２６は全体の制御装置である。なお、１２３から１２６までを汎用の計算機を用いて実現しても良い。１２７は撮影物体である。
【００６２】
次に本発明の装置の動作を１３図を用いて説明する。
ステップ１３１において、制御装置１２６は撮影カメラ１２１と１２２に撮影を指示して撮影物体１２７を撮影し、左側の撮影カメラ１２１で撮影した画像Ｌと右側の撮影カメラ１２２で撮影した画像Ｒを画像データ記録メモリ１２３に記録する。ステップ１３２において、制御装置１２６は画像データ演算器１２４に３次元形状の算出を指示する。ステップ１３３において画像データ演算器１２４は請求項１または請求項２の方法を用いて３次元形状データＣ１を生成し、３次元形状データ記録メモリ１２５に一時記録する。本実施例では請求項２の方法を用いて３次元形状データを生成するものとする。また、３次元形状データの各画素にはＺ１からＺｎまでのｎ階調の距離が記録されているものとする。ステップ１３４において、画像データ演算器１２７は３次元形状データＣ１の全ての画素に対してステップ１３５の処理を行う。ステップ１３５において座標（ｘ０，ｙ０）を中心とする近傍の距離値を読み出す。ここで中心画素の距離値Ｃ１（ｘ０，ｙ０）はＺｉ（１≦ｉ≦ｎ）であるとする。また、近傍の画素とは予め与えられた近傍距離δに対して座標（ｘ０±δ，ｙ０±δ）にある正方領域に含まれる画素とする。なお、近傍の定義法は、例えば予め与えられた近傍距離δの円形領域に含まれる画素とする等、様々な定義法が考えられる。本発明では近傍の定義法を実施例に記載した方法に限定するものではない。ステップ１３６において、中心画素の距離値を近傍画素の距離値を用いて次式４で算出した値ｚで置き換える。
【００６３】
【数４】
2004317332.tif 000003
【００６４】
ここで、ｆ（ｘ，ｙ）は重み付け関数であり、本実施例では以下のように定義する。予め与えられた近傍距離範囲ｊに対して、
【００６５】
【数５】
2004317332.tif 000004
【００６６】
この式４と式５は、近傍領域のうち、中心部の距離Ｚｉに近い距離の値を持つ画素だけを用いて距離の平均値を求めることを表す。この作用の結果、比較的距離差の小さい領域間は平均化された結果、距離が連続して変化するが、距離差の大きい領域間では平均化されず距離が不連続なままとなる。この作用の利点は、１．距離差の大きな領域間は不連続である場合が多いが、この統計的性質を反映することが出来る。
２．距離差が大きい場合、不連続な領域を連続と誤処理する方が逆の場合より視覚的な悪影響が目立ち、距離差が小さい場合、連続した領域を不連続と誤処理する方が逆の場合より視覚的な悪影響が目立つが、本処理で起きる誤処理は常に視覚的な悪影響が目立たないようにしか発生しない。
があげられる。
【００６７】
なお、式５は３段階に場合分けしているが連続関数を用いて一つの式で同様の効果を表現することも可能である。また、式４では選択された中心部の距離Ｚｉに近い距離の値を持つ画素の単純平均であるが、中心画素との距離√｛ｘ−ｘ０）２＋（ｙ−ｙ０）２｝を反映した加重平均であっても良い。逆に、生成画像の品質が低くても良い場合、次式６のように単純な平均操作に簡略化することも可能である。
【００６８】
【数６】
2004317332.tif 000005
【００６９】
本発明は距離が連続して変化するように平均化する式を本実施例に限定するものではない。
この処理を全画素に対して行うことによって３次元形状データＣ２を生成する。ステップ１３７において、３次元形状データＣ２を３次元形状記録メモリ１２５に書き込む。
【００７０】
なお、本発明の装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通じて提供することも可能である。
【００７１】
以上、本発明者によってなされた発明を、前記実施の形態に基づき具体的に説明したが、本発明は、前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００７２】
【発明の効果】
本発明の方法、装置、プログラムおよび記録媒体によって、小型、低コスト、低消費電力、計測環境や計測範囲に制限のない３次元形状計測を行うことができる装置を提供する。
【００７３】
本発明の方法、装置、プログラムおよび記録媒体によって、従来ステレオ法では安定して対応点マッチングできなかった領域も、計測された領域から補間生成することによって、安定して概形を求めることができる。
【００７４】
また、本発明の請求項３の方法および請求項６の装置によって、より視覚的に高品質な距離画像を提供することができる。
【図面の簡単な説明】
【図１】ステレオ計測法の動作原理を示した図である。
【図２】本発明請求項１の方法の作用を示した図である。
【図３】本発明請求項２の方法の作用を示した図である。
【図４】本発明請求項３の方法の作用を示した図である。
【図５】本発明請求項４の装置の構成例を示した図である。
【図６】本発明請求項５の装置の構成例を示した図である。
【図７】本発明請求項６の装置の構成例を示した図である。
【図８】実施例１の装置の構成例を示した図である。
【図９】実施例１の装置の処理内容を例示したフローチャートである。
【図１０】実施例２の装置の構成例を示した図である。
【図１１】実施例２の装置の処理内容を例示したフローチャートである。
【図１２】実施例３の装置の構成例を示した図である。
【図１３】実施例３の装置の処理内容を例示したフローチャートである。
【符号の説明】
１１…左側カメラＬ、１２…右側カメラＲ、１３、…撮影物体、１４…撮影物体上のある１点、１５…カメラＬで撮影した画像、１６…カメラＲで撮影した画像、１７…カメラＬで撮影した撮影物体上の点１４の画像、１８…カメラＲで撮影した撮影物体上の点１４の画像、２１、３１…遠距離の物体、２２、３２…近距離の物体、２３、３３…左側カメラ、２４、３４…右側カメラ、２５、３５…左側カメラで撮影した画像、２６、３６…左側画像で撮影した画像、２７、３７…差分画像、２８、３１１…白領域、２９、３１０、３１２…黒領域、３９…ある水平ライン、４１は計測された３次元形状データの画像、４６…４段階の距離領域で構成された撮影物体の画像、４７…連続的に接続するような変形操作を行う画素、４８…滑らかな３次元形状データ、５１、６１、７１…左側撮影カメラ、５２、６２、７２…右側撮影カメラ、５３、６３、７３…画像記録メモリ、５４、６４、７４…ＣＰＵ、５５、６５、７５…３次元形状記録メモリ、８１、１０１、１２１…左側撮影カメラ、８２、１０２、１２２…右側撮影カメラ、８３、１０３、１２３…画像データ記録メモリ、８４、１０４、１２４…画像データ演算器、８５、１０５、１２５…３次元形状データ記録メモリ、８６、１０６、１２６…制御装置、８７、１０７、１２７…撮影物体。
【図１】
2004317332.tif 000006
【図２】
2004317332.tif 000007
【図３】
2004317332.tif 000008
【図４】
2004317332.tif 000009
【図５】
2004317332.tif 000010
【図６】
2004317332.tif 000011
【図７】
2004317332.tif 000012
【図８】
2004317332.tif 000013
【図９】
2004317332.tif 000014
【図１０】
2004317332.tif 000015
【図１１】
2004317332.tif 000016
【図１２】
2004317332.tif 000017
【図１３】
2004317332.tif 000018