(57)【要約】【課題】良好にステレオマッチングを実行し距離画像を生成する方法を提供する。【解決手段】少なくとも１台は焦点距離を変動可能である２台のカメラを所定の距離間隔で、同方向を撮影するように配置し、焦点距離の変動が可能なカメラは、焦点距離を変動させながら、周期的に同期して画像を撮影し、それぞれの画像の、各画素のボケ半径に基づき、焦点が合っている画素と、焦点が合っていない画素を判別し、それぞれの画像の焦点が合っている画素から領域抽出を行い、一方の画像から抽出した領域に基づき、他方の画像の焦点が合っていない画素から、一方の画像から抽出した領域に対応する領域の抽出を行い、過去に撮影した画像から抽出した領域に基づき、両画像共に焦点が合っていない画素から、過去に撮影した画像から抽出した領域に対応する領域の抽出を行い、抽出した領域の両画像での視差に基づき、該領域の距離情報を算出する。【選択図】図２
2007127570.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１台は焦点距離を変動可能である２台のカメラを所定の距離間隔で、同方向を撮影するように配置して距離画像を生成する方法であって、
焦点距離の変動が可能なカメラは、焦点距離を変動させながら、前記２台のカメラが同期して周期的に画像を撮影するステップと、
それぞれの画像の、各画素のボケ半径に基づき、焦点が合っている画素と、焦点が合っていない画素を判別するステップと、
それぞれの画像の焦点が合っている画素の部分から領域抽出を行う第１のステップと、
一方の画像から抽出した領域に基づき、他方の画像の焦点が合っていない画素の部分から、一方の画像から抽出した領域に対応する領域の抽出を行う第２のステップと、
過去に撮影した画像から抽出した領域に基づき、両画像共に焦点が合っていない画素の部分から、過去に撮影した画像から抽出した領域に対応する領域の抽出を行う第３のステップと、
第１から第３のステップで抽出した領域の両画像での視差に基づき、該領域の距離情報を算出するステップと、
を有することを特徴とする方法。
【請求項２】
周囲の画素の距離情報と、過去に撮影した画像での対応する位置の画素の距離情報に基づき、距離情報のノイズ除去を行うステップを有すること、
を特徴とする請求項１に記載の方法。
【請求項３】
少なくとも１台は焦点距離を変動可能である２台のカメラを所定の距離間隔で、同方向を撮影するように配置し、焦点距離の変動が可能なカメラは焦点距離を変動させながら、前記２台のカメラが同期して周期的に撮影した画像から距離画像を生成する距離画像生成装置としてコンピュータを機能させるプログラムであって、
コンピュータに、
それぞれの画像の、各画素のボケ半径に基づき、焦点が合っている画素と、焦点が合っていない画素を判別するステップと、
それぞれの画像の焦点が合っている画素の部分から領域抽出を行う第１のステップと、
一方の画像から抽出した領域に基づき、他方の画像の焦点が合っていない画素の部分から、一方の画像から抽出した領域に対応する領域の抽出を行う第２のステップと、
過去に撮影した画像から抽出した領域に基づき、両画像共に焦点が合っていない画素の部分から、過去に撮影した画像から抽出した領域に対応する領域の抽出を行う第３のステップと、
第１から第３のステップで抽出した領域の両画像での視差に基づき、該領域の距離情報を算出するステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各画素について基準点からの距離の情報が付与されている、距離画像の生成に関する。
【背景技術】
【０００２】
３次元画像又は自由視点画像の生成のためには、撮影した画像の各画素の色情報又は輝度／色差情報に、例えば、撮影を行ったカメラ等の位置を基点とし、各画素が表す対象物の基点からの距離の情報を加えた、いわゆる、距離画像を必要とし、例えば、特許文献１にはステレオマッチング法を利用した距離画像の生成方法が開示されている。
【０００３】
特許文献１によると、距離を置いて配置した２台のカメラにより同方向の画像を撮影し、それぞれのカメラで撮影した画像から、まず対応する領域を抽出する。続いて、一方のカメラで撮影した画像の領域と、その領域に対応する他方のカメラで撮影した画像の領域の視差に基づき、この領域のカメラからの距離を計算により求めて距離画像を生成している。ここで、領域とは、撮影された画像における、例えば、人、人の頭部、建物、建物の屋根等、物理的に他のものと区別できる一連の区域をいう。
【０００４】
【特許文献１】特開２００４−１１８６３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
領域抽出は、例えば、取得した画像のエッジを検出して、エッジにより区切られた区間を１つの領域とすることにより行う。したがって、焦点の合っている距離及びその近傍にあるものに対してのエッジの認識、つまり領域抽出は比較的良好に実行することが可能であるが、焦点が合っていない距離にあるものについては、領域抽出が難しいという問題がある。
【０００６】
また、背景にある壁や、空などについては領域抽出の難しさから、距離情報にノイズが発生しやすいという問題もある。
【０００７】
したがって、本発明は、良好にステレオマッチングを実行し距離画像を生成する方法を提供することを目的とする。また、距離情報に発生するノイズを効果的に除去可能な距離情報の生成方法を提供することも目的とする。更に、コンピュータにこれら距離情報の生成を実行させるプログラムを提供することも目的とする。
【課題を解決するための手段】
【０００８】
本発明における距離画像の生成方法によれば、
少なくとも１台は焦点距離を変動可能である２台のカメラを所定の距離間隔で、同方向を撮影するように配置して距離画像を生成する方法であって、焦点距離の変動が可能なカメラは、焦点距離を変動させながら、前記２台のカメラが同期して周期的に画像を撮影するステップと、それぞれの画像の、各画素のボケ半径に基づき、焦点が合っている画素と、焦点が合っていない画素を判別するステップと、それぞれの画像の焦点が合っている画素の部分から領域抽出を行う第１のステップと、一方の画像から抽出した領域に基づき、他方の画像の焦点が合っていない画素の部分から、一方の画像から抽出した領域に対応する領域の抽出を行う第２のステップと、過去に撮影した画像から抽出した領域に基づき、両画像共に焦点が合っていない画素の部分から、過去に撮影した画像から抽出した領域に対応する領域の抽出を行う第３のステップと、第１から第３のステップで抽出した領域の両画像での視差に基づき、該領域の距離情報を算出するステップとを有することを特徴とする。
【０００９】
本発明の距離画像生成方法における他の実施形態によれば、
周囲の画素の距離情報と、過去に撮影した画像での対応する位置の画素の距離情報に基づき、距離情報のノイズ除去を行うステップを有することも好ましい。
【００１０】
本発明によるプログラムによれば、
少なくとも１台は焦点距離を変動可能である２台のカメラを所定の距離間隔で、同方向を撮影するように配置し、焦点距離の変動が可能なカメラは焦点距離を変動させながら、前記２台のカメラが同期して周期的に撮影した画像から距離画像を生成する距離画像生成装置としてコンピュータを機能させるプログラムであって、コンピュータに、それぞれの画像の、各画素のボケ半径に基づき、焦点が合っている画素と、焦点が合っていない画素を判別するステップと、それぞれの画像の焦点が合っている画素の部分から領域抽出を行う第１のステップと、一方の画像から抽出した領域に基づき、他方の画像の焦点が合っていない画素の部分から、一方の画像から抽出した領域に対応する領域の抽出を行う第２のステップと、過去に撮影した画像から抽出した領域に基づき、両画像共に焦点が合っていない画素の部分から、過去に撮影した画像から抽出した領域に対応する領域の抽出を行う第３のステップと、第１から第３のステップで抽出した領域の両画像での視差に基づき、該領域の距離情報を算出するステップとを実行させることを特徴とする。
【発明の効果】
【００１１】
ステレオマッチング法において少なくとも一方のカメラの焦点距離を周期的に変えて撮影を行い、各カメラが撮影した画像単独で領域抽出を行うのではなく、他方の画像での領域抽出結果及び過去に異なる焦点距離で撮影した画像での領域抽出結果を利用して領域抽出を行うことで領域抽出を確実なものとし、効果的に距離画像を生成することができる。
【００１２】
周囲画素の距離情報と、過去に撮影した画像の対応する位置の距離情報に基づき距離情報に混入するノイズを効果的に除去することができる。
【発明を実施するための最良の形態】
【００１３】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。
【００１４】
図１は、本発明による距離画像生成方法を説明する図である。図１において、符号１及び２は、カメラであり、少なくとも１台はその焦点距離を変動させることができ、また、両カメラはある一定の距離を置いて同方向を撮影し、符号４１から４３で示す撮影対象物の画像を同期して周期的に撮影するよう設定されている。
【００１５】
符号３は、カメラ１及び２が撮影した画像を基に距離画像を生成する距離画像生成装置であり、図２は、距離画像生成装置３が実行する本発明による距離画像生成のフロー図である。既に述べたように、本発明の距離画像生成方法によると、２台のカメラのうち少なくとも１つは焦点距離を変動させることができ、焦点距離を変動させることができるカメラは、周期的な画像の撮影においてその焦点距離を変動させていくものとする。例えば、焦点距離を１０段階に設定する場合、１０枚に１枚ずつ同じ焦点距離で撮影された画像が得られる。尚、カメラ１及び２共に焦点距離を変動させることができる場合には、カメラ１及び２の焦点距離が、常に同程度の距離とならないように、焦点距離の変動方法を設定しておくことが望ましい。
【００１６】
以下の説明では、図１の構成において、カメラ１が対象物４１に焦点が合っており、カメラ２が対象物４３に焦点が合っている瞬間に撮影された画像を処理する場合を例にして説明を行う。
【００１７】
（Ｓ２１）距離画像生成装置３は、カメラ１及びカメラ２が撮影した画像を取得し、それぞれの画像についてフーリエ変換を行い、各画像の画素のボケ半径を算出する。算出したボケ半径に基づき、焦点が合っている画素と、焦点が合っていない画素を判別する。
【００１８】
（Ｓ２２）ボケ半径に基づき判別した焦点が合っている画素の部分から、つまり画像のうち焦点が合っている部分から領域抽出を行う。図１の構成を例にすると、カメラ１が撮影した画像から対象物４１が１つの領域として抽出され、カメラ２が撮影した画像から対象物４３が１つの領域として抽出される。しかしながら、カメラ１が撮影した画像では、対象物４２及び４３には焦点が合っていないため、これらを含む画素部分からの領域抽出は行わず、同様に、カメラ２が撮影した画像では、対象物４１及び４２には焦点が合っていないため、これらを含む画素部分からの領域抽出は行わない。
【００１９】
（Ｓ２３）Ｓ２２での処理により、一方の画像から抽出した領域に基づき、他方の画像の焦点が合っていない画素の部分から、一方の画像から抽出した領域に対応する領域の抽出を行う。つまり、一方の画像の焦点の合っている部分に基づき、他方の画像の焦点の合っていない部分からの領域抽出を行う。図１の構成を例にすると、カメラ１が撮影した画像では、対象物４３には焦点が合っていないため、カメラ１が撮影した画像単独では対象物４３の領域抽出を行うことは困難である。しかしながら、カメラ２が撮影した画像では、対象物４３に焦点が合っているため、カメラ２が撮影した画像から領域抽出した対象物４３を基準として、カメラ１が撮影した画像と比較することにより、カメラ１が撮影した画像から、焦点の合っていない対象物４３を領域抽出することは容易となる。つまり、カメラ２が撮影した画像から領域抽出した対象物４３に基づき、カメラ１が撮影した画像から領域抽出を行う。同様に、カメラ１が撮影した画像から領域抽出した対象物４１に基づき、カメラ２が撮影した画像から領域抽出を行う。
【００２０】
（Ｓ２４）過去に撮影した画像から抽出した領域に基づき、両画像共に焦点の合っていない画素の部分から、過去に撮影した画像から抽出した領域に対応する領域の抽出を行う。つまり、過去に撮影した画像の焦点の合っている部分に基づき、両画像共に焦点の合っていない部分からの領域抽出を行う。Ｓ２２及びＳ２３での処理により、カメラ１及びカメラ２の焦点距離及びその近傍の位置にある対象物については、それぞれのカメラが撮影した画像から領域抽出を行うことができ、更に、その対応関係を得ることができるが、それ以外の距離にある対象物については、カメラ１及びカメラ２が撮影した画像の両方共に焦点が合っていないため領域抽出が行えていない。そこで、異なる焦点距離で撮影した過去の画像から抽出した領域を基準にして、両カメラの焦点距離の近傍以外にある対象物の領域抽出を行う。図１の構成を例にすると、カメラ１又は２が過去に撮影した画像で、今回の焦点距離とは異なる位置にある対象物４２に焦点が合っているものがあれば、その画像から過去に領域抽出を行った対象物４２を基準とすることにより、現在の処理対象画像では焦点の合っていない対象物４２の領域抽出を行う。
【００２１】
（Ｓ２５）Ｓ２２からＳ２４の処理で、カメラ１及び２が撮影した画像から抽出したそれぞれの領域について、カメラ１が撮影した画像での位置と、カメラ２が撮影した画像での位置から計算できる視差と、カメラ１とカメラ２の間隔に基づき、ステレオマッチング法を用いて、その距離情報を計算する。
【００２２】
（Ｓ２６）Ｓ２５での処理により、各画素に対する距離情報が計算され、距離画像が得られるが、ノイズ等の影響により実際とは大きく異なる距離情報が付与された画素が発生する。これらノイズは、周囲画素の距離情報とは大きく異なる値をもつ孤立点である。また、画像を周期的に撮影しているため過去の画像と比較することによりノイズを検出することができる。したがって、周囲画素との比較及び過去に撮影した画像との比較により、距離情報に発生しているノイズの除去を行う。
【００２３】
以上、ステレオマッチング法において少なくとも一方のカメラの焦点距離を周期的に変えて撮影を行い、各カメラが撮影した画像単独で領域抽出を行うのではなく、他方の画像での領域抽出結果及び過去に異なる焦点距離で撮影した画像での領域抽出結果を利用して領域抽出を行うことで領域抽出を確実なものとし、効果的に距離画像を生成することができる。
【００２４】
また、周囲画素の距離情報と、過去に撮影した画像の対応する位置の距離情報に基づき距離情報に混入するノイズを効果的に除去することができる。
【００２５】
更に、本発明において撮影周期を動画像のフレーム周期、例えば、１秒当たり２０フレーム以上とすることで、動画に対する距離画像を取得することが可能となる。
【００２６】
本発明による距離画像生成装置３は、カメラ１及び２の少なくとも１つが焦点距離を変動させながら、同期して周期的に撮影した画像を入力として、図２のフロー図に示す処理をコンピュータに実行させるプログラムにより実現することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明による距離画像生成方法を説明する図である。
【図２】距離画像生成のフロー図である。
【符号の説明】
【００２８】
１、２  カメラ
３  距離画像生成装置
４１、４２、４３  撮影対象物
【図１】
2007127570.tif 000003
【図２】
2007127570.tif 000004