(57)【特許請求の範囲】
【請求項１】
互いに異なる視点から撮影された第１画像および第２画像を利用してデプスデータを生成する画像処理装置であって、
前記第１画像内の一部の画素である複数の代表画素の各々について、前記代表画素と前記代表画素に対応する前記第２画像内の画素との位置関係に基づいて前記代表画素の視差値を算出する視差値算出部と、
画素値の類似性に基づいて前記第１画像を複数のセグメントに分割するセグメンテーション部と、
前記複数のセグメントの中に、代表画素が含まれていない空セグメントが含まれる場合に、前記空セグメントと、前記空セグメントに隣接するセグメントとを１つに結合するセグメント結合部と、
セグメントごとに、前記セグメントに含まれる代表画素の視差値に基づいて前記セグメントの視差値を特定することにより、各セグメントに対応する奥行きを示すデプスデータを生成するデプスデータ生成部とを備え、
前記デプスデータ生成部は、前記セグメント結合部によって結合されたセグメントに基づいて前記デプスデータを生成する
画像処理装置。
【請求項２】
前記セグメント結合部は、前記空セグメントが複数のセグメントと隣接する場合に、
色の類似性に基づいて、前記複数のセグメントの中から少なくとも１つのセグメントを選択し、
選択された前記少なくとも１つのセグメントと前記空セグメントとを１つに結合する
請求項１に記載の画像処理装置。
【請求項３】
前記デプスデータ生成部は、前記セグメントに２つ以上の代表画素が含まれている場合に、前記２つ以上の代表画素の視差値の中央値または平均値を前記セグメントの視差値として特定する
請求項１または２に記載の画像処理装置。
【請求項４】
前記デプスデータ生成部は、
セグメントごとに、前記セグメントに含まれる少なくとも１つの代表画素の視差値を用いて前記セグメントに含まれる他の画素の視差値を補間することにより、前記セグメントに含まれる各画素の視差値を算出し、
算出された各画素の視差値に基づいて、各画素の奥行きを示すデプスマップを前記デプスデータとして生成する
請求項１または２に記載の画像処理装置。
【請求項５】
前記セグメンテーション部は、画素値および画素位置を用いて定義された類似性に基づくクラスタリングにより、前記第１画像を複数のセグメントに分割する
請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記クラスタリングは、ｋ平均法（ｋ−ｍｅａｎｓ  ｃｌｕｓｔｅｒｉｎｇ）である
請求項５に記載の画像処理装置。
【請求項７】
前記画像処理装置は、さらに、
前記第１画像の特徴点を前記代表画素として算出する特徴点算出部を備える
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像処理装置は、さらに、
前記特徴点を用いて、前記第１画像と前記第２画像とを平行化するためのアライメント処理を行うアライメント処理部を備え、
前記視差値算出部は、前記アライメント処理が行われた前記第１画像および前記第２画像を用いて、前記代表画素の視差値を算出する
請求項７に記載の画像処理装置。
【請求項９】
前記画像処理装置は、さらに、
前記デプスデータに基づいて、前記第１画像を前景領域と背景領域とに分離し、前記背景領域にぼかし処理を施す画像処理部を備える
請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、さらに、
前記デプスデータに基づいて、前記第１画像を前景領域と背景領域とに分離し、前記前景領域を、前記第１画像および前記第２画像とは異なる第３画像と合成する画像処理部を備える
請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１１】
前記画像処理装置は、集積回路として構成されている
請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
請求項１〜１１のいずれか１項に記載の画像処理装置と、
前記第１画像および前記第２画像を撮影する撮像部とを備える
撮像装置。
【請求項１３】
互いに異なる視点から撮影された第１画像および第２画像を利用してデプスデータを生成する画像処理方法であって、
前記第１画像内の一部の画素である複数の代表画素の各々について、前記代表画素と前記代表画素に対応する前記第２画像内の画素との位置関係に基づいて前記代表画素の視差値を算出する視差値算出ステップと、
画素値の類似性に基づいて前記第１画像を複数のセグメントに分割するセグメンテーションステップと、
前記複数のセグメントの中に、代表画素が含まれていない空セグメントが含まれる場合に、前記空セグメントと、前記空セグメントに隣接するセグメントとを１つに結合するセグメント結合ステップと、
セグメントごとに、前記セグメントに含まれる代表画素の視差値に基づいて前記セグメントの視差値を特定することにより、各セグメントに対応する奥行きを示すデプスデータを生成するデプスデータ生成ステップとを含み、
前記デプスデータ生成ステップでは、前記セグメント結合ステップにおいて結合されたセグメントに基づいて前記デプスデータを生成する
画像処理方法。
【請求項１４】
請求項１３に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに異なる視点から撮影された第１画像と第２画像とを用いてデプスデータを生成する画像処理装置、撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、３Ｄ画像を表示する３Ｄディスプレイが広く普及し始めている。そして、このような３Ｄディスプレイに表示される３Ｄ画像を撮影する３Ｄカメラのニーズも増加している。一般的な３Ｄカメラでは、２組のレンズおよびセンサを用いてステレオ画像が撮影される。【０００３】
このような３Ｄカメラによって撮影されたステレオ画像を用いて、ステレオ画像の奥行きを示すデプスデータを生成する方法が知られている。例えば、ステレオ画像において画素ごとに対応点を検出し、対応点間の視差値を算出することにより、デプスデータを生成することができる。そして、このように生成されたデプスデータを用いてステレオ画像に各種処理を施すことが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００７−５２０８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の方法では、デプスデータを生成するために画素ごとに対応点を検出する必要があり、処理負荷が高くなる。【０００６】
これに対し、画像を分割することにより得られるセグメントごとに、当該セグメントの大きさに基づいて奥行き値を割り当てる方法が開示されている（例えば、特許文献１を参照）。特許文献１の方法では、小さいセグメントほど小さい奥行き値が割り当てられる。しかしながら、セグメントが小さいほど、当該セグメントに対応する被写体が手前に存在するとは限らない。つまり、特許文献１の方法では、デプスデータを生成する際に、処理負荷を軽減できても、デプスデータの正確度が大きく低下してしまう。【０００７】
そこで、本発明は、互いに異なる視点から撮影された第１画像と第２画像とを用いてデプスデータを生成する際に、デプスデータの正確度の低下を抑制しつつ、処理負荷を軽減することができる画像処理装置、撮像装置および画像処理方法を提供する。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る画像処理装置は、互いに異なる視点から撮影された第１画像および第２画像を利用してデプスデータを生成する画像処理装置であって、前記第１画像内の一部の画素である複数の代表画素の各々について、前記代表画素と前記代表画素に対応する前記第２画像内の画素との位置関係に基づいて前記代表画素の視差値を算出する視差値算出部と、画素値の類似性に基づいて前記第１画像を複数のセグメントに分割するセグメンテーション部と、セグメントごとに、前記セグメントに含まれる代表画素の視差値に基づいて前記セグメントの視差値を特定することにより、各セグメントに対応する奥行きを示すデプスデータを生成するデプスデータ生成部とを備える。【０００９】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１０】
本発明の一態様に係る画像処理装置によれば、互いに異なる視点から撮影された第１画像と第２画像とを用いてデプスデータを生成する際に、デプスデータの正確度の低下を抑制しつつ、処理負荷を軽減することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１に係る画像処理装置の機能構成を示すブロック図である。
【図２】図２は、実施の形態１に係る画像処理装置の処理動作を示すフローチャートである。
【図３】図３は、実施の形態１に係る画像処理装置の処理動作を説明するための図である。
【図４】図４は、実施の形態２に係る画像処理装置の機能構成を示すブロック図である。
【図５】図５は、実施の形態２に係る画像処理装置の処理動作を示すフローチャートである。
【図６】図６は、実施の形態２に係るアライメント処理の概要を示す図である。
【図７】図７は、実施の形態２に係るアライメント処理の一例を説明するための図である。
【図８】図８は、実施の形態２に係るセグメンテーションの詳細を示すフローチャートである。
【図９】図９は、実施の形態２に係るセグメンテーションを説明するための図である。
【図１０】図１０は、実施の形態２に係るセグメンテーションを説明するための図である。
【図１１】図１１は、実施の形態２に係るセグメンテーション結果の一例を示す図である。
【図１２】図１２は、実施の形態２に係るセグメント結合処理の詳細を示すフローチャートである。
【図１３】図１３は、実施の形態２に係るセグメント結合処理を説明するための図である。
【図１４】図１４は、実施の形態２の変形例に係るデプスデータ生成処理の詳細を示すフローチャートである。
【図１５】図１５は、一実施形態に係る撮像装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
本発明の一態様に係る画像処理装置は、互いに異なる視点から撮影された第１画像および第２画像を利用してデプスデータを生成する画像処理装置であって、前記第１画像内の一部の画素である複数の代表画素の各々について、前記代表画素と前記代表画素に対応する前記第２画像内の画素との位置関係に基づいて前記代表画素の視差値を算出する視差値算出部と、画素値の類似性に基づいて前記第１画像を複数のセグメントに分割するセグメンテーション部と、セグメントごとに、前記セグメントに含まれる代表画素の視差値に基づいて前記セグメントの視差値を特定することにより、各セグメントに対応する奥行きを示すデプスデータを生成するデプスデータ生成部とを備える。
【００１３】
この構成によれば、各セグメントに含まれる代表画素の視差値に基づいて、各セグメントに対応する奥行きを示すデプスデータを生成することができる。つまり、デプスデータを生成するために、各代表画素に対応する第２画像内の画素を検出すればよく、すべての画素の各々に対応する第２画像内の画素を検出する必要がない。したがって、デプスデータを生成するための処理負荷を軽減することが可能となる。
【００１４】
さらに、この構成によれば、画素値の類似性に基づいて第１画像が複数のセグメントに分割されるので、１つのセグメントに互いに異なる複数の被写体が含まれる可能性が低くなる。つまり、奥行きが類似する領域が１つのセグメントとして分割される可能性が高くなる。このように分割されたセグメントごとに視差値を特定することにより、各セグメントに対応する奥行きを示すデプスデータの正確度が低下することを抑制することが可能となる。
【００１５】
また、前記画像処理装置は、さらに、前記複数のセグメントの中に、代表画素が含まれていない空セグメントが含まれる場合に、前記空セグメントと、前記空セグメントに隣接するセグメントとを１つに結合するセグメント結合部を備え、前記デプスデータ生成部は、前記セグメント結合部によって結合されたセグメントに基づいて前記デプスデータを生成することが好ましい。
【００１６】
この構成によれば、複数のセグメントの中に空セグメントが含まれる場合には、当該空セグメントと隣接セグメントとを１つの結合することができる。したがって、セグメンテーション部によって第１画像が複数のセグメントに分割される際に、必ず代表画素が含まれるように分割される必要がない。つまり、代表画素との対応関係を考慮せずにセグメンテーションを行うことができる。その結果、セグメンテーションと代表画素の視差値算出とを並行して処理することが可能となり、デプスデータ生成処理の高速化を図ることができる。
【００１７】
また、前記セグメント結合部は、前記空セグメントが複数のセグメントと隣接する場合に、色の類似性に基づいて、前記複数のセグメントの中から少なくとも１つのセグメントを選択し、選択された前記少なくとも１つのセグメントと前記空セグメントとを１つに結合することが好ましい。
【００１８】
この構成によれば、色が類似するセグメント同士を１つに結合することができる。つまり、色が類似する領域が１つのセグメントとして扱われるので、奥行きが類似する領域が１つのセグメントとなる可能性が高くなる。このように得られたセグメントごとに視差値を特定することにより、各セグメントに対応する奥行きを示すデプスデータをより正確に生成することが可能となる。
【００１９】
また、前記デプスデータ生成部は、前記セグメントに２つ以上の代表画素が含まれている場合に、前記２つ以上の代表画素の視差値の中央値または平均値を前記セグメントの視差値として特定することが好ましい。
【００２０】
この構成によれば、セグメントに２つ以上の代表画素が含まれている場合に、２つ以上の代表画素の視差値の中央値または平均値をセグメントの視差値として特定することができる。したがって、セグメントの視差値を簡易に特定することができ、デプスデータを生成するための処理負荷を軽減することが可能となる。また、セグメントの視差値と、セグメントに含まれる各画素の視差値との誤差を比較的小さくすることができ、より正確にデプスデータを生成することが可能となる。
【００２１】
また、前記デプスデータ生成部は、セグメントごとに、前記セグメントに含まれる少なくとも１つの代表画素の視差値を用いて前記セグメントに含まれる他の画素の視差値を補間することにより、前記セグメントに含まれる各画素の視差値を算出し、算出された各画素の視差値に基づいて、各画素の奥行きを示すデプスマップを前記デプスデータとして生成することが好ましい。
【００２２】
この構成によれば、セグメントごとに、当該セグメントに含まれる少なくとも１つの代表画素の視差値を用いて当該セグメントに含まれる他の画素の視差値を補間することができる。したがって、各画素の視差値を補間により得ることができ、より正確にデプスデータを生成することが可能となる。
【００２３】
また、前記セグメンテーション部は、画素値および画素位置を用いて定義された類似性に基づくクラスタリングにより、前記第１画像を複数のセグメントに分割することが好ましい。
【００２４】
この構成によれば、画素値および画素位置を用いて定義された類似性に基づくクラスタリングにより、第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントに高精度に分割することができる。その結果、より正確にデプスデータを生成することが可能となる。
【００２５】
また、前記クラスタリングは、ｋ平均法（ｋ−ｍｅａｎｓ  ｃｌｕｓｔｅｒｉｎｇ）であることが好ましい。
【００２６】
この構成によれば、ｋ平均法により第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントにさらに高精度に分割することが可能となる。さらに、比較的簡易な処理によりセグメンテーションが可能となるので、デプスデータを生成するための処理負荷を軽減することも可能となる。
【００２７】
また、前記画像処理装置は、さらに、前記第１画像の特徴点を前記代表画素として算出する特徴点算出部を備えることが好ましい。
【００２８】
この構成によれば、特徴点を代表画素として算出することができる。したがって、代表画素に対応する第２画像内の画素を検出することが容易となり、処理負荷を軽減することが可能となる。
【００２９】
また、前記画像処理装置は、さらに、前記特徴点を用いて、前記第１画像と前記第２画像とを平行化するためのアライメント処理を行うアライメント処理部を備え、前記視差値算出部は、前記アライメント処理が行われた前記第１画像および前記第２画像を用いて、前記代表画素の視差値を算出することが好ましい。
【００３０】
この構成によれば、第１画像と第２画像とを平行化するためのアライメント処理を行うことができる。一般的に、ステレオ画像などの多視点画像が撮影された場合には、多視点画像のアライメント処理が行われる。また、アライメント処理では、特徴点の算出および対応点の検出が行われる。つまり、アライメント処理で行われる特徴点の算出および対応点の検出結果を流用して、代表画素の視差値を算出することができるので、デプスデータを生成するための処理負荷を軽減することが可能となる。
【００３１】
また、前記画像処理装置は、さらに、前記デプスデータに基づいて、前記第１画像を前景領域と背景領域とに分離し、前記背景領域にぼかし処理を施す画像処理部を備えることが好ましい。
【００３２】
この構成によれば、デプスデータに基づいて第１画像を前景領域と背景領域とに分離し、背景領域にぼかし処理を施すことが可能となる。前景領域と背景領域とに分離するためのデプスデータは、必ずしも画素単位の高精細なデプスデータである必要はない。したがって、各セグメントの視差値に基づくデプスデータを有効に活用することができる。
【００３３】
また、前記画像処理装置は、さらに、前記デプスデータに基づいて、前記第１画像を前景領域と背景領域とに分離し、前記前景領域を、前記第１画像および前記第２画像とは異なる第３画像と合成する画像処理部を備えることが好ましい。
【００３４】
この構成によれば、デプスデータに基づいて第１画像を前景領域と背景領域とに分離し、前景領域と背景領域に相当する他の画像とを合成することが可能となる。前景領域と背景領域とに分離するためのデプスデータは、必ずしも画素単位の高精細なデプスデータである必要はない。したがって、各セグメントの視差値に基づくデプスデータを有効に活用することができる。
【００３５】
また、前記画像処理装置は、集積回路として構成されてもよい。
【００３６】
また、本発明の一態様に係る撮像装置は、上記画像処理装置と、前記第１画像および前記第２画像を撮影する撮像部とを備える。
【００３７】
この構成によれば、上記画像処理装置と同様の効果を奏することができる。
【００３８】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００３９】
以下、実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４０】
（実施の形態１）
図１は、実施の形態１に係る画像処理装置１０の機能構成を示すブロック図である。画像処理装置１０は、互いに異なる視点から撮影された第１画像および第２画像（例えばステレオ画像）を利用して、第１画像のデプスデータを生成する。第１画像および第２画像は、例えば、ステレオ画像（左目用画像および右目用画像）である。
【００４１】
図１に示すように、本実施の形態に係る画像処理装置１０は、視差値算出部１１と、セグメンテーション部１２と、デプスデータ生成部１３とを備える。
【００４２】
視差値算出部１１は、第１画像内の代表画素ごとに、第２画像内の対応画素を検出することにより、代表画素と対応画素との間の視差値を算出する。つまり、視差値算出部１１は、第１画像内の一部の画素について視差値を算出する。
【００４３】
ここで、代表画素とは、第１画像に含まれる画素のうちの一部の画素である。本実施の形態では、代表画素は、画像内の予め定められた位置に存在する画素である。
【００４４】
また、対応画素とは、代表画素に対応する画素である。つまり、対応画素は、第１画像内の代表画素と類似する第２画像内の画素である。代表画素と対応画素との２つの画素は、対応点とも呼ばれる。この対応画素は、例えばブロックマッチング法により検出することができる。
【００４５】
また、代表画素と対応画素との間の視差値とは、代表画素の位置と対応画素の位置とのずれを表す値である。この視差値を用いれば、三角測量の原理に基づいて、撮像装置から被写体までの距離（奥行き）を算出することができる。なお、この代表画素と対応画素との間の視差値を、単に代表画素の視差値と呼ぶ。
【００４６】
セグメンテーション部１２は、画素値の類似性に基づいて、第１画像を複数のセグメントに分割する。つまり、セグメンテーション部１２は、画素値が互いに類似する画素が１つのセグメントに含まれるように、第１画像を複数のセグメントに分割する。本実施の形態では、セグメンテーション部１２は、各セグメントに少なくとも１つの代表画素が含まれるように、第１画像を複数のセグメントに分割する。
【００４７】
ここで、セグメントとは、第１画像内の一部の領域に相当する。また、複数のセグメントに分割する処理を、以下においてセグメンテーションともいう。
【００４８】
また、画素値とは、画像を構成する画素が有する値である。画素値は、例えば、画素の輝度、色、明度、色相もしくは彩度、またはそれらの組合せを示す値である。
【００４９】
デプスデータ生成部１３は、セグメントごとに、当該セグメントに含まれる代表画素の視差値に基づいて当該セグメントの視差値を特定することによりデプスデータを生成する。つまり、デプスデータ生成部１３は、セグメントごとに特定された視差値に基づいてデプスデータを生成する。
【００５０】
ここで生成されるデプスデータは、各セグメントに対応する奥行きを示す。例えば、デプスデータは、セグメントの位置および大きさを示すセグメント情報に、セグメントの奥行き値が対応付けられたデータであってもよい。また例えば、デプスデータは、画素値として奥行き値を有するデプスマップ（デプス画像）であってもよい。
【００５１】
なお、デプスデータは、必ずしも奥行き値を含む必要はなく、奥行きを示すデータを含めばよい。例えば、デプスデータは、視差値を、奥行きを示すデータとして含んでもよい。
【００５２】
次に、以上のように構成された画像処理装置１０の処理動作を説明する。
【００５３】
図２は、実施の形態１に係る画像処理装置１０の処理動作を示すフローチャートである。図３は、実施の形態１に係る画像処理装置１０の処理動作の一例を説明するための図である。
【００５４】
まず、視差値算出部１１は、各代表画素の視差値を算出する（Ｓ１０１）。例えば図３の（ａ）に示すように、視差値算出部１１は、第１画像１０１内の予め定められた位置にある代表画素ごとに第２画像１０２内の対応画素を検出する。そして、視差値算出部１１は、代表画素と対応画素との位置関係に基づいて、代表画素の視差値をそれぞれ算出する。
【００５５】
次に、セグメンテーション部１２は、第１画像１０１を複数のセグメントに分割する（Ｓ１０２）。例えば図３の（ｂ）に示すように、セグメンテーション部１２は、第１画像１０１を、予め定められたサイズの矩形状をそれぞれ有する複数のセグメントに分割する。ここでは、図３の（ｂ）では、各セグメントに１つの代表画素が含まれるように、第１画像１０１が分割されている。
【００５６】
最後に、デプスデータ生成部１３は、各セグメントの視差値に基づいてデプスデータを生成する（Ｓ１０３）。このとき、デプスデータ生成部１３は、図３の（ｃ）のように、各セグメントの視差値を、当該セグメントに含まれる代表画素の視差値に基づいて特定する。
【００５７】
以上のように、本実施の形態に係る画像処理装置１０によれば、各セグメントに含まれる代表画素の視差値に基づいて、各セグメントに対応する奥行きを示すデプスデータを生成することができる。つまり、デプスデータを生成するために、各代表画素に対応する第２画像内の画素を検出すればよく、すべての画素の各々に対応する第２画像内の画素を検出する必要がない。したがって、デプスデータを生成するための処理負荷を軽減することが可能となる。
【００５８】
さらに、本実施の形態に係る画像処理装置１０によれば、画素値の類似性に基づいて第１画像が複数のセグメントに分割されるので、１つのセグメントに互いに異なる複数の被写体が含まれる可能性が低くなる。つまり、奥行きが類似する領域が１つのセグメントとして分割される可能性が高くなる。このように分割されたセグメントごとに視差値を特定することにより、各セグメントに対応する奥行きを示すデプスデータの正確度が低下することを抑制することが可能となる。
【００５９】
なお、図２において、視差値算出（Ｓ１０１）の後にセグメンテーション（Ｓ１０２）が行われていたが、必ずしもこの順番で行われる必要はない。すなわち、セグメンテーション（Ｓ１０２）の後に視差値算出（Ｓ１０１）が行われてもよい。この場合、視差値算出部１１は、例えば、セグメンテーション部１２によって分割された各セグメントの重心位置の画素を代表画素として扱えばよい。
【００６０】
また、視差値算出（Ｓ１０１）とセグメンテーション（Ｓ１０２）とは並列に行われてもよい。これにより、処理の高速化を図ることができる。
【００６１】
（実施の形態２）
次に、実施の形態２について図面を参照しながら説明する。
【００６２】
図４は、実施の形態２に係る画像処理装置２０の機能構成を示すブロック図である。本実施の形態に係る画像処理装置２０は、特徴点算出部２１と、アライメント処理部２２と、視差値算出部２３と、セグメンテーション部２４と、セグメント結合部２５と、デプスデータ生成部２６と、画像処理部２７とを備える。
【００６３】
特徴点算出部２１は、第１画像の特徴点を代表画素として算出する。具体的には、特徴点算出部２１は、特徴量抽出手法により抽出される特徴量を用いて特徴点を算出する。特徴量抽出手法としては、例えば、参考文献１（Ｄａｖｉｄ  Ｇ．Ｌｏｗｅ，“Ｄｉｓｔｉｎｃｔｉｖｅ  ｉｍａｇｅ  ｆｅａｔｕｒｅｓ  ｆｒｏｍ  ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｋｅｙｐｏｉｎｔｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，６０，２（２００４），ｐｐ．９１−１１０．）に開示されているＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）を用いることができる。また、特徴量抽出手法として、参考文献２（Ｈｅｒｂｅｒｔ  Ｂａｙ，  Ａｎｄｒｅａｓ  Ｅｓｓ，Ｔｉｎｎｅ  Ｔｕｙｔｅｌａａｒｓ，  Ｌｕｃ  Ｖａｎ  Ｇｏｏｌ，“ＳＵＲＦ：Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ”，Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ（ＣＶＩＵ），Ｖｏｌ．１１０，Ｎｏ．３，ｐｐ．３４６−３５９，２００８）に開示されているＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）を用いることもできる。
【００６４】
アライメント処理部２２は、算出された特徴点を用いて、第１画像と第２画像との平行化（ｒｅｃｔｉｆｉｃａｔｉｏｎ）を行うためのアライメント処理を行う。具体的には、アライメント処理部２２は、特徴量に基づいて、特徴点に対応する第２画像内の点を検出する。さらに、アライメント処理部２２は、検出された第２画像内の点と特徴点との２点（対応点）間の位置関係を利用してアライメント処理を行う。
【００６５】
視差値算出部２３は、アライメント処理が行われた第１画像および第２画像を用いて、代表画素の視差値を算出する。つまり、視差値算出部２３は、特徴点ごとに、対応点間の位置関係を利用して視差値を算出する。
【００６６】
セグメンテーション部２４は、画素値および画素位置を用いて定義された類似性に基づくクラスタリングにより、第１画像を複数のセグメントに分割する。なお、このクラスタリングの詳細については後述する。
【００６７】
セグメント結合部２５は、複数のセグメントの中に空セグメントが含まれる場合に、当該空セグメントと、当該空セグメントに隣接するセグメントとを１つに結合する。ここで、空セグメントとは、代表画素が含まれていないセグメントである。
【００６８】
なお、セグメント結合部２５は、結合されたセグメントに代表画素が含まれていない場合は、さらに隣接するセグメントとの結合を繰り返す。つまり、セグメント結合部２５は、各セグメントに少なくとも１つの代表画素が含まれるように、セグメントを結合する。
【００６９】
デプスデータ生成部２６は、セグメント結合部２５によって結合されたセグメントに基づいてデプスデータを生成する。具体的には、デプスデータ生成部２６は、例えば、セグメントに含まれる代表画素の視差値をセグメントの視差値と特定する。また、セグメントに２つ以上の代表画素が含まれている場合には、デプスデータ生成部２６は、例えば、２つ以上の代表画素の視差値の中央値または平均値をセグメントの視差値と特定する。
【００７０】
画像処理部２７は、生成されたデプスデータに基づいて、第１画像および第２画像の少なくとも一方に画像処理を施す。例えば、画像処理部２７は、デプスデータに基づいて、第１画像を前景領域と背景領域とに分離する。そして、画像処理部２７は、背景領域にぼかし処理を施す。また例えば、画像処理部２７は、前景領域を、第１画像および第２画像とは異なる第３画像と合成してもよい。
【００７１】
このような第１画像を前景領域と背景領域とに分離するためのデプスデータは、必ずしも画素単位の高精細なデプスデータである必要はない。つまり、各セグメントの視差値に基づくデプスデータを有効に活用することができる。
【００７２】
次に、以上のように構成された画像処理装置２０の処理動作を説明する。
【００７３】
図５は、実施の形態２に係る画像処理装置２０の処理動作を示すフローチャートである。
【００７４】
まず、特徴点算出部２１は、第１画像の特徴点を代表画素として算出する（Ｓ２０１）。アライメント処理部２２は、算出された特徴点を用いて、第１画像と第２画像とを平行化するためのアライメント処理を行う（Ｓ２０２）。
【００７５】
視差値算出部２３は、アライメント処理が行われた第１画像および第２画像を用いて、代表画素の視差値を算出する（Ｓ２０３）。セグメンテーション部２４は、画素値および画素位置を用いて定義された類似性に基づくクラスタリングにより、第１画像を複数のセグメントに分割する（Ｓ２０４）。
【００７６】
セグメント結合部２５は、各セグメントに少なくとも１つの代表画素が含まれるように、複数のセグメントを結合する（Ｓ２０５）。デプスデータ生成部２６は、セグメント結合部２５によって結合されたセグメントに基づいてデプスデータを生成する（Ｓ２０６）。最後に、画像処理部２７は、生成されたデプスデータに基づいて、第１画像および第２画像の少なくとも一方に画像処理を施す（Ｓ２０７）。
【００７７】
以下に、このような画像処理装置２０の処理動作の詳細について図面を参照しながら説明する。まず、アライメント処理（Ｓ２０２）の詳細について図６および図７を用いて説明する。
【００７８】
図６は、実施の形態２に係るアライメント処理の概要を示す図である。
【００７９】
図６の（ａ）に示すように、ステレオカメラで撮影されたステレオ画像は、互いに平行でないことが多い。つまり、第１画像１０１および第２画像１０２の各々において、エピポーララインが水平とならないことが多い。
【００８０】
そこで、アライメント処理部２２は、図６の（ｂ）に示すように、第１画像１０１および第２画像１０２の各々においてエピポーララインが水平となるように、第１画像１０１および第２画像１０２との平行化を行う。
【００８１】
図７は、実施の形態２に係るアライメント処理の一例を説明するための図である。具体的には、図７は、参考文献３（「新編  画像解析ハンドブック」（高木幹夫・下田陽久監修、東京大学出版会刊、２００４年９月、頁１３３３−１３３７））に開示された方法に基づくアライメント処理を説明するための図である。
【００８２】
画像Ｌおよび画像Ｒは、対象物Ｐが撮影されたステレオ画像である。画像Ｌ上の点Ｐ’Ｌに対応する画像Ｒ上の点Ｐ’Ｒは、２枚の画像の投影中心ＯＬおよびＯＲと画像Ｌ上の点Ｐ’Ｌとを含む平面と、画像Ｒとが交わる直線上に存在する。
【００８３】
この直線をエピポーララインと呼ぶ。また、対象物Ｐと２枚の画像の投影中心ＯＬおよびＯＲを含む平面をエピポーラプレーンと呼ぶ。
【００８４】
すなわち、エピポーラプレーンと２枚の画像Ｌ、Ｒのそれぞれの画像投影面との交線がエピポーララインとなる。このように平行化されていない画像では、エピポーララインは画像の走査方向（ここでは水平方向）と平行とならない。そのため、対応点のマッチングにおいて、２次元の探索が必要となり、計算量が増加する。そこで探索を簡単化するために、以下に示す方法で２枚のステレオ画像を平行化する。
【００８５】
画像Ｌの投影中心ＯＬを原点とし、ｘ’軸、ｙ’軸がそれぞれＵＬ軸、ＶＬ軸と平行になる座標系（ｘ’、ｙ’、ｚ’）を考える。この座標系をモデル座標系と呼ぶ。モデル座標系では、画像Ｌのセンサの投影中心の位置が（０，０，０）、姿勢が（０，０，０）となり、また画像Ｒのセンサの投影中心の位置は（Ｂｘ’、Ｂｙ’，Ｂｚ’）、姿勢は（ω’、φ’、χ’）となる。Ｂｘ’を単位長さにして、ｂｙ’＝Ｂｙ’／Ｂｘ’、ｂｚ’＝Ｂｚ’／Ｂｘ’とすれば、このモデル座標系とそれぞれの仮想投影面座標系との間の座標変換は次の式１および式２のように表される。
【００８６】
【数１】
0005923713.tif 000002
【００８７】
【数２】
0005923713.tif 000003
【００８８】
これらの座標変換式における未知数は、画像Ｒに関する（ｂｙ’、ｂｚ’）、（ω’、φ’、χ’）の５個である。これらの５個の未知数は、次の共面条件式（式３）を満足するように決定される。
【００８９】
【数３】
0005923713.tif 000004
【００９０】
まず、２枚の画像上で、３次元座標における同一点が５点以上それぞれ選定される。そして、それらの仮想投影面座標が特定される。次に、特定された仮想投影面座標を用いて、式３に最小二乗法を適用することにより、（ｂｙ’、ｂｚ’）、（ω’、φ’、χ’）が決定される。
【００９１】
次に、以下の式４および式５で与えられる座標変換を考える。
【００９２】
【数４】
0005923713.tif 000005
【００９３】
【数５】
0005923713.tif 000006
【００９４】
この座標変換が行われた後の画像Ｌ’（ｕ’Ｌ，ｖ’Ｌ）および画像Ｒ’（ｕ’Ｌ，ｖ’Ｌ）は、エピポーララインに沿って再配列された画像である。これらの２枚の画像（画像Ｌ’および画像Ｒ’）上では、対応点のｖ’座標は互いに等しくなる。すなわち、変換後の画像では、対応点は横方向に探索すればよく、対応点の探索が簡単になる。これによって、画像Ｌは新たに画像Ｌ’へと変換される。
【００９５】
つまり、視差値算出部２３は、このように平行化された第１画像１０１および第２画像１０２を用いて、第１画像１０１内の代表画素に対応する第２画像１０２内の画素を探索することにより、各代表画素の視差値を簡易に算出することができる。
【００９６】
なお、図６では中心投影を仮定した解法について述べたが、透視投影、弱透視投影などの場合も、撮像系に応じた幾何モデルを用いて同様の処理が可能である。
【００９７】
次に、セグメンテーション（Ｓ２０４）の詳細について、図８〜図１１を用いて説明する。なお、ここでは、セグメンテーションの一例として、ｋ平均法（ｋ−ｍｅａｎｓ  ｃｌｕｓｔｅｒｉｎｇ）に基づくセグメンテーションについて説明する。
【００９８】
図８は、実施の形態２に係るセグメンテーションの詳細を示すフローチャートである。図９は、実施の形態２に係るセグメンテーションを説明するための図である。図１０は、実施の形態２に係るセグメンテーションを説明するための図である。図１１は、実施の形態２に係るセグメンテーション結果の一例を示す図である。
【００９９】
図８に示すように、セグメンテーション部２４は、まず、第１画像および第２画像の色空間を変換する（Ｓ３０１）。具体的には、セグメンテーション部２４は、第１画像および第２画像を、ＲＧＢ色空間からＬａｂ色空間に変換する。
【０１００】
このＬａｂ色空間は、知覚的に均等な色空間である。つまり、Ｌａｂ色空間では、色の値が同じだけ変化したとき、人間がそれを見たときに感じられる変化も等しい。したがって、セグメンテーション部２４は、Ｌａｂ色空間において第１画像のセグメンテーションを行うことにより、人間が知覚する被写体の境界に沿って第１画像を分割することが可能となる。
【０１０１】
次に、セグメンテーション部２４は、ｋ個（ｋ：２以上の整数）の初期クラスタの重心を設定する（Ｓ３０２）。これらのｋ個の初期クラスタの重心は、例えば、第１画像上において均等に配置されるように設定される。ここでは、隣り合う重心間の間隔がＳ（画素）となるように、ｋ個の初期クラスタの重心が設定される。
【０１０２】
続いて、第１画像内の各画素に対してステップＳ３０３、Ｓ３０４の処理が行われる。具体的には、セグメンテーション部２４は、各クラスタの重心に対する距離Ｄｓを算出する（Ｓ３０３）。この距離Ｄｓは、画素値および画素位置を用いて定義された類似性を示す値に相当する。ここでは、距離Ｄｓが小さいほど、クラスタの重心に対する画素の類似性が高いことを示す。
【０１０３】
なお、図９に示すように、セグメンテーション部２４は、距離算出対象範囲内に位置する重心Ｃｋに対してのみ対象画素ｉの距離Ｄｓを算出する。ここでは、水平方向および垂直方向において、対象画素ｉの位置から初期クラスタの重心間隔Ｓ以下となる位置を距離算出対象範囲と設定する。つまり、セグメンテーション部２４は、対象画素ｉについては、重心Ｃ２、Ｃ３、Ｃ６、Ｃ７の各々に対する距離を算出する。このように、距離算出対象範囲が設定されることにより、すべての重心に対して距離を算出する場合よりも、計算負荷を軽減することが可能となる。
【０１０４】
重心Ｃｋ（画素位置（ｘｋ，ｙｋ）、画素値（ｌｋ，ａｋ，ｂｋ））に対する対象画素ｉ（画素位置（ｘｉ，ｙｉ）、画素値（ｌｉ，ａｉ，ｂｉ））の距離Ｄｓは、以下の式６によって算出される。
【０１０５】
【数６】
0005923713.tif 000007
【０１０６】
ここで、ｍは、画素値に基づく距離ｄｌａｂと、画素位置に基づく距離ｄｘｙとが距離Ｄｓに及ぼす影響のバランスを図るための係数である。この係数ｍは、実験的あるは経験的に予め定められればよい。
【０１０７】
次に、セグメンテーション部２４は、このように対象画素ｉの各重心に対する距離Ｄｓを用いて、対象画素ｉが所属するクラスタを決定する（Ｓ３０４）。具体的には、セグメンテーション部２４は、距離Ｄｓが最も小さい重心を有するクラスタを対象画素ｉの所属クラスタと決定する。
【０１０８】
このようなステップＳ３０３、Ｓ３０４の処理を第１画像に含まれる画素ごとに繰り返すことにより、各画素の所属クラスタが決定される。
【０１０９】
次に、セグメンテーション部２４は、各クラスタの重心を更新する（Ｓ３０５）。例えば、ステップＳ３０４において各画素の所属クラスタが決定された結果、図１０に示すように、矩形状のクラスタが六角形状のクラスタに変化した場合に重心Ｃ６の画素値および画素位置を更新する。
【０１１０】
具体的には、セグメンテーション部２４は、以下の式７に従って、新たな重心の画素値（ｌｋ＿ｎｅｗ，ａｋ＿ｎｅｗ、ｂｋ＿ｎｅｗ）および画素位置（ｘｋ＿ｎｅｗ，ｙｋ＿ｎｅｗ）を算出する。
【０１１１】
【数７】
0005923713.tif 000008
【０１１２】
ここで、各クラスタの重心が収束している場合（Ｓ３０６のＹｅｓ）、セグメンテーション部２４は、処理を終了する。つまり、ステップＳ３０５の更新前後において各クラスタの重心に変化がない場合に、セグメンテーション部２４は、セグメンテーションを終了する。一方、各クラスタの重心が収束していない場合（Ｓ３０６のＮｏ）、セグメンテーション部２４は、ステップＳ３０３〜Ｓ３０５の処理を繰り返す。
【０１１３】
このように、セグメンテーション部２４は、画素値および画素位置を用いて定義された類似度に基づくクラスタリング（ここではｋ平均法）により、第１画像を複数のセグメントに分割することができる。したがって、図１１に示すように、セグメンテーション部２４は、第１画像に含まれる被写体領域の特徴に応じて、第１画像を複数のセグメントに分割することができる。
【０１１４】
つまり、セグメンテーション部２４は、１つのセグメントに同一の被写体が含まれるように第１画像を複数のセグメントに分割することが可能となる。その結果、各セグメント内の画素の視差値が類似するので、セグメントごとに特定される視差値の正確度を向上させることができる。つまり、デプスデータはより正確に生成されうる。さらに、ｋ平均法は、比較的簡易なクラスタリングであるので、デプスデータを生成するための処理負荷を軽減することも可能となる。
【０１１５】
次に、セグメント結合（Ｓ２０５）の詳細について、図１２および図１３を用いて説明する。なお、ここでは、セグメント結合の一例として、色の類似性に基づくセグメント結合について説明する。
【０１１６】
図１２は、実施の形態２に係るセグメント結合処理の詳細を示すフローチャートである。図１３は、実施の形態２に係るセグメント結合処理を説明するための図である。
【０１１７】
図１２に示すように、セグメント結合部２５は、まず、セグメンテーション部２４による分割によって得られた複数のセグメンテーションの中から空セグメントを選択する（Ｓ４０１）。空セグメントとは、代表画素が１つも含まれていないセグメントである。
【０１１８】
セグメント結合部２５は、選択された空セグメントに隣接するセグメント（以下、隣接セグメントともいう）を選択する（Ｓ４０２）。ここで、空セグメントが複数のセグメントと隣接する場合には、セグメント結合部２５は、色の類似性に基づいて、複数の隣接セグメントの中から少なくとも１つのセグメントを選択する。つまり、セグメント結合部２５は、空セグメントと最も色が類似する隣接セグメントを結合対象のセグメントとして選択する。
【０１１９】
なお、この色の類似性の評価は、ＹＵＶ色空間あるいはＲＧＢ色空間において行われることが好ましい。また、セグメント結合部２５は、必ずしも隣接セグメントを１つだけ選択する必要はない。例えば、セグメント結合部２５は、色の類似性を示す値が閾値以上である複数の隣接セグメントを選択してもよい。
【０１２０】
セグメント結合部２５は、ステップＳ４０１で選択された空セグメントと、ステップＳ４０２で選択された隣接セグメントとを１つに結合する（Ｓ４０３）。つまり、セグメント結合部２５は、選択された空セグメントと選択された隣接セグメントとを結合して１つの新たなセグメントを設定する。
【０１２１】
例えば、図１３の（ａ）に示すように、空セグメントＳ２と、その空セグメントＳ２に隣接する隣接セグメントＳ１、Ｓ３、Ｓ４が存在する場合、セグメント結合部２５は、複数の隣接セグメントＳ１、Ｓ３、Ｓ４の中から、空セグメントＳ２の色（例えば平均色）と最も色が類似する隣接セグメントＳ１を選択する。そして、図１３の（ｂ）に示すように、セグメント結合部２５は、空セグメントＳ２と選択された隣接セグメントＳ１とを結合して、新たなセグメントＳＮを設定する。
【０１２２】
次に、セグメント結合部２５は、空セグメントが存在するか否かを判定する（Ｓ４０４）。ここで、空セグメントが存在しなければ（Ｓ４０４のＮｏ）、セグメント結合部２５は処理を終了する。一方、空セグメントが存在すれば（Ｓ４０４のＹｅｓ）、セグメント結合部２５は、ステップＳ４０１に戻って処理を実行する。
【０１２３】
このように空セグメントが存在しなくなるまで、空セグメントと隣接セグメントとの結合が繰り返される。そして、デプスデータ生成部２６は、このように結合されたセグメントに基づいて、デプスデータを生成する。
【０１２４】
以上のように、本実施の形態に係る画像処理装置２０によれば、複数のセグメントの中に空セグメントが含まれる場合には、空セグメントがなくなるまで、空セグメントと隣接セグメントとの結合を行うことができる。したがって、セグメンテーション部によって第１画像が複数のセグメントに分割される際に、必ず代表画素が含まれるように分割される必要がない。つまり、代表画素との対応関係を考慮せずにセグメンテーションを行うことができる。その結果、セグメンテーションと代表画素の視差値算出とを並行して処理することが可能となり、デプスデータ生成処理の高速化を図ることができる。
【０１２５】
また、本実施の形態に係る画像処理装置２０によれば、色が類似するセグメント同士を１つに結合することができる。つまり、色が類似する領域が１つのセグメントとして扱われるので、奥行きが類似する領域が１つのセグメントとなる可能性が高くなる。このように得られたセグメントごとに視差値を特定することにより、各セグメントに対応する奥行きを示すデプスデータをより正確に生成することが可能となる。
【０１２６】
また、本実施の形態に係る画像処理装置２０によれば、セグメントに２つ以上の代表画素が含まれている場合に、２つ以上の代表画素の視差値の中央値または平均値をセグメントの視差値として特定することができる。したがって、セグメントの視差値を簡易に特定することができ、デプスデータを生成するための処理負荷を軽減することが可能となる。また、セグメントの視差値と、セグメントに含まれる各画素の視差値との誤差を比較的小さくすることができ、より正確にデプスデータを生成することが可能となる。
【０１２７】
また、本実施の形態に係る画像処理装置２０によれば、特徴点を代表画素として算出することができる。したがって、代表画素に対応する第２画像内の画素を検出することが容易となり、処理負荷を軽減することが可能となる。
【０１２８】
また、本実施の形態に係る画像処理装置２０によれば、第１画像と第２画像とを平行化するためのアライメント処理を行うことができる。一般的に、ステレオ画像などの多視点画像が撮影された場合には、多視点画像のアライメント処理が行われる。また、アライメント処理では、特徴点の算出および対応点の検出が行われる。つまり、アライメント処理で行われる特徴点の算出および対応点の検出結果を流用して、代表画素の視差値を算出することができるので、デプスデータを生成するための処理負荷を軽減することが可能となる。
【０１２９】
（実施の形態２の変形例）
次に、実施の形態２の変形例について説明する。本変形例では、デプスデータ生成部２６の処理動作が実施の形態２と異なる。
【０１３０】
具体的には、本変形例に係るデプスデータ生成部２６は、セグメントごとに、当該セグメントに含まれる少なくとも１つの代表画素の視差値を用いて当該セグメントに含まれる他の画素の視差値を補間することにより、当該セグメントに含まれる各画素の視差値を算出する。そして、デプスデータ生成部２６は、算出された各画素の視差値に基づいて、各画素の奥行きを示すデプスマップをデプスデータとして生成する。
【０１３１】
このような本変形例に係るデプスデータ生成部２６の処理動作を、図１４を用いて説明する。図１４は、実施の形態２の変形例に係るデプスデータ生成処理の詳細を示すフローチャートである。
【０１３２】
まず、デプスデータ生成部２６は、第１画像内の複数のセグメントの中から１つのセグメントを選択する（Ｓ５０１）。デプスデータ生成部２６は、選択されたセグメントが複数の代表画素を含むか否かを判定する（Ｓ５０２）。
【０１３３】
ここで、選択されたセグメントが複数の代表画素を含む場合（Ｓ５０２のＹｅｓ）、デプスデータ生成部２６は、当該複数の代表画素の視差値を用いて当該セグメントに含まれる他の画素の視差値を補間することにより、当該セグメントに含まれる各画素の視差値を算出する（Ｓ５０３）。例えば、デプスデータ生成部２６は、スプライン補間により他の画素の視差値を算出する。
【０１３４】
一方、選択されたセグメントが代表画素を１つだけ含む場合（Ｓ５０２のＮｏ）、デプスデータ生成部２６は、代表画素の視差値を用いて当該セグメントに含まれる他の画素の視差値を決定する（Ｓ５０４）。例えば、デプスデータ生成部２６は、セグメントに含まれるすべての画素の視差値を代表画素の視差値と決定する。
【０１３５】
そして、デプスデータ生成部２６は、すべてのセグメントが選択されたか否かを判定する（Ｓ５０５）。ここで、いずれかのセグメントが選択されていない場合（Ｓ５０５のＮｏ）、ステップＳ５０１の処理に戻る。
【０１３６】
一方、すべてのセグメントが選択された場合（Ｓ５０５のＹｅｓ）、デプスデータ生成部２６は、各画素の視差値を奥行き値に変換することにより、デプスマップ（デプスデータ）を生成する（Ｓ５０６）。なお、視差値から奥行き値への変換は、例えば、三角測量の原理に基づいて行われる。
【０１３７】
以上のように、本変形例に係る画像処理装置によれば、セグメントごとに、当該セグメントに含まれる少なくとも１つの代表画素の視差値を用いて当該セグメントに含まれる他の画素の視差値を補間することができる。したがって、各画素の視差値を補間により得ることができ、より正確にデプスデータを生成することが可能となる。
【０１３８】
以上、１つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、１つまたは複数の態様の範囲内に含まれる。
【０１３９】
例えば、上記実施の形態２において、特徴点算出部２１は、予め定められた数を超えないように特徴点を代表画素として算出してもよい。例えば、特徴点算出部２１は、セグメント内に複数の特徴点が含まれないように特徴点を算出してもよい。また例えば、特徴点算出部２１は、特徴点間の距離が予め定められた距離未満とならないように特徴点を算出いてもよい。このように特徴点を算出することにより、代表画素に対応する画素の検出処理の負荷が高くなることを防止することができる。
【０１４０】
また、上記実施の形態２において、セグメンテーション部２４は、ｋ平均法に基づいてセグメンテーションを行なっていたが、他のクラスタリング手法に基づいてセグメンテーションを行なってもよい。例えば、セグメンテーション部２４は、平均変位法（ｍｅａｎ−ｓｈｉｆｔ  ｃｌｕｓｔｅｒｉｎｇ）に基づいてセグメンテーションを行なってもよい。
【０１４１】
また、上記実施の形態２において、セグメント結合部２５は、色の類似性に基づいてセグメントを結合していたが、色以外のものの類似性に基づいてセグメントを結合しても構わない。例えば、セグメント結合部２５は、輝度の類似性に基づいてセグメントを結合してもよい。
【０１４２】
また、上記実施の形態１または２における画像処理装置１０、２０が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置１０は、視差値算出部１１とセグメンテーション部１２とデプスデータ生成部１３とを有するシステムＬＳＩから構成されてもよい。
【０１４３】
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１４４】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１４５】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１４６】
また、このような画像処理装置は、撮像装置に備えられてもよい。図１５は、一実施形態に係る撮像装置３０の機能構成を示すブロック図である。撮像装置３０は、例えば、デジタルスチルカメラまたはデジタルビデオカメラである。図１５に示すように、撮像装置３０は、互いに異なる視点から第１画像および第２画像を撮影する撮像部３１と、上記実施の形態１または２に係る画像処理装置１０または２０とを備える。
【０１４７】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
【０１４８】
すなわち、このプログラムは、コンピュータに、互いに異なる視点から撮影された第１画像および第２画像を利用してデプスデータを生成する画像処理方法であって、前記第１画像内の一部の画素である複数の代表画素の各々について、前記代表画素と前記代表画素に対応する前記第２画像内の画素との位置関係に基づいて前記代表画素の視差値を算出する視差値算出ステップと、画素値の類似性に基づいて前記第１画像を複数のセグメントに分割するセグメンテーションステップと、セグメントごとに、前記セグメントに含まれる代表画素の視差値に基づいて前記セグメントの視差値を特定することにより、各セグメントに対応する奥行きを示すデプスデータを生成するデプスデータ生成ステップとを含む画像処理方法を実行させる。
【産業上の利用可能性】
【０１４９】
本発明は、互いに異なる視点から撮影された第１画像と第２画像とを用いてデプスデータを生成することができる画像処理装置、およびその画像処理装置を備える、デジタルスチルカメラまたはデジタルビデオカメラなどの撮像装置として利用可能である。
【符号の説明】
【０１５０】
１０、２０    画像処理装置
１１、２３    視差値算出部
１２、２４    セグメンテーション部
１３、２６    デプスデータ生成部
２１    特徴点算出部
２２    アライメント処理部
２５    セグメント結合部
２７    画像処理部
３０    撮像装置
３１    撮像部
１０１    第１画像
１０２    第２画像
【図１】
0005923713.tif 000009
【図２】
0005923713.tif 000010
【図３】
0005923713.tif 000011
【図４】
0005923713.tif 000012
【図５】
0005923713.tif 000013
【図６】
0005923713.tif 000014
【図７】
0005923713.tif 000015
【図８】
0005923713.tif 000016
【図９】
0005923713.tif 000017
【図１０】
0005923713.tif 000018
【図１１】
0005923713.tif 000019
【図１２】
0005923713.tif 000020
【図１３】
0005923713.tif 000021
【図１４】
0005923713.tif 000022
【図１５】
0005923713.tif 000023