(57)【要約】【課題】前のフレームの奥行き画像を用いて高速に奥行き画像を生成することができるようにする。【解決手段】奥行き生成部は、カレントフレームの画像とカレントフレームより前のフレームの画像とに基づいて、前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像を、カレントフレームの奥行き画像として生成する。本開示は、例えば、複数の視点のうちの基準となる１つの視点である基準視点の画像と基準視点以外の視点である周辺視点の画像とを用いて基準視点の奥行き画像を生成する画像処理装置等に適用することができる。【選択図】図１
2015019204.tif 000002
【特許請求の範囲】
【請求項１】
カレントフレームの画像と前記カレントフレームより前のフレームの画像とに基づいて、前記前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像を、前記カレントフレームの奥行き画像として生成する奥行き生成部
を備える画像処理装置。
【請求項２】
前記奥行き生成部は、前記カレントフレームの画像と前記前のフレームの画像の間の変化に基づいて、前記奥行き画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記カレントフレームの画像と前記前のフレームの画像とに基づいて、前記カレントフレームの画像の動きベクトルを検出する検出部
をさらに備え、
前記奥行き生成部は、前記検出部により検出された前記動きベクトルに基づいて、前記前のフレームの奥行き画像を、前記カレントフレームの奥行き画像として生成する
請求項２に記載の画像処理装置。
【請求項４】
前記奥行き生成部は、前記動きベクトルの動き量が第１の閾値以下である場合、前記前のフレームの奥行き画像を、前記カレントフレームの奥行き画像として生成する
請求項３に記載の画像処理装置。
【請求項５】
前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きい場合、前記前のフレームの奥行き画像に基づいて、前記カレントフレームの奥行き画像を生成する
請求項４に記載の画像処理装置。
【請求項６】
前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きい場合、前記前のフレームのサブ画素単位の奥行き画像を用いて前記カレントフレームの画素単位の奥行き画像を生成し、前記カレントフレームの画素単位の奥行き画像に基づいて、前記カレントフレームのサブ画素単位の奥行き画像を生成する
請求項５に記載の画像処理装置。
【請求項７】
前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きい場合、前記前のフレームの奥行き画像に基づいて限定された探索範囲でマッチングを行うことにより、前記カレントフレームの奥行き画像を生成する
請求項５に記載の画像処理装置。
【請求項８】
前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きく、第２の閾値以下である場合、前記前のフレームの奥行き画像に基づいて限定された探索範囲でマッチングを行うことにより、前記カレントフレームの奥行き画像を生成する
請求項７に記載の画像処理装置。
【請求項９】
前記探索範囲のサイズは、前記動き量に応じたサイズである
請求項７に記載の画像処理装置。
【請求項１０】
前記カレントフレームの画像と前記前のフレームの画像との差分を検出する検出部
をさらに備え、
前記奥行き生成部は、前記検出部により検出された前記差分が閾値以下である場合、前記前のフレームの画像の奥行き画像を前記カレントフレームの奥行き画像として生成する頻度にしたがって、前記カレントフレームの奥行き画像を生成する
請求項１に記載の画像処理装置。
【請求項１１】
前記奥行き生成部は、前記検出部により検出された前記差分が前記閾値より大きい場合、前記前のフレームの画像の奥行き画像を前記カレントフレームの奥行き画像として生成する頻度より少ない頻度にしたがって、前記カレントフレームの奥行き画像を生成する
請求項１０に記載の画像処理装置。
【請求項１２】
前記奥行き生成部により生成される前記奥行き画像を符号化する符号化部
をさらに備える
請求項１に記載の画像処理装置。
【請求項１３】
画像処理装置が、
カレントフレームの画像と前記カレントフレームより前のフレームの画像とに基づいて、前記前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像を、前記カレントフレームの奥行き画像として生成する奥行き生成ステップ
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および画像処理方法に関し、特に、前のフレームの奥行き画像を用いて高速に奥行き画像を生成することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
複数の視点の画像を用いて生成される画像の被写体の奥行き方向の位置を表す奥行き画像を用いた画像認識により、人間の腕や手、指などの動きを高精度に検出し、その動きを様々なアプリケーションのユーザーインターフェースとして利用する技術が提案されている。
【０００３】
このような技術では、高精度な奥行き画像が必要とされるため、画素単位よりもさらに細かいサブ画素単位で奥行き方向の位置を検出することが望ましい。サブ画素単位で奥行き方向の位置を検出する方法としては、例えば、複数の視点の画像を線形補間などによって疑似的に高解像度化し、高解像度化後の複数の視点の画像を用いて奥行き方向の位置を検出する方法がある。
【０００４】
また、画素単位で検出された奥行き方向の位置を表す関数に基づいて、サブ画素単位の奥行き方向の位置を内挿する方法もある。さらに、位相限定相関法によりサブ画素単位で奥行き方向の位置を検出する方法もある（例えば、特許文献１参照）。
【０００５】
しかしながら、サブ画素単位で奥行き方向の位置を検出する場合、画素単位で奥行き方向の位置を検出する場合に比べて計算量が増加する。従って、サブ画素単位の奥行き方向の位置の検出が画面全体に対して行われる場合、検出時間が長くなり、高フレームレートで奥行き画像を生成することはできない。よって、上述した技術において、人間の腕や手、指などの動きをユーザーインターフェースとして十分に利用することは難しい。
【０００６】
一方、動きベクトルを利用して、動きベクトルが大きい領域の被写体の奥行き方向の位置は手前側の位置であり、動きベクトルが小さい領域の被写体の奥行き方向の位置は奥側の位置であるとして、容易に奥行き画像を生成する方法が提案されている(例えば、特許文献２および特許文献３参照)。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−１９８０１号公報
【特許文献２】特開２０００−２６１８２８号公報
【特許文献３】特開２０１２−１０９７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、サブ画素単位の奥行き方向の位置の検出が画面全体に対して行われる場合、検出時間が長くなる。従って、奥行き方向の位置の検出を画面の少なくとも一部に対して行わないようにすることで、高速に奥行き画像を生成することが望まれている。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、前のフレームの奥行き画像を用いて高速に奥行き画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の一側面の画像処理装置は、カレントフレームの画像と前記カレントフレームより前のフレームの画像とに基づいて、前記前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像を、前記カレントフレームの奥行き画像として生成する奥行き生成部を備える画像処理装置である。
【００１１】
本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。
【００１２】
本開示の一側面においては、カレントフレームの画像と前記カレントフレームより前のフレームの画像とに基づいて、前記前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像が、前記カレントフレームの奥行き画像として生成される。
【００１３】
なお、本開示の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
【００１４】
また、本開示の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１５】
本開示の一側面によれば、前のフレームの奥行き画像を用いて高速に奥行き画像を生成することができる。
【図面の簡単な説明】
【００１６】
【図１】本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図２】予測生成部による予測奥行き画像の生成について説明する図である。
【図３】図１の画像処理装置の奥行き画像生成処理を説明するフローチャートである。
【図４】図３の生成処理の詳細を説明するフローチャートである。
【図５】本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図６】図５の奥行き生成部により設定される探索範囲を説明する図である。
【図７】図５の奥行き生成部の生成処理を説明するフローチャートである。
【図８】本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【図９】図８の奥行き生成部８１の生成処理を説明するフローチャートである。
【図１０】動き量と探索範囲のサイズの関係の例を示す図である。
【図１１】本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【図１２】前フレームと現在のフレームの基準視点の画像の差分の例を示す図である。
【図１３】奥行き値を生成する頻度の例を示す図である。
【図１４】図１１の画像処理装置の奥行き画像生成処理を説明するフローチャートである。
【図１５】図１４の生成処理の詳細を説明するフローチャートである。
【図１６】第１乃至第４実施の形態の処理をまとめた表を示す図である。
【図１７】本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
【図１８】復号装置の一実施の形態の構成例を示すブロック図である。
【図１９】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
＜第１実施の形態＞
（本開示を適用した画像処理装置の第１実施の形態の構成例）
図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【００１８】
図１の画像処理装置１０は、基準画像取得部１１、周辺画像取得部１２、検出部１３、フレームメモリ１４、予測生成部１５、および奥行き生成部１６により構成される。画像処理装置１０は、複数の視点の画像を用いて、それらの視点のうちの基準となる１つの視点である基準視点のサブ画素単位の奥行き画像を生成する。
【００１９】
具体的には、画像処理装置１０の基準画像取得部１１は、現在のフレーム（カレントフレーム）の基準視点の画像を取得する。基準画像取得部１１は、現在のフレームの基準視点の画像を検出部１３と奥行き生成部１６に供給する。
【００２０】
周辺画像取得部１２は、現在のフレームの基準視点以外の視点である周辺視点の画像を取得する。本明細書では、説明を簡単にするため、周辺視点の数は１つであるものとするが、複数であってもよい。周辺画像取得部１２は、現在のフレームの周辺視点の画像を奥行き生成部１６に供給する。
【００２１】
検出部１３は、基準画像取得部１１から供給される現在のフレームの基準視点の画像を保持する。検出部１３は、保持している現在のフレームより１つ前のフレームである前フレームの基準視点の画像と現在のフレームの基準視点の画像とに基づいて、フレーム間の変化を表す情報としての動きベクトルを検出する。具体的には、検出部１３は、前フレームの基準視点の画像と現在のフレームの基準視点とに基づいて、ブロックマッチング法などにより、現在のフレームの基準視点の画像の各画素の動きベクトルを検出する。検出部１３は、動きベクトルを予測生成部１５に供給する。
【００２２】
フレームメモリ１４は、奥行き生成部１６から供給される基準視点のサブ画素単位の奥行き画像を１フレーム分保持する。フレームメモリ１４は、保持している前フレームのサブ画素単位の奥行き画像を読み出し、予測生成部１５に供給する。
【００２３】
予測生成部１５は、検出部１３から供給される動きベクトルに基づいて、フレームメモリ１４から供給される前フレームの奥行き画像の各サブ画素の画素値を移動させ、現在のフレームの基準視点の奥行き画像のサブ画素の画素値の予測値とする。これにより、予測生成部１５は、現在のフレームの基準視点の奥行き画像の各サブ画素の画素値の予測値からなる予測奥行き画像を生成する。
【００２４】
このようにして生成された予測奥行き画像には、現在のフレームの基準視点の画像には存在するが、前フレームの基準視点の画像には存在しないオクルージョン領域が発生する。予測奥行き画像のオクルージョン領域には画素値は存在しない。予測生成部１５は、予測奥行き画像と動きベクトルを奥行き生成部１６に供給する。
【００２５】
奥行き生成部１６は、基準画像取得部１１からの基準視点の画像と、周辺画像取得部１２からの周辺視点の画像とを用いて、予測奥行き画像内の画素値が存在しないオクルージョン領域の被写体の奥行き方向の位置を表す奥行き値を画素単位で生成する。
【００２６】
具体的には、奥行き生成部１６は、基準視点の画像のオクルージョン領域の各画素に対して、その画素を中心とした周辺視点の画像の所定の範囲を探索範囲に設定する。奥行き生成部１６は、オクルージョン領域の各画素に対して探索範囲内の画素とのマッチングを行い、オクルージョン領域の画素と最も類似度の高い探索範囲内の画素との距離を奥行き値として生成する。
【００２７】
また、奥行き生成部１６は、予測生成部１５から供給される動きベクトルに基づいて、基準視点の画像のオクルージョン領域以外の領域を、動きがある領域と動きがない領域に分割する。奥行き生成部１６は、予測奥行き画像から動きがない領域のサブ画素単位の画素値を抽出し、動きがない領域のサブ画素単位の奥行き値とする。
【００２８】
奥行き生成部１６は、予測奥行き画像から動きがある領域のサブ画素単位の画素値を抽出し、その画素値に基づいて動きがある領域の画素単位の奥行き値を生成する。奥行き生成部１６は、オクルージョン領域と動きがある領域の画素単位の奥行き値に基づいて内挿等によりサブ画素単位の奥行き値を生成する。
【００２９】
奥行き生成部１６は、以上のようにして得られた動きがない領域、オクルージョン領域、および動きがある領域のサブ画素単位の奥行き値を各サブ画素の画素値とする奥行き画像を、現在のフレームの基準視点の奥行き画像として生成する。奥行き生成部１６は、現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ１４に供給する。
【００３０】
（予測奥行き画像の生成について）
図２は、図１の予測生成部１５による予測奥行き画像の生成について説明する図である。
【００３１】
図２の例では、基準視点の画像が、アルファベットを背景とし、バスケットボールを前景とした画像となっている。また、バスケットボールは、前フレームでは画面の右上に存在し、現在のフレームでは画面の中央に存在している。即ち、前フレームと現在のフレームの間で、バスケットボールは左下へ移動している。
【００３２】
この場合、現在のフレームの基準視点の各画素の動きベクトルは、図２の中央に矢印で示すように、バスケットボールの領域では右上から左下の自分の画素へ向かうベクトルであり、バスケットボール以外の領域では０である。
【００３３】
従って、予測生成部１５は、前フレームの奥行き画像のバスケットボールの領域内のサブ画素３１の画素値を、動きベクトルに基づいて左下へ移動する。そして、予測生成部１５は、サブ画素３１の画素値を、現在のフレームの予測奥行き画像のサブ画素３１と同一の位置のサブ画素４１の左下のサブ画素４２の画素値とする。バスケットボールの領域内の他のサブ画素についても同様である。
【００３４】
また、予測生成部１５は、前フレームの奥行き画像のバスケットボールの領域外の領域内のサブ画素３２の奥行き値を、現在のフレームの予測奥行き画像のサブ画素３２と同一の位置のサブ画素４３の画素値とする。バスケットボールの領域外の領域内の他のサブ画素についても同様である。
【００３５】
その結果、現在のフレームでバスケットボールの領域外の領域であるが、前フレームでバスケットボールの領域であったオクルージョン領域４４では、予測奥行き画像の画素値は生成されない。
【００３６】
（画像処理装置の処理の説明）
図３は、図１の画像処理装置１０の奥行き画像生成処理を説明するフローチャートである。
【００３７】
図３のステップＳ１１において、画像処理装置１０の基準画像取得部１１は、現在のフレームの基準視点の画像を取得し、周辺画像取得部１２は、現在のフレームの周辺視点の画像を取得する。基準画像取得部１１は、現在のフレームの基準視点の画像を検出部１３に供給して保持させるとともに、奥行き生成部１６に供給する。周辺画像取得部１２は、現在のフレームの周辺視点の画像を奥行き生成部１６に供給する。
【００３８】
ステップＳ１２において、検出部１３は、保持している前フレームの基準視点の画像と、基準画像取得部１１からの現在のフレームの基準視点の画像とを比較し、現在のフレームの基準視点の画像の各画素の動きベクトルを検出する。検出部１３は、動きベクトルを予測生成部１５に供給する。
【００３９】
ステップＳ１３において、フレームメモリ１４は、保持している前フレームの基準視点のサブ画素単位の奥行き画像を読み出し、予測生成部１５に供給する。
【００４０】
ステップＳ１４において、予測生成部１５は、検出部１３から供給される動きベクトルと、フレームメモリ１４から供給される前フレームの奥行き画像とに基づいて、図２で説明したように、現在のフレームの基準視点の予測奥行き画像を生成する。予測生成部１５は、予測奥行き画像と動きベクトルを奥行き生成部１６に供給する。
【００４１】
ステップＳ１５において、奥行き生成部１６は、予測奥行き画像を用いて現在のフレームの基準視点の奥行き画像を生成する生成処理を行う。この生成処理の詳細は、後述する図４を参照して説明する。
【００４２】
ステップＳ１６において、奥行き生成部１６は、生成処理により生成された現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ１４に供給して保持させる。そして、処理は終了する。
【００４３】
図４は、図３のステップＳ１５の生成処理の詳細を説明するフローチャートである。この生成処理は、現在のフレームの基準視点の画像の各画素を処理対象の画素として行われる。
【００４４】
図４のステップＳ３１において、奥行き生成部１６は、予測生成部１５から供給される予測奥行き画像内に処理対象の画素の画素値が存在するかどうかを判定する。ステップＳ３１で画素値が存在すると判定された場合、即ち処理対象の画素がオクルージョン領域外に存在する場合、処理はステップＳ３２に進む。
【００４５】
ステップＳ３２において、奥行き生成部１６は、予測生成部１５から供給される処理対象の画素の動きベクトルの動き量が第１の閾値(例えば、０)より大きいかどうかを判定する。
【００４６】
ステップＳ３２で動き量が第１の閾値より大きいと判定された場合、奥行き生成部１６は、処理対象の画素が、動きがある領域の画素であると判断する。そして、ステップＳ３３において、奥行き生成部１６は、予測奥行き画像から処理対象の画素のサブ画素単位の画素値を抽出し、その画素値に基づいて処理対象の画素の画素単位の奥行き値を生成する。そして処理はステップＳ３５に進む。
【００４７】
一方、ステップＳ３１で画素値が存在しないと判定された場合、即ち処理対象の画素がオクルージョン領域内に存在する場合、処理はステップＳ３４に進む。
【００４８】
ステップＳ３４において、奥行き生成部１６は、基準画像取得部１１からの基準視点の画像と、周辺画像取得部１２からの周辺視点の画像とを用いて、処理対象の画素の奥行き値を画素単位で生成する。そして、処理はステップＳ３５に進む。
【００４９】
ステップＳ３５において、奥行き生成部１６は、ステップＳ３３またはステップＳ３４において生成された画素単位の奥行き値に基づいて、内挿等によりサブ画素単位の奥行き値を生成する。そして処理は図３のステップＳ１５に戻り、処理はステップＳ１６に進む。
【００５０】
また、ステップＳ３２で動き量が第１の閾値以下であると判定された場合、奥行き生成部１６は、処理対象の画素が、動きがない領域の画素であると判断する。そして、ステップＳ３６において、奥行き生成部１６は、予測奥行き画像から処理対象の画素のサブ画素単位の画素値を抽出し、処理対象の画素のサブ画素単位の奥行き値とする。そして処理は図３のステップＳ１５に戻り、処理はステップＳ１６に進む。
【００５１】
以上のように、画像処理装置１０は、現在のフレームの画像と前フレームの画像に基づいて、動きがない領域について、前フレームの奥行き値を現在のフレームの奥行き値として生成する。従って、動きがない領域の奥行き値を生成する必要がなく、高速に奥行き画像を生成することができる。
【００５２】
また、画像処理装置１０は、動きがある領域について、前フレームの奥行き値に基づいて現在のフレームの画素単位の奥行き値を生成する。従って、動きがある領域の画素単位の奥行き値を検出する必要がなく、より高速に奥行き画像を生成することができる。
【００５３】
＜第２実施の形態＞
（本開示を適用した画像処理装置の第２実施の形態の構成例）
図５は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【００５４】
図５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００５５】
図５の画像処理装置６０の構成は、奥行き生成部１６の代わりに奥行き生成部６１が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置６０は、動きがある領域について、現在のフレームの画素単位の奥行き値を前フレームの奥行き値から生成するのではなく、前フレームの奥行き値に基づいて探索範囲を限定する。
【００５６】
具体的には、画像処理装置６０の奥行き生成部６１は、奥行き生成部１６と同様に、基準視点の画像と周辺視点の画像とを用いて、オクルージョン領域の奥行き値を画素単位で生成する。また、奥行き生成部６１は、奥行き生成部１６と同様に、動きベクトルに基づいて、基準視点の画像のオクルージョン領域以外の領域を、動きがある領域と動きがない領域に分割する。
【００５７】
奥行き生成部６１は、予測奥行き画像から動きがある領域のサブ画素単位の画素値を抽出する。奥行き生成部６１は、動きがある領域の各画素に対して、その画素の予測値に基づく、周辺視点の画像のオクルージョン領域についての探索範囲のサイズである通常サイズより小さいサイズの範囲を、探索範囲に設定する。奥行き生成部６１は、動きがある領域の各画素に対して探索範囲内の画素とのマッチングを行い、動きがある領域の画素と最も類似度の高い探索範囲内の画素との距離を奥行き値として生成する。
【００５８】
奥行き生成部６１は、オクルージョン領域と動きがある領域の画素単位の奥行き値に基づいて内挿等によりサブ画素単位の奥行き値を生成する。奥行き生成部６１は、奥行き生成部１６と同様に、予測奥行き画像から動きがない領域のサブ画素単位の画素値を抽出し、動きがない領域のサブ画素単位の奥行き値とする。
【００５９】
奥行き生成部６１は、以上のようにして得られた動きがない領域、オクルージョン領域、および動きがある領域のサブ画素単位の奥行き値を各サブ画素の画素値とする奥行き画像を、現在のフレームの基準視点の奥行き画像として生成する。奥行き生成部６１は、現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ１４に供給する。
【００６０】
（探索範囲の説明）
図６は、図５の奥行き生成部６１により設定される探索範囲を説明する図である。
【００６１】
図６の例では、基準視点および周辺視点の画像が、アルファベットを背景とし、バスケットボールを前景とした画像となっている。また、バスケットボールは、前フレームでは画面の右上に存在し、現在のフレームでは画面の中央に存在している。即ち、前フレームと現在のフレームの間で、バスケットボールは左下へ移動している。
【００６２】
この場合、現在のフレームの画像のバスケットボールの領域は動きがある領域である。この動きがある領域内の画素７１の探索範囲としては、その画素７１を中心とした周辺視点の画像の通常サイズの範囲７５ではなく、画素７１の画素値に基づく通常サイズより小さいサイズの範囲７６が設定される。範囲７６は、例えば、画素７１に対して画素７１の予測値に対応する水平方向の距離だけ離れた位置を中心とした通常サイズより小さいサイズの範囲である。
【００６３】
また、現在のフレームでバスケットボールの領域以外の領域であるが、前フレームでバスケットボールの領域であった領域は、オクルージョン領域７２である。このオクルージョン領域７２の画素７３の探索範囲としては、その画素７３を中心とした周辺視点の画像の通常サイズの範囲７７である。
【００６４】
現在のフレームと前フレームの両方でバスケットボールの領域以外の領域である領域内の画素７４については、動きベクトルが０であるため、探索範囲は設定されず、画素７４の奥行き値は生成されない。画素７４の奥行き値は、現在のフレームの予測奥行き画像の画素７４と同一の位置のサブ画素の画素値とされる。
【００６５】
（画像処理装置の処理の説明）
図５の画像処理装置６０の奥行き画像生成処理は、ステップＳ１５の生成処理を除いて図３の奥行き画像生成処理と同一である。従って、以下では、生成処理についてのみ説明する。
【００６６】
図７は、画像処理装置６０の奥行き生成部６１（図５）の生成処理を説明するフローチャートである。この生成処理は、現在のフレームの基準視点の画像の各画素を処理対象の画素として行われる。
【００６７】
図７のステップＳ５１およびＳ５２の処理は、図４のステップＳ３１およびＳ３２の処理と同一であるので、説明は省略する。
【００６８】
ステップＳ５３において、奥行き生成部６１は、予測奥行き画像内の処理対象の画素のサブ画素単位の画素値に基づく通常サイズより小さいサイズの周辺視点の画像の探索範囲内の画素と処理対象の画素とのマッチングを行う。そして、奥行き生成部６１は、処理対象の画素と最も類似度の高い探索範囲内の画素との距離を奥行き値として生成し、処理をステップＳ５５に進める。
【００６９】
一方、ステップＳ５１で画素値が存在しないと判定された場合、即ち処理対象の画素がオクルージョン領域内に存在する場合、処理はステップＳ５４に進む。ステップＳ５４において、奥行き生成部６１は、通常サイズの周辺視点の画像の探索範囲内の画素と処理対象の画素とのマッチングを行う。そして、奥行き生成部６１は、処理対象の画素と最も類似度の高い探索範囲内の画素との距離を奥行き値として生成し、処理をステップＳ５５に進める。
【００７０】
また、ステップＳ５２で動き量が第１の閾値以下であると判定された場合、奥行き生成部６１は、処理対象の画素が、動きがない領域の画素であると判断する。そして、処理はステップＳ５６に進む。
【００７１】
ステップＳ５５およびＳ５６の処理は、図４のステップＳ３５およびＳ３６の処理と同様であるので、説明は省略する。
【００７２】
以上のように、画像処理装置６０は、動きがある領域について、現在のフレームの画素単位の奥行き値を生成する際の探索範囲を、予測値に基づく通常サイズより小さいサイズの範囲に限定する。従って、動きがある領域の画素単位の奥行き値の生成時の計算量が軽減され、より高速に奥行き画像を生成することができる。
【００７３】
＜第３実施の形態＞
（本開示を適用した画像処理装置の第３実施の形態の構成例）
図８は、本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【００７４】
図８に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７５】
図８の画像処理装置８０の構成は、奥行き生成部１６の代わりに奥行き生成部８１が設けられる点が図１の画像処理装置１０の構成と異なる。画像処理装置８０は、小さい動きがある領域についてのみ、前フレームの奥行き値に基づいて探索範囲を限定する。
【００７６】
具体的には、画像処理装置８０の奥行き生成部８１は、奥行き生成部１６と同様に、動きベクトルに基づいて、基準視点の画像のオクルージョン領域以外の領域を、動きがある領域と動きがない領域に分割する。奥行き生成部８１は、動きベクトルに基づいて、動きがある領域を、さらに、小さい動きがある領域と大きい動きがある領域に分割する。
【００７７】
奥行き生成部８１は、オクルージョン領域と大きい動きがある領域について、基準視点の画像と周辺視点の画像とを用いて、通常サイズの探索範囲でマッチングを行うことにより、奥行き値を画素単位で生成する。
【００７８】
奥行き生成部８１は、予測奥行き画像から小さい動きがある領域のサブ画素単位の画素値を抽出する。奥行き生成部８１は、小さい動きがある領域の各画素に対して、その画素の予測値に基づく周辺視点の画像の通常サイズより小さいサイズの範囲を、探索範囲に設定する。奥行き生成部８１は、小さい動きがある領域の各画素に対して探索範囲内の画素とのマッチングを行い、小さい動きがある領域の画素と最も類似度の高い探索範囲内の画素との距離を奥行き値として生成する。
【００７９】
奥行き生成部８１は、オクルージョン領域、大きい動きがある領域、および小さい動きがある領域の画素単位の奥行き値に基づいて、内挿等によりサブ画素単位の奥行き値を生成する。奥行き生成部８１は、奥行き生成部１６と同様に、予測奥行き画像から動きがない領域のサブ画素単位の画素値を抽出し、動きがない領域のサブ画素単位の奥行き値とする。
【００８０】
奥行き生成部８１は、以上のようにして得られた動きがない領域、オクルージョン領域、大きい動きがある領域、および小さい動きがある領域のサブ画素単位の奥行き値を各サブ画素の画素値とする奥行き画像を、現在のフレームの基準視点の奥行き画像として生成する。奥行き生成部８１は、現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ１４に供給する。
【００８１】
（画像処理装置の処理の説明）
図８の画像処理装置８０の奥行き画像生成処理は、ステップＳ１５の生成処理を除いて図３の奥行き画像生成処理と同一である。従って、以下では、生成処理についてのみ説明する。
【００８２】
図９は、画像処理装置８０の奥行き生成部８１（図８）の生成処理を説明するフローチャートである。この生成処理は、現在のフレームの基準視点の画像の各画素を処理対象の画素として行われる。
【００８３】
図９のステップＳ７１およびＳ７２の処理は、図４のステップＳ３１およびＳ３２の処理と同一であるので、説明は省略する。
【００８４】
ステップＳ７２で動き量が第１の閾値より大きいと判定された場合、ステップＳ７３において、奥行き生成部８１は、処理対象の画素の動きベクトルの動き量が第１の閾値より大きい第２の閾値以下であるかどうかを判定する。ステップＳ７３で動き量が第２の閾値以下であると判定された場合、即ち動き量が第１の閾値より大きく第２の閾値以下である場合、奥行き生成部８１は、処理対象の画素が、小さい動きがある領域の画素であると判断する。そして、処理はステップＳ７４に進む。
【００８５】
一方、ステップＳ７３で動き量が第２の閾値以下ではないと判定された場合、即ち動き量が第２の閾値より大きい場合、奥行き生成部８１は、処理対象の画素が、大きい動きがある領域の画素であると判断する。そして、処理はステップＳ７５に進む。
【００８６】
ステップＳ７４乃至Ｓ７７の処理は、図７のステップＳ５３乃至Ｓ５６の処理と同様であるので、説明は省略する。
【００８７】
以上のように、画像処理装置８０は、動きがある領域のうちの、予測値の信頼度が高い小さい動きがある領域についてのみ、探索範囲を予測値に基づく通常サイズより小さいサイズの範囲に限定する。従って、画像処理装置６０に比べて奥行き画像の精度を向上させることができる。
【００８８】
（探索範囲のサイズの他の例）
第２および第３実施の形態における限定された探索範囲のサイズは、固定されていてもよいし、可変であってもよい。限定された探索範囲のサイズが可変である場合には、そのサイズは、例えば動き量に応じて設定される。
【００８９】
図１０は、この場合の動き量と探索範囲のサイズの関係の例を示す図である。
【００９０】
図１０のグラフの横軸は動き量を表し、縦軸は探索範囲の中心を０としたときの探索範囲の水平方向および垂直方向の位置を表している。
【００９１】
図１０の例では、動き量が０以上でＢより小さい場合、探索範囲の水平方向および垂直方向の長さは２ＤＢとされる。また、動き量がＢ以上でＡより小さい場合、探索範囲の水平方向および垂直方向の長さは、動き量に比例して２ＤＢより大きくなり、動き量がＡである場合、その長さは２ＤＡとなる。動き量がＡより大きい場合、探索範囲の水平方向および垂直方向の長さは２ＤＡとされる。
【００９２】
＜第４実施の形態＞
（本開示を適用した画像処理装置の第４実施の形態の構成例）
図１１は、本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【００９３】
図１１に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９４】
図１１の画像処理装置１００の構成は、検出部１３、予測生成部１５、奥行き生成部１６の代わりに、検出部１０１、予測生成部１０２、奥行き生成部１０３が設けられる点が図１の画像処理装置１０の構成と異なる。画像処理装置１００は、基準視点の画像のフレーム間の変化を表す情報としての差分に基づいて奥行き値を生成する頻度を決定する。
【００９５】
具体的には、検出部１０１は、基準画像取得部１１から供給される現在のフレームの基準視点の画像を保持する。検出部１０１は、保持している前フレームの基準視点の画像と現在のフレームの基準視点の画像との差分を画素単位で検出し、予測生成部１０２に供給する。
【００９６】
予測生成部１０２は、基準視点の画像の画素ごとに、検出部１０１から供給される差分に基づいて、奥行き値を更新（生成）することを表す更新フラグをネガティブまたはポジティブに設定する。予測生成部１０２は、フレームメモリ１４から供給される前フレームの奥行き画像を予測奥行き画像として奥行き生成部１０３に供給するとともに、各画素の更新フラグを奥行き生成部１０３に供給する。
【００９７】
奥行き生成部１０３は、予測生成部１０２から供給される更新フラグに基づいて、各画素の更新フラグが連続してネガティブになった回数をカウントする。奥行き生成部１０３は、更新フラグがポジティブである画素に対して、基準画像取得部１１からの基準視点の画像と周辺画像取得部１２からの周辺視点の画像とを用いて、画素単位で奥行き値を生成する。
【００９８】
また、奥行き生成部１０３は、更新フラグがネガティブであり、更新フラグが連続してネガティブになった回数が所定の回数（ここでは、１０回）である画素に対して、基準視点の画像と周辺視点の画像とを用いて画素単位で奥行き値を生成する。奥行き生成部１０３は、生成された画素単位の奥行き値に基づいて内挿等によりサブ画素単位の奥行き値を生成する。
【００９９】
さらに、奥行き生成部１０３は、更新フラグがネガティブであり、更新フラグが連続してネガティブになった回数が所定の回数ではない画素について、予測奥行き画像のサブ画素単位の画素値を、サブ画素単位の奥行き値とする。
【０１００】
奥行き生成部１０３は、以上のようにして得られた基準視点の画像の各画素のサブ画素単位の奥行き値を各サブ画素の画素値とする奥行き画像を、現在のフレームの基準視点の奥行き画像として生成する。奥行き生成部１０３は、現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ１４に供給する。
【０１０１】
（差分の例）
図１２は、前フレームと現在のフレームの基準視点の画像の差分の例を示す図である。
【０１０２】
図１２の例では、基準視点の画像が、アルファベットを背景とし、バスケットボールを前景とした画像となっている。また、バスケットボールは、前フレームでは画面の右上に存在し、現在のフレームでは画面の中央に存在している。即ち、前フレームと現在のフレームの間で、バスケットボールは左下へ移動している。
【０１０３】
この場合、前フレームと現在のフレームの基準視点の画像の差分は、図１２中斜線で示す、前フレームと現在のフレームのバスケットボールの領域１１１で大きくなる。なお、図１２の右側の小さい四角は画素を表している
【０１０４】
（奥行き値を生成する頻度の例）
図１３は、奥行き値を生成する頻度の例を示す図である。
【０１０５】
図１３のグラフの横軸は、前フレームと現在のフレームの基準視点の画像の差分を表し、縦軸は、１フレームの頻度を１としたときの奥行き値を生成する頻度を表す。
【０１０６】
図１３の例では、差分が０以上閾値Ｔｈ以下である場合、奥行き値を生成する頻度が1/10であり、差分が閾値Ｔｈより大きい場合、奥行き値を生成する頻度が１である。即ち、差分が０以上閾値Ｔｈ以下である場合、10フレームに9回の割合で前フレームの奥行き値が現在のフレームの奥行き値とされ、差分が閾値Ｔｈより大きい場合、毎フレームで前フレームの奥行き値が用いられない。
【０１０７】
（画像処理装置の処理の説明）
図１４は、図１１の画像処理装置１００の奥行き画像生成処理を説明するフローチャートである。
【０１０８】
図１４のステップＳ９１において、画像処理装置１００の基準画像取得部１１は、現在のフレームの基準視点の画像を取得し、周辺画像取得部１２は、現在のフレームの周辺視点の画像を取得する。基準画像取得部１１は、現在のフレームの基準視点の画像を検出部１０１に供給して保持させるとともに、奥行き生成部１０３に供給する。周辺画像取得部１２は、現在のフレームの周辺視点の画像を奥行き生成部１０３に供給する。
【０１０９】
ステップＳ９２において、検出部１０１は、保持している前フレームの基準視点の画像と現在のフレームの基準視点の画像との差分を画素単位で検出し、予測生成部１０２に供給する。
【０１１０】
ステップＳ９３において、フレームメモリ１４は、保持している前フレームの基準視点のサブ画素単位の奥行き画像を読み出し、予測生成部１０２に供給する。
【０１１１】
ステップＳ９４において、予測生成部１０２は、検出部１０１から供給される差分が０以上閾値Ｔｈ以下である画素の更新フラグをネガティブにし、差分が閾値Ｔｈより大きい画素の更新フラグをポジティブに設定する。
【０１１２】
ステップＳ９５において、予測生成部１０２は、フレームメモリ１４から供給される前フレームの奥行き画像を予測奥行き画像として奥行き生成部１０３に供給するとともに、各画素の更新フラグを奥行き生成部１０３に供給する。
【０１１３】
ステップＳ９６において、奥行き生成部１０３は、予測奥行き画像を用いて現在のフレームの基準視点の奥行き画像を生成する生成処理を行う。この生成処理の詳細は、後述する図１５を参照して説明する。
【０１１４】
ステップＳ９７において、奥行き生成部１０３は、生成処理により生成された現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ１４に供給して保持させる。そして、処理は終了する。
【０１１５】
図１５は、図１４のステップＳ９６の生成処理の詳細を説明するフローチャートである。この生成処理は、現在のフレームの基準視点の画像の各画素を処理対象の画素として行われる。
【０１１６】
図１５のステップＳ１１１において、奥行き生成部１０３は、処理対象の画素の更新フラグがポジティブであるかどうかを判定する。ステップＳ１１１で更新フラグがポジティブではないと判定された場合、即ち更新フラグがネガティブである場合、処理はステップＳ１１２に進む。
【０１１７】
ステップＳ１１２において、奥行き生成部１０３は、更新フラグが連続してネガティブになった回数のカウント値を１だけインクリメントする。このカウント値の初期値は０である。
【０１１８】
ステップＳ１１３において、奥行き生成部１０３は、カウント値が１０であるかどうかを判定する。ステップＳ１１３でカウント値が１０ではないと判定された場合、即ち更新フラグが連続して１０回ネガティブになっていないと判定された場合、処理はステップＳ１１４に進む。
【０１１９】
ステップＳ１１４において、奥行き生成部１０３は、予測生成部１０２から供給される予測奥行き画像から処理対象の画素のサブ画素単位の画素値を抽出し、奥行き値とする。そして処理は図１４のステップＳ９６に戻り、処理はステップＳ９７に進む。
【０１２０】
一方、ステップＳ１１１で更新フラグがポジティブであると判定された場合、または、ステップＳ１１３でカウント値が１０であると判定された場合、ステップＳ１１５において、奥行き生成部１０３はカウント値を０に変更する。
【０１２１】
ステップＳ１１６において、奥行き生成部１０３は、基準画像取得部１１からの基準視点の画像と周辺画像取得部１２からの周辺視点の画像とを用いて、処理対象の画素の画素単位の奥行き値を生成する。そして、奥行き生成部１０３は、処理対象の画素の画素単位の奥行き値に基づいてサブ画素単位の奥行き値を生成する。そして処理は図１４のステップＳ９６に戻り、処理はステップＳ９７に進む。
【０１２２】
以上のように、画像処理装置１００は、現在のフレームの画像と前フレームの画像に基づいて、その差分が小さい領域について、前フレームの奥行き値を現在のフレームの奥行き値として生成する。従って、差分が小さい領域の奥行き値を生成する必要がなく、高速に奥行き画像を生成することができる。
【０１２３】
また、画像処理装置１００は、差分が小さい領域であっても、差分が大きい領域に比べて少ない頻度で奥行き値を生成するので、奥行き画像の精度を向上させることができる。
【０１２４】
なお、差分が小さい領域の奥行き値を生成する頻度は、上述した１０フレームに１回に限定されない。また、差分が大きい領域の奥行き値を生成する頻度は、上述した毎フレームに限定されない。
【０１２５】
＜第１乃至第４実施の形態のまとめ＞
図１６は、第１乃至第４実施の形態の処理をまとめた表を示す図である。
【０１２６】
図１６に示すように、第１乃至第３実施の形態では、オクルージョン領域とオクルージョン領域以外の領域で処理が異なる。また、オクルージョン領域以外の領域では、動きがない領域と動きがある領域で処理が異なる。第３実施の形態では、さらに、動きがある領域のうちの動きが小さい領域と動きが大きい領域で処理が異なる。
【０１２７】
具体的には、第１実施の形態では、オクルージョン領域以外の領域のうちの動きがない領域において、前フレームのサブ画素単位の奥行き値が現在のフレームのサブ画素単位の奥行き値として用いられる。一方、動きがある領域において、前フレームのサブ画素単位の奥行き値から現在のフレームの画素単位の奥行き値が生成され、その画素単位の奥行き値に基づいてサブ画素単位の奥行き値が生成される。
【０１２８】
また、オクルージョン領域において、マッチングにより現在のフレームの画素単位の奥行き値が生成され、その画素単位の奥行き値に基づいてサブ画素単位の奥行き値が生成される。
【０１２９】
第２実施の形態では、オクルージョン領域以外の領域のうちの動きがない領域において、第１実施の形態と同様に、前フレームのサブ画素単位の奥行き値が現在のフレームのサブ画素単位の奥行き値として用いられる。一方、動きがある領域において、前フレームのサブ画素単位の奥行き値に基づいて通常サイズより小さいサイズの探索範囲が設定され、その探索範囲でマッチングが行われる。そして、マッチングの結果得られる画素単位の奥行き値に基づいてサブ画素単位の奥行き値が生成される。
【０１３０】
また、オクルージョン領域において、通常サイズの探索範囲のマッチングにより現在のフレームの画素単位の奥行き値が生成され、その画素単位の奥行き値に基づいてサブ画素単位の奥行き値が生成される。
【０１３１】
第３実施の形態では、オクルージョン領域以外の領域のうちの動きがない領域において、第１実施の形態と同様に、前フレームのサブ画素単位の奥行き値が現在のフレームのサブ画素単位の奥行き値として用いられる。一方、動きがある領域であり、かつ、動きが小さい領域において、第２実施の形態の動きがある領域の場合と同様に、通常サイズより小さいサイズの探索範囲でサブ画素単位の奥行き値が生成される。
【０１３２】
また、動きがある領域であり、かつ、動きが大きい領域、および、オクルージョン領域において、第２実施の形態のオクルージョン領域の場合と同様に、通常サイズの探索範囲でサブ画素単位の奥行き値が生成される。
【０１３３】
第４実施の形態では、前フレームと現在のフレームの基準視点の画像の差分が大きい領域と小さい領域で処理が異なる。
【０１３４】
具体的には、差分が大きい領域では、毎フレームでサブ画素単位の奥行き値が生成される。一方、差分が小さい領域では、１０フレームに１回の頻度でサブ画素単位の奥行き値が生成される。
【０１３５】
＜第５実施の形態＞
（本開示を適用した符号化装置の一実施の形態の構成例）
図１７は、本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
【０１３６】
図１７の符号化装置１２０は、基準画像取得部１２１、周辺画像取得部１２２、奥行き画像生成部１２３、および符号化部１２４により構成される。符号化装置１２０は、基準視点の画像、周辺視点の画像、および基準視点の奥行き画像を符号化する。
【０１３７】
符号化装置１２０の基準画像取得部１２１は、図示せぬ外部の撮像装置により撮像された基準視点の画像を取得し、奥行き画像生成部１２３と符号化部１２４に供給する。
【０１３８】
周辺画像取得部１２２は、図示せぬ外部の撮像装置により撮像された周辺視点の画像を取得し、奥行き画像生成部１２３と符号化部１２４に供給する。
【０１３９】
奥行き画像生成部１２３は、上述した画像処理装置の第１乃至第４実施の形態のいずれかにより構成される。奥行き画像生成部１２３は、基準画像取得部１２１からの基準視点の画像と、周辺画像取得部１２２からの周辺視点の画像とを用いて、基準視点の奥行き画像を生成し、符号化部１２４に供給する。
【０１４０】
符号化部１２４は、基準画像取得部１２１からの基準視点の画像、周辺画像取得部１２２からの周辺視点の画像、および奥行き画像生成部１２３からの奥行き画像を符号化する。奥行き画像の符号化方式としては、AVC（Advanced Video Coding）方式，MVC（Multiview Video Coding）方式，HEVC（High Efficiency Video Coding）方式等を採用することができる。符号化部１２４は、符号化の結果得られる符号化ストリームを伝送する。
【０１４１】
（復号装置の一実施の形態の構成例）
図１８は、図１７の符号化装置１２０により生成された符号化ストリームを復号する復号装置の一実施の形態の構成例を示すブロック図である。
【０１４２】
図１８の復号装置１４０は、復号部１４１、基準画像出力部１４２、周辺画像出力部１４３、および奥行き画像生成部１４４により構成される。
【０１４３】
復号装置１４０の復号部１４１は、符号化装置１２０から伝送されてくる符号化ストリームを取得する。復号部１４１は、符号化装置１２０の符号化方式に対応する方式で符号化ストリームを復号し、基準視点の画像、周辺視点の画像、および基準視点の奥行き画像を生成する。復号部１４１は、基準視点の画像を基準画像出力部１４２に供給し、周辺視点の画像を周辺画像出力部１４３に供給し、基準視点の奥行き画像を奥行き画像出力部１４４に供給する。
【０１４４】
基準画像出力部１４２は、復号部１４１から供給される基準視点の画像を出力する。周辺画像出力部１４３は、復号部１４１から供給される周辺視点の画像を出力する。奥行き画像出力部１４４は、復号部１４１から供給される奥行き画像を出力する。
【０１４５】
＜第６実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１４６】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４７】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１４８】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１４９】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１５０】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１５１】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１５２】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１５３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５４】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５５】
例えば、第２乃至第４実施の形態では、奥行き値をサブ画素単位で生成するのではなく、画素単位で生成するようにしてもよい。
【０１５６】
また、第１乃至第３実施の形態では、動きベクトルに基づく領域分割が奥行き生成部１６（６１，８１）により行われたが、領域分割は予測生成部１５により行われるようにしてもよい。
【０１５７】
この場合、奥行き生成部１６および６１には、画素ごとに設定された奥行き値の生成を行うかどうかを表すフラグ、即ち動きがある領域であるかどうかを表すフラグが予測生成部１５から供給される。また、奥行き生成部８１には、画素ごとに設定された奥行き値の生成を行うかどうか、および、探索範囲を限定するかどうかを表すフラグが予測生成部１５から供給される。即ち、各画素が、動きがない領域、大きい動きがある領域、および小さい動きがある領域のいずれの領域内の画素であるかを表すフラグが、奥行き生成部８１から予測生成部１５に供給される。
【０１５８】
さらに、第１乃至第３実施の形態では、現在のフレームの動きベクトルに基づいて領域が分割されたが、動きベクトルの履歴に基づいて領域が分割されるようにしてもよい。
【０１５９】
また、例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１６０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１６１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１６２】
本開示は、以下のような構成もとることができる。
【０１６３】
（１）
カレントフレームの画像と前記カレントフレームより前のフレームの画像とに基づいて、前記前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像を、前記カレントフレームの奥行き画像として生成する奥行き生成部
を備える画像処理装置。
（２）
前記奥行き生成部は、前記カレントフレームの画像と前記前のフレームの画像の間の変化に基づいて、前記奥行き画像を生成する
前記（１）に記載の画像処理装置。
（３）
前記カレントフレームの画像と前記前のフレームの画像とに基づいて、前記カレントフレームの画像の動きベクトルを検出する検出部
をさらに備え、
前記奥行き生成部は、前記検出部により検出された前記動きベクトルに基づいて、前記前のフレームの奥行き画像を、前記カレントフレームの奥行き画像として生成する
前記（２）に記載の画像処理装置。
（４）
前記奥行き生成部は、前記動きベクトルの動き量が第１の閾値以下である場合、前記前のフレームの奥行き画像を、前記カレントフレームの奥行き画像として生成する
前記（３）に記載の画像処理装置。
（５）
前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きい場合、前記前のフレームの奥行き画像に基づいて、前記カレントフレームの奥行き画像を生成する
前記（４）に記載の画像処理装置。
（６）
前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きい場合、前記前のフレームのサブ画素単位の奥行き画像を用いて前記カレントフレームの画素単位の奥行き画像を生成し、前記カレントフレームの画素単位の奥行き画像に基づいて、前記カレントフレームのサブ画素単位の奥行き画像を生成する
前記（５）に記載の画像処理装置。
（７）
前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きい場合、前記前のフレームの奥行き画像に基づいて限定された探索範囲でマッチングを行うことにより、前記カレントフレームの奥行き画像を生成する
前記（５）に記載の画像処理装置。
（８）
前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きく、第２の閾値以下である場合、前記前のフレームの奥行き画像に基づいて限定された探索範囲でマッチングを行うことにより、前記カレントフレームの奥行き画像を生成する
前記（７）に記載の画像処理装置。
（９）
前記探索範囲のサイズは、前記動き量に応じたサイズである
前記（７）または（８）に記載の画像処理装置。
（１０）
前記カレントフレームの画像と前記前のフレームの画像との差分を検出する検出部
をさらに備え、
前記奥行き生成部は、前記検出部により検出された前記差分が閾値以下である場合、前記前のフレームの画像の奥行き画像を前記カレントフレームの奥行き画像として生成する頻度にしたがって、前記カレントフレームの奥行き画像を生成する
前記（１）または（２）に記載の画像処理装置。
（１１）
前記奥行き生成部は、前記検出部により検出された前記差分が前記閾値より大きい場合、前記前のフレームの画像の奥行き画像を前記カレントフレームの奥行き画像として生成する頻度より少ない頻度にしたがって、前記カレントフレームの奥行き画像を生成する
前記（１０）に記載の画像処理装置。
（１２）
前記奥行き生成部により生成される前記奥行き画像を符号化する符号化部
をさらに備える
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
画像処理装置が、
カレントフレームの画像と前記カレントフレームより前のフレームの画像とに基づいて、前記前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像を、前記カレントフレームの奥行き画像として生成する奥行き生成ステップ
を含む画像処理方法。
【符号の説明】
【０１６４】
１０  画像処理装置，  １３  検出部，  １６  奥行き生成部，  ６０  画像処理装置，  ６１  奥行き生成部，  ８０  画像処理装置，  ８１  奥行き生成部，  １００  画像処理装置，  １０１  検出部，  １２０  符号化装置，  １２３  奥行き画像生成部，  １２４  符号化部
【図１】
2015019204.tif 000003
【図２】
2015019204.tif 000004
【図３】
2015019204.tif 000005
【図４】
2015019204.tif 000006
【図５】
2015019204.tif 000007
【図６】
2015019204.tif 000008
【図７】
2015019204.tif 000009
【図８】
2015019204.tif 000010
【図９】
2015019204.tif 000011
【図１０】
2015019204.tif 000012
【図１１】
2015019204.tif 000013
【図１２】
2015019204.tif 000014
【図１３】
2015019204.tif 000015
【図１４】
2015019204.tif 000016
【図１５】
2015019204.tif 000017
【図１６】
2015019204.tif 000018
【図１７】
2015019204.tif 000019
【図１８】
2015019204.tif 000020
【図１９】
2015019204.tif 000021