(57)【要約】【課題】  深さ情報が含まれていない２Ｄの単眼映像を３Ｄビデオ（Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｖｉｄｅｏ）に変換するときに、必要な深さ情報を提供することができる深さ推定装置および方法と、この深さ推定装置および方法を用いた３Ｄビデオ変換装置および方法を開示する。【解決手段】  入力映像に対する特性（ｆｅａｔｕｒｅ）情報を抽出し、抽出された特性情報を用いて入力映像の各部分の奥行き方向の成分である深さ（ｄｅｐｔｈ）値を推定する深さ推定装置を開示する。【選択図】      図１
2010136371.tif 000002
【特許請求の範囲】
【請求項１】
入力映像から該入力映像の特徴を示す少なくとも１つの特性情報を抽出する特性情報抽出部と、
前記特性情報抽出部で抽出された前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定する深さ設定部と、
を備えることを特徴とする深さ推定装置。
【請求項２】
前記少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、およびヒストグラム情報のうちの少なくとも１つであることを特徴とする請求項１に記載の深さ推定装置。
【請求項３】
前記深さ設定部は、
前記入力映像内の異なる位置の部分を、互いに異なる初期深さ値に設定する深さマップ初期化部、
を備えることを特徴とする請求項１に記載の深さ推定装置。
【請求項４】
前記深さ設定部は、
前記入力映像の少なくとも１つの画素の初期深さ値を設定し、前記設定された初期深さ値を深さマップに格納する深さマップ初期化部と、
前記初期深さ値に基づいてフィルタリングを実行することによって、前記入力映像の前記部分の前記深さ値を演算し、前記演算された深さ値に基づいて前記深さマップを更新する深さ更新部と、
を備えることを特徴とする請求項１に記載の深さ推定装置。
【請求項５】
前記特性情報抽出部は、
前記少なくとも１つの特性情報に基づいて前記少なくとも１つの注目画素と該注目画素に隣接する隣接画素の間の加重値を演算し、
前記深さ更新部は、前記加重値に基づいて前記フィルタリングを実行することを特徴とする請求項４に記載の深さ推定装置。
【請求項６】
前記深さマップ初期化部は、
前記少なくとも１つの特性情報に基づいて前記初期深さ値を設定し、前記初期深さ値を前記深さマップに格納することを特徴とする請求項４に記載の深さ推定装置。
【請求項７】
前記入力映像のカラー空間を変換したり、または
前記入力映像が予め設定されたビデオストリームにエンコードされた映像の場合、前記入力映像をデコーディングして前記入力映像のモーションベクトルを抽出する前処理部、
をさらに備えることを特徴とする請求項４に記載の深さ推定装置。
【請求項８】
前記入力映像を予め設定された解像度でダウンスケーリングするダウンスケーリング部と、
前記ダウンスケーリングされた入力映像の少なくとも１つの画素の第２初期深さ値を設定し、前記第２初期深さ値を第２深さマップに格納する第２深さマップ初期化部と、
前記ダウンスケーリングされた入力映像から他の少なくとも１つの第２特性情報を抽出する第２特性情報抽出部と、
前記少なくとも１つの第２特性情報および前記第２初期深さ値に基づいてフィルタリングを実行することによって、前記ダウンスケーリングされた入力映像の第２深さ値を演算し、前記第２深さ値を用いて前記第２深さマップを更新する第２深さ更新部と、
前記入力映像の解像度に基づいて、前記更新された第２深さマップをアップスケーリングするアップスケーリング部と、
をさらに備え、
前記深さマップ初期化部は、前記アップスケーリングされた第２深さマップに格納された深さ値に基づいて前記初期深さ値を設定することを特徴とする請求項４に記載の深さ推定装置。
【請求項９】
前記深さ設定部は、
前記入力映像の複数の画素を少なくとも１つのブロックにそれぞれグルーピングすることによって、前記入力映像の前記少なくとも１つのブロックの初期深さを設定し、前記初期深さ値を深さマップに格納する深さマップ初期化部と、
前記初期深さ値に基づいてフィルタリングを実行することによって、前記少なくとも１つのブロックの第２深さ値を演算し、前記第２深さ値に基づいて前記深さマップを更新する深さ更新部と、
を備えることを特徴とする請求項１に記載の深さ推定装置。
【請求項１０】
前記複数の画素に基づいて前記更新された深さマップをアップスケーリングするアップスケーリング部、
をさらに備えることを特徴とする請求項９に記載の深さ推定装置。
【請求項１１】
前記入力映像に対して予め存在して予め設定された深さ値は、知らされないか存在せず、前記深さ設定部が初期に前記少なくとも１つの特性情報のみに基づいて前記入力映像の前記部分の前記深さ値を設定することを特徴とする請求項１に記載の深さ推定装置。
【請求項１２】
入力映像から該入力映像の特徴を示す少なくとも１つの特性情報を抽出する特性情報抽出部と、
前記特性情報抽出部で抽出された前記少なくとも１つの特性情報に基づいて、前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定する深さ設定部と、
前記入力映像の前記各部分に設定された深さ値を用いて前記入力映像を３Ｄビデオにレンダリングするレンダリング部と、
を備えることを特徴とする３Ｄビデオ変換装置。
【請求項１３】
前記深さ設定部は、
前記入力映像の異なる位置の部分を、互いに異なる初期深さ値に設定する深さマップ初期化部、
を備えることを特徴とする請求項１２に記載の深さ推定装置。
【請求項１４】
前記深さ設定部は、
前記入力映像の少なくとも１つの画素の初期深さ値を設定し、前記少なくとも１つの画素の前記設定された初期深さを深さマップに格納する深さマップ初期化部と、
前記初期深さ値に基づいてフィルタリングを実行することによって、前記入力映像の前記部分の前記深さ値を演算し、前記演算された深さ値を用いて前記深さマップを更新する深さ更新部と、
を備え、
前記レンダリング部は、前記更新された深さマップを用いて前記入力映像を前記３Ｄビデオにレンダリングすることを特徴とする請求項１２に記載の３Ｄビデオ変換装置。
【請求項１５】
前記特性情報抽出部は、
前記少なくとも１つの特性情報に基づいて前記少なくとも１つの注目画素と該注目画素に隣接する隣接画素の間の加重値を演算し、
前記深さ更新部は、
前記加重値に基づいて前記フィルタリングを実行することを特徴とする請求項１４に記載の３Ｄビデオ変換装置。
【請求項１６】
前記入力映像を予め設定された解像度でダウンスケーリングするダウンスケーリング部と、
前記ダウンスケーリングされた入力映像の少なくとも１つの画素の第２初期深さ値を設定し、前記第２初期深さ値を第２深さマップに格納する第２深さマップ初期化部と、
前記ダウンスケーリングされた入力映像から少なくとも１つの第２特性情報を抽出する第２特性情報抽出部と、
前記少なくとも１つの第２特性情報および前記第２初期深さ値に基づいてフィルタリングを実行することによって、前記ダウンスケーリングされた入力映像の第２深さ値を演算し、前記第２深さ値を用いて前記第２深さマップを更新する第２深さ更新部と、
前記入力映像の解像度に基づいて前記更新された第２深さマップをアップスケーリングするアップスケーリング部と、
をさらに備え、
前記深さマップ初期化部は、前記アップスケーリングされた第２深さマップに格納された深さ値に基づいて前記初期深さ値を設定することを特徴とする請求項１４に記載の３Ｄビデオ変換装置。
【請求項１７】
前記少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報のうちのいずれか１つ以上であることを特徴とする請求項１２に記載の３Ｄビデオ変換装置。
【請求項１８】
前記深さ設定部は、
前記入力映像の複数の画素を少なくとも１つのブロックにそれぞれグルーピングすることによって、前記入力映像の前記少なくとも１つのブロックに対する初期深さ値を設定し、前記初期深さ値を深さマップに格納する深さマップ初期化部と、
前記初期深さ値に基づいてフィルタリングを実行して前記少なくとも１つのブロックに対する第２深さ値を演算し、前記第２深さ値を用いて前記深さマップを更新する深さ更新部と、
を備えることを特徴とする請求項１２に記載の３Ｄビデオ変換装置。
【請求項１９】
前記複数の画素に基づいて前記更新された深さマップをアップスケーリングするアップスケーリング部、
をさらに備え、
前記レンダリング部は、前記アップスケーリングされた深さマップを用いて前記入力映像を３Ｄビデオにレンダリングすることを特徴とする請求項１８に記載の３Ｄビデオ変換装置。
【請求項２０】
前記入力映像に対して予め存在して予め設定された深さ値は、知らされないか存在せず、前記深さ設定部が初期に前記少なくとも１つの特性情報のみに基づいて前記入力映像の前記部分の前記深さ値を設定することを特徴とする請求項１２に記載の３Ｄビデオ変換装置。
【請求項２１】
入力映像から該入力映像の特徴を示す少なくとも１つの特性情報を抽出するステップと、
前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定するステップと、
を含むことを特徴とする深さ推定方法。
【請求項２２】
前記入力映像の前記部分に対する深さ値を設定するステップは、
前記入力映像内で前記入力映像の前記部分の位置特性に基づいて前記入力映像の前記部分の初期深さを設定し、互いに異なる位置特性を有する前記入力映像の部分が互いに異なる初期深さを有するように設定するステップ、
をさらに含むことを特徴とする請求項２１に記載の深さ推定方法。
【請求項２３】
前記深さを設定するステップは、
前記入力映像の少なくとも１つの画素の初期深さ値を設定し、前記初期深さ値を深さマップに格納するステップと、
前記初期深さ値に基づいてフィルタリングを実行することによって、前記入力映像の前記部分の前記深さ値を演算し、前記演算された深さ値に基づいて前記深さマップを更新するステップと、
を含むことを特徴とする請求項２１に記載の深さ推定方法。
【請求項２４】
前記少なくとも１つの特性情報を抽出するステップは、
前記少なくとも１つの特性情報に基づいて前記少なくとも１つの注目画素と該注目画素に隣接する隣接画素の間の加重値を演算するステップ、
を含み、
前記深さマップを更新するステップは、
前記加重値を考慮して前記フィルタリングを実行することを特徴とする請求項２３に記載の深さ推定方法。
【請求項２５】
前記入力映像を予め設定された解像度でダウンスケーリングするステップと、
前記ダウンスケーリングされた入力映像の少なくとも１つの画素の第２初期深さ値を設定し、前記第２初期深さ値を第２深さマップに格納するステップと、
前記ダウンスケーリングされた入力映像から少なくとも１つの第２特性情報を抽出するステップと、
前記少なくとも１つの第２特性情報および前記第２初期深さ値に基づいてフィルタリングすることによって、前記ダウンスケーリングされた入力映像の第２深さ値を演算し、前記第２深さ値を用いて前記第２深さマップを更新するステップと、
前記入力映像の解像度に基づいて前記更新された第２深さマップをアップスケーリングするステップと、
をさらに含み、
前記少なくとも１つの画素の前記初期深さ値を設定するステップは、
前記アップスケーリングされた第２深さマップに格納された深さに基づいて前記初期深さを設定するステップ、
をさらに含むことを特徴とする請求項２３に記載の深さ推定方法。
【請求項２６】
前記少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報のうちのいずれか１つ以上であることを特徴とする請求項２１に記載の深さ推定方法。
【請求項２７】
前記深さ値を設定するステップは、
前記入力映像の複数の画素を少なくとも１つのブロックにそれぞれグルーピングすることによって、前記入力映像の前記少なくとも１つのブロックの初期深さ値を設定し、前記初期深さ値を深さマップに格納するステップと、
前記初期深さ値に基づいてフィルタリングを実行することによって、前記少なくとも１つのブロックの第２深さ値を演算し、前記第２深さ値に基づいて前記深さマップを更新するステップと、
を含むことを特徴とする請求項１７に記載の深さ推定方法。
【請求項２８】
前記複数の画素に基づいて前記更新された深さマップをアップスケーリングするステップ、
をさらに含むことを特徴とする請求項２７に記載の深さ推定方法。
【請求項２９】
前記入力映像に対して予め存在して予め設定された深さ値は、知らされていないか存在せず、前記深さ設定部が初期に前記少なくとも１つの特性情報のみに基づいて前記入力映像の前記部分の前記深さ値を設定することを特徴とする請求項２１に記載の深さ推定方法。
【請求項３０】
入力映像から、該入力映像の特徴を示す少なくとも１つの特性情報を抽出するステップと、
前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定するステップと、
前記入力映像の各部分の前記設定された深さ値を用いて前記入力映像を３Ｄビデオにレンダリングするステップと、
を含むことを特徴とする３Ｄビデオ変換方法。
【請求項３１】
前記深さ値を設定する前記ステップは、
前記入力映像内の異なる位置の部分を異なる初期深さ値に設定するステップ、
をさらに含むことを特徴とする請求項３０に記載の３Ｄビデオ変換方法。
【請求項３２】
前記深さ値を設定するステップは、
前記入力映像の少なくとも１つの画素の初期深さ値を設定し、前記設定された初期深さ値を深さマップに格納するステップと、
前記初期深さ値に基づいてフィルタリングを実行することによって、前記入力映像の前記各部分の前記深さ値を演算し、前記演算された深さ値に基づいて前記深さマップを更新するステップと、
を含み、
前記入力映像を前記３Ｄビデオにレンダリングするステップは、前記更新された深さマップを用いて前記入力映像を前記３Ｄビデオにレンダリングすることを特徴とする請求項３０に記載の３Ｄビデオ変換方法。
【請求項３３】
前記少なくとも１つの特性情報を抽出するステップは、
前記少なくとも１つの特性情報に基づいて前記少なくとも１つの注目画素と該注目画素に隣接する隣接画素の間の加重値を演算するステップ、
を含み、
前記深さマップを更新するステップは、前記加重値を考慮して前記フィルタリングを実行することを特徴とする請求項３２に記載の３Ｄビデオ変換方法。
【請求項３４】
前記入力映像を予め設定された解像度でダウンスケーリングするステップと、
前記ダウンスケーリングされた入力映像の少なくとも１つの画素の第２初期深さ値を設定し、前記第２初期深さ値を第２深さマップに格納するステップと、
前記ダウンスケーリングされた入力映像の少なくとも１つの第２特性情報を抽出するステップと、
前記少なくとも１つの第２特性情報および前記第２初期深さ値に基づいてフィルタリングを実行することによって、前記ダウンスケーリングされた入力映像の第２深さ値を演算し、前記第２深さ値を用いて前記第２深さマップを更新するステップと、
前記入力映像の解像度に基づいて前記更新された第２深さマップをアップスケーリングするステップと、
をさらに含み、
前記少なくとも１つの画素の前記初期深さ値を設定する前記ステップは、前記アップスケーリングされた第２深さマップに格納された深さ値に基づいて前記初期深さ値を設定することを特徴とする請求項３２に記載の３Ｄビデオ変換装置。
【請求項３５】
前記少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報のうちのいずれか１つ以上であることを特徴とする請求項３４に記載の３Ｄビデオ変換方法。
【請求項３６】
前記深さ値を設定するステップは、
前記入力映像の複数の画素を少なくとも１つのブロックにそれぞれグルーピングすることによって、前記入力映像の前記少なくとも１つのブロックの初期深さ値を設定し、前記初期深さ値を深さマップに格納するステップと、
前記初期深さ値に基づいてフィルタリングを実行することによって、前記少なくとも１つのブロックの第２深さ値を演算し、前記第２深さ値に基づいて前記深さマップを更新するステップと、
を含むことを特徴とする請求項３４に記載の３Ｄビデオ変換方法。
【請求項３７】
前記複数の画素に基づいて前記更新された深さマップをアップスケーリングするステップ、
をさらに含み、
前記レンダリングするステップは、前記アップスケーリングされた深さマップを用いて前記入力映像を３Ｄビデオにレンダリングすることを特徴とする請求項３６に記載の３Ｄビデオ変換方法。
【請求項３８】
前記入力映像に対して予め存在して予め設定された深さ値は、知らされていないか存在せず、前記深さ設定部が初期に前記少なくとも１つの特性情報のみに基づいて前記入力映像の前記部分の前記深さ値を設定することを特徴とする請求項３０に記載の３Ｄビデオ変換方法。
【請求項３９】
入力映像から、該入力映像の特徴を示す少なくとも１つの特性情報を抽出する特性情報抽出部と、
前記特性情報抽出部で抽出された前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行きに応じた深さ値を設定する深さ設定部と、
を備えることを特徴とする深さ推定装置。
【請求項４０】
前記少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報のうちの少なくとも１つであることを特徴とする請求項３９に記載の深さ推定装置。
【請求項４１】
前記深さ設定部は、
前記入力映像内の異なる位置の部分を異なる初期深さ値に設定する深さマップ初期化部、
をさらに備えることを特徴とする請求項３９に記載の深さ推定装置。
【請求項４２】
前記深さ設定部は、
前記入力映像の少なくとも１つの画素の初期深さ値を設定し、前記初期深さ値を深さマップに格納する深さマップ初期化部と、
前記初期深さ値に基づいてフィルタリングを実行することによって、前記入力映像の前記部分の前記深さ値を演算し、前記演算された深さ値に基づいて前記深さマップを更新する深さ更新部と、
を備えることを特徴とする請求項３９に記載の深さ推定装置。
【請求項４３】
前記特性情報抽出部は、
前記少なくとも１つの特性情報に基づいて前記少なくとも１つの注目画素と該注目画素に隣接する隣接画素の間の加重値を演算し、
前記深さ更新部は、
前記加重値に基づいて前記フィルタリングを実行することを特徴とする請求項４２に記載の深さ推定装置。
【請求項４４】
前記深さマップ初期化部は、
前記少なくとも１つの特性情報に基づいて前記初期深さ値を設定し、前記初期深さ値を前記深さマップに格納することを特徴とする請求項４２に記載の深さ推定装置。
【請求項４５】
前記入力映像のカラー空間を変更したり、または他の映像に相対的である前記入力映像に対するモーションベクトルを抽出する前処理部、
をさらに備えることを特徴とする請求項４２に記載の深さ推定装置。
【請求項４６】
前記入力映像を予め設定された解像度でダウンスケーリングするダウンスケーリング部と、
前記ダウンスケーリングされた入力映像の少なくとも１つの画素の第２初期深さ値を設定し、前記第２初期深さ値を第２深さマップに格納する第２深さマップ初期化部と、
前記ダウンスケーリングされた入力映像から少なくとも１つの第２特性情報を抽出する第２特性情報抽出部と、
前記少なくとも１つの第２特性情報および前記第２初期深さ値に基づいてフィルタリングを実行することによって、前記ダウンスケーリングされた入力映像の第２深さ値を演算し、前記第２深さ値を用いて前記第２深さマップを更新する第２深さ更新部と、
前記入力映像の解像度に基づいて前記更新された第２深さマップをアップスケーリングするアップスケーリング部と、
をさらに含み、
前記深さマップ初期化部は、前記アップスケーリングされた第２深さマップに格納された深さに基づいて前記初期深さ値を設定することを特徴とする請求項４２に記載の深さ推定装置。
【請求項４７】
前記深さ設定部は、
前記入力映像の複数の画素を少なくとも１つのブロックにそれぞれグルーピングすることによって、前記入力映像の前記少なくとも１つのブロックの初期深さ値を設定し、前記初期深さ値を深さマップに格納する深さマップ初期化部と、
前記初期深さ値に基づいてフィルタリングを実行することによって、前記少なくとも１つのブロックの第２深さ値を演算し、前記第２深さ値に基づいて前記深さマップを更新する深さ更新部と、
を備えることを特徴とする請求項３９に記載の深さ推定装置。
【請求項４８】
前記複数の画素に基づいて前記更新された深さマップをアップスケーリングするアップスケーリング部、
をさらに備えることを特徴とする請求項４７に記載の深さ推定装置。
【請求項４９】
前記入力映像に対して予め存在して予め設定された深さ値は、知らされないか存在せず、前記深さ設定部が初期に前記少なくとも１つの特性情報のみに基づいて前記入力映像の前記部分の前記深さ値を設定することを特徴とする請求項３９に記載の深さ推定装置。
【請求項５０】
前記入力映像の前記部分の前記設定された深さ値を用いて前記入力映像を３Ｄビデオにレンダリングするレンダリング部、
をさらに備えることを特徴とする請求項３９に記載の深さ推定装置。
【請求項５１】
入力映像から少なくとも１つの特性情報を抽出するステップと、
前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定するステップと、
を含むことを特徴とする深さ推定方法。
【請求項５２】
前記入力映像の前記部分の前記深さ値を設定するステップは、
前記入力映像内で前記入力映像の前記部分の位置特性に基づいて前記入力映像の前記部分の初期深さ値を設定し、互いに異なる位置特性を有する前記入力映像の部分が互いに異なる初期深さ値を有するように設定されるようにするステップ、
をさらに含むことを特徴とする請求項５１に記載の深さ推定方法。
【請求項５３】
前記深さ値を設定するステップは、
前記入力映像の少なくとも１つの画素の初期深さ値を設定し、前記初期深さ値を深さマップに格納するステップと、
前記初期深さ値に基づいてフィルタリングを実行することによって、前記入力映像の前記部分の前記深さ値を演算し、前記演算された深さ値に基づいて前記深さマップを更新するステップと、
を含むことを特徴とする請求項５１に記載の深さ推定方法。
【請求項５４】
前記少なくとも１つの特性情報を抽出するステップは、
前記少なくとも１つの特性情報に基づいて前記少なくとも１つの注目画素と該注目画素に隣接する隣接画素の間の加重値を演算するステップと、
前記深さマップを更新するステップは、
前記加重値に基づいて前記フィルタリングを実行することを特徴とする請求項５３に記載の深さ推定方法。
【請求項５５】
前記入力映像を予め設定された解像度でダウンスケーリングするステップと、
前記ダウンスケーリングされた入力映像の少なくとも１つの画素の第２初期深さを設定し、前記第２初期深さ値を第２深さマップに格納するステップと、
前記ダウンスケーリングされた入力映像から少なくとも１つの第２特性情報を抽出するステップと、
前記少なくとも１つの第２特性情報および前記第２初期深さ値に基づいてフィルタリングを実行することによって、前記ダウンスケーリングされた入力映像の第２深さ値を演算し、前記第２深さ値を用いて前記第２深さマップを更新するステップと、
前記更新された第２深さマップを前記入力映像の解像度に基づいてアップスケーリングするステップと、
をさらに含み、
少なくとも１つの画素の前記初期深さ値を設定する前記ステップは、
前記アップスケーリングされた第２深さマップに格納された深さ値に基づいて前記初期深さ値を設定することを特徴とする請求項５３に記載の深さ推定方法。
【請求項５６】
前記少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報のうちのいずれか１つ以上であることを特徴とする請求項５１に記載の深さ推定装置。
【請求項５７】
前記深さ値を設定する前記ステップは、
前記入力映像の複数の画素を少なくとも１つのブロックにそれぞれグルーピングすることによって、前記入力映像の前記少なくとも１つのブロックの初期深さ値を設定し、前記初期深さ値を深さマップに格納するステップと、
前記初期深さ値に基づいてフィルタリングを実行することによって、前記少なくとも１つのブロックの第２深さ値を演算し、前記第２深さ値に基づいて前記深さマップを更新するステップと、
を含むことを特徴とする請求項５１に記載の深さ推定方法。
【請求項５８】
前記複数の画素に基づいて前記更新された深さマップをアップスケーリングするステップ、
をさらに含むことを特徴とする請求項５７に記載の深さ推定方法。
【請求項５９】
前記入力映像に対して予め存在して予め設定された深さ値は、知らされないか存在せず、前記深さ設定部が初期に前記少なくとも１つの特性情報のみに基づいて前記入力映像の前記部分の前記深さ値を設定することを特徴とする請求項５１に記載の深さ推定方法。
【請求項６０】
前記入力映像の前記部分の前記設定された深さ値を用いて前記入力映像を３Ｄビデオにレンダリングするステップ、
をさらに含むことを特徴とする請求項５１に記載の深さ推定方法。
【請求項６１】
請求項２１の方法を少なくとも１つの処理装置が実行するように制御するコンピュータ読み取り可能なコードを記録したコンピュータ読み取り可能な記録媒体。
【請求項６２】
請求項３０の方法を少なくとも１つの処理装置が実行するように制御するコンピュータ読み取り可能なコードを記録したコンピュータ読み取り可能な記録媒体。
【請求項６３】
請求項５１の方法を少なくとも１つの処理装置が実行するように制御するコンピュータ読み取り可能なコードを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深さ推定装置および方法と３Ｄビデオ変換装置および方法に関し、より詳細には、深さ情報が含まれていない２Ｄの単眼映像を３Ｄビデオ（Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｖｉｄｅｏ）に変換するときに、必要な深さ情報を提供することができる深さ推定装置および方法と深さ推定装置および方法を用いた３Ｄビデオ変換装置および方法に関する。
【背景技術】
【０００２】
最近、３Ｄビデオへの関心が増幅するに伴い、３Ｄビデオに関する研究が活発に進められている。
【０００３】
一般的に、人間は、両目間の視差によって立体感を最も大きく感じるものと知られている。したがって、３Ｄビデオは、人間のこのような特性を用いて実現することができる。例えば、特定の被写体を、視聴者の左目を用いて見させる左目映像と視聴者の右目を用いて見させる右目映像とに区別し、左目映像と右目映像を同時に表示することによって視聴者が特定の被写体を３Ｄビデオとして見ることができるようにする。結局、３Ｄビデオは、左目映像と右目映像とに区分された両眼（ｂｉｎｏｃｕｌａｒ）映像を製作し、これを表示することによって実現することができる。
【０００４】
深さ情報がない単眼（ｍｏｎｏｃｕｌａｒ）２Ｄビデオを３Ｄビデオに変換するためには、２Ｄビデオに深さ情報を付加してレンダリング（ｒｅｎｄｅｒｉｎｇ）する作業が必要となる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
入力映像に対する少なくとも１つの特性（ｆｅａｔｕｒｅ）を考慮して入力映像を３Ｄビデオに変換するのに必要な深さを推定する装置および方法と、これを用いて入力映像を３Ｄビデオに変換する装置および方法を提供することによって、２Ｄビデオが３Ｄビデオに変換されるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
１つ以上の実施形態は、深さ情報が提供されなくても、２Ｄビデオのための深さ情報（ｄｅｐｔｈ  ｉｎｆｏｒｍａｔｉｏｎ）を生成するレンダリングプロセス（ｒｅｎｄｅｒｉｎｇ  ｐｒｏｃｅｓｓ）を介して実行される深さ測定を有し、深さ測定および／または単眼２Ｄビデオ（ｍｏｎｏｃｕｌａｒ  ２Ｄ  ｖｉｄｅｏ）を３Ｄビデオ（３Ｄ  ｖｉｄｅｏ）に変換する装置およびシステムを提供する。
【０００７】
１つ以上の実施形態は、入力映像（ｉｎｐｕｔ  ｖｉｄｅｏ）から入力映像の特徴を示す少なくとも１つの特性情報（ｆｅａｔｕｒｅ  ｉｎｆｏｒｍａｔｉｏｎ）を抽出する特性情報抽出部（ｆｅａｔｕｒｅ  ｉｎｆｏｒｍａｔｉｏｎ  ｅｘｔｒａｃｔｉｏｎ  ｕｎｉｔ）と、前記特性情報抽出部で抽出された前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定する深さ設定部（ｄｅｐｔｈ  ｅｓｔａｂｌｉｓｈｍｅｎｔ  ｕｎｉｔ）とを備える深さ推定装置（ａｐｐａｒａｔｕｓ  ｆｏｒ  ｅｓｔｉｍａｔｉｇ  ｄｅｐｔｈ）を提供することができる。なお、ここで、前記特性情報は、前記入力映像のある予め設定された深さ値（ｐｒｅ−ｅｓｔａｂｌｉｓｈｅｄ  ｄｅｐｔｈ  ｖａｌｕｅｓ）とは、独立した異なる値である。
【０００８】
１つ以上の実施形態は、入力映像から少なくとも１つの特性情報を抽出する特性情報抽出部と、前記入力映像の部分に対する前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定する深さ設定部と、前記入力映像の前記部分の前記設定された深さ値を用いて前入力映像を３Ｄビデオにレンダリング（ｒｅｎｄｅｒｉｎｇ）するレンダリング部とを備える３Ｄビデオ変換装置を提供する。
【０００９】
１つ以上の実施形態は、入力映像から少なくとも１つの特性情報を抽出するステップと、前記入力映像の部分に対する前記少なくとも１つの特性情報に基づいて前記入力映像の前記部分に対する深さ値を設定するステップとを含む深さ推定方法を提供する。
【００１０】
１つ以上の実施形態は、入力映像の特徴を示す少なくとも１つの特性情報を抽出するステップと、前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を用いて前記入力映像を３Ｄビデオにレンダリングするステップとを含む３Ｄビデオ変換方法を提供する。
【００１１】
１つ以上の実施形態は、入力映像から、入力映像の特徴を示す少なくとも１つの特性情報を抽出する抽出部と、前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定する設定部とを備える深さ推定装置を提供する。
【００１２】
１つ以上の実施形態は、入力映像から入力映像の特徴を示す少なくとも１つの特性情報を抽出するステップと、前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定するステップとを含む深さ推定方法を提供する。
【発明の効果】
【００１３】
入力映像に対する少なくとも１つの特性を考慮して入力映像を３Ｄビデオに変換するための深さ値を推定する装置および方法と、これを用いて入力映像を３Ｄビデオに変換する装置および方法を提供することによって、２Ｄビデオが３Ｄビデオに変換されるようにすることができる。
【図面の簡単な説明】
【００１４】
【図１】１つ以上の実施形態に係る深さ推定装置の構造を示す図である。
【図２】１つ以上の実施形態に係る深さ推定装置の構造を示す図である。
【図３】１つ以上の実施形態に係る深さ推定装置の構造を示す図である。
【図４】１つ以上の実施形態に係る深さ推定装置の構造を示す図である。
【図５】１つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。
【図６】１つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。
【図７】１つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。
【図８】１つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。
【図９】１つ以上の実施形態に係る深さ推定方法を示すフローチャートである。
【図１０】１つ以上の実施形態に係る深さ推定方法を示すフローチャートである。
【図１１】１つ以上の実施形態に係る深さ推定方法を示すフローチャートである。
【図１２】１つ以上の実施形態に係る深さ推定方法を示すフローチャートである。
【図１３】１つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。
【図１４】１つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。
【図１５】１つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。
【図１６】１つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、添付の図面を参照しながら、本発明の実施形態について詳しく説明する。
【００１６】
図１は、１つ以上の実施形態に係る深さ推定装置の構造を示す図である。ここで、深さ推定装置１２０は、例えば、特性情報抽出部１２１と、深さ設定部１２２とを備えることができる。ここで、後述する説明全般に渡り、「装置」という用語は、１つのエンクロージャ（ｅｎｃｌｏｓｕｒｅ）に制限されたり、または各要素がそれぞれ１つのエンクロージャに実現されることに制限されるものではなく、物理システム（ｐｈｙｓｉｃａｌ  ｓｙｓｔｅｍ）の要素と同義語として理解されなければならない。むしろ、実施形態により、「装置」は、互いに異なる構成要素を用いて互いに異なるエンクロージャおよび／または装置に分離されて実現されたり、または結合して実現されることができる。他の例として、それぞれの装置／システムまたは方法は、さらに１つ以上のプロセッシングエレメント／装置（ｐｒｏｃｅｓｓｉｎｇ  ｅｌｅｍｅｎｔｓ／ｄｅｖｉｃｅｓ）を介して制御することもでき、または分散ネットワークによって実現することもできる。さらに、追加的かつ代案的な実施形態も同様に可能である。
【００１７】
深さ推定装置１２０に入力ビデオ１１０が提供されれば、特性情報抽出部１２１は、入力ビデオ１１０に対する少なくとも１つの特性情報を抽出して深さ設定部１２２に提供する。
【００１８】
１つ以上の実施形態によれば、入力ビデオ１１０は、深さ情報を有さない単眼映像とすることができる。他の例として、入力ビデオ１１０は、空間的に交互的なステレオビデオ、時間的に交互的なステレオビデオ、および深さ情報を有する単眼ビデオとすることができる。
【００１９】
また、１つ以上の実施形態によれば、特性情報抽出部１２１が抽出する特性情報は、映像の特徴を示す情報であり、例えば、境界（ｅｄｇｅ）情報、カラー（ｃｏｌｏｒ）情報、輝度（ｌｕｍｉｎａｎｃｅ）情報、モーション（ｍｏｔｉｏｎ）情報、および／またはヒストグラム（ｈｉｓｔｏｇｒａｍ）情報などを示している。なお、特性情報としては、上記の情報の他の代案例も可能である。また、特性情報は、ビデオのフレームのように１つの映像に対する情報とすることもでき、複数の映像またはフレームに対する情報とすることもでき、ビデオに対する情報とすることもできる。
【００２０】
深さ設定部１２２は、特性情報抽出部１２１から提供される少なくとも１つの特性情報に基づいて入力ビデオ１１０に対する深さ値を設定する。深さ値は、例えば、入力ビデオ１１０を構成する各部分の奥行き方向の成分の情報である。
【００２１】
深さ推定装置１２０は、このように、入力ビデオ１１０の特徴に応じた特性情報に基づいて入力ビデオ１１０に深さ値を設定することによって、２Ｄの入力ビデオ１１０を立体ビデオ（Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｖｉｄｅｏ）（以下、「３Ｄビデオ」とする）に変換することができる。もし、入力ビデオの１つ以上の深さ情報が既に存在すれば、深さ推定部１２０は、抽出された特性情報に基づいて入力ビデオの１つ以上の画素に対する深さを推定するために、入力ビデオを変換したり修正することができる。少なくとも１つの特性情報は、予め存在したり、または予め設定された１つ以上の画素の深さ値と独立する。ここで、１つ以上の画素に対する深さの測定は、予め存在したり、または予め設定された深さ値および抽出された特性情報すべてに基づいたり、または抽出された特性情報のみに基づくことができる。代案的に、例えば、入力ビデオに対して予め存在したり、予め設定された深さ値が存在しなければ、入力ビデオは、ある事前の深さ情報を有さない単なる２Ｄビデオとすることができる。これが存在しないために、抽出された少なくとも１つの特性情報は、予め存在したり、予め設定された深さ値から独立的となる。
【００２２】
１つ以上の実施形態によれば、深さ推定装置１２０は、図１に示された実施形態だけではなく、多様な実施形態で実現することができる。したがって、以下では、図２〜図４を参照しながら、深さ推定装置１２０の多様な実施形態について詳察する。
【００２３】
図２は、１つ以上の実施形態に係る深さ推定装置の構造を示す図である。ここで、深さ推定装置２２０は、例えば、特性情報抽出部２２３と、深さ設定部２２６とを備えることができる。一実施形態によれば、深さ設定部２２６は、例えば、深さマップ初期化部（ｄｅｐｔｈ  ｍａｐ  ｉｎｉｔｉａｌｉｚａｔｉｏｎ  ｕｎｉｔ）２２２と、深さ更新部（ｄｅｐｔｈ  ｕｐｄａｔｅ  ｕｎｉｔ）２２５とを備えることができる。
【００２４】
深さ推定装置２２０に入力ビデオ２１０が提供されれば、深さマップ初期化部２２２は、入力ビデオ２１０を構成する予め設定された少なくとも１つの画素（ｐｉｘｅｌ）に対する初期深さ値（ｉｎｉｔｉａｌ  ｄｅｐｔｈ）を設定して深さマップ２２４に格納する。少なくとも１つの画素は、入力ビデオ２１０のフレームのように１つの映像に対する情報とすることもでき、入力ビデオ２１０の複数の映像またはフレームに対する情報とすることもできる。例えば、識別されたオブジェクトに対応する１つのフレームの部分の深さが単純に他のフレームにおける同じオブジェクトに適当されることができる。
【００２５】
１つ以上の実施形態によれば、入力ビデオ２１０は、単眼ビデオとすることができる。
【００２６】
また、１つ以上の実施形態によれば、深さマップ初期化部２２２は、入力ビデオ２１０シーケンス（ｓｅｑｕｅｎｃｅ）の各フレーム（ｆｒａｍｅ）ごとに初期深さ値を設定して深さマップ２２４に格納することができる。
【００２７】
また、１つ以上の実施形態によれば、深さマップ初期化部２２２は、初期深さ値を、下記式（１）を用いて設定することができる。
【００２８】
【数１】
2010136371.tif 000003
【００２９】
ここで、ｘとｙは入力ビデオ２１０内（入力ビデオのフレーム内）におけるイメージ座標、すなわち、入力ビデオ２１０の２次元平面上での位置示す座標を意味し、ｚは、それぞれの座標の奥行きに応じた深さを示す座標を意味する。このとき、ｚは、例えば、視点（ｖｉｅｗ  ｐｏｉｎｔ）から入力ビデオ２１０に表現される被写体の距離に応じて０〜１の間の値とすることができる。例えば、被写体が観察者から遠く離れていれば被写体の深さは深くなり、この場合にｚ値は１に近い値とすることができる。反対に、被写体が観察者の近くに位置していれば被写体の深さは浅くなり、この場合にｚ値は０に近い値とすることができる。さらに、Ｎは、入力ビデオ２１０を構成するイメージの水平ラインの個数を意味する。
【００３０】
式（１）を詳察すれば、初期深さ値は、入力ビデオ２１０を構成するイメージのｙ座標値が依存することが分かる。一般的に、入力ビデオ２１０に表現される被写体の場合、入力ビデオ２１０の上端に位置する被写体は、入力ビデオ２１０の下端に位置する被写体よりも遠い距離に位置している。
【００３１】
したがって、このような特性を用いて入力ビデオ２１０の上端に位置する被写体を入力ビデオ２１０の下端に位置する被写体よりも深さを深くすることによって、初期深さ値を設定することができる。
【００３２】
このように、深さ推定装置２２０が深さマップ初期化部２２２を介して初期深さ値を設定して深さマップ２２４に格納すれば、ユーザは深さマップ２２４に格納されている初期深さ値を用いて２Ｄの入力ビデオ２１０を３Ｄビデオに変換するためのレンダリング作業を行うことによって、推定された深さマップ情報を用いて入力ビデオ２１０を３Ｄビデオに変換することができる。
【００３３】
しかしながら、深さマップ初期化部２２２が設定した初期深さ値は、入力ビデオ２１０の少なくとも１つの画素間の特性を考慮して平滑化（ｓｍｏｏｔｈｉｎｇ）した深さ値ではないという点において、初期深さ値を用いて変換された３Ｄビデオは多少不正確な深さを有することがある。
【００３４】
したがって、１つ以上の実施形態に係る深さ推定装置２２０は、深さマップ初期化部２２２が設定した初期深さ値に基づき、入力ビデオ２１０の少なくとも１つの画素間の特性情報を用いて深さ値を適切に調節することによって、深さがない入力ビデオ２１０に比較的正確な深さ情報を付与することができる。
【００３５】
このために、特性情報抽出部２２３は、入力ビデオ２１０に対する少なくとも１つの特性情報を抽出して深さ更新部２２５に提供する。
【００３６】
１つ以上の実施形態によれば、特性情報抽出部２２２が抽出する少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などとすることができる。
【００３７】
その後、深さ更新部２２５は、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリング（ｆｉｌｔｅｒｉｎｇ）を実行して入力ビデオ２１０に対する最終的な深さ値を演算し、演算された深さ値を用いて深さマップ２２４を更新する。
【００３８】
１つ以上の実施形態によれば、特性情報抽出部２２２は、少なくとも１つの特性情報に基づいて入力ビデオ２１０の少なくとも１つの注目画素とその注目画素に隣接する隣接画素との間の加重値（ｗｅｉｇｈｔ）を演算することができる。
【００３９】
このとき、１つ以上の実施形態によれば、特性情報抽出部２２３は、少なくとも１つの注目画素とその注目画素に隣接する隣接画素との間の特性情報の類似度に依存するように加重値を演算することができる。
【００４０】
また、１つ以上の実施形態によれば、深さ更新部２２５は、特性情報抽出部２２３で演算された加重値を考慮してフィルタリングを実行することができる。
【００４１】
これに関し、特性情報抽出部２２３および深さ更新部２２５の動作について、例を挙げて詳しく説明する。
【００４２】
特性情報抽出部２２３が入力ビデオ２１０に対する輝度情報を抽出すれば、輝度情報に基づいて加重値が演算される。
【００４３】
特性情報抽出部２２３は、輝度情報の類似度に応じて入力ビデオ２１０を構成する少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算することができる。
【００４４】
例えば、特性情報抽出部２２３が入力ビデオ２１０を構成するａ画素と、ａ画素と隣接したｘ画素、ｙ画素、ｚ画素、およびｗ画素の間の加重値を演算すると仮定する。もし、ｘ画素、ｙ画素、ｚ画素、およびｗ画素の順でａ画素の輝度と類似するとすれば、ｘ画素、ｙ画素、ｚ画素、およびｗ画素の順に加重値の大きさが決定されるようになる。
【００４５】
その後、深さ更新部２２５は、深さマップ２２４に格納されているｘ画素、ｙ画素、ｚ画素、およびｗ画素の初期深さ値を特性情報抽出部２２３で演算された加重値の大きさに応じて反映してａ画素の第１（ａ）深さ値を算定した後、深さマップ２２４に格納されているａ画素の初期深さ値を第１（ａ）深さ値に更新することができる。
【００４６】
これと同時に、深さ更新部２２５は、ａ画素の場合と同じ方法で、ｘ画素、ｙ画素、ｚ画素、およびｗ画素に対してそれぞれの隣接画素との加重値を考慮して、ｘ画素、ｙ画素、ｚ画素、およびｗ画素それぞれに対する第１（ｂ）深さ値を算定した後、深さマップ２２４に格納されているｘ画素、ｙ画素、ｚ画素、およびｗ画素の初期深さ値を第１（ｂ）深さ値に更新することができる。
【００４７】
ｘ画素、ｙ画素、ｚ画素、およびｗ画素の初期深さ値が第１（ｂ）深さ値に更新されれば、深さ更新部２２５は、ｘ画素、ｙ画素、ｚ画素、およびｗ画素の第１（ｂ）深さ値をａ画素と、ｘ画素、ｙ画素、ｚ画素、およびｗ画素の間の加重値の大きさに応じて反映してａ画素に対する新たな第２（ａ）深さ値を算定した後、深さマップ２２４に格納されているａ画素の第１（ａ）深さ値を第２（ａ）深さ値に更新することができる。
【００４８】
この場合にも、深さ更新部２２５は、ａ画素の場合と同じ方法で、深さマップ２２４に格納されているｘ画素、ｙ画素、ｚ画素、およびｗ画素の第１（ｂ）深さ値をそれぞれの隣接した画素との加重値を考慮して、第２（ｂ）深さ値に更新することができる。
【００４９】
このように、深さ更新部２２５は、上述した深さ値を更新する過程を継続して繰り返すことによって、深さマップ２２４に格納されている深さ値をフィルタリングすることができる。
【００５０】
結局、１つ以上の実施形態に係る深さ推定装置２２０は、入力ビデオ２１０の少なくとも１つの画素に対して、少なくとも１つの注目画素とその注目画素に隣接した隣接画素の間の特性情報に基づいて深さ値を適切に調節することによって、入力ビデオ２１０が比較的正確な深さを有する３Ｄビデオに変換されるようにできる。
【００５１】
これに関し、１つ以上の実施形態によれば、特性情報抽出部２２３は、加重値を、下記式（２）を用いて演算することができる。
【００５２】
【数２】
2010136371.tif 000004
【００５３】
ここで、ωは加重値、（ｘ，ｙ）は入力ビデオ２１０の少なくとも１つの画素に対する座標を、（ｘ’，ｙ’）は少なくとも１つの画素（ｘ，ｙ）に隣接した画素に対する座標を、Ｙは入力ビデオ２１０に対する少なくとも１つの特性情報を、σはフィルタパラメータを意味する。
【００５４】
また、１つ以上の実施形態によれば、深さ更新部２２５は、下記式（３）を用いて深さマップ２２４に格納されている深さ値を更新することができる。
【００５５】
【数３】
2010136371.tif 000005
【００５６】
ここで、ｚ（ｘ，ｙ）は入力ビデオ２１０を構成する少なくとも１つの画素の深さを、ｚ（ｘ’，ｙ’）は少なくとも１つの画素に隣接した画素の深さを、ωは加重値を、ｋは正規化因子を意味する。
【００５７】
上述したように、深さ更新部２２５は、例えば、式（３）の演算を繰り返し実行することによって、深さマップ２２４に格納されている深さ値を更新することができる。
【００５８】
１つ以上の実施形態によれば、深さマップ初期化部２２２は、少なくとも１つの特性情報を用いて初期深さ値を設定した後、初期深さ値を深さマップ２２４に格納することができる。
【００５９】
これにより、深さマップ初期化部２２２は、多少平滑化が実行された初期深さ値を設定することができる。
【００６０】
結局、１つ以上の実施形態に係る深さ推定装置２２０は、深さマップ初期化部２２２を介して多少平滑化が実行された初期深さ値を設定することによって、深さ更新部２２５が深さマップ２２４に格納された深さ値を平滑化するために実行しなければならない反復演算の複雑性を減らすことができる。
【００６１】
このとき、１つ以上の実施形態によれば、深さ推定装置２２０は、特性情報抽出部２２３の他にもさらに異なる特性情報抽出部（図示せず）を備えることができる。
【００６２】
この場合、深さマップ初期化部２２２は、さらに異なる特性情報抽出部から少なくとも１つの特性情報が提供されて初期深さ値を設定することができる。
【００６３】
１つ以上の実施形態によれば、深さ推定装置２２０は、入力ビデオ２１０がより柔軟な深さを有する３Ｄビデオに変換が可能なように、深さマップ２２４を後処理する後処理部（図示せず）をさらに備えることができる。
【００６４】
また、１つ以上の実施形態によれば、深さ推定装置２２０は、前処理部２２１をさらに備えることができる。
【００６５】
前処理部２２１は、入力ビデオ２１０のカラー空間（ｃｏｌｏｒ  ｓｐａｃｅ）を変換したり、入力ビデオ２１０が予め設定された（ｐｒｅｄｅｔｅｒｍｉｎｅｄ）ビデオストリームにエンコードされた映像の場合、入力ビデオ２１０をデコーディングして入力ビデオ２１０のモーションベクトルを抽出することができる。
【００６６】
もし、前処理部２２１が入力ビデオ２１０のカラー空間を変換する機能を実行する場合、特性情報抽出部２２３は、入力ビデオ２１０の特性情報をより正確に抽出することができる。
【００６７】
例えば、入力ビデオ２１０がＲＧＢカラー空間やＹＣｂＣｒカラー空間でなされている映像の場合、前処理部２２１は、入力ビデオ２１０のカラー空間をＬ＊ｕ＊ｖ＊カラー空間に変換することによって、特性情報抽出部２２３が入力ビデオ２１０の特性情報をより正確に抽出するようにできる。
【００６８】
また、前処理部２２１が入力ビデオ２１０をデコーディングして入力ビデオ２１０のモーションベクトルを抽出する機能を実行する場合、特性情報抽出部２２３は、モーションベクトルを用いて入力ビデオ２１０の特性情報を抽出することができる。
【００６９】
図３は、１つ以上の実施形態に係る深さ推定装置の構造を示す図である。深さ推定装置（ｄｅｐｔｈ  ｅｓｔｉｍａｔｉｏｎ  ａｐｐａｒａｔｕｓ）３２０は、例えば、特性情報抽出部（ｆｅａｔｕｒｅ  ｉｎｆｏｒｍａｔｉｏｎ  ｅｘｔｒａｃｔｉｏｎ  ｕｎｉｔ）３２２と、アップスケーリング部（ｕｐ−ｓｃａｌｌｉｎｇ  ｕｎｉｔ）３２５と、深さ設定部（ｄｅｐｔｈ  ｅｓｔａｂｌｉｓｈｍｅｎｔ  ｕｎｉｔ）３２６とを備えることができる。また、１つ以上の実施形態によれば、深さ設定部３２６は、深さマップ初期化部（ｄｅｐｔｈ  ｍａｐ  ｉｎｉｔｉａｌｉｚａｔｉｏｎ  ｕｎｉｔ）３２１と、深さ更新部（ｄｅｐｔｈ  ｕｐｄａｔｅ  ｕｎｉｔ）３２４とを備えることができる。
【００７０】
深さマップ初期化部３２１は、入力ビデオ３１０の複数の画素を少なくとも１つのブロック（ｂｌｏｃｋ）に区分した後、少なくとも１つのブロックに対する初期深さ値を設定して深さマップ３２３に格納する。
【００７１】
例えば、入力ビデオ３１０の複数の画素がａ、ｂ、ｃ、ｄ、ｅ、ｆ画素であると仮定すれば、深さマップ初期化部３２１は、この複数の画素を（ａ，ｂ）、（ｃ，ｄ）、（ｅ，ｆ）のように互いに隣接した画素どうし少なくとも１つのブロックに区分した後、少なくとも１つのブロックに対する初期深さ値を設定して深さマップ３２３に格納することができる。
【００７２】
１つ以上の実施形態によれば、入力ビデオ３１０は、単眼ビデオとすることができる。また、１つ以上の実施形態によれば、深さマップ初期化部３２１は、式（１）または、例えば他の特徴によって初期深さ値を設定することができる。
【００７３】
このとき、（ｘ，ｙ）は、少なくとも１つのブロックに対する座標を意味する。
【００７４】
特性情報抽出部３２２は、入力ビデオ３１０に対する少なくとも１つの特性情報を抽出して深さ更新部３２４に提供する。
【００７５】
１つ以上の実施形態によれば、特性情報抽出部３２２が抽出する少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【００７６】
深さ更新部３２４は、特性情報抽出部３２２から抽出された少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して少なくとも１つのブロックに対する第２深さ値を演算し、第２深さ値を用いて深さマップ３２３を更新する。
【００７７】
１つ以上の実施形態によれば、特性情報抽出部３２２は、少なくとも１つの特性情報に基づいて少なくとも１つの注目ブロックとその注目ブロックに隣接する隣接ブロックとの間の加重値を演算することができる。
【００７８】
このとき、１つ以上の実施形態によれば、特性情報抽出部３２２は、少なくとも１つの注目ブロックとその注目ブロックに隣接する隣接ブロックの間の特性情報の類似度に依存するように加重値を演算することができる。
【００７９】
このとき、１つ以上の実施形態によれば、特性情報抽出部３２２は、式（２）を用いて加重値を演算することができる。
【００８０】
このとき、（ｘ，ｙ）は少なくとも１つの注目ブロックに対する座標を示し、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を示す。
【００８１】
また、１つ以上の実施形態によれば、深さ更新部３２４は、特性情報抽出部３２２で演算された加重値を考慮してフィルタリングを実行することができる。
【００８２】
このとき、１つ以上の実施形態によれば、深さ更新部３２４は、式（３）を用いてフィルタリングを実行することができる。
【００８３】
このとき、（ｘ，ｙ）は少なくとも１つの注目ブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。
【００８４】
アップスケーリング部３２５は、更新された深さマップ３２３を複数の画素単位でアップスケーリングする。
【００８５】
結局、１つ以上の実施形態に係る深さ推定装置３２０は、入力ビデオ３１０の複数の画素を少なくとも１つのブロックに区分して深さマップ３２３を生成した後にこれをアップスケーリングすることによって、比較的単純な演算によって入力ビデオ３１０を３Ｄビデオに変換するための深さマップを生成することができる。
【００８６】
１つ以上の実施形態によれば、深さマップ初期化部３２１は、特性情報抽出部３２２から抽出された少なくとも１つの特性情報を用いて初期深さ値を設定した後、初期深さ値を深さマップ３２３に格納することができる。
【００８７】
これにより、深さマップ初期化部３２１は、多少平滑化が実行された初期深さ値を設定することができる。
【００８８】
結局、１つ以上の実施形態に係る深さ推定装置３２０は、深さマップ初期化部３２１を介して多少平滑化が実行された初期深さ値を設定することによって、深さ更新部３２４が深さマップ３２３に格納された深さ値を平滑化するために実行しなければならない反復演算の複雑性を減らすことができる。
【００８９】
このとき、１つ以上の実施形態によれば、深さ推定装置３２０は、特性情報抽出部３２２の他にもさらに異なる特性情報抽出部（図示せず）を備えることができる。
【００９０】
この場合、深さマップ初期化部３２１は、さらに異なる特性情報抽出部から少なくとも１つの特性情報が提供されて初期深さ値を設定することができる。
【００９１】
１つ以上の実施形態によれば、深さ推定装置３２０は、入力ビデオ３１０がより柔軟な深さを有する３Ｄビデオに変換が可能なように、アップスケーリングされた深さマップを後処理する後処理部（図示せず）をさらに備えることができる。
【００９２】
また、１つ以上の実施形態によれば、深さ推定装置３２０は、前処理部（図示せず）をさらに備えることができる。
【００９３】
前処理部は、入力映像３２０のカラー空間を変換したり、入力映像３２０が予め設定されたビデオストリームにエンコードされた映像の場合、入力映像３２０をデコーディングして入力映像３２０のモーションベクトルを抽出することができる。
【００９４】
もし、前処理部が入力映像３２０のカラー空間を変換する機能を実行する場合、特性情報抽出部３２２は、入力ビデオ３１０の特性情報をより正確に抽出することができる。
【００９５】
例えば、入力映像３２０がＲＧＢカラー空間やＹＣｂＣｒカラー空間でなされている映像の場合、前処理部は、入力映像３２０のカラー空間をＬ＊ｕ＊ｖ＊カラー空間に変換することによって、特性情報抽出部３２２が入力ビデオ３１０の特性情報をより正確に抽出するようにできる。
【００９６】
また、前処理部が入力ビデオ３１０をデコーディングして入力ビデオ３１０のモーションベクトルを抽出する機能を実行する場合、特性情報抽出部３２２は、モーションベクトルを用いて入力ビデオ３１０の特性情報を抽出することができる。
【００９７】
図４は、１つ以上の実施形態に係る深さ推定装置の構造を示す図である。深さ推定装置４３０は、特性情報抽出部４３８と、深さ設定部４４２とを備えることができる。１つ以上の実施形態によれば、深さ設定部４４２は、深さマップ初期化部４３７と、深さ更新部４４０とを備えることができる。
【００９８】
深さマップ初期化部４３７は、入力ビデオ４１０の少なくとも１つの画素に対する初期深さ値を設定して深さマップ４３９に格納する。
【００９９】
１つ以上の実施形態によれば、入力ビデオ４１０は、単眼映像とすることができる
【０１００】
特性情報抽出部４３８は、入力ビデオ４１０に対する少なくとも１つの特性情報を抽出して深さ更新部４４０に提供する。
【０１０１】
１つ以上の実施形態によれば、特性情報抽出部４３８が抽出する少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０１０２】
深さ更新部４４０は、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力ビデオ４１０に対する最終的な深さ値を演算し、この深さ値を用いて深さマップ４３９を更新する。
【０１０３】
１つ以上の実施形態によれば、特性情報抽出部４３８は、少なくとも１つの特性情報に基づいて入力ビデオ４１０の少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算することができる。
【０１０４】
このとき、１つ以上の実施形態によれば、特性情報抽出部４３８は、少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の特性情報の類似度に依存するように加重値を演算することができる。
【０１０５】
このとき、１つ以上の実施形態によれば、特性情報抽出部４３８は、式（２）を用いて加重値を演算することができる。
【０１０６】
また、１つ以上の実施形態によれば、深さ更新部４４０は、加重値を考慮してフィルタリングを実行することができる。
【０１０７】
このとき、１つ以上の実施形態によれば、深さ更新部４４０は、式（３）を用いてフィルタリングを実行することができる。
【０１０８】
１つ以上の実施形態に係る深さ推定装置４３０は、上述したように、深さマップ初期化部４３７が初期深さ値を設定すれば、深さ更新部４４０が少なくとも１つの特性情報を用いて深さマップ４３９を更新することによって、入力ビデオ４１０に対する深さ値を推定することができる。
【０１０９】
また、１つ以上の実施形態に係る深さ推定装置４３０は、入力ビデオ４１０をダウンスケーリング（ｄｏｗｎ−ｓｃａｌｉｎｇ）し、ダウンスケーリングされた入力映像に対する第２深さ値を推定した後に第２深さ値を初期深さ値として用いることによって、入力ビデオ４１０の深さ値を推定するための演算過程を簡素化することができる。
【０１１０】
これに関し、１つ以上の実施形態に係る深さ推定装置４３０は、ダウンスケーリング部４３１と、第２特性情報抽出部４３３と、第２深さ設定部４４１と、アップスケーリング部４３６とをさらに備えることができる。
【０１１１】
このとき、１つ以上の実施形態によれば、第２深さ設定部４４１は、第２深さマップ初期化部４３２と、第２深さ更新部４３５とを備えることができる。
【０１１２】
ダウンスケーリング部４３１は、深さ推定装置４３０に入力される入力ビデオ４１０を予め設定された解像度にダウンスケーリングする。
【０１１３】
例えば、入力ビデオ４１０の解像度が１０２４×７６８であれば、ダウンスケーリング部４３１は、入力ビデオ４１０を８００×６００の解像度にダウンスケーリングすることができる。
【０１１４】
第２深さマップ初期化部４３２は、ダウンスケーリング部４３１によってダウンスケーリングされた入力映像４２０の少なくとも１つの画素に対する第２初期深さ値を設定して第２深さマップ４３４に格納する。
【０１１５】
１つ以上の実施形態によれば、第２深さマップ初期化部４３２は、式（１）を用いて第２初期深さ値を設定することができる。
【０１１６】
第２特性情報抽出部４３３は、ダウンスケーリングされた入力映像４２０に対する少なくとも１つの第２特性情報を抽出して第２深さ更新部４３５に提供する。
【０１１７】
１つ以上の実施形態によれば、第２特性情報抽出部４３３が抽出する少なくとも１つの第２特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０１１８】
第２深さ更新部４３５は、少なくとも１つの第２特性情報および第２初期深さ値に基づいてフィルタリングを実行してダウンスケーリングされた入力映像４２０に対する第２深さ値を演算し、第２深さ値を用いて第２深さマップ４３４を更新する。
【０１１９】
１つ以上の実施形態によれば、第２特性情報抽出部４３３は、少なくとも１つの第２特性情報に基づいてダウンスケーリングされた入力映像４２０の少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の第２加重値を演算することができる。
【０１２０】
このとき、１つ以上の実施形態によれば、第２特性情報抽出部４３３は、少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の特性情報の類似度に依存するように第２加重値を演算することができる。
【０１２１】
このとき、１つ以上の実施形態によれば、第２特性情報抽出部４３３は、式（２）を用いて第２加重値を演算することができる。
【０１２２】
また、１つ以上の実施形態によれば、第２深さ更新部４３５は、第２加重値を考慮してフィルタリングを実行することができる。
【０１２３】
このとき、１つ以上の実施形態によれば、第２深さ更新部４３５は、式（３）を用いてフィルタリングを実行することができる。
【０１２４】
アップスケーリング部４３６は、更新された第２深さマップ４３４を入力ビデオ４１０に対する解像度に基づいてアップスケーリングして深さマップ初期化部４３７に提供する。
【０１２５】
このとき、１つ以上の実施形態によれば、アップスケーリング部４３６は、少なくとも１つの第２特性情報および少なくとも１つの特性情報を用いて第２深さマップ４３４をアップスケーリングすることができる。
【０１２６】
アップスケーリング部４３６が更新された第２深さマップ４３４をアップスケーリングすれば、深さマップ初期化部４３７は、アップスケーリングされた第２深さマップに格納された深さ値を、入力ビデオ４１０の少なくとも１つの画素に対する初期深さ値として設定して深さマップ４３９に格納する。
【０１２７】
このように、１つ以上の実施形態に係る深さ推定装置４３０は、ある程度フィルタリングがなされた深さ値を初期深さ値として設定することによって、深さ更新部４４０が入力ビデオ４１０に対する深さ値をフィルタリングし、深さマップ４３９を更新するために実行しなければならない演算の複雑度を減らすことができる。
【０１２８】
結局、１つ以上の実施形態に係る深さ推定装置４３０は、入力ビデオ４１０をダウンスケーリングした後、初期深さマップを生成する複合的な接近方法を用いて最終的に深さマップを生成することによって、入力ビデオ４１０の深さを推定するための全般的な演算過程を減らすことができる。
【０１２９】
ここで、図４に示された深さ推定装置４３０は、入力ビデオ４１０を１回ダウンスケーリングして深さマップを生成すると示されているが、本発明が必ずこれに限定されることはない。
【０１３０】
すなわち、１つ以上の実施形態によれば、深さ推定装置４３０は、入力ビデオ４１０をｎ回ダウンスケーリングし、ｎ番目にダウンスケーリングされた入力映像から深さマップを生成してこれをアップスケーリングすることによって、ｎ−１番目にダウンスケーリングされた入力映像の深さマップを生成するための初期深さマップとして用いることができる。また、ｎ−１番目にダウンスケーリングされた入力映像の深さマップの場合にも、これをアップスケーリングしてｎ−２番目にダウンスケーリングされた入力映像の深さマップを生成するための初期深さマップとして用いることができる。
【０１３１】
結局、１つ以上の実施形態に係る深さ推定装置４３０は、上述した過程を繰り返し実行して生成した深さマップを、最終的に入力ビデオ４１０の深さマップを生成するための初期深さマップとして用いることによって、入力ビデオ４１０の深さを推定するために実行しなければならない演算を簡素化することができる。
【０１３２】
以上では、図１〜４を参照しながら、深さ推定装置に関する本発明の多様な実施形態について詳察した。以下では、図５〜８を参照しながら、深さ推定装置を用いて入力映像を３Ｄビデオに変換する３Ｄビデオ変換装置に対する本発明の多様な実施形態について詳察する。
【０１３３】
図５は、１つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。３Ｄビデオ変換装置５２０は、例えば、特性情報抽出部５２１と、深さ設定部５２２と、レンダリング部５２３とを備えることができる。
【０１３４】
３Ｄビデオ変換装置５２０に入力ビデオ５１０が入力されれば、特性情報抽出部５２１は、入力ビデオ５１０に対する少なくとも１つの特性情報を抽出して深さ設定部５２２に提供する。
【０１３５】
１つ以上の実施形態によれば、入力ビデオ５１０は、単眼映像とすることができる。
【０１３６】
また、１つ以上の実施形態によれば、特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０１３７】
深さ設定部５２２は、特性情報抽出部５２１から提供される少なくとも１つの特性情報に基づいて入力ビデオ５１０に対する深さ値を設定する。
【０１３８】
結局、１つ以上の実施形態に係る３Ｄビデオ変換装置５２０は、入力ビデオ５１０の特性情報に基づいて入力ビデオ５１０に対する深さ値を設定し、この深さ値を用いて２Ｄの入力ビデオ５１０を３Ｄビデオにレンダリングすることによって、入力ビデオ５１０が３Ｄビデオに変換されるようにできる。
【０１３９】
１つ以上の実施形態によれば、３Ｄビデオ変換装置５２０は、図５に示された実施形態だけではなく、多様な実施形態に拡張することができる。したがって、以下では、図６〜８を参照しながら、３Ｄビデオ変換装置５２０の多様な実施形態について詳察する。
【０１４０】
図６は、１つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。
【０１４１】
３Ｄビデオ変換装置６２０は、特性情報抽出部６２２と、レンダリング部６２５と、深さ設定部６２６とを備えることができる。
【０１４２】
１つ以上の実施形態によれば、深さ設定部６２６は、深さマップ初期化部６２１と、深さ更新部６２４とを備えることができる。
【０１４３】
３Ｄビデオ変換装置６２０に入力ビデオ６１０が入力されれば、深さマップ初期化部６２１は、入力ビデオ６１０の少なくとも１つの画素に対する初期深さ値を設定して深さマップ６２３に格納する。
【０１４４】
１つ以上の実施形態によれば、入力ビデオ６１０は、単眼映像とすることができる。
【０１４５】
また、１つ以上の実施形態によれば、深さマップ初期化部６２１は、入力ビデオ６１０シーケンスの各フレームごとに初期深さ値を設定して深さマップ６２３に格納することができる。
【０１４６】
また、１つ以上の実施形態によれば、深さマップ初期化部６２１は、初期深さ値を、式（１）を用いて設定することができる。
【０１４７】
特性情報抽出部６２２は、入力ビデオ６１０に対する少なくとも１つの特性情報を抽出して深さ更新部６２４に提供する。
【０１４８】
１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０１４９】
深さ更新部６２４は、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力ビデオ６１０に対する最終的な深さ値を演算し、このように演算された深さ値を用いて深さマップ６２３を更新する。
【０１５０】
１つ以上の実施形態によれば、特性情報抽出部６２２は、少なくとも１つの特性情報に基づいて入力ビデオ６１０の少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算することができる。
【０１５１】
また、１つ以上の実施形態によれば、特性情報抽出部６２２は、少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の特性情報の類似度に依存するように加重値を演算することができる。
【０１５２】
このとき、１つ以上の実施形態によれば、特性情報抽出部６２２は、式（２）を用いて加重値を演算することができる。
【０１５３】
また、１つ以上の実施形態によれば、深さ更新部６２４は、加重値を考慮してフィルタリングを実行することができる。
【０１５４】
このとき、１つ以上の実施形態によれば、深さ更新部６２４は、式（３）を用いてフィルタリングを実行することができる。
【０１５５】
レンダリング部６２５は、深さ更新部６２４によって更新された深さマップ６２３を用いて入力ビデオ６１０を３Ｄビデオにレンダリングする。
【０１５６】
１つ以上の実施形態によれば、深さマップ初期化部６２１は、少なくとも１つの特性情報を用いて初期深さ値を設定した後、この初期深さ値を深さマップ６２３に格納することができる。
【０１５７】
これにより、深さマップ初期化部６２１は、多少平滑化が実行された初期深さ値を設定することができる。
【０１５８】
結局、１つ以上の実施形態に係る３Ｄビデオ変換装置６２０は、深さマップ初期化部６２１を介して多少平滑化が実行された初期深さ値を設定することによって、深さ更新部６２４が深さマップ６２３に格納された深さ値を平滑化するために実行しなければならない反復演算の複雑性を減らすことができる。
【０１５９】
このとき、１つ以上の実施形態によれば、３Ｄビデオ変換装置６２０は、特性情報抽出部６２２の他にもさらに異なる特性情報抽出部（図示せず）を備えることができる。
【０１６０】
この場合、深さマップ初期化部６２１は、さらに異なる特性情報抽出部から少なくとも１つの特性情報が提供されて初期深さ値を設定することができる。
【０１６１】
１つ以上の実施形態によれば、３Ｄビデオ変換装置６２０は、入力ビデオ６１０がより柔軟な深さを有する３Ｄビデオに変換が可能なように、深さマップ６２３を後処理する後処理部（図示せず）をさらに備えることができる。
【０１６２】
また、１つ以上の実施形態によれば、３Ｄビデオ変換装置６２０は、前処理部（図示せず）をさらに備えることができる。
【０１６３】
このような前処理部は、入力ビデオ６１０のカラー空間を変換したり、入力ビデオ６１０が予め設定されたビデオストリームにエンコードされた映像の場合、入力ビデオ６１０をデコーディングして入力ビデオ６１０のモーションベクトルを抽出する。
【０１６４】
もし、前処理部が入力ビデオ６１０のカラー空間を変換する機能を実行する場合、特性情報抽出部６２２は、入力ビデオ６１０の特性情報をより正確に抽出することができる。
【０１６５】
例えば、入力ビデオ６１０がＲＧＢカラー空間やＹＣｂＣｒカラー空間でなされている映像の場合、前処理部は、入力ビデオ６１０のカラー空間をＬ＊ｕ＊ｖ＊カラー空間に変換することによって、特性情報抽出部６２２が入力ビデオ６１０の特性情報をより正確に抽出するようにできる。
【０１６６】
また、前処理部が入力ビデオ６１０をデコーディングして入力ビデオ６１０のモーションベクトルを抽出する機能を実行する場合、特性情報抽出部６２２は、モーションベクトルを用いて入力ビデオ６１０の特性情報を抽出することができる。
【０１６７】
図７は、１つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。
【０１６８】
図７を参照すれば、３Ｄビデオ変換装置７２０が示されている。
【０１６９】
３Ｄビデオ変換装置７２０は、特性情報抽出部７２２と、アップスケーリング部７２５と、レンダリング部７２６と、深さ設定部７２７とを備えることができる。
【０１７０】
１つ以上の実施形態によれば、深さ設定部７２７は、深さマップ初期化部７２１と、深さ更新部７２４とを備えることができる。
【０１７１】
深さマップ初期化部７２１は、入力ビデオ７１０の複数の画素を少なくとも１つのブロックに区分した後、少なくとも１つのブロックに対する初期深さ値を設定して深さマップ７２３に格納する。
【０１７２】
例えば、入力ビデオ７１０の複数の画素をａ、ｂ、ｃ、ｄ、ｅ、ｆ画素と仮定すれば、深さマップ初期化部７２１は、複数の画素を（ａ，ｂ）、（ｃ，ｄ）、（ｅ，ｆ）のように互いに隣接した画素どうしを少なくとも１つのブロックに区分した後、少なくとも１つのブロックに対する初期深さ値を設定して深さマップ７２３に格納することができる。
【０１７３】
１つ以上の実施形態によれば、入力ビデオ７１０は、単眼映像とすることができる。
【０１７４】
また、１つ以上の実施形態によれば、深さマップ初期化部７２１は、式（１）を用いて初期深さ値を設定することができる。
【０１７５】
このとき、（ｘ，ｙ）は、少なくとも１つのブロックに対する座標を意味する。
【０１７６】
特性情報抽出部７２２は、入力ビデオ７１０に対する少なくとも１つの特性情報を抽出して深さ更新部７２４に提供する。
【０１７７】
１つ以上の実施形態によれば、特性情報抽出部７２２が抽出する少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０１７８】
深さ更新部７２４は、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して少なくとも１つのブロックに対する第２深さ値を演算し、第２深さ値を用いて深さマップ７２３を更新する。
【０１７９】
１つ以上の実施形態によれば、特性情報抽出部７２２は、少なくとも１つの特性情報に基づいて少なくとも１つの注目ブロックとその注目ブロックに隣接する隣接ブロックの間の加重値を演算することができる。
【０１８０】
このとき、１つ以上の実施形態によれば、特性情報抽出部７２２は、少なくとも１つの注目ブロックとその注目ブロックに隣接する隣接ブロックの間の特性情報の類似度に依存するように加重値を演算することができる。
【０１８１】
このとき、１つ以上の実施形態によれば、特性情報抽出部７２２は、式（２）を用いて加重値を演算することができる。
【０１８２】
このとき、（ｘ，ｙ）は少なくとも１つのブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。
【０１８３】
また、１つ以上の実施形態によれば、深さ更新部７２４は、加重値を考慮してフィルタリングを実行することができる。
【０１８４】
このとき、１つ以上の実施形態によれば、深さ更新部７２４は、式（３）を用いてフィルタリングを実行することができる。
【０１８５】
このとき、（ｘ，ｙ）は少なくとも１つのブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。
【０１８６】
アップスケーリング部７２５は、更新された深さマップ７２３を複数の画素単位でアップスケーリングする。
【０１８７】
レンダリング部７２６は、アップスケーリングされた深さマップを用いて入力ビデオ７１０を３Ｄビデオにレンダリングする。
【０１８８】
結局、１つ以上の実施形態に係る３Ｄビデオ変換装置７２０は、入力ビデオ７１０の複数の画素を少なくとも１つのブロックに区分して深さマップ７２３を生成した後にこれをアップスケーリングすることによって、比較的単純な演算によって入力ビデオ７１０を３Ｄビデオに変換することができる。
【０１８９】
１つ以上の実施形態によれば、深さマップ初期化部７２１は、少なくとも１つの特性情報を用いて初期深さ値を設定した後、初期深さ値を深さマップ７２３に格納することができる。
【０１９０】
これにより、深さマップ初期化部７２１は、多少平滑化が実行された初期深さ値を設定することができる。
【０１９１】
結局、１つ以上の実施形態に係る３Ｄビデオ変換装置７２０は、深さマップ初期化部７２１を介して多少平滑化が実行された初期深さ値を設定することによって、深さ更新部７２４が深さマップ７２３に格納された深さ値を平滑化するために実行しなければならない反復演算の複雑性を減らすことができる。
【０１９２】
このとき、１つ以上の実施形態によれば、３Ｄビデオ変換装置７２０は、特性情報抽出部７２２の他にもさらに異なる特性情報抽出部（図示せず）を備えることができる。
【０１９３】
この場合、深さマップ初期化部７２１は、さらに異なる特性情報抽出部から少なくとも１つの特性情報が提供されて初期深さ値を設定することができる。
【０１９４】
１つ以上の実施形態によれば、３Ｄビデオ変換装置７２０は、入力ビデオ７１０がより柔軟な深さを有する３Ｄビデオに変換が可能なように、アップスケーリングされた深さマップを後処理する後処理部（図示せず）をさらに備えることができる。
【０１９５】
また、１つ以上の実施形態によれば、３Ｄビデオ変換装置７２０は、前処理部（図示せず）をさらに備えることができる。
【０１９６】
前処理部は、入力ビデオ７１０のカラー空間を変換したり、入力ビデオ６１０が予め設定されたビデオストリームにエンコードされた映像である場合、入力ビデオ７１０をデコーディングして入力ビデオ７１０のモーションベクトルを抽出する。
【０１９７】
もし、前処理部が入力ビデオ７１０のカラー空間を変換する機能を実行する場合、特性情報抽出部７２２は、入力ビデオ７１０の特性情報をより正確に抽出することができる。
【０１９８】
例えば、入力ビデオ７１０がＲＧＢカラー空間やＹＣｂＣｒカラー空間でなされている映像の場合、前処理部は、入力ビデオ７１０のカラー空間をＬ＊ｕ＊ｖ＊カラー空間に変換することによって、特性情報抽出部７２２が入力ビデオ７１０の特性情報をより正確に抽出するようにできる。
【０１９９】
また、前処理部が入力ビデオ７１０をデコーディングして入力ビデオ７１０のモーションベクトルを抽出する機能を実行する場合、特性情報抽出部７２２は、モーションベクトルを用いて入力ビデオ７１０の特性情報を抽出することができる。
【０２００】
図８は、１つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。
【０２０１】
３Ｄビデオ変換装置８３０は、特性情報抽出部８３８と、深さ設定部８４３と、レンダリング部８４１とを備えることができる。
【０２０２】
このとき、１つ以上の実施形態によれば、深さ設定部８４３は、深さマップ初期化部８３７と、深さ更新部８４０とを備えることができる。
【０２０３】
深さマップ初期化部８３７は、入力ビデオ８１０の少なくとも１つの画素に対する初期深さ値を設定して深さマップ８３９に格納する。
【０２０４】
１つ以上の実施形態によれば、入力ビデオ８１０は、単眼映像とすることができる。
【０２０５】
特性情報抽出部８３８は、入力ビデオ８１０に対する少なくとも１つの特性情報を抽出して深さ更新部８４０に提供する。
【０２０６】
１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０２０７】
深さ更新部８４０は、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力ビデオ８１０に対する深さ値を演算し、深さ値を用いて深さマップ８３９を更新する。
【０２０８】
１つ以上の実施形態によれば、特性情報抽出部８３８は、少なくとも１つの特性情報に基づいて入力ビデオ８１０の少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算することができる。
【０２０９】
このとき、１つ以上の実施形態によれば、特性情報抽出部８３８は、少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の特性情報の類似度に依存するように加重値を演算することができる。
【０２１０】
このとき、１つ以上の実施形態によれば、特性情報抽出部８３８は、式（２）を用いて加重値を演算することができる。
【０２１１】
また、１つ以上の実施形態によれば、深さ更新部８４０は、加重値を考慮してフィルタリングを実行することができる。
【０２１２】
このとき、１つ以上の実施形態によれば、深さ更新部８４０は、式（３）を用いてフィルタリングを実行することができる。
【０２１３】
レンダリング部８４１は、更新された深さマップ８３９を用いて入力ビデオ８１０を３Ｄビデオにレンダリングする。
【０２１４】
１つ以上の実施形態に係る深さ推定装置８３０は、上述したように、深さマップ初期化部８３７が初期深さ値を設定すれば、深さ更新部８４０が少なくとも１つの特性情報を用いて深さマップ８３９を更新することによって、入力ビデオ８１０に対する深さ値を推定することができる。
【０２１５】
また、１つ以上の実施形態に係る深さ推定装置８３０は、入力ビデオ８１０をダウンスケーリングし、ダウンスケーリングされた入力映像に対する第２深さ値を推定した後に第２深さ値を初期深さ値として用いることによって、入力ビデオ８１０の深さ値を推定するための演算過程を簡素化することができる。
【０２１６】
これに関し、１つ以上の実施形態に係る深さ推定装置８３０は、ダウンスケーリング部８３１と、第２特性情報抽出部８３３と、第２深さ設定部８４２と、アップスケーリング部８３６とをさらに備えることができる。
【０２１７】
このとき、１つ以上の実施形態によれば、第２深さ設定部８４２は、第２深さマップ初期化部８３２と、第２深さ更新部８３５とを備えることができる。
【０２１８】
ダウンスケーリング部８３１は、３Ｄビデオ変換装置８３０に入力される入力ビデオ８１０を予め設定された解像度にダウンスケーリングする。
【０２１９】
例えば、入力ビデオ８１０の解像度が１０２４×７６８であれば、ダウンスケーリング部８３１は、入力ビデオ８１０を８００×６００の解像度にダウンスケーリングすることができる。
【０２２０】
１つ以上の実施形態によれば、入力ビデオ８１０は、単眼映像とすることができる。
【０２２１】
第２深さマップ初期化部８３２は、ダウンスケーリング部８３１によってダウンスケーリングされた入力映像８２０の少なくとも１つの画素に対する第２初期深さ値を設定して第２深さマップ８３４に格納する。
【０２２２】
１つ以上の実施形態によれば、第２深さマップ初期化部８３２は、式（１）を用いて第２初期深さ値を設定することができる。
【０２２３】
第２特性情報抽出部８３３は、ダウンスケーリングされた入力映像８２０に対する少なくとも１つの第２特性情報を抽出して第２深さ更新部８３５に提供する。
【０２２４】
１つ以上の実施形態によれば、第２特性情報抽出部８３３が抽出する少なくとも１つの第２特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０２２５】
第２深さ更新部８３５は、少なくとも１つの第２特性情報および第２初期深さ値に基づいてフィルタリングを実行してダウンスケーリングされた入力映像８２０に対する第２深さ値を演算し、第２深さ値を用いて第２深さマップ８３４を更新する。
【０２２６】
１つ以上の実施形態によれば、第２特性情報抽出部８３３は、少なくとも１つの第２特性情報に基づいてダウンスケーリングされた入力映像８２０の少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の第２加重値を演算することができる。
【０２２７】
このとき、１つ以上の実施形態によれば、第２特性情報抽出部８３３は、少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の特性情報の類似度に依存するように第２加重値を演算することができる。
【０２２８】
このとき、１つ以上の実施形態によれば、第２特性情報抽出部８３３は、式（２）を用いて第２加重値を演算することができる。
【０２２９】
また、１つ以上の実施形態によれば、第２深さ更新部８３５は、第２加重値を考慮してフィルタリングを実行することができる。
【０２３０】
このとき、１つ以上の実施形態によれば、第２深さ更新部８３５は、式（３）を用いてフィルタリングを実行することができる。
【０２３１】
アップスケーリング部８３６は、更新された第２深さマップ８３４を入力ビデオ８１０に対する解像度に基づいてアップスケーリングして深さマップ初期化部８３７に提供する。
【０２３２】
このとき、１つ以上の実施形態によれば、アップスケーリング部８３６は、少なくとも１つの第２特性情報および少なくとも１つの特性情報を用いて第２深さマップ８３４をアップスケーリングして深さマップ初期化部８３７に提供する。
【０２３３】
アップスケーリング部８３６が更新された第２深さマップ８３４をアップスケーリングして提供すれば、深さマップ初期化部８３７は、アップスケーリングされた第２深さマップに格納された深さ値を、入力ビデオ８１０の少なくとも１つの画素に対する初期深さ値として設定して深さマップ８３９に格納する。
【０２３４】
このように、ある程度フィルタリングがなされた深さ値を初期深さ値として設定することによって、深さ更新部８４０が入力ビデオ８１０に対する深さ値をフィルタリングし、深さマップ８３９を更新するために実行しなければならない演算の複雑度を減らすことができる。
【０２３５】
結局、１つ以上の実施形態に係る３Ｄビデオ変換装置８３０は、入力ビデオ８１０をダウンスケーリングした後、初期深さマップを生成する複合的な接近方法を用いて最終的に深さマップを生成することによって、入力ビデオ８１０の深さを推定するための全般的な演算過程を減らすことができる。
【０２３６】
ここで、図８に示された３Ｄビデオ変換装置８３０は、入力ビデオ８１０を１回ダウンスケーリングして深さマップを生成すると示されているが、本発明が必ずこれに限定されることはない。
【０２３７】
すなわち、１つ以上の実施形態によれば、３Ｄビデオ変換装置８３０は、入力ビデオ８１０をｎ回ダウンスケーリングし、ｎ番目にダウンスケーリングされた入力映像から深さマップを生成してこれをアップスケーリングすることによって、ｎ−１番目にダウンスケーリングされた入力映像の深さマップを生成するための初期深さマップとして用いることができる。また、ｎ−１番目にダウンスケーリングされた入力映像の深さマップの場合にも、これをアップスケーリングしてｎ−２番目にダウンスケーリングされた入力映像の深さマップを生成するための初期深さマップとして用いることができる。
【０２３８】
結局、１つ以上の実施形態に係る３Ｄビデオ変換装置８３０は、上述した過程を繰り返し実行して生成した深さマップを最終的に入力ビデオ８１０の深さマップを生成するための初期深さマップとして用いることで、入力ビデオ８１０の深さを推定するために実行しなければならない演算を簡素化することができる。
【０２３９】
図９は、１つ以上の実施形態に係る深さ推定方法を示すフローチャートである。
【０２４０】
ステップＳ９１０では、入力映像に対する少なくとも１つの特性情報を抽出する。
【０２４１】
１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０２４２】
ステップＳ９２０では、ステップＳ９１０で抽出した少なくとも１つの特性情報に基づいて入力映像に対する深さ値を設定する。
【０２４３】
１つ以上の実施形態によれば、深さ推定方法は、図９に示された方法の他にも多様な実施形態に拡張することができる。したがって、以下では、図１０〜１２を参照しながら、深さ推定方法に対する本発明の多様な実施形態について詳察する。
【０２４４】
図１０は、１つ以上の実施形態に係る深さ推定方法を示すフローチャートである。
【０２４５】
ステップＳ１０１０では、入力映像に対する少なくとも１つの特性情報を抽出する。
【０２４６】
１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０２４７】
ステップＳ１０２０では、少なくとも１つの画素に対する初期深さ値を設定して深さマップに格納する。
【０２４８】
１つ以上の実施形態によれば、ステップＳ１０２０では、式（１）を用いて初期深さ値を設定することができる。
【０２４９】
ステップＳ１０３０では、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力映像に対する最終的な深さ値を演算し、深さ値を用いて深さマップを更新する。
【０２５０】
１つ以上の実施形態によれば、ステップＳ１０１０では、少なくとも１つの特性情報に基づいて少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算するステップを含むことができる。
【０２５１】
このとき、１つ以上の実施形態によれば、加重値は式（２）を用いて演算することができる。
【０２５２】
また、１つ以上の実施形態によれば、ステップＳ１０３０では、加重値を考慮してフィルタリングを実行することができる。
【０２５３】
このとき、１つ以上の実施形態によれば、ステップＳ１０３０では、式（３）を用いてフィルタリングを実行することができる。
【０２５４】
図１１は、１つ以上の実施形態に係る深さ推定方法を示すフローチャートである。
【０２５５】
ステップＳ１１１０では、入力映像の複数の画素を少なくとも１つのブロックに区分した後、少なくとも１つのブロックに対する初期深さ値を設定して深さマップに格納する。
【０２５６】
１つ以上の実施形態によれば、ステップＳ１１１０では、式（１）を用いて初期深さ値を設定することができる。
【０２５７】
このとき、（ｘ，ｙ）は、少なくとも１つのブロックに対する座標を意味する。
【０２５８】
ステップＳ１１２０では、少なくとも１つのブロックに対する少なくとも１つの特性情報を抽出する。
【０２５９】
１つ以上の実施形態によれば、少なくとも１つのブロックに対する少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０２６０】
ステップＳ１１３０では、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して少なくとも１つのブロックに対する第２深さ値を演算し、第２深さ値を用いて深さマップを更新する。
【０２６１】
１つ以上の実施形態によれば、ステップＳ１１２０では、少なくとも１つの特性情報に基づいて少なくとも１つの注目ブロックとその注目ブロックに隣接する隣接ブロックの間の加重値を演算するステップを含むことができる。
【０２６２】
このとき、１つ以上の実施形態によれば、加重値は式（２）を用いて演算することができる。
【０２６３】
このとき、（ｘ，ｙ）は少なくとも１つの注目ブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。
【０２６４】
また、１つ以上の実施形態によれば、ステップＳ１１３０では、加重値を考慮してフィルタリングを実行することができる。
【０２６５】
このとき、１つ以上の実施形態によれば、ステップＳ１１３０では、式（３）を用いてフィルタリングを実行することができる。
【０２６６】
このとき、（ｘ，ｙ）は少なくとも１つの注目ブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。
【０２６７】
ステップＳ１１４０では、更新された深さマップを複数の画素単位にアップスケーリングする。
【０２６８】
図１２は、１つ以上の実施形態に係る深さ推定方法を示すフローチャートである。
【０２６９】
ステップＳ１２１０では、入力映像を予め設定された解像度でダウンスケーリングする。
【０２７０】
ステップＳ１２２０では、ダウンスケーリングされた入力映像の少なくとも１つの画素に対する第２初期深さ値を設定して第２深さマップに格納する。
【０２７１】
１つ以上の実施形態によれば、ステップＳ１２２０では、式（１）を用いて第２初期深さ値を設定することができる。
【０２７２】
ステップＳ１２３０では、ダウンスケーリングされた入力映像に対する少なくとも１つの第２特性情報を抽出する。
【０２７３】
１つ以上の実施形態によれば、少なくとも１つの第２特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０２７４】
ステップＳ１２４０では、少なくとも１つの第２特性情報および第２初期深さ値に基づいてフィルタリングを実行してダウンスケーリングされた入力映像に対する第２深さ値を演算し、第２深さ値を用いて第２深さマップを更新する。
【０２７５】
１つ以上の実施形態によれば、ステップＳ１２３０では、少なくとも１つの第２特性情報に基づいて少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の第２加重値を演算するステップを含むことができる。
【０２７６】
このとき、１つ以上の実施形態によれば、第２加重値は式（２）を用いて演算すれることができる。
【０２７７】
また、１つ以上の実施形態によれば、ステップＳ１２４０では、第２加重値を考慮してフィルタリングを実行することができる。
【０２７８】
このとき、１つ以上の実施形態によれば、ステップＳ１２４０では、式（３）を用いてフィルタリングを実行することができる。
【０２７９】
ステップＳ１２５０では、更新された第２深さマップを入力映像に対する解像度に基づいてアップスケーリングする。
【０２８０】
ステップＳ１２６０では、入力映像に対する少なくとも１つの特性情報を抽出する。
【０２８１】
１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０２８２】
ステップＳ１２７０では、アップスケーリングされた第２深さマップに格納された深さ値を、入力映像の少なくとも１つの画素に対する初期深さ値として設定して深さマップに格納する。
【０２８３】
ステップＳ１２８０では、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力映像に対する最終的な深さ値を演算し、深さ値を用いて深さマップを更新する。
【０２８４】
１つ以上の実施形態によれば、ステップＳ１２６０では、少なくとも１つの特性情報に基づいて少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算するステップを含むことができる。
【０２８５】
このとき、１つ以上の実施形態によれば、加重値は式（２）を用いて演算することができる。
【０２８６】
また、１つ以上の実施形態によれば、ステップＳ１２８０では、加重値を考慮してフィルタリングを実行することができる。
【０２８７】
このとき、１つ以上の実施形態によれば、ステップＳ１２８０では、式（３）を用いてフィルタリングを実行することができる。
【０２８８】
以上では、図９〜１２を参照しながら、深さ推定方法に対する本発明の多様な実施形態について詳察した。以下では、図１３〜１６を参照しながら、深さ推定方法を用いて入力映像を３Ｄビデオに変換する３Ｄビデオ変換方法に対する本発明の多様な実施形態について詳察する。
【０２８９】
図１３は、１つ以上の実施形態に係る３Ｄ映像変換方法を示すフローチャートである。
【０２９０】
ステップＳ１３１０では、入力映像に対する少なくとも１つの特性情報を抽出する。
【０２９１】
１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報であり得る。
【０２９２】
ステップＳ１３２０では、ステップＳ１３１０で抽出した少なくとも１つの特性情報に基づいて入力映像に対する深さ値を設定する。
【０２９３】
ステップＳ１３３０では、深さ値を用いて入力映像を３Ｄビデオにレンダリングする。
【０２９４】
１つ以上の実施形態によれば、３Ｄビデオ変換方法は、図１３に示された方法の他にも多様な実施形態に拡張することができる。したがって、以下では、図１４〜１６を参照しながら、３Ｄビデオ変換方法に対する本発明の多様な実施形態について詳察する。
【０２９５】
図１４は、１つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。
【０２９６】
ステップＳ１４１０では、入力映像に対する少なくとも１つの特性情報を抽出する。
【０２９７】
１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０２９８】
ステップＳ１４２０では、入力映像の少なくとも１つの画素に対する初期深さ値を設定して深さマップに格納する。
【０２９９】
１つ以上の実施形態によれば、ステップＳ１４２０では、式（１）を用いて初期深さ値を設定することができる。
【０３００】
ステップＳ１４３０では、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力映像に対する最終的な深さ値を演算し、深さ値を用いて深さマップを更新する。
【０３０１】
１つ以上の実施形態によれば、ステップＳ１４１０では、少なくとも１つの特性情報に基づいて少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算するステップを含むことができる。
【０３０２】
このとき、１つ以上の実施形態によれば、加重値は式（２）を用いて演算することができる。
【０３０３】
また、１つ以上の実施形態によれば、ステップＳ１４３０では、加重値を考慮してフィルタリングを実行することができる。
【０３０４】
このとき、１つ以上の実施形態によれば、ステップＳ１４３０では、式（３）を用いてフィルタリングを実行することができる。
【０３０５】
ステップＳ１４４０では、更新された深さマップを用いて入力映像を３Ｄビデオにレンダリングする。
【０３０６】
図１５は、１つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。
【０３０７】
ステップＳ１５１０では、入力映像の複数の画素を少なくとも１つのブロックに区分した後、少なくとも１つのブロックに対する初期深さ値を設定して深さマップに格納する。
【０３０８】
１つ以上の実施形態によれば、ステップＳ１５１０では、式（１）を用いて初期深さ値を設定することができる。
【０３０９】
このとき、（ｘ，ｙ）は、少なくとも１つのブロックに対する座標を意味する。
【０３１０】
ステップＳ１５２０では、少なくとも１つのブロックに対する少なくとも１つの特性情報を抽出する。
【０３１１】
１つ以上の実施形態によれば、少なくとも１つのブロックに対する少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０３１２】
ステップＳ１５３０では、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して少なくとも１つのブロックに対する第２深さ値を演算し、第２深さ値を用いて深さマップを更新する。
【０３１３】
１つ以上の実施形態によれば、ステップＳ１５２０では、少なくとも１つの特性情報に基づいて少なくとも１つの注目ブロックとその注目ブロックに隣接する隣接ブロックの間の加重値を演算するステップを含むことができる。
【０３１４】
このとき、１つ以上の実施形態によれば、加重値は式（２）を用いて演算することができる。
【０３１５】
このとき、（ｘ，ｙ）は少なくとも１つの注目ブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。
【０３１６】
また、１つ以上の実施形態によれば、ステップＳ１５３０では、加重値を考慮してフィルタリングを実行することができる。
【０３１７】
このとき、１つ以上の実施形態によれば、ステップＳ１５３０では、式（３）を用いてフィルタリングを実行することができる。
【０３１８】
このとき、（ｘ，ｙ）は少なくとも１つの注目ブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。
【０３１９】
ステップＳ１５４０では、更新された深さマップを複数の画素単位でアップスケーリングする。
【０３２０】
ステップＳ１５５０では、アップスケーリングされた深さマップを用いて入力映像を３Ｄビデオにレンダリングする。
【０３２１】
図１６は、１つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。
【０３２２】
ステップＳ１６１０では、入力映像を予め設定された解像度にダウンスケーリングする。
【０３２３】
ステップＳ１６２０では、ダウンスケーリングされた入力映像の少なくとも１つの画素に対する第２初期深さ値を設定して第２深さマップに格納する。
【０３２４】
１つ以上の実施形態によれば、ステップＳ１６２０では、式（１）を用いて第２初期深さ値を設定することができる。
【０３２５】
ステップＳ１６３０では、ダウンスケーリングされた入力映像に対する少なくとも１つの第２特性情報を抽出する。
【０３２６】
１つ以上の実施形態によれば、少なくとも１つの第２特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０３２７】
ステップＳ１６４０では、少なくとも１つの第２特性情報および第２初期深さ値に基づいてフィルタリングを実行してダウンスケーリングされた入力映像に対する第２深さ値を演算し、第２深さ値を用いて第２深さマップを更新する。
【０３２８】
１つ以上の実施形態によれば、ステップＳ１６３０では、少なくとも１つの第２特性情報に基づいて少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の第２加重値を演算するステップを含むことができる。
【０３２９】
このとき、１つ以上の実施形態によれば、第２加重値は式（２）を用いて演算することができる。
【０３３０】
また、１つ以上の実施形態によれば、ステップＳ１６４０では、第２加重値を考慮してフィルタリングを実行することができる。
【０３３１】
このとき、１つ以上の実施形態によれば、ステップＳ１６４０では、式（３）を用いてフィルタリングを実行することができる。
【０３３２】
ステップＳ１６５０では、更新された第２深さマップを入力映像に対する解像度に基づいてアップスケーリングする。
【０３３３】
ステップＳ１６６０では、入力映像に対する少なくとも１つの特性情報を抽出する。
【０３３４】
１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。
【０３３５】
ステップＳ１６７０では、アップスケーリングされた第２深さマップに格納された深さ値を、入力映像の少なくとも１つの画素に対する初期深さ値として設定して深さマップに格納する。
【０３３６】
ステップＳ１６８０では、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力映像に対する最終的な深さ値を演算し、深さ値を用いて深さマップを更新する。
【０３３７】
１つ以上の実施形態によれば、ステップＳ１６６０では、少なくとも１つの特性情報に基づいて少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算するステップを含むことができる。
【０３３８】
このとき、１つ以上の実施形態によれば、加重値は式（２）を用いて演算することができる。
【０３３９】
また、１つ以上の実施形態によれば、ステップＳ１６８０では、第２加重値を考慮してフィルタリングを実行することができる。
【０３４０】
このとき、１つ以上の実施形態によれば、ステップＳ１６８０では、式（３）を用いてフィルタリングを実行することができる。
【０３４１】
ステップＳ１６９０では、更新された深さマップを用いて入力映像を３Ｄビデオにレンダリングすることができる。
【０３４２】
なお、本発明に係る深さ推定方法および３Ｄビデオ変換方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。
【０３４３】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【符号の説明】
【０３４４】
１１０  入力ビデオ
１２０  深さ推定装置
１２１  特性情報抽出部
１２２  深さ設定部
【図１】
2010136371.tif 000006
【図２】
2010136371.tif 000007
【図３】
2010136371.tif 000008
【図４】
2010136371.tif 000009
【図５】
2010136371.tif 000010
【図６】
2010136371.tif 000011
【図７】
2010136371.tif 000012
【図８】
2010136371.tif 000013
【図９】
2010136371.tif 000014
【図１０】
2010136371.tif 000015
【図１１】
2010136371.tif 000016
【図１２】
2010136371.tif 000017
【図１３】
2010136371.tif 000018
【図１４】
2010136371.tif 000019
【図１５】
2010136371.tif 000020
【図１６】
2010136371.tif 000021