(57)【要約】【課題】本発明は、深さマップ推定装置と方法、これを用いた中間映像生成方法および多視点ビデオのエンコーディング方法に関する。【解決手段】画素の類似度を基準としてセグメントで領域を分割し、３次元ワーピング技法と拡張された傾斜度マップが反映された自体適応関数を用いてセグメント単位の初期深さマップを得た後、信頼拡散方法をセグメント単位で実行して初期深さマップを精製することによって誤差を減らして複雑度を減少させて外部影響に強靭な深さマップを得ることができ、このような深さマップで中間映像を生成して多視点ビデオの符号化に活用することによって柔らかい視点転換と向上した符号化効率を得ることができる深さマップ推定装置と方法、これを用いた中間映像生成方法および多視点ビデオのエンコーディング方法に関する。【選択図】図１
2009123219.tif 000002
【特許請求の範囲】
【請求項１】
多視点映像を用いて深さマップを推定する装置であって、
多視点ビデオカメラを介して入力された前記多視点映像を格納する多視点映像格納部と、
前記多視点映像格納部に格納された多視点映像のうち、前記深さマップを推定しようとする対象映像で隣接画素同士のインテンシティ差が閾値以下である画素同士のセグメントを設定するセグメント設定部と、
前記セグメント設定部を介して設定された各セグメントに対して前記対象映像周辺の参照映像の視点に３次元ワーピングを実行し、ワーピングされた対象映像を得る３次元ワーピング部と、
前記参照映像を基準として前記ワーピングされた対象映像の深さ値を推定し、前記セグメント別に１つの深さ値を推定する初期深さ値探索部とを備える深さマップ推定装置。
【請求項２】
前記初期深さ値探索部は、前記セグメントの各画素のインテンシティ差による関数と前記セグメントの各画素に対する傾斜度値による関数とを考慮した自体適応関数によって前記セグメント別の深さ値を推定する請求項１に記載の深さマップ推定装置。
【請求項３】
前記対象映像のセグメントの平均インテンシティと前記対象映像のセグメントに対応する前記参照映像のセグメントの平均インテンシティとの差を考慮した加重値が前記自体適応関数に適用される請求項２に記載の深さマップ推定装置。
【請求項４】
前記自体適応関数は、前記対象映像の時間的に以前映像で探索した深さ値が追加的に考慮されて設定される請求項２又は３に記載の深さマップ推定装置。
【請求項５】
前記初期深さ値探索部を介して算出された深さ値を精製し、前記セグメント設定部を介して設定されたセグメント単位の信頼拡散方法を用いる深さ値精製部を更に備える請求項１に記載の深さマップ推定装置。
【請求項６】
多視点映像を用いて深さマップを推定する方法であって、
（ａ）多視点ビデオカメラを介して入力された前記多視点映像を格納するステップと、
（ｂ）前記（ａ）ステップを介して格納された前記多視点映像のうち、前記深さマップを推定しようとする対象映像で隣接画素同士のインテンシティ差が閾値以下である画素同士のセグメントを設定するステップと、
（ｃ）前記（ｂ）ステップを介して設定された各セグメントに対して前記対象映像に隣接した参照映像の視点に３次元ワーピングを実行し、ワーピングされた対象映像を得るステップと、
（ｄ）前記参照映像を基準として前記ワーピングされた対象映像の深さ値を推定し、前記セグメント別に１つの深さ値を推定するステップとを含む深さマップ推定方法。
【請求項７】
前記（ｄ）ステップは、前記セグメントの各画素のインテンシティ差による関数と前記セグメントの各画素に対する傾斜度値による関数とを考慮した自体適応関数によって前記セグメント別の深さ値を推定する請求項６に記載の深さマップ推定方法。
【請求項８】
前記対象映像のセグメントの平均インテンシティと前記対象映像のセグメントに対応する前記参照映像のセグメントの平均インテンシティとの差を考慮した加重値が前記自体適応関数に適用される請求項７に記載の深さマップ推定方法。
【請求項９】
前記自体適応関数は、前記対象映像の時間的に以前映像で探索した深さ値が追加的に考慮されて設定される請求項７又は８に記載の深さマップ推定方法。
【請求項１０】
前記（ｄ）ステップを介して算出された深さ値を精製し、前記（ｂ）ステップを介して設定されたセグメントを単位とする信頼拡散方法を用いるステップを更に含む請求項６に記載の深さマップ推定方法。
【請求項１１】
中間映像生成方法であって、
請求項７乃至１０のうちの何れか一項によって深さマップを推定した後、
前記深さマップを用いて中間視点の映像を生成する中間映像生成方法。
【請求項１２】
多視点ビデオで中間視点の映像を用いて相異した視点の映像をエンコーディングする方法であって、
（Ａ）多視点ビデオの符号化する対象映像が入力されるステップと、
（Ｂ）請求項１１に記載の方法によって生成された中間映像を参照映像リストに追加するステップと、
（Ｃ）前記参照映像リストの参照映像に基づいて前記対象映像の動きベクトルを算出するステップと、
（Ｄ）前記（Ｃ）ステップを介して算出された動きベクトルだけ動き補償された前記参照映像に対する前記対象映像の差の値を求めるステップとを含むエンコーディング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深さマップ推定装置と方法、これを用いた中間映像生成方法および多視点ビデオのエンコーディング方法に関し、より詳しくは、画素の類似度を基準としてセグメントで領域を分割し、３次元ワーピング技法と拡張された傾斜度マップが反映された自体適応関数を用いてセグメント単位の初期深さマップを得た後、信頼拡散方法をセグメント単位で実行して初期深さマップを精製することによって誤差を減らして複雑度を減少させて外部影響に強靭な深さマップを得ることができ、このような深さマップで中間映像を生成して多視点ビデオの符号化に活用することによって柔らかい視点転換と向上した符号化効率を得ることができる深さマップ推定装置と方法、これを用いた中間映像生成方法および多視点ビデオのエンコーディング方法に関する。
【背景技術】
【０００２】
デジタル技術の高度発展に伴い、放送と通信の融合で放送媒体が多様化することにより、デジタル技術の特性を用いた放送関連付加サービスが新たに登場している。現在、テレビの発展方向は高画質と大画面に向かっているが、テレビ画面そのものが２次元であるため、現在の画面では立体感を感じることができない。
【０００３】
３次元ビデオ処理技術は、次世代の情報通信サービス分野の核心技術であり、情報産業社会への発達と共に技術開発競争が激しい最先端技術である。このような３次元ビデオ処理技術は、マルチメディア応用において高品質の映像サービスを提供するために必須の要素であり、今日ではこのような情報通信分野だけでなく、放送、医療、教育、軍事、ゲーム、バーチャルリアリティなどその応用分野が極めて多様化している。さらに、３次元ビデオ処理技術は、様々な分野において共通して要求される次世代実感３次元マルチメディアの核心基盤技術として位置付いており、先進国を中心としてこれに関する研究が活発に進められている。
【０００４】
一般的に、３次元ビデオは、次のような２つの観点で定義することができる。１つ目に、３次元ビデオは、映像に深さに対する情報を適用させ、映像の一部が画面から突出する感覚をユーザが感じられるように構成されるビデオとして定義することができる。２つ目に、３次元ビデオは、ユーザに多様な視点を提供し、これからユーザが映像で現実感を感じられるように構成されるビデオとして定義することができる。このような３次元ビデオは、取得方式、深さ感（ｄｅｐｔｈ  ｉｍｐｒｅｓｓｉｏｎ）、ディスプレイ方式などに応じて両眼式、多眼式、ＩＰ（Ｉｎｔｅｇｒａｌ  Ｐｈｏｔｏｇｒａｐｈｙ）、多視点（オムニ（ｏｍｎｉ）、パノラマ）、ホログラムなどに分類することができる。さらに、このような３次元ビデオを表現する方法としては、映像基盤表現法（Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）とメッシュ基盤表現法（Ｍｅｓｈ−Ｂａｓｅｄ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）とに大別することができる。
【０００５】
最近になり、このような３次元ビデオを表現する方法として、深さ映像基盤レンダリング（ＤＩＢＲ；Ｄｅａｔｈ  Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ）が脚光を浴びている。深さ映像基盤レンダリングは、関連した各画素ごとの深さや差角などの情報を有した参照映像を用いて他の視点における場面を創出する方法を意味する。このような深さ映像基盤レンダリングは、３次元モデルの表現し難く複雑な形状を容易にレンダリングするだけでなく、一般的な映像フィルタリングのような信号処理方法の適用を可能とし、高品質の３次元ビデオを生成できるようにする長所を有している。このような深さ映像基盤レンダリングは、深さカメラおよびマルチビューカメラによって取得される深さ映像とテクスチャ映像を用いる。
【０００６】
深さ映像は、３次元空間上に位置する客体とこの客体を撮影するカメラとの間の距離を白黒の単位で表す映像である。このような深さ映像は、深さ情報とカメラパラメータにより、３次元復元技術または３次元ワーピング（ｗａｒｐｉｎｇ）技術に多く用いられる。さらに、深さ映像は、自由視点テレビと３次元テレビに応用される。自由視点テレビとは、定められた１つの視点でのみ映像を鑑賞するのではなく、ユーザの選択に応じて任意の視点で映像を視聴できるようにするテレビを意味する。３次元テレビは、既存の２次元テレビに深さ映像を加えて実感映像を具現し、最近活発に研究開発がなされている。
【０００７】
このような自由視点テレビと３次元テレビで柔らかい視点転換を行うためには、より向上した中間映像を生成しなければならず、このために正確な深さマップを推定することが重要となる。深さマップを推定するためには、一般的にステレオ整合（Ｓｔｅｒｅｏ  Ｍａｔｃｈｉｎｇ）アルゴリズムが用いられている。しかしながら、既存のステレオ整合アルゴリズムは、深さ値の不連続点を有する画素の周辺で多くの誤差が発生するが、このような誤差は、中間映像生成時に客体の境界が重複したり不明確になったりするという問題点を引き起こすようになる。また、既存のステレオ整合アルゴリズムは、変移値を求めるために周辺映像で水平方向にのみ探索を行うため、並列カメラ構成で得た映像または校正（ｒｅｃｔｉｆｉｃａｔｉｏｎ）過程を経た映像のみを入力で有することができる。したがって、このような方法によれば、並列カメラ構成だけでなく援護カメラ構成のような多様なカメラ構成を有する多視点映像に対する深さマップを推定するには限界があるという問題点がある。さらに、既存のステレオ整合アルゴリズムによれば、画素単位で変移値を探索してステレオ映像には適合するが、ステレオ映像に比べて相対的にデータ量が多い多視点映像の場合には、画素単位で変移値を探索する場合に多くの誤差を含み得るだけでなく、複雑度が増加するようになるという問題点がある。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、前記のような問題点を解決するために案出されたものであって、特に、誤差を減らして複雑度を減少させて外部影響に強靭な深さマップを得ることができ、このような深さマップで中間映像を生成して多視点ビデオの符号化に活用することによって柔らかい視点転換と向上した符号化効率を得ることができる深さマップ推定装置と方法、これを用いた中間映像生成方法および多視点ビデオのエンコーディング方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、多視点映像を用いて深さマップを推定する装置であって、多視点ビデオカメラを介して入力された前記多視点映像を格納する多視点映像格納部と、前記多視点映像格納部に格納された多視点映像のうち、前記深さマップを推定しようとする対象映像で隣接画素同士のインテンシティ差が閾値以下である画素同士セグメント（ｓｅｇｍｅｎｔ）を設定するセグメント設定部と、前記セグメント設定部を介して設定された各セグメントに対して前記対象映像周辺の参照映像の視点に３次元ワーピング（ｗａｒｐｉｎｇ）を実行し、ワーピングされた対象映像を得る３次元ワーピング部と、前記参照映像を基準として前記ワーピングされた対象映像の深さ値を推定し、前記セグメント別に１つの深さ値を推定する初期深さ値探索部とを備えることを特徴とする深さマップ推定装置を提供する。
【００１０】
好ましくは、前記初期深さ値探索部は、前記セグメントの各画素のインテンシティ差による関数と前記セグメントの各画素に対する傾斜度値による関数とを考慮した自体適応関数によって前記セグメント別の深さ値を推定することを特徴とする。
【００１１】
より好ましくは、前記対象映像のセグメントの平均インテンシティと前記対象映像のセグメントに対応する前記参照映像のセグメントの平均インテンシティとの差を考慮した加重値が前記自体適応関数に適用されることを特徴とする。
【００１２】
さらに、前記自体適応関数は、前記対象映像の時間的に以前映像で探索した深さ値が追加的に考慮されて設定されることをさらに他の特徴とする。
【００１３】
好ましくは、前記初期深さ値探索部を介して算出された深さ値を精製し、前記セグメント設定部を介して設定されたセグメント単位の信頼拡散（Ｂｅｌｉｅｆ  Ｐｒｏｐａｇａｔｉｏｎ）方法を用いる深さ値精製部をさらに備えることを特徴とする。
【００１４】
また、本発明は、多視点映像を用いて深さマップを推定する方法であって、（ａ）多視点ビデオカメラを介して入力された前記多視点映像を格納するステップと、（ｂ）前記（ａ）ステップを介して格納された前記多視点映像のうち、前記深さマップを推定しようとする対象映像で隣接画素同士のインテンシティ差が閾値以下である画素同士セグメント（ｓｅｇｍｅｎｔ）を設定するステップと、（ｃ）前記（ｂ）ステップを介して設定された各セグメントに対して前記対象映像に隣接した参照映像の視点に３次元ワーピング（ｗａｒｐｉｎｇ）を実行し、ワーピングされた対象映像を得るステップと、（ｄ）前記参照映像を基準として前記ワーピングされた対象映像の深さ値を推定し、前記セグメント別に１つの深さ値を推定するステップとを含むことを特徴とする深さマップ推定方法を提供する。
【００１５】
好ましくは、前記（ｄ）ステップは、前記セグメントの各画素のインテンシティ差による関数と前記セグメントの各画素に対する傾斜度値による関数とを考慮した自体適応関数によって前記セグメント別の深さ値を推定することを特徴とする。
【００１６】
より好ましくは、前記対象映像のセグメントの平均インテンシティと前記対象映像のセグメントに対応する前記参照映像のセグメントの平均インテンシティとの差を考慮した加重値が前記自体適応関数に適用されることを特徴とする。
【００１７】
さらに、前記自体適応関数は、前記対象映像の時間的に以前映像で探索した深さ値が追加的に考慮されて設定されることを特徴とする。
【００１８】
好ましくは、前記（ｄ）ステップを介して算出された深さ値を精製し、前記（ｂ）ステップを介して設定されたセグメントを単位とする信頼拡散（Ｂｅｌｉｅｆ  Ｐｒｏｐａｇａｔｉｏｎ）方法を用いるステップをさらに含むことを特徴とする。
【００１９】
また、本発明は、中間映像生成方法であって、上述した深さ値推定方法によって生成された深さマップを用いて中間視点の映像（ｉｎｔｅｒｍｅｄｉａｔｅ  ｖｉｅｗ）を生成することを特徴とする中間映像生成方法を提供する。
【００２０】
また、本発明は、多視点ビデオで中間視点の映像を用いて相異した視点の映像をエンコーディングする方法であって、（Ａ）多視点ビデオの符号化する対象映像が入力されるステップと、（Ｂ）請求項１２によって生成された中間映像を参照映像リストに追加するステップと、（Ｃ）前記参照映像リストの参照映像に基づいて前記対象映像の動きベクトルを算出するステップと、（Ｄ）前記（Ｃ）ステップを介して算出された動きベクトルだけ動き補償された前記参照映像に対する前記対象映像の差の値を求めるステップとを含むことを特徴とするエンコーディング方法を提供する。
【発明の効果】
【００２１】
本発明によれば、類似した画素同士のセグメントを構成して対象映像の領域を分割した後、３次元ワーピングを適用して深さ値を探索することにより、変移マップから深さマップに変換する過程において発生する深さ値の誤差を減らして複雑度を減少させ、拡張された傾斜度マップを追加した自体適応関数を用いて深さ値を探索することにより、カメラ間の色不一致などの外部影響に強靭な深さマップを得ることができるという効果がある。
【００２２】
また、本発明によれば、１つのセグメントに対する深さ値探索過程において左映像と右映像すべてに対して整合関数を適用し、一方の映像のみを用いるときに発生し得る閉塞領域の問題点を解決することにより、より一層正確な深さ値を得ることができるという効果がある。
【００２３】
また、本発明によれば、初期深さマップに対してセグメント単位の信頼拡散方法を用いてこれを精製することにより、背景内に存在する画素の色類似性によって発生し得るエラーを除去し、既存の深さマップ推定技法で取得した深さマップに比べて相対的に明確な客体境界を得ることができるという効果がある。
【００２４】
また、本発明によれば、深さマップの正確度を向上させることにより、より一層向上した画質の中間映像を得ることができ、３次元テレビ、自由視点テレビなどでより一層柔らかい視点転換を可能とする効果がある。
【００２５】
さらに、本発明によれば、より一層向上した中間映像によって多視点ビデオのエンコーディング時よりも空間的な相関度が高い参照映像を提供することにより、符号化効率を向上させることができるという効果がある。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の好ましい実施形態について、添付の図面を参照しながら詳細に説明する。まず、各図面の構成要素に参照符号を付加することにおいて、同一の構成要素に対しては、たとえ他の図面上に表示されたとしても、可能な限り同一の符号を有するようにしていることに留意しなければならない。また、本発明の説明において、関連した公知構成または機能に対する具体的な説明が本発明の要旨を不明確にし得ると判断される場合には、その詳細な説明は省略する。さらに、以下で本発明の好ましい実施形態を説明するが、本発明の技術的思想はこれに限定されたり制限されるものではなく、当業者によって変形されて多様に実施され得ることは勿論である。
【００２７】
まず、本発明の好ましい実施形態に係る深さマップ推定装置および深さマップ推定方法について説明する。
【００２８】
以下の説明において、「対象映像」とは、深さ値を推定する対象となる映像を意味する。「参照映像」とは、対象映像との関係によってステレオ整合を実行するための映像であって、多視点カメラを介して取得された映像のうち、対象映像と隣接または周辺に位置した映像を意味する。また、「ワーピングされた対象映像」とは、対象映像を参照映像の視点で３次元ワーピングさせて取得した映像を意味する。
【００２９】
図１は、本発明の好ましい実施形態に係る深さマップ推定装置のブロック図であり、図６は、本発明の好ましい実施形態に係る深さマップ推定方法のフローチャートである。
【００３０】
本発明の好ましい実施形態に係る深さマップ推定装置は、図１を参照すれば、多視点映像格納部１０と、セグメント設定部２０と、３次元ワーピング部３０と、初期深さ値探索部４０と、深さ値精製部５０とを備える。
【００３１】
また、本発明の好ましい実施形態に係る深さマップ推定方法は、図６を参照すれば、多視点ビデオカメラを介して入力された多視点映像を格納するステップ（Ｓ１０）と、ステップ１０を介して格納された多視点映像のうち、深さマップを推定しようとする対象映像で隣接画素同士のルミナンス（ｌｕｍｉｎａｎｃｅ）差が閾値以下である画素同士のセグメント（ｓｅｇｍｅｎｔ）を設定するステップ（Ｓ２０）と、ステップ２０を介して設定された対象映像の各セグメントを参照映像の視点で３次元ワーピング（ｗａｒｐｉｎｇ）を実行し、ワーピングされた対象映像を得るステップ（Ｓ３０）と、参照映像を基準として前記ワーピングされた対象映像の深さ値を推定し、セグメント別に１つの深さ値を推定するステップ（Ｓ４０）と、ステップ４０を介して算出された深さ値を精製し、ステップ２０を介して設定されたセグメント別に信頼拡散（Ｂｅｌｉｅｆ  Ｐｒｏｐａｇａｔｉｏｎ）方法を適用するステップ（Ｓ５０）とを含んでなされる。本発明の好ましい実施形態に係る深さマップ推定装置に対する説明において、深さマップ推定方法が十分に説明されるはずであるため、以下では深さマップ推定装置を中心に説明する。
【００３２】
多視点映像格納部１０は、多視点ビデオカメラを介して入力された多視点映像を格納する役割を実行する。多視点映像格納部１０には、視点方向には最小な多視点ビデオカメラをなすビデオカメラの数だけの映像が格納されており、このような各視点に対して時間方向に連続的な映像が格納されている。
【００３３】
セグメント設定部２０は、多視点映像格納部１０に格納された多視点映像のうち、深さマップを推定しようとする対象映像で隣接画素同士のルミナンス（ｌｕｍｉｎａｎｃｅ）またはクロミナンス（ｃｈｒｏｍｉｎａｎｃｅ）差が閾値以下である画素同士セグメント（ｓｅｇｍｅｎｔ）を設定する役割を実行する。すなわち、セグメント設定部２０は、対象映像内で類似した輝度または色情報を有する画素同士を束ねて映像をセグメントで分割する。
【００３４】
このとき、分割されたセグメント内部では深さ値が微細に変化し、深さ値の不連続点はセグメントの境界で発生すると仮定する。このような仮定を満たすために、セグメントは、可能な限りサイズが小さいように細分化されることが好ましく、このために閾値を小さく取ることが好ましい。閾値が大きくなれば類似したルミナンスの範囲が大きくなるため、セグメントのサイズが増加するようになり、セグメント内に深さ値の不連続点が含まれる確率が高まるという問題点が発生する場合がある。例えば、閾値を０と取ることができる。図２は、セグメント設定部によって類似した画素同士がセグメントで分割された映像の例を示す図である。
【００３５】
３次元ワーピング部３０は、セグメント設定部２０を介して設定された各セグメントに対して対象映像に隣接した参照映像の視点に３次元ワーピング（ｗａｒｐｉｎｇ）を実行し、ワーピングされた対象映像を取得する機能を実行する。
【００３６】
図３は、３次元ワーピングを用いてワーピングされた対象映像を取得することを説明する図である。
既存のステレオ整合アルゴリズムは、変移（ｄｉｓｐａｒｉｔｙ）を求めるために周辺映像で水平方向にのみ探索を行うため、並列カメラ構成で得た映像あるいは校正（ｒｅｃｔｉｆｉｃａｔｉｏｎ）過程を経た映像のみを入力で有することができる。したがって、既存のステレオ整合アルゴリズムは、援護カメラ構成などの多様なカメラ構成を有する多視点映像に対する深さマップを推定するには限界が存在する。
【００３７】
図３を参照すれば、このような問題点を解決するために、３次元ワーピング部３０は、深さマップを求めようとする視点における対象映像６０のうち、特定セグメント６２に対して３次元ワーピングによって参照映像７０に投影（ｐｒｏｊｅｃｔｉｏｎ）して、ワーピングされた対象映像６０’におけるワーピングされたセグメント６２’を生成する。この後、深さマップ推定のためのステレオマッチングは、ワーピングされた対象映像６０’のワーピングされたセグメント６２と、参照映像７０で前記特定セグメント６２に対応する参照セグメント７２に対してなされる。これに伴い、３次元ワーピング部３０は、多視点カメラを形成するカメラの配置構成とは独立的に深さマップ推定が可能となる。一方、図３において、「ｄ」は、ワーピングされたセグメント６２と参照セグメント７２と間の変移（ｄｉｓｐａｒｉｔｙ）を示す。
【００３８】
初期深さ値探索部４０は、前記参照映像７０を基準として前記ワーピングされた対象映像６０’の深さ値を推定し、セグメント別に１つの深さ値を探索する役割を実行する。多視点映像は、ステレオ整合テスト映像に比べて相対的に大きくデータ量が多いため、既存のステレオ整合アルゴリズムのように画素単位で変移値を探索する場合に多くの誤差を含むようになるだけでなく、複雑度も増加するようになる。したがって、初期深さ値探索部４０は、画素単位の代わりにセグメント単位で深さ値を探索する。
【００３９】
一方、ステレオ整合のためには、整合関数（Ｍａｔｃｈｉｎｇ  Ｆｕｎｃｔｉｏｎ）が必要である。一般的に用いられる整合関数としては、ＳＤ（Ｓｑｕａｒｅｄ  ｉｎｔｅｎｓｉｔｙ  Ｄｉｆｆｅｒｅｎｃｅ）とＡＤ（Ａｂｓｏｌｕｔｅ  ｉｎｔｅｎｓｉｔｙ  Ｄｉｆｆｅｒｅｎｃｅ）などがある。しかしながら、このような一般的な整合関数は、ステレオマッチングの対象となる映像間の色の不一致に敏感であるという短所が存在する。特に、多視点カメラの場合には、視点別の照明の差、多視点カメラをなす各カメラの特性などによって映像間の色不一致が発生する可能性がさらに高い。
【００４０】
したがって、本発明に係る初期深さ値探索部４０では、ＡＤ関数に傾斜度マップ（ｇｒａｄｉｅｎｔ  ｍａｐ）を用いた関数を追加した自体適応関数（Ｓｅｌｆ  Ａｄａｐｔａｔｉｏｎ  Ｆｕｎｃｔｉｏｎ）を用いて初期深さ値を探索する。自体適応関数は、下数式１で与えられる。
【００４１】
【数１】
2009123219.tif 000003
ここで、ωは０よりも大きく１よりも小さい加重値、ｘ、ｙは前記対象映像のセグメント内画素の位置、ｄは変位、ＣＭＡＤは各測定変位によるセグメントのルミナンス差値の平均（Ｍｅａｎ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、ＣＭＧＲＡＤは各測定変位によるセグメントのグラジエント差値の平均を意味する。
【００４２】
また、ＣＭＡＤは既存のＡＤ関数であり、下記数式２のように与えられる。
【００４３】
【数２】
2009123219.tif 000004
【００４４】
また、ＣＭＧＲＡＤは４方向を考慮した傾斜度マップに対する関数であり、下記数式３のように与えられる。
【００４５】
【数３】
2009123219.tif 000005
上記数式において、Ｍはセグメント内の画素の数、Ｓｋは該当セグメント、Ｉ１（ｘ，ｙ）は前記対象映像で（ｘ，ｙ）位置に存在する画素のインテンシティ値、Ｉ２（ｘ’，ｙ’）は前記参照映像で（ｘ’，ｙ’）位置に存在する画素のインテンシティ値、∇ｘ、∇ｙ、∇−ｘ、∇−ｙはそれぞれ＋ｘ方向、＋ｙ方向、−ｘ方向、−ｙ方向の傾斜度マップを意味する。
【００４６】
本発明の好ましい実施形態に係る自体適応関数は、カメラ間の色の不一致のような外部要因に影響を受けないようにするために、＋ｘ方向、＋ｙ方向、−ｘ方向、および−ｙ方向の４方向すべてに対する傾斜度マップを用いることによって傾斜度マップの強靭性を高める。
【００４７】
一方、数式１の自体適応関数は、下記数式４のように表現されることも可能である。数式１と数式４による自体適応関数の意味は、参照映像セグメントに対する対象映像セグメントの深さ値を探索することにおいて、一般的な整合関数に傾斜度マップを用いた関数を考慮するということである。
【００４８】
【数４】
2009123219.tif 000006
また、数式１または数式４における加重値ωは、比較しようとする２視点の平均ルミナンス値の差で決定することを考慮することができ、このとき、ωは数式５のように計算することができる。
【００４９】
【数５】
2009123219.tif 000007
ＤＣＣは対象映像の特定セグメントの平均ルミナンス値であり、ＤＣｒｅｆは参照映像におけるセグメントに対する平均ルミナンス値である。上記したように整合関数を設定することにより、既存のＭＡＤ関数（ＣＭＡＤ）に傾斜度マップを用いるＭＧＲＡＤ関数（ＣＭＧＲＡＤ）を追加し、ＣＭＧＲＡＤの比重を決定する加重値を自動で設定することが可能となる。
【００５０】
一方、既存の深さマップ推定技法は、映像ごとにフレームに対して独立的に深さマップを探索するために深さマップの時間的一貫性が低下する上に、精製過程を経たとしても依然として深さ値の誤差が発生するようになる。
【００５１】
本発明では、初期深さマップを探索する過程において、深さマップの時間的な相関度および深さ値の信頼度を向上させるために、自体適応関数に以前フレームで探索した深さ値を考慮する加重値関数Ｃｔｅｍｐ（ｘ，ｙ，ｄ）を追加する。これにより、修正された自体適応関数は、数式６のように表現される。
【００５２】
【数６】
2009123219.tif 000008
数式６において、加重値関数Ｃｔｅｍｐ（ｘ，ｙ，ｄ）は、下記数式７のように表現することができる。
【００５３】
【数７】
2009123219.tif 000009
数式７において、λは加重値関数に対する傾きであり、Ｄｐｒｅｖ（ｘ，ｙ）は対象映像の以前フレームにおける深さ値である。修正された自体適応関数は、時間的に前後関係にある以前フレームの深さ値を現在対象映像に対する深さ値推定時に考慮することにより、深さ値の時間的一貫性を図ることができ長所がある。
【００５４】
一方、初期深さ値探索部４０は、周辺参照映像として対象映像の左側映像と右側映像をすべて用いることも可能である。すなわち、初期深さ値探索部４０は、１つのセグメントに対する深さ値探索過程において、左側映像と右側映像すべてに対して整合関数を適用し、より一層正確な深さ値を得ることができる。既存のステレオ整合アルゴリズムのように一方の映像のみを用いて深さ値を探索する場合、特定の部分が分かれる閉塞領域（ｏｃｃｌｕｓｉｏｎ）が発生する恐れがあるという問題点がある。しかしながら、初期深さ値探索部４０は、対象映像で存在する客体が左側映像で他の客体によって分かれる場合に、左側映像の代わりに右側映像を用いることによって閉塞領域の発生を防ぎ、正確な深さ値を探索できるようにする。
【００５５】
深さ値精製部５０は、初期深さ値探索部４０を介して算出された初期深さ値を精製して誤差を減らすことによって最終深さ値を得る役割を実行する。初期深さ値探索部４０を介して得られた初期深さ値は、場合によっては誤差を有することがある。例えば、映像内部の背景に対する深さ値を探索する場合、背景内に存在する画素の色差はそれ程大きくないことが一般的であるため、誤った深さ値を探索したにもかかわらず最小の誤差を発生させることにより、これを正確な深さ値として認識するようになる状況が発生することがある。このような問題点を解決するための方法として、グラフカット（ｇｒａｐｈ  ｃｕｔ）、動的プログラミング（ｄｙｎａｍｉｃ  ｐｒｏｇｒａｍｍｉｎｇ）のような精製（ｒｅｆｉｎｅｍｅｎｔ）方法が存在するが、性能面において多少低下するという問題点がある。深さ値精製部５０では、セグメント単位の信頼拡散（Ｂｅｌｉｅｆ  Ｐｒｏｐａｇａｔｉｏｎ）方法を用いて初期深さマップの誤差（特に、背景における誤差）を減らすようになる。
【００５６】
図４ａは、画素単位の信頼拡散方法を示す概念図である。図４ａの画素単位信頼拡散方法は、最近の他の精製方法に比べて優れた性能を有すると評価されており、上下左右の隣接画素にメッセージを送って周辺画素の深さ値を考慮する（Ｐ．Ｆ．Ｆｅｌｚｅｎｓｚｗａｌｂ，Ｄ．Ｐ．Ｈｕｔｔｅｎｌｏｃｈｅｒ，“Ｅｆｆｉｃｉｅｎｔ  Ｂｅｌｉｅｆ  Ｐｒｏｐａｇａｔｉｏｎ  ｆｏｒ  Ｅａｒｌｙ  Ｖｉｓｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、Ｖｏｌ．７０，Ｎｏ．１，Ｏｃｔｏｂｅｒ  ２００６．参照）。すなわち、現在画素から周辺画素にメッセージを送るとき（太い矢印）、周辺画素から現在画素へのメッセージ（点線矢印）を用いる。画素単位の信頼拡散方法は、特定画素にラベル（ｌａｂｅｌ）を割り当てる費用であるデータ費用（ｄａｔａ  ｃｏｓｔ）と、２つの隣り合った画素にラベルを割り当てる費用である不連続費用（ｄｉｓｃｏｎｔｉｎｕｉｔｙ  ｃｏｓｔ）が考慮されたエネルギー関数を導入し、格子グラフ（Ｇｒｉｄ  Ｇｒａｐｈ）を用いてメッセージの更新を繰り返す。
【００５７】
図４ｂは、セグメント単位の信頼拡散方法を示す概念図である。
深さ値精製部５０で実行するセグメント単位の信頼拡散方法は、上述した画素単位の信頼拡散方法を基盤とするものの、メッセージを送る単位が画素の代わりにセグメントであるという差がある。深さ値精製部５０は、現在セグメントから周辺セグメントにメッセージを送るとき（太い矢印）、周辺セグメントから現在セグメントへのメッセージ（点線矢印）を用いる。すなわち、初期深さ値探索部４０を介してセグメント単位で初期深さ値を推定したため、このような初期深さ値を精製するためにセグメント単位の信頼拡散方法を用いる。深さ値精製部５０は、セグメント単位の信頼拡散方法を適用して初期深さ値を精製することによって誤差を減らすようになる。
【００５８】
図５ａには初期深さマップの一例を示し、図５ｂには最終深さマップの一例を示している。図５ａと図５ｂを参照すれば、両者とも従来の深さマップ推定技法で取得した深さマップに比べて客体の境界が比較的明確であることが分かる上に、初期深さマップに比べて最終深さマップは、精製過程を介して誤差（特に、背景の部分）が相当部分減少したことが分かる。
【００５９】
次に、本発明の好ましい実施形態に係る中間映像生成方法について説明する。
本発明の好ましい実施形態に係る中間映像生成方法は、深さ映像基盤レンダリング（Ｄｅｐｔｈ  Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ：ＤＩＢＲ）技法によって中間視点の映像を生成する。ＤＩＢＲ技法は、テクスチャ（ｔｅｘｔｕｒｅ）映像とテクスチャ映像の各画素に対応する距離情報からなる深さ映像を用い、任意の視点における映像をレンダリングする技法である。直交座標系を用いて色および深さ映像を３次元メッシュ（ｍｅｓｈ）で場面モデリングした後に、仮想カメラを用いて任意の視点における映像をレンダリングする。このとき、用いられる深さ映像は、深さカメラを用いて直接的に取得することもできるが、上述した方法で生成された深さ映像を用いることが好ましい。ここで、中間映像生成方法を特別に限定するのではなく、多視点ビデオカメラから取得した多視点映像と前記方法によって取得した深さマップを用いて一般的なＤＩＢＲ技法で中間映像を生成することにより、より一層向上した画質の中間映像を得ることができる。
【００６０】
また、深さ映像とテクスチャ映像から多視点映像を生成するために様々な前処理方法が提案された。一例として、Ｚｈａｎｇは、非対称ガウシアンフィルタを深さ映像全体に適用した後、３次元ワーピングとホールフィリング（ｈｏｌｅ−ｆｉｌｌｉｎｇ）を順に適用して非閉塞領域を除去することにより、非閉塞領域と対称ガウシアンフィルタによって発生する幾何学的雑音を減らして中間映像の画質を向上させた（Ｌ．Ｚｈａｎｇ，Ｗ．Ｊ．Ｔａｍ“，Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｉｍａｇｅ  Ｇｅｎｅｒａｔｉｏｎ  Ｂａｓｅｄ  ｏｎ  Ｄｅｐｔｈ  Ｉｍａｇｅｓ  ｆｏｒ  ３Ｄ  テレビ，”ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｂｒｏａｄｃａｓｔｉｎｇ，ｖｏｌ．５１，ｐｐ．１９１−１９９，２００５．参照）。
【００６１】
また、ＤＩＢＲ技法と共に３次元メッシュ構造を用いる階層的自然テクスチャメッシュストリーム（Ｈｉｅｒａｒｃｈｉｃａｌ  Ｎａｔｕｒａｌ−ｔｅｘｔｕｒｅｄ  Ｍｅｓｈ  Ｓｔｒｅａｍ：ＨＮＴＭＳ）が提案された（キム・ソンヨル，ホ・ヨソン，“深さカメラシステムを用いた３次元実写動画表現方法，”韓国マルチメディア学会誌，１０−２，ｐｐ．４１−５１，２００６．参照）。これによれば、深さ映像とテクスチャ映像を入力で用いて３次元実写動画を順次にレンダリングする。本発明の好ましい実施形態に係る中間映像生成方法において、このような技法を選択的に適用することができる。
【００６２】
次に、本発明の好ましい実施形態に係るエンコーディング方法について説明する。
図７は、本発明の好ましい実施形態に係るエンコーディング方法のフローチャートである。
【００６３】
本発明の好ましい実施形態に係るエンコーディング方法は、図６を参照すれば、対象映像入力ステップ（Ｓ１００）と、中間映像を参照映像リストに追加するステップ（Ｓ２００）と、動きベクトルを算出するステップ（Ｓ３００）と、参照映像に対する対象映像の差分を計算するステップ（Ｓ４００）と、ＤＣＴ処理ステップ（Ｓ５００）と、量子化ステップ（Ｓ６００）と、エントロピー符号化ステップ（Ｓ７００）とを含んでなされる。
【００６４】
ステップ１００は、多視点ビデオの符号化する対象映像が入力されるステップである。複数のビデオカメラから送信線を介して伝達されたビデオフィードは、キャプチャバッファ（ｃａｐｔｕｒｅ  ｂｕｆｆｅｒ）がこれをキャプチャした後に一時的に格納する。
【００６５】
ステップ２００は、中間映像を生成してこれを参照映像リストに追加するステップである。このとき、中間映像の生成は、上述した本発明の好ましい実施形態に係る中間映像合成方法によって形成されることが好ましい。多視点ビデオの符号化効率は、符号化しようとする対象映像と類似した参照映像が存在する場合、またはより一層向上した画質の参照映像が存在する場合にさらに優秀になるためである。
【００６６】
多視点ビデオの符号化に中間映像を用いる理由は次の通りである。例えば、Ｂ画面を符号化するときに左右視点の画面がすでに符号化されていれば、これらの映像を参照して中間視点の映像を生成することができる。このように生成された中間映像は、符号化する対象映像と視点が同一であるため、極めて相関度が高い映像である。したがって、中間映像を符号化過程の参照映像として用いれば、対象映像との高い相関度によって符号化効率を向上させることができる。
【００６７】
ステップ３００は、参照映像リストの参照映像に基づいて対象映像の動きベクトルを算出するステップである。このとき、対象映像はステップ１００で入力された映像であり、参照映像は深さマップから生成された中間映像を含んでおり、参照映像リストに格納されている映像である。このような参照映像を用いて対象映像の動きを予想し、対象映像の該当ブロックに対する動きベクトルを算出する。
【００６８】
ステップ４００は、ステップ３００を通して算出された動きベクトルだけ動き補償された前記参照映像に対する前記対象映像の差の値を求めるステップである。ステップ４００では、動きベクトルを用いて参照映像に対して動き補償を実行することによって予測映像を構成し、対象映像と予測映像との差値行列を算出する。
【００６９】
ステップ５００は、差値行列を離散コサイン変換してＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）係数を得るステップである。
【００７０】
ステップ６００は、ステップ５００を介して得たＤＣＴ係数を量子化する。
【００７１】
ステップ７００は、ステップ６００を介して量子化されたＤＣＴ係数をＣＡＶＬＣ（Ｃｏｎｔｅｘｔ  Ａｄａｐｔｉｖｅ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅｓ）またはＣＡＢＡＣ（Ｃｏｎｔｅｘｔ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）などの方法でエントロピーコーディングを実行するステップである。エントロピーコーディングされたフィードは、バッファなどを介して外部のネットワークに送信される。
【００７２】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【産業上の利用可能性】
【００７３】
本発明は、セグメント単位で初期深さ値を算出し、信頼拡散方法を適用してこれをセグメント単位で精製して最終深さマップを算出し、これを用いて向上した画質の中間映像を得ることにより、立体テレビ、自由視点テレビ、監視カメラ映像などに広く用いることができる。
【図面の簡単な説明】
【００７４】
【図１】本発明の好ましい実施形態に係る深さマップ推定装置のブロック図である。
【図２】セグメント設定部によって類似した画素同士がセグメントに分割された映像の例を示す図である。
【図３】３次元ワーピングを用いてワーピングされた対象映像を取得することを説明する図である。
【図４ａ】図４ａは、従来の画素単位信頼拡散方法の概念図である。
【図４ｂ】図４ｂは、本発明の深さ値精製部で実行されるセグメント単位の信頼拡散方法の概念図である。
【図５ａ】図５ａは、それぞれ初期深さマップと最終深さマップの一例を示す図である。
【図５ｂ】図５ｂは、それぞれ初期深さマップと最終深さマップの一例を示す図である。
【図６】本発明の好ましい実施形態に係る深さマップ推定方法のフローチャートである。
【図７】本発明の好ましい実施形態に係るエンコーディング方法のフローチャートである。
【符号の説明】
【００７５】
１０：多視点映像格納部
２０：セグメント設定部
３０：３次元ワーピング部
４０：初期深さ値探索部
５０：深さ値精製部
【図１】
2009123219.tif 000010
【図２】
2009123219.tif 000011
【図３】
2009123219.tif 000012
【図４ａ】
2009123219.tif 000013
【図４ｂ】
2009123219.tif 000014
【図５ａ】
2009123219.tif 000015
【図５ｂ】
2009123219.tif 000016
【図６】
2009123219.tif 000017
【図７】
2009123219.tif 000018