(57)【要約】  深度マップ１０１をリマッピングするように構成された画像処理デバイス１００が開示される。三次元画像は、深度マップ及びコンテンツ画像を有する。深度マップは、２Ｄアレイにおける深度画素を有する。各深度画素は、深度値２０３及び位置２０１，２０２を有する。リマッピングは、全体的リマッピング関数１２２を有する。画像処理デバイスは、少なくとも位置及び深度値に基づく選択基準を用いて三次元画像における少なくとも１つのオブジェクトに対応する深度画素１１２を選択するための選択関数１１０と、オブジェクトをリマッピングするための局所的リマッピング関数１２１を決定するための決定関数１２０と、選択された深度画素をリマッピングするための局所的リマッピング関数を用いて、及び、他の深度画素のための全体的リマッピング関数を用いて、深度マップをリマッピングするためのマッピング関数１３０とを有する処理ユニット１９９を有する。オブジェクトは、三次元画像に結合されたメタデータを介して供給される選択基準を用いて選択される。
2016540401.tif 000002
【特許請求の範囲】
【請求項１】
三次元画像の深度マップをリマッピングするように構成された画像処理デバイスであって、
前記三次元画像は、深度マップ及び二次元コンテンツ画像を有し、
前記深度マップは、前記コンテンツ画像における画像画素の位置に対応する位置での二次元アレイにおいて構成される深度画素を有し、
前記深度画素の各々は、深度値を有し、
前記のリマッピングは、前記深度マップの深度値の、前記深度マップの新たな深度値へのマッピングのための全体的リマッピング関数を有し、
当該画像処理デバイスは、
前記三次元画像と前記三次元画像に結合されるメタデータとを有する信号を受信するための受信ユニットであって、前記メタデータは、前記三次元画像における少なくとも１つのオブジェクトに対応する深度画素を選択するための少なくとも位置及び深度値に基づく選択基準を有する、受信ユニットと、
処理ユニットとを有し、
前記処理ユニットは、
前記メタデータから前記選択基準を取り出し、前記選択基準を用いて前記三次元画像における少なくとも１つのオブジェクトに対応する深度画素を選択するように構成された選択関数と、
選択された深度画素の深度値を新たな深度値にマッピングするための局所的リマッピング関数を決定するように構成された決定関数と、
選択された深度画素をリマッピングするために前記局所的リマッピング関数を用いて、及び、前記選択された深度画素以外の深度画素に対して前記全体的リマッピング関数を用いて、前記深度マップをリマッピングするように構成されたマッピング関数とを有する、画像処理デバイス。
【請求項２】
前記処理ユニットは、前記局所的リマッピング関数を決定するためのデータを前記メタデータから取り出すように構成される、請求項１に記載の画像処理デバイス。
【請求項３】
前記選択基準は、位置及び深度値における境界を有し、
前記選択関数は、前記境界内に存在している前記深度画素を選択するように構成される、請求項１に記載の画像処理デバイス。
【請求項４】
前記境界は、深度値に対応する第１の次元と位置に対応する第２の次元及び第３の次元とを有する三次元閉ボリュームを規定する、請求項３に記載の画像処理デバイス。
【請求項５】
前記三次元閉ボリュームは、複数のボリュームにより形成され、
前記複数のボリュームの各々は、ボックス、楕円体、球体、立方体及び平行六面体を有する複数の形状のうち１つを有する、請求項４に記載の画像処理デバイス。
【請求項６】
前記境界は、少なくとも２つの次元を有する境界ボックスにより規定され、前記２つの次元のうちの第１の次元は、深度値に対応し、前記２つの次元のうちの第２の次元は、位置に対応する、請求項３に記載の画像処理デバイス。
【請求項７】
前記三次元画像は、三次元ビデオのビデオフレームに対応し、前記選択関数は、動作ベクトルを用いて、前記三次元ビデオの他のビデオフレームに対応する他の境界の位置から外挿することにより前記境界の位置を決定するように構成される、請求項３に記載の画像処理デバイス。
【請求項８】
前記選択関数は、前記選択された深度画素の各々を囲む予め決められたサイズのボリュームが予め決められた量を超える深度画素の量を含むことを更なる選択基準として用いて深度画素を選択するように構成される、請求項１に記載の画像処理デバイス。
【請求項９】
前記選択関数は、前記選択された深度画素が位置及び深度値においてクラスタを形成することを更なる選択基準として用いて前記深度画素を選択するように構成される、請求項１に記載の画像処理デバイス。
【請求項１０】
前記決定関数は、前記局所的リマッピング関数に応じた前記深度マップのリマッピングが前記少なくとも１つのオブジェクトに対応する前記選択された深度画素と前記深度マップにおける他の深度画素との間の深度コントラストを増大させるように前記局所的リマッピング関数を決定するように構成され、
前記深度コントラストは、深度範囲対する、前記選択された深度画素の深度値の平均と前記他の深度画素の深度値の平均との間の差分であり、
前記深度範囲は、マッピング前の入力深度範囲及びリマッピング後の出力深度範囲である、請求項１に記載の画像処理デバイス。
【請求項１１】
リマッピングされた深度マップを有する前記三次元画像は、三次元ディスプレイ上に表示するためのものであり、
前記決定関数は、前記選択された深度画素の深度値を、前記三次元ディスプレイの予め決められた視差範囲内にある新たな視差値にそれぞれ対応する新たな深度値にマッピングするために前記局所的リマッピング関数を決定するように構成される、請求項１に記載の画像処理デバイス。
【請求項１２】
深度マップをリマッピングするために請求項１−１１のうちいずれか一項に記載の画像処理デバイスにおいて使用する信号であって、
当該信号は、三次元画像と前記三次元画像に結合されるメタデータとを有し、
前記三次元画像は、前記深度マップ及び二次元コンテンツ画像を有し、
前記深度マップは、前記コンテンツ画像における画像画素の位置に対応する位置での二次元アレイにおいて構成される深度画素を有し、
前記深度画素の各々は、深度値を有し、
前記メタデータは、選択された深度画素の深度値を新たな深度値にマッピングするための前記三次元画像における少なくとも１つのオブジェクトに対応する深度画素を選択するための少なくとも位置及び深度値に基づく選択基準を有する、信号。
【請求項１３】
三次元画像の深度マップをリマッピングするための画像処理方法であって、
前記三次元画像は、前記深度マップ及び二次元コンテンツ画像を有し、
前記深度マップは、前記コンテンツ画像における画像画素の位置に対応する位置での二次元アレイにおいて構成される深度画素を有し、
前記深度画素の各々は、深度値を有し、
前記のリマッピングは、前記深度マップの深度値の、新たな深度値へのマッピングのための全体的リマッピング関数を有し、
当該画像処理方法は、
前記三次元画像と前記三次元画像に結合されるメタデータとを有する信号を受信するステップであって、前記メタデータは、前記三次元画像における少なくとも１つのオブジェクトに対応する深度画素を選択する、ステップと、
前記選択基準を前記メタデータから取り出すステップと、
前記選択基準を用いて前記三次元画像における前記少なくとも１つのオブジェクトに対応する深度画素を選択するステップと、
選択された深度画素の深度値を新たな深度値にマッピングするための局所的リマッピング関数を決定するステップと、
前記選択された深度画素をリマッピングするために前記局所的リマッピング関数を用いて、及び、前記選択された深度画素以外の深度画素に対して前記全体的リマッピング関数を用いて、前記深度マップをリマッピングするステップとを有する、画像処理方法。
【請求項１４】
請求項１２に記載の信号において使用するためのメタデータを生成するための画像符号化方法であって、
選択された深度画素の深度値を新たな深度値にマッピングするために三次元画像における少なくとも１つのオブジェクトに対応する深度画素を選択するための少なくとも位置及び深度値に基づく選択基準を有するメタデータを生成するステップと、
前記メタデータを前記三次元画像に結合するステップとを有する、画像符号化方法。
【請求項１５】
請求項１３又は請求項１４に記載の方法による選択、決定及びリマッピングをプロセッサに実行させるための命令を有する、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元の（２Ｄ）コンテンツ画像に対応する深度マップのリマッピングに関する。２Ｄ画像及び深度マップは、３Ｄディスプレイ上に表示されるべき三次元（３Ｄ）画像をレンダリングするための基礎を形成する。リマッピングは、入力深度範囲から３Ｄディスプレイの出力深度範囲に深度マップをマッピングする。
【背景技術】
【０００２】
論文"Disparity remapping to ameliorate visual comfort of stereoscopic video"（Sohn et al, Proc. SPIE 8648, Stereoscopic Displays and Applications XXIV, 86480Y）は、視差マップをリマッピングするための方法について述べている。視差マップは、視差マップに対応する二次元の（２Ｄ）画像を有する、三次元（３Ｄ）画像の部分である。視差マップは、（新たな視差マップに基づく）三次元画像が３Ｄディスプレイ上に表示され得るように、新たな視差マップにリマッピングされる。リマッピングは、以下のように確立される。第一に、この方法は、視差マップを入力視差範囲から（３Ｄディスプレイの）出力視差範囲にマッピングするための全体的リマッピング曲線を確立する。第二に、この方法は、３Ｄディスプレイ上に３Ｄ画像を表示するときに、視覚的不快をもたらす視差遷移に基づいて局所的に突出した特徴を識別する。それ故、全体的リマッピング曲線は、前記視覚的不快を低減するために局所的に突出した特徴に適合される。そして、視差マップは、適合された全体的リマッピング曲線に従ってリマッピングされる。
【０００３】
ＵＳ２０１２／０３１４９３３は、ユーザが立体的画像上で注意を払っていると推定される注目領域を推定すること、立体的画像の視差を検出し、立体的画像の各領域の視差を示す視差マップを生成すること、注目領域及び視差マップに基づいて立体的画像の視差を修正するための変換特性を設定すること、及び、変換特性に基づいて視差マップを修正することを含む画像処理を開示している。異なる変換関数が注目領域及び背景のために用いられ得る。
【０００４】
ＵＳ２０１３／０１４１４２２は、三次元立体画像の一部と関連付けられた特性を変えるためのシステムについて述べている。この方法は、仮想オブジェクトの部分の左目画像と仮想オブジェクトの部分の右目画像との間の差分に基づいて、三次元画像における仮想オブジェクトの一部がディスプレイに対する第１の軸に沿った予め決められた位置にあることを決定することを含む。第１の軸は、ディスプレイの面に直交する。
【０００５】
ＷＯ２００９／０３４５１９は、深度に関連した情報の生成において使用されるマッピング関数に関するメタデータを受信することを含む、画像データのための深度に関連した情報を受信することについて述べている。
【０００６】
ＵＳ２０１２／０３０６８６６は、深度情報を調整するための３Ｄ画像変換について述べている。この変換は、入力画像に関する深度情報を生成すること、予め設定された範囲を超える視差をもつオブジェクトを検出すること、及び、検出されたオブジェクトの視差が予め設定された範囲内になるように調整することによりオブジェクトの深度情報を調整することを含む。メタデータ（例えば、ジャンル又は視聴年齢）は、生成された深度情報が予め決められた範囲内になるように調整するために解析され得る。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術の欠点は、局所的特徴に対する全体的視差リマッピング（又は、"リターゲティング"）の適応性が制限されるということである。局所的特徴に対する全ての適応は、同じ（適合された）全体的リマッピングにより調節される必要があるためである。
【０００８】
本発明の目的は、画像の他の部分において深度リマッピングを適合することなく画像におけるオブジェクトを正確に選択して適応させる深度リマッピングを提供することにより従来技術の欠点を克服することにある。
【課題を解決するための手段】
【０００９】
三次元画像の深度マップをリマッピングするように構成された画像処理デバイスが開示され、前記三次元画像は、深度マップ及び二次元コンテンツ画像を有し、前記深度マップは、前記コンテンツ画像における画像画素の位置に対応する位置での二次元アレイにおいて構成される深度画素を有し、前記深度画素の各々は、深度値を有し、前記のリマッピングは、前記深度マップの深度値の、前記深度マップの新たな深度値へのマッピングのための全体的リマッピング関数を有し、当該画像処理デバイスは、前記三次元画像と前記三次元画像に結合されるメタデータとを有する信号を受信するための受信ユニットであって、前記メタデータは、前記三次元画像における少なくとも１つのオブジェクトに対応する深度画素を選択するための少なくとも位置及び深度値に基づく選択基準を有する、受信ユニットと、処理ユニットとを有し、前記処理ユニットは、前記メタデータから前記選択基準を取り出し、前記選択基準を用いて前記三次元画像における少なくとも１つのオブジェクトに対応する深度画素を選択するように構成された選択関数と、選択された深度画素の深度値を新たな深度値にマッピングするための局所的リマッピング関数を決定するように構成された決定関数と、選択された深度画素をリマッピングするために前記局所的リマッピング関数を用いて、及び、前記選択された深度画素以外の深度画素に対して前記全体的リマッピング関数を用いて、前記深度マップをリマッピングするように構成されたマッピング関数とを有する。
【００１０】
三次元（３Ｄ）画像は、深度マップ及び対応するコンテンツ画像を含む。深度マップは、Ｘ及びＹ軸に沿ったそれぞれの位置での２Ｄアレイにおける深度画素を有し、各深度画素は深度値を有する。深度マップの各画素は、コンテンツ画像における対応する位置における画素に対応する。斯様な三次元画像フォーマットは、"画像プラス深度"又は"２Ｄ＋Ｚ"として一般に知られている。
【００１１】
深度マップのリマッピングは、深度マップのそれぞれの深度画素の、それぞれの新たな深度値への深度値のマッピングを意味する。リマッピングは、少なくとも、深度マップをリマッピングするための全体的リマッピング関数を有する。
【００１２】
選択関数は、少なくとも位置及び深度値に基づく選択基準を用いて、三次元画像におけるオブジェクトに対応する深度画素を選択するように構成される。例えば、選択基準は、前面のオブジェクトに対応する深度画素を含む深度及び位置における境界を有し、選択関数は、境界の範囲内にある深度画素を選択することにより、前面のオブジェクトに対応する深度画素を選択する。位置及び深度値に基づいてオブジェクトを選択することは、高い割合の深度画素がそのオブジェクトに対応する一方で、そのオブジェクトに対応しない低い割合の深度画素を選択するように、オブジェクトの正確な選択を可能にする。
【００１３】
オプションとして、選択関数は、三次元画像における（前面の）オブジェクトを決定するための自動化されたプロセスを有する。
【００１４】
決定関数は、選択された深度画素をリマッピングするための局所的リマッピング関数を決定するように構成される。局所的リマッピング関数は、全体的リマッピング関数とは異なるリマッピング関数である。
【００１５】
オプションとして、決定関数は、三次元画像までの結合されるメタデータからの局所的リマッピングしている関数を取り出すために構成される。オプションとして、決定関数は、オブジェクトと他のオブジェクト及び／又は背景との間の深度コントラストが向上するように、局所的リマッピング関数を決定するための自動化されたプロセスを有する。
【００１６】
リマッピング関数は、局所的リマッピング関数及び全体的リマッピング関数の双方を用いて深度マップをリマッピングするように構成される。局所的リマッピング関数は、選択された深度画素をリマッピングするために用いられるのに対し、全体的リマッピング関数は、残りの（選択されない）深度画素をリマッピングするために用いられる。
【００１７】
三次元画像の深度マップをリマッピングするための方法が開示され、前記三次元画像は、深度マップ及び二次元コンテンツ画像を有し、前記深度マップは、前記コンテンツ画像における画像画素の位置に対応する位置での二次元アレイにおいて構成される深度画素を有し、前記深度画素の各々は、深度値を有し、前記のリマッピングは、前記深度マップの深度値の、新たな深度値へのマッピングのための全体的リマッピング関数を有し、当該方法は、前記三次元画像と前記三次元画像に結合されるメタデータとを有する信号を受信することを有し、前記メタデータは、前記三次元画像における少なくとも１つのオブジェクトに対応する深度画素を選択し、前記メタデータから前記選択基準を取り出し、前記選択基準を用いて前記三次元画像におけるオブジェクトに対応する深度画素を選択し、選択された深度画素の深度値を新たな深度値にマッピングするための局所的リマッピング関数を決定し、選択された深度画素をリマッピングするために前記局所的リマッピング関数を用いて、及び、選択された深度画素以外の深度画素に対して前記全体的リマッピング関数を用いて、前記深度マップをリマッピングするための、少なくとも位置及び深度値に基づく選択基準を有する。
【００１８】
深度マップをリマッピングするために前述した画像処理デバイスにおいて使用する信号が開示され、当該信号は、三次元画像と前記三次元画像に結合されるメタデータとを有し、前記三次元画像は、前記深度マップ及び二次元コンテンツ画像を有し、前記深度マップは、二次元アレイにおいて構成される深度画素を有し、前記深度画素の各々は、深度値を有し、前記コンテンツ画像における位置に対応する、前記二次元アレイにおける位置を有し、前記メタデータは、選択された深度画素の深度値を新たな深度値にマッピングするための前記三次元画像における少なくとも１つのオブジェクトに対応する深度画素を選択するための少なくとも位置及び深度値に基づく選択基準を有する。
【００１９】
上記の信号において使用するためのメタデータを生成するための画像符号化方法が開示され、当該方法は、選択された深度画素の深度値を新たな深度値にマッピングするための三次元画像における少なくとも１つのオブジェクトに対応する深度画素を選択し、少なくとも位置及び深度値に基づく選択基準を有するメタデータを前記三次元画像に結合するための、前記メタデータを生成するステップを有する。
【００２０】
本発明は、メタデータが位置及び深度値の双方を用いることによりオブジェクトに対応する深度画素を正確に選択するのを可能にするので、従来技術の上述の欠点をもたない。従って、オブジェクトの正確な選択は、局所的リマッピングがオブジェクトに正確に適用されるのを可能にする一方で、全体的リマッピングは、画像の他の部分に対して維持される。
【００２１】
この文書における"正確に"という用語は、そのオブジェクトに対応する、高い割合の深度画素を選択する一方で、そのオブジェクトに対応しない低い割合の深度画素を選択することをいうことに留意されたい。例えば、高い割合は、９５−１００％に言及し、低い割合は、０−５％に言及する。本発明の効果は、深度リマッピングが三次元画像における（局所的）オブジェクトに正確に適合する一方で三次元画像の他の部分に対して全体的リマッピングを維持することである。
【００２２】
本発明のこれらの及び他の態様は、以下で述べられる実施形態から明らかになり、これらを参照して説明されるだろう。
【図面の簡単な説明】
【００２３】
【図１】深度マップをリマッピングするための画像処理デバイスを示す。
【図２ａ】２つの前面のオブジェクト及び背景を有する深度マップを示す。
【図２ｂ】２つの前面のオブジェクトのための深度プロファイルを示す。
【図３ａ】複数の形状を用いた複雑なオブジェクトの選択を示す。
【図３ｂ】複数のより小さな分離されたオブジェクトからなるオブジェクトの選択を示す。
【図４】全体的リマッピング関数及び２つの局所的リマッピング関数を示す。
【発明を実施するための形態】
【００２４】
異なる図面において同一の参照番号を有するアイテムは同一の構造的特徴及び同一の関数を有することに留意すべきである。斯様なアイテムの機能及び／又は構造が説明された場合、詳細な説明においてその反復説明の必要がない。
【００２５】
図１は、深度マップＭＡＰ  １０１をリマッピングするための画像処理デバイス１００を示している。深度マップＭＡＰは、深度画素の二次元（２Ｄ）アレイを有し、深度画素の各々は深度値及び２Ｄアレイにおける位置を有する。画像処理デバイス１００は、幾つかの機能１１０，１２０及び１３０を実行するために設けられる処理ユニット１９９を有する。選択関数ＳＥＬＦＵＮ  １１０は、選択基準ＣＲＴ１１１を用いて、深度マップＭＡＰにおける深度画素ＳＥＬＰＩＸ１１２を選択する。そして、決定関数ＤＥＴＦＵＮ  １２０は、選択された深度画素ＳＥＬＰＩＸをリマッピングするための局所的リマッピング関数ＦＬＯＣ  １２１を決定する。そして、マッピング関数ＭＡＰＦＵＮ１３０は、（１）選択された深度画素ＳＥＬＰＩＸを、局所的リマッピング関数ＦＬＯＣを用いてリマッピングすることにより、及び、（２）選択された深度画素ＳＥＬＰＩＸとは異なる画素を、全体的リマッピング関数ＦＧＬＯＢ  １２２を用いてリマッピングすることにより、深度マップＭＡＰをリマッピングする。リマッピング関数ＭＡＰＦＵＮの出力は、入力深度マップＭＡＰと同じフォーマットを有する、新たな深度マップＭＡＰＮＥＷ  １３１である。
【００２６】
"深度マップをリマッピングする"という表現は、深度マップの深度値がそれぞれの新たな深度値にマッピングされることを意味することに留意されたい。
【００２７】
深度マップＭＡＰは、深度画素の２Ｄアレイとしてフォーマットされる。深度マップＭＡＰは、深度画素を有し、コンテンツを表すコンテンツ画素を有する（２Ｄ）コンテンツ画像に結合される。例えば、コンテンツ画像は、自然なシーンを示し、写真であるか、又は、動画のビデオフレームである。コンテンツ画像及び深度マップ１０１の組み合わせは、"２Ｄ＋Ｚ"又は"２Ｄ＋ｄｅｐｔｈ"として一般に知られる三次元（３Ｄ）画像フォーマットを構成する。
【００２８】
２Ｄアレイにおける位置での深度画素は、（２Ｄ）コンテンツ画像における対応する位置での画素に対応する。深度マップがコンテンツ画像と同じ解像度を有する場合、コンテンツ画像における或る位置でのコンテンツ画素は、深度マップにおける同じ或る位置での深度画素に対応する。深度マップがコンテンツ画像とは異なる解像度を有する場合、コンテンツ画像における前記位置でのコンテンツ画素は、スケーリングされた深度マップにおける同じ位置での深度画素に対応し、これは、深度マップをコンテンツ画像の解像度にスケーリングする結果である。それ故、この文書において、コンテンツ画像における位置（又は領域）への言及は、深度マップＭＡＰにおける位置と同等である。
【００２９】
オプションとして、画像処理デバイス１００は、深度マップＭＡＰを処理ユニット１９９に供給するために三次元画像及びメタデータを有する信号を受信するための受信ユニットＲＥＣＶＲ  １５０を含む。受信ユニットＲＥＣＶＲは、深度マップを有する三次元画像及び選択基準を有するメタデータを、例えば光ディスクから受信し、深度マップ及び選択基準を処理ユニット１９９に供給してもよい。受信ユニットＲＥＣＶＲを有する場合、画像処理デバイス１００は、光ディスクユニットとして機能してもよい。
【００３０】
オプションとして、画像処理デバイス１００は、リマッピングされた深度マップＭＡＰＮＥＷを処理ユニット１９９から受信するディスプレイのＤＩＳＰ  １６０を含み、リマッピングされた深度マップＭＡＰＮＥＷに基づいてディスプレイＤＩＳＰ上に表示するために三次元画像をレンダリングする。ディスプレイＤＩＳＰを有する場合、画像処理１００は、３Ｄテレビとして機能してもよい。
【００３１】
選択関数ＳＥＬＦＵＮは、深度マップＭＡＰから、選択基準ＣＲＴを満たす深度画素を選択する。選択関数ＳＥＬＦＵＮは、例えば三次元画像に結合されたメタデータから選択基準ＣＲＴを取得し、深度画素を適宜選択する。選択基準ＣＲＴは、（少なくとも）深度及び位置に基づく。
【００３２】
選択された（深度）画素は、典型的には、三次元画像におけるオブジェクトに対応する。オブジェクトは、三次元画像の領域に自然に限られる。例えば、オブジェクトは、三次元画像を取り込んだカメラの近くにある、浮いているボールに対応する。３Ｄディスプレイ上に三次元画像を表示するときに、ボールは、前面にあり、三次元画像における残りのシーンの前で浮く。ボールは、深度マップＭＡＰにおける領域に限られるだけでなく、制限された深度範囲にも限られる。それ故、ボールは、３つの辺を有する３Ｄ境界ボックスを規定する選択基準を用いて選択され得る：（１）２Ｄ位置の横の次元に沿った第１の辺、（２）２Ｄ位置の縦の次元に沿った第２の辺、及び、（３）深さの次元に沿った第３の辺。効果的に、３Ｄ境界ボックスは、"位置−深度"空間である３Ｄ数学的空間において規定される。ボールを選択することは、境界ボックス内にある深度画素を選択することにより行われる。深度及び位置に基づいてボールのようなオブジェクトを選択する利点は、以下において更に説明される。
【００３３】
図２ａは、２つの前面のオブジェクトＡ２２０及びＢ２３０、並びに、背景Ｃ２４０を有する深度マップ２１０を示している。深度マップ２１０は、横座標Ｘ２０１及び縦座標Ｙ２０２を有する２Ｄアレイである。それ故、深度マップ２０１における各深度画素は、深度値及び位置（Ｘ，Ｙ）を有する。
【００３４】
前面のオブジェクトＡは、円形境界２２１ｘｙにより囲まれるのに対し、前面のオブジェクトＢは、境界ボックス２３１により囲まれる。前面のオブジェクトＡに対応する深度画素は、円形境界２２１ｘｙ内にある深度画素を選択することにより選択されてもよい。しかしながら、オブジェクトＡに対応する深度画素だけが選択されるものではない点で、斯様な選択は不正確になるだろう。背景Ｃの一部及び前面のオブジェクトＢが円形２２１ｘｙに含まれるためである。同様に、境界ボックス２３１は、前面Ｂに対応する深度画素を正確に選択するのに不十分であるだろう。境界ボックス２３１は、背景Ｃの一部及び前面のオブジェクトＡを含むためである。重複エリア２５０は、（オブジェクトＡの）境界２２０がオブジェクトＢの一部を含むとともに（オブジェクトＢの）境界２３０がオブジェクトＡの一部を含む領域である。それ故、単純に位置に基づく境界２２１ｘｙ及び２３１ｘｙのような選択基準は、コンテンツ画像におけるオブジェクトＡ及びＢを正確に選択するのに適切ではない。この文書における"オブジェクトの正確な選択"は、そのオブジェクトに対応する高い割合の深度画素を選択する一方でそのオブジェクトに対応しない低い割合の深度画素を選択することに言及することに留意されたい。例えば、高い割合は、９５−１００％に言及し、低い割合は、０−５％に言及する。
【００３５】
図２ｂは、２つの前面のオブジェクトＡ及びＢのための深度プロファイルを示している。グラフ２６０は、軸深度Ｄ  ２０３及び横座標Ｘ  ２０１を有する。図２ｂにおける深度プロファイル２２５は、図２ａの深度マップ２１０の横断面を表す（図２ａにおける破線２２５も参照）。深度プロファイル２２５は、オブジェクトＡ及び背景Ｃの双方の画素を含む（示された範囲２４１を参照）。同様に、図２ｂにおける深度プロファイル２３５は、図２ａの深度マップ２１０の横断面を表す（図２ａにおける破線２３５も参照）。深度プロファイル２３５は、オブジェクトＢ及び背景Ｃの双方の画素を含む。
【００３６】
前面のオブジェクトＡは、楕円境界２２１ｘｄにより囲まれるのに対し、前面のオブジェクトＢは、境界ボックス２３１ｘｄ（矩形の境界）により囲まれる。前面のオブジェクトＡに対応する深度画素は、楕円境界２２１ｘｄを用いて正確に選択され得る。前面のオブジェクトＡの画素だけが楕円２２１ｘｄに含まれるためである。故に、楕円２２１ｘｄ内にある深度画素を選択することにより、前面のオブジェクトＡに対応する深度画素だけが選択される。同様に、前面のオブジェクトＢに対応する深度画素は、境界ボックス２３１ｘｄを用いて正確に選択され得る。前面のオブジェクトＢの画素だけが境界ボックス２３１ｘｄに含まれるためである。故に、境界ボックス２３１ｘｄ内にある深度画素を選択することにより、前面のオブジェクトＢに対応する深度画素だけが選択される。それ故、（位置及び深度値の双方に基づく）境界２２１ｘｄ及び２３１ｘｄのような選択基準は、三次元画像におけるオブジェクトを正確に選択するために適切である。
【００３７】
図２ａ及び図２ｂは、それぞれ、三次元Ｘ−Ｙ−Ｄ（ＸＹＤ）空間（即ち、位置−深度空間）の二次元表示を表している。それ故、前の段落における例をＸＹＤ空間に一般化すると、オブジェクトは、ＸＹＤ空間における３Ｄ境界を用いて選択される。前面のオブジェクトＡを正確に選択することに関して、選択基準は、３Ｄ楕円体を有する。楕円体が（図２ｂに示される）Ｄ−Ｘ平面と同様の態様でＤ−Ｙ平面（図示省略）におけるオブジェクトＡを含む場合、前面のオブジェクトＡは、３Ｄ楕円体により正確に選択される。選択された深度画素は、オブジェクトＡに対応する全ての深度画素を排他的に含む。同様に、前面のオブジェクトＢを正確に選択するために、選択基準は、３Ｄ境界ボックスを有する。３Ｄ境界ボックスが（図２ｂに示された）Ｄ−Ｘ平面と同様の態様でＤ−Ｙ平面（図示省略）におけるオブジェクトＢを含む場合、前面のオブジェクトＢは、３Ｄ境界ボックスにより正確に選択される。選択された深度画素は、オブジェクトＢに対応する全ての深度画素を排他的に含む。故に、２Ｄ位置及び深度値の双方に基づく選択基準は、三次元画像におけるオブジェクトを正確に選択するために適切である。
【００３８】
前の段落は、一般的な場合の一例について述べており、正確な選択は、２Ｄ位置及び深度値の双方に基づく選択基準を要する。しかしながら、正確な選択が２Ｄ位置を必要としないか又は２Ｄ位置の１つの次元しか必要としないという２つの特定の場合が生じ得る。
【００３９】
図２ａ−２ｂにおける前面のオブジェクトＡ及びＢの第１の特定の場合において、深度値にのみ基づく選択基準は、オブジェクトＡ及びＢ並びに背景Ｃが深度値において分離される場合、それぞれ、実際にオブジェクトＡ及びＢの深度画素を正確に選択するのに十分であるかもしれない。（図２ｂは図２ａの深度マップ２１０の２つの横断面２２５及び２３５のみを示しているに過ぎず、従って、オブジェクトＡ及びＢ並びに背景Ｃが深度値において完全に分離されることを図２ｂのみから推論することができないことに留意されたい。）オブジェクトＡ及びＢ並びに背景Ｃが境界ボックス２３１ｘｄの下側（深度）境界及び上側（深度）境界により深度値において実際に完全に分離されるときに、この第１の潜在的な場合が生じる。その場合、背景Ｃは前記下側境界より低い深度値のみを有し、オブジェクトＡは前記上側境界より高い深度値のみを有し、オブジェクトＢは前記下側境界と前記上側境界との間の深度値のみを有する。
【００４０】
第１の特定の場合に類似する第２の特定の場合において、オブジェクトＡ及びＢの正確な選択は、深度値及び位置の１つの次元（Ｘ又はＹ）に基づく基準しか必要としない。この第２の特定の場合の要件は、オブジェクトＡ及びＢ並びに背景Ｃが深度値において及び２Ｄ位置の１つの次元（Ｘ又はＹ）において分離されることであるだろう。
【００４１】
これに対し、上で説明されたように、典型的な場合における位置のみに基づいてオブジェクトＡ（又はＢ）の深度画素を正確に選択することは可能ではなく、境界２２１ｘｙ（又は２３１ｘｙ）は、（図２ａに示されるような）幾つかのマージンによりオブジェクトＡ（又はＢ）を囲む。マージンは、単純な形状（例えば楕円）を有する（任意の形状を有し得る）オブジェクトに対応する全ての画素を含み、及び、選択するのを可能にするために実際に必要である。オブジェクトＡのまわりの境界２２１ｘｙのマージンは、背景Ｃの部分及びオブジェクトＢを含む。典型的には、オブジェクトＡ／Ｂ及び背景Ｃは、深度値のみにおいて分離されないので、正確な選択は、深度値及び位置の双方に基づく基準を必要とする。
【００４２】
要約すると：一般的な場合において、正確な選択は、深度値及び２Ｄ位置に基づく選択を必要とする。第１の特定の場合において、正確な選択は、深度のみに基づく選択を必要とする。第２の特定の場合において、正確な選択は、深度と位置の１つの次元とに基づく選択を必要とする。
【００４３】
種々の形状がオブジェクトを選択するために用いられてもよい。図２ａ及び２ｂは楕円体及び矩形の境界ボックスを示す。他の考えられる形状は、立方体、又は球、又は円柱を含む。更なる考えられる形状は、回転する楕円体を含み、従って、その主軸は、Ｘ、Ｙ若しくはＤ軸、又は、類似して、回転される境界ボックスとは位置調整されない。斯様な形状は、それ故に選択基準を構成する少しの数によりパラメータ化される。例えば、楕円体（又は境界ボックス）は、Ｘ，Ｙ及びＤの次元のそれぞれの範囲により、それ故に合計６の数、即ち三次元の２倍（範囲は、最小値及び最大の値である２の数により規定される）によりパラメータ化される。回転される楕円体（又は境界ボックス）をパラメータ化することは、概して、２の追加の数（即ち、回転の２つの角度）を必要とする。
【００４４】
原理上、ＸＹＤ空間における閉じられたボリュームである任意の形状がオブジェクトを選択するために用いられ得ることに留意されたい。
【００４５】
図３ａは、複数の形状３２１−３２３を用いた複雑なオブジェクト３２０の選択を示している。グラフ３１０のフォーマットは、（図２ａにおける）グラフ２１０のものと同様である。即ち、軸は、それぞれの画素座標Ｘ及びＹにより表される。不規則な形状を有するという点で、前面のオブジェクト３２０は複雑である。この例では、３つの楕円は、前面のオブジェクト３２０を含む。代わりに、単一の大きな楕円３３１は、オブジェクト３２０を含めるために用いられる。しかしながら、３つの（小さな）楕円３２１−３２３を用いることは、よりタイトな"フィット"をもたらす。ここで、選択基準は、Ｘ−Ｙ平面における二次元の楕円３２１−３２３によりここで示される３つの（３Ｄ）楕円体を記述するパラメータから成る。３つの楕円体が深度次元Ｄにおいて前面のオブジェクト３２０を含めるのに十分である場合、前面のオブジェクト３２０に対応する深度画素を正確に選択することは、楕円体３２１−３２３内にある深度画素を選択することにより行われる。換言すれば、楕円体３２１−３２３は、ボリュームを同時に形成し、そのボリュームの外側表面は、オブジェクト３２０に対応する深度画素を包囲し、深度画素は、前記外側表面により包囲される深度画素を選択することにより選択される。図３ａにおける例の変形例（図示省略）は、異なる形状の混合が前面のオブジェクト３２０、例えば楕円体、境界ボックス及び球体を選択するために用いられることである。
【００４６】
オブジェクトとその選択境界との間のマージンは、好ましくは小さ過ぎるものではないが、大き過ぎるものでもないことに留意されたい。小さなマージンは、オブジェクトのまわりの選択境界の"タイトフィット"に対応し、それ故、オブジェクトの全ての深度画素が境界に含まれるというわけではなく、それ故に選択されないかもしれないというリスクを有する。大きなマージンは、オブジェクトのまわりの選択境界（例えば楕円体３３１）の"ルーズフィット"に対応し、他のオブジェクト又は背景の深度画素が含まれ、それ故に選択されないかもしれないというリスクを有する。
【００４７】
図３ｂは、複数のより小さな分離されたオブジェクト３７１−３７６からなるオブジェクト３７０の選択を示している。グラフ３６０は、図３ａのグラフ３１０と同じフォーマット内にある。バペット３７０は、互いに直接接続されないがその代わりにいくらかの空間により分離される頭部３７１、胴体３７２及び四肢３７３−３７６を有する。それ故、斯様な"分離された"オブジェクトは、この場合においては異なる形状の混合である複数の分離された形状３８０を用いて選択されてもよい。別の例として、サブタイトルは、個々の文字である複数のより小さな分離されたオブジェクトから成る単一のオブジェクトを表す。
【００４８】
グラフ３６０は二次元視野を示し、図３ｂの一般化された場合は、複数の三次元形状３８０を用いて三次元ＸＹＤ空間における複数の分離された３Ｄオブジェクト３７１−３７６を選択することに対応することに留意されたい。
【００４９】
図３ｂに対する変形例として、単一のボリュームを包囲する選択境界は、単一のオブジェクトだけでなく複数のオブジェクトも含んでもよい。これに対し、前の例において、単一のオブジェクトは、１又は複数の形状からなる単一のボリュームにより包囲された。例えば、図２ａ及び２ｂの場合において、オブジェクトＡ及びＢは、背景が単一の境界ボックスにより選択されない場合（例えば背景の深度値がオブジェクトＢの全ての深度値より全て高いとき）、単一の境界ボックスにより選択されてもよい。別の例として、複数のオブジェクトは、フットボールをしている２人の人に対応する。全体で３つの分離されたオブジェクトである（第１の人、第２の人及びボール）。これらの３つのオブジェクトは関連付けられ、単一の前面のシーンを一緒に表す。本発明に従って、単一のボリュームは、３つのオブジェクトを包囲し、単一の局所的リマッピング関数を用いて３つのオブジェクトの深度値をリマッピングするために用いられる（代わりに、図３ｂの場合と同様に、３つのオブジェクトの各々は、単一のボリュームにより別々に選択され（それ故に全体で３つのボリューム）、３つのオブジェクトの深度値は、同じ単一の局所的リマッピング関数を用いてリマッピングされる）。更なる改良として、選択関数ＳＥＬＦＵＮは、小さなクラスタの深度画素をフィルタリングする追加の選択関数を有する。小さなクラスタは、大きなクラスタよりも、ノイズを含む高い確率を有する。それ故、実質的に大きなクラスタに対応する深度画素のみを選択することにより、ノイズよりもむしろオブジェクトを選択する可能性が増大する。前記追加の選択は、以下のように行われる。予め決められたサイズの小さなボリューム（例えばボックス又は球体）は、ＸＹＤ空間における深度画素を囲むように規定され、ボリューム内にある深度画素の量が計数される。計数された量が予め決められた量より低い場合、深度画素は選択されない。換言すれば、深度画素の画素密度があまりに低い場合、深度画素は選択されない。
【００５０】
オプションとして、選択関数ＳＥＬＦＵＮは、メタデータから取り出されるＸＹＤ空間における境界を用いることなくオブジェクトＡ及びＢを決定するための自動化されたプロセスを用いる。自動化されたプロセスは、ＸＹＤ空間における大きなクラスタを形成する深度画素のグループを決定するためにクラスタ化アルゴリズムを用いる。クラスタを形成する深度画素のグループは、定義により、ＸＹＤ空間における同様の位置を有する。図２ａ及び２ｂから、オブジェクトＡ及びオブジェクトＢが深度画素の分離クラスタを形成することは明らかであり、これは、クラスタ化アルゴリズムにより決定され得る。ＸＹＤ空間において大きなクラスタを決定した場合、選択関数ＳＥＬＦＵＮは、その決定されたクラスタに属している深度画素を選択することにより、オブジェクトに対応する深度画素を選択する。"大きなクラスタ"という用語は、前の段落における"小さなクラスタ"という用語から区別するためにここで用いられていることに留意されたい。大きなクラスタはオブジェクトに言及するのに対し、小さなクラスタは（例えばノイズからの）疑似深度画素に言及する。
【００５１】
選択関数において使用されるクラスタ化アルゴリズムは、いわゆるＫ−ｍｅａｎｓクラスタ化アルゴリズムのような、テキストブッククラスタ化アルゴリズムであってもよい（例えば、J.A. Hartigan (1975), Clustering algorithms, John Wiley & Sons, Inc.）。多次元空間においてクラスタを検索するための他の一般に既知のクラスタ化アルゴリズムが用いられてもよい。
【００５２】
前記同様の位置に加えて、クラスタ化技術は、追加の特性（例えば色又は構造における類似性）を用いてクラスタを決定してもよい。深度マップにおける位置での深度画素に関連付けられた色又は構造は、（コンテンツ）画像における対応する位置から取り出される。例えば、オブジェクトＡが滑らかな赤いボールに対応する場合、オブジェクトＡの深度画素が深度マップにおける制限されたＸＹＤ空間に限られないだけでなく、コンテンツ画像における対応する画素は赤く且つ滑らかな領域の部分であるだろう（二次元位置、深度、色及び構造を用いることにより、クラスタ化アルゴリズムは、５次元空間におけるクラスタを効果的に検索することに留意されたい）。追加の特性を用いることは、クラスタ化アルゴリズムの正確さ及びロバストネスを向上させる。
【００５３】
深度画素が位置及び深度値に基づいて選択基準を用いて選択されるという点で、深度画素を選択するための自動化されたプロセスを用いた前の実施形態は前の実施形態と一致していることに留意されたい。深度画素のクラスタは、ＸＹＤ空間又は位置−深度空間において決定され、それ故、位置及び深度値に基づいている。深度画素は、これらがＸＹＤ空間における決定されたクラスタに属しているという基準を満たす場合に選択される。
【００５４】
図４は、全体的リマッピング関数４４０及び２つの局所的リマッピング関数４２０及び４３０を示している。グラフ４１０は、横軸上に入力深度値Ｄ  １０１を有し、縦軸上に出力深度値Ｄｎｅｗ  ４０１を有する。リマッピング関数４２０−４４０は、入力深度値Ｄを入力深度範囲４１１から出力深度範囲４１２にマッピングし、これは、新たな深度値Ｄｎｅｗをもたらす。出力範囲４１２は、三次元画像が表示される３Ｄ自動立体視ディスプレイの深度範囲に対応してもよい。リマッピング関数４２０，４３０及び４４０は、上述の前面のオブジェクトＡ及びＢ並びに背景Ｃにそれぞれ対応する（図２ａ／ｂ参照）。それぞれの深度範囲４２１及び４３１は、それぞれのオブジェクトＡ及びＢの深度値を含む。背景Ｃの深度値は、深度範囲４４１により含まれる。
【００５５】
全体的リマッピング関数４４０は、背景Ｃを入力深度範囲４１１から出力深度範囲４１２のより低い側へマッピングする。これに対し、局所的リマッピング関数４２０は、オブジェクトＡを出力深度範囲４１２の高い側へマッピングする。局所的リマッピング関数４３０は、前面のオブジェクトＢを出力深度範囲４１２の中間部分にマッピングする。局所的リマッピング関数４２０及び４３０は、それぞれ、オブジェクトＡ及びＢに対応した正確に選択された深度画素に適用される。全体的リマッピング関数４４０は、オブジェクトＡ及びＢの選択された深度画素を除く深度マップ２１０における全ての深度画素である、背景Ｃに対応する正確に選択された深度画素に適用される。
【００５６】
決定関数ＤＥＴＦＵＮは、三次元画像に結合されたメタデータからのパラメータをリマッピングする形でデータを取り出すことにより、局所的リマッピング関数４２０及び４３０を決定してもよい。リマッピングパラメータは、局所的リマッピング関数４２０及び４３０を規定する。例えば、局所的リマッピング関数４２０を規定するリマッピングパラメータは、深度範囲４２１及び直線４２０の傾斜である。
【００５７】
様々なタイプの曲線が局所的又は全体的リマッピング関数を表してもよい。曲線は、図４に示すように、線形であってもよい。他のタイプは、区分的線形曲線又は非線形曲線を含み、各々の曲線タイプは、それ自身の適切なパラメータにより規定される。
【００５８】
リマッピング関数４２０−４３０は、３Ｄディスプレイ上に三次元画像を表示するときに深度認識が審美的に楽しくなるように、リマッピング関数を設計するビデオ編集の専門家により芸術的なオフラインの処理において生成されてもよい。
【００５９】
代わりに、リマッピング関数は、画像処理デバイス１００（の処理ユニット１９９）上で実行する決定関数ＤＥＴＦＵＮにより実行される自動化されたプロセスにより決定される。局所的リマッピング関数４２０及び４３０を決定するための自動化されたプロセスは、オブジェクトＡ、オブジェクトＢ及び背景Ｃの間の深度コントラストを増大させるアルゴリズムに従って機能してもよい。前の選択関数ＳＥＬＦＵＮからの選択された深度画素を受信した場合（オブジェクトＡ及びＢ並びに背景Ｃに対応する選択された深度画素）、アルゴリズムは、オブジェクトＡ及びＢ並びに背景Ｃを含む深度範囲をそれぞれ評価する。結果として、アルゴリズムは、オブジェクトＡ、オブジェクトＢ及び背景Ｃが深度範囲４２１，４３１及び４４１にそれぞれ含まれることを決定する。次に、アルゴリズムは、完全な出力深度範囲４１２を用いることにより、深度範囲４２１，４３１及び４４１を出力深度範囲４１２上へマッピングする一方で、オブジェクトＡ，オブジェクトＢ及び背景Ｃの間の最大の深度コントラストを生成する。そのために、オブジェクトＡは、出力範囲４１２の上方側にリマッピングされ、オブジェクトＢは、（ａ）リマッピングされた背景Ｃを含む出力範囲４１２の下方側と、（ｂ）リマッピングされたオブジェクトＡを含む出力範囲４１２の上方側との間の中間範囲にリマッピングされる。この例において、リマッピング曲線４２０，４３０及び４４０の傾斜は、同一に、維持される。
【００６０】
例えば、オブジェクトＡ及び背景Ｃの間の深度コントラストは、以下のように定量化される。
−  リマッピングする前に、オブジェクトＡに対応する（深度画素の）深度値は、深度範囲４２１内にある。オブジェクトＡの深度画素は、平均して、入力深度範囲４１１の約０．７（７０％）にある深度値を有する。同様に、深度範囲４４１における背景Ｃに対応する深度値は、それ故、平均して、深度範囲４１１の約０．１（１０％）にある。従って、リマッピングする前のオブジェクトＡと背景Ｃとの間の深度コントラストは、０．７−０．１＝０．６である。
−  リマッピングの後に、状況は、以下のようになる。オブジェクトＡの深度値は、局所的リマッピング関数４２０により出力深度範囲４１２にリマッピングされる。オブジェクトＡの新たな深度値は、平均して、出力深度範囲４１２の約０．９（９０％）にある。同様に、（局所的リマッピング関数４４０を用いてリマッピングされた）背景Ｃの新たな深度値は、平均して、出力深度範囲４１２の約０．１（１０％）にある。従って、リマッピングした後のオブジェクトＡと背景Ｃとの間の深度コントラストは、０．９−０．１＝０．８である。それ故、オブジェクトＡと背景Ｃとの間の深度コントラストは、リマッピングの結果として、０．６から０．８に増大した。
【００６１】
同様の定量化は、オブジェクトＢと背景Ｃとの間の深度コントラストに対して、及び、オブジェクトＢとオブジェクトＡとの間の深度コントラストに対して適用できる。１つは、これらの深度コントラストの双方がリマッピングの結果として増大している図４から推測することができる。
【００６２】
前の実施形態の変形例として、（決定関数により実行される）自動化されたプロセスは、オブジェクトＡと背景Ｃとの間の深度コントラストは、固定された因子により（例えば０．１５により）増大するように、オブジェクトＡをリマッピングするための局所的リマッピング関数を決定する。そして、リマッピング後の深度コントラストは、１．１５×０．６＝０．６９となる。上で述べられたように、背景Ｃの新たな深度値は、出力深度範囲４１２の約０．１にある。そして、局所的リマッピング関数４２０は、平均してオブジェクトＡの新たな深度値が出力深度範囲４１２のおおよそ０．１＋０．６９＝０．７９になるように、図４において縦方向にシフトされることを必要とする。
【００６３】
オプションとして、全体的リマッピング関数は、自動化されたプロセスにより決定される。例えば、背景に対応する深度画素が入力深度範囲４４１だけでなく深度範囲４３１（即ちオブジェクトＢの深度範囲）における深度値を有する場合において、全体的リマッピング関数４４０は、図４に示されたものより低い傾斜を有するように適合されてもよく、従って、背景Ｃの深度値は、オブジェクトＢのリマッピングされた深度値よりはるかに低い、出力範囲４１２の下方側にリマッピングされる。前の段落にあるように、全体的リマッピング関数を決定することは、この場合においては背景ＣとオブジェクトＢとの間で、深度コントラストを増大させることに基づき得る。
【００６４】
本発明の文脈において、"オブジェクトをリマッピングする"は、"オブジェクトに対応する深度画素の深度値をリマッピングする"ことをいうことに留意されたい。同様に、"深度画素をリマッピングする"は、"深度画素の深度値をリマッピングする"ことをいう。
【００６５】
画像処理デバイス１００のアプリケーションは、３Ｄディスプレイ上に表示されるための三次元画像を準備するために、深度マップをリマッピングする。３Ｄディスプレイは、例えば、マルチビュー自動立体視ディスプレイである。３Ｄディスプレイは、典型的には、制限された視差範囲を有する。深度及び視差は、定性的感覚において同様である。
【００６６】
視差は、以下のように規定される。大きな視差は、観察者の近くに見えるオブジェクトに対応し、小さな視差は、観察者から離れて見えるオブジェクトに対応する（ゼロ視差は限りなく遠くに対応する）。故に、３Ｄディスプレイ上に示されるときに、ディスプレイの平面の前に見えるオブジェクトは大きな視差値に対応し、３Ｄディスプレイの平面の後ろに見えるオブジェクトは小さな視差値に対応する。３Ｄディスプレイの平面は特定の視差値に対応し、これは、以下で"ディスプレイ視差値"と呼ばれるだろう。
【００６７】
３Ｄディスプレイ上に三次元画像をレンダリングすることに関して、深度マップは、視差に変換されることを必要とする。変換は、深度と視差との間の幾つかの定義に基づく。定義は、ゼロ深度、最小及び最大深度、並びに、３Ｄディスプレイの平面に対する観察者の位置に関する。共通の選択は、３Ｄディスプレイの平面に対応するものとしてゼロ深度を規定することであり、従って、正の深度値は、３Ｄディスプレイの平面の前の位置に対応し、負の深度値は、３Ｄディスプレイの平面の後ろの位置に対応する。深度と視差との間の関係は、最小及び最大視差にそれぞれ対応する最大及び最小視差を選択することにより更に定義される。３Ｄディスプレイの平面に対する観察者の位置のための共通の定義は、典型的な観察者位置である（例えば、観察者は、リビングルームにおいて、５５インチを有する３Ｄディスプレイを典型的には３−４メートルで観ている）。最後に、深度は、この段落における定義により規定される曲線に基づいて視差に変換される。
【００６８】
三次元画像が３Ｄディスプレイ上での表示のためにレンダリングされるとき、深度マップは、それ故、前の段落において述べられた曲線を用いて、視差マップに変換されることを必要とする。この深度から視差への変換は、３つのシナリオに従って深度マップをリマッピングすることと組み合わせられ得る。（１）深度マップがリマッピングされ、その後、リマッピングされた深度マップが視差マップに変換される。又は、（２）深度リマッピングのための、及び、深度から視差への変換のための曲線が単一の曲線において一体化される。又は、（３）深度マップは視差マップに変換され、視差マップは、その後、視差リマッピング曲線に従ってリマッピングされる。視差リマッピング曲線は、深度から視差への変換を深度リマッピング曲線自体に適用することにより導出され得る。
【００６９】
３Ｄディスプレイが制限された視差範囲を有するとき、オブジェクトは、３Ｄディスプレイ上で示されるときに、深度方向において"平ら"に見え得る。これは、比較的大きな深度範囲が比較的小さな視差範囲にマッピングされたときに生じる。例えば、位置−深度空間における完全に丸いボールとして規定されるボールは、球体よりもむしろ楕円体になる、深度方向において押しつぶされたボールとして三次元ディスプレイ上に見えるだろう。ボールの深度値をリマッピングするために使用される局所的リマッピング関数は、平坦化を補正するために規定されてもよい。例えば、図２ａ／２ｂにおけるオブジェクトＡはボールに対応し、図４の局所的リマッピング４２０の曲線はボールの深度値をリマッピングするためのものである。深度方向において平坦化を補正することは、局所的リマッピング関数４２０の傾斜を増大することにより達成される。
【００７０】
一例として、オブジェクトＢは、コンテンツ画像におけるロゴに対応する。読みやすさのために、オブジェクトＢは、３Ｄディスプレイの平面において表示されるようにリマッピングされる。そのために、決定関数は、オブジェクトＢが（この場合において３Ｄディスプレイの平面に対応する）ゼロの近くの深度値にリマッピングされるように、局所的リマッピング関数４３０を決定する。後者は、出力深度範囲４１２の中央がゼロ深度に対応する場合、実際に図４における場合にあてはまる。代わりに、オブジェクトＢは、３Ｄディスプレイの前で表示されるロゴに対応し、この場合において、オブジェクトＢが出力範囲４１２の上側部分にリマッピングされるように局所的リマッピング関数４３０が決定される。
【００７１】
全体的リマッピング関数は、異なる手段において確立されてもよい。オプションとして、処理ユニット１９９は、予め決められた全体的リマッピング関数を適用する。オプションとして、全体的リマッピング関数は、三次元画像に結合されたメタデータに含まれる。オプションとして、全体的リマッピング関数及び局所的リマッピング関数の双方は、三次元画像に結合されたメタデータに含まれる。
【００７２】
オプションとして、画像処理デバイス１００は、画像符号化デバイスからネットワークリンクを介して三次元画像を受信する。画像符号化デバイスは、三次元画像を有する信号を画像処理デバイス１００に送信する。オプションとして、信号は、例えば三次元画像におけるオブジェクトＡを選択するための選択基準を含むメタデータを更に有する。それ故、メタデータは、三次元画像に結合される。例えば、メタデータは、オブジェクトＡを選択するための（即ち、ＸＹＤ空間における）３Ｄ境界ボックスを有する。オプションとして、信号は、オブジェクトＡに対応する深度画素をリマッピングするための局所的リマッピング関数４２０を更に有する。画像処理デバイス１００は、画像符号化デバイスから信号を受信及び使用することにより画像復号化デバイスとして効果的に機能することに留意されたい。
【００７３】
オプションとして、画像符号化デバイスにより送信された信号は、３Ｄビデオシーケンス（即ち３Ｄ動画）を有する。３Ｄビデオシーケンスは、（３Ｄ）ビデオフレームを有し、各ビデオフレームは、三次元画像を有する。オプションとして、信号は、前の段落において述べられたものと同様の手段において、各三次元画像（それ故に各ビデオフレーム）に対して、三次元画像に結合されたメタデータを有する。
【００７４】
オプションとして、信号は、メタデータをＮビデオフレーム（ここでは例えばＮ＝１２）につき１つだけ有する。上記と同様に、メタデータは、オブジェクトＡを選択するための３Ｄ境界ボックスを有してもよい。しかしながら、オブジェクトＡは、概して静的ではないが、３Ｄビデオシーケンスの全体にわたって移動してもよい（即ちオブジェクトＡの位置が変化する）。各ビデオフレームに対してオブジェクトＡを選択及びリマッピングするために、３Ｄ境界ボックスは、各ビデオフレームに対して必要とされる。各ビデオフレームのための３Ｄ境界ボックスを取得するために、画像処理デバイス１００（の処理ユニット１９９）は、ビデオフレームにおけるオブジェクトＡの又はＮビデオフレーム間の運動を記述する動作ベクトルを用いることにより、オブジェクトＡを追跡する。Ｎビデオフレームのうちの第１のものにおける３Ｄ境界ボックスの位置を知った場合、次のフレームのための境界ボックスは、動作ベクトルに従って境界ボックス（の位置）を移動させることにより取得される。オプションとして、動作ベクトルは、３Ｄビデオシーケンスを有する信号に含まれる。オプションとして、動作ベクトルは、動作推定部をビデオシーケンスに適用することにより取得される。オプションとして、動作ベクトルは、それ故に位置の観点において、及び、深度次元において、ＸＹＤ空間における３Ｄ動作を示す。
【００７５】
動作ベクトルを用いることに対する代替手段として、処理ユニット１９９は、各ビデオフレームにおいて境界ボックスを取得するために２つの連続する境界ボックス間でアルファブレンディングを適用してもよい。これは、以下のように機能する。処理ユニット１９９は、第一に、３Ｄビデオシーケンスからの２つの連続する３Ｄ境界ボックスを信号から取り出す：ビデオフレーム１に対応する１つの境界ボックス及びビデオフレームＮ＋１に対応する第２の境界ボックス。双方の３Ｄ境界ボックスは、同じオブジェクトであるが異なるビデオフレームに対応する。３Ｄ境界ボックスの特定の角が、フレーム１において座標Ｒ１＝（Ｘ１，Ｙ１，Ｄ１）を有し、フレームＮ＋１において座標ＲＮ＋１＝（ＸＮ＋１，ＹＮ＋１，ＤＮ＋１）を有する場合、中間フレームｋにおいて座標Ｒｋ＝αＲ１＋（１−α）ＲＮ＋１を有する。ここで、α＝（Ｎ＋１―ｋ）／Ｎ及び１＜ｋ＜Ｎ＋１。座標は三次元ＸＹＤ空間内にあることに留意されたい。同じアルファブレンディングは、フレームｋにおける３Ｄ境界ボックスの全ての角の座標を取得するために３Ｄ境界ボックスの他の角に適用されることを必要とする。それ故に３Ｄ境界ボックスの座標はフレーム間に効果的に挿入されることに留意されたい。
【００７６】
類似して、処理ユニット１９９は、中間体フレームｋにおいて全体的リマッピング関数を取得するためにアルファブレンディングを用いてもよい。例えば、全体的リマッピング関数が、フレーム１においてＧ１（Ｄ）であり、フレームＮ＋１においてＧＮ＋１（Ｄ）である場合、フレームｋにおいて、Ｇｋ（Ｄ）＝Ｇ１（Ｄ）＋（１―α）ＧＮ＋１（Ｄ）である。ここで、α及びｋは上記のとおりであり、変数Ｄは深度を表す。明らかに、類似した手順が局所的リマッピング関数を挿入するために適用されてもよい。
【００７７】
前の実施形態がオブジェクトを選択するための境界ボックスを用いることに留意されたい。他の形状又は形状の組み合わせが、（この説明において前述されたような）オブジェクトを選択するために用いられてもよい。
【００７８】
オプションとして、３Ｄビデオシーケンスを有する信号の（上記の）場合において、信号は、各ビデオフレームに対して（又は各Ｎビデオフレームに対して）、それぞれの複数のオブジェクト、それぞれの複数の局所的リマッピング関数及び全体的リマッピング関数を選択するための複数の境界ボックスを含む。
【００７９】
オプションとして、画像符号化デバイスは、３Ｄビデオシーケンスを符号化するためにビデオ圧縮技術を適用する。例えば、圧縮技術は、Ｈ．２６４、Ｈ．２６５、ＭＰＥＧ−２又はＭＰＥＧ−４に基づき得る。符号化された３Ｄビデオシーケンスは、いわゆるＧＯＰ構造（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）において構成されてもよい。各ＧＯＰ構造は、前面のオブジェクトを選択するための境界と前面のオブジェクト及び背景をそれぞれリマッピングするための局所的及び全体的リマッピング関数とを含む。画像処理デバイス１００（とりわけその処理ユニット１９９）は、符号化された３Ｄビデオシーケンスを受信及び復号し、三次元画像、境界及び局所的／全体的リマッピング関数を取り出すように構成される。
【００８０】
オプションとして、画像符号化デバイスは、所与の三次元画像のためのメタデータを生成することにより信号を構成する。例えば、デコーダ側（例えば画像処理デバイス１００）でオブジェクトを選択するための境界は、（ａ）前面のオブジェクトを自動的に決定し、（ｂ）決定されたオブジェクト周辺で境界ボックス状又は楕円体状の形状を合わせることにより、画像符号化デバイスにより決定される。前面のオブジェクトを自動的に決定すること（及び対応する深度画素を選択すること）は、前述した一実施形態を用いて行われてもよく、ここで、クラスタ化アルゴリズムを用いた自動化されたプロセスは、前面のオブジェクトを決定する。例えば選択された深度画素周辺で境界ボックスを合わせることは、（Ｘ、Ｙ及びＤ次元における）選択された深度画素の範囲を決定し、その範囲に基づいて境界ボックスを合わせることにより行われてもよい。
【００８１】
オプションとして、画像符号化デバイスは、局所的及び／又は全体的リマッピング関数を含むメタデータを生成する。局所的／全体的リマッピング関数は、前面のオブジェクトと背景との間の深度コントラストを増大させることに基づく、前述した自動化されたプロセスであってもよい。
【００８２】
前の２つの段落を組み合わせると、それ故、画像符号化デバイスは、前面のオブジェクト及び背景を選択するための境界を自動的に決定し、局所的／全体的リマッピング関数を自動的に決定し、決定された境界及び決定された局所的／全体的リマッピング関数をメタデータに含め、メタデータを信号に含めることができる。
【００８３】
代わりに、画像符号化デバイスは、所与の三次元画像と対応する所与のメタデータとを信号において一緒にラッピングすることにより信号を構成する。
【００８４】
画像処理方法は、画像処理デバイス１００と類似するよう開示される。画像処理方法は、画像処理デバイス１００の選択関数、決定関数及びリマッピング関数により実行されるのと同じ態様において、選択すること、決定すること及びリマッピングすることをそれぞれ実行する。
【００８５】
更に、画像符号化方法は、先に述べたような画像符号化デバイスに類似するよう開示される。即ち、画像符号化方法は、信号（とりわけメタデータ）を生成するための画像符号化デバイスのステップを実行する。
【００８６】
この画像処理方法及び／又は画像符号化方法は、それぞれの方法のステップを実行するようにプロセッサに指示するコンピュータプログラムの形で用いられてもよい。コンピュータプログラムは、データキャリア（例えば、ＤＶＤ、ＣＤ又はＵＳＢスティック）上に格納されてもよい。コンピュータプログラム製品は、パーソナルコンピュータ、ノートブック、スマートフォン（上のアプリとして）、又は、オーサリングシステム上で実行されてもよい。
【００８７】
上述の実施形態は、本発明を限定するよりはむしろ例示であり、当業者は、添付の特許請求の範囲から逸脱することなく多くの代替実施形態を設計することが可能であることに留意すべきである。
【００８８】
請求項において、括弧間に配置された任意の参照符号は、請求項を限定するものとして考慮されるべきではない。"有する"という動詞の使用及びその活用は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。要素の単数標記は、斯様な要素の複数の存在を除外するものではない。本発明は、幾つかの異なる要素を有するハードウェアによって、及び、適切にプログラムされたコンピュータによって実装されてもよい。幾つかの手段を列挙している装置に係る請求項において、これらの手段の幾つかは、ハードウェアの全く同一のアイテムにより具現化されてもよい。特定の手段が相互に異なる従属請求項に記載されるという単なる事実は、これらの手段の組み合わせが有効に用いられ得ないことを示すものではない。
【図１】
2016540401.tif 000003
【図２ａ】
2016540401.tif 000004
【図２ｂ】
2016540401.tif 000005
【図３ａ】
2016540401.tif 000006
【図３ｂ】
2016540401.tif 000007
【図４】
2016540401.tif 000008
【国際調査報告】
2016540401.tif 000009
2016540401.tif 000010
2016540401.tif 000011
2016540401.tif 000012
2016540401.tif 000013