(57)【特許請求の範囲】
【請求項１】
コンピュータに実装されるビデオコーディングの方法であって、
映像の関心領域パターンを抽出する段階であって、前記関心領域パターンは、前記映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される段階と、
前記抽出された関心領域パターンに少なくとも部分的に基づいて前記映像を分割する段階であって、前記分割された映像は１または複数の関心領域及び１または複数の非関心領域を含む段階と、
前記１または複数の関心領域及び前記１または複数の非関心領域をコーディングする段階と、を含み、
前記関心領域パターンを抽出する前記段階は、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定する段階と、
前記カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定する段階と、
前記深度マップに少なくとも部分的に基づいて前記焦点領域単位の特徴的な焦点深度値を決定する段階と、
複数の個々の領域単位に対する領域単位深度値を決定する段階と、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定する段階と、を含む方法。
【請求項２】
コンピュータに実装されるビデオコーディングの方法であって、
映像の関心領域パターンを抽出する段階であって、前記関心領域パターンは、前記映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される段階と、
前記抽出された関心領域パターンに少なくとも部分的に基づいて前記映像を分割する段階であって、前記分割された映像は１または複数の関心領域及び１または複数の非関心領域を含む段階と、
前記１または複数の関心領域及び前記１または複数の非関心領域をコーディングする段階と、を含み、
前記関心領域パターンを抽出する前記段階は、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定する段階と、
前記カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定する段階と、
前記深度マップに少なくとも部分的に基づいて前記焦点領域単位の特徴的な焦点深度値を決定する段階と、
複数の個々の領域単位に対する領域単位深度値を決定する段階と、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定する段階と、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との前記比較に少なくとも部分的に基づいて、前記関心領域パターンの関心領域の複数の領域単位を２またはそれより多いインデックスタイプに属するとしてさらに指定する段階と、を含む方法。
【請求項３】
コンピュータに実装されるビデオコーディングの方法であって、
映像の関心領域パターンを抽出する段階であって、前記関心領域パターンは、前記映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される段階と、
前記抽出された関心領域パターンに少なくとも部分的に基づいて前記映像を分割する段階であって、前記分割された映像は１または複数の関心領域及び１または複数の非関心領域を含む段階と、
前記１または複数の関心領域及び前記１または複数の非関心領域をコーディングする段階と、を含み、
前記関心領域パターンを抽出する前記段階は、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定する段階と、
前記カメラ焦点に少なくとも部分的に基づいて、前記映像の部分に関連するチェックウィンドウを決定する段階と、
前記チェックウィンドウの外側に位置する任意の領域単位を前記関心領域パターンの非関心領域であるとして指定する段階と、
前記カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定する段階と、
前記深度マップに少なくとも部分的に基づいて、前記焦点領域単位の特徴的な焦点深度値を決定する段階と、
前記チェックウィンドウ内に位置する複数の個々の領域単位に対する領域単位深度値を決定する段階と、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、前記チェックウィンドウ内に位置する任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定する段階と、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との前記比較に少なくとも部分的に基づいて、前記関心領域パターンの関心領域の複数の領域単位を２またはそれより多いインデックスタイプに属するとしてさらに指定する段階と、を含む方法。
【請求項４】
領域単位の第１タイプと、前記第１タイプとは異なる領域単位の第２タイプとを区別する段階であって、領域単位の前記第１タイプと前記第２タイプとは、スライスレベル基準、ピクチャレベル基準及びビューレベル基準のうち、１または複数の基準に基づいて異なる段階と、
分割の適用の有無、複数の異なる領域単位サイズの適用、複数の異なるチェックウィンドウサイズの適用、及び、複数の前記決定された領域単位深度値と前記特徴的な焦点深度値の前記比較に関連する複数の異なる閾値の適用のうち、１または複数の基準に少なくとも部分的に基づく、領域単位の前記タイプに少なくとも部分的に基づいて、前記映像を選択的に分割する段階とをさらに含む請求項１から３の何れか１項に記載の方法。
【請求項５】
コンピュータに実装されるビデオコーディングの方法であって、
映像の関心領域パターンを抽出する段階であって、前記関心領域パターンは、前記映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される段階と、
前記抽出された関心領域パターンに少なくとも部分的に基づいて前記映像を分割する段階であって、前記分割された映像は１または複数の関心領域及び１または複数の非関心領域を含む段階と、
前記１または複数の関心領域及び前記１または複数の非関心領域をコーディングする段階と、を含み、
前記映像を分割する段階は、
領域単位の第１タイプと、前記第１タイプとは異なる領域単位の第２タイプとを区別する段階であって、領域単位の前記第１タイプ及び前記第２タイプは、スライスレベル基準、ピクチャレベル基準、及びビューレベル基準のうち、１または複数の基準に基づいて異なる段階と、
領域単位の前記タイプに少なくとも部分的に基づいて前記映像を選択的に分割する段階と、
をさらに含む方法。
【請求項６】
前記１または複数の関心領域及び前記１または複数の非関心領域をコーディングする前記段階は３Ｄデコーディングする段階を含む請求項１から５の何れか１項に記載の方法。
【請求項７】
前記映像を分割する前記段階は、エンコーディングの間に、前記映像を１または複数の関心領域のピクチャ部分と、１または複数の非関心領域のピクチャ部分とに分割する段階を含む請求項１から６の何れか１項に記載の方法。
【請求項８】
前記映像を分割する前記段階は、デコーディングの間に、１または複数の関心領域のピクチャ部分及び１または複数の非関心領域のピクチャ部分から前記映像を組み立てる段階を含む請求項１から７の何れか1項に記載の方法。
【請求項９】
前記関心領域パターンを抽出する前記段階は、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定する段階と、
前記カメラ焦点に少なくとも部分的に基づいて前記映像の部分に関連するチェックウィンドウを決定する段階と、
前記チェックウィンドウの外側に位置する任意の領域単位を前記関心領域パターンの非関心領域であるとして指定する段階と、
を含む請求項１から８の何れか1項に記載の方法。
【請求項１０】
コーディングの間に、前記１または複数の非関心領域のピクチャ部分は、前記１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされる請求項１から９の何れか1項に記載の方法。
【請求項１１】
コーディングの間に、前記１または複数の非関心領域のピクチャ部分は、前記１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされ、
前記第２規格は、前記１または複数の関心領域のピクチャ部分の第１インデックスタイプに適用される第１サブ規格と、前記１または複数の関心領域のピクチャ部分の第２インデックスタイプに適用される第２サブ規格とを有し、
前記第１規格、前記第２規格、前記第１サブ規格、及び前記第２サブ規格の少なくとも１つは、複数の異なるコーディングツール、複数の異なる制限、及び、複数の異なるコーディングストラテジーのうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なるコーディングツールは、複数の異なる領域に対する可逆のコーディングの適用であるか不可逆のコーディングの適用であるか、及び、複数の異なる領域に対する完全モーション補償の適用であるか断片モーション補償の適用であるかのうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なる制限は、複数の異なる領域に対する異なる参照ピクチャ番号の制限の適用、及び、複数の異なる領域に対する異なる予測及び変換サイズの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なるコーディングストラテジーは、複数の異なる領域に対する異なる動き予測のサーチ範囲の適用、及び、複数の異なる領域に対する異なる量子化パラメータの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なる請求項１から１０の何れか1項に記載の方法。
【請求項１２】
コンピューティングデバイスに請求項１から１１の何れか１項に記載の方法を実行させるプログラム。
【請求項１３】
請求項１から１１の何れか１項に記載の方法を実行する手段を備える装置。
【請求項１４】
コンピュータ上でビデオコーディングするためのシステムであって、
ビデオデータを提供するディスプレイデバイスと、
前記ディスプレイデバイスに通信可能に結合される１または複数のプロセッサと、
前記１または複数のプロセッサに通信可能に結合される１または複数のメモリ記憶装置と、
前記１または複数のプロセッサに通信可能に結合され、映像の関心領域パターンを抽出する関心領域抽出ロジックモジュールであって、前記関心領域パターンが前記映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される関心領域抽出ロジックモジュールと、
前記関心領域抽出ロジックモジュールに通信可能に結合され、前記抽出された関心領域パターンに少なくとも部分的に基づいて前記映像を分割するピクチャ関心領域分割ロジックモジュールであって、前記分割された映像が１または複数の関心領域及び１または複数の非関心領域を含むピクチャ関心領域分割ロジックモジュールと、
前記ピクチャ関心領域分割ロジックモジュールに通信可能に結合され、前記１または複数の関心領域及び前記１または複数の非関心領域をコーディングするコーダと、
を備え、
前記関心領域抽出ロジックモジュールは、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定し、
前記カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定し、
前記深度マップに少なくとも部分的に基づいて、前記焦点領域単位の特徴的な焦点深度値を決定し、
複数の個々の領域単位に対する領域単位深度値を決定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定するシステム。
【請求項１５】
コンピュータ上でビデオコーディングするためのシステムであって、
ビデオデータを提供するディスプレイデバイスと、
前記ディスプレイデバイスに通信可能に結合される１または複数のプロセッサと、
前記１または複数のプロセッサに通信可能に結合される１または複数のメモリ記憶装置と、
前記１または複数のプロセッサに通信可能に結合され、映像の関心領域パターンを抽出する関心領域抽出ロジックモジュールであって、前記関心領域パターンが前記映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される関心領域抽出ロジックモジュールと、
前記関心領域抽出ロジックモジュールに通信可能に結合され、前記抽出された関心領域パターンに少なくとも部分的に基づいて前記映像を分割するピクチャ関心領域分割ロジックモジュールであって、前記分割された映像が１または複数の関心領域及び１または複数の非関心領域を含むピクチャ関心領域分割ロジックモジュールと、
前記ピクチャ関心領域分割ロジックモジュールに通信可能に結合され、前記１または複数の関心領域及び前記１または複数の非関心領域をコーディングするコーダと、
を備え、
前記関心領域抽出ロジックモジュールは、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定し、
前記カメラ焦点に少なくとも部分的に基づいて、焦点領域単位を決定し、
前記深度マップに少なくとも部分的に基づいて、前記焦点領域単位の特徴的な焦点深度値を決定し、
複数の個々の領域単位に対する領域単位深度値を決定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値の前記比較に少なくとも部分的に基づいて、前記関心領域パターンの関心領域の複数の領域単位を２またはそれより多いインデックスタイプに属するとしてさらに指定するシステム。
【請求項１６】
コンピュータ上でビデオコーディングするためのシステムであって、
ビデオデータを提供するディスプレイデバイスと、
前記ディスプレイデバイスに通信可能に結合される１または複数のプロセッサと、
前記１または複数のプロセッサに通信可能に結合される１または複数のメモリ記憶装置と、
前記１または複数のプロセッサに通信可能に結合され、映像の関心領域パターンを抽出する関心領域抽出ロジックモジュールであって、前記関心領域パターンが前記映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される関心領域抽出ロジックモジュールと、
前記関心領域抽出ロジックモジュールに通信可能に結合され、前記抽出された関心領域パターンに少なくとも部分的に基づいて前記映像を分割するピクチャ関心領域分割ロジックモジュールであって、前記分割された映像が１または複数の関心領域及び１または複数の非関心領域を含むピクチャ関心領域分割ロジックモジュールと、
前記ピクチャ関心領域分割ロジックモジュールに通信可能に結合され、前記１または複数の関心領域及び前記１または複数の非関心領域をコーディングするコーダと、
を備え、
前記関心領域抽出ロジックモジュールは、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定し、
前記カメラ焦点に少なくとも部分的に基づいて、前記映像の部分に関連するチェックウィンドウを決定し、
前記チェックウィンドウの外側に位置する任意の領域単位を前記関心領域パターンの非関心領域であるとして指定し、
前記カメラ焦点に少なくとも部分的に基づいて、焦点領域単位を決定し、
前記深度マップに少なくとも部分的に基づいて、前記焦点領域単位の特徴的な焦点深度値を決定し、
前記チェックウィンドウ内に位置する複数の個々の領域単位に対する領域単位深度値を決定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、前記チェックウィンドウ内に位置する任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との前記比較に少なくとも部分的に基づいて、前記関心領域パターンの関心領域の複数の領域単位を、２またはそれより多いインデックスタイプに属するとしてさらに指定するシステム。
【請求項１７】
コンピュータ上でビデオコーディングするためのシステムであって、
ビデオデータを提供するディスプレイデバイスと、
前記ディスプレイデバイスに通信可能に結合される１または複数のプロセッサと、
前記１または複数のプロセッサに通信可能に結合される１または複数のメモリ記憶装置と、
前記１または複数のプロセッサに通信可能に結合され、映像の関心領域パターンを抽出する関心領域抽出ロジックモジュールであって、前記関心領域パターンが前記映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される関心領域抽出ロジックモジュールと、
前記関心領域抽出ロジックモジュールに通信可能に結合され、前記抽出された関心領域パターンに少なくとも部分的に基づいて前記映像を分割するピクチャ関心領域分割ロジックモジュールであって、前記分割された映像が１または複数の関心領域及び１または複数の非関心領域を含むピクチャ関心領域分割ロジックモジュールと、
前記ピクチャ関心領域分割ロジックモジュールに通信可能に結合され、前記１または複数の関心領域及び前記１または複数の非関心領域をコーディングするコーダと、
を備え、
前記ピクチャ関心領域分割ロジックモジュールは、さらに、
領域単位の第１タイプと、前記第１タイプとは異なる領域単位の第２タイプとを区別して、領域単位の前記タイプに少なくとも部分的に基づいて前記映像を選択的に分割し、
領域単位の前記第１タイプ及び前記第２タイプは、スライスレベル基準、ピクチャレベル基準、及びビューレベル基準のうち、１または複数の基準に基づいて異なるシステム。
【請求項１８】
前記コーダは３Ｄデコーダを有する請求項１４から１７の何れか１項に記載のシステム。
【請求項１９】
前記映像の前記分割は、エンコーディングの間に、前記映像を１または複数の関心領域のピクチャ部分と、１または複数の非関心領域のピクチャ部分とに分割することを含む請求項１４から１８の何れか１項に記載のシステム。
【請求項２０】
前記映像の前記分割は、デコーディングの間に、１または複数の関心領域のピクチャ部分及び１または複数の非関心領域のピクチャ部分から前記映像を組み立てることを含む請求項１４から１９の何れか1項に記載のシステム。
【請求項２１】
前記関心領域抽出ロジックモジュールは、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定し、
前記カメラ焦点に少なくとも部分的に基づいて、前記映像の部分に関連するチェックウィンドウを決定し、
前記チェックウィンドウの外側に位置する任意の領域単位を前記関心領域パターンの非関心領域であるとして指定する請求項１４から２０の何れか1項に記載のシステム。
【請求項２２】
コーディングの間に、前記１または複数の非関心領域のピクチャ部分は、前記１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされる請求項１４から２１の何れか1項に記載のシステム。
【請求項２３】
前記関心領域抽出ロジックモジュールの前記抽出は、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定し、
前記カメラ焦点に少なくとも部分的に基づいて前記映像の部分に関連するチェックウィンドウを決定し、
前記チェックウィンドウの外側に位置する任意の領域単位を前記関心領域パターンの非関心領域であるとして指定し、
前記カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定し、
前記深度マップに少なくとも部分的に基づいて前記焦点領域単位の特徴的な焦点深度値を決定し、
前記チェックウィンドウ内に位置する複数の個々の領域単位に対する領域単位深度値を決定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値の比較に少なくとも部分的に基づいて前記チェックウィンドウ内に位置する任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値の前記比較に少なくとも部分的に基づいて前記関心領域パターンの関心領域の複数の領域単位を２またはそれより多いインデックスタイプに属するとしてさらに指定し、
前記ピクチャ関心領域分割ロジックモジュールは、さらに、
領域単位の第１タイプと、前記第１タイプとは異なる領域単位の第２タイプとを区別し、
分割の適用の有無、複数の異なる領域単位サイズの適用、複数の異なるチェックウィンドウサイズの適用、及び、複数の前記決定された領域単位深度値と前記特徴的な焦点深度値の前記比較に関連する複数の異なる閾値の適用のうち、１または複数の基準に少なくとも部分的に基づく、領域単位の前記タイプに少なくとも部分的に基づいて、前記映像を選択的に分割し、
領域単位の前記第１タイプ及び前記第２タイプは、スライスレベル基準、ピクチャレベル基準、及びビューレベル基準のうち、１または複数の基準に基づいて異なり、
前記映像の前記分割は、エンコーディングの間に、前記関心領域パターンに少なくとも部分的に基づいて、前記映像を１または複数の関心領域のピクチャ部分と、１または複数の非関心領域のピクチャ部分とに分割することを含み、
前記映像の前記分割は、デコーディングの間に、１または複数の関心領域のピクチャ部分と、１または複数の非関心領域のピクチャ部分とから前記映像を組み立てることを含み、
コーディングの間に、前記１または複数の非関心領域のピクチャ部分は、前記１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされ、
前記第２規格は、前記１または複数の関心領域のピクチャ部分の第１インデックスタイプに適用される第１サブ規格と、前記１または複数の関心領域のピクチャ部分の第２インデックスタイプに適用される第２サブ規格とを含み、
前記第１規格、前記第２規格、前記第１サブ規格、及び前記第２サブ規格の少なくとも１つは、複数の異なるコーディングツール、複数の異なる制限、及び、複数の異なるコーディングストラテジーのうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なるコーディングツールは、複数の異なる領域に対する可逆のコーディングの適用であるか不可逆のコーディングの適用であるか、及び、複数の異なる領域に対する完全モーション補償の適用であるか断片モーション補償の適用であるかのうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なる制限は、複数の異なる領域に対する異なる参照ピクチャ番号の制限の適用、及び、複数の異なる領域に対する異なる予測及び変換サイズの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なるコーディングストラテジーは、複数の異なる領域に対する異なる動き予測のサーチ範囲の適用、及び、複数の異なる領域に対する異なる量子化パラメータの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なる請求項１４から２１の何れか１項に記載のシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
ビデオエンコーダは与えられた帯域幅でより多くの情報が送信できるように、ビデオ情報を圧縮する。続いて、圧縮された信号は、表示前に信号をデコード及び解凍する受信機に送信され得る。
【０００２】
３Ｄビデオは、従来の２Ｄビデオよりも豊かな視覚体験を提供することのできる、新たなメディアになってきている。潜在的な複数の応用例には、自由視点ビデオ（ＦＶＶ）、自由視点テレビ（ＦＴＶ）、３Ｄテレビ（３ＤＴＶ）、複数のＩＭＡＸシアター、複数の没入型テレビ会議、監視などが含まれる。これらの複数の応用例をサポートするべく、一般的に複数のビデオシステムは、複数の異なる視点からのシーンをキャプチャし、これにより、いくつかのビデオシーケンスが複数の異なるカメラから同時に生成される。
【０００３】
３Ｄビデオコーディング（３ＤＶＣ）は、様々な複数の３Ｄディスプレイの取り扱いをターゲットとする新たなビデオ圧縮規格を指す。３ＤＶＣは、ＩＳＯ／ＩＥＣ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）による開発の途中である。現時点では、３ＤＶＣの分岐の１つは、２０１２年の末までにまとめられる予定の、最新のコンベンショナルビデオコーディング規格、Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｔ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）に基づいて構築されている。３ＤＶＣの他の分岐はＨ.２６４／ＡＶＣに基づいて構築されている。
【０００４】
ＩＳＯ／ＩＥＣ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）は、現在、３Ｄビデオコーディング（３ＤＶＣ）の標準化を扱っている。おそらく、新たな３ＤＶＣ規格によれば、限られた量の入力データから多くの高品質なビューを生成することができる。例えば、Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ ｐｌｕｓ Ｄｅｐｔｈ（ＭＶＤ）のコンセプトは、限られた量の入力データから、そのような高品質なビューを生成するために用いられ得る。さらに、３ＤＶＣは次世代立体視処理機能に利用され、かつ複数のユーザに３Ｄディスプレイの前方で自由に位置変更しながら３Ｄ視覚体験をさせる裸眼立体視ディスプレイ及びＦＴＶをサポートするべく利用され得る。
【０００５】
Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ ｐｌｕｓ Ｄｅｐｔｈ（ＭＶＤ）コンセプトは、しばしば３Ｄビデオコンテンツを表すために用いられる。３Ｄビデオコンテンツにおいて、多数のビューと、複数の関連する深度マップとは、一般的に、コーディング及び多重化されてビットストリームに形成される。各ビューの複数のカメラパラメータはまた、一般的に、ビュー合成の目的でビットストリームに圧縮される。
【０００６】
一般的にベースビューまたは独立ビューとも呼ばれる複数のビューの１つは、一般的に、他の複数のビューとは独立してコーディングされる。複数のディペンデントビューに対し、ビデオ及び深度は複数の他のビューの複数のピクチャ、または同じビューにおいて前もってコーディングされた複数のピクチャから予測され得る。特定の適用例によると、複数のサブビットストリームは、必要とされない複数のビットストリームパケットを廃棄することにより、デコーダ側で抽出され得る。
【図面の簡単な説明】
【０００７】
ここで説明される題材は、添付の複数の図面において限定のためでなく、例として示される。図を簡潔かつ明確にするべく、図面に示された構成要素は必ずしも縮尺通りに描写されていない。例えば、明確化の目的で、いくつかの構成要素の寸法は他の構成要素に対して誇張され得る。さらに、適切と判断される場合には、対応または類似する構成要素を示すべく、参照ラベルは複数の図面の間で繰り返される。
【図１】３Ｄビデオコーディングシステムの一例を示す図である。
【図２】３Ｄビデオコーディングシステムの一例を示す図である。
【図３】３Ｄビデオコーディング処理の一例を示すフローチャートである。
【図４】動作時の３Ｄビデオコーディング処理の一例を示す図である。
【図５】関心領域抽出の一例を示す図である。
【図６】３Ｄビデオコーディングシステムの一例を示す図である。
【図７】システムの一例を示す図である。
【図８】本開示の少なくともいくつかの実施例に従ってすべてが構成されたシステムの一例を示す図である。
【発明を実施するための形態】
【０００８】
１または複数の実施形態または実施例が、添付図面を参照してここで説明される。特定の構成及び配置が説明されるものの、これは例示の目的だけで行われていることは理解されるであろう。説明の趣旨及び範囲を逸脱することなく他の構成及び配置が採用され得ることは当業者なら認識するであろう。ここで説明される複数の技術及び／または構成が、ここで説明されるもの以外の他の様々なシステム及びアプリケーションで採用され得ることは当業者にとって明らかであろう。
【０００９】
例えばシステムオンチップ（ＳｏＣ）アーキテクチャなどのアーキテクチャを明らかにする多様な実施例を以下の記述が説明するが、ここで説明される複数の技術及び／または配置の実施例は、特定のアーキテクチャ及び／またはコンピューティングシステムに制限されず、同様の目的の任意のアーキテクチャ及び／またはコンピューティングシステムによって実施され得る。例えば複数の集積回路（ＩＣ）チップ及び／またはパッケージを採用する多様なアーキテクチャ、及び／または、多様なコンピューティングデバイス及び／または、セットトップボックス、スマートフォンなどの家電（ＣＥ）デバイスは、例えばここで説明される技術及び／または構成を実施し得る。
【００１０】
さらに、以下の記述はロジックの実装、システムコンポーネントのタイプ及び相互関係、ロジック分割／統合選択などの様々な詳細を説明し得るが、クレームされた主題はそのような特定の詳細を含まずに実施されても良い。他の複数の例において、例えば制御構造及び全ソフトウェア命令シーケンスなどのいくつかのマテリアルは、ここで説明されるマテリアルを不明瞭にしないようにするため、詳細には示されないかも知れない。
【００１１】
ここで説明されるマテリアルは、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組み合わせにおいて実施され得る。ここで説明されるマテリアルは、１または複数のプロセッサで読み取られて実行され得る、機械可読媒体に格納された複数の命令として実施されても良い。
【００１２】
機械可読媒体は、機械（例えばコンピューティングデバイス）によって可読な形で情報を格納または送信する任意の媒体及び／またはメカニズムを含んでも良い。例えば、機械可読媒体は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学ストレージ媒体、フラッシュメモリデバイス、電気、光、音響または他の形態の伝播信号（例えば搬送波、赤外線信号、デジタル信号など）、その他を含んでも良い。
【００１３】
明細書において、「一実施例」、「１つの実施例」、「一例の実施例」などは、説明される実施例が特定の特徴、構造または特性を含むものの、全ての実施例が必ずしも特定の特徴、構造または特性を含まないことを示す。さらに、そのような文言は、必ずしも同じ実施例を指さない。さらに、実施例に関連して特定の特徴、構造または特性が説明される場合、ここで明示的に説明されるか否かに関わらず、他の実施例に関連して、そのような特徴、構造または特性をもたらすことが当業者の知識の範囲内であることが提示される。
【００１４】
システム、装置、品物及び方法は、関心領域ベースの３Ｄビデオコーディングのオペレーションを含めて後述される。
【００１５】
上述のように、場合によっては、従来の３Ｄビデオ圧縮コーディングでは、複数の多様な３Ｄビデオアプリケーションをサポートするべく、２つまたは３つのビューと関連する複数の深度マップがビットストリームにコーディングされ得る。デコーダ側では、深度イメージベースの複数のレンダリング技術を用いることで、特定のビューポイントで仮想的に合成された複数のビューが生成される。
【００１６】
しかしながら、膨大な量の３Ｄビデオデータは、複数の単一ビューのビデオと比較して、要求される帯域幅を急増させる。よって、３Ｄビデオデータはより効率的に圧縮される必要があり得る。人間の視覚系（ｈｕｍａｎ ｖｉｓｉｏｎ ｓｙｓｔｅｍ）の複数の特質によると、ユーザは、前景、明るい領域などの、ピクチャの関心領域に対してより敏感であり得る。しかし従来の３Ｄビデオ圧縮コーディングは、より効率的に３Ｄビデオを圧縮する目的では、ピクチャの複数の関心領域に対してより敏感である、人間の視覚系の傾向を活用していない。
【００１７】
さらなる詳細を後述するように、３Ｄビデオコーディングの複数の動作は、より高い圧縮パフォーマンスをもたらすべく、関心領域及び非関心領域の複数のエリアを抽出し、続いて、そのような複数の可変領域を異なる方法でコーディングしても良い。そのような関心領域ベースの３Ｄビデオコーディングフレームワークにおいては、深度マップ及び複数のカメラパラメータを用いてピクチャをいくつかの関心領域及び非関心領域の複数のエリアに分割した後、複数の異なる領域を圧縮するべく、複数の異なるコーディングのセッティングが利用されても良い。そのような関心領域ベースの３Ｄビデオコーディングフレームワークは、３Ｄビデオコーディングシステム及び方法のコーディングの効率性及びフレキシビリティを改善することができる。
【００１８】
図１は、本開示の少なくともいくつかの実施例に従って構成された３Ｄビデオコーディングシステム１００の一例を示す図である。図示された実施例において、３Ｄビデオコーディングシステム１００は１または複数のタイプのディスプレイ（例えばＮビュー（Ｎ−ｖｉｅｗ）ディスプレイ１４０、ステレオディスプレイ１４２、２Ｄディスプレイ１４４など）、１または複数のイメージングデバイス（図示されていない）、３Ｄビデオエンコーダ１０３、３Ｄビデオデコーダ１０５、ステレオビデオデコーダ１０７、２Ｄビデオデコーダ１０９、及びビットストリームエクストラクタ１１０の少なくとも１つを含んでも良い。
【００１９】
いくつかの実施例において、３Ｄビデオコーディングシステム１００は、明確化のために図１では示されていない複数の追加のアイテムを含んでも良い。例えば、３Ｄビデオコーディングシステム１００は、プロセッサ、無線周波数タイプ（ＲＦ）送受信機、及びアンテナの少なくとも１つを含んでも良い。さらに、３Ｄビデオコーディングシステム１００は、明確化のために図１では示されていないスピーカ、マイク、加速度計、メモリ、ルータ、ネットワークインタフェースロジックなどの複数の追加のアイテムを含んでも良い。
【００２０】
ここで用いられるように、「コーダ」の用語は、エンコーダ及びデコーダの少なくとも一方を指しても良い。同様に、ここで用いられるように、「コーディング」の用語は、エンコーダを介したエンコーディング、及びデコーダを介したデコーディングの少なくとも一方を指しても良い。例えば、３Ｄビデオエンコーダ１０３および３Ｄビデオデコーダ１０５は、両方とも３Ｄコーディングの可能な複数のコーダの例であっても良い。
【００２１】
いくつかの実施例において、送信機１０２は、複数のイメージングデバイス（図示されていない）から複数の多重ビューを受信しても良い。３Ｄエンコーダ１０３への入力信号は、複数の多重ビュー（例えば複数の映像１１２および１１３）、複数の関連した深度マップ（例えば複数の深度マップ１１４および１１５）、及び対応する複数のカメラパラメータ（図示されていない）を含んでも良い。しかしながら、３Ｄビデオコーディングシステム１００は、深度データ無しでも動作することができる。
【００２２】
複数の入力コンポーネント信号は、３Ｄビデオエンコーダ１０３を用いてビットストリームにコーディングされる。３Ｄビデオエンコーダ１０３では、ベースビューはＨ２６４／ＡＶＣエンコーダまたは高効率ビデオコーディング（ＨＥＶＣ）エンコーダ等の２Ｄビデオエンコーダを用いてコーディングされ得る。
【００２３】
ビットストリームエクストラクタ１１０からのビットストリームが３Ｄビデオデコーダ１０５を用いて３Ｄ受信機１０４によりデコードされる場合には、複数のビデオ（例えば複数の映像１１６および１１７）、深度データ（例えば複数の深度マップ１１８および１１９）、及び複数のカメラパラメータ（図示されていない）の少なくとも１つは、与えられた忠実度で再構成され得る。
【００２４】
他の実施例において、裸眼立体視ディスプレイ（例えばステレオディスプレイ１４２）上で３Ｄビデオを表示するべく、ビットストリームエクストラクタ１１０からのビットストリームがステレオ受信機１０６によってデコードされる場合には、複数の再構成ビュー及び深度データを用いて深度イメージベースのレンダリング（ＤＩＢＲ）アルゴリズムによって複数の追加の中間ビュー（例えば２つのビューピクチャ１２０および１２１）が生成され得る。３Ｄビデオデコーダ１０３が従来のステレオディスプレイ（例えばステレオディスプレイ１４２）に接続される場合には、中間ビュー合成１３０はステレオビューのペアもまた生成し、そのようなペアがビットストリームエクストラクタ１１０からのビットストリームに実際に存在しない場合に備えても良い。
【００２５】
さらなる例において、ビットストリームエクストラクタ１１０からのビットストリームが２Ｄ受信機１０８によってデコードされる場合には、デコードされた複数のビューの１つ（例えば独立ビューピクチャ１２２）、または任意の仮想的なカメラ位置での中間ビューは、従来の２Ｄディスプレイ（例えば２Ｄディスプレイ１４４）上でシングルビューを表示するためにも用いられ得る。
【００２６】
更なる詳細を後述するように、３Ｄビデオコーディングシステム１００が使用されることで、図３，４の少なくとも１つに関連して以下で説明される多様な機能のいくつか又は全てが実行され得る。
【００２７】
図２は、本開示の少なくともいくつかの実施例に従って構成された３Ｄビデオコーディングシステム２００の一例を示す図である。図示された実施例において、３Ｄビデオコーディングシステム２００は３Ｄエンコーダ２０３及び３Ｄデコーダ２０５の少なくとも一方を含んでも良い。さらに、３Ｄビデオコーディングシステム２００は、明確化のために図２では図示されていない複数の追加のアイテムを含んでも良い。
【００２８】
３Ｄエンコーダ２０３への入力信号は、複数の多重ビュー（例えば複数の映像）、複数の関連する深度マップ、及び複数の対応カメラパラメータを含んでも良い。関心領域（ＲＯＩ）抽出ロジックモジュール２０２は、映像に対する関心領域パターンを抽出するよう構成され得る。関心領域パターンは、映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される。
【００２９】
ピクチャ関心領域（ＲＯＩ）分割ロジックモジュール２１２は、関心領域抽出ロジックモジュール２０２に対して通信可能に結合され得る。ピクチャ関心領域分割ロジックモジュール２１２は、抽出された関心領域パターンに少なくとも部分的に基づいて映像を分割するよう構成され得る。
【００３０】
分割された映像は、１または複数の関心領域のピクチャ部分と、１または複数の非関心領域のピクチャ部分を含んでも良い。エンコーディングの間での映像の分割は、関心領域パターンに少なくとも部分的に基づいて、映像を１または複数の関心領域のピクチャ部分と、１または複数の非関心領域のピクチャ部分に分割することを伴っても良い。
【００３１】
３Ｄエンコーダ２０３は、１または複数の関心領域のピクチャ部分２１４、１または複数の非関心領域のピクチャ部分２１６、複数の関連する深度マップ２０６、及び、複数の対応するカメラパラメータ２０４をコーディングして、モジュール２１０で多重化してビットストリームにしても良い。
【００３２】
３Ｄデコーダ２０５はモジュール２３０でビットストリームを逆多重化し、１または複数の関心領域のピクチャ部分２３４、１または複数の非関心領域のピクチャ部分２３６、複数の関連した深度マップ２２６、及び複数の対応するカメラパラメータ２２４をデコードしても良い。
【００３３】
関心領域（ＲＯＩ）抽出ロジックモジュール２２２は、映像に関連する１または複数のカメラパラメータ２２４及び深度マップ２２６に少なくとも部分的に基づいて、映像の関心領域パターンを抽出するよう構成され得る。
【００３４】
ピクチャ関心領域（ＲＯＩ）分割ロジックモジュール２３２は、関心領域抽出ロジックモジュール２２２に対して通信可能に結合されても良い。ピクチャ関心領域分割ロジックモジュール２３２は、抽出された関心領域パターンに少なくとも部分的に基づいて映像を分割するよう構成され得る。
【００３５】
分割された映像は、１または複数の関心領域のピクチャ部分及び１または複数の非関心領域のピクチャ部分を含み得る。デコーディングの間での映像の分割は、１または複数の関心領域のピクチャ部分、及び１または複数の非関心領域のピクチャ部分からの映像の組み立てを伴っても良い。
【００３６】
オペレーションにおいて、３Ｄビデオコーディングシステム２００は、深度ベースの関心領域抽出を含む３Ｄビデオコーディングの複数のオペレーションを実行し得る。更なる詳細を後述するように、そのような深度ベースの関心領域抽出は、３ＤＶＣフレームワークにおいて動作しても良い。
【００３７】
示されている３ＤＶＣフレームワークは、一般的に、与えられるピクチャの関心領域（ＲＯＩ）に対してより敏感で、ピクチャの非関心領域（ＲＯＮＩ）に対してあまり敏感ではない人間の視覚系（ＨＶＳ）を考慮に入れても良い。ビューのピクチャは、ＲＯＩ及びＲＯＮＩに分割され、続いて、複数の異なる方法でコーディングされることができる。ＲＯＩ及びＲＯＮＩは、現在のコーディングビューに対応する深度マップ及び複数のカメラパラメータに基づいて抽出され得る。
【００３８】
３Ｄエンコーダ２０３側で、領域分割パターンは、深度マップ及び複数のカメラパラメータを用いて導出され得る。続いて、ピクチャは、複数の異なるコーディングのセッティングを用いることで圧縮することができるＲＯＩ及びＲＯＮＩに分割され得る。その間、深度マップ及び複数のカメラパラメータもまた圧縮され得る。最後に、ＲＯＩ，ＲＯＮＩ，深度マップ及び複数のカメラパラメータのエンコードデータは、ビットストリームにパッケージングされて３Ｄデコーダ２０５に送信され得る。
【００３９】
３Ｄデコーダ２０５側では、ＲＯＩ，ＲＯＮＩ，深度マップ及び複数のカメラパラメータのデータは、始めにビットストリームから抽出され得る。続いて、深度マップ及び複数のカメラパラメータは、デコードされて再構成され得る。
【００４０】
その後、３Ｄエンコーダ２０３によって行われたのと同じまたは同様のやり方で、再構成された深度マップ及び複数のカメラパラメータを用いて領域分割パターンが導出され得る。複数のＲＯＩピクチャ部分及び複数のＲＯＮＩピクチャ部分は、領域分割パターンに少なくとも部分的に基づいて、別々にデコードされると共に、最終的にピクチャの全体に仕上げられる。
【００４１】
さらなる詳細を後述するように、３Ｄビデオコーディングシステム２００は、図３，４の少なくとも１つに関連して以下で説明される多様な機能のいくつか又は全てを実行するために用いられても良い。
【００４２】
図３は、本開示の少なくともいくつかの実施例に従って構成された３Ｄビデオコーディング処理３００の一例を示すフローチャートである。図示された実施例において、処理３００は、１または複数のブロック３０２、３０４及び／または３０６によって示されるように、１または複数の動作、機能またはアクションを含んでも良い。非限定的な例として、ここでは処理３００は、図１，２，６の少なくとも１つの３Ｄビデオコーディングシステム１００の例に関連して説明される。
【００４３】
処理３００は、コンピュータで実現される、関心領域ベースの３Ｄビデオコーディング法として利用され得る。処理３００は、ブロック３０２「深度マップ及びカメラパラメータに少なくとも部分的に基づいてＲＯＩパターンを抽出する」で始まり得る。
【００４４】
ここで、関心領域パターンは、複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出され得る。例えば、映像の関心領域パターンは、映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出され得る。
【００４５】
処理は、動作３０２から動作３０４「抽出されたＲＯＩパターンに少なくとも部分的に基づいてピクチャを分割して関心領域ピクチャ部分及び非関心領域ピクチャ部分する」に続いても良い。ここで、映像は抽出された関心領域パターンに少なくとも部分的に基づいて分割され得る。例えば、映像は、抽出された関心領域パターンに少なくとも部分的に基づいて、１または複数の関心領域及び１または複数の非関心領域に分割され得る。
【００４６】
処理は動作３０４から動作３０６「関心領域ピクチャ部分及び非関心領域ピクチャ部分をコーディングする」に続いても良い。ここで１または複数の関心領域及び１または複数の非関心領域がコーディングされ得る。例えば、１または複数の関心領域及び１または複数の非関心領域は、エンコーディング及びデコーディングの少なくとも一方の間に、コーディングされ得る。
【００４７】
いくつかの実施例において、エンコーディングの間での映像の分割は、関心領域パターンに少なくとも部分的に基づいて、映像を１または複数の関心領域のピクチャ部分及び１または複数の非関心領域のピクチャ部分に分割することを含んでも良い。いくつかの実施例において、デコーディングの間での映像の分割は、１または複数の関心領域のピクチャ部分及び１または複数の非関心領域のピクチャ部分から映像を組み立てることを含んでも良い。
【００４８】
処理３００に関するいくつかの追加的及び／または選択的なディテールが、図４に関連してより詳細に説明される１または複数の実施例で示され得る。
【００４９】
図４は、本開示の少なくともいくつかの実施例に従って構成された動作時の３Ｄビデオコーディングシステム１００および３Ｄビデオコーディング処理４００の例を示す図である。図示された実施例において、処理４００は、アクション４１２、４１４、４１６、４１８、４２０、４２２、４２４、４２６及び／または４３０の１または複数によって示されるように、１または複数の動作、機能またはアクションを含んでも良い。非限定的な例として、ここでは処理４００は、図１，２，５の少なくとも１つの３Ｄビデオコーディングシステム１００の例に関連して説明される。
【００５０】
図示された実施例において、３Ｄビデオコーディングシステム１００は複数のロジックモジュール４０６など、及び／または、それらの組み合わせを含んでも良い。例えば、複数のロジックモジュール４０６は、ＲＯＩ抽出ロジックモジュール４０８、ピクチャＲＯＩ分割ロジックモジュール４１０など、及び／またはそれらの組み合わせを含んでも良い。
【００５１】
図４に示されるように３Ｄビデオコーディングシステム１００は、特定モジュールに関連する複数のブロックまたは複数のアクションの特定の１セットを含んでも良いが、これらのブロックまたはアクションは、ここで示される特定モジュールとは異なる複数のモジュールに関連付けられ得る。
【００５２】
処理４００は、ブロック４１２「カメラ焦点を決定する」で始まり得る。ここで、カメラ焦点が決定され得る。例えば、カメラ焦点は複数のカメラパラメータに少なくとも部分的に基づいて決定され得る。
【００５３】
示されるように、処理４００はデコーディングを対象としているが、説明された概念及び／または動作は、同じまたは同様のやり方で、一般的にエンコーディングを含むコーディングに適用され得る。
【００５４】
処理は動作４１２から動作４１４「チェックウィンドウを決定する」に続いても良い。ここでチェックウィンドウが決定され得る。例えば、カメラ焦点に少なくとも部分的に基づいて、映像の部分に関連したチェックウィンドウが決定され得る。
【００５５】
処理は動作４１４から動作４１６「チェックウィンドウの外側を決定する」に続いても良い。ここで、チェックウィンドウの外側に何らかの領域単位が位置するか否かが決定されても良い。例えば、チェックウィンドウの外側に位置する任意の領域単位が関心領域パターンの非関心領域であるとして指定されても良い。
【００５６】
処理は、動作４１６から動作４１８「焦点領域を決定する」に続いても良い。ここで、焦点領域単位が決定されても良い。例えば、焦点領域単位は、カメラ焦点に少なくとも部分的に基づいて決定されても良い。
【００５７】
処理は動作４１８から動作４２０「特徴的な焦点深度値を決定する」に続いても良い。ここで、焦点領域単位の特徴的な焦点深度値が決定され得る。例えば、焦点領域単位の特徴的な焦点深度値は、深度マップに少なくとも部分的に基づいて決定されても良い。
【００５８】
処理は動作４２０から動作４２２「領域単位深度値を決定する」に続いても良い。ここで、領域単位深度値が決定されても良い。例えば、チェックウィンドウ内に位置する複数の個々の領域単位の領域単位深度値が決定されても良い。
【００５９】
処理は、動作４２２から動作４２４「ＲＯＩパターンを指定する」に続いても良い。ここで、関心領域パターンが指定され得る。例えば、映像の関心領域パターンは映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出されても良い。
【００６０】
いくつかの実施例において、チェックウィンドウ内に位置する任意の領域単位は、複数の決定された領域単位深度値と、特徴的な焦点深度値との比較に少なくとも部分的に基づいて、関心領域パターンの関心領域または非関心領域であるとして指定されても良い。
【００６１】
処理は動作４２４から動作４２６「ＲＯＩのインデックスタイプを指定する」に続いても良い。ここで、関心領域の複数のインデックスタイプが指定されても良い。例えば、関心領域パターンにおける関心領域の複数の領域単位は、複数の決定された領域単位深度値と、特徴的な焦点深度値との比較に少なくとも部分的に基づいて、２またはそれより多いインデックスタイプに属するとしてさらに指定されても良い。
【００６２】
処理は、動作４２６から動作４２８「ＲＯＩインデックスタイプを含むＲＯＩパターンを転送する」に続いても良い。ここで、関心領域パターンが転送されても良い。例えば、関心領域パターンはＲＯＩ抽出ロジックモジュール４０８からピクチャＲＯＩ分割ロジックモジュール４１０に転送されても良い。
【００６３】
処理は、動作４２６及び／または４２８から動作４３０「ピクチャを分割する」に続いても良い。ここで、映像が分割されても良い。例えば、映像は、抽出された関心領域パターンに少なくとも部分的に基づいて、１または複数の関心領域及び１または複数の非関心領域に分割されても良い。
【００６４】
動作において、ＲＯＩ分割ロジックモジュール４１０は、領域単位の第１タイプと、第１タイプとは異なる領域単位の第２タイプとを区別するよう、さらに構成されても良い。例えば、領域単位の第１及び第２タイプは、スライスレベル基準、ピクチャレベル基準、ビューレベル基準など、及び／または、それらの組み合わせのうち、１または複数の基準に基づいて異なっていても良い。
【００６５】
そのような例において、ＲＯＩ分割ロジックモジュール４１０は、分割の適用の有無、複数の異なる領域単位サイズの適用、複数の異なるチェックウィンドウサイズの適用、及び、複数の決定された領域単位深度値と特徴的な焦点深度値との比較に関連する複数の異なる閾値の適用など、及び／または、それらの組み合わせのうち、１または複数の基準に少なくとも部分的に基づく、領域単位のタイプに少なくとも部分的に基づいて、映像を選択的に分割しても良い。
【００６６】
いくつかの実施例において、コーディングの間に、１または複数の非関心領域のピクチャ部分は、１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされ得る。そのような一例において、第２規格は、１または複数の関心領域のピクチャ部分の第１インデックスタイプに適用される第１サブ規格と、１または複数の関心領域のピクチャ部分の第２インデックスタイプに適用される第２サブ規格とを含んでも良い。
【００６７】
いくつかの実施例において、第１規格、第２規格、第１サブ規格、及び／または、第２サブ規格は、複数の異なるコーディングツール、複数の異なる制限（ｄｉｆｆｅｒｅｎｔ ｃｏｎｓｔｒａｉｎｔｓ）、複数の異なるコーディングストラテジーなど、及び／または、それらの組み合わせのうち、１または複数の基準に少なくとも部分的に基づいて異なっても良い。複数の異なるコーディングツールは、複数の異なる領域に対する可逆（ｌｏｓｓｌｅｓｓ）のコーディングの適用であるか不可逆（ｌｏｓｓｙ）のコーディングの適用であるか、及び、複数の異なる領域に対する完全（ｉｎｔｅｇｅｒ）モーション補償の適用であるか断片（ｆｒａｃｔｉｏｎａｌ）モーション補償の適用であるかなど、及び／または、それらの組み合わせのうち、１または複数の基準に少なくとも部分的に基づいて異なっても良い。
【００６８】
複数の異なる制限は、複数の異なる領域に対する異なる参照ピクチャ番号の制限の適用、複数の異なる領域に対する異なる予測及び変換サイズの適用など、及び／または、それらの組み合わせのうち、１または複数の基準に少なくとも部分的に基づいて異なっても良い。複数の異なるコーディングストラテジーは、複数の異なる領域に対する異なる動き予測のサーチ範囲の適用、複数の異なる領域に対する異なる量子化パラメータの適用など、及び／または、それらの組み合わせのうち、１または複数の基準に少なくとも部分的に基づいて異なっても良い。
【００６９】
動作において、処理３００および４００の例は、図３及び４に図示されるように、分割及びコーディングのためのピクチャの最小単位を示す領域単位（ＲＵ）を用いても良い。第１に、ピクチャは、複数のＲＵに分割されても良く、各ＲＵはＫ×Ｌピクセルを含む。第２に、各ＲＵに対し、領域タイプ及び領域インデックスなどの領域分割パターンが決定されても良い。
【００７０】
より高いコーディング正確性を適用するべく、ＲＯＩがさらにいくつかのサブＲＯＩに分割され得ることに留意すべきである。ＲＯＩが複数のＮ個のサブＲＯＩに分離され得るとすると、各ＲＵに対する領域タイプ及び領域Ｉｄｘは以下のように規定され得る。
【００７１】
１．領域タイプが１に等しい場合、このことは現在のＲＵがＲＯＩであり得ることを特定し得る。領域タイプが０に等しい場合、このことは現在のＲＵがＲＯＮＩであり得ることを特定し得る。
【００７２】
２．領域Ｉｄｘは、現在のＲＵが属するサブＲＯＩインデックスを特定し得る。領域タイプが１に等しい場合、領域Ｉｄｘの値は０からＮ−１の範囲内となり得る。
【００７３】
このスキームにおいて、深度マップ及び複数のカメラパラメータは複数のＲＵの分割パターンを導くために用いられ得る。基本フローは以下のように説明され得る。
【００７４】
１．カメラ焦点及びチェックウィンドウが導出され得る。カメラの焦点は、焦点距離及びカメラ位置などの複数のカメラパラメータにより生成され得る。焦点でのＲＵは、焦点ＲＵ（ＲＵｆｏｃａｌ）として示され得る。焦点の近くでは、ＲＵが長方形に並んだチェックウィンドウを得ることができる。
【００７５】
チェックウィンドウの外側に位置する複数のＲＵはすべてＲＯＮＩとして設定され得る。固定値でありうるチェックウィンドウのサイズは、事前定義されるか、エンコーダで導出されてその後、デコーダに送信されるか、あるいはエンコーダ及びデコーダによって最適に決定され得る。
【００７６】
２．チェックウィンドウの内側に位置する複数のＲＵは、以下の複数の段階でさらに処理され得る。チェックウィンドウ内の各ＲＵに対し、特徴的な深度値が導出され得る。Ｋ×Ｌと等しいサイズのＲＵに対し、Ｋ'×Ｌ'のサイズと等しい、その対応深度ブロックを深度マップから見つけることができる。
【００７７】
特徴的な深度値は、各ＲＵに対して導出され、深度（ＲＵ）として示され得る。特徴的な深度値、例えば、Ｋ'×Ｌ'深度ブロックの平均値、Ｋ'×Ｌ'深度ブロックの中央値など、及び／または、それらの組み合わせ、を導くために様々な方法が用いられ得る。現在のピクチャの深度マップデータが利用不可能であり得る場合、特徴的な深度値を推定するべく、推定深度データもまた利用され得る。
【００７８】
３．チェックウィンドウ内の各ＲＵについて領域タイプが決定され得る。ＲＵの特徴的な深度値は、現在のＲＵがＲＯＩまたはＲＯＮＩに属するかを決定するために用いられ得る。ＴＨｌｏｗ≦深度（ＲＵ）―深度（焦点ＲＵ）≦ＴＨｈｉｇｈの場合には、その後、現在のＲＵがＲＯＩに属し、その領域タイプは１に設定され得る。
【００７９】
深度（ＲＵ）―深度（焦点ＲＵ）＜ＴＨｌｏｗ、或いは深度（ＲＵ）―深度（焦点ＲＵ）＞ＴＨｈｉｇｈの場合には、その後、現在のＲＵがＲＯＮＩに属し、その領域タイプが０に設定され得る。ここで、２つの閾値、ＴＨｌｏｗ及びＴＨｈｉｇｈは、ＲＯＩ及びＲＯＮＩの範囲を制御するために用いられ得る。複数の固定値であり得るＴＨｌｏｗ及びＴＨｈｉｇｈは、事前定義されるか、エンコーダで導出されてデコーダに送信されるか、或いはエンコーダ及びデコーダにより最適に決定され得る。
【００８０】
４．領域Ｉｄｘは、チェックウィンドウ内の各ＲＵに対して決定され得る。ＲＯＩをさらに分割するべく、範囲［ＴＨｌｏｗ，ＴＨｈｉｇｈ］は複数のＮ区間に分割され得る。深度（ＲＵ）−深度（焦点ＲＵ）がｉｔｈ区間に存在し得る場合、現在のＲＵはｉｔｈサブＲＯＩに属し、その領域Ｉｄｘはｉに設定され得る。
【００８１】
ここで、［ＴＨｌｏｗ，ＴＨｈｉｇｈ］の区間パターンは、より細かい各サブＲＯＩの範囲を制御するために用いられ得る。複数の固定値であり得る区間パターンは、事前定義されるか、エンコーダで導出されてデコーダに送信されるか、エンコーダ及びデコーダによって最適に決定され得る。
【００８２】
図３及び４に図示されるように、処理３００および４００の実施例は図示された順序ですべてのブロックを扱うことを含みうるものの、本開示はこの点では限定されず、多様な例において、処理３００および４００の実施例は、示された複数のブロックのサブセットだけ、及び／または、図示されたものとは異なる順序のブロックを扱うことを含み得る。
【００８３】
加えて、図３及び４の何れか１つ又は複数のブロックは、１または複数のコンピュータプログラム製品により提供される命令に応じて扱われ得る。そのような複数のプログラム製品は、例えばプロセッサなどにより実行される場合、ここで説明される機能をもたらし得る命令を提供する信号担持媒体を含んでも良い。
【００８４】
複数のコンピュータプログラム製品は、コンピュータ可読媒体の任意の形態で提供され得る。したがって、例えば１または複数のプロセッサコアを含むプロセッサは、コンピュータ可読媒体によりプロセッサに伝達される命令に応じて、図３及び４に示される１または複数のブロックを扱っても良い。
【００８５】
ここで説明されるいずれの実施例でも用いられるように、用語「モジュール」は、ここで説明される機能を提供するよう構成されたソフトウェア、ファームウェア、及び／またはハードウェアのいかなる組み合わせも指す。ソフトウェアは、ソフトウェアパッケージ、コード及び／または命令セットまたは複数の命令として具体化され得る。
【００８６】
「ハードウェア」は、ここで説明されるいかなる実施例でも使用されるように、例えば、単一でまたは任意の組み合わせにおいて、配線接続された回路、プログラマブル回路、ステートマシン回路、及び／または、プログラマブル回路によって実行される命令を格納するファームウェアを含んでも良い。複数のモジュールは、集合的または個別に、より大きなシステムの一部を形成する回路、例えば、集積回路（ＩＣ），システムオンチップ（ＳｏＣ）などとして具体化され得る。
【００８７】
図５は、本開示の少なくともいくつかの実施例に係る関心領域抽出の例を示す図である。図示された実施例において、ＲＯＩ及びＲＯＮＩの抽出の一例が示され、ここでは１つのＲＯＩ及び１つのＲＯＮＩがピクチャ５００をコーディングするために用いられる。４つの領域単位（ＲＵ）、焦点ＲＵ５０８、チェックウィンドウＲＵの外側のＲＯＮＩ５１０、ＲＯＩ  ＲＵ５１２、及び、ＲＯＮＩ  ＲＵ５１４は、抽出処理を説明するべく示されている。
【００８８】
焦点ＲＵ５０８は、焦点ＲＵであり、チェックウィンドウの中心である。チェックウィンドウＲＵの外側のＲＯＮＩ５１０はチェックウィンドウ５０２の外側に位置するので、ＲＵ５１０はＲＯＮＩの一部として設定される。ＲＯＩ  ＲＵ５１２及びＲＯＮＩ  ＲＵ５１４に対し、それらの深度情報は、抽出規則が満たされるかを見るべく、焦点ＲＵ５０８と照合され得る。その結果、ＲＵ５１２及びＲＵ５１４は、それぞれＲＯＩ及びＲＯＮＩとして設定され得る。
【００８９】
例えば、ＲＯＩピクチャ部分及びＲＯＮＩピクチャ部分がピクチャから抽出された後に、複数のＲＯＮＩピクチャ部分と比較して、複数の異なるコーディングのセッティングが複数のＲＯＩピクチャ部分に適用され得る。複数の異なるコーディングのセッティングは、限定されないものの、複数の異なるコーディングツールを使用すること、複数の異なる制限を使用すること、複数の異なるエンコーディングストラテジーを使用することなど、及び／または、それらの組み合わせを含み得る。
【００９０】
例えば、そのような複数の異なるコーディングツールは、ＲＯＩのような複数の領域に対して複数の可逆のコーディングツールを適用し、ＲＯＮＩ（及び／または複数の異なる関心サブ領域）のような複数の他の領域に対して複数の不可逆のコーディングツールを適用することを含み得る。他の例において、そのような複数の異なるコーディングツールは、複数の異なる領域（及び／または複数の異なる関心サブ領域）に対し、補償のための、異なる動きベクトル解像度を適用することを含んでも良い。
【００９１】
例えば、そのような複数の異なる制限は、複数の異なる領域（及び／または複数の異なる関心サブ領域）に対して異なる参照ピクチャ番号の制限を適用することを含んでも良い。他の例において、複数の異なる制限は、複数の異なる領域（及び／または複数の異なる関心サブ領域）に対して異なる予測及び変換サイズを適用することを含んでも良い。
【００９２】
例えば、そのような複数の異なるエンコーディングストラテジーは、複数の異なる領域（及び／または複数の異なる関心サブ領域）に対して、動き予測を行うための異なるサーチ範囲を適用することを含んでも良い。他の例において、そのような複数の異なるエンコーディングストラテジーは、複数の異なる領域（及び／または複数の異なる関心サブ領域）に対して、異なる量子化パラメータ（ＱＰ）値を適用することを含んでも良い。
【００９３】
図６は、本開示の少なくともいくつかの実施例に従って構成された３Ｄビデオコーディングシステム１００の一例を示す図である。図示された実施例において、３Ｄビデオコーディングシステム１００は、ディスプレイ６０２、イメージングデバイス６０４、３Ｄビデオエンコーダ１０３、３Ｄビデオデコーダ１０５、及び／または複数のロジックモジュール４０６を含んでも良い。複数のロジックモジュール４０６は、ＲＯＩ抽出ロジックモジュール４０８、ピクチャＲＯＩ分割ロジックモジュール４１０など、及び／または、それらの組み合わせを含んでも良い。
【００９４】
図示されるように、ディスプレイ６０２、３Ｄビデオデコーダ１０５、プロセッサ６０６、及び／またはメモリ記憶装置６０８は、互いに通信可能で、かつ／または、複数のロジックモジュール４０６の複数の部分と通信可能であっても良い。同様に、イメージングデバイス６０４及び３Ｄビデオエンコーダ１０３は、互いに通信可能で、かつ／または複数のロジックモジュール４０６の複数の部分と通信可能であっても良い。従って、３Ｄビデオデコーダ１０５は、ロジックモジュール４０６の全部または一部を含んでも良く、さらに３Ｄビデオエンコーダ１０３は同様のロジックモジュールを含んでも良い。
【００９５】
図６に示されるように、３Ｄビデオコーディングシステム１００は、複数の特定のモジュールに関連する複数のブロックまたは複数のアクションの特定の１セットを含んでも良いが、これらのブロックまたはアクションは、ここで説明される特定のモジュールとは異なる複数のモジュールに関連付けられ得る。
【００９６】
いくつかの実施例において、ディスプレイデバイス６０２は、ビデオデータを提供するよう構成され得る。複数のプロセッサ６０６は、ディスプレイデバイス６０２に通信可能に結合され得る。複数のメモリ記憶装置６０８は、複数のプロセッサ６０６に通信可能に結合され得る。
【００９７】
ＲＯＩ抽出ロジックモジュール４０８は、複数のプロセッサ６０６に通信可能に結合され、映像の関心領域パターンを抽出するよう構成され得る。関心領域パターンは映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される。
【００９８】
ピクチャＲＯＩ分割ロジックモジュール４１０は、ＲＯＩ抽出ロジックモジュール４０８に通信可能に結合され、抽出された関心領域パターンに少なくとも部分的に基づいて、映像を分割するよう構成され得る。分割された映像は、１または複数の関心領域及び１または複数の非関心領域を含み得る。
【００９９】
コーダ（例えば３Ｄビデオデコーダ１０５または３Ｄビデオエンコーダ１０３）は、ピクチャＲＯＩ分割ロジックモジュール４１０に通信可能に結合され、１または複数の関心領域及び１または複数の非関心領域をコーディングするよう構成され得る。
【０１００】
様々な実施形態において、ＲＯＩ抽出ロジックモジュール４０８は、ハードウェア内に実装されても良く、さらにソフトウェアはピクチャＲＯＩ分割ロジックモジュール４１０を実装し得る。例えば、いくつかの実施形態において、ＲＯＩ抽出ロジックモジュール４０８は特定用途向け集積回路（ＡＳＩＣ）ロジックで実施され、さらに、ピクチャＲＯＩ分割ロジックモジュール４１０は、複数のプロセッサ６０６などのロジックで実行される複数のソフトウェア命令によって提供されても良い。
【０１０１】
しかしながら、本開示はこの点では限定されず、ＲＯＩ抽出ロジックモジュール４０８、及び／または、ピクチャＲＯＩ分割ロジックモジュール４１０は、ハードウェア、ファームウェア及び／またはソフトウェアの任意の組み合わせで実施され得る。加えて、複数のメモリ記憶装置６０８は、揮発性メモリ（例えばスタティックランダムアクセスメモリ（ＳＲＡＭ），ダイナミックランダムアクセスメモリ（ＤＲＡＭ）など）、または不揮発性メモリ（例えばフラッシュメモリなど）などのような、いずれのタイプのメモリであっても良い。非限定的な例において、複数のメモリ記憶装置６０８は、キャッシュメモリによって実施され得る。
【０１０２】
図７は、本開示に係るシステム７００の一例を示す。システム７００はこのコンテキストに限定されないものの、様々な実施例において、システム７００はメディアシステムであっても良い。
【０１０３】
例えば、システム７００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えばスマートフォン、スマートタブレットまたはスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイスなどに組み込まれ得る。
【０１０４】
様々な実施例において、システム７００は、ディスプレイ７２０に結合されたプラットフォーム７０２を含む。プラットフォーム７０２は、コンテンツサービスデバイス７３０、またはコンテンツ配信デバイス７４０、または複数の他の同様なコンテンツソースなどのコンテンツデバイスからコンテンツを受信しても良い。１または複数のナビゲーション機能を含むナビゲーションコントローラ７５０は、例えばプラットフォーム７０２及び／またはディスプレイ７２０と相互伝達するために用いられ得る。これらのコンポーネントのそれぞれは、以下で詳細に説明される。
【０１０５】
様々な実施例において、プラットフォーム７０２は、チップセット７０５、プロセッサ７１０、メモリ７１２、記憶装置７１４、グラフィックサブシステム７１５、複数のアプリケーション７１６、及び／または、無線機７１８の任意の組み合わせを含み得る。チップセット７０５は、プロセッサ７１０、メモリ７１２、記憶装置７１４、グラフィックサブシステム７１５、複数のアプリケーション７１６、及び／または、無線機７１８の間の相互通信を提供し得る。例えば、チップセット７０５は、記憶装置７１４との相互通信の提供が可能な記憶アダプタ（図示されていない）を含んでも良い。
【０１０６】
プロセッサ７１０は、複合命令セットコンピュータ（ＣＩＳＣ）または複数のＲＩＳＣ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ）プロセッサ、Ｘ８６命令セットに互換性のある複数のプロセッサ、マルチコアまたは他のいずれかの複数のマイクロプロセッサ、または、中央処理装置（ＣＰＵ）として実装され得る。様々な実施例において、プロセッサ７１０は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサなどであっても良い。
【０１０７】
メモリ７１２は、ランダムアクセスメモリ（ＲＡＭ），ダイナミックランダムアクセスメモリ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）などの揮発性メモリデバイスとして実装されても良いが、これに限定されない。
【０１０８】
記憶装置７１４は、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部記憶デバイス、取り付け記憶デバイス、フラッシュメモリ、バッテリバックアップＳＤＲＡＭ（ｓｙｓｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）、及び／または、ネットワークアクセス可能記憶デバイスなどの不揮発性記憶デバイスとして実装されても良いが、これに限定されない。様々な実施例において、記憶装置７１４は、例えば複数のハードドライブが含まれる場合には、高価なデジタルメディアの、保護強化された記憶性能を向上させる技術を含んでも良い。
【０１０９】
グラフィックサブシステム７１５は、静止画または動画などの複数のイメージの表示処理を実行しても良い。グラフィックサブシステム７１５は、例えばグラフィクスプロセッシングユニット（ＧＰＵ）またはビジュアルプロセッシングユニット（ＶＰＵ）であっても良い。
【０１１０】
アナログまたはデジタルインターフェースは、グラフィックサブシステム７１５及びディスプレイ７２０を通信可能に結合するために用いられ得る。例えば、インターフェースは、高解像度のマルチメディアインターフェース、ディスプレイポート、ワイヤレスＨＤＭＩ（登録商標）、及び／または、複数のワイヤレスＨＤ準拠技術のいずれであっても良い。グラフィックサブシステム７１５は、プロセッサ７１０またはチップセット７０５に統合され得る。いくつかの実施例において、グラフィックサブシステム７１５は、チップセット７０５に通信可能に結合された独立のカードであっても良い。
【０１１１】
ここで説明される複数のグラフィック及び／またはビデオ処理技術は、複数の多様なハードウェアキテクチャで実施され得る。例えば、グラフィック及び／またはビデオ機能は、チップセット内に集積され得る。代わりに、別個のグラフィック及び／またはビデオプロセッサが用いられ得る。さらに他の実施例として、複数のグラフィック及び／またはビデオ機能は、マルチコアプロセッサを含一般的な汎用プロセッサによって提供され得る。さらなる実施形態において、機能は家電機器で実施され得る。
【０１１２】
無線機７１８は、複数の適した無線通信技術を用いた信号の送受信が可能な１または複数の無線機を含んでも良い。そのような複数の技術は、１または複数の無線ネットワークにわたる通信を伴っても良い。無線ネットワークの例は、無線ローカルエリアネットワーク（ＷＬＡＮｓ）、無線パーソナルエリアネットワーク（ＷＰＡＮｓ）、ＷＭＡＮｓ（ｗｉｒｅｌｅｓｓ ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、セルラーネットワーク、及び衛星ネットワークを含んでも良い（但しこれに限定されない）。そのような複数のネットワークにわたる通信において、無線機７１８は、任意のバージョンの１または複数の適用可能規格にしたがって動作し得る。
【０１１３】
様々な実施例において、ディスプレイ７２０は任意のテレビ型モニタまたはディスプレイを含んでも良い。ディスプレイ７２０は、例えば、コンピュータディスプレイ画面、タッチスクリーンディスプレイ、ビデオモニタ、テレビのようなデバイス、及び／または、テレビを含んでも良い。
【０１１４】
ディスプレイ７２０は、デジタル及び／またはアナログであっても良い。様々な実施例において、ディスプレイ７２０は、ホログラフィックディスプレイでも良い。またディスプレイ７２０は、視覚投影を受信し得る透過面でも良い。そのような投影は、複数の多様な形態の情報、イメージ及び／またはオブジェクトを伝達し得る。例えば、そのような投影は、モバイルオーグメンテッドリアリティ（ＭＡＲ）アプリケーションのためのビジュアルオーバーレイでも良い。１または複数のソフトウェアアプリケーション７１６の制御下で、プラットフォーム７０２は、ディスプレイ７２０上にユーザインタフェース７２２を表示しても良い。
【０１１５】
様々な実施例において、コンテンツサービスデバイス７３０は、いずれかの国立の、国際の、及び／または独立のサービスによって提供され、これにより例えばインターネットを介してプラットフォーム７０２にアクセス可能であっても良い。コンテンツサービスデバイス７３０は、プラットフォーム７０２及び／またはディスプレイ７２０に結合されても良い。
【０１１６】
プラットフォーム７０２及び／またはコンテンツサービスデバイス７３０は、ネットワーク７６０に、及びネットワーク７６０から、メディア情報を通信（例えば送信及び／または受信）するべくネットワーク７６０に結合されても良い。コンテンツ配信デバイス７４０はまた、プラットフォーム７０２及び／またはディスプレイ７２０に結合されても良い。
【０１１７】
様々な実施例において、コンテンツサービスデバイス７３０は、デジタル情報及び／またはコンテンツを配信可能な、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、複数のインターネット対応デバイスまたは家電製品、及び、複数のコンテンツプロバイダとプラットフォーム７０２及びディスプレイ７２０との間で、ネットワーク７６０を介して、或いは直接的に、一方向または双方向にコンテンツを通信可能な任意の他の同様なデバイスを含んでも良い。
【０１１８】
ネットワーク７６０を介してシステム７００の複数のコンポーネントのいずれか１つ及びコンテンツプロバイダに、または、システム７００の複数のコンポーネントのいずれか１つ及びコンテンツプロバイダから、コンテンツが一方向及び／または双方向に通信され得ることは理解されよう。コンテンツの例は、例えばビデオ、音楽、医療及びゲームの情報などを含んだ如何なるメディア情報を含んでも良い。
【０１１９】
コンテンツサービスデバイス７３０は、メディア情報、デジタル情報及び／またはコンテンツを含んだケーブルテレビプログラムなどのコンテンツを受信し得る。コンテンツプロバイダの例は、任意のケーブルまたは衛星テレビまたは無線機またはインターネットコンテンツプロバイダを含んでも良い。提供される例は、本開示に係る実施例を決して限定するものではない。
【０１２０】
様々な実施例において、プラットフォーム７０２は、１または複数のナビゲーション機能を有するナビゲーションコントローラ７５０から制御信号を受信しても良い。コントローラ７５０の複数のナビゲーション機能は、例えばユーザインタフェース７２２と相互伝達するために用いられ得る。
【０１２１】
複数の実施形態において、ナビゲーションコントローラ７５０は、ユーザが空間（例えば連続かつ多次元の）データをコンピュータに入力することを可能にするコンピュータハードウェアコンポーネント（具体的には、ヒューマンインターフェースデバイス）であり得るポインティングデバイスであっても良い。複数のグラフィカルユーザインタフェース（ＧＵＩ）、複数のテレビ及び複数のモニタなどの多くのシステムは、コンピュータまたは身体的なジェスチャを用いるテレビに対しユーザが制御を行い、データを提供することを可能とする。
【０１２２】
コントローラ７５０の複数のナビゲーション機能（ｆｅａｔｕｒｅ）の移動は、ポインタ、カーソル、フォーカスリング、またはディスプレイ上に表示される他の視覚的インジケータの移動によってディスプレイ（例えばディスプレイ７２０）上で複製され得る。例えば、複数のソフトウェアアプリケーション７１６の制御下で、ナビゲーションコントローラ７５０に位置する複数のナビゲーション機能は、例えばユーザインタフェース７２２に表示される複数の仮想的ナビゲーション機能に描画（ｍａｐｐｅｄ）され得る。複数の実施形態において、コントローラ７５０は別個のコンポーネントではないかも知れないが、プラットフォーム７０２及び／またはディスプレイ７２０に統合され得る。しかしながら、本開示はここで示されるか説明される構成要素またはコンテキストに限定されない。
【０１２３】
様々な実施例において、複数のドライバ（図示されていない）は、例えば初期起動後に機能が有効にされてボタン操作されたテレビのように、ユーザがプラットフォーム７０２のスイッチをすぐにオン及びオフにすることを可能にする技術を含んでも良い。プログラムロジックは、プラットフォームがオフの場合であってもプラットフォーム７０２が複数のメディアアダプタまたは他のコンテンツサービスデバイス７３０またはコンテンツ配信デバイス７４０にコンテンツを流すことを可能にしても良い。
【０１２４】
加えて、チップセット７０５は、例えば（６．１）サラウンドサウンドオーディオ及び／または高解像度（７．１）サラウンドサウンドオーディオのためのハードウェア、及び／または、ソフトウェアサポートを含んでも良い。複数のドライバは、複数の集積グラフィックプラットフォームのためのグラフィックドライバを含んでも良い。複数の実施形態において、グラフィックドライバは、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）エクスプレスグラフィックカードを含んでも良い。
【０１２５】
様々な実施例において、システム６００内に示されるコンポーネントの任意の１つ又は複数は、集積されても良い。例えば、プラットフォーム６０２及びコンテンツサービスデバイス６３０は集積されても良く、あるいは、プラットフォーム６０２及びコンテンツ配信デバイス６４０は集積されても良く、あるいは、例えばプラットフォーム６０２、コンテンツサービスデバイス６３０及びコンテンツ配信デバイス６４０は集積されても良い。様々な実施形態において、プラットフォーム６０２及びディスプレイ６２０は集積ユニットであっても良い。例えばディスプレイ６２０及びコンテンツサービスデバイス６３０は集積されても良く、またはディスプレイ６２０及びコンテンツ配信デバイス６４０は集積されても良い。これらの例は、本開示を限定するものではない。
【０１２６】
様々な実施形態において、システム６００は無線システム、有線システムまたは両方の組み合わせとして実装され得る。無線システムとして実装される場合、システム６００は、１または複数のアンテナ、送信機、受信機、送受信機、増幅器、フィルタ、制御ロジックその他など、無線共有媒体を介した通信に適した複数のコンポーネント及び複数のインターフェースを含んでも良い。
【０１２７】
無線共有媒体の一例は、ＲＦスペクトルその他などの無線スペクトルの一部を含んでも良い。有線システムとして実装される場合、システム６００は、複数の入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応の有線通信媒体に接続する複数の物理コネクタ、ネットワークインタフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラその他など、有線通信媒体を介した通信に適した複数のコンポーネント及び複数のインターフェースを含んでも良い。有線通信媒体の例は、ワイヤ、ケーブル、金属リード、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、ツイストペア線、同軸ケーブル、光ファイバなどを含んでも良い。
【０１２８】
プラットフォーム６０２は、情報を通信する１または複数のロジックチャネルまたは物理チャネルを確立しても良い。情報は、メディア情報及び制御情報を含んでも良い。メディア情報は、ユーザ向けコンテンツを表す如何なるデータを指しても良い。コンテンツの例は、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール（「Ｅメール」）メッセージ、ボイスメールメッセージ、複数の英数字記号、グラフィック、イメージ、ビデオ、テキストなどからのデータを含んでも良い。音声会話からのデータは、例えば、スピーチ情報、複数の沈黙期間、バックグラウンドノイズ、快適雑音、トーンその他などであっても良い。
【０１２９】
制御情報は、オートメーション化されたシステム向けの複数のコマンド、複数の命令または複数の制御ワードを表す如何なるデータを指しても良い。例えば、制御情報は、システムを通じてメディア情報をルーティングするか、予め定められやり方でメディア情報を処理するようノードに指示するために用いられても良い。しかしながら、実施形態は、図６に示されるか図６で説明される構成要素またはコンテキストに限定されない。
【０１３０】
上述のように、システム６００は、様々な物理的スタイルまたはフォームファクタに具体化され得る。図８は、システム６００が具体化され得る小さなフォームファクタデバイス８００の実施例を示す。複数の実施形態において、例えば、デバイス８００は、無線機能を有するモバイルコンピューティングデバイスとして実装され得る。モバイルコンピューティングデバイスは、プロセッシングシステムと、例えば１または複数のバッテリなどのモバイル電源またはモバイルパワーサプライとを有する如何なるデバイスを指しても良い。
【０１３１】
上述のように、モバイルコンピューティングデバイスの例は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えばスマートフォン、スマートタブレットまたはスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイスなどを含んでも良い。
【０１３２】
モバイルコンピューティングデバイスの例は、人に身に着けるよう構成されたコンピュータ、例えば、リストコンピュータ、フィンガーコンピュータ、リングコンピュータ、アイグラスコンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、複数のシュー（ｓｈｏｅ）コンピュータ、複数のクロージング（ｃｌｏｔｈｉｎｇ）コンピュータ、及び複数の他のウェアラブルコンピュータなども含んでも良い。
【０１３３】
様々な実施形態において、例えば、モバイルコンピューティングデバイスは、複数の音声通信及び／または複数のデータ通信だけでなく、複数のコンピュータアプリケーションを実行可能なスマートフォンとして実装されても良い。いくつかの実施形態は一例としてスマートフォンとして実装されたモバイルコンピューティングデバイスを有して説明され得るが、他の複数の実施形態が他の無線モバイルコンピューティングデバイスも用いて実装され得ることは理解されるであろう。複数の実施形態は、このコンテキストに限定されない。
【０１３４】
図８に示されるように、デバイス８００は、ハウジング８０２、ディスプレイ８０４、入力／出力（Ｉ／Ｏ）デバイス８０６、及びアンテナ８０８を含んでも良い。デバイス８００はまた、複数のナビゲーション機能８１２を含んでも良い。ディスプレイ８０４は、モバイルコンピューティングデバイスに適切な情報表示に適した任意のディスプレイユニットを有しても良い。
【０１３５】
Ｉ／Ｏデバイス８０６は、モバイルコンピューティングデバイスに情報を入力するのに適した任意のＩ／Ｏデバイスを有しても良い。Ｉ／Ｏデバイス８０６の例は、英数字キーボード、テンキーパッド、タッチパッド、複数の入力キー、複数のボタン、複数のスイッチ、複数のロッカースイッチ、複数のマイク、複数のスピーカ、音声認識デバイス、およびソフトウェアなどを含んでも良い。
【０１３６】
情報はまた、マイク（図示されていない）を用いてデバイス８００に入力されても良い。そのような情報は、音声認識デバイス（図示されていない）によってデジタル化されても良い。複数の実施形態はこのコンテキストに限定されない。
【０１３７】
様々な実施形態は、複数のハードウェア要素、複数のソフトウェア要素、または両方の組み合わせを用いて実施され得る。複数のハードウェア要素の例は、複数のプロセッサ、複数のマイクロプロセッサ、複数の回路、複数の回路素子（例えば複数のトランジスタ、複数の抵抗、複数のキャパシタ、複数のインダクタなど）、複数の集積回路、複数の特定用途向け集積回路（ＡＳＩＣ）、複数のプログラマブルロジックデバイス（ＰＬＤ）、複数のデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複数の論理ゲート、複数のレジスタ、半導体デバイス、複数のチップ、複数のマイクロチップ、複数のチップセットなどを含んでも良い。ソフトウェアの例は、複数のソフトウェアコンポーネント、複数のプログラム、複数のアプリケーション、複数のコンピュータプログラム、複数のアプリケーションプログラム、複数のシステムプログラム、複数の機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、複数のソフトウェアモジュール、複数のルーチン、複数のサブルーチン、複数の機能、複数の方法、複数のプロシージャ、複数のソフトウェアインタフェース、複数のアプリケーションプログラムインターフェース（ＡＰＩ）、複数の命令セット、コンピューティングコード、コンピュータコード、複数のコードセグメント、複数のコンピュータコードセグメント、複数のワード、複数の値、複数の記号、またはそれらの任意の組み合わせを含んでも良い。
【０１３８】
実施形態がハードウェア要素及び／またはソフトウェア要素を用いて実施されるか否かの判断は、所望の計算レート、パワーレベル、耐熱性、処理サイクル予算、入力データレート、出力データレート、メモリリソース、データバス速度、及び、他のデザインまたはパフォーマンスの制限など、いくつかの要素によって変わり得る。
【０１３９】
少なくとも１つの実施形態の１または複数の態様は、機械可読媒体に格納されてプロセッサ内の多様なロジックを表すレプレゼンタティブ（ｒｅｐｒｅｓｅｎｔａｔｉｖｅ）命令であって、機械に読み取られた場合に機械にロジックを組み立てさせる結果、ここで説明される技術を実行させる命令、によって実施され得る。「ＩＰコア」として知られる、そのような表現は、実際にロジックまたはプロセッサを作る製造機械に読み込まれるべく、有形のマシン可読媒体に格納され、多様なカスタマーまたは製造設備に提供されても良い。
【０１４０】
ここで明記された特定の特徴が多様な実施例に関連して説明されたものの、この説明は限定的な趣旨で解釈されることを意図してはいない。よって、ここで説明された複数の実施例の多様な変更であって、本開示に関連する当業者にとって明らかな変更は、他の実施例と同様に、本開示の趣旨及び範囲内であると考えられる。
【０１４１】
以下の複数の例は、さらなる実施形態に関する。
【０１４２】
一例において、コンピュータに実装されるビデオコーディングの方法は、映像の関心領域パターンを抽出することを含んでも良い。関心領域パターンは、映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される。映像は、抽出された関心領域パターンに少なくとも部分的に基づいて分割され得る。分割された映像は、１または複数の関心領域及び１または複数の非関心領域を含む。１または複数の関心領域及び１または複数の非関心領域はコーディングされ得る。
【０１４３】
他の例において、コンピュータで実現されるビデオコーディングの方法は、関心領域パターンの抽出をさらに含んでも良い。この方法は、複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定すること、カメラ焦点に少なくとも部分的に基づいて映像の部分に関連するチェックウィンドウを決定すること、チェックウィンドウの外側に位置する任意の領域単位を関心領域パターンの非関心領域であるとして指定すること、カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定すること、深度マップに少なくとも部分的に基づいて焦点領域単位の特徴的な焦点深度値を決定すること、 チェックウィンドウ内に位置する複数の個々の領域単位に対する領域単位深度値を決定すること、複数の決定された領域単位深度値と特徴的な焦点深度値の比較に少なくとも部分的に基づいて、チェックウィンドウの内側に位置する任意の領域単位を関心領域パターンの関心領域または非関心領域であるとして指定すること、複数の決定された領域単位深度値と特徴的な焦点深度値の比較に少なくとも部分的に基づいて関心領域パターンの関心領域の複数の領域単位を２またはそれより多いインデックスタイプに属するとしてさらに指定することをさらに含んでも良い。
【０１４４】
映像の分割は、さらに、領域単位の第１タイプと、第１タイプとは異なる領域単位の第２タイプとを区別することを含んでも良い。領域単位の第１及び第２タイプはスライスレベル基準、ピクチャレベル基準及びビューレベル基準のうち、１または複数の基準に基づいて異なる。
【０１４５】
映像の分割は、さらに、分割の適用の有無、複数の異なる領域単位サイズの適用、複数の異なるチェックウィンドウサイズの適用、及び、複数の決定された領域単位深度値と特徴的な焦点深度値の比較に関連する複数の異なる閾値の適用のうち、１または複数の基準に少なくとも部分的に基づく、領域単位のタイプに少なくとも部分的に基づいて、映像を選択的に分割することを含んでも良い。
【０１４６】
ここで、エンコーディングの間の映像の分割は、関心領域パターンに少なくとも部分的に基づいて映像を１または複数の関心領域のピクチャ部分及び１または複数の非関心領域のピクチャ部分に分割することを含む。また、ここで、デコーディングの間の映像の分割は、１または複数の関心領域のピクチャ部分及び１または複数の非関心領域のピクチャ部分から映像を組み立てることを含む。
【０１４７】
コーディングの間に、１または複数の非関心領域のピクチャ部分は、１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされる。ここで、第２規格は、１または複数の関心領域のピクチャ部分の第１インデックスタイプに適用される第１サブ規格と、１または複数の関心領域のピクチャ部分の第２インデックスタイプに適用される第２サブ規格とを含む。第１規格、第２規格、第１サブ規格、及び／または第２サブ規格は、複数の異なるコーディングツール、複数の異なる制限、及び複数の異なるコーディングストラテジーのうち、１または複数の基準に少なくとも部分的に基づいて異なる。
【０１４８】
ここで、複数の異なるコーディングツールは、複数の異なる領域に対する可逆のコーディングの適用であるか不可逆のコーディングの適用であるか、及び、複数の異なる領域に対する完全モーション補償の適用であるか断片モーション補償の適用であるかのうち、１または複数の基準に少なくとも部分的に基づいて異なる。ここで、複数の異なる制限は、複数の異なる領域に対する異なる参照ピクチャ番号の制限の適用、及び、複数の異なる領域に対する異なる予測及び変換サイズの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なる。また、ここで、複数の異なるコーディングストラテジーは、複数の異なる領域に対する異なる動き予測のサーチ範囲の適用、及び、複数の異なる領域に対する異なる量子化パラメータの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なる。
【０１４９】
他の例において、コンピュータ上でビデオコーディングを行うシステムは、ディスプレイデバイス、１または複数のプロセッサ、１または複数のメモリ記憶装置、関心領域抽出ロジックモジュール、ピクチャ関心領域分割ロジックモジュールなど、及び／または、それらの組み合わせを含んでも良い。ディスプレイデバイスは、ビデオデータを提供するよう構成され得る。
【０１５０】
１または複数のプロセッサは、ディスプレイデバイスに通信可能に結合され得る。関心領域抽出は、１または複数のプロセッサに通信可能に結合され得る。関心領域抽出ロジックモジュールは、映像の関心領域パターンを抽出するよう構成され得る。
【０１５１】
関心領域パターンは、映像に関連する１または複数の複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される。ピクチャ関心領域分割ロジックモジュールは、関心領域抽出ロジックモジュールに通信可能に結合され得る。ピクチャ関心領域分割ロジックモジュールは、抽出された関心領域パターンに少なくとも部分的に基づいて映像を分割するよう構成され得る。
【０１５２】
分割された映像は、１または複数の関心領域及び１または複数の非関心領域を含み得る。コーダは、ピクチャ関心領域分割ロジックモジュールに通信可能に結合され得る。コーダは、１または複数の関心領域及び１または複数の非関心領域をコーディングするよう構成され得る。
【０１５３】
他の例において、関心領域パターンロジックモジュールの抽出が行われるコンピュータ上でビデオコーディングを行うシステムは、さらに、複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定し、カメラ焦点に少なくとも部分的に基づいて映像の部分に関連するチェックウィンドウを決定し、チェックウィンドウの外側に位置する任意の領域単位を関心領域パターンの非関心領域であるとして指定し、カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定し、深度マップに少なくとも部分的に基づいて焦点領域単位の特徴的な焦点深度値を決定し、チェックウィンドウ内に位置する複数の個々の領域単位の領域単位深度値を決定し、複数の決定された領域単位深度値と特徴的な焦点深度値との比較に少なくとも部分的に基づいて、チェックウィンドウ内に位置する任意の領域単位を関心領域パターンの関心領域または非関心領域であるとして指定し、複数の決定された領域単位深度値と特徴的な焦点深度値との比較に少なくとも部分的に基づいて、関心領域パターンの関心領域の複数の領域単位を、２またはそれより多いインデックスタイプに属するとしてさらに指定するよう構成されても良い。
【０１５４】
ピクチャ関心領域分割ロジックモジュールは、さらに、領域単位の第１タイプと、第１タイプとは異なる領域単位の第２タイプとを区別するように構成されても良い。ここで、領域単位の第１及び第２タイプは、スライスレベル基準、ピクチャレベル基準及びビューレベル基準のうち、１または複数の基準に基づいて異なる。
【０１５５】
ピクチャ関心領域分割ロジックモジュールは、さらに、分割の適用の有無、複数の異なる領域単位サイズの適用、複数の異なるチェックウィンドウサイズの適用、及び、複数の決定された領域単位深度値と特徴的な焦点深度値の比較に関連する複数の異なる閾値の適用のうち、１または複数の基準に少なくとも部分的に基づく、領域単位のタイプに少なくとも部分的に基づいて、映像を選択的に分割するように構成されても良い。
【０１５６】
エンコーディングの間の映像の分割は、関心領域パターンに少なくとも部分的に基づいて、映像を１または複数の関心領域のピクチャ部分及び１または複数の非関心領域のピクチャ部分に分割することを含む。デコーディングの間の映像の分割は、１または複数の関心領域のピクチャ部分及び１または複数の非関心領域のピクチャ部分から映像を組み立てることを含む。
【０１５７】
コーディングの間、１または複数の非関心領域のピクチャ部分は、１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされる。第２規格は、１または複数の関心領域のピクチャ部分の第１インデックスタイプに適用される第１サブ規格と、１または複数の関心領域のピクチャ部分の第２インデックスタイプに適用される第２サブ規格とを含む。第１規格、第２規格、第１サブ規格及び／または第２サブ規格は、複数の異なるコーディングツール、複数の異なる制限、及び複数の異なるコーディングストラテジーのうち、１または複数の基準に少なくとも部分的に基づいて異なる。
【０１５８】
複数の異なるコーディングツールは、複数の異なる領域に対する可逆のコーディングの適用であるか不可逆のコーディングの適用であるか、及び、複数の異なる領域に対する完全モーション補償の適用であるか断片モーション補償の適用であるかのうち、１または複数の基準に少なくとも部分的に基づいて異なる。複数の異なる制限は、複数の異なる領域に対する異なる参照ピクチャ番号の制限の適用、及び、複数の異なる領域に対する異なる予測及び変換サイズの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なる。複数の異なるコーディングストラテジーは、複数の異なる領域に対する異なる動き予測のサーチ範囲の適用、及び、複数の異なる領域に対する異なる量子化パラメータの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なる。
【０１５９】
さらなる例において、少なくとも１つのマシン可読媒体は、コンピューティングデバイスで実行されることに応じてコンピューティングデバイスに上記の例のいずれか一つに係る方法を実行させる複数の命令を含み得る。
【０１６０】
さらなる例において、装置は、上記の例のいずれか一つに係る方法を実行する複数の手段を含み得る。
【０１６１】
上記の例は、特徴の特定の組み合わせを含み得る。しかしながら、そのような上記の例は、この点に限定されず、多様な実施例において、上記の例は、そのような特徴のサブセットだけを扱うこと、そのような特徴の異なる順序を扱うこと、そのような特徴の別の組み合わせを扱うこと、及び／または、明示的に表示（ｌｉｓｔｅｄ）されたこれらの特徴に対して追加の特徴を扱うこと、を含んでも良い。例えば、方法の例に関して説明されたすべての特徴は、装置の例、システムの例、及び／または、品物の例に対して実施されても良いし、その逆も同様である。
［項目１］
コンピュータに実装されるビデオコーディングの方法であって、
映像の関心領域パターンを抽出する段階であって、前記関心領域パターンは、前記映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される段階と、
前記抽出された関心領域パターンに少なくとも部分的に基づいて前記映像を分割する段階であって、前記分割された映像は１または複数の関心領域及び１または複数の非関心領域を含む段階と、
前記１または複数の関心領域及び前記１または複数の非関心領域をコーディングする段階と、を含む方法。
［項目２］
前記予測単位をコーディングする前記段階は３Ｄデコーディングする段階を含む項目１に記載の方法。
［項目３］
前記映像を分割する前記段階は、エンコーディングの間に、前記映像を１または複数の関心領域のピクチャ部分と、１または複数の非関心領域のピクチャ部分とに分割する段階を含む項目１または２に記載の方法。
［項目４］
前記映像を分割する前記段階は、デコーディングの間に、１または複数の関心領域のピクチャ部分及び１または複数の非関心領域のピクチャ部分から前記映像を組み立てる段階を含む項目１から３の何れか1項に記載の方法。
［項目５］
前記関心領域パターンを抽出する前記段階は、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定する段階と、
前記カメラ焦点に少なくとも部分的に基づいて前記映像の部分に関連するチェックウィンドウを決定する段階と、
前記チェックウィンドウの外側に位置する任意の領域単位を前記関心領域パターンの非関心領域であるとして指定する段階と、
を含む項目１から４の何れか1項に記載の方法。
［項目６］
前記関心領域パターンを抽出する前記段階は、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定する段階と、
前記カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定する段階と、
前記深度マップに少なくとも部分的に基づいて前記焦点領域単位の特徴的な焦点深度値を決定する段階と、
複数の個々の領域単位に対する領域単位深度値を決定する段階と、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定する段階と、を含む項目１から５の何れか1項に記載の方法。
［項目７］
前記関心領域パターンを抽出する前記段階は、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定する段階と、
前記カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定する段階と、
前記深度マップに少なくとも部分的に基づいて前記焦点領域単位の特徴的な焦点深度値を決定する段階と、
複数の個々の領域単位に対する領域単位深度値を決定する段階と、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定する段階と、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との前記比較に少なくとも部分的に基づいて、前記関心領域パターンの関心領域の複数の領域単位を２またはそれより多いインデックスタイプに属するとしてさらに指定する段階と、を含む項目１から６の何れか1項に記載の方法。
［項目８］
前記関心領域パターンを抽出する前記段階は、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定する段階と、
前記カメラ焦点に少なくとも部分的に基づいて、前記映像の部分に関連するチェックウィンドウを決定する段階と、
前記チェックウィンドウの外側に位置する任意の領域単位を前記関心領域パターンの非関心領域であるとして指定する段階と、
前記カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定する段階と、
前記深度マップに少なくとも部分的に基づいて、前記焦点領域単位の特徴的な焦点深度値を決定する段階と、
前記チェックウィンドウ内に位置する複数の個々の領域単位に対する領域単位深度値を決定する段階と、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、前記チェックウィンドウ内に位置する任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定する段階と、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との前記比較に少なくとも部分的に基づいて、前記関心領域パターンの関心領域の複数の領域単位を２またはそれより多いインデックスタイプに属するとしてさらに指定する段階と、を含む項目１から７の何れか1項に記載の方法。
［項目９］
コーディングの間に、前記１または複数の非関心領域のピクチャ部分は、前記１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされる項目１から８の何れか1項に記載の方法。
［項目１０］
コーディングの間に、前記１または複数の非関心領域のピクチャ部分は、前記１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされ、
前記第２規格は、前記１または複数の関心領域のピクチャ部分の第１インデックスタイプに適用される第１サブ規格と、前記１または複数の関心領域のピクチャ部分の第２インデックスタイプに適用される第２サブ規格とを有し、
前記第１規格、前記第２規格、前記第１サブ規格、及び前記第２サブ規格の少なくとも１つは、複数の異なるコーディングツール、複数の異なる制限、及び、複数の異なるコーディングストラテジーのうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なるコーディングツールは、複数の異なる領域に対する可逆のコーディングの適用であるか不可逆のコーディングの適用であるか、及び、複数の異なる領域に対する完全モーション補償の適用であるか断片モーション補償の適用であるかのうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なる制限は、複数の異なる領域に対する異なる参照ピクチャ番号の制限の適用、及び、複数の異なる領域に対する異なる予測及び変換サイズの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なるコーディングストラテジーは、複数の異なる領域に対する異なる動き予測のサーチ範囲の適用、及び、複数の異なる領域に対する異なる量子化パラメータの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なる項目１から９の何れか1項に記載の方法。
［項目１１］
領域単位の第１タイプと、前記第１タイプとは異なる領域単位の第２タイプとを区別する段階であって、領域単位の前記第１タイプ及び前記第２タイプは、スライスレベル基準、ピクチャレベル基準、及びビューレベル基準のうち、１または複数の基準に基づいて異なる段階と、
領域単位の前記タイプに少なくとも部分的に基づいて前記映像を選択的に分割する段階と、
をさらに含む項目１から１０の何れか1項に記載の方法。
［項目１２］
領域単位の第１タイプと、前記第１タイプとは異なる領域単位の第２タイプとを区別する段階であって、領域単位の前記第１タイプと前記第２タイプとは、スライスレベル基準、ピクチャレベル基準及びビューレベル基準のうち、１または複数の基準に基づいて異なる段階と、
分割の適用の有無、複数の異なる領域単位サイズの適用、複数の異なるチェックウィンドウサイズの適用、及び、複数の前記決定された領域単位深度値と前記特徴的な焦点深度値の前記比較に関連する複数の異なる閾値の適用のうち、１または複数の基準に少なくとも部分的に基づく、領域単位の前記タイプに少なくとも部分的に基づいて、前記映像を選択的に分割する段階とをさらに含む項目６から８の何れか１項に記載の方法。
［項目１３］
前記関心領域パターンを抽出する前記段階は、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定する段階と、
前記カメラ焦点に少なくとも部分的に基づいて前記映像の部分に関連するチェックウィンドウを決定する段階と、
前記チェックウィンドウの外側に位置する任意の領域単位を前記関心領域パターンの非関心領域であるとして指定する段階と、
前記カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定する段階と、
前記深度マップに少なくとも部分的に基づいて、前記焦点領域単位の特徴的な焦点深度値を決定する段階と、
前記チェックウィンドウ内に位置する複数の個々の領域単位に対する領域単位深度値を決定する段階と、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、前記チェックウィンドウ内に位置する任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定する段階と、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との前記比較に少なくとも部分的に基づいて、前記関心領域パターンの関心領域の複数の領域単位を、２またはそれより多いインデックスタイプに属するとしてさらに指定する段階と、を備え、
前記映像を分割する前記段階は、さらに、
領域単位の第１タイプと、前記第１タイプとは異なる領域単位の第２タイプとを区別する段階であって、領域単位の前記第１タイプ及び前記第２タイプは、スライスレベル基準、ピクチャレベル基準及びビューレベル基準のうち、１または複数の基準に基づいて異なる段階と、
分割の適用の有無、複数の異なる領域単位サイズの適用、複数の異なるチェックウィンドウサイズの適用、及び、複数の前記決定された領域単位深度値と前記特徴的な焦点深度値の前記比較に関連する複数の異なる閾値の適用のうち、１または複数の基準に少なくとも部分的に基づく、領域単位の前記タイプに少なくとも部分的に基づいて、前記映像を選択的に分割する段階と、を含み、
前記映像を分割する前記段階は、エンコーディングの間に、前記関心領域パターンに少なくとも部分的に基づいて、前記映像を１または複数の関心領域のピクチャ部分と、１または複数の非関心領域のピクチャ部分とに分割する段階を含み、
前記映像を分割する前記段階は、デコーディングの間に、１または複数の関心領域のピクチャ部分と、１または複数の非関心領域のピクチャ部分とから前記映像を組み立てる段階を含み、
コーディングの間に、前記１または複数の非関心領域のピクチャ部分は、前記１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされ、
前記第２規格は、前記１または複数の関心領域のピクチャ部分の第１インデックスタイプに適用される第１サブ規格と、前記１または複数の関心領域のピクチャ部分の第２インデックスタイプに適用される第２サブ規格とを含み、
前記第１規格、前記第２規格、前記第１サブ規格、及び前記第２サブ規格の少なくとも１つは、複数の異なるコーディングツール、複数の異なる制限、及び、複数の異なるコーディングストラテジーのうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なるコーディングツールは、複数の異なる領域に対する可逆のコーディングの適用であるか不可逆のコーディングの適用であるか、及び、複数の異なる領域に対する完全モーション補償の適用であるか断片モーション補償の適用であるかのうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なる制限は、複数の異なる領域に対する異なる参照ピクチャ番号の制限の適用、及び、複数の異なる領域に対する異なる予測及び変換サイズの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なるコーディングストラテジーは、複数の異なる領域に対する異なる動き予測のサーチ範囲の適用、及び、複数の異なる領域に対する異なる量子化パラメータの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なる項目１から１２の何れか1項に記載の方法。
［項目１４］
コンピュータ上でビデオコーディングするためのシステムであって、
ビデオデータを提供するディスプレイデバイスと、
前記ディスプレイデバイスに通信可能に結合される１または複数のプロセッサと、
前記１または複数のプロセッサに通信可能に結合される１または複数のメモリ記憶装置と、
前記１または複数のプロセッサに通信可能に結合され、映像の関心領域パターンを抽出する関心領域抽出ロジックモジュールであって、前記関心領域パターンが前記映像に関連する１または複数のカメラパラメータ及び深度マップに少なくとも部分的に基づいて抽出される関心領域抽出ロジックモジュールと、
前記関心領域抽出ロジックモジュールに通信可能に結合され、前記抽出された関心領域パターンに少なくとも部分的に基づいて前記映像を分割するピクチャ関心領域分割ロジックモジュールであって、前記分割された映像が１または複数の関心領域及び１または複数の非関心領域を含むピクチャ関心領域分割ロジックモジュールと、
前記ピクチャ関心領域分割ロジックモジュールに通信可能に結合され、前記１または複数の関心領域及び前記１または複数の非関心領域をコーディングするコーダと、
を備えるシステム。
［項目１５］
前記コーダは３Ｄデコーダを有する項目１４に記載のシステム。
［項目１６］
前記映像の前記分割は、エンコーディングの間に、前記映像を１または複数の関心領域のピクチャ部分と、１または複数の非関心領域のピクチャ部分とに分割することを含む項目１４または１５に記載のシステム。
［項目１７］
前記映像の前記分割は、デコーディングの間に、１または複数の関心領域のピクチャ部分及び１または複数の非関心領域のピクチャ部分から前記映像を組み立てることを含む項目１４から１６の何れか1項に記載のシステム。
［項目１８］
前記関心領域抽出ロジックモジュールは、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定し、
前記カメラ焦点に少なくとも部分的に基づいて、前記映像の部分に関連するチェックウィンドウを決定し、
前記チェックウィンドウの外側に位置する任意の領域単位を前記関心領域パターンの非関心領域であるとして指定する項目１４から１７の何れか1項に記載のシステム。
［項目１９］
前記関心領域抽出ロジックモジュールは、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定し、
前記カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定し、
前記深度マップに少なくとも部分的に基づいて、前記焦点領域単位の特徴的な焦点深度値を決定し、
複数の個々の領域単位に対する領域単位深度値を決定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定する項目１４から１８の何れか1項に記載のシステム。
［項目２０］
前記関心領域抽出ロジックモジュールは、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定し、
前記カメラ焦点に少なくとも部分的に基づいて、焦点領域単位を決定し、
前記深度マップに少なくとも部分的に基づいて、前記焦点領域単位の特徴的な焦点深度値を決定し、
複数の個々の領域単位に対する領域単位深度値を決定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値の前記比較に少なくとも部分的に基づいて、前記関心領域パターンの関心領域の複数の領域単位を２またはそれより多いインデックスタイプに属するとしてさらに指定する項目１４から１９の何れか1項に記載のシステム。
［項目２１］
前記関心領域抽出ロジックモジュールは、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定し、
前記カメラ焦点に少なくとも部分的に基づいて、前記映像の部分に関連するチェックウィンドウを決定し、
前記チェックウィンドウの外側に位置する任意の領域単位を前記関心領域パターンの非関心領域であるとして指定し、
前記カメラ焦点に少なくとも部分的に基づいて、焦点領域単位を決定し、
前記深度マップに少なくとも部分的に基づいて、前記焦点領域単位の特徴的な焦点深度値を決定し、
前記チェックウィンドウ内に位置する複数の個々の領域単位に対する領域単位深度値を決定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との比較に少なくとも部分的に基づいて、前記チェックウィンドウ内に位置する任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値との前記比較に少なくとも部分的に基づいて、前記関心領域パターンの関心領域の複数の領域単位を、２またはそれより多いインデックスタイプに属するとしてさらに指定する項目１４から２０の何れか1項に記載のシステム。
［項目２２］
コーディングの間に、前記１または複数の非関心領域のピクチャ部分は、前記１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされる項目１４から２１の何れか1項に記載のシステム。
［項目２３］
コーディングの間に、前記１または複数の非関心領域のピクチャ部分は、前記１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされ、
前記第２規格は、前記１または複数の関心領域のピクチャ部分の第１インデックスタイプに適用される第１サブ規格と、前記１または複数の関心領域のピクチャ部分の第２インデックスタイプに適用される第２サブ規格とを有し、
前記第１規格、前記第２規格、前記第１サブ規格、及び前記第２サブ規格の少なくとも１つは、複数の異なるコーディングツール、複数の異なる制限、及び、複数の異なるコーディングストラテジーのうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なるコーディングツールは、複数の異なる領域に対する可逆のコーディングの適用であるか不可逆のコーディングの適用であるか、及び、複数の異なる領域に対する完全モーション補償の適用であるか断片モーション補償の適用であるかのうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なる制限は、複数の異なる領域に対する異なる参照ピクチャ番号の制限の適用、及び、複数の異なる領域に対する異なる予測及び変換サイズの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なるコーディングストラテジーは、複数の異なる領域に対する異なる動き予測のサーチ範囲の適用、及び、複数の異なる領域に対する異なる量子化パラメータの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なる項目１４から２２の何れか1項に記載のシステム。
［項目２４］
前記ピクチャ関心領域分割ロジックモジュールは、さらに、
領域単位の第１タイプと、前記第１タイプとは異なる領域単位の第２タイプとを区別し、
領域単位の前記タイプに少なくとも部分的に基づいて、前記映像を選択的に分割し、
領域単位の前記第１タイプと前記第２タイプとは、スライスレベル基準、ピクチャレベル基準及びビューレベル基準のうち、１または複数の基準に基づいて異なる項目１４から２３の何れか1項に記載のシステム。
［項目２５］
前記ピクチャ関心領域分割ロジックモジュールは、さらに
領域単位の第１タイプと、前記第１タイプとは異なる領域単位の第２タイプとを区別し、
分割の適用の有無、複数の異なる領域単位サイズの適用、複数の異なるチェックウィンドウサイズの適用、及び、複数の前記決定された領域単位深度値と前記特徴的な焦点深度値の前記比較に関連する複数の異なる閾値の適用のうち、１または複数の基準に少なくとも部分的に基づく、領域単位の前記タイプに少なくとも部分的に基づいて、前記映像を選択的に分割し、
領域単位の前記第１タイプと前記第２タイプとは、スライスレベル基準、ピクチャレベル基準及びビューレベル基準のうち、１または複数の基準に基づいて異なる項目１９から２１の何れか１項に記載のシステム。
［項目２６］
前記関心領域抽出ロジックモジュールの前記抽出は、さらに、
前記１または複数のカメラパラメータに少なくとも部分的に基づいてカメラ焦点を決定し、
前記カメラ焦点に少なくとも部分的に基づいて前記映像の部分に関連するチェックウィンドウを決定し、
前記チェックウィンドウの外側に位置する任意の領域単位を前記関心領域パターンの非関心領域であるとして指定し、
前記カメラ焦点に少なくとも部分的に基づいて焦点領域単位を決定し、
前記深度マップに少なくとも部分的に基づいて前記焦点領域単位の特徴的な焦点深度値を決定し、
前記チェックウィンドウ内に位置する複数の個々の領域単位に対する領域単位深度値を決定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値の比較に少なくとも部分的に基づいて前記チェックウィンドウ内に位置する任意の領域単位を前記関心領域パターンの関心領域または非関心領域であるとして指定し、
複数の前記決定された領域単位深度値と前記特徴的な焦点深度値の前記比較に少なくとも部分的に基づいて前記関心領域パターンの関心領域の複数の領域単位を２またはそれより多いインデックスタイプに属するとしてさらに指定し、
前記ピクチャ関心領域分割ロジックモジュールは、さらに、
領域単位の第１タイプと、前記第１タイプとは異なる領域単位の第２タイプとを区別し、
分割の適用の有無、複数の異なる領域単位サイズの適用、複数の異なるチェックウィンドウサイズの適用、及び、複数の前記決定された領域単位深度値と前記特徴的な焦点深度値の前記比較に関連する複数の異なる閾値の適用のうち、１または複数の基準に少なくとも部分的に基づく、領域単位の前記タイプに少なくとも部分的に基づいて、前記映像を選択的に分割し、
領域単位の前記第１タイプ及び前記第２タイプは、スライスレベル基準、ピクチャレベル基準、及びビューレベル基準のうち、１または複数の基準に基づいて異なり、
前記映像の前記分割は、エンコーディングの間に、前記関心領域パターンに少なくとも部分的に基づいて、前記映像を１または複数の関心領域のピクチャ部分と、１または複数の非関心領域のピクチャ部分とに分割することを含み、
前記映像の前記分割は、デコーディングの間に、１または複数の関心領域のピクチャ部分と、１または複数の非関心領域のピクチャ部分とから前記映像を組み立てることを含み、
コーディングの間に、前記１または複数の非関心領域のピクチャ部分は、前記１または複数の関心領域のピクチャ部分に適用される第２規格とは異なる第１規格を介してコーディングされ、
前記第２規格は、前記１または複数の関心領域のピクチャ部分の第１インデックスタイプに適用される第１サブ規格と、前記１または複数の関心領域のピクチャ部分の第２インデックスタイプに適用される第２サブ規格とを含み、
前記第１規格、前記第２規格、前記第１サブ規格、及び前記第２サブ規格の少なくとも１つは、複数の異なるコーディングツール、複数の異なる制限、及び、複数の異なるコーディングストラテジーのうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なるコーディングツールは、複数の異なる領域に対する可逆のコーディングの適用であるか不可逆のコーディングの適用であるか、及び、複数の異なる領域に対する完全モーション補償の適用であるか断片モーション補償の適用であるかのうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なる制限は、複数の異なる領域に対する異なる参照ピクチャ番号の制限の適用、及び、複数の異なる領域に対する異なる予測及び変換サイズの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なり、
前記複数の異なるコーディングストラテジーは、複数の異なる領域に対する異なる動き予測のサーチ範囲の適用、及び、複数の異なる領域に対する異なる量子化パラメータの適用のうち、１または複数の基準に少なくとも部分的に基づいて異なる項目１４から２５の何れか1項に記載のシステム。
［項目２７］
コンピューティングデバイスに項目１から１３の何れか１項に記載の方法を実行させるプログラム。
［項目２８］
項目１から１３の何れか１項に記載の方法を実行する手段を備える装置。
【図１】
0005985053.tif 000002
【図２】
0005985053.tif 000003
【図３】
0005985053.tif 000004
【図４】
0005985053.tif 000005
【図５】
0005985053.tif 000006
【図６】
0005985053.tif 000007
【図７】
0005985053.tif 000008
【図８】
0005985053.tif 000009