"3次元3D像を送信するコンピューター実装方法であって、少なくとも1つの3D画像から深度マップ及びカラーデータを抽出するステップと、前記深度マップの帯域幅を削減して、帯域幅削減深度マップを生成する、削減するステップと、前記カラーデータ内に前記帯域幅削減深度マップを挿入して、帯域幅削減3D画像を生成する、挿入するステップと、ディスプレイに送り出すために前記帯域幅削減3D画像を伝送チャネルに送出するステップと、を含む3次元像を送信するコンピューター実装方法。前記深度マップの帯域幅を削減するステップは、前記カラーデータにおける少なくとも1つのオブジェクト境界に対応する少なくとも1つの不連続性を含む、前記深度マップの少なくとも1つの領域を保持することを含む、請求項1に記載の方法。前記深度マップの帯域幅を削減するステップは、前記深度マップにおける深度値を表す分布におけるモダリティに関連する深度値を除去することを更に含む、請求項1に記載の方法。前記深度マップにおける深度値のヒストグラムを生成することと、前記ヒストグラムに対してモーダル解析を実行することと、により、前記モダリティを特定することを更に含む、請求項3に記載の方法。前記ヒストグラムに対してグレースケールモルフォロジークロージング演算を適用することであって、0.0又は1.0の深度値を除去する、適用することを更に含む、請求項4に記載の方法。メディアン画像処理フィルターを用いて前記深度マップをフィルタリングすることを更に含む、請求項3に記載の方法。前記メディアン画像処理フィルターは5×5メディアンフィルターである、請求項6に記載の方法。前記深度マップに対して空間デシメーション演算を実行することと、前記深度マップに対して可逆的な統計的符号化方法を適用することと、を更に含む、請求項3に記載の方法。前記深度マップに対して空間デシメーション演算を実行するステップは、前記深度マップにキュービック削減フィルターを適用することと、繰返しの連続した1オクターブバイキュービック削減を実行することとのうちの少なくとも一方を含む、請求項8に記載の方法。前記深度マップに対して可逆的な統計的符号化方法を適用するステップは、前記深度マップを7ビット/画素表現に変換するとともに、ハフマン符号化方式を用いて統計的に符号化することと、前記深度マップに対して算術符号化を適用することと、前記深度マップに対して2次元コードブック符号化方式を適用することと、のうちの少なくとも1つを更に含む、請求項8に記載の方法。前記カラーデータ内に前記帯域幅削減深度マップを挿入するステップは、前記深度マップを透かしとしてカラーデータに追加することを含む、請求項1に記載の方法。3次元3D像を受信するコンピューター実装方法であって、帯域幅削減深度マップ及びカラーデータを含む帯域幅削減3D画像を受信するステップと、前記カラーデータの統計的ドメインを使用するフィルターを適用して前記帯域幅削減深度マップの帯域幅を復元する、適用するステップと、を含む、3次元像を受信するコンピューター実装方法。前記フィルターは、少なくとも1つのオブジェクト境界を含む前記カラーデータの不連続性を一致させることにより、前記帯域幅削減深度マップにおける不連続性を復元するように構成される、請求項12に記載の方法。深度画像に基づくレンダリングDIBR法を適用するステップであって、前記復元された深度マップ及び前記カラー画像をワープさせて、立体3Dディスプレイ又は自動立体3Dディスプレイに適した少なくとも1つのビューを構築する、適用するステップを更に含む、請求項12に記載の方法。少なくとも1つの前記フィルターはRGBZOフィルターである、請求項12に記載の方法。前記RGBZOフィルターは、第1のドメインとしての前記帯域幅削減深度マップ、第2のドメインとしての前記カラーデータ、及び空間重み付け関数によって提供される2つのラジオシティ重み付け関数を使用する、請求項15に記載の方法。前記帯域幅削減深度マップに対して、第1オクターブのアップスケーリングされた深度マップが生成されるまで、1オクターブバイキュービックアップスケーリング及びそれに続くRGBZOフィルターの適用の反復を繰り返し施すステップを更に含む、請求項15に記載の方法。前記帯域幅削減深度マップに対して、1オクターブバイキュービックアップスケーリング及びそれに続くRGBZOフィルターの適用の反復を繰り返し施すステップは、前記深度マップのエッジ勾配と前記カラーデータのカラーエッジ勾配との差を含む誤差関数を最小化して、前記アップスケーリングされた深度マップの出力を正則化する、請求項17に記載の方法。前記帯域幅削減深度マップに対して、1オクターブバイキュービックアップスケーリング及びそれに続くRGBZOフィルターの適用の反復を繰り返し施すステップの前に、前記帯域幅削減深度マップに対して可逆復号化方法を適用するステップを更に含む、請求項17に記載の方法。前記DIBR法を適用するステップは、前記カラーデータにオプティカルフロー法を適用するステップと、前記カラーに対して動き補償及び画像ワーピングを適用して、動き補償画素のテーブルを生成する、適用するステップと、前記動き補償画素のテーブルから遮られた画素の候補の時間予測及び空間予測のうちの一方を適用するステップと、前記遮られた画素の候補に対して統計的インペインティング手順を適用するステップと、前記統計的インペインティング手順から得られた画素をワープさせて、表示するための画像の左眼ビュー及び右眼ビューを得る、ワープさせるステップと、を更に含む、請求項14に記載の方法。前記深度マップからのディスオクルージョンを分類して、遮られた画素の候補の空間予測に通知する、分類するステップと、前記深度マップにZ平滑化法を適用して、処理済み深度マップを生成する、適用するステップと、を更に含む、請求項20に記載の方法。前記ワープさせるステップは、前記処理済み深度マップによって通知される、請求項21に記載の方法。3次元3D像を処理するコンピューター実行可能命令を含むコンピューター可読媒体であって、前記命令は、帯域幅削減深度マップ及びカラーデータを含む帯域幅削減3D画像を受信し、前記カラーデータの統計的ドメインを使用するフィルターを適用して前記帯域幅削減深度マップの帯域幅を復元するように構成されている、3次元像を処理するコンピューター実行可能命令を含むコンピューター可読媒体。前記命令は、深度画像に基づくレンダリングDIBR法を適用して、前記復元された深度マップ及び前記カラー画像をワープさせて、立体3Dディスプレイ又は自動立体3Dディスプレイに適した少なくとも1つのビューを構築するように更に構成されている、請求項23に記載のコンピューター可読媒体。少なくとも1つの前記フィルターは、前記カラーデータの統計的ドメインを使用して前記帯域幅削減深度マップの前記帯域幅を復元するように動作可能である、請求項23に記載のコンピューター可読媒体。前記フィルターはRGBZOフィルターである、請求項23に記載のコンピューター可読媒体。前記RGBZOは、第1のドメインとしての前記帯域幅削減深度マップ、第2のドメインとしての前記カラーデータ、及び空間重み付け関数によって提供される2つのラジオシティ重み付け関数を使用する、請求項26に記載のコンピューター可読媒体。前記命令は、前記帯域幅削減深度マップに対して、第1オクターブのアップスケーリングされた深度マップが生成されるまで、1オクターブバイキュービックアップスケーリング及びそれに続くRGBZOフィルターの適用の反復を繰り返し施すように更に構成されている、請求項26に記載のコンピューター可読媒体。前記帯域幅削減深度マップに対して、1オクターブバイキュービックアップスケーリング及びそれに続くRGBZOフィルターの適用の反復を繰り返し施すことは、前記深度マップのエッジ勾配と前記カラーデータのカラーエッジ勾配との差を含む誤差関数を最小化して、前記アップスケーリングされた深度マップの出力を正則化する、請求項28に記載のコンピューター可読媒体。帯域幅削減深度マップを含む少なくとも1つの帯域幅削減画像を受信し復元する受信機であって、帯域幅削減深度マップ及びカラーデータを含む帯域幅削減3D画像を受信し、前記カラーデータの統計的ドメインを使用するフィルターを適用して前記帯域幅削減深度マップの帯域幅を復元するように構成されている、帯域幅削減深度マップを含む少なくとも1つの帯域幅削減画像を受信し復元する受信機。前記帯域幅削減深度マップの帯域幅を復元することは、少なくとも1つのオブジェクト境界を含む前記カラーデータの不連続性を一致させることにより、前記帯域幅削減深度マップにおける不連続性を復元することに基づく、請求項30に記載の受信機。前記復元された深度マップ及び前記カラー画像をワープさせて、立体3Dディスプレイ又は自動立体3Dディスプレイに適した少なくとも1つのビューを構築する、深度画像に基づくレンダリングDIBRモジュールを更に備える、請求項30に記載の受信機。前記フィルターはRGBZOフィルターである、請求項30に記載の受信機。前記RGBZOは、第1のドメインとしての前記深度マップ、第2のドメインとしての前記カラーデータ、及び空間重み付け関数によって提供される2つのラジオシティ重み付け関数を使用する、請求項33に記載の受信機。前記帯域幅削減深度マップに対して、第1オクターブのアップスケーリングされた深度マップが生成されるまで、1オクターブバイキュービックアップスケーリング及びそれに続くRGBZOフィルターの適用の反復を繰り返し施すモジュールを更に含む、請求項33に記載の受信機。前記深度マップに対して、1オクターブバイキュービックアップスケーリング及びそれに続くRGBZOフィルターの適用の反復を繰り返し施すモジュールは、前記深度マップのエッジ勾配と前記カラーデータのカラーエッジ勾配との差を含む誤差関数を最小化して、前記アップスケーリングされた深度マップの出力を正則化する、請求項36に記載の受信機。特定用途向け集積回路ASICを用いて実装されている、請求項30に記載の受信機。3D像を送信し、受信し、レンダリングするシステムであって、少なくとも1つの3D画像から深度マップ及びカラーデータを抽出し、前記深度マップの帯域幅を削減して帯域幅削減深度マップを生成し、前記カラーデータ内に前記帯域幅削減深度マップを挿入して、帯域幅削減3D画像を生成し、前記帯域幅削減3D画像を伝送チャネルに送出する送信機と、前記伝送チャネルから帯域幅削減深度マップ及びカラーデータを含む帯域幅削減3D画像を受信し、前記カラーデータの統計的ドメインを使用するフィルターを適用して前記帯域幅削減深度マップの帯域幅を復元し、ディスプレイ上に復元された前記深度マップ及び前記カラーデータをレンダリングする受信機と、を具備するシステム。前記深度マップの帯域幅を削減することは、前記カラーデータにおける少なくとも1つのオブジェクト境界に対応する少なくとも1つの不連続性を含む、前記深度マップの少なくとも1つの領域を保持することを含む、請求項38に記載のシステム。前記フィルターは、少なくとも1つのオブジェクト境界を含む前記カラーデータの不連続性を一致させることにより、前記帯域幅削減深度マップにおける不連続性を復元するように構成される、請求項38に記載のシステム。前記カラーデータの統計的ドメインを使用して帯域幅削減深度マップの帯域幅を復元するように構成されている、RGBZOフィルター。第1のドメインとしての前記帯域幅削減深度マップ、第2のドメインとしての前記カラーデータ、及び空間重み付け関数によって提供される2つのラジオシティ重み付け関数を使用する、請求項41に記載のRGBZOフィルター。したがって、望ましいがまだ提供されていないものは、限定されないがMPEG2符号化及び復号化を含む既存の伝送チェーンと完全な後方互換性がある、低い増分帯域幅コストで又は増分帯域幅コストなしで立体画像データを伝送するシステム及び方法であって、受信機システムにおいて、送信された立体画像データを高品質に再構築する方法を提供する、システム及び方法である。3次元3D像を送信するように構成されている送信機及びコンピューター実装方法を提供することによって、本技術分野において上述の問題が対処され、技術的解決策が達成される。本方法は、少なくとも1つの3D画像から深度マップすなわちZチャネル及びカラーデータを抽出するステップと、深度マップの帯域幅を削減して、帯域幅削減深度マップを生成する、削減するステップと、カラーデータ内に帯域幅削減深度マップを挿入して、帯域幅削減3D画像を生成する、挿入するステップと、ディスプレイに送り出すために帯域幅削減3D画像を伝送チャネルに送出するステップと、を含む。本明細書において用いるとき、Zチャネルという用語は、画像データの単一チャネルの深度マップを表すものであり、そこでは、データの各画素は、対応するカラー画像の各画素の範囲又は距離を表す。本発明の一実施の形態によれば、前記深度マップの帯域幅を削減することは、前記カラーデータにおける少なくとも1つのオブジェクト境界に対応する少なくとも1つの不連続性を含む、前記深度マップの少なくとも1つの領域を保持することを含む。前記深度マップの帯域幅を削減することは、前記深度マップにおける深度値を表す分布におけるモダリティに関連する深度値を除去することを更に含むことができる。本発明の一実施の形態によれば、本方法は、前記深度マップにおける深度値のヒストグラムを生成することと、前記ヒストグラムに対してモーダル解析を実行することと、により、前記モダリティを特定することを更に含むことができる。本方法は、前記ヒストグラムに対してグレースケールモルフォロジークロージング演算を適用することであって、0.0又は1.0の深度値を除去する、適用することを更に含むことができる。モダリティという用語は、深度値の頻度ヒストグラム等における、値の出現の頻度における主成分を指すように意図されている。こうしたモダリティは、頻度分布複数の場合もあるの大きい極大値によって示される。0.0又は1.0の深度Z値に言及するとき、意図されているものは、正規化された深度マップ又は0.0から1.0の範囲を有する深度マップであり、ここで、0.0は無限大での距離を示し、1.0は任意にカメラに近い点を表し、0.5はカメラシステムの自然収束点を表す。本発明の一実施の形態によれば、本方法は、メディアン画像処理フィルターを用いて前記深度マップをフィルタリングすることを更に含むことができる。前記メディアン画像処理フィルターは5×5メディアンフィルターとすることができる。本発明の一実施の形態によれば、本方法は、前記深度マップに対して空間デシメーション演算を実行することと、前記深度マップに対して可逆的な統計的符号化方法を適用することと、を更に含むことができる。前記深度マップに対して空間デシメーション演算を実行することは、前記深度マップにキュービック削減フィルターを適用することと、繰返しの連続した1オクターブバイキュービック削減を実行することとのうちの少なくとも一方を含むことができる。前記深度マップに対して可逆的な統計的符号化方法を適用することは、前記深度マップを7ビット/画素表現に変換して、ハフマン符号化方式を用いて統計的に符号化することと、前記深度マップに対して算術符号化を適用することと、前記深度マップに対して2次元コードブック符号化方式を適用することと、のうちの少なくとも1つを更に含むことができる。本発明の一実施の形態によれば、前記カラーデータ内に前記帯域幅削減深度マップを挿入することは、前記深度マップを透かしとしてカラーデータに追加することを更に含むことができる。また、3次元3D像を受信する受信機及びコンピューター実装方法を提供することによって、本技術分野において上述の問題が対処され、技術的解決策が達成される。本方法は、帯域幅削減深度マップ及びカラーデータを含む帯域幅削減3D画像を受信するステップと、前記カラーデータの統計的ドメインを使用するフィルターを適用して前記帯域幅削減深度マップの帯域幅を復元する、適用するステップと、を含む。前記フィルターは、少なくとも1つのオブジェクト境界を含む前記カラーデータの不連続性を一致させることにより、前記帯域幅削減深度マップにおける不連続性を復元するように構成される。本方法は、深度画像に基づくレンダリングDIBR法を適用することであって、前記復元された深度マップ及び前記カラー画像をワープさせて、立体3Dディスプレイ又は自動立体3Dディスプレイに適した少なくとも1つのビューを構築する、適用することを更に含むことができる。本発明の一実施の形態によれば、少なくとも1つの前記フィルターはRGBZOフィルターである。前記RGBZOフィルターは、第1のドメインとしての前記帯域幅削減深度マップ、第2のドメインとしての前記カラーデータ、及び空間重み付け関数によって提供される2つのラジオシティ重み付け関数を使用する。本発明の一実施の形態によれば、本方法は、前記帯域幅削減深度マップに対して、第1オクターブのアップスケーリングされた深度マップが生成されるまで、1オクターブバイキュービックアップスケーリング及びそれに続くRGBZOフィルターの適用の反復を繰り返し施すステップを更に含むことができる。前記帯域幅削減深度マップに対して、1オクターブバイキュービックアップスケーリング及びそれに続くRGBZOフィルターの適用の反復を繰り返し施すことは、前記深度マップのエッジ勾配と前記カラーデータのカラーエッジ勾配との差を含む誤差関数を最小化して、前記アップスケーリングされた深度マップの出力を正則化することができる。本発明の一実施の形態によれば、本方法は、前記帯域幅削減深度マップに対して、1オクターブバイキュービックアップスケーリング及びそれに続くRGBZOフィルターの適用の反復を繰り返し施すステップの前に、前記帯域幅削減深度マップに対して可逆復号化方法を適用するステップを更に含むことができる。本発明の一実施の形態によれば、前記方法DIBR法を適用するステップは、前記カラーデータにオプティカルフロー法を適用するステップと、前記カラーに対して動き補償及び画像ワーピングを適用して、動き補償画素のテーブルを生成する、適用するステップと、前記動き補償画素のテーブルから遮られた画素の候補の時間予測及び空間予測のうちの一方を適用するステップと、前記遮られた画素の候補に対して統計的インペインティングstatisticalinpainting手順を適用するステップと、前記統計的インペインティング手順から得られた画素をワープさせ、表示するための画像の左眼ビュー及び右眼ビューを得る、ワープさせるステップと、を更に含むことができる。本方法は、前記深度マップからのディスオクルージョンを分類して、遮られた画素の候補の空間予測に通知する、分類するステップと、前記深度マップにZ平滑化法を適用して、処理済み深度マップを生成する、適用するステップと、を更に含むことができる。前記ワープさせるステップは前記処理済み深度マップによって通知される。本発明の一実施の形態によれば、送信機及び/又は受信機は、特定用途向け集積回路ASICを用いて実装することができる。本発明は、同様の参照数字が同様の要素を指す添付図面に関連して考慮される、以下に提示する例示的な実施形態の詳細な説明からより容易に理解されるであろう。添付図面は、本発明の概念を例示する目的のものであり、比例尺で描かれていない可能性があることが理解されるべきである。本発明は、3次元3D画像を送受信するコンピューター実装画像処理方法及びコンピューター実装画像処理システムに関する。図1は、本発明の一実施形態による例示的な3Dデジタル処理システム100のブロック図を示す。システム100は、コンピューター実装受信機102と、コンピューター実装送信機104と、後述する任意選択的な深度画像に基づくレンダリングDIBRモジュール108と、任意選択的なディスプレイ110とを備えている。システム100は、送信機102及び受信機104に通信可能に接続されているネットワーク104を、含まないが使用している。送信機102は、伝送チェーン101からカラーデータ例えばRGB、YUV等を含む3D立体画像データを受信するか、又は送信機102内で3D立体画像データを生成する。送信機102は、限定されないがMPEG2符号化及び復号化を含む、既存の伝送チェーン101と完全な後方互換性を有しながら、低い増分帯域幅コストで又は増分帯域幅コストなしで3D立体画像データの帯域幅深度情報すなわちZチャネルを削減する。カラーデータ及び帯域幅削減Zチャネルは、送信機102により、通信可能に接続されているネットワーク104を介してコンピューター実装受信機106に送信され、受信機106は、後述する本発明の一実施形態によるフィルターを用いて、カラーデータ及び帯域幅削減Zチャネルから立体画像を再構築する。後述する任意選択的な深度画像に基づくレンダリングDIBRモジュール108は、立体3Dディスプレイ又は自動立体3Dディスプレイ110に適している少なくとも1つのビュー例えば、左眼画像又は右眼画像を構築するように、復元されたZチャネル及びカラーデータをワープさせるように構成されている。深度画像に基づくレンダリングという用語は、画像の入力及び深度マップから新規のビューを作成する技法を指す。本技術分野において多くの深度画像に基づくレンダリング法が既知であり、典型的なプロセスは、入力画像の各画素に対して水平画素オフセットを使用する。オフセットの大きさは、想定された収束点と協働して深度マップ画素値に比例するように計算され、そこでは、所与の深度マップ値たとえば0.5はゼロオフセットを提示するものと想定される。この収束点値を超えるか又は下回る深度値には、それぞれ、左方向への画素オフセット又は右方向への画素オフセットが割り当てられる。本発明の一実施形態によれば、受信機106は、再構築された立体画像を、伝送チェーン101を介して更に返信することができる。コンピューター又はコンピュータープラットフォームという用語は、デスクトップコンピューター、ラップトップコンピューター、メインフレームコンピューター、サーバー、ハンドヘルドデバイス、デジタル信号プロセッサDSP、組込みプロセッサその例を、図2A及び図2Bに関連して後に説明する、又はデータを処理することができる任意の他のデバイス等、任意のデータ処理デバイスを含むように意図されている。通信可能に接続されたという用語は、有線であっても無線であっても、データを通信することができる、任意のタイプの接続を含むように意図されている。通信可能に接続されたという用語は、限定されないが、単一コンピューター内のデバイス及び/又はプログラム間、又はネットワークを介するデバイス及び/又は別個のコンピューター間の接続を含むように意図されている。ネットワークという用語は、限定されないが、OTA伝送システム無線伝送、ATSC、DVB-T、パケット交換網を介するビデオ伝送システムTCP/IP、例えばインターネット、衛星伝送システムマイクロ波、MPEGトランスポートストリーム又はIP、直接放送衛星伝送システム、アナログケーブル伝送システムRF、デジタルビデオ伝送システムATSC、HD-SDI、HDMI、DVI、VGA等を含むように意図されている。送信機102は、例えば、送信機能が組み込まれたカメラ、カメラ送受信機システム、ビデオ符号化機器、ビデオの統計多重化機器スタットマックス、ビデオキャプチャカードを備えたコンピューター、ビデオファイルをスプーリング/ストリーミングするカメラメディアサーバーが取り付けられたコンピューター、ビデオファイルをスプーリング/ストリーミングするPC等、任意の適切なビデオ伝送デバイスを含むことができる。受信機106は、任意選択的にDIBRモジュール108及びディスプレイ110を備えた、任意の適切な3Dビデオ受信デバイスを含むことができる。適切な3Dビデオ受信デバイスは、例えば、PC、タブレット、携帯電話、PDA、ビデオ復号化機器、ビデオ多重分離機器、テレビ、テレビ配信デバイス例えば、AppleTV商標、テレビセットトップボックス及びDVRを含むことができる。Zチャネルデータが、例えばステガノグラフィー法を用いて帯域内にすなわち、送信される3Dカラー画像内に埋め込まれる場合、システム100の幾つかの実施形態は、完全に後方互換性かつ前方互換性の2D及び3Dのビデオ信号方式及び伝送を提供する。ステガノグラフィーという用語は、概して、画像に情報を隠蔽することを指す。伝送システム102の関連では、ステガノグラフィーという用語は、人間の視聴者に見えないか又は明白でないように、Zチャネルをカラー画像データ内に埋め込むか又は隠蔽する手段を指す。更にまた、ディスプレイ110が自動立体ディスプレイである場合、ディスプレイ110で3D像を見るためにメガネは不要である。図2Aは、本発明の一実施形態による例示的な送信機102のブロック図を示す。限定しない例として、送信機102は、1つ若しくは複数のデータ記憶システム111及び/又は1つ若しくは複数の画像取込みデバイス112例えば、1つ若しくは複数のスチールカメラ又はビデオカメラ、シェイプカメラ、LIDAR又はIR写真測量法生成レンジデバイスから、及び/又は既存の伝送チェーン101から、深度マップすなわちZチャネル及びカラーデータを含むデジタル化された3Dビデオ又は3D静止画像まとめて3D画像と呼ぶを受信する。本発明の一実施形態によれば、1つ又は複数の3D画像を、合成して推定し、又は図7に示す例のようにステレオ画像対視差値から計算することができる。任意選択的に、デジタル化されたビデオ又は静止画像を、インターネット等のネットワーク113を介して受信することができる。本発明の一実施形態によれば、送信機システム102は、コンピューティングプラットフォーム116を備えており、デジタルビデオ取込みシステム114もまた任意選択的に備えることができる。デジタルビデオ取込みシステム114は、デジタルビデオのストリームを処理するか、又はアナログビデオをデジタルビデオに変換して、コンピューティングプラットフォーム116が処理することができる形態にする。デジタルビデオ取込みシステム114を、独立型ハードウェアか、又はコンピューティングプラットフォーム116内に直接差し込むことができるファイヤワイヤカード等のカードとすることができる。本発明の一実施形態によれば、画像取込みデバイス112は、無線リンク例えば衛星と地上局との間及びデジタルデータリンク例えば、イーサネット、地上局とコンピューティングプラットフォーム116との間等、異種のデータリンクにより、ビデオ取込みシステム114/コンピューティングプラットフォーム116とインターフェースすることができる。コンピューティングプラットフォーム116は、1つ若しくは複数のプロセッサ120を備えた、パーソナルコンピューター又はワークステーション例えば、Pentium-M1.8GHzPC-104以上を含むことができ、プロセッサ120は、ビデオデータストリーム124によって1つ若しくは複数のプロセッサ120を介して又は直接コンピューター可読媒体126に提供されるバスシステム122を含む。代替的に、コンピューティングプラットフォーム116を、フィールドプログラマブルゲートアレイFPGA又は特定用途向け集積回路ASICに実装されるグラフィック処理ユニットGPU又はデジタル信号プロセッサDSP等、集積回路として実装するか、又はその一部として実装することができる。コンピューター可読媒体126を、Windowsオペレーティングシステム又はLinuxオペレーティングシステム等、任意選択的なオペレーティングシステムを含む、1つ又は複数のプロセッサ120によって実行される送信機システム102の命令を格納するために使用することもできる。コンピューター可読媒体126を、1つ又は複数のデータベースにおいて本発明のビデオクリップを格納し取出すために更に使用することができる。コンピューター可読媒体126は、RAMメモリ等の揮発性メモリと、フラッシュメモリ、光ディスク複数の場合もある及び/又はハードディスク複数の場合もある等の不揮発性メモリとの組合せを含むことができる。処理されたビデオデータストリーム128の一部を、インターネット等のネットワーク104に及び/又は伝送チェーン101に後に出力するために、コンピューター可読媒体126に一時的に格納することができる。図2Bは、本発明の一実施形態による例示的な3D受信機106のブロック図である。限定しない例として、受信機106は、インターネット等のネットワーク104を介して送信機から、及び/又は既存の伝送チェーン101から、カラーデータ及び帯域幅削減Zチャネルを含むデジタル化され処理された3Dビデオ又は3D静止画像まとめて帯域幅削減3D画像と呼ぶを受信する。受信機106は、コンピューティングプラットフォーム216を備えることもできる。コンピューティングプラットフォーム216は、1つ若しくは複数のプロセッサ220を備えた、パーソナルコンピューター又はワークステーション例えば、Pentium-M1.8GHzPC-104以上を含むことができ、プロセッサ220は、ビデオデータストリーム224によって1つ若しくは複数のプロセッサ220を介して又は直接コンピューター可読媒体226に提供されるバスシステム222を含む。代替的に、コンピューティングプラットフォーム216を、FPGA又はASICに実装されるグラフィック処理ユニットGPU又はデジタル信号プロセッサDSP等、集積回路として実装するか、又はその一部として実装することができる。コンピューター可読媒体226を、Windowsオペレーティングシステム又はLinuxオペレーティングシステム等、任意選択的なオペレーティングシステムを含む、1つ又は複数のプロセッサ220によって実行される受信機106の命令を格納するために使用することもできる。コンピューター可読媒体226を、1つ又は複数のデータベースにおいて本発明の処理されたビデオを格納し取出すために更に使用することができる。コンピューター可読媒体226は、RAMメモリ等の揮発性メモリと、フラッシュメモリ、光ディスク複数の場合もある及び/又はハードディスク複数の場合もある等の不揮発性メモリとの組合せを含むことができる。復元された3D画像を表示するように構成されたモニター230に後に出力するために、復元された深度マップすなわち復元されたZチャネル及びカラーデータを含む、処理されたビデオデータストリーム228まとめて復元された3D画像と呼ぶの一部を、コンピューター可読媒体226に一時的に格納することができる。任意選択的に、モニター230に、キーボード232及び/又はマウス234、又は分析者若しくは視聴者が関心のあるオブジェクトを選択するための他の同様の周辺デバイス複数の場合もある例えば、受信機106への入力パラメーターの制御を可能にするユーザーインターフェース要素を備えることができる。代替的に、復元された3D画像を、伝送チェーン101に渡すことができる。本発明の実施形態は、深度情報を経済的に送信するために、ステレオ像又はマルチビュー像に関連する深度マップを使用することにより、従来技術の問題を解決することに関する。本出願の説明の範囲外である、ステレオ像又はマルチビュー像から深度マップを生成する種々の方法があるが、ImprovedRealTimeStereoonCommodityGraphicsHardwareProceedingsofthe2004ConferenceonComputerVisionandPatternRecognitionWorkshopCVPRW04Volume3,2004と題するYang他による記事における教示、及びRealtimeSystemforHighImageResolutionDisparityEstimationIEEETransImageProcess,2007Jan162805と題するDiaz他による記事における教示は、有益であり、引用することによりその全体が本明細書の一部をなすものとする。深度マップは、適切な符号化プロセスによって有利に使用することができる特有の統計的特性を有している。WoodsAndrewJ他編、StereoscopicDisplaysandVirtualRealitySystemsXIIIProceedingsoftheSPIE,Volume6055、pp177~1882006におけるPlateletbasedcodingofdepthmapsforthetransmissionofmultiviewimagesと題するMorvan他による記事には、統計的特性がより詳細に探究されている。例示的な統計的特性は、区分線形特性に向かう極めて強い傾向を含む。言い換えれば、深度画像は、カラー画像におけるオブジェクト境界と一致する鮮鋭な不連続性によって境界が画される漸次的な線形変化の大きい領域を含む。本発明の一実施形態によれば、これらの特性を知ることにより、送信機102は、およそ500~1で深度マップすなわちZチャネルの帯域幅を削減するように構成されている。さらに、受信機106は、本発明の一実施形態によれば、表示するために復元された3D画像を生成するように構成されている。これにより、深度画像に基づくレンダリング法は、立体ディスプレイ又はマルチビュー自動立体ディスプレイのために高品質で1つ又は複数のビューを合成することになる。本発明の実施形態によって設計されたシステムの特定の利点は、結果としての帯域幅の削減が達成され、それにより、MPEG2等のコーデックによる積極的なaggressive低ビットレート圧縮に直面しても、ビュー画像自体のRGBデータ内に深度データすなわちZチャネルデータをロバストに埋め込むために、粗なデジタル透かし方法を使用することができる、ということである。本発明の実施形態の主な目的は、Zチャネルを、RGB品質に影響を与えることなくRGBデータ内の帯域内のデジタル透かしを介して送信することができる程度まで、Zチャネルの帯域幅を削減することである。さらに、Zチャネルの帯域幅を適切に大きく削減することにより、帯域内伝送の問題が、MPEG2又はH.264に比較して、RGBデータの知覚符号化に帰するようになる。これにより主な問題が解決され、すなわち、伝送方法及びビットストリームからZチャネルを分離することにより、既存の放送及び伝送チェーンとの完全な後方互換性が達成される。これは、Zチャネルの伝送帯域幅全体の大幅な削減によってのみ可能である。当業者には、補足的な音声チャネルデータ等、Zチャネルデータの帯域内伝送及び帯域外伝送の他の方法を使用することができることが理解されよう。図3Aは、本発明の一実施形態によるRGBZすなわちカラーZチャネル変換及び伝送方法の例示的なステップを示すブロック図を示す。図3Bは、図3Aのステップ/ブロックを更に詳細に提示する。図3A及び図3Bに示すステップの場合、図2A及び図2Bにおいて上述し図8において更に例示するように、RGBデータ及びZチャネルデータは、送信機102及び/又は受信機106に対する入力であると想定される。ここで図3A及び図3Bを参照すると、ステップ302において、Zチャネルデータに対して前処理ステップが実行される。好ましい実施形態では、前処理ステップ302は、深度値のヒストグラムが生成されるサブステップ302aと、0.0又は1.0の深度Z値を包囲する分布において著しいモダリティがあるか否かを特定する、生成されたヒストグラムのモード解析が実行されるサブステップ302bとを含む。サブステップ302bが、こうしたモダリティが存在することを示す場合、サブステップ302cにおいて、既知のグレイスケールモルフォロジークロージング演算を実行して、0.0及び1.0の固定の外れ値が除去されるそうでない場合、本方法は、後のステップ302dに移る。サブステップ302dにおいて、フィルタリングされたデータは、メディアン画像処理フィルターによって1回又は連続して複数回処理され、それは、例えば2回から3回反復する5×5メディアンフィルターの実行であり得る。図9に、処理された深度マップの一例を示す。前処理サブステップ302a~302dは、IR写真測量法及び視差推定深度マップにおいて共通する数値特異点及びオクルージョン/ディスオクルージョンdisocclusionアーチファクトに関連する、雑音及び外れ値を除去する。有利には、前処理ステップ302は、有用なレンジ/深度データを破壊することなく、区分線形性推定により完全に一致するようにZチャネルを変更する。ステップ304において、Zチャネルステップ302に対して空間デシメーション演算が実行される。本発明の一実施形態によれば、ステップ304を、キュービック削減フィルターの適用等、単一ステップで実施することができる。本発明の別の実施形態によれば、好ましいが僅かによりコストのかかる演算は、より多くの中間スケールの詳細を、すなわちサブステップ304e~304hにおいて保持して、繰返しの連続した1オクターブバイキュービック削減を実行する例えば4回の削減を行い、それによりZチャネルに関連するデータが1/256に削減される。図10は、こうしたデシメートされたZチャネルを示す。当業者は、Zチャネルの帯域幅が徹底的に削減されたが、微細構造情報の全て又は一部も削減され、すなわち、最も重要なことには、オブジェクトのエッジの配置及び向きが失われたことを理解するであろう。本発明の実施形態の主な目的は、受信端でこの情報を復元することである。ステップ306において、ダイナミックレンジの更なる縮小とそれに続く可逆的な統計的符号化方法とにより、データセットを更に削減することができる。1つの好ましい実施形態では、Zチャネルは、7ビット/画素表現に変換され、ハフマン方式で統計的に符号化される。全体的なデータ削減率は、典型的なZチャネルビデオ系列に対して500対1に近づく。本発明の他の実施形態によれば、ステップ306における可逆的方法の適用としては、限定されないが、算術符号化等の他の統計的符号化方式及び2次元コードブック方式を挙げることができる。1つの好ましい実施形態によれば、時間予測、及びデシメートされたダイナミックレンジ削減ZチャネルデータのDCTドメイン量子化により、更なる削減が可能である。ステップ308において、削減したZチャネルデータを、透かしとしてRGBデータにステガノグラフィーにより追加することができる。Zチャネルデータを元のRGBのおよそ1/500である帯域幅を有する表現に変換することにより、この時点で、Zチャネルデータをデジタル透かしとしてRGBデータ内で送信するために、標準的なすかし技法を使用することができる。こうした標準的な透かし技法は、MPEG2等の低ビットレート知覚符号化に対して非常にロバストであり得る。好ましい実施形態は、第4オクターブZ値の関連する16×16RGBブロックのクロミナンス内で、所与のデシメートされた深度マップ値の7ビットの各々を符号化する。当業者により、幾つかの条件が満たされる限り非常にロバストである多くの既存の透かし埋込み方法を使用することができ、すなわち、透かしデータ自体の帯域幅が、キャリアデータより大幅に小さい帯域幅であり、そうでなければ、キャリアデータは目に見えるように影響を受けることが理解されよう。さらに、キャリアに対する透かしペイロードの帯域幅が高いことにより、知覚符号化、クロッピング、スケーリング及び色域再マッピング等、ダウンストリーム変換が適用される場合、透かしが喪失する可能性がある。本発明の実施形態は、任意の現行の透かし方法をうまく使用することができるように、Zチャネルデータを十分な削減で処理することを対象とする。ステップ310において、次いで、透かしデータが埋め込まれた基準ビデオ又は画像のRGBデータが、伝送チェーンの残りを通して伝送することができる通常のRGB画像信号又はRGBビデオ信号として処理される。当業者は、受信機において、デシメートされたZチャネル等の送信された帯域内透かし入りRGBデータ信号を、或る種の復元なしに直接利用することは、問題があることを理解するであろう。深度画像に基づくレンダリングのフレームワークにおいてこうしたZチャネルを深度マップとして直接利用することにより、図13に示すように著しいアーチファクトがもたらされる可能性がある。合成されたビューにおいて著しいブロッキングアーチファクトが目に見える。復元の1つの方法は、例えば、JavidiBahram;OkanoFumio編ThreeDimensionalTVVideoandDisplayIIIProceedingsoftheSPIE、Volume5599、pp173~1832004においてNonUniformSmoothingofDepthMapsBeforeImageBasedRenderingと題されたTam他による記事に記載されている技法等、任意の適切な技法に従ってアップスケーリングした後、単純に、デシメートされたZチャネルを水平軸に沿って優先的に平滑化することができる。この手法の結果を図14に示し、それは、前景オブジェクトの著しい幾何学的歪みが目に見えることを示している。これらの歪みは、主にZチャネルデータが実際のオブジェクトの境界を横切るときにもたらされる。実際には、ブロッキングアーチファクトを完全に除去するために十分な平滑化が適用される場合、ZチャネルとRGBチャネルとの間の全ての空間的コヒーレンスが失われ、深刻な幾何学的歪みがもたらされる。この種の左眼ビューと右眼ビューとの間の幾何学的視差及び形状の食違いは、BJavidi他編ThreeDimensionalImagingVisualizationandDisplaySpringerVerlag、NewYork、2008pp417~466においてWorkingTowardsDevelopingHumanHarmonicStreoscopicSystemsと題する、Emoto他による記事において教示されているように、視聴者に深刻な苦痛をもたらすことが分かっている。深度マップの特有の空間特性、すなわち区分線形性に向かう傾向を想起すると、元の深度マップの鮮鋭な境界は、図3A及び図3Bに関連して上述した実施形態に従って送信された、対応するRGB画像のオブジェクト境界に強く相関することを観察することができる。本発明の一実施形態によれば、Zチャネルの元のエッジ不連続性を保存しかつ再現しながら、2ドメインバイラテラルフィルターRGBZOで示され後により詳細に説明する及びそれに続く1オクターブアップスケーリングを、オブジェクト内のZ勾配を平滑化するために透かし入りRGB信号に繰返し適用することができる。図4は、本発明の実施形態による、立体ディスプレイ用の受信及び変換方法の例示的なステップを示すブロックであり、図5は、本発明の実施形態による、マルチビュー自動立体ディスプレイ用に変更された図4の方法を示す。ここで図4及び図5を参照すると、伝送チャネルの受信端において、ステップ402において、デシメートされたZチャネル透かしが、受信されたRGBデータからステガノグラフィーによって抽出される。ステップ404において、抽出されたZ透かしに対して、可逆復号化方法が施される。ステップ406において、復号化されたZチャネルデータに対して、Zチャネルデータを処理するためにRGBデータの統計的ドメインを使用する2係数5シグマ/バイラテラルフィルターが施される。ステップ408、410において、Zチャネルデータに対して、連続した順番の1オクターブバイキュービックアップスケーリング及びそれに続くRGBZO演算の実行が、1回のRGBZO演算が第1オクターブのアップスケーリングされたZチャネルに対して実行されるまで繰り返し施される。最後のRGBZOの出力は、復元されたZチャネルを構成し、それに対して、抽出されたRGBデータとともに、深度画像に基づくレンダリングDIBR法412が施され、それにより、復元されたZチャネルデータは、立体3Dディスプレイ図4又は自動立体3Dディスプレイ図5に適している1つ又は複数の追加のビューを構築するように、現RGB画像をワープさせるために使用される。本発明のRGBZOバイラテラルフィルターは、幾つかの著しい点で従来技術によるバイラテラルフィルターとは異なる。以下の式1及び式2に定義されているような通常のバイラテラルフィルターは、レンジを構成する空間距離と、重み付けを促進する解析対象の画像内のドメインを構成するラジオシティ距離とによって、適応的にフィルター重みを計算する。より詳細には、入力画像Z、出力画像Z’及びサポートウィンドウwindowofsupport:近傍領域Ωに対して、典型的なバイラテラルフィルターは、式1において以下のように定義される。式中、gはガウス空間重み関数であり、rはラジオシティ重み関数である。ラジオシティに対する典型的な値としては、構成画素サンプルの輝度又は強度が挙げられる。系の入力は、通常、式2及び式3のようにg関数及びr関数を変更する定数係数σg及びσrによって提供される。Zドメインに対するラジオシティ関数rは、上記式3によって定義される。式2は、関数gにおける空間重み付けを定義する。ラジオシティ重み付けは、以下の式4~式7とその付随する説明とによって定義される。係数σg及びσrの値が小さいほど、空間重み付け寄与及びラジオシティ重み付け寄与の局所性及び類似性がそれぞれ増大する。ラジオシティ関数rの指数の分母におけるL2距離尺度すなわち、ユークリッド距離は、エッジ及び境界局所性を十分に識別するのに輝度又は強度のみで十分である画像に適している。好ましい実施形態では、式4における関数dとして、RGBデータの第2の入力により、第2の画像ラジオシティ領域が提供される。式中、新たな第2ドメインラジオシティ関数dは、以下の式5によって定義され、関数dは、単に輝度差ではなく、HSV色空間における色差尺度を測定する。まず、式6におけるようにRGBカラー値から色相値HSV空間におけるようにが計算される。関数δは、式7におけるように定義される。係数σg及びσrと同様に、新たな係数σdは、RGBデータに対する類似性の局所性の尺度に影響を与える。ラジオシティ重み付けは、Zチャネルのみではなく、RGBチャネルによっても同様に提供される。この結合され、計算されたラジオシティ重み付けは、その後、Zチャネル出力に適用される。このタイプのフィルタリング演算の繰り返される反復には、アップスケーリングされたZチャネルの出力を正則化するという効果があり、Zチャネルのエッジ勾配とRGBチャネルのカラーエッジ勾配との差を含む誤差汎関数を最小化する。RGBチャネル及びZチャネルの両方が0.0から1.0の範囲であると想定すると、こうしたRGBZOフィルターの例示的なパラメーターのセットは以下のようになる。本発明の一実施形態によれば、このZチャネルを復元するための正則化ステップを、第4オクターブから第1オクターブまでの単一アップスケーリングステップにより、最大解像度Zチャネルに対するRGBZO演算を繰返し反復して、実行することができる。これを、収束までの繰返し反復による勾配降下演算として考えることができる。本発明の一実施形態によれば、図4及び図5において上述したように1回のRGBZO演算が第1オクターブのアップスケーリングされたZチャネルに対して実行されるまで、連続した順序の1オクターブバイキュービックアップスケーリング及びそれに続くRGBZO演算の実行を行うことにより、同じ品質の結果をはるかに低い複雑性で達成することができる。この方法の適用の結果を図12に見ることができ、そこでは、Zチャネルは、上述した方法によって復元されている。明らかに、Zチャネルは、このとき空間的に相関されており、伝送時にデシメーションプロセスにおいて喪失した著しい量の情報が復元されている。本発明の一実施形態によれば、上述したプロセスにより完全な復元がもたらされない結合された送信方法及び受信方法を非可逆圧縮の方法になぞらえることができる場合、再生されたZチャネルデータは、元のZチャネルデータを用いる再構築と大きく見分けがつかないことを平均観察者スコアが示唆する、立体再構築をもたらす。図15は、こうした例示的な復元を示す。当業者には、本発明の方法の実施形態によれば、深度マップの任意の推定を、より低い解像度で実行し、伝送チェーン101の任意の箇所において受信機106の図4に示すステップによって処理することができるか、又は図4において教示した受信機104の方法を利用して、相関するRGB画像が与えられると、より低い解像度及びより低い精度の深度マップから、非常に空間的に相関した、オブジェクトコヒーレントな最大解像度深度マップを生成することができることが理解されよう。これにより、深度マップの粗い近似値を、それらの最終的な供給源を問わず、計算し使用することができる。別の好ましい実施形態の一例は、BJavidi他編ThreeDimensionalImagingVisualizationandDisplaySpringerVerlag、NewYork、2008pp153~182においてDepthMapGenerationfor3DTVImportanceofEdgeandBoundaryInformationと題するTam他による記事に教示されているもののような低複雑性方法を使用して、受信機において低解像度で動き又はぼけ等の他のキューから深度を推定し、図4の本方法を用いて、こうした深度マップを深度画像に基づくレンダリングに対して利用する前に処理する。深度マップとして使用するために適切に復元されたZチャネルを入手すると、残るものは、Zチャネルを使用して、ディスプレイによって必要とされる数の合成ビューを生成することである。立体ディスプレイの場合、2つのビューが必要である。本発明の実施形態による例示的なDIBR法を図6に示す。任意のDIBR法が扱う必要がある主な問題はオクルージョンである。前景オブジェクトが左に又は右に変位する場合、こうした変位により、明確な置換がない背景画素データが現れる可能性がある。遮られたデータを、空間的に、時間的に、又は両方の組合せにより予測する必要がある。引用することによりその全体が本明細書の一部をなすものとする、2009年9月8日に出願されたSystemandMethodforDeterminationofOpticalFlowという発明の名称の同時係属中の米国特許出願第12/555,472号において教示されているもののような正確なオプティカルフロー方法ブロック602により、遮られた画素に充填するためのあり得る動き補償候補ブロック606を含む、各画素に対する確率テーブルを、動き補償画像ワーピングブロック604を介して形成することができる。さらに、適切な時間予測ブロック610が利用可能でない場合、統計的インペインティングとして知られる種類の予測アルゴリズムを利用する空間予測ブロック608を使用することができる。インペインティングという用語は、画像及びビデオの喪失したか又は劣化した部分を再構築するプロセスを指す。しかしながら、第3の選択肢は、深度マップ自体を空間的にぼかすことブロック612であり、それには、こうしたディスオクルージョンを覆う前景オブジェクトを幾何学的に歪ませる効果がある。実際には、例示的なDIBR法は、画像幅の1未満の程度の低いオクルージョンに対して幾何学的歪みを使用し、時間予測確率テーブルの利用可能性及び信頼性尺度に基づいて、時間予測及び空間予測から選択する。これを行うために、中間段階は、ディスオクルージョン正:disocclusionsを、Zチャネル自体におけるデータマニフェストに基づいて4つのカテゴリー、すなわち左変位、右変位、完全Z後方変位、完全Z前方変位のうちの1つに分類しようと試みるブロック614。さらに、ディスオクルージョンの水平方向の広がりが推定される。水平方向の広がりを用いて、深度マップの局所的な指向性のぼけが、著しい幾何学的歪みアーチファクトなしにディスオクルージョンを覆うか否かが判断される。そうでなければ、時間予測候補の存在が第2の選択肢であり、時間予測候補が利用可能でない場合、ディスオクルージョンタイプの分類ブロック614を用いて、インペイント手順によって使用される空間予測に対し、補間時にいずれの方向複数の場合もあるを使用するべきかに関して通知される。ブロック618及び620において、ブロック608、610及び612において前に得られたインペイント候補混合体ブロック616に基づいて、画像ワーピングによって左眼ビュー及び右眼ビューを得ることができる。図6に示すもののようなDIBR法を使用する利益は、事前設定されたか又はユーザーが提供したパラメーターによって可変のディスプレイサイズに適応することができるということである。例示的なシステムでは、仮想ビューの両方を、2つの仮想カメラによってシミュレートすることができる。3つのユーザー入力パラメーター、すなわち、シミュレートされた軸間距離、各仮想カメラに対するシミュレートされた焦点距離及びシミュレートされた収束点を指定することができる。図6の例示的なDIBR法は、右眼ビューとともに左眼ビューを再生するが、当業者により、左眼ビューとして元のRGBを利用し、両ビューに対する0.5×焦点距離及び-0.5×焦点距離の代りに、1×焦点距離で右眼ビューのみを合成することにより、効率的使用を達成することができることが理解されよう。図4と同様に、図5は、8ビュー自動立体出力ブロック412を生成するために使用される同じ例示的なDIBR法を用いる、同じ好ましい実施形態を示す。例示的な実施形態は、単に本発明を例示するものであるということ、及び当業者により、本発明の範囲から逸脱することなく、上述した実施形態の多くの変形を考案することができるということが理解されるべきである。したがって、こうした変形の全てが、添付の特許請求の範囲及びそれらの均等物の範囲に含まれることが意図されている。"