(57)【要約】      （修正有）【課題】複数のカメラで捕捉された複数のビューを有するマルチ・ビュー・ビデオに透かしを埋め込む方法。【解決手段】ビュー毎に、中間合成ビューに対し、かつ、上記複数のビューに対して上記ビュー（Ｉ）を、不変領域に投影し、不変ベクトル（ｉ）を得る工程と、上記不変ベクトル（ｉ）に透かし入れアルゴリズムを適用し、透かし入り不変ベクトル（ｉｗ）を得る工程と、上記透かしを入れたビュー（Ｉｗ）を得るよう上記ビュー（I）を修正する工程であって、上記不変の領域に投影されると、透かし入り不変ベクトル（ｉｗ）を得る工程とを含む。複数のビューに対する不変領域に対して、レンダリングされたビューを投影し、不変のレンダリングされたベクトルを得る工程と、透かしの存在を評価するために、透かし検出アルゴリズムを、不変のレンダリングされたベクトルに適用する工程とを含む、レンダリングされたビューにおいて透かしを検出する方法にも関する。【選択図】図５
2012054933.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで捕捉された複数のビューを有するマルチ・ビュー・ビデオに透かしを埋め込む方法であって、ビュー毎に、
ｉ）前記カメラの光軸が平行であり、
ｉｉ）光軸が、カメラ全ての光心を通って進む線に対して直交であり、
ｉｉｉ）カメラは全て、同じ焦点距離を共有し、
ｉＶ）前記カメラ間に回転が存在していない
という条件で、前記ビュー（Ｉ）を、中間合成ビューに対し、かつ、前記複数のビューに対して不変の領域に投影し、不変ベクトル（ｉ）をもたらす工程（Ｅ１）であって、前記不変の領域は、前記カメラの光心を通って進む線に平行の何れかの線に沿って複数のサンプル値を含み、平行線はビュー不変寸法と呼ばれる工程と、
前記不変ベクトル（ｉ）に透かし入れアルゴリズムを適用し、透かしを入れた不変ベクトル（ｉｗ）をもたらす工程（Ｅ２）と、
前記不変ベクトル（ｉ）を、前記透かしを入れた不変ベクトル（ｉｗ）から減算し、前記不変透かしベクトル（ｗ）を得る工程（Ｅ３）と、
前記ビュー不変寸法にわたって前記不変透かしベクトル（ｗ）を分布させ、透かし信号（Ｗ）をもたらす工程（Ｅ４）と、
前記透かし信号（Ｗ）を前記ビュー（Ｉ）とマージして、透かしを入れたビュー（Ｉｗ）をもたらす工程（Ｅ５）とを含む方法。
【請求項２】
請求項１記載の方法であって、投影する工程は更に、前記ビューの前記不変寸法に沿ってサンプル値を合計する工程を含む方法。
【請求項３】
請求項１又は２に記載の方法であって、前記ビュー（Ｉ）を投影する工程は更に、前記不変ベクトル（ｉ）を、前記透かしアルゴリズムが適用される不変ベクトル（ｒ）の空間周波数表現に変換する最後の工程を含む方法。
【請求項４】
請求項３記載の方法であって、前記不変ベクトル透かし（ｗ）を分布させる工程（Ｅ１５）は更に、
前記不変透かしベクトルの空間周波数表現を不変透かしベクトル（ｗ）にもう一度変換する第１の工程（Ｅ１４）を含む方法。
【請求項５】
請求項１又は２に記載の方法であって、前記ビュー（Ｉ）を投影する工程は更に、前記ビューの空間周波数表現に前記ビュー（Ｉ）を変換する第１の工程を含む方法。
【請求項６】
請求項５記載の方法であって、前記不変透かしベクトル（ｗ）を分布させる工程（Ｅ４）は更に、
透かし（Ｗ）の空間表現に透かしの空間周波数表現をもう一度変換する最後の工程を含む方法。
【請求項７】
請求項５又は６に記載の方法であって、前記ビューの空間周波数表現に前記ビューを変換する工程は、前記ビューの各列に適用される１Ｄウェーブレット変換を適用する工程を含む方法。
【請求項８】
複数のカメラで捕捉された複数のビューを有するマルチ・ビュー・ビデオに透かしを埋め込む方法であって、ビュー毎に、
ｉ）前記カメラの光軸が平行であり、
ｉｉ）光軸が、カメラ全ての光心を通って進む線に対して直交であり、
ｉｉｉ）カメラは全て、同じ焦点距離を共有し、
ｉＶ）前記カメラ間に回転が存在していない
という条件で、中間合成ビューに対し、かつ、前記複数のビューに対して不変の領域において不変透かしベクトル（ｗ）を生成する工程であって、前記不変の領域は、前記カメラの光心を通って進む線に平行の何れかの線に沿って複数のサンプル値を含み、前記平行線はビュー不変寸法と呼ばれる工程と、
前記ビュー不変寸法にわたって前記不変透かしベクトル（ｗ）を分布させ、透かし信号（Ｗ）をもたらす工程（Ｅ４）と、
前記透かし信号（Ｗ）をビュー（Ｉ）とマージして、透かしを入れたビュー（Ｉｗ）をもたらす工程（Ｅ５）とを含む方法。
【請求項９】
請求項１乃至８の何れか一項に記載の方法であって、前記不変透かしベクトル（ｗ）を分布させる工程（Ｅ４、Ｅ１５）は、前記ビュー不変寸法において前記不変透かしベクトル（ｗ）の複製を含む方法。
【請求項１０】
請求項１乃至８の何れか一項に記載の方法であって、前記透かし信号をマージする工程（Ｅ５、Ｅ１６）は、前記透かし信号（Ｗ）を前記ビュー（Ｉ）に加算する工程を含む方法。
【請求項１１】
請求項１乃至８の何れか一項に記載の方法であって、前記透かし信号をマージする工程（Ｅ５、Ｅ１６）は、前記ビュー（Ｉ）から得られた知覚マスク（Ｍ）により、前記透かし信号（Ｗ）をマスキングする工程を含む方法。
【請求項１２】
複数のカメラで捕捉された複数のビューから選択された、又は合成されたレンダリングされたビューを有するマルチ・ビュー・ビデオにおいて透かしを検出する方法であって、
前記レンダリングされたビューについて、
ｉ）前記カメラの光軸が平行であり、
ｉｉ）光軸が、カメラ全ての光心を通って進む線に対して直交であり、
ｉｉｉ）カメラは全て、同じ焦点距離を共有し、
ｉｖ）前記カメラ間に回転が存在していない
という条件で、中間合成ビューに対し、かつ、前記複数のビューに対して不変の領域に対して、前記レンダリングされたビューを投影する工程（Ｄ１）であって、前記不変の領域は、前記カメラの光心を通って進む線に平行の何れかの線に沿って複数のサンプル値を含み、前記平行線はビュー不変寸法と呼ばれる工程と、
透かしの存在を評価するために、透かし検出アルゴリズムを不変のレンダリングされたベクトル（ｉ’ｗ）に適用する工程（Ｄ２）と
を含む方法。
【請求項１３】
請求項１２記載の方法であって、レンダリングされたビュー（Ｉ’ｗ）を投影する工程は更に、前記不変のレンダリングされたベクトル（ｉ’ｗ）を、前記不変のレンダリングされたベクトルの空間周波数表現に変換する最後の工程を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はフリー・ビュー・ビデオの透かし入れに関する。特に、本発明はマルチ・ビュー・ビデオにおける透かし埋込みの方法、及びフリー・ビュー・ビデオにおける透かし検出の関連した方法に関する。
【背景技術】
【０００２】
フリー・ビュー・テレビジョンは、別々のカメラによって捕捉された、同じシーンのいくつかのビューを送信することを含む。ユーザは、自由に、シーンの送信ビューの何れかを表示し、又は、送信ビューからの中間ビューを合成する。これは、仮想カメラのビューに対応する。したがって、実ビューは受信側で、いわゆる合成ビュー又は仮想ビューによって完成される。ユーザは、仮想カメラの角度及び視聴位置を自由に選択する。
【０００３】
更に、３Ｄテレビジョンは、マルチ・ビュー・ビデオにも依存する。ステレオ３Ｄでは、右ビュー及び左ビューが表示されるので、ユーザは３Ｄ画像を楽しむ。右ビュー又は左ビューに対するベースライン補正が、ユーザ環境に応じて必要である。例えば、これは、表示の寸法、座っている位置との間の距離に依存する。この場合、左仮想ビュー又は右仮想ビューが合成される。
【０００４】
標準のＴＶの場合、著作権保護が依然として、フリー・ビュー・ビデオにおける関心事となっている。多くの代替的な著作権管理システムの中でも、透かしを入れる手法は、画像内に隠された知覚できない情報を埋め込む。前述の情報は、不正コピーのソースを識別するためにフォレンジックスにおいて使用される。しかし、マルチ・ビュー・ビデオにおける透かし埋込み及び透かし検出は、モノ・ビュー・ビデオにおける場合よりも複雑である。実際に、透かしは、ＴＶ受像機によって表示される何れかの実ビュー上又は仮想ビュー上で検出可能でなければならない。したがって、透かしは、何れかの実ビュー又は仮想ビューにおいて正しくみえるように各ビューにおいてコヒーレントなやり方で埋め込む必要がある。
【０００５】
主たる課題が、任意のカメラについてレンダリングされる仮想ビューにおける既知の透かし検出手法を可能にするコヒーレント透かし埋込みとして出てきている。
【０００６】
Ａ．Ｋｏｚ、Ｃ．Ｃｉｇｌａ、及びＡｌａｔａｎは、「Ｗａｔｅｒｍａｒｋｉｎｇ  ｏｆ  ｆｒｅｅ−ｖｉｅｗ  ｖｉｄｅｏ  （ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ，  ｖｏｌｕｍｅ  １９，  ｐａｇｅ  １７８５−１７９７，  Ｊｕｌｙ  ２０１０）」において、人間の視覚系の空間マスキング特性を駆使することにより、透かしをマルチビューに埋め込む手法を開示しており、仮想カメラの位置及び回転を駆使することにより、透かしを検出する方法も開示している。しかし、透かし検出の方法は、元のビュー、及びカメラのパラメータの少なくとも一方を必要とする。これは、常に入手可能な訳でない。カメラ・パラメータは、分からない場合、合成されたビューのカメラ位置及び向きを推定するために、元のビュー、及び対応する深度マップ情報とともに使用することを開示している。上記手法は、推定されたパラメータに関して元のビデオを変換する工程と、それを合成ビューから減算する工程とを含む。結果として生じる信号と透かし信号との間の相関は、透かし検出において、より良好な性能をもたらす。しかし、カメラ・パラメータの推定は重い処理を必要とし、前述の透かし検出は複雑であり、時間がかかる。更に、検出性能は、カメラ・パラメータ推定に影響を受けやすい。
【０００７】
よって、フリー・ビュー・ビデオにおける透かし検出の既知の方法は、既知並びに未知のカメラの位置及び向きについて、レンダリングされたビューの検出という課題をもたらす。その結果は、透かしの検出を向上させるコヒーレントな透かし埋込みという課題がもたらされる。従来技術では、前述の課題は、元のビューのうちの１つを使用して解決される。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
したがって、何れのレンダリングされたビュー（実ビュ―又は仮想ビュー）においても盲目的検出を可能にするマルチ・ビュー・ビデオにおける透かしの埋込みの方法が必要である。
【課題を解決するための手段】
【０００９】
本発明の目的は、検出における実ビューの何れも、カメラ・パラメータも必要としない埋込み手法を提案することにより、従来技術の欠点の少なくとも１つを解消することである。本発明の考えは、実ビューであっても仮想ビューであっても、同じシーンの別々のビューに対して不変の領域を求め、透かしをこの領域において適用することである。不変領域が、カメラの種々の場所及び向きについて提案されている。
【００１０】
この目的で、本発明は、複数のカメラで捕捉された複数のビューを含むマルチ・ビュー・ビデオにおける透かし埋込みの方法に関する。上記方法は、ビュー毎に、カメラの固有のパラメータ、向き、及び位置に応じて、中間合成ビューに対し、かつ、複数のビューに対して不変の領域にビューを投影し、不変ベクトルをもたらす工程と、透かし入れアルゴリズムを不変ベクトルに適用し、透かしを入れた不変ベクトルをもたらす工程と、透かしを入れたビューを得るようビューを修正する工程とを含み、透かしを入れたビューは、不変領域に投影されると、透かしを入れた不変ベクトルになる。よって、各ビューが同じ不変ベクトルに投影されるので、レンダリングされたビデオと、元のビデオとの間のアラインメントはもう必要でない。本発明は効果的には、任意のレンダリングされたビューにおける盲目的検出によく適している。更に、埋込み処理及び検出処理は、既知の手法に対して簡単であり、高速である。最後に、本発明は、マルチビュー透かし入れの課題が、単一ベクトル透かし入れになる。よって、既知の透かしアルゴリズムは効果的には、不変ベクトル透かし入れに該当する。
【００１１】
本発明の特定の効果的な特性によれば、透かしを入れたビューにビューを修正する工程は、透かしを入れた不変ベクトルから不変ベクトルを減算し、不変透かしベクトルを得る工程と、ビュー不変寸法に沿って不変透かしベクトルを分布させ、透かし信号をもたらす工程と、透かし信号をビューとマージし、透かしを入れたビューをもたらす工程とを更に含む。実際に、透かしを入れたビューを得るようビューを修正する工程は、不変領域における投影の逆関数の課題をもたらす。本発明の前述の特性は、透かしを入れた不変ベクトルをビューに投影し戻すための解決策を提案している。
【００１２】
第１の好ましい実施例では、不変領域は、（ｉ）カメラの光軸が平行であり、（ｉｉ）光軸が、カメラ全ての光心を通って進む線に対して直交であり、（ｉｉｉ）カメラが全て、同じ焦点距離を共有し、（ｉｖ）カメラ間で回転が存在していないという条件で、カメラの光心を通って進む線に対して平行である何れかの線に沿って複数のサンプル値を含む。実ビュー又は仮想ビューの別々のビューにおける画素の位置は、カメラ全ての光心を通って進む線に対して平行である線に沿った変位により、一ビューから別のビューに、対応する画素を移動させることによって得られる。この変位の振幅は、画素の深度、並びに、仮想カメラ及び実カメラのパラメータに応じる。実カメラ及び仮想カメラが例えば、水平軸上でアラインされる（ステレオ３Ｄにおけるベースライン補正などの大半のアプリケーションにおいてあてはまる）と、変位は、水平軸に沿ってのみである。よって、透かし信号が水平軸に沿って不変である場合、何れの実ビュー又は仮想ビューにおいても同じになる。よって、アラインメント及び向きなどの、カメラの場所及び向きの制約のおかげで、透かし検出は、厳密なカメラ・パラメータの知識なしで、よって、元のビューを必要とすることなく、盲目的に行うことが可能である。カメラに対する他の制約は、画素変位における他の制約をもたらし、よって、別の不変領域をもたらす。
【００１３】
第２の好ましい実施例では、投影する工程は更に、ビューの平行線に沿ってサンプル値を合計する工程を更に含む。水平線上にカメラがアラインされた変形では、サンプル値は、ビューの水平線に沿って合計される。実際に、画素は例えば、線上で変位させられるので、線に沿った別々の画素値の合計は、ビュー間で一定の状態に留まる。実際には、オクルージョンのために課題はやや複雑になる。すなわち、一部のオブジェクト部分は一部のビュー上のみに現れ、他の部分上では、現れない。しかし、オクルージョンは、ビューの非常に小さい領域のみを包含し、本願の目的では無視し得る。
【００１４】
第３の好ましい実施例では、ビューを投影する工程は、ビューを、ビューの空間周波数表現に変換する第１の工程を更に含む。よって、ビューを、透かしを入れたビューに修正する工程は、不変ベクトルを、透かしを入れた不変ベクトルから減算し、不変透かしベクトルを得る工程と、ビューの空間周波数表現の不変寸法に沿って不変透かしベクトルを分布させ、透かし信号をもたらす工程と、透かし信号をビューの空間周波数表現とマージし、ビューの透かしを入れた空間周波数表現をもたらす工程と、ビューの透かしを入れた空間周波数表現を、透かしを入れたビューにもう一度変換する工程とを更に含む。変形では、ビューを、ビューの空間周波数表現に変換する工程は、ウェーブレット領域への、ビューの各列の列に沿った一次元ウェーブレット変換を備える。すなわち、ビューの空間表現は空間周波数表現に変換される。したがって、選ばれた実施例によれば、透かし入れは、ウェーブレット領域又は空間領域で計算され、よって、各手法の利点の恩恵を受ける。
【００１５】
第４の好ましい実施例では、ビューを投影する工程は、不変ベクトルの空間周波数表現に不変ベクトルを変換する最後の工程を更に含み、透かし入れアルゴリズムを適用する工程は、不変ベクトルの空間周波数表現に透かし入れアルゴリズムを適用し、透かしを入れた不変ベクトルをもたらす工程を含む。よって、ビューを、透かしを入れたビューに修正する工程は、更に、不変ベクトルの空間周波数表現を不変ベクトルの透かしを入れた空間周波数表現から減算し、不変透かしベクトルの空間周波数表現を得る工程と、不変透かしベクトルの空間周波数表現を可変透かしベクトルにもう一度変換する工程と、不変透かしベクトルをビュー不変寸法に沿って分布させ、透かし信号をもたらす工程と、透かし信号をビューとマージし、透かしを入れたビューをもたらす工程とを含む。この実施例は効果的には、空間周波数変換の計算時間及び計算能力を削減する。変換は、２Ｄビューに対してではなく、１Ｄ不変ベクトルに対して処理される。
【００１６】
別の好ましい実施例では、不変透かしベクトルを分布させる工程は、ビュー不変寸法に沿った不変透かしベクトルの複製を含む。この実施例は、投影関数が、平行線に沿ったサンプル数の合計である場合によく適している。
【００１７】
別の好ましい実施例では、透かし信号をマージする工程は、透かし信号をビューに加算する工程を含む。変形実施例では、透かし信号を加算する工程の前に、方法は更に、ビューから導き出された知覚マスクにより、透かし信号のマスキングの工程を含む。輝度及び／又は周波数マスキングなどの知覚的制約が、透かしの不可視性の課題となるビューによく適している。更に、前述の実施例は、カメラの別々の位置によって引き起こされたオクルージョンの課題に対処する。
【００１８】
別の局面によれば、本発明は、複数のカメラによって捕捉された複数のビューから選択され、又は合成されるレンダリングされたビューを備えるマルチ・ビュー・ビデオにおける透かし検出の方法にも関する。検出方法は、レンダリングされたビューについて、中間合成ビューに対し、かつ、複数のビューに対して不変の領域に、レンダリングされたビューを投影する工程であって、カメラの位置、向き、及び固有のパラメータに依存し、不変のレンダリングされたベクトルをもたらす工程と、透かしの存在を評価するために、透かし検出アルゴリズムを不変のレンダリングされたベクトルに適用する工程とを含む。実カメラ及び仮想カメラが位置及び向きの制約を共有しているとしても、不変領域は、実ビュー又は仮想ビューにも該当する。すなわち、実ビューの組から生成される合成ビューは何れも、この関数を使用して同じ不変ベクトルに投影する。したがって、埋め込みと同様に、透かし検出のマルチビューの課題又は合成ビューの課題は、不変領域における伝統的な透かし検出に単純化される。よって、既知の透かしアルゴリズムは効果的には、レンダリングされたビューの不変ベクトルに該当する。更に、検出方法は効果的には、任意のレンダリングされたビューにおける盲目的検出を可能にする。何れの実ビューも必要としないからである。更に、処理手段が、効果的には、能力及び時間において削減される。よって、透かし入れは、元のコンテンツがもう利用可能でない場合に、著作権保護以外のアプリケーション（放送監視、視聴率測定など）にも使用することが可能である。
【００１９】
埋込み方法については、好ましい一実施例では、不変領域は、（ｉ）カメラの光軸が平行であり、（ｉｉ）光軸が、カメラ全ての光心を通って進む線に対して直交であり、（ｉｉｉ）カメラが全て、同じ焦点距離を共有し、（ｉｖ）カメラ間で回転が存在していないという条件で、カメラの光心を通って進む線に対して平行である何れかの線に沿って複数のサンプル値を含む。別の好ましい実施例では、投影する工程は更に、ビューの平行線に沿ってサンプル値を合計する工程を更に含む。別の好ましい実施例では、方法は、レンダリングされたビューをビューの空間周波数表現に変換する第１の工程、又はベクトルの空間周波数表現に不変ベクトルを変換する工程を含む。更に、透かし検出アルゴリズムは、透かしの存在を評価するために、不変のレンダリングされたベクトルの空間周波数表現に適用される。
【図面の簡単な説明】
【００２０】
【図１】フリー・ビュー・ビデオのマルチ・ビュー・キャプチャを表す図である。
【図２】ステレオ３Ｄの左ビュー・キャプチャ及び右ビュー・キャプチャを表す図である。
【図３】同じシーンの別々の２つのビューにおける画素の変位を示す図である。
【図４】特定の実施例による透かし埋込みの方法を表す図である。
【図５】別の特定の実施例による透かし埋込みの方法を表す図である。
【図６】特定の実施例による透かし埋込みの方法を表す図である。
【発明を実施するための形態】
【００２１】
本発明の他の特徴及び利点は、本発明の限定的でない実施例を通じて存在し、これらは、添付図面を利用して例証する。
【実施例】
【００２２】
図１は、フリー・ビュー・ビデオのマルチ・ビュー・キャプチャを表す。シーン１０１は、実カメラと呼ばれるＮ個のカメラ１０２によってキャプチャされる。カメラの位置、向き、及び固有のパラメータは異なり、よって、同じシーン１０１の別々のＮ個のビュー１０４をもたらし得る。本明細書及び特許請求の範囲における呼称の約束ごととして、単一ビュー・ビデオ・コンテンツが画像を含む一方、マルチ・ビュー・ビデオはビューを含む。実際に、ビューは、別々の場所からの同じシーン・キャプチャを表すビデオ・コンテンツの画像を表す。３Ｄ空間Ｐｗにおけるシーンの点はそれぞれ、画素Ｐ１乃至ＰＮにより、１乃至Ｎ個の実カメラ・ビューにおいて表される。
【００２３】
フリー・ビュー・ビデオでは、前述のビューは、ビデオにおけるオブジェクトの深度を表すＮ個の深度マップとともにＴＶ受像機に送信される。ＴＶ受像機は、仮想ビュー又は合成ビューと呼ばれる中間ビュー若しくは実ビューの何れかを表示する。ＴＶ受像機によって表示されるビューは、レンダリングされたビューと呼ばれる。仮想ビュー１０５は、実ビュー１０４から合成され、実カメラ１０２間に設定された仮想カメラ１０３に対応する。点Ｐｗは、仮想カメラ・ビュー１０５において、画素Ｐｖによって表される。
【００２４】
図２は、ステレオ３Ｄの左ビュー・キャプチャ及び右ビュー・キャプチャを表す。ステレオ３Ｄでは、ＴＶ受像機は、左ビュー及び右ビューに対応する２個のビューを順次、表示し、人間の視覚系はシーンの空間ビジョンを再構成する。ＴＶ受像機は更に、表示サイズ、及び／又は部屋における視聴者の位置などのユーザ環境に適合された仮想ビューを合成することができる。よって、通常の場合には、ステレオ３Ｄは、シーン２０５の右ビュー２０４を捕捉する実カメラ２０３及び左ビュー２０２を捕捉する実カメラ２０１を含む。３Ｄ空間における点Ｐは、左ビューにおける画素Ｐ１及び右ビューにおける画素Ｐ２によって表される。通常のステレオ３Ｄキャプチャでは、カメラ２０１及び２０３は、水平軸２０６上でアラインされ、垂直軸２０７に沿って誘導される。一変形では、仮想カメラ２０９によって捕捉されたビューに対応する中間ビュー２０８は、左ビュー２０２若しくは右ビュー２０４、又は両方を使用してＴＶ受像機によって合成される。次いで、中間ビュー２０８は、左ビュー又は右ビューとしてユーザに向けてレンダリングされる。この中間ビューは、ユーザの視覚的快適性を向上させる。この処理は、ベースライン補正と呼ばれる。
【００２５】
仮想ビューの合成は、水平変位ｄ１だけ、左ビューの各画素Ｐ１を移動させることによって得られ、この変位は、実カメラの固有のパラメータ、及びビュー内の点Ｐの深度に依存する。この原理は、右ビューにおける画素Ｐ２の変位にも該当する。画素が、シーン内の同じ点Ｐに対応しているからである。
【００２６】
図３は、同じシーンの別々の２つのビューにおける画素の変位を表す。左ビュー３０１及び右ビュー３０２は、３つのオブジェクト（すなわち、前景における人物、背景における家、及びそれらの間の木）を含む同じシーンの２つの表現を表す。木の点は画素Ｐ１によって表される。左ビュー３０１における画素Ｐ１の座標３０３、及び右ビュー３０２における同じ画素Ｐ１の座標３０４は異なる。こうしたバリエーションは、コヒーレントに別々のビューに透かしを入れるという課題をもたらす。透かしサンプルを担持する画素の座標が、ビュー間で異なるからである。実カメラ及び仮想カメラがアラインされている場合（ステレオ３Ｄにおけるベースライン補正などの大半のアプリケーションの場合、該当する）では、変位ｄ１は、水平軸３０５のみに沿っている。一般に、（ｉ）カメラの光軸が平行であり、（ｉｉ）光軸が、カメラ全ての光心を通って進む線に対して直交であり、（ｉｉｉ）カメラ全てが同じ焦点距離を共有し、（ｉｖ）カメラ間で回転が存在しない場合、点の変位は、カメラの光心を通って進む軸に平行の軸に沿って生じる。よって、透かし信号が前述の軸に沿って不変である場合、何れの実ビュー上でも、合成された中間ビュー上でも同じになる。前述の軸は、本発明の不変領域を定義する。
【００２７】
実際には、オクルージョンのために課題はやや複雑になる。一部のオブジェクト部分は一部のビュー上のみに現れ、他の部分上には、現れない。しかし、オクルージョンは、ビューの非常に小さい領域のみを包含し、本願の目的では無視し得る。
【００２８】
図４は、透かしが空間領域に埋め込まれた、特定の実施例による透かし埋込みの方法を表す。マルチ・ビュー・ビデオはＮ個のビューを含み、以下の工程は、Ｎ個のビューのうちのビュー毎に並列に、又は順次、反復される。
【００２９】
実ビュー１は、ＲＧＢ又はＹＣｒＣｂの約束ごとを使用して画素値により、空間領域において表される。好ましい実施例では、輝度値が、空間領域におけるビューＩの画素値として使用される。
【００３０】
第１の工程Ｅ１では、ビューＩの空間表現は、不変ベクトルｉを生成するために投影関数を使用して不変空間に投影する。すなわち、実ビューの組、又は何れかの実ビューから生成される合成ビューは何れも、この投影関数を使用して同じ不変ベクトルに投影される。前述の実施例では、投影関数は例えば、不変領域を構成するビューの線に沿ったサンプル値の合計である。カメラが水平軸上でアラインされる精緻化では、投影関数は水平線に沿った輝度値の合計である。
【００３１】
次の工程Ｅ２では、不変ベクトルｉは、次いで、不変の透かしを入れたベクトルｉｗを生成するために、スペクトル拡散透かし入れ又は量子化ベースの透かし入れなどの何れかの従来技術の透かし埋込みアルゴリズムを使用して透かしが入れられる。
【００３２】
その後、工程Ｅ３では、不変透かしベクトルｗ＝ｉｗ−１が計算される。
【００３３】
工程Ｅ４では、不変１Ｄ透かしベクトルｗが次いで、２Ｄ透かし信号Ｗを得るために分布関数を使用して空間表現領域にもう一度マッピングされる。よって、透かし信号ＷはビューＩと同じ寸法を有する。一実施例では、分布関数は、正規化因子で、投影の不変軸に沿ってベクトルｗを数回、複製することを含む。盲目的検出を可能にするために、透かし信号は、水平軸に沿って非ナルＤＣ成分を有するものとする。空間領域では、寸法ｈ（ビューの高さ）の擬似ランダム・ベクトルｖが、例えば、ガウスの法則に従って生成される。バンドパス・フィルタｆは、バンドパス擬似ランダム透かしベクトルｖＨを得るためにベクトルｖに適用される。次いで、透かしベクトルをＩ（ビュー幅）回、複製して、ｈ×Ｉ  ２Ｄ透かし信号Ｗを得る。
【００３４】
次いで、工程Ｅ５では、ビューＩ及び透かし信号Ｗを、特定の融合アルゴリズムを使用してマージして、透かしを入れた出力ビューＩｗを生成する。好ましい実施例では、融合関数は単純な加算のみを表す。
【００３５】
Ｉｗ＝Ｉ＋ｂＷ
ここで、ｂ∈｛−１，１｝は、挿入する対象の透かしビットである。最も一般的な場合には、透かし信号Ｗは実ビューＩにも依存し得る。よって、一変形では、融合関数は更に、一部の知覚的制約に対処するためのマスキング関数を更に含む。これをするために、透かし信号Ｗは、加算前に可視性マスクＭ（Ｉ）によって変調し得る。
【００３６】
Ｉｗ＝Ｉ＋ｂＷ・Ｍ（Ｉ）
ここで、演算子・は、２つのマトリクスの項毎の乗算を表す。前述の可視性マスクは、画像の局所周波数構成に依存し（周波数マスキング）、かつ／又は画像の局所画素強度に依存し得る（輝度マスキング）。マスキング関数Ｍの種々の実施例はしたがって、知覚的シェーピングがないことに対応するＭ（Ｉ）＝１であり、Ｍ（Ｉ）＝Ｉは、輝度マスキングに対応し、乗算埋込みをもたらし、Ｍ（Ｉ）＝S（Ｉ）であり、ここで、S（Ｉ）は、周波数マスキングに対応する、画素位置それぞれを中心とした局所分散を含むマトリクスである。最後に、融合関数は、避けられない丸め演算及びクリッピング演算による透かしエネルギ損失を最小にするために調整し得る。
【００３７】
工程Ｅ３乃至Ｅ５はしたがって、ｉｗに投影する、透かしを入れたビューＩｗを回復するための方法を提案している。
【００３８】
図５は、透かしが空間領域に埋め込まれる、別の特定の実施例による透かし埋込みの方法を図示する。空間領域やウェーブレット領域などの別々の表現領域に透かしが埋め込まれているということを透かし入れの分野における当業者は認識するであろう。よって、実ビューＩが空間領域において画素で表される場合、実ビューＩも、周波数領域において、ビューのウェーブレット変換によって表される。
【００３９】
第１の工程Ｅ１０では、ビューＩは、不変ベクトルｉを生成するために投影関数を使用して不変空間に投影される。すなわち、実ビューの組、又は何れかの実ビューから生成される合成ビューは何れも、この投影関数を使用して同じ不変ベクトルに投影される。
【００４０】
次いで、次の工程Ｅ１１では、領域変換は、不変ベクトルｒの適切な空間周波数表現を得るために１Ｄ不変ベクトルｉに適用される。この実施例によれば、ウェーブレット変換は、例えば、ベクトルに適用される。変形実施例では、領域変換は、ビューの適切な空間周波数表現を得るために実ビューＩに直接適用される。この直近の変形では、領域変換は、ビューの各列に適用される１Ｄ列ウェーブレット変換であり、投影関数は例えば、変換されたビューの線に沿った合計である。しかし、２Ｄ実ビューでなく、１Ｄ投影ビューに領域変換を適用することにより、効果的には、計算時間及び計算能力を削減する。
【００４１】
次の工程Ｅ１２では、不変ベクトルｒには、次いで、不変の透かしを入れたベクトルｒｗを生成するために、スペクトル拡散透かし入れ又は量子化ベースの透かし入れなどの何れかの従来技術の透かし埋込みアルゴリズムを使用して透かしが入れられる。ウェーブレット領域では、長さｈ（画像の高さ）の１Ｄ擬似ランダム・ベクトルｖが生成される。非可視性及びロバスト性の目的で、ｖの各サンプルの強度は、属するサブバンドに応じて調節し得る。例えば、低周波構成部分の強度は、透かしの可視性を妨げるために、低い（又はナルである）ことがあり得る。逆に、バンドパス構成部分の強度は、より高いことがあり得る。好適な可視性・ロバスト性のトレードオフをもたらすからである。
【００４２】
その後、工程Ｅ１３では、不変透かしベクトルｗ＝ｒｗ−ｒが計算される。
【００４３】
次いで、工程Ｅ１４では、逆領域変換が、空間領域における不変透かしベクトルｖを得るために適用される。この実施例によれば、逆ウェーブレット変換が例えば、ベクトルに対して適用される。領域変換が、投影されたビューでなく、ビューに対して適用される実施例では、逆変換の工程が、分布の工程の後に適用される。よって、透かしの空間周波数表現は、空間領域において透かしＷを得るために変換される。この直近の変形では、逆変換は例えば、透かしの空間周波数表現の各列に適用された１Ｄ列逆ウェーブレット変換である。
【００４４】
工程Ｅ１５では、１Ｄ透かしベクトルｗが次いで、２次元透かし信号Ｗを得るために分布関数を使用して空間表現領域にもう一度マッピングされる。よって、透かし信号ＷはビューＩの空間表現と同じ寸法を有する。一実施例では、分布関数は、正規化因子で、投影の不変軸に沿ってベクトルｗを数回、複製することを含む。
【００４５】
次いで、工程Ｅ１６では、ビューＩ及び透かし信号Ｗを、特定の融合アルゴリズムを使用してマージして、透かしを入れた出力ビューＩｗを生成する。好ましい実施例では、融合関数は単純な加算のみを表す。
【００４６】
Ｉｗ＝Ｉ＋ｂＷ
ここで、ｂ∈｛−１，１｝は、挿入する対象の透かしビットである。空間領域に関する実施例については、可視性マスクＭ（Ｉ）が、加算前に適用され、透かしの非可視性が向上する。
【００４７】
Ｉｗ＝Ｉ＋ｂＷ・Ｍ（Ｉ）
工程Ｅ１３乃至Ｅ１６はしたがって、ｉｗに投影する、透かしを入れたビューＩｗを回復するための方法を提案している。
【００４８】
別の変形実施例によれば、不変透かしベクトル（ｗ）は、中間合成ビューに対し、かつ、複数のビューに対して不変の領域において直接生成される。不変透かしベクトルは、例えば、擬似ランダム・サンプルである。よって、結果として生じる不変ベクトルに、透かしアルゴリズムを適用する工程、及びビューを投影する工程はバイパスされる。
【００４９】
図６は、特定の実施例による透かし検出の方法を図示する。
【００５０】
レンダリングされたビューＩ’ｗは、空間領域において画素値で表される。第１の工程Ｄ１では、ビューＩ’ｗは、不変ベクトルｉ’ｗを生成するために投影関数を使用して不変空間に投影される。変形では、方法は更に、領域変換を含む。変換関数及び投影関数は、埋込み方法及び検出方法において必然的に同一である。したがって、一変形では、工程Ｄ１より前に、領域変換を、レンダリングされたビューＩ’ｗに適用して、ビューの適切な空間周波数表現を取得し、次いで投影する。別の変形では、工程Ｄ１に続いて、領域変換が、不変ベクトルｉ’ｗの適切な空間周波数表現を得るために投影ビューに適用される。
【００５１】
第２の工程Ｄ２では、既知の透かし検出方法が、一次元ベクトルｉ’ｗに適用される。空間表現実施例によれば、レンダリングされたビューＩ’ｗの各線の輝度値を平均化して寸法ｈ（ビューの高さ）の平均ベクトルｉ’ｗを得る。バンドパス・フィルタｆを平均ベクトルｉ’ｗに適用し、相関スコアを、透かしを入れたバンドパス・ベクトルｆ（ｉ’ｗ）について計算して透かしの存在を評価する。復号化された透かしビットｂは相関符号に依存する。
【００５２】
当然、本発明は、上述の実施例に限定されない。
【００５３】
特に、本発明は、カメラ位置及び向きに応じて何れかの不変領域（水平線、平行線、又はより複雑な投影）と互換である。更に、特定の特徴によれば、透かし埋込みは、空間領域又は周波数領域におけるビューの何れかの表現において処理される。最後に、特定の特徴によれば、空間領域においてビューを構成する画素は、その輝度値で表され、更に、クロミナンス値又は、ＲＧＢ値の何れかでも表される。
【符号の説明】
【００５４】
１０１  シーン
１０２  カメラ
１０３  仮想カメラ
１０４  ビュー
１０５  仮想ビュー
２０１  実カメラ
２０２  ビュー
２０３  実カメラ
２０４  ビュー
２０５  シーン
２０６  水平軸
２０７  垂直軸
２０８  中間ビュー
２０９  仮想カメラ
３０１  ビュー
３０２  ビュー
３０３  座標
３０４  座標
３０５  水平軸
【図１】
2012054933.tif 000003
【図２】
2012054933.tif 000004
【図３】
2012054933.tif 000005
【図４】
2012054933.tif 000006
【図５】
2012054933.tif 000007
【図６】
2012054933.tif 000008
【外国語明細書】
2012054933000001.pdf