(57)【要約】本発明は、ビデオ画像処理技術に関し、既存のＨ．２６３によって要求されるバンド幅で、効果的且つ確実に３Ｄビデオを送信するためのビデオ画像送信方法、装置及びシステムを開示している。本発明に係るビデオ画像送信方法は、ビデオ画像放送デバイス間の３Ｄビデオ画像送信に応用され、取得された第１のビデオ画像と第２のビデオ画像を比較して、第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを取得するステップと、Ｉフレームのビデオ画像を送信する場合に、前記第１のビデオ画像及び前記マクロブロックをネットワーク側に送信するステップとを含む。
2015511780.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ放送デバイス間の３Ｄビデオ画像送信に応用されるビデオ画像送信方法であって、
取得された第１のビデオ画像と第２のビデオ画像を比較して、第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを取得するステップと、
Ｉフレームのビデオ画像を送信する場合に、前記第１のビデオ画像及び前記マクロブロックをネットワーク側に送信するステップとを含む
ビデオ画像送信方法。
【請求項２】
マクロブロックを取得した後、マクロブロックを送信する前に、さらに、
第１のビデオ画像及びマクロブロックをエンコードし、エンコードされたビデオ画像をネットワーク側に送信するステップを含む、
請求項１に記載の方法。
【請求項３】
Ｐフレームのビデオ画像を送信する場合に、ネットワーク側へその前のフレームのビデオ画像における第１のビデオ画像又は第２のビデオ画像に対応する前記Ｐフレームのビデオ画像を特徴づけるための運動変位を送信するステップをさらに含む、
請求項１に記載の方法。
【請求項４】
ビデオ画像受信方法であって、
端末から送信されたＩフレームのビデオ画像における第１のビデオ画像及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを受信するステップと、
前記第１のビデオ画像及び前記マクロブロックに基づいて、前記第２のビデオ画像を生成するステップとを含む、
ビデオ画像受信方法。
【請求項５】
第１のビデオ画像及び前記マクロブロックに基づいて前記第２のビデオ画像を生成することは、
第１のビデオ画像における、第２のビデオ画像と同じマクロブロックを、第２のビデオ画像における第１のビデオ画像と異なるマクロブロックとスプライシングして、第２のビデオ画像を生成することである、
請求項４に記載の方法。
【請求項６】
第１のビデオ画像及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを受信した後、及び、第２のビデオ画像を生成する前に、さらに、
第１のビデオ画像及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックをデコードするステップを含む、
請求項４または５に記載の方法。
【請求項７】
端末から送信されたＰフレームのビデオ画像における、その前のフレームのビデオ画像における第１のビデオ画像又は第２のビデオ画像に対応する前記Ｐフレームのビデオ画像を特徴づけるための運動変位を受信するステップをさらに含む、
請求項４に記載の方法。
【請求項８】
１セットの運動ベクトルに基づいて、その前のフレームのビデオ画像における第１のビデオ画像と第２のビデオ画像に対して運動予測および補正を行って、現在のフレームの第１のビデオ画像と第２のビデオ画像を生成するステップをさらに含む、
請求項７に記載の方法。
【請求項９】
ビデオ画像送信装置であって、
取得された第１のビデオ画像と第２のビデオ画像を比較して、第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを取得することに用いられるビデオ画像比較ユニットと、
Ｉフレームのビデオ画像を送信する場合に、前記第１のビデオ画像及び前記マクロブロックをネットワーク側に送信するように構成されるビデオ画像送信ユニットとを備える、
ビデオ画像送信装置。
【請求項１０】
第１のビデオ画像及びマクロブロックをエンコードし、エンコードされたビデオ画像をネットワーク側に送信するように構成されるビデオ画像エンコードユニットをさらに備える、
請求項９に記載の装置。
【請求項１１】
ビデオ画像送信ユニットが、さらに、
Ｐフレームのビデオ画像を送信する場合に、ネットワーク側へその前のフレームのビデオ画像における第１のビデオ画像又は第２のビデオ画像に対応する前記Ｐフレームのビデオ画像を特徴づけるための運動変位を送信するように構成される、
請求項９に記載の装置。
【請求項１２】
ネットワーク側からのＩフレームのビデオ画像における第１のビデオ画像及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを受信することに用いられるビデオ画像受信ユニットと、
第１のビデオ画像及びマクロブロックに基づいて前記第２のビデオ画像を生成することに用いられるビデオ画像生成ユニットとをさらに備える、
請求項９に記載の装置。
【請求項１３】
ビデオ画像生成ユニットが、
第１のビデオ画像における第２のビデオ画像と同じマクロブロックを、第２のビデオ画像における前記第１のビデオ画像と異なるマクロブロックとスプライシングして、第２のビデオ画像を生成するように構成される、
請求項１２に記載の装置。
【請求項１４】
第１のビデオ画像及びマクロブロックをデコードするように構成されたビデオ画像デコードユニットをさらに備える、
請求項９に記載の装置。
【請求項１５】
ビデオ画像受信ユニットが、さらに、
Ｐフレームのビデオ画像における、その前のフレームのビデオ画像における第１のビデオ画像又は第２のビデオ画像に対応する前記Ｐフレームのビデオ画像を特徴づけるための運動変位を受信するように構成される、
請求項１２に記載の装置。
【請求項１６】
ビデオ画像生成ユニットが、さらに、
１セットの運動ベクトルに基づいて、その前のフレームの第一のビデオ画像と第２のビデオ画像に対して運動予測および補正を行って、現在のフレームの第１のビデオ画像と第２のビデオ画像を生成するように構成される、
請求項１２に記載の装置。
【請求項１７】
ビデオ画像受信装置であって、
ネットワークからのＩフレームのビデオ画像における第１のビデオ画像及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを受信することに用いられるビデオ画像受信ユニットと、
前記第１のビデオ画像及び前記マクロブロックに基づいて前記第２のビデオ画像を生成することに用いられるビデオ画像生成ユニットとを備え、
ビデオ画像受信装置。
【請求項１８】
ビデオ画像生成ユニットが、
第１のビデオ画像における第２のビデオ画像と同じマクロブロックを、第２のビデオ画像における前記第１のビデオ画像と異なるマクロブロックとスプライシングして、第２のビデオ画像を生成するように構成される、
請求項１７に記載の装置。
【請求項１９】
第１のビデオ画像及びマクロブロックをデコードすることに用いられるビデオ画像デコードユニットをさらに備える、
請求項１７に記載の装置。
【請求項２０】
ビデオ画像受信ユニットが、さらに、
Ｐフレームのビデオ画像における、その前のフレームのビデオ画像における第１のビデオ画像又は第２のビデオ画像に対応する前記Ｐフレームのビデオ画像を特徴づけるための運動変位を受信するように構成される、
請求項１７に記載の装置。
【請求項２１】
ビデオ画像生成ユニットが、さらに、
１セットの運動ベクトルに基づいてその前のフレームのビデオ画像における第１のビデオ画像と第２のビデオ画像に対して運動予測および補正を行って、現在のフレームの第１のビデオ画像と第２のビデオ画像を生成するように構成される、
請求項１７に記載の装置。
【請求項２２】
ビデオ画像送信システムであって、
取得された第１のビデオ画像と第２のビデオ画像を比較して、第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを取得し、Ｉフレームのビデオ画像を送信する場合に、前記第１のビデオ画像及び前記マクロブロックをネットワーク側に送信することに用いられるビデオ画像送信側と、
前記ビデオ画像送信側から送信されたＩフレームのビデオ画像における第１のビデオ画像及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを受信し、前記第１のビデオ画像及び前記マクロブロックに基づいて前記第２のビデオ画像を生成することに用いられるビデオ画像受信側とを備える
前記ビデオ画像送信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ画像処理技術に関し、特にビデオ画像送信方法、装置及びシステムに関する。
【背景技術】
【０００２】
ネットワーク技術とビデオエンコード技術の発展に伴い、現実感と立体感を有する３Ｄディスプレイ技術は、次第にテレビ、ゲーム機、ノートパソコン、ビデオプレーヤー及び携帯電話などの様々な通信端末に応用されている。３Ｄビデオ放送端末を用いて３Ｄビデオを送信することができ、３Ｄビデオサービスのユーザ体験を向上させることができる。
【０００３】
３Ｄビデオ放送端末には、２つの画像取得ユニット（カメラ）があり、この２つの画像取得ユニットが異なる角度で撮影された２枚の画像を同時に取得し、画像がエンコードされて受信側端末に送信される。受信側が受信された画像をデコードすることにより、ユーザは、三次元効果を有するビデオを感じる。しかし、３Ｄビデオは、あるフォーマットで表されると、大量のデータをもたらす。
【０００４】
大量のデータは、ビデオの取得、エンコード、送信、または３Ｄビデオの表示などの各ステップに課題を与える。ネットワーク技術、特に無線ネットワーク技術では、バンド幅資源が非常に不足なことのみならず、無線送信環境における無線端末のパワーも限られ、大量のデータが狭いバンド幅で送信されると、パケット損失及び画像の歪みを引き起こす可能性があり、それによって、３Ｄビデオを効率的且つ確実に送信することができない。
【０００５】
現在、２Ｄビデオ送信プロセスは、Ｈ．３２４プロトコルスタック中のＨ．２６３ビデオ通信プロトコルでビデオ送信を行っている。Ｈ．２６３ビデオ通信プロトコルは、低速度（数十Ｋｂｐｓ）でビデオを送信する通信規格であり、この通信プロトコルでビデオを送信することにより、送信すべきビデオのデータ量を最大限に低減させ、バンド幅を節約することができる。３Ｄビデオのデータ量は比較的に大きいため、既存のＨ．２６３によって要求されるバンド幅で、効果的且つ確実に３Ｄビデオを送信することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態は、既存のＨ．２６３によって要求されるバンド幅で、効果的且つ確実に３Ｄビデオを送信するためのビデオ画像送信方法、装置及びシステムを提供する。
【課題を解決するための手段】
【０００７】
本発明の実施形態に係るビデオ画像送信方法は、ビデオ放送デバイス間の３Ｄビデオ画像送信に応用され、
取得された第１のビデオ画像と第２のビデオ画像を比較して、第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを取得するステップと、
Ｉフレームのビデオ画像を送信する場合に、前記第１のビデオ画像及び前記マクロブロックをネットワーク側に送信するステップとを含む。
【０００８】
本発明の実施形態に係るビデオ画像受信方法は、
端末から送信されたＩフレームのビデオ画像における第１のビデオ画像、及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを受信するステップと、
前記第１のビデオ画像及び前記マクロブロックに基づいて前記第２のビデオ画像を生成するステップとを含む。
【０００９】
本発明の実施形態に係るビデオ画像送信装置は、
取得された第１のビデオ画像と第２のビデオ画像を比較して、第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを取得することに用いられるビデオ画像比較ユニットと、
Ｉフレームのビデオ画像を送信する場合に、前記第１のビデオ画像及び前記マクロブロックをネットワーク側に送信することに用いられるビデオ画像送信ユニットとを備える。
【００１０】
本発明の実施形態に係るビデオ画像受信装置は、
ネットワークからのＩフレームのビデオ画像における第１のビデオ画像、及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを受信することに用いられるビデオ画像受信ユニットと、
前記第１のビデオ画像及び前記マクロブロックに基づいて、前記第２のビデオ画像を生成することに用いられるデオ画像生成ユニットとを備える。
【００１１】
本発明の実施形態に係るビデオ画像送信システムは、
取得された第１のビデオ画像と第２のビデオ画像を比較して、第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを取得し、また、Ｉフレームのビデオ画像を送信する場合に、前記第１のビデオ画像及び前記マクロブロックをネットワーク側に送信することに用いられるビデオ画像送信側と、
前記ビデオ画像送信側から送信されたＩフレームのビデオ画像における第１のビデオ画像、及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを受信し、前記第１のビデオ画像及び前記マクロブロックに基づいて、前記第２のビデオ画像を生成することに用いられるビデオ画像受信側とを備える。
【００１２】
本発明の実施形態は、取得された第１のビデオ画像と第２のビデオ画像を比較して、第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを取得し、また、Ｉフレームのビデオ画像を送信する場合に、前記第１のビデオ画像及び前記マクロブロックをネットワーク側に送信し、前記ネットワーク側が前記Ｉフレームのビデオ画像における第１のビデオ画像、及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを受信し、前記第１のビデオ画像及び前記マクロブロックに基づいて、前記第２のビデオ画像を生成することにより、既存のＨ．２６３によって要求されるバンド幅で、効果的且つ確実に３Ｄビデオを送信することを実現する。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る遠景と近景を含む左ビューと右ビューである。
【図２】本発明の実施形態に係るビデオ画像送信方法の全体的なプロセスを示す図である。
【図３】本発明の実施形態に係るビデオ画像受信方法の全体的なプロセスを示す図である。
【図４】本発明の実施形態に係るビデオ画像送信方法の具体的なプロセスを示す図である。
【図５】本発明の実施形態に係るＨ．２６３画像層のエンコード構造を示す図である。
【図６】本発明の実施形態に係るＨ．２６３ブロックグループ層のコード構造を示す図である。
【００１４】
【図７】本発明の実施形態に係るマクロブロック層のデータ構造を示す図である。
【図８】本発明の実施形態に係るビデオ画像受信方法の具体的なプロセスを示す図である。
【図９】本発明の実施形態に係るビデオ画像送信装置の構造を示す図である。
【図１０】本発明の実施形態に係るビデオ画像送信装置の構造を示す図である。
【図１１】本発明の実施形態に係るビデオ画像受信装置の構造を示す図である。
【図１２】本発明の実施形態に係るビデオ画像受信装置の構造を示す図である。
【図１３】本発明の実施形態に係るビデオ画像送信システムの構造を示す図である。
【発明を実施するための形態】
【００１５】
本発明の実施形態は、既存のＨ．２６３によって要求されるバンド幅で、効果的且つ確実に３Ｄビデオ画像を送信するためのビデオ画像送信方法、装置及びシステムを提供する。
【００１６】
３Ｄ技術は、立体画像技術とも呼ばれ、その基本的な原理は、人間の左目と右目のシーンを見る位置が異なるので、見たシーンが一定の違いを有するものである。脳が受信された左目と右目からの異なる画像を処理すると、人間は、物体の遠近差を感じ、見たビデオに対して視覚的立体感を持つ。
【００１７】
３Ｄビデオ放送端末は、人間の左目と右目に相当する画像取得ユニットを備え、前記画像取得ユニットはカメラであってよい。画像取得ユニットは、左目と右目の２枚のビデオ画像を一回で取得することができ、取得された左目のビデオ画像（又は左ビュー）と右目のビデオ画像（又は右ビュー）を同時にビデオ放送端末のビデオエンコーダに伝送し、ビデオ受信側により受信されたビデオ画像をデコードして３Ｄ画像を表示する。
【００１８】
イメージング原理により、物体とレンズの間の距離が近いほど、左右の２つのカメラのイメージング位置の差が大きくなる。一般的に、レンズに近い画像（即ち近景）のみに対して、左目のビデオ画像と右目のビデオ画像が明らかな差を有するが、レンズに遠い画像（即ち遠景）に対して、左右目でのイメージング位置の間の差が非常に小さいので、無視できる。
【００１９】
例えば、図１を参照して、左目と右目のイメージングした２枚の画像であり、それぞれの画像に近景（例えば木）と遠景（例えば家屋）を含み、左右目の観測角度の違いにより、この２枚の画像に表示される木と家屋の位置関係は違い、これも立体感が生じる原因である。
したがって、既存の３Ｄ技術により、人の左目と右目が左右２つの異なるビデオ画面を同時に見て、人間が３次元効果を感じるようにすることができない。
【００２０】
現在、ビデオ送信プロセスにＨ．２６３通信プロトコルが使用され、このようなプロトコルが差分送信、運動予測推定などの手段でビデオを処理するので、バンド幅を最大限に節約することができる。具体的には、ＩフレームとＰフレームの交替方式で画像を送信し、各フレームの画像を最終画像受信側で一枚の完全な画像として生成することができる。
【００２１】
前記Ｉフレームは、通常、ＩＮＴＲＡと呼ばれ、１枚の２Ｄビデオの完全な画像、又は２枚の３Ｄビデオの画像（左目の画像と右目の画像）のような完全な画像を送信することに用いられ、ＩフレームがＰフレームの基準フレームとして使用される。
【００２２】
Ｐフレームは、通常、ＩＮＴＥＲと呼ばれ、その前のフレームとの差分を送信することに用いられ、受信側がこのＰフレームの送信された差分値を受信して、その前のフレームに基づいて完全な画像を生成し、現在のフレームの完全な画像を取得する。エラーが発生した後に基準フレームがないので画像を復元することができなくなることを防止するために、幾つかのＰフレームを隔たるたびに１つのＩフレームを送信する。
【００２３】
前記Ｐフレームに予測コードが使用されるので、画像受信側と送信側は、同時にその前のビデオ中の物体の移動特徴に対して次の画像におけるその前の移動物体の移動位置を予測し、予測結果が正確であれば、送信側はいかなるデータも送信する必要がなく、受信側が直接自分の予測に従って次の画像を表示する。
【００２４】
予測結果が正確でなければ、即ち差分があれば、画像送信側が画像受信側へ画像におけるある部分が移動する運動ベクトルのみを送信すればよく、受信側が自分の予測結果に加えて、送信側から送信された運動ベクトルに基づいて画像を調整すると、次の画像を取得することができ、それによってネットワークを介して伝送されるデータ量を最大限に低減させる。
【００２５】
２Ｄビデオ送信と比べると、３Ｄビデオ送信は、フレームごとに送信される画像が１枚（左目のビデオと右目のビデオ画像）から２枚になり、画像のマクロブロックデータが以前より２倍多くなり、ＩフレームとＰフレームがそれぞれ２Ｄビデオの２倍に相当するデータを送信する必要があるので、データを送信するためのバンド幅を大幅に増加させる。
【００２６】
既存のＨ．２６３通信プロトコルシステムで３Ｄフォーマットのビデオ送信を最小限の変更で互換させることで、効果的且つ確実に３Ｄビデオデータを送信することを達成する。本発明の実施形態は、既存の画像エンコーダの前又はエンコーダの中に左右ビュー比較ユニットを増加し、既存のデコーダーの後又はデコーダーの中に左右ビュー生成ユニットを増加する。
【００２７】
前記左右ビュー比較ユニットと左右ビュー生成ユニットは、Ｉフレームの画像を送信する場合に、その中の１枚の完全なビューと別のビューにおける前記完全なビューと異なるビューのみを送信し、前記完全なビューと同じ画像を送信する必要がなく、バンド幅を節約する。
【００２８】
本発明の実施形態は、Ｐフレームの画像を送信する場合に、１セットの運動ベクトルをビデオ受信側に送信するだけでよい。これは、ビデオ中のシーンが動くと、左右の２枚のビュー中の運動変位が一致し、即ち運動ベクトルが同じであり、１つの運動ベクトルだけを送信すればよく、受信側が前記運動ベクトルを同時に左右２枚のビューに作用させることができるためである。Ｐフレームを送信する場合、従来技術と比べて、データ量が増えていない。したがって、本発明は、既存のＨ．２６３通信プロトコルによって要求されるバンド幅で、効果的に高品質で３Ｄビデオを送信することができる。
【００２９】
以下、図面を参照して本発明の実施形態に係る技術的スキームを説明する。
図２を参照して、本発明の実施形態に係るビデオ画像送信方法は、３Ｄビデオを送信することに用いられ、以下のステップを含む。
【００３０】
Ｓ１０１において、取得された第１のビデオ画像と第２のビデオ画像を比較して、第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを取得する。
Ｓ１０２において、Ｉフレームのビデオ画像を送信する場合に、前記第１のビデオ画像及び前記マクロブロックをネットワーク側に送信する。
【００３１】
好ましくは、前記マクロブロックを取得した後、前記マクロブロックを送信する前に、この方法は、さらに、
前記第１のビデオ画像及び前記マクロブロックをエンコードし、エンコードされたビデオ画像をネットワーク側に送信するステップを含む。
好ましくは、Ｐフレームのビデオ画像を送信する場合に、ネットワーク側へその前のフレームのビデオ画像における第１のビデオ画像または第２のビデオ画像に対応する前記Ｐフレームのビデオ画像を特徴づけるための運動変位を送信する。
【００３２】
本発明の実施形態において前記ネットワーク側は、ビデオを受信するデバイスである。
図３を参照して、本発明の実施形態に係るビデオ画像受信方法は、以下のステップを含む。
【００３３】
Ｓ２０１において、端末（ビデオ画像送信側）から送信されたＩフレームのビデオ画像における第１のビデオ画像、及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを受信する。
Ｓ２０２において、前記第１のビデオ画像及び前記マクロブロックに基づいて前記第２のビデオ画像を生成する。
【００３４】
好ましくは、前記第１のビデオ画像及び前記マクロブロックに基づいて前記第２のビデオ画像を生成することは、前記第１のビデオ画像における第２のビデオ画像と同じマクロブロックを、第２のビデオ画像における前記第１のビデオ画像と異なるマクロブロックとスプライシング（ｓｐｌｉｃｉｎｇ）して、第２のビデオ画像を生成することである。
【００３５】
好ましくは、第１のビデオ画像、及び第２のビデオ画像における前記第１のビデオ画像と異なるマクロブロックを受信した後、第２のビデオ画像を生成する前に、この方法は、さらに、前記第１のビデオ画像、及び第２のビデオ画像における前記第１のビデオ画像と異なるマクロブロックをデコードするステップを含む。
【００３６】
好ましくは、前記ビデオ画像受信方法は、さらに、端末から送信されたＰフレームのビデオ画像における、その前のフレームのビデオ画像における第１のビデオ画像又は第２のビデオ画像に対応する前記Ｐフレームのビデオ画像を特徴づけるための運動変位を受信するステップと、１セットの運動ベクトルに基づいて、その前のビデオ画像における第１のビデオ画像と第２のビデオ画像に対して運動予測および補正を行って、現在のフレームの第１のビデオ画像と第２のビデオ画像を生成するステップとを含む。
【００３７】
以下、図面を参照して本発明の実施形態に係るビデオ画像送信プロセスとビデオ画像受信プロセスをそれぞれ説明する。
説明の便宜上、以下に言及される送信側は、ビデオ画像を送信する端末デバイスであり、受信側は、ビデオ画像を受信するネットワーク側デバイスであり、前記送信側デバイス又は受信側デバイスは、３Ｄビデオをサポートする任意のビデオ放送デバイスであってもよい。また、言及される左ビューは、左目のビデオ画像であり、右ビューは、右目のビデオ画像である。
【００３８】
ビデオ放送デバイスが送信側として、ビデオ画像を送信するために用いられる場合、本発明の実施形態に係るビデオ放送デバイスがビデオを送信する方法は、そのプロセスが図４に示すように、以下のステップを含む。
Ｓ３０１において、送信側は、左ビューと右ビューを取得する。
【００３９】
具体的には、ビデオ放送デバイスの２つのビデオ取得ユニット、例えば、カメラは、異なる角度（一般的に左右２つのカメラ）で、ある時刻の、遠景と近景が含まれる画像Ａと画像Ｂの２枚のビデオ画像を取得する。
前記遠景は、一般的にビデオ画面中の背景又はレンズから遠いシーンである。左右２つのビュー中の遠景のビュー全体での位置は、ほぼ違いがない。その中、左右２つのカメラのイメージング位置の違いが一定の画素を超えなければ違いがないと判定し、例えば、２つの画素又は１つの画素を超えなければ違いがないと判定する。
【００４０】
同様に、前記近景は、ビデオ画面におけるレンズに近いシーンである。近景のイメージング位置の違いは、比較的に大きい。したがって、本発明の実施形態では、ビデオ画像の送信プロセスに、Ｉフレームの遠景を繰り返し送信する必要がない。
【００４１】
Ｓ３０２において、前記左ビューと右ビューを比較して、左ビューにおける右ビューと異なる画像のマクロブロックを取得する。
前記マクロブロックは、左右ビューにイメージング位置の違いがあるマクロブロックである。具体的には、ビデオ放送デバイスでは、画像エンコーダ中に位置する又は前記画像エンコーダから独立する画像比較ユニットは、左ビューと右ビューにおけるマクロブロックをマッチングし、左ビューと右ビューにおける違いがあるマクロブロックを検索する。例えば、左ビューにおける右ビューと異なるマクロブロックを検索する。
【００４２】
Ｓ３０３において、画像エンコーダは、前記マクロブロックと右ビューに対してエンコードする。
図５に示すように、Ｈ．２６３画像層のコード構造であり、画像層のコード構造において画像タイプを示すためのＰＴＹＰＥ中の９番目のｂｉｔが「１」である場合、このフレームの画像がＩＮＴＲＡコード、即ちＩフレームのコードを表する。ＰＴＹＰＥ中の９番目のｂｉｔが「０」である場合、このフレームの画像は、ＩＮＴＥＲコード、即ちＰフレームのコードを表する。
【００４３】
Ｉフレームのエンコード：
本発明の実施形態に係るＩフレームは、右ビューのような完全なビューと、左ビューにおける右ビューと異なるマクロブロックのような不完全なビューとの２枚のビューを同時に含む。具体的には、Ｉフレームのブロックグループ（ｇｒｏｕｐ  ｏｆ  ｂｌｏｃｋｓ）に左右２枚のビューの画像情報が含まれ、その中で、右ビューが完全な画像であり、左ビューがピクセルレベルで右ビューと画素層で異なる部分だけを含む。
【００４４】
図６に示すように、Ｈ．２６３ブロックグループ層のコード構造であり、既存のＨ．２６３では、Ｉフレーム中の１つのブロックグループデータ（ｍａｃｒｏｂｌｏｃｋ  ｄａｔａ）が１つの画像のすべてのマクロブロックを含む。本発明の実施形態において、１つのブロックグループデータに１枚のビューの遠景マクロブロックと近景マクロブロック、及び、別のビューにおける近景マクロブロックと異なるマクロブロックのみが含まれ、その中の１枚のビューの遠景マクロブロックとこのビュー中の一部の近景マクロブロック（この一部の近景マクロブロックは別のビュー中の近景マクロブロックと同じマクロブロックである）を省く。
【００４５】
本発明の実施形態は、２枚の完全なビューを含むＩフレームの３Ｄビューを同時にエンコードする場合と比べて、エンコーダが画像をエンコードするデータ量を大幅に低減させ、また３Ｄビデオ画像データの送信量を低減させる。１枚の画像のＩフレームの２Ｄビューをエンコードする場合と比べて、僅かにデータ量の小さいマクロブロックだけを増やし、ネットワーク送信のバンド幅をほぼ増やしていない。
【００４６】
画像エンコード技術において、画像に対するエンコードは、Ｉフレームのエンコード、ＰフレームのエンコードとＰＢフレームのエンコードなどを含む。以下に本発明がＰフレームをエンコードするプロセスを簡単に説明する。
【００４７】
Ｐフレームのエンコード：
Ｐフレームは、運動予測と差分送信を行うフレームであり、運動予測と補正と結びつけて、各画像と予測との差分のみを送信する。
図７に示すようなマクロブロック層のデータ構造を参照すると、あるマクロブロックの予測が実際と完全に同じである場合、このマクロブロック層のＣＯＤが０であり、その後、データを送信しない。そうでなければ、ＣＯＤは１であり、そして運動ベクトル又は運動ベクトル及びブロックデータを送信する。
本発明の実施形態は、Ｐフレームの画像をエンコードする場合に、前記マクロブロックと右ビューを受信した場合、いかなる処理もしない。
【００４８】
本発明の実施形態は、Ｐフレームを送信するプロセスに以下のような２つの場合を含む。
１、ビデオ画像中の画像に運動が起こらない場合、左ビューと右ビューのいずれも変更しない、即ち運動予測値が正しく、その前のフレームの取得された画像との差分がゼロであると、送信側は、いかなるデータも送信する必要がなく、受信側が自分の予測に基づいて次の画像を表示する。
【００４９】
２、ビデオ画像中の画像に運動が起こった場合、運動ベクトルが運動予測と差分を有し、同時に、画像自体が変形しないと、Ｐフレームが１セットの運動ベクトルだけを送信し、この運動ベクトルは左ビューの運動ベクトル又は右ビューの運動ベクトルであり、左ビューまたは右ビューの運動ベクトルの送信が同じであり、これは、一旦ビデオ中のシーンが運動すると、左右２枚のビュー中の運動変位が一致しており、運動ベクトルも同じであり、よって１セットの運動ベクトルだけを伝送するからである。
【００５０】
受信側が前記運動ベクトルを受信した場合、運動ベクトルはデコードされた左ビューと右ビューに作用する。
Ｓ３０４において、前記エンコードされたマクロブロックと右ビューを受信側に送信する。このマクロブロックと右ビューは、Ｉフレームの画像に属する。
ビデオ放送デバイスが受信側として、ビデオ画像を受信することに用いられる場合、本発明の実施形態に係るビデオ放送デバイスがビデオを受信する方法は、そのプロセスにおいて図８に示すように、以下のステップを含む。
【００５１】
Ｓ４０１において、送信側から送信されたＩフレームのビデオ画像を受信し、具体的に、前記マクロブロックと右ビューを受信する。
Ｓ４０２において、前記Ｉフレームのビデオ画像をデコードする。
具体的には、受信された完全なビュー（例えば右ビュー）と不完全なビュー（例えば差分マクロブロックだけが含まれるビュー）に対して正常なデコード方式でデコードする。
【００５２】
Ｓ４０３において、完全な左ビューを生成する。
具体的には、ビデオ画像生成ユニットは、デコードされた右ビューにおける左ビューと同じマクロブロックを、右ビューにおける左ビューと異なるマクロブロックとスプライシングすることにより、完全な左ビューを生成する。または、右ビューにおける左ビューと同じマクロブロックを前記不完全な左ビューに追加することにより、完全な左ビューを生成する。
【００５３】
本発明において、Ｐフレームをデコードするとは、送信側の１セットの運動ベクトルを受信した場合、この運動ベクトルをその前の左右の２枚のビューに適用して、新しい完全な左右の２枚のビューを生成することである。
【００５４】
図９を参照して、本発明の実施形態に係るビデオ送信装置は、取得された第１のビデオ画像と第２のビデオ画像を比較して、第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを取得することに用いられるビデオ画像比較ユニット１１と、
Ｉフレームのビデオ画像を送信する場合、前記第１のビデオ画像及び前記マクロブロックをネットワーク側に送信することに用いられるビデオ画像送信ユニット１２とを備える。
【００５５】
好ましくは、前記ビデオ画像送信ユニット１２は、さらに、Ｐフレームのビデオ画像を送信する場合に、ネットワーク側へその前のフレームのビデオ画像における第１のビデオ画像又は第２のビデオ画像に対応する前記Ｐフレームのビデオ画像を特徴づけるための運動変位を送信することに用いられる。
【００５６】
図１０を参照して、前記装置は、さらに、
前記第１のビデオ画像及び前記マクロブロックをエンコードして、前記エンコードされたビデオ画像をネットワーク側に送信することに用いられるビデオ画像エンコードユニット１３と、
ネットワーク側からのＩフレームのビデオ画像中の第１のビデオ画像及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロック、及び、Ｐフレームのビデオ画像における、その前のフレームのビデオ画像中の第１のビデオ画像又は第２のビデオ画像に対応する前記Ｐフレームのビデオ画像を特徴づけるための運動変位を受信することに用いられるビデオ画像受信ユニット１４と、
【００５７】
前記第１のビデオ画像及び前記マクロブロックに基づいて前記第２のビデオ画像を生成し、具体的に、前記第１のビデオ画像における第２のビデオ画像と同じマクロブロックを、第２のビデオ画像における前記第１のビデオ画像と異なるマクロブロックとスプライシングして、第２のビデオ画像を生成し、及び、１セットの運動ベクトルに基づいて、その前のフレームの第１のビデオ画像と第２のビデオ画像に対して運動予測および補正を行って、現在のフレームの第１のビデオ画像と第２のビデオ画像を生成することに用いられるビデオ画像生成ユニット１５と、
前記第１のビデオ画像及び前記マクロブロックをデコードすることに用いられるビデオ画像デコードユニット１６とを備える。
【００５８】
図１１を参照して、本発明の実施形態に係るビデオ画像受信装置は、
ネットワーク側からのＩフレームのビデオ画像中の第１のビデオ画像及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロック、及び、Ｐフレームのビデオ画像における、その前のフレームのビデオ画像中の第１のビデオ画像又は第２のビデオ画像に対応する前記Ｐフレームのビデオ画像を特徴づけるための運動変位を受信することに用いられるビデオ画像受信ユニット２１と、
【００５９】
前記第１のビデオ画像及び前記マクロブロックに基づいて、前記第２のビデオ画像を生成し、具体的に、前記第１のビデオ画像における第２のビデオ画像と同じマクロブロックを、第２のビデオ画像における前記第１のビデオ画像と異なるマクロブロックとスプライシングして、第２のビデオ画像を生成し、及び、１セットの運動ベクトルに基づいて、その前の第１のビデオ画像と第２のビデオ画像に対して運動予測および補正を行って、現在のフレームの第１のビデオ画像と第２のビデオ画像を生成することに用いられるビデオ画像生成ユニット２２とを備える。
【００６０】
図１２を参照して、前記ビデオ画像送信装置は、さらに、
前記第１のビデオ画像及び前記マクロブロックをデコードすることに用いられるビデオ画像デコードユニット２３を備える。
図１３を参照して、本発明の実施形態に係るビデオ画像送信システムは、
取得された第１のビデオ画像と第２のビデオ画像を比較して、第２のビデオ画像における第２のビデオ画像と異なるマクロブロックを取得すること、及び、Ｉフレームのビデオ画像を送信する場合、前記第１のビデオ画像及び前記マクロブロックをネットワーク側に送信することに用いられるビデオ画像送信側３１と、
【００６１】
前記ビデオ画像送信側から送信されたＩフレームのビデオ画像における第１のビデオ画像及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを受信し、前記第１のビデオ画像及び前記マクロブロックに基づいて、前記第２のビデオ画像を生成することに用いられるビデオ画像受信側３２とを備える。
【００６２】
本発明の実施形態に係る３Ｄビデオ送信装置は、２Ｄビデオの送信に適用することができ、具体的に、２Ｄビデオを送信するプロセスにおいて、１つの画像取得ユニットを停止するとともに、ビデオ画像比較ユニット１１が受信された２Ｄビデオ画像にいかなる処理もせず、そして前記２Ｄビデオ画像をエンコーダに送信してエンコードし、受信側のビデオ画像生成ユニット１３が受信された２Ｄ画像にいかなる処理もせず、直接２Ｄビデオを表示する。
【００６３】
本発明の実施形態に係る３Ｄビデオ送信方法及び装置は、既存のＨ．２６３プロトコルで、２Ｄ及び３Ｄビデオ送信を互換することができ、それによってユーザが互いの機種の特徴に合わせて送信することができる。
【００６４】
Ｈ．２４５（Ｈ．３２４プロトコルスタック中の通話制御プロトコル）に２Ｄまたは／及び３Ｄビデオ放送サポート機能を追加し、マクロブロックの数に対してハンドシェイク合意を行い、通信エラーを防止する必要がある。モバイル端末がすべてデュアルカメラの３Ｄテレビ電話をサポートする場合、Ｈ．２４５ハンドシェイクが成功することにより、３Ｄテレビ電話を起動させることができる。一方がこの機能をサポートせず、ハンドシェイクが失敗した場合、一部のビデオが依然として元のＨ．２６３プロトコルの要求でエンコードおよびデコードされる。
【００６５】
上述するように、本発明の実施形態は、既存の画像エンコーダの前または画像エンコーダの中に左右ビュー比較ユニットを追加し、既存のデコーダーの後又はデコーダーの中に左右ビュー生成ユニットを追加する。前記左右ビュー比較ユニットと左右ビュー生成ユニットは、Ｉフレームの画像を送信する場合に、その中の１枚の完全なビューと別のビューにおける前記完全なビューと異なるビューだけを送信すればよく、前記完全な画像と同じ画像を送信する必要がない。
【００６６】
Ｐフレームの画像を送信する場合、１フレームの１枚のビューの運動ベクトルをビデオ受信側に送信するだけでよい。つまり、３Ｄビデオを送信するＰフレームによって消費されるデータ量は、２Ｄビデオを送信するために消費されるデータ量と完全に同じである。３Ｄビデオを送信するＩフレームによって消費されるデータ量は、２Ｄビデオを送信するために消費されるデータ量より少し多い。既存のＨ．２６３通信プロトコルによって要求されるバンド幅で、最大限に３Ｄ画像送信を保証することに基づいてバンド幅を節約し、そして効果的且つ高品質に３Ｄビデオを送信することができる。
【００６７】
当業者は、本発明の実施形態が方法、システム、又はコンピュータープログラム製品として提供されることができると理解すべきである。したがって、本発明は、完全なハードウェア実施形態、完全なソフトウェア実施形態、又はソフトウェアとハードウェアを組み合わせた実施形態の形態を採用することができる。しかも、本発明は、コンピューター使用可能プログラムコードを含む１つ以上のコンピューター使用可能な記憶媒体（ディスク記憶装置と光学記憶装置などを含むがそれらに限らない）に実施されるコンピュータープログラム製品の形態を採用することができる。
【００６８】
本発明は、本発明の実施形態に係る方法、デバイス（システム）とコンピュータープログラム製品のフローチャート及び／又はブロック図を参照して説明される。コンピュータープログラムコマンドにより、フローチャート及び／又はブロック図中の各プロセス及び／又はブロック、及びフローチャート及び／又はブロック図中のプロセス及び／又はブロックの組み合わせを実現することができると理解すべきである。
【００６９】
これらのコンピュータープログラムコマンドを汎用コンピューター、専用コンピューター、埋込みプロセッサー又は他のプログラミング可能なデータプロセスデバイスのプロセッサーに提供して１つの機械を作ることにより、コンピューターまたはプログラミング可能なデータプロセスデバイスのプロセッサーによって実行されるコマンドにより、フローチャートの１つ以上のプロセス及び／又はブロック図の１つ以上のブロックで指定された機能を実現するための装置を作る。
【００７０】
これらのコンピュータープログラムコマンドは、コンピューターまたはプログラミング可能なデータプロセスデバイスが特定の方式で動作するコンピュータ読み取り可能なメモリに記憶することもでき、このコンピュータ読み取り可能なメモリに記憶されたコマンドによりコマンド装置が含まれる製品を作り、このコマンド装置がフローチャートの１つ以上のプロセス及び／又はブロック図の１つ以上のブロックで指定された機能を実現する。
【００７１】
これらのコンピュータープログラムコマンドは、コンピューターまたはプログラミング可能なデータプロセスデバイスにアップロードすることができ、コンピューターまたは他のプログラミング可能なデバイスに一連の操作ステップを実行してコンピューターによる処理を生成することで、コンピューターまたは他のプログラミング可能なデバイスで実行されるコマンドにより、フローチャートの１つ以上のプロセス及び／又はブロック図の１つ以上のブロックで指定された機能を実現するためのステップを提供する。
【００７２】
明らかなように、当業者は、本発明の精神および範囲から逸脱することなく、本発明に対して様々な変更及び変形を行うことができる。このようにして、本発明のこれらの変更及び変形が本発明の特許請求の範囲及びその均等物の技術的範囲に属すれば、本発明は、これらの変更及び変形を含む。
【００７３】
産業上の利用可能性
本発明は、取得された第１のビデオ画像と第２のビデオ画像を比較して、第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを取得し、Ｉフレームのビデオ画像を送信する場合に、前記第１のビデオ画像及び前記マクロブロックをネットワーク側に送信し、前記ネットワーク側が前記Ｉフレームのビデオ画像における第１のビデオ画像及び第２のビデオ画像における第１のビデオ画像と異なるマクロブロックを受信し、前記第１のビデオ画像及び前記マクロブロックに基づいて前記第２のビデオ画像を生成することにより、既存のＨ．２６３によって要求されるバンド幅で、効果的且つ確実に３Ｄビデオを送信することができる。
【図１】
2015511780.tif 000003
【図２】
2015511780.tif 000004
【図３】
2015511780.tif 000005
【図４】
2015511780.tif 000006
【図５】
2015511780.tif 000007
【図６】
2015511780.tif 000008
【図７】
2015511780.tif 000009
【図８】
2015511780.tif 000010
【図９】
2015511780.tif 000011
【図１０】
2015511780.tif 000012
【図１１】
2015511780.tif 000013
【図１２】
2015511780.tif 000014
【図１３】
2015511780.tif 000015
【国際調査報告】
2015511780.tif 000016
2015511780.tif 000017
2015511780.tif 000018
2015511780.tif 000019
2015511780.tif 000020
2015511780.tif 000021