(57)【要約】【課題】立体表示用の動画像データの情報量を効率的に圧縮する。【解決手段】エンコーダ１０２は、左眼用画像と右眼用画像のそれぞれで差分検出を行う（第１の差分検出）。次に、左眼用画像と右眼用画像のどちらか一方の検出された差分である第１の差分エリアに対応するエリアを、他方の検出された差分から探索し、探索結果である類似エリアと前記第１の差分エリアとの減算及びズレ情報の検出（第２の差分検出）を行う。次に、前記第１の差分エリアと、前記第２の差分検出により検出された前記ズレ情報及び減算結果と、に基づく圧縮と、を実行する。【選択図】図１
2012156623.tif 000002
【特許請求の範囲】
【請求項１】
左眼用画像と右眼用画像からなる立体表示用の動画像データを圧縮するサーバ装置であって、
前記左眼用画像と右眼用画像のそれぞれで差分検出を行う第１の差分検出と、
前記左眼用画像と右眼用画像のどちらか一方の検出された差分である第１の差分エリアに対応するエリアを、他方の画像から探索し、探索結果である類似エリアと前記第１の差分エリアとの減算及びズレ情報の検出と、
前記第１の差分エリアと、前記ズレ情報及び減算結果と、に基づく圧縮と、
を実行する圧縮手段を備えることを特徴とする、サーバ装置。
【請求項２】
前記ズレ情報が、前記第１の差分エリアの座標と前記類似エリアの座標のズレと、前記類似エリア内の前記第１の差分エリアと重複するエリアを除いた残りのエリアの情報と、を含むことを特徴とする、請求項１記載のサーバ装置。
【請求項３】
サーバ装置とクライアント端末を有する転送システムであって、
前記サーバ装置は、
左眼用画像と右眼用画像からなる立体表示用の動画像データを圧縮する圧縮手段と、
前記圧縮手段により圧縮された前記動画像データを前記クライアント端末に転送する転送手段とを備え、
前記圧縮手段は、
前記左眼用画像と右眼用画像のそれぞれで差分検出を行う第１の差分検出と、
前記左眼用画像と右眼用画像のどちらか一方の検出された差分である第１の差分エリアに対応するエリアを、他方の画像から探索し、探索結果である類似エリアと前記第１の差分エリアとの減算及びズレ情報の検出と、
前記第１の差分エリアと、前記ズレ情報及び減算結果と、に基づく圧縮と、を実行し、
前記クライアント端末は、
前記転送手段から受信した、前記第１の差分エリアと、前記減算及びズレ情報の検出により検出された前記ズレ情報及び減算結果とに基づいて、前記動画像データを復元するデコーダを備える
ことを特徴とする、転送システム。
【請求項４】
デコーダを備えるクライアント端末であって、
前記デコーダは、
左眼用画像と右眼用画像のそれぞれで差分検出を行う第１の差分検出と、
前記左眼用画像と右眼用画像のどちらか一方の検出された差分である第１の差分エリアに対応するエリアを、他方の画像から探索し、探索結果である類似エリアと前記第１の差分エリアとの減算及びズレ情報の検出と、
前記第１の差分エリアと、前記ズレ情報及び減算結果と、に基づく圧縮と、
によって圧縮された立体表示用の動画像データを、
前記第１の差分エリアと、前記ズレ情報及び減算結果と、に基づいて復元する
ことを特徴とする、クライアント端末。
【請求項５】
コンピュータに、
立体表示用の左眼用画像と右眼用画像のそれぞれで差分検出を行う第１の差分検出と、
前記左眼用画像と右眼用画像のどちらか一方の検出された差分である第１の差分エリアに対応するエリアを、他方の画像から探索し、探索結果である類似エリアと前記第１の差分エリアとの減算及びズレ情報の検出と、
前記第１の差分エリアと、前記ズレ情報及び減算結果と、に基づく圧縮と、
を実行させることを特徴とする、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーバ装置、転送システム、クライアント端末及びプログラムに関し、特に、立体表示用の動画像データの情報量を効率的に圧縮する技術に関する。
【背景技術】
【０００２】
近時、ソフトウェアプログラムのユーザインタフェース表示を、そのプログラムが実行されているコンピュータから物理的に離れた端末にて行うシステムが開発され、また、実用化されている（一例としては、例えば、特許文献１）。このようなシステムにおける前記コンピュータを、以下ではサーバ装置と呼び、前記端末を、クライアント端末と呼ぶ。
【０００３】
サーバ装置とクライアント端末間の通信路の態様は、種々のものが考えられる。しかしながら、有線ネットワークよりも通信速度が低速な無線ネットワークや、専用線よりも通信品質が劣るインターネットなどを経由する可能性がある場合は、通信する情報の情報量を削減することが焦眉の課題となる。
【０００４】
情報量を削減する技術としては、送信側で圧縮符号化を行うことがよく知られている。圧縮されたデータは、受信側で伸長復号化される。特に、上述のようなユーザインタフェース表示の圧縮送信方式としては、ＭＰＥＧのような動画像圧縮方式（フレーム間予測）を用いることがよく知られている。この方式は、最新のフレーム（画面）全体を一つ前に送信したフレームと比較し、その差分を圧縮して送信するというものである。
【０００５】
他方、ヒューマンインタフェースの技術分野では、人間の左右の目に別々の画像を見せることで立体感を感じさせる技術がよく知られている。この技術は、フレームシーケンシャル方式や偏光眼鏡方式等種々の方式で、右眼だけに見える映像である右眼用映像と左眼だけに見える映像である左眼用映像を表示して、人間の目に立体感のある映像として知覚させるものである。
【０００６】
上述のようなクライアント端末におけるユーザインタフェース表示が、このような立体映像である場合にも、送信側での立体映像に係る動画像データの情報量の圧縮が課題である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００４−５０３８６２号公報
【特許文献２】特開２０００−０９２５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
立体映像に係る動画像データを転送するにあたって情報量の圧縮を行う先行例としては、例えば、特許文献２に記載のものがある。しかしながら、動画像データを構成する左眼用画像と右眼用画像をそれぞれ圧縮し、多重化した上で転送しているに過ぎず、圧縮の効率化という点で不十分であった。
【０００９】
本発明は、上記実情に鑑みてなされたものであって、立体表示用の動画像データの情報量を効率的に圧縮することが可能なサーバ装置、転送システム、クライアント端末及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明は、第１の態様として、左眼用画像と右眼用画像からなる立体表示用の動画像データを圧縮するサーバ装置であって、前記左眼用画像と右眼用画像のそれぞれで差分検出を行う第１の差分検出と、前記左眼用画像と右眼用画像のどちらか一方の検出された差分である第１の差分エリアに対応するエリアを、他方の画像から探索し、探索結果である類似エリアと前記第１の差分エリアとの減算及びズレ情報の検出と、前記第１の差分エリアと、前記ズレ情報及び減算結果と、に基づく圧縮と、を実行する圧縮手段を備えることを特徴とする、サーバ装置を提供するものである。
【００１１】
また、上記目的を達成するため、本発明は、第２の態様として、サーバ装置とクライアント端末を有する転送システムであって、前記サーバ装置は、左眼用画像と右眼用画像からなる立体表示用の動画像データを圧縮する圧縮手段と、前記圧縮手段により圧縮された前記動画像データを前記クライアント端末に転送する転送手段とを備え、前記圧縮手段は、前記左眼用画像と右眼用画像のそれぞれで差分検出を行う第１の差分検出と、前記左眼用画像と右眼用画像のどちらか一方の検出された差分である第１の差分エリアに対応するエリアを、他方の画像から探索し、探索結果である類似エリアと前記第１の差分エリアとの減算及びズレ情報の検出と、前記第１の差分エリアと、前記ズレ情報及び減算結果と、に基づく圧縮と、を実行し、前記クライアント端末は、前記転送手段から受信した、前記第１の差分エリアと、前記減算及びズレ情報の検出により検出された前記ズレ情報及び減算結果とに基づいて、前記動画像データを復元するデコーダを備えることを特徴とする、転送システムを提供するものである。
【００１２】
また、上記目的を達成するため、本発明は、第３の態様として、デコーダを備えるクライアント端末であって、前記デコーダは、左眼用画像と右眼用画像のそれぞれで差分検出を行う第１の差分検出と、前記左眼用画像と右眼用画像のどちらか一方の検出された差分である第１の差分エリアに対応するエリアを、他方の画像から探索し、探索結果である類似エリアと前記第１の差分エリアとの減算及びズレ情報の検出と、前記第１の差分エリアと、前記ズレ情報及び減算結果と、に基づく圧縮と、によって圧縮された立体表示用の動画像データを、前記第１の差分エリアと、前記ズレ情報及び減算結果と、に基づいて復元することを特徴とする、クライアント端末を提供するものである。
【００１３】
また、上記目的を達成するため、本発明は、第４の態様として、コンピュータに、立体表示用の左眼用画像と右眼用画像のそれぞれで差分検出を行う第１の差分検出と、前記左眼用画像と右眼用画像のどちらか一方の検出された差分である第１の差分エリアに対応するエリアを、他方の画像から探索し、探索結果である類似エリアと前記第１の差分エリアとの減算及びズレ情報の検出と、前記第１の差分エリアと、前記ズレ情報及び減算結果と、に基づく圧縮と、を実行させることを特徴とする、プログラムを提供するものである。
【発明の効果】
【００１４】
本発明によれば、立体表示用の動画像データの情報量を効率的に圧縮することが可能なサーバ装置、転送システム、クライアント端末及びプログラムを提供することをが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明を実施するための形態に係る立体映像送受信システムの機能構成を示すブロック図である。
【図２】本実施形態に係る立体映像送受信システムの処理の流れを示すフローチャート図である。
【図３】図２のステップＳ１０１の結果、検出される差分について説明するための概念図である。
【図４】図２のステップＳ１０２の処理の詳細な手順を示すフローチャートである。
【図５】図４のステップＳ２０８の処理で保持する差分情報について説明するための概念図である。
【発明を実施するための形態】
【００１６】
図１に、本実施形態の機能構成を示す。
本実施形態に係る立体映像送受信システム１は、サーバ装置１００とクライアント端末２００を有する。サーバ装置１００とクライアント端末２００は、ネットワークによって相互にデータ通信可能に接続されている。ネットワークの態様は限定しないが、無線ＬＡＮ通信であるものとする。
【００１７】
サーバ装置１００とクライアント端末２００のハードウェアアーキテクチャは、通常の演算装置、一次記憶装置、二次記憶装置、入出力装置を備えた汎用のコンピュータが使える。クライアント端末２００を製造コスト等の観点から搭載する機能を限定して、いわゆるシンクライアント端末として構成してもよい。
【００１８】
サーバ装置１００は、記憶手段１０１とエンコーダ１０２と転送手段１０３を備える。記憶手段１０１は、クライアント端末２００に転送する左眼用画像と右眼用画像を記憶・格納している。エンコーダ１０２は、記憶手段１０１が記憶する左眼用画像と右眼用画像を圧縮符号化して情報量を圧縮削減する。転送装置１０３は、エンコーダ１０２によって圧縮された左眼用画像と右眼用画像の情報をパケット化等して、クライアント端末２００に送出する。
【００１９】
クライアント端末２００は、受信手段２０１とデコーダ２０２と立体表示制御手段２０３を備える。受信手段２０１は、転送手段１０３が送出した、圧縮された左眼用画像と右眼用画像の情報を受信して、デコーダ２０２に渡す。デコーダ２０２は、渡されたデータを伸長復号化して元のデータに復元する。
【００２０】
元のデータは、すなわち、左眼用画像と右眼用画像である。立体表示制御手段２０３は、復元された左眼用画像と右眼用画像を用いて、人間の目に立体感を感じさせる表示（以下、「立体表示」と呼ぶ）をする制御を行う。立体表示の方式は、フレームシーケンシャル方式や偏光眼鏡方式等があるが、いずれの方式であってもよい。
【００２１】
本実施形態においては、エンコーダ１０２による左眼用画像と右眼用画像の圧縮に際し、各々の画像の差分検出行い（第１の差分検出）、次に、一方の画像から検出した差分（差分エリア）に類似したエリア（類似エリア）を探索し、探索結果と差分エリアとの減算及びズレ情報の検出（第２の差分検出）を行うことにより、効率的な情報量の削減を行う。なお、第１の差分検出は、通常のフレーム間予測で行われる差分検出と同じである。
【００２２】
図２に、本実施形態の処理の流れを示す。
エンコーダ１０２は、記憶手段１０１等から入力される左眼用画像と右眼用画像の各々について、差分検出する（第１の差分検出。ステップＳ１０１）。この差分検出は、通常のフレーム間予測で行われる差分検出と同じである。
【００２３】
図３に、第１の差分検出の結果、検出される差分に説明するための概念図を示す。
左眼用と右眼用の画像ごとに差分検出が行われるため、差分を検出する新フレームの、キーフレーム等の旧フレームからの差分は、画像ごとに検出される。図中、破線で囲った部分が第１の差分検出の結果検出された差分である。
【００２４】
差分検出は、指定のサイズ（８×８、１６×１６など）を単位として行われる。検出された差分は、エリアとして把握できるので、「差分エリア」と呼ぶ。なお、差分エリアの大きさは、指定のサイズを単位とするので、指定のサイズの整数倍になる。８×８で検出を行った場合は、縦の長さと横の長さともに８の倍数となる。
【００２５】
立体視用画像は、左眼用画像と右眼用画像とで非常に類似した画像となっており、また、左右の画像が水平方向に微妙にずれている。言い換えれば、左右２つの差分エリア内の画像が左眼用画像と右眼用画像とで非常によく似ている一方で、差分エリアの座標が微妙にずれている。この「ズレ」は、立体感を知覚させるために存在するものであり、表現したい立体感（立体視画像中のオブジェクトの位置や奥行き）によってさまざまに変化しうる。つまり、あらかじめ設定しておけるような一定の間隔の「ズレ」ではない。したがって、後述する座標の「ズレ」の検出が必要となる。「ズレ」の検出では、左右どちらかの画像の差分エリアを用いて他方の画像から「類似エリア」を探索する。ところが、探索される画像の差分エリアと類似エリアとが完全に一致する場合もあれば一致しない場合もあるので、以下で説明する差分情報も検出して保持しておく。
【００２６】
再び図２を参照する。
エンコーダ１０２は、ステップＳ１０１で検出した一方の画像の差分から他方の画像を復元するための情報を作出する処理を行う（第２の差分検出。ステップＳ１０２）。この差分検出は、検出した差分エリアに類似する類似エリアを他方の画像から探索し、類似エリアと差分エリアの減算結果及びズレ情報を検出する処理である。具体的な処理の手順を以下に説明する。
【００２７】
図４に、第２の差分検出の詳細な手順を示す。
この第２の差分検出において、エンコーダ１０２は、差分エリアと類似エリアの減算と同時に、両差分エリアの座標のズレも検出する。第２の差分検出においては、左右どちらかの画像を基準として、もう一方の画像から「類似エリア」を探索する処理を行って、座標のズレを検出する。以下では、左眼用画像を基準として右眼用画像から類似エリアを探すこととする（いうまでもなく逆でもよい）。
【００２８】
エンコーダ１０２は、まず、探索開始位置の決定をする（ステップＳ２０１）。探索開始位置は、第１の差分検出の結果、検出された左眼用画像の差分エリアの座標の近傍とすると効率がよい。立体視用画像の性質上、差分エリアと類似エリアが大きく離れていることはないためである。
【００２９】
次に、右眼用画像の画素情報から左眼の差分エリア内の画素情報を減算する（ステップＳ２０３）。この減算処理は、ステップＳ２０１で決定した探索開始位置から始めて、１探索単位分ずれた座標でも実行し、所定回数行ったところで終了する（ステップＳ２０２〜Ｓ２０５）。
【００３０】
１探索単位は、好ましくは１画素である。立体視においては、左右の画像が１ないし数画素単位でずれているため、１画素とすることで探索の精度が向上する。所定の回数は、任意に決めてよい。
【００３１】
基準となる差分エリアの座標近傍の、所定の回数分の減算が行われたところで繰り返し処理を終え、各減算結果を比較する。減算結果が“０”になる画素が一番多いエリアを「類似エリア」とする（ステップＳ２０６）。
【００３２】
次に、エンコーダ１０２は、探索の結果見つけた類似エリアと基準となる差分エリアとの減算結果（差分）、及び、両エリアの座標のズレを保持しておく（ステップＳ２０７）。
【００３３】
次に、エンコーダ１０２は、第１の差分検出の結果（右眼用画像において）検出された差分（右眼用画像の差分エリア）と、探索の結果見つけた類似エリアとの差分も保持しておく（ステップＳ２０８）。この差分は、換言すれば、類似エリアと重複した部分を削除した右眼用画像の差分情報である（図５参照）。つまり、類似エリア内から、差分エリアと重複するエリアを除いたエリアの画像である。
【００３４】
再び図２を参照する。
エンコーダ１０２は、ステップＳ１０１とＳ１０２の処理の結果を利用して、エンコード圧縮を行う（ステップＳ１０３）。利用する処理結果は、少なくとも以下の４種類の情報である。
・類似エリア探索の際に基準とした方の、第１の差分検出によって検出された差分（つまり、左眼用画像の差分エリア）
・類似エリアと重複した部分を削除した右眼用画像の差分情報
・左眼用画像の差分エリアと類似エリアの座標のズレ
・左眼用画像の差分エリアと類似エリアとの減算結果
【００３５】
ここで、左眼用画像の差分エリアと類似エリアとの減算結果は、内容の類似した画像同士を減算した結果であり、内容がほぼ“０”であるはずである。そのため、通常用いられるエントロピー符号化を行うと大幅に情報量を削減することができる。したがって、ステップＳ１０３におけるエンコード圧縮処理は、効率がよい。
【００３６】
転送手段１０３は、ステップＳ１０３によって圧縮された上記４種類の情報を含む情報をクライアント端末２００に転送する（ステップＳ１０４）。受信手段２０１にてそれを受信したクライアント端末２００では、デコーダ２０２がデコードを行う（ステップＳ１０５）。
【００３７】
復元手順は、次のようにするとよい。
まず、類似エリア探索の際に基準とした方の、第１の差分検出によって検出された差分（つまり、左眼用画像の差分エリア）から、左眼用画像をデコードする。
次に、類似エリアと重複した部分を削除した右眼用画像の差分情報から、右眼用画像をデコードする。
【００３８】
次に、類似エリア探索の際に基準とした方の、第１の差分検出によって検出された差分（つまり、左眼用画像の差分エリア）と、左眼用画像の差分エリアと類似エリアの座標のズレから、右眼用画像に対する「左眼用画像の差分エリア」のコピー先座標を算出する。
【００３９】
次に、デコードされた右眼用画像に対して、算出したコピー先座標に、「左眼用画像の差分エリア」の画素情報をコピーする。
【００４０】
次に、画素情報がコピーされた右眼用画像に対して、「左眼用画像の差分エリアと類似エリアとの減算結果」を加算する。
【００４１】
以上に説明したように、本実施形態によれば、立体表示用の動画像データを効率的に圧縮することが可能になる。
【符号の説明】
【００４２】
１    立体映像送受信システム
１００    サーバ装置
１０１    記憶手段
１０２    エンコーダ
１０３    転送手段
２００    クライアント端末
２０１    受信手段
２０２    デコーダ
２０３    立体表示制御手段
【図１】
2012156623.tif 000003
【図２】
2012156623.tif 000004
【図３】
2012156623.tif 000005
【図４】
2012156623.tif 000006
【図５】
2012156623.tif 000007