(57)【要約】【課題】第１の映像と第２の映像から立体的なステレオ映像を得る３Ｄ映像システムにおいて、第１の映像と第２の映像は相関が高いため圧縮歪が同一位置に集中する。【解決手段】３Ｄ符号化装置は、第１の映像を小ブロックに分割する第１のブロック分割部２００と、第２の映像を小ブロックに分割する第２のブロック分割部２０１と、第１の映像における小ブロック毎に圧縮パラメータを可変する第１の圧縮符号化部２０２と、第２の映像における小ブロック毎に圧縮パラメータを可変する第２の圧縮符号化部２０３と、小ブロック毎に圧縮パラメータを調整する圧縮パラメータ調整部２０４を具備し、圧縮パラメータ調整部２０４は、第１の映像と第２の映像の同一位置の小ブロックに対して異なる圧縮パラメータを選択する。【選択図】図２
2011228929.tif 000002
【特許請求の範囲】
【請求項１】
立体的なステレオ映像を構成する第１の映像および第２の映像を符号化する３Ｄ符号化装置であって、
前記第１の映像および前記第２の映像を小ブロックに分割するブロック分割部と、
前記小ブロック毎に圧縮パラメータを可変する圧縮符号化部と、
前記小ブロック毎に前記圧縮パラメータを調整する圧縮パラメータ調整部と、を具備し、
前記圧縮パラメータ調整部は、前記第１の映像と前記第２の映像の同一位置の小ブロックに対して異なる圧縮パラメータを選択する
３Ｄ符号化装置。
【請求項２】
前記圧縮パラメータ調整部は、
前記圧縮パラメータとして量子化ステップを制御し、前記第１の映像に対して大きな量子化ステップを選択した場合には前記第２の映像に対して小さな量子化ステップを選択し、前記第１の映像に対して小さな量子化ステップを選択した場合には前記第２の映像に対して大きな量子化ステップを選択する
請求項１記載の３Ｄ符号化装置。
【請求項３】
前記圧縮パラメータ調整部は、
前記圧縮パラメータとして量子化後の整数丸めを制御し、前記第１の映像に対して大きな丸め閾値を選択した場合には前記第２の映像に対して小さな丸め閾値を選択し、前記第１の映像に対して小さな丸め閾値を選択した場合には前記第２の映像に対して大きな丸め閾値を選択する
請求項１記載の３Ｄ符号化装置。
【請求項４】
立体的なステレオ映像を構成する第１の映像および第２の映像を符号化する３Ｄ符号化方法であって、
前記第１の映像および前記第２の映像を小ブロックに分割するブロック分割ステップと、
前記小ブロック毎に圧縮パラメータを可変する圧縮符号化ステップと、
前記小ブロック毎に前記圧縮パラメータを調整する圧縮パラメータ調整ステップと、を含み、
前記圧縮パラメータ調整ステップは、前記第１の映像と前記第２の映像の同一位置の小ブロックに対して異なる圧縮パラメータを選択する
３Ｄ符号化方法。
【請求項５】
前記圧縮パラメータ調整ステップは、
前記圧縮パラメータとして量子化ステップを制御し、前記第１の映像に対して大きな量子化ステップを選択した場合には前記第２の映像に対して小さな量子化ステップを選択し、前記第１の映像に対して小さな量子化ステップを選択した場合には前記第２の映像に対して大きな量子化ステップを選択する
請求項４記載の３Ｄ符号化方法。
【請求項６】
前記圧縮パラメータ調整ステップは、
前記圧縮パラメータとして量子化後の整数丸めを制御し、前記第１の映像に対して大きな丸め閾値を選択した場合には前記第２の映像に対して小さな丸め閾値を選択し、前記第１の映像に対して小さな丸め閾値を選択した場合には前記第２の映像に対して大きな丸め閾値を選択する
請求項４記載の３Ｄ符号化方法。
【請求項７】
立体的なステレオ映像を構成する第１の映像および第２の映像を符号化する３Ｄ符号化方法をコンピュータに実行させるプログラムであって、
前記第１の映像および前記第２の映像を小ブロックに分割するブロック分割ステップと、
前記小ブロック毎に圧縮パラメータを可変する圧縮符号化ステップと、
前記小ブロック毎に前記圧縮パラメータを調整する圧縮パラメータ調整ステップと、を含み、
前記圧縮パラメータ調整ステップは、前記第１の映像と前記第２の映像の同一位置の小ブロックに対して異なる圧縮パラメータを選択する
プログラム。
【請求項８】
前記圧縮パラメータ調整ステップは、
前記圧縮パラメータとして量子化ステップを制御し、前記第１の映像に対して大きな量子化ステップを選択した場合には前記第２の映像に対して小さな量子化ステップを選択し、前記第１の映像に対して小さな量子化ステップを選択した場合には前記第２の映像に対して大きな量子化ステップを選択する
請求項７記載のプログラム。
【請求項９】
前記圧縮パラメータ調整ステップは、
前記圧縮パラメータとして量子化後の整数丸めを制御し、前記第１の映像に対して大きな丸め閾値を選択した場合には前記第２の映像に対して小さな丸め閾値を選択し、前記第１の映像に対して小さな丸め閾値を選択した場合には前記第２の映像に対して大きな丸め閾値を選択する
請求項７記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体的なステレオ映像に対応した圧縮符号化装置に関する。
【背景技術】
【０００２】
左目の映像と右目の映像を独立に同期撮影して立体的な映像信号を得る３Ｄステレオ映像に注目が集まっている。表示デバイスや視聴方法には様々な方式が提案されているが、いずれの方式も左右の視差から立体感を体感させる基本原理に基づいている。図１は左右の視差を利用した３Ｄステレオ映像の原理を説明している。左右の視差はカメラの設置間隔：Ｌ、カメラの輻輳角：θおよび個々の被写体までの距離によって生じる。成人の両目の間隔はおよそ６５ｍｍであるため、２つのカメラは６５ｍｍの間隔で設置されることが多い。被写体までの距離：Ｄにある被写体１０２はちょうど視差がゼロになるため、この位置を基準面としてそれより手前あるいは奥に離れた被写体ほど視差が大きくなることがよく知られている。一般的な３Ｄステレオ映像にはカメラからの距離が異なる被写体が複数同時に撮影されることが通常であり、被写体毎に視差の量が異なることで奥行き感を認知することができる。
【０００３】
このような３Ｄステレオ映像は従来の２Ｄ映像に比べてデータ量が２倍になるため、時間方向のフレーム間相関だけでなく、左右の映像の相関も利用して２Ｄ映像よりも効率よく圧縮符号化する方式がＨ．２６４方式におけるＭＶＣ（Ｍｕｌｔｉ  Ｖｉｅｗ  Ｃｏｄｉｎｇ）として規格化されている（非特許文献１）。ＭＶＣは次世代の光ディスクであるブルーレイディスクの３Ｄ記録方式として採用されたが、ＭＶＣを利用してもなお３Ｄ映像はデータ量が多く、２Ｄ映像に比べて同一メディアへの記録時間が短くなる傾向がある。反対に記録時間を２Ｄ映像と同程度にするためには、圧縮による歪の増加を許容して、より強い圧縮によりデータ量を削減しなければならない。
【０００４】
一方、圧縮による歪の総量は圧縮率を高めるとともに増加するものの、歪の発生場所は映像の局所的な特徴に強く依存しており、フレーム内でも大きく偏ることが知られている。また、人間の視覚特性から絵柄が平坦な部分の歪は容易に検知されるが、絵柄が複雑な部分の歪は検知されにくいという特徴もある。それゆえ、２Ｄ映像に対する画質改善策として１フレームを小ブロックに分割して圧縮符号化する場合には、複雑な絵柄のブロックに歪を集めて、平坦な絵柄のブロックの歪が相対的に少なくなるように圧縮パラメータを調整することが行われてきた。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ＩＳＯ／ＩＥＣ１４４９６−１０  Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ−Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、左目の映像と右目の映像を独立に同期撮影して立体的な映像信号を得る３Ｄステレオ映像において、左右の映像には一定以上の相関があるため、左右の映像における平坦部や複雑部は非常に類似した位置に存在する。また、類似する映像に発生する圧縮歪の形状は類似しやすいことから、仮に２Ｄの画質改善策と同様に平坦部の歪を低減し、複雑部の歪を増加するように圧縮パラメータを調整すると、３Ｄステレオ映像の複雑部に統計的性質の似通った圧縮歪が集中することで、３Ｄステレオ映像として視聴する際に左右の映像が圧縮歪を強め合い著しい画質劣化を引き起こす課題がある。また、３Ｄステレオ映像の圧縮歪には左右の視差が正しく反映されないために、違和感のある立体映像となり、視聴時の疲労感につながる懸念がある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明の３Ｄ符号化装置は、立体的なステレオ映像を構成する第１の映像および第２の映像を符号化する３Ｄ符号化装置であって、前記第１の映像および前記第２の映像を小ブロックに分割するブロック分割部と、前記小ブロック毎に圧縮パラメータを可変する圧縮符号化部と、前記小ブロック毎に前記圧縮パラメータを調整する圧縮パラメータ調整部と、を具備し、前記圧縮パラメータ調整部は、前記第１の映像と前記第２の映像の同一位置の小ブロックに対して異なる圧縮パラメータを選択する。
【発明の効果】
【０００８】
上記の構成によれば、左右の映像に発生する圧縮歪の統計的な性質を変えることで、３Ｄステレオ映像として視聴する際に圧縮歪が相互にキャンセルされ、主観的な画質が改善される効果がある。
【図面の簡単な説明】
【０００９】
【図１】３Ｄステレオ映像の原理を示す図
【図２】実施の形態１における３Ｄ符号化装置の構成を示すブロック図
【図３】実施の形態１における圧縮パラメータ制御マップを示す図
【図４】実施の形態１における圧縮パラメータ制御マップの他の例を示す図
【発明を実施するための形態】
【００１０】
以下、図面を用いて実施の形態を説明する。
【００１１】
（実施の形態１）
図２〜図４を用いて、実施の形態１における３Ｄ符号化装置を説明する。図２は左目と右目に相当する２つのカメラで撮影された第１の映像と第２の映像からなる３Ｄステレオ映像を符号化するブロック図を示している。３Ｄ符号化装置は、第１の映像を小ブロックに分割する第１のブロック分割部２００と、第２の映像を小ブロックに分割する第２のブロック分割部２０１と、小ブロックに分割された第１の映像を小ブロック毎に圧縮符号化する第１の圧縮符号化部２０２と、小ブロックに分割された第２の映像を小ブロック毎に圧縮符号化する第２の圧縮符号化部２０３と、第１および第２の圧縮符号化部の圧縮パラメータを調整する圧縮パラメータ調整部２０４を含む。
【００１２】
従来から２Ｄ映像を圧縮符号化した際の主観画質を改善する手法として、圧縮歪が目立つ部分とそうでない部分の圧縮歪の量を適応的に可変して、主観的な歪を抑えることが広く行われてきた。圧縮歪の量を可変するために映像内の局所的な圧縮パラメータ、特に量子化ステップを変化させることが一般的である。このような画質改善の手法を３Ｄステレオ映像に適用することは可能であるが、左右２つの映像には高い相関があるため、左右の映像で圧縮歪が発生しやすい部分がほぼ同じ被写体に集中する課題がある。左右両方の映像で発生した圧縮歪は、互いに強め合い、３Ｄ映像として視聴した場合の主観画質を大きく低下させる。
【００１３】
人間の両目および脳による認知には、左右いずれかの目で見た映像でもう一方の目で見た映像を補間するように働く特性がある。この特性を利用すれば、３Ｄ映像における圧縮歪を効果的にマスキングすることが可能になる。統計的性質の似通った圧縮歪が強め合うことで発生する著しい画質劣化を解消するためには、左右の映像に対して異なる圧縮パラメータで圧縮符号化を行い、統計的資質の異なる圧縮歪を発生させることが効果的である。そこで本実施の形態の３Ｄ符号化装置は３Ｄステレオ映像の左右２つの映像には高い相関があり、また左右２つの目は互いを補間するように作用することを利用してさらに主観的な画質を改善する。
【００１４】
具体的には、左目に相当するカメラで撮影された第１の映像と、右目に相当するカメラで撮影された第２の映像に対して、第１のブロック分割部２００と第２のブロック分割部２０１は、第１の映像と第２の映像をそれぞれ小ブロックに分割する。第１の圧縮符号化部２０２と第２の圧縮符号化部２０３は小ブロックに分割された第１の映像と第２の映像をそれぞれ小ブロック毎に圧縮符号化する。その際、圧縮パラメータ調整部２０４は第１の映像と第２の映像で逆位相になるように圧縮パラメータを制御する。
【００１５】
図３および図４は圧縮パラメータを制御する際の制御マップを示している。図３では、圧縮パラメータ調整部２０４は、第１の映像と第２の映像に対してそれぞれ碁の目状に圧縮パラメータを制御している。また、図４では、圧縮パラメータ調整部２０４は、水平方向に連続する小ブロックをグループ化してグループ単位で圧縮パラメータを制御している。図３および図４において、圧縮パラメータ調整部２０４は、ハッチングで塗り潰した小ブロック領域の圧縮歪が小さくなるように圧縮パラメータを制御し、塗り潰していない小ブロック領域の圧縮歪が大きくなるように圧縮パラメータを制御する。
【００１６】
圧縮パラメータ調整部２０４は、圧縮パラメータとして、量子化ステップを制御する。圧縮パラメータ調整部２０４は、ハッチングで塗り潰した小ブロック領域の量子化ステップが小さくなるように制御し、塗り潰していない小ブロック領域の量子化ステップを大きくなるように制御する。
【００１７】
圧縮パラメータ調整部２０４は、圧縮パラメータとして、量子化ステップに限らず、例えば量子化後の整数丸めなど、圧縮歪を変更することができるパラメータであれば、どのようなものであってもよい。
【００１８】
このような構成で３Ｄステレオ映像を圧縮符号化することによって、左目の映像で圧縮歪が多い部分は右目の映像で圧縮歪が少なくなり、左目の映像で圧縮歪が少ない部分は右目の映像で圧縮歪が多いことになる。人間の両目は左右それぞれの映像を互いに補間し合うように作用するため、それぞれ圧縮歪が少ないほうの映像に引っ張られて主観画質が改善される。
【００１９】
なお、実施の形態１では図３および図４のような圧縮パラメータのマップを例に説明したが、第１の映像と第２の映像に対して圧縮パラメータが逆位相になるようなマップであればこれに限定するものではない。
【産業上の利用可能性】
【００２０】
本実施の形態にかかる３Ｄ符号化装置は、３Ｄステレオ映像を圧縮符号化する際の主観画質を改善することができ、３Ｄステレオ映像を撮像し、記録する３Ｄビデオカメラ、３Ｄスチルカメラ等に適用することができ、有用である。
【符号の説明】
【００２１】
２００  第１のブロック分割部
２０１  第２のブロック分割部
２０２  第１の圧縮符号化部
２０３  第２の圧縮符号化部
２０４  圧縮パラメータ調整部
【図１】
2011228929.tif 000003
【図２】
2011228929.tif 000004
【図３】
2011228929.tif 000005
【図４】
2011228929.tif 000006