(57)【要約】  圧縮符号化処理された立体映像信号を再生する際に、視聴者が好適に映像信号を視聴可能にする。復号部（２０２）は、入力ストリームとして与えられた立体映像の圧縮符号化信号を復号する。決定部（２０１）は、復号された立体映像信号における第１視点映像と第２視点映像との相違度を評価し、この評価結果に基づいて、立体映像信号の表示方式を決定する。画面生成部（２０５）は、決定された表示方式に従った出力映像を生成する。
2013108307.tif 000002
【特許請求の範囲】
【請求項１】
立体映像の圧縮符号化信号を再生する映像処理装置であって、
前記圧縮符号化信号を復号する復号部と、
前記復号部によって復号された立体映像信号における第１視点映像と第２視点映像との相違度を評価し、この評価結果に基づいて、前記立体映像信号の表示方式を決定する決定部と、
前記立体映像信号から、前記決定部が決定した表示方式に従った出力映像を生成する画面生成部とを備えた
ことを特徴とする映像処理装置。
【請求項２】
請求項１記載の映像処理装置において、
前記決定部は、前記復号部から前記圧縮符号化信号に含まれる符号化情報を取得し、この符号化情報に基づいて、前記立体映像信号における圧縮歪みの影響の大きさを、前記相違度を表す指標として、評価する
ことを特徴とする映像処理装置。
【請求項３】
請求項２記載の映像処理装置において、
前記決定部は、前記符号化情報に含まれる、量子化幅、記録レート、デブロックフィルタの強度設定情報、面内／面間予測ブロック比率、および、動きベクトルの統計情報のうち少なくともいずれか一つを用いて、前記立体映像信号における圧縮歪みの影響の大きさを評価する
ことを特徴とする映像処理装置。
【請求項４】
請求項１記載の映像処理装置において、
前記決定部は、前記立体映像信号の表示方式を、複数の表示方式の中から選択するものであり、
前記複数の表示方式は、少なくとも、前記立体映像信号をそのまま出力する第１方式と、前記立体映像信号における前記第１視点映像と、この第１視点映像から新たに生成した新第２視点映像とを用いて出力する第２方式とを含む
ことを特徴とする映像処理装置。
【請求項５】
請求項４記載の映像処理装置において、
前記立体映像信号における前記第１視点映像と前記第２視点映像とから視差情報を生成し、この視差情報に基づいて、前記第１視点映像から前記新第２視点映像を生成する視差映像生成部を備えている
ことを特徴とする映像処理装置。
【請求項６】
請求項１記載の映像処理装置において、
前記決定部は、前記立体映像のシーンが変わるタイミングで、前記表示方式を決定する
ことを特徴とする映像処理装置。
【請求項７】
立体映像の圧縮符号化信号を再生する映像処理方法であって、
前記圧縮符号化信号を復号し、
前記復号された立体映像信号における第１視点映像と第２視点映像との相違度を評価し、この評価結果に基づいて、前記立体映像信号の表示方式を決定し、
前記立体映像信号から、前記決定した表示方式に従った出力映像を生成する
ことを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、立体映像の圧縮符号化信号を再生する映像処理技術に関する。
【背景技術】
【０００２】
特許文献１には、立体映像信号を符号化する際の情報量の低減を図るために、手前の画像の量子化値を小さくし、奥の方の画像の量子化値を大きくするように各量子化値を計算する符号化装置が記載されている。【０００３】
特許文献２には、従来の映像信号と、映像信号に含まれる被写体の深度情報とから、立体映像における対となる映像信号を作る技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１１３３３４号公報
【特許文献２】特表平１１−５０１１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、圧縮符号化処理された立体映像信号を再生する際に、視聴者が好適に映像を視聴できるようにする映像処理技術を提供する。
【課題を解決するための手段】
【０００６】
本開示における立体映像の圧縮符号化信号を再生する映像処理技術では、圧縮符号化映像信号を復号し、復号された立体映像信号における第１視点映像と第２視点映像との相違度を評価し、この評価結果に基づいて立体映像信号の表示方式を決定し、立体映像信号から、決定した表示方式に従った出力映像を生成する。【０００７】
なお、本開示における第１視点映像と第２視点映像との相違度とは、立体感を得るための視差を与える左右方向のずれ以外の、本来あるべきではない左右映像の違い、例えば映像の垂直方向の位置ずれ、傾きのずれ、大きさのずれ等の程度のことをいう。
【発明の効果】
【０００８】
本開示における映像処理装置は、圧縮符号化処理された立体映像信号を再生する際に、視聴者が好適に映像信号を視聴可能にする。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る映像処理装置の一例であるレコーダ装置の全体構成を示す図
【図２】図１のレコーダ装置における信号処理部の機能ブロック図
【図３】圧縮符号化映像信号を復号し表示する処理の一例を示すフローチャート
【図４】番組再生リストの一例
【図５】映像信号の表示方式を決定する処理の一例を示すフローチャート
【図６】復号された立体映像信号の左右映像の時間に伴う変化の一例
【図７】映像信号の表示方式を決定する処理の一例を示すフローチャート
【図８】利用者に２Ｄ映像出力への切り換えを推奨する画面表示の例
【図９】映像処理装置の他の構成例を示す図
【発明を実施するための形態】
【００１０】
一般に、動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、時間軸上での前または後のピクチャを参照し、画面内を複数の領域に分割したブロック単位で動き量を検出し、検出した動きベクトルを考慮した予測（動き補償）を行う。これによって、予測精度を上げ、符号化効率を向上させている。
【００１１】
画面間予測符号化を行わず、空間的な冗長性の削減を目的とした画面内予測符号化のみを行うピクチャをＩピクチャと呼ぶ。また、１枚の参照ピクチャから画面間予測符号化を行うものをＰピクチャと呼ぶ。また、最大２枚の参照ピクチャから画面間予測符号化を行うものをＢピクチャと呼ぶ。なお、ピクチャとは１枚の画面を表す用語である。
【００１２】
従来、立体視用の映像である３Ｄ映像を符号化する方式として、様々な方式が提案されている。ここで、第１視点の映像信号（第１視点映像信号）と、当該第１視点とは異なる第２視点の映像信号（第２視点映像信号）とで構成された映像信号を３Ｄ映像（立体映像）信号と称す。第１視点映像および第２視点映像は、いずれか一方が右眼用映像であり、他方が左眼用映像である。また、第１視点映像信号または第２視点映像信号のみで構成された映像信号を２Ｄ映像信号と称す。
【００１３】
３Ｄ映像信号を符号化する方式の一例としては以下のものがある。第１視点映像信号は、従来からの２Ｄ映像の方式で符号化する。第２視点映像信号は、同時刻の第１視点映像信号のピクチャを参照ピクチャとして、当該第１視点映像信号に対する画面間予測符号化を用いた方式で符号化する。
【００１４】
また、その他の一例としては、以下のものがある。第１視点映像信号と第２視点映像信号をそれぞれ水平方向に１／２に縮小し、縮小した映像信号を左右に並べる。そして、この映像信号を、２Ｄ映像と同様の方式で符号化する。この場合、符号化ストリームのヘッダ情報に３Ｄ映像であることを示す情報を追加する。これにより、２Ｄ映像の符号化ストリームと、３Ｄ映像の符号化ストリームとが判別できる。
【００１５】
ところで、立体映像信号において、左右映像間に、本来あるべきではない違い、例えば、映像の垂直方向の位置ずれ、傾きのずれ、または大きさのずれ等があると、視聴者は認知的な矛盾を感じる場合がある。このような立体映像の視聴は、視聴者にとって辛くなることが知られている。本開示では、このような問題を解決する映像処理技術を提供する。
【００１６】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１７】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１８】
（実施の形態１）
上述したような、左右映像間に本来あるべきではない違いが生じる要因の一つに、「圧縮歪み」がある。「圧縮歪み」は、立体映像信号を圧縮符号化処理した際に生じるものである。立体映像を構成する左眼用映像と右眼用映像は、立体感を得るための視差を与えるために、左右方向に予め所定のずれが与えられている。このため、左眼用映像と右眼用映像とは、同一時刻のフレームであってもその映像内容は完全に同一ではないし、時間変化も異なっている。したがって、圧縮符号化における画面内予測符号化や画面間予測符号化の処理内容が左右映像で異なるものとなり、これによって、復号した左右映像において歪みが生じる。このような「歪み」は、例えばブロックノイズやモスキートノイズ等が左右映像で異なる位置、範囲、大きさ等で現れることによって、視聴者に知覚される。
【００１９】
上述した「歪み」は、圧縮符号化処理で生成される情報量が比較的低く抑えられている場合、具体的には低ビットレートの信号が出力される場合ほど、より大きな影響となって現れる。これは、記録レートが低い場合、圧縮符号化処理により欠落する情報量が多くなり、復号化した際の映像信号と元の映像信号との相違度が高くなるからである。この相違度が高いと、復号化した左右映像間における相違度も高くなると考えられる。一方、記録レートが高くなると、欠落する情報量が低減するため、復号化した左右映像間における相違度も低くなる。
【００２０】
本実施形態では、立体映像信号における圧縮歪みの影響の大きさを、左右映像における相違度を表す指標として用いる。圧縮歪みの影響の大きさは、圧縮符号化処理における符号化情報、例えば量子化幅等を用いて、評価する。そして、この評価結果に基づいて、立体映像信号の表示方式を決定する。
【００２１】
＜１−１．レコーダ装置＞
図１は映像処理装置の一例としての、映像を記録するためのレコーダ装置１の機能構成を示した図である。レコーダ装置１は、ディスプレイ２、ＢＤディスク３、ＨＤＤ装置４、ＳＤカード５及び、アンテナ６、遠隔制御装置（リモコン）７等、と接続される。
【００２２】
ディスプレイ２は、レコーダ装置１が再生処理した映像を表示する機器である。ＢＤディスク３、ＳＤカード５、ＨＤＤ装置４は、それぞれレコーダ装置１が再生／記録等する映像データを記録する記録媒体である。アンテナ６は、送信局から放送波で配信される映像番組を受信する装置である。遠隔制御装置７は、レコーダ装置１の利用者から指示内容を受け付け、レコーダ装置１へその指示を送信する。
【００２３】
レコーダ装置１は、ドライブ装置１０１と、入出力ＩＦ１０２と、チューナ１０３と、信号処理部１０４と、受信部１０５と、バッファメモリ１０６と、フラッシュメモリ１０７と、を備える。
【００２４】
ドライブ装置１０１は、ディスクトレイを備え、このディスクトレイに収納されたＢＤディスク３から映像信号を読み出す。また、後述する信号処理部１０４から映像信号が入力される場合、ディスクトレイに収納されるＢＤディスク３にこの映像信号の書込みを行う。
【００２５】
入出力ＩＦ１０２は、ＨＤＤ装置４やＳＤカード５とデータ入出力を行うための接続インターフェースである。入出力ＩＦ１０２は、ＨＤＤ装置４またはＳＤカード５と信号処理部１０４との間で、コントロール信号や映像信号の送受信を実現する。入出力ＩＦ１０２は、ＨＤＤ装置４やＳＤカード５から入力した入力ストリームを、信号処理部１０４に送信する。また、入出力ＩＦ１０２は、信号処理部１０４から入力した符号化ストリームまたは非圧縮の映像ストリームを、ＨＤＤ装置４やＳＤカード５に送信する。例えば、入出力ＩＦ１０２は、ＨＤＭＩコネクタ、ＳＤカードスロット、ＵＳＢコネクタ等で実現できる。
【００２６】
チューナ１０３は、アンテナ６で受信した放送波を受信する。チューナ１０３は、信号処理部１０４によって指定された特定の周波数の映像信号を信号処理部１０４に送信する。これによって、信号処理部１０４は、放送波に含まれる特定の周波数の映像信号を処理することができる。
【００２７】
なお、本実施の形態におけるドライブ装置１０１、入出力ＩＦ１０２およびチューナ１０３は、少なくとも立体映像信号を取得できる。ドライブ装置１０１、入出力ＩＦ１０２およびチューナ１０３は、取得した立体映像信号を信号処理部１０４に出力する。以下、信号処理部１０４に出力する信号を入力ストリームと称す。この入力ストリームは、上記の立体映像信号または従来からの映像信号（２Ｄ映像）となる。
【００２８】
ここで、立体映像信号とはディスプレイ２において立体視聴する際に用いられる左右２枚の対になる映像を示す。例えば、立体映像信号は第１視点映像信号と第２視点映像信号とから構成される映像であっても構わない。この立体視用の映像は、ＭＶＣ（Multi View Coding）に基づいて符号化されたストリームであっても構わない。また、第１視点映像信号と第２視点映像信号とがサイドバイサイド方式またはトップアンドボトム方式で配置される映像であっても構わない。
【００２９】
信号処理部１０４は、レコーダ装置１の各部を制御する。さらに、信号処理部１０４は、入出力ＩＦ１０２、ドライブ装置１０１および、チューナ１０３から出力される映像信号の復号化機能及び符号化機能を有する。信号処理部１０４は、例えば、Ｈ．２６４／ＡＶＣやＭＰＥＧ２などの符号化規格を用いて圧縮符号化処理された入力ストリームを復号する。復号された映像信号は、ディスプレイ２で表示される、あるいは、ＢＤディスク３、ＨＤＤ装置４、ＳＤカード５等に記録される。
【００３０】
信号処理部１０４は、また、例えば、Ｈ．２６４／ＡＶＣやＭＰＥＧ２などの符号化規格を用いて入力ストリームを圧縮符号化処理する。なお、信号処理部１０４の処理は上記の圧縮形式に限定されるものではなく、他の圧縮形式を利用しても構わない。圧縮符号化処理された映像信号は、ＢＤディスク３、ＨＤＤ装置４、ＳＤカード５等に記録される。なお、信号処理部１０４の具体的な構成やその処理内容等の詳細については後述する。信号処理部１０４は、マイクロコンピュータで構成してもよいし、ハードワイヤードな回路で構成してもよい。
【００３１】
受信部１０５は、遠隔制御装置７からの操作信号を受信して、信号処理部１０４に送信する。受信部１０５は、例えば、赤外線センサで実現可能である。バッファメモリ１０６は、信号処理部１０４で信号処理を施す際のワークメモリとして用いられる。バッファメモリ１０６は、例えば、ＤＲＡＭで実現可能である。フラッシュメモリ１０７は、信号処理部１０４が実行するプログラム等を記憶したものである。フラッシュメモリ１０７は、ＮＡＮＤ型の不揮発性メモリ等を用いることができる。
【００３２】
＜１−２．信号処理部１０４＞
図２は信号処理部１０４の機能構成を示すブロック図である。信号処理部１０４は、決定部２０１と、復号部２０２と、符号化部２０３と、制御部２０４と、画面生成部２０５と、視差映像生成部２０６と、を備える。
【００３３】
復号部２０２は、制御部２０４の制御情報に基づいて、圧縮符号化処理された入力ストリームを復号して、復号映像と符号化情報とを取得する。そして復号部２０２は、得られた復号映像を画面生成部２０５および視差映像生成部２０６に出力し、また、得られた符号化情報を決定部２０１に出力する。
【００３４】
ここで、符号化情報とは、圧縮符号化処理された映像信号の圧縮符号化処理に必要な各種パラメータ等の情報である。具体的には、入力ストリームの符号化時に適用した量子化幅を含むヘッダ情報や、記録モード、データ量、録画時間などの情報である。つまり、符号化情報とは、入力ストリームの符号化に関連する情報を示す。
【００３５】
符号化部２０３は、制御部２０４の制御情報に基づいて、復号部２０２が生成した復号映像を再度圧縮符号化処理する。例えば、符号化部２０３は、制御部２０４から通知される圧縮処理形式および記録レートでの圧縮符号化処理を行う。符号化部２０３は、得られた圧縮符号化映像信号をＢＤディスク３、ＨＤＤ装置４、ＳＤカード５等のいずれかに記録する。図２では、符号化部２０３がドライブ装置１０１を介してＢＤディスク３に圧縮符号化映像信号を記録する際のデータフローを示している。なお、圧縮符号化映像信号に加えて、当該圧縮符号化処理で採用された記録モード、データ量、再生時間、番組情報などの管理情報も同時に記録される。
【００３６】
なお、ユーザは遠隔制御装置７を介して、圧縮符号化映像信号をＢＤディスク３、ＨＤＤ装置４またはＳＤカード５のいずれに記録するかについて選択することができる。また、符号化部２０３は、圧縮符号化処理しないことを録画条件として受けとった場合、当該復号映像をそのままＢＤディスク３、ＨＤＤ装置４またはＳＤカード５に記録する。
【００３７】
視差映像生成部２０６は、復号部２０２から受け取った復号映像に基づいて、立体映像信号を構成する左右映像間の視差情報を算出する。そして視差映像生成部２０６は、当該立体映像信号を構成する左右映像の一方の映像信号と、算出した視差情報とから、立体映像信号の他方の映像信号として、視差映像信号を生成する。視差映像生成部２０６は、この視差映像信号を画面生成部２０５に出力する。
【００３８】
決定部２０１は、画面生成部２０５が出力する映像の方式、すなわち立体映像信号の表示方式を決定する。具体的には例えば、決定部２０１は、（１）復号部２０２が復号した復号映像を出力する、（２）視差映像信号を用いた補正処理映像を出力する、（３）通常の２Ｄ映像を出力する、という複数の表示方式の中から、復号部２０２が出力する符号化情報に基づいて、いずれか１つを選択する。そして決定部２０１は、決定した方式を示す制御信号を制御部２０４に出力する。決定部２０１の具体的な動作については後述する。
【００３９】
制御部２０４は、信号処理部１０４全体の動作を制御する。制御部２０４は、決定部２０１からの制御信号を基にして、あるいは、受信部１０５を介して遠隔装置７等によりユーザに選択された内容を基にして、立体映像信号の表示方式を、符号化部２０３および画面生成部２０５に設定する。なお、制御部２０４は、決定部２０１によって決定された方式と遠隔制御装置７によって選択された方式とが異なる場合は、例えば、遠隔制御装置７の選択内容を優先的に選択してもよい。
【００４０】
画面生成部２０５は、制御部２０４の制御情報に基づいてディスプレイ２に表示出力する画面を生成する。制御部２０４から、（１）復号映像を出力する、ことを指示された場合、画面生成部２０５は、復号された立体映像信号の左右映像信号をディスプレイ２に出力する。制御部２０４から、（２）補正処理映像を出力する、ことを指示された場合、画面生成部２０５は、復号された立体映像信号を構成する左右映像信号の一方と、当該一方の映像信号から視差映像生成部２０６によって生成された視差映像信号とで構成した立体映像信号をディスプレイ２に出力する。制御部２０４から、（３）２Ｄ映像を出力する、ことを指示された場合、画面生成部２０５は、復号部２０２が復号した立体映像信号に含まれる左右映像信号の一方の映像信号のみを、ディスプレイ２に出力する。
【００４１】
＜１−３．制御フロー＞
図３は信号処理部１０４が圧縮符号化映像信号を復号し表示する場合の処理の一例を示すフローチャートである。
【００４２】
利用者が遠隔制御装置７を用いてレコーダ装置１へ指示を送ると、レコーダ装置１は、受信部１０５で指示内容を受信し、信号処理部１０４へ受信結果を通知する。受信した指示内容が、レコーダ装置１に管理している映像コンテンツの一覧表示を指示する「再生リスト画面表示」であった場合（ステップＳ３０１）、制御部２０４は、画面生成部２０５に再生リストの表示を指示する。画面生成部２０５は図４のような再生可能な番組リストを表示する（ステップＳ３０２）。
【００４３】
制御部２０４は、利用者が選択した再生対象となる映像コンテンツを示す情報を受信する（ステップＳ３０３）。制御部２０４は、受信した情報に示された映像コンテンツが記録または配信されるソース（ここでは、チューナ１０３、ＢＤディスク３、ＨＤＤ装置４またはＳＤカード５）を選択し、そこから該当のコンテンツ（圧縮符号化された立体映像信号）を読み出す。読み出された立体映像信号は、復号部２０２によって復号される（ステップＳ３０４）。なおここでは、復号部２０２は、入力ストリームを全て復号するのではなく、ディスプレイ２に画面を出力するために必要な復号映像を生成し、次のステップＳ３０５に移行する。
【００４４】
決定部２０１は、復号部２０２から符号化情報を取得し、取得した符号化情報から出力映像の表示方式を決定する（ステップＳ３０５）。ここでは決定部２０１は、（１）復号映像を出力する、（２）補正処理映像を出力する、（３）２Ｄ映像を出力する、のいずれかを決定する。（１）の場合はステップＳ３０８へ、（２）の場合はステップＳ３０６へ、（３）の場合はステップＳ３０９へ、信号処理部１０４は制御を移す。なお、符号化情報に基づいた表示方式の決定方法の詳細については後述する。
【００４５】
ステップＳ３０８では、制御部２０４は、決定部２０１による決定内容すなわち上記（１）の旨を画面生成部２０５に通知する。画面生成部２０５は、復号部２０２によって復号された立体映像信号の左右映像信号をディスプレイ２に出力する。
【００４６】
ステップＳ３０６では、視差映像生成部２０６は、立体映像信号の一方の映像信号から視差映像を生成する。なおこの際、復号された立体映像信号の左右どちらの映像信号を基準とするかは、符号化情報に基づいて決定部２０１が決定してもよい。例えば、圧縮符号化処理された立体映像信号が左眼映像信号を基準としており、右眼映像信号は左眼映像信号を参照して圧縮符号化されている場合、視差映像生成部２０６は、基準となる左眼映像信号から視差映像信号を生成するのが好ましい。これにより、右眼映像信号を基準とする場合よりも、より信頼性の高い立体映像信号を構成することが可能となる。なお、視差映像生成部２０６の詳細については後述する。
【００４７】
そして、ステップＳ３０７では、制御部２０４は、決定部２０１による決定内容すなわち上記（２）の旨を画面生成部２０５に通知する。画面生成部２０５は、復号部２０２によって復号された立体映像信号の一方の映像信号と、視差映像生成部２０６から入力された視差映像信号とから構成する立体映像信号をディスプレイ２へ出力する。
【００４８】
一方、ステップＳ３０９では、制御部２０４は、決定部２０１による決定内容すなわち上記（３）の旨を画面生成部２０５に通知する。画面生成部２０５は、復号部２０２によって復号された立体映像信号の左右映像信号の一方の映像信号のみをディスプレイ２へ出力する。この場合、ディスプレイ２には、映像信号が２Ｄ表示される。
【００４９】
制御部２０４は、選択された映像コンテンツがすべて復号／表示終了されたか否かを判断する（ステップＳ３１０）。コンテンツのすべてが復号されれば処理を終了する。復号がまだ完了していない場合は、ステップＳ３０４へ戻り、上述した処理を繰り返す。
【００５０】
＜１−４．決定部２０１の判断内容＞
決定部２０１は、復号部２０２から受けた符号化情報に基づいて、復号された立体映像信号における「圧縮歪み」の影響の大きさを間接的に計る。そして、この圧縮歪みの影響の大きさを、復号された立体映像信号における左右画像の相違度を表す指標として用いて、立体映像信号の表示方式を決定する。ここでは、圧縮歪みの影響の大小が左右画像の相違度を表している、すなわち、圧縮歪みの影響が小さいときは左右画像の相違度は低く、圧縮歪みの影響が大きいときは左右画像の相違度は高い、という前提をおいている。
【００５１】
「圧縮歪み」は、すでに説明したように、立体映像信号を圧縮符号化処理する際における、左右映像のピクチャの相違、あるいは、画面間予測符号化において参照するピクチャの相違などに依存する。このため、復号された立体映像信号における圧縮歪みの影響の大きさは、圧縮符号化処理における条件によって左右される。そこでここでは、符号化情報に含まれた、圧縮符号化処理における量子化幅の情報を用いて、圧縮歪みの影響の大きさを評価するものとする。
【００５２】
図５は図３のステップＳ３０５すなわち、決定部２０１が出力映像の表示方式を決定する処理の一例を示すフローチャートである。
【００５３】
まずステップＳ５０１において、復号部２０２から受けた符号化情報から、量子化幅Ｑの情報を取得する。ここでは、復号対象となっているフレームの量子化幅を用いるものとする。例えば、各フレームには基準となる量子化幅の情報が付されているので、この情報を用いればよい。なお、入力ストリームが、Ｈ．２６４／ＡＶＣ符号化規格を用いて圧縮符号化されている場合、ＱＰ値または量子化マトリクスから量子化幅を算出してもよい。
【００５４】
次にステップＳ５０２において、ステップＳ５０１で取得した量子化幅Ｑを、予め定めた第１の閾値ＴＨ１および第２の閾値ＴＨ２と比較する（ただし、ＴＨ１＜ＴＨ２）。
【００５５】
Ｑ＜ＴＨ１、すなわち、符号化情報から取得した量子化幅Ｑが第１の閾値ＴＨ１未満であるとき、圧縮歪みの影響は小さいと判断する（Ｓ５０３）。この場合は、復号部２０２で復号された立体映像信号は圧縮歪みの影響をあまり受けていないため、視聴者は、復号された立体映像信号をそのまま視聴しても好適に映像を楽しむことが可能となる。決定部２０１は、（１）復号映像を出力する、と決定する。
【００５６】
ＴＨ１≦Ｑ＜ＴＨ２、すなわち、符号化情報から取得した量子化幅Ｑが第１の閾値ＴＨ１以上第２の閾値ＴＨ２未満であるとき、圧縮歪みの影響はやや大きいと判断する。決定部２０１は、（２）補正処理映像を出力する、と決定する。この結果、ディスプレイ２に表示される立体映像は、復号後の第１視点映像と、それを基準にした第２視点映像とから構成されるため、左右映像間の相関度が非常に高く、違和感の少ない映像となる。そのため、視聴者はより自然な立体映像を好適に視聴することができる。
【００５７】
ＴＨ２≦Ｑ、すなわち、符号化情報から取得した量子化幅Ｑが第２の閾値ＴＨ２以上であるとき、復号部２０２で復号された立体映像信号は、圧縮歪みの影響はかなり大きいと判断する。決定部２０１は、（３）２Ｄ映像を出力する、と決定する。この結果、ディスプレイ２に立体映像は出力されず、２Ｄ映像が表示されるため、立体映像の左右映像間のアンバランスにより生じる圧縮歪みの影響は、表示映像に表れない。これにより、視聴者が不自然な立体映像を視聴することを防ぐことができる。
【００５８】
なお、ここでは、復号対象となっているフレームの量子化幅を用いるものとしたが、これに限られるものではない。例えば、直前に復号されたＩピクチャの量子化幅を用いてもよい。また、既に復号した少なくとも一つ以上のフレームの量子化幅の統計処理を行い、その処理結果を用いてもよい。統計処理としては例えば、平均値、ヒストグラムなどを用いる方法がある。さらに、Ｉピクチャ、Ｐピクチャ、Ｂピクチャといったピクチャタイプごとに、別々に統計処理を行い、その処理結果を用いてもよい。
【００５９】
また、ブロック単位で、量子化幅を用いてもかまわない。例えば、各フレームには基準となる量子化幅の情報が付されており、各ブロックには基準となる量子化幅との差分が付されているので、この情報を用いればよい。
【００６０】
さらに、定期的に例えば数秒間隔で、表示方式の決定のために用いる量子化幅を更新するようにしてもよい。例えば、３０フレーム／秒としたとき、１５フレーム（＝０．５秒）毎に、量子化幅を更新するようにしてもよい。この場合、例えば、最も多いピクチャの並び「ＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰ」において、Ｉの量子化幅を用いてもよいし、ＩとＰの量子化幅の平均値を用いてもかまわない。
【００６１】
また、量子化幅以外の情報を用いて、圧縮歪みの影響の大きさを評価してもよい。例えば別の判断指標として、記録レートの情報を用いてもよい。記録レートとは、圧縮符号化映像信号の平均ビットレートであり、例えば、符号化情報に含まれている場合にはそこから取得すればよいし、圧縮符号化映像信号のデータ量と録画時間から求めることもできる。あるいは、記録モードの情報から求めることもできる。記録レートが高いときは圧縮歪みの影響は小さく、記録レートが低いときは圧縮歪みの影響は大きい、と評価できる。決定方法としては、例えば量子化幅を用いた例と同様に、記録レートを２つの閾値と比較し、（１）復号映像を出力する、（２）補正処理映像を出力する、（３）２Ｄ映像を出力する、のいずれかを選択すればよい。
＜１−５．視差映像生成部２０６の動作＞
視差映像生成部２０６は、復号部２０２から受け取った復号映像信号に基づいて、復号映像の視差情報を生成する。視差情報を求める処理は一般的にステレオマッチングと呼ばれ、例えば、立体映像を構成する左右映像の一方から他方を参照して、ピクチャの画面領域を分割したブロック単位で水平方向の移動量を検出し、検出した各ブロックの移動量を視差情報として求める。移動量を検出する方法としては例えば、処理対象ブロックと参照ブロックの画素の差分絶対値和（Sum of Absolute Difference：ＳＡＤ）を用いたブロックマッチングを用いる方法が知られている。
【００６２】
そして、視差映像生成部２０６は、復号部２０２から受け取った復号映像信号と、生成した視差情報とに基づいて、視差映像信号を生成する。視差映像信号を生成する方法としては、例えば、特許文献２に記載されているＤＩＢＲ（Depth Image Based Rendering）処理を用いればよい。
＜１−６．効果等＞
以上のように、本実施形態で説明したレコーダ装置１は、圧縮符号化処理された映像信号を再生する際に、符号化情報に含まれる量子化幅や記録レート等の情報から、復号映像が立体視し易い３Ｄ映像として視聴できるか否かを判断する。そしてレコーダ装置１は、復号した立体映像では好適に視聴できないと判断した場合、新たに好適な立体映像に補正する、あるいは立体映像を２Ｄ映像として出力する、等を決定する。
【００６３】
本実施形態は、立体映像信号の圧縮符号化条件に基づいて、映像の表示方式を変えることによって、視聴者に好適な映像を試聴させるものである。より具体的には、立体映像信号の圧縮符号化処理に伴う「圧縮歪み」の影響の大きさに応じて、（１）復号映像を出力する、（２）補正処理映像を出力する、（３）２Ｄ映像を出力する、を好適に切り換える。これにより、視聴者は圧縮歪みによる違和感の少ない立体映像を好適に視聴することが可能となる。
【００６４】
なお、本実施形態では、圧縮歪みの影響の大きさを評価するために、量子化幅や記録レートの情報を用いる例について説明したが、これに限定されない。その他に利用できる情報としては、符号化情報に含まれる、デブロックフィルタの強度設定情報、面内予測したブロック数と面間予測したブロック数の比率（面内／面間予測ブロック比率）、動きベクトルの統計情報などが考えられる。
【００６５】
デブロックフィルタの強度設定の情報は、ストリームの中に含まれている。設定されたフィルタ強度が強い（係数が大きい）ということは、フィルタを強くかける必要があるということを意味し、この場合は量子化幅が大きく、したがって圧縮歪みの影響が大きい可能性が高い。面内／面間予測ブロック比率は、画像内のオブジェクトの動きが激しいとき、面内予測をより多く使う傾向があるため、その値が大きくなる。そして画像の動きが激しいときには、記録レートを保つために量子化幅を上げる必要がある。したがって、面内／面間予測ブロック比率が高いと、圧縮歪みの影響が大きいと予想される。動きベクトルの統計情報も、画像内のオブジェクトの動きが激しいとき、その値が大きくなる。そして画像の動きが激しいときには、記録レートを保つために量子化幅を上げる必要がある。したがって、動きベクトルの統計情報が大きいと、圧縮歪みの影響が大きいと予想される。
【００６６】
したがって、量子化幅や記録レートだけでなく、デブロックフィルタの強度設定情報、面内／面間予測ブロック比率、あるいは、動きベクトルの統計情報を用いることによって、立体映像信号における圧縮歪みの影響の大きさを評価することができる。また、これらの指標を２以上組み合わせて用いてもかまわない。
【００６７】
（実施の形態２）
実施の形態１では、復号する立体映像の符号化情報に基づいて、出力する映像方式を切り換える構成について説明したが、本実施の形態２では、別の情報に基づいて、出力する映像方式を切り換える構成について説明する。本実施の形態では、実施の形態１と相違する部分を中心に説明を行い、実質的に同一の構成に対する重複説明を省略する場合がある。
【００６８】
＜２−１．動作＞
図６は復号された立体映像信号の左右画像の時間に伴う変化の例を示した図である。同図中、（ａ）は立体映像の左眼用映像、（ｂ）は立体映像の右眼用映像である。本実施形態では、決定部２０１は、復号部２０２によって実際に復号された立体映像信号を受け、左眼用画像と右眼用映像画像とを比較することによって、その相違度を評価する。そして、この評価結果に基づいて、立体映像信号の表示方式を決定する。
【００６９】
例えば、左右画像の相違度が高いときに値が大きくなる指標を用いるものとする。この指標値が第１の閾値未満の場合は、決定部２０１は、復号した立体映像信号をそのまま出力すると判断する。指標値が第１の閾値以上で第２の閾値未満の場合は、決定部２０１は、復号した立体映像信号の左右映像の一方から視差映像を生成し、生成した視差映像と元の一方の映像とを併せて出力すると判断する。さらに、指標値が第２の閾値以上の場合は、決定部２０１は、復号した立体映像信号の左右映像の一方のみを２Ｄ映像として出力すると判断する。
【００７０】
図７は本実施形態において映像信号の表示方式を決定する処理の一例を示すフローチャートである。まず、立体映像信号の左右画像について差分絶対値和（ＳＡＤ）を算出する（Ｓ７０１）。そして、算出したＳＡＤの値が第１の閾値ＴＨ１よりも小さいときは（Ｓ７０２でＮＯ）、左右画像の相違度が低いと判断し、復号した立体映像信号をそのまま出力すると判断する（Ｓ７０８）。
【００７１】
一方、算出したＳＡＤの値が第１の閾値ＴＨ１以上のときは（Ｓ７０２でＹＥＳ）、画面内の位置と差分との関係性を評価し（Ｓ７０３）、差分が画面内でほぼ均等であるときは（Ｓ７０４でＮＯ）、左右画像の相違度が低いと判断し、復号した立体映像信号をそのまま出力すると判断する（Ｓ７０８）。一方、差分の分布が局所的であるときは（Ｓ７０４でＹＥＳ）、左右画像の相違度は高いと考えられるので、算出したＳＡＤの値を第２の閾値ＴＨ２（＞ＴＨ１）と比較する（Ｓ７０５）。
【００７２】
算出したＳＡＤが第２の閾値ＴＨ２より大きいときは（Ｓ７０５でＹＥＳ）、左右画像の相違度がかなり高いと判断し、復号した立体映像信号の左右映像の一方のみを２Ｄ映像として出力する（Ｓ７０６）。一方、算出したＳＡＤが第２の閾値ＴＨ２以下のときは（Ｓ７０５でＮＯ）、左右画像の相違度がやや高いと判断し、生成した視差映像と立体映像の一方の映像とを併せて出力する（Ｓ７０７）。
【００７３】
＜２−２．効果等＞
本実施の形態では、実際に復号した左右映像を比較することによって、左右映像の相違度を評価している。この方法は、実施の形態１で説明した符号化情報に基づいて圧縮歪みを検出する方法と比較して、左右映像の相違度をより正確に評価することができる。これにより、本実施の形態でも、圧縮符号化処理された映像信号を再生する際に、視聴者は圧縮歪みによる違和感の少ない立体映像を好適に視聴することが可能となる。
【００７４】
なお、本実施形態は、圧縮符号化処理に起因した圧縮歪みだけでなく、その他、例えばレンズ等の光学的要因による映像の歪みについても評価することが可能であり、歪みによる違和感の少ない立体映像を提供することが可能である。
【００７５】
（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施の形態１，２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１，２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００７６】
そこで、以下、他の実施の形態を例示する。
【００７７】
上述した実施形態では、立体映像信号の表示方式として、（１）復号映像を出力する、（２）補正処理映像を出力する、（３）２Ｄ映像を出力する、という３つの場合を好適に切り換える場合ものとして説明したが、これに限定されない。例えば、（１）復号映像を出力する、（２）補正処理映像を出力する、という２つの場合を好適に切り換えてもよい。これにより、常に立体映像信号が表示されるため、視聴者は好適な立体映像の視聴をすることができる。この場合は、（１）と（２）を切り換えるために、１個の閾値を用いればよい。
【００７８】
また、上述した実施形態では、信号処理部１０４が、自動的に上記３つの場合を好適に切り換えるものとしたが、この切り換えに利用者による操作を加えるものであっても良い。例えば、レコーダ装置１（信号処理部１０４）は、復号する立体映像信号の左右映像の相違度がかなり高いと判断すると、図８に示すように、表示画面５０１の右下下部に２Ｄ映像出力への切り換えを推奨する表示５０２を出力する。利用者がこの推奨に応じて、遠隔制御装置７により２Ｄ映像への切り換え指示をした場合に、信号処理部１０４が、（３）２Ｄ映像を出力する、への切り換えを実施する。これにより、利用者は、予期しない２Ｄ映像出力への切り換えを防止することができる。この場合は、（１）と（２）の切り換えは信号処理部１０４が自動的に行い、（２）と（３）の切り換えは、利用者からの承認を得たときに行われる。なお、切り換えを推奨する表示は図８に示したものに限られないし、画面表示以外の方法、例えば音声を用いて、利用者に切替を推奨するようにしてもよい。
【００７９】
また、決定部２０１は、立体映像のシーンが変わるタイミングで、映像の表示方式を決定するものであってもよい。シーンチェンジの検出は、例えば、対象フレームと直前のフレームとのＳＡＤが閾値以上であるか否かを判定することによって行えばよい。また、Ｉピクチャのタイミングをシーンチェンジとみなしてもよい。あるいは、上述したようなシーンチェンジの検出と、Ｉピクチャの出現との両方が成立した場合に、映像の表示方式を決定してもよい。これらの方法により、映像の表示方式の切り換えが、映像内容が変わるタイミング、またはそれに近いタイミングで行われるので、表示方式が変わることによる違和感を視聴者に知覚させにくくすることができる。
【００８０】
また、上述した実施形態では、立体映像信号の出力をディスプレイ２に表示する場合について説明したが、これに限定されるものではない。例えば、表示方式が好適に切り換えられた映像を、ＢＤディスク３、ＨＤＤ装置４やＳＤカード５等に記録してもよい。これにより、好適な表示方式が決定された映像信号が記録されるため、次回以降の再生では、実施形態で説明したような処理を再度繰り返す必要がない。
【００８１】
また、上述の実施形態では、映像処理装置の一例としてレコーダ装置１を例にとって説明したが、本開示はこれに限定されない。例えば、アンテナ６、チューナ１０３、信号処理部１０４、受信部１０５、バッファメモリ１０６、フラッシュメモリ１０７およびディスプレイ２を備えたテレビ装置であってもよい。あるいは、図９に示すように、信号処理部１０４、バッファメモリ１０６、フラッシュメモリ１０７等を備えた映像処理装置７０１としても実現できる。この場合には、チューナ１０３、ＢＤディスク３、ＨＤＤ装置４、ＳＤカード５等は、映像入力装置として機能する。さらに、ディスプレイ２は、映像表示装置として機能する。
【００８２】
さらに、本開示は、上述の実施形態で説明した映像処理装置における映像処理方法も含む。例えば、決定部２０１および制御部２０４を演算処理装置（ＣＰＵ）で構成し、このＣＰＵ上で動作するプログラムを用いて、処理を実現することが可能である。さらに、決定部２０１および制御部２０４をＰＬＤ（Programmable Logic Device）で構成し、ＰＬＤを動作させるプログラムデータを用いて、処理を実現することも可能である。さらに、上述の実施形態で説明した処理内容を、ハードウェア例えば集積回路として実現してもよい。例えば、信号処理部１０４の機能を実現したモジュールユニット（電気信号回路の基板単位のユニット）等を用いてもよい。
【００８３】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００８４】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００８５】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００８６】
本開示は、圧縮符号化された立体映像信号を再生する際に、視聴者が好適に映像を視聴可能である映像処理装置に適用可能である。具体的には、ビデオプレイヤー、ビデオカメラ、デジタルカメラ、パーソナルコンピュータ、カメラ付き携帯電話機、ＴＶ等に本開示は適用可能である。
【符号の説明】
【００８７】
１  レコーダ装置（映像処理装置）
２０１  決定部
２０２  復号部
２０５  画面生成部
２０６  視差映像生成部
【図１】
2013108307.tif 000003
【図２】
2013108307.tif 000004
【図３】
2013108307.tif 000005
【図４】
2013108307.tif 000006
【図５】
2013108307.tif 000007
【図６】
2013108307.tif 000008
【図７】
2013108307.tif 000009
【図８】
2013108307.tif 000010
【図９】
2013108307.tif 000011
【手続補正書】
【提出日】平成25年9月3日(2013.9.3)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、立体映像の圧縮符号化信号を再生する映像処理技術に関する。
【背景技術】
【０００２】
特許文献１には、立体映像信号を符号化する際の情報量の低減を図るために、手前の画像の量子化値を小さくし、奥の方の画像の量子化値を大きくするように各量子化値を計算する符号化装置が記載されている。
【０００３】
特許文献２には、従来の映像信号と、映像信号に含まれる被写体の深度情報とから、立体映像における対となる映像信号を作る技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１１３３３４号公報
【特許文献２】特表平１１−５０１１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、圧縮符号化処理された立体映像信号を再生する際に、視聴者が好適に映像を視聴できるようにする映像処理技術を提供する。
【課題を解決するための手段】
【０００６】
本開示における立体映像の圧縮符号化信号を再生する映像処理技術では、圧縮符号化映像信号を復号し、復号された立体映像信号における第１視点映像と第２視点映像との画面全体の相違度を評価し、この評価結果に基づいて立体映像信号の表示方式を決定し、立体映像信号から、決定した表示方式に従った出力映像を生成する。
【０００７】
なお、本開示における第１視点映像と第２視点映像との相違度とは、立体感を得るための視差を与える左右方向のずれ以外の、本来あるべきではない左右映像の違い、例えば映像の垂直方向の位置ずれ、傾きのずれ、大きさのずれ等の程度のことをいう。
【発明の効果】
【０００８】
本開示における映像処理装置は、圧縮符号化処理された立体映像信号を再生する際に、視聴者が好適に映像信号を視聴可能にする。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る映像処理装置の一例であるレコーダ装置の全体構成を示す図
【図２】図１のレコーダ装置における信号処理部の機能ブロック図
【図３】圧縮符号化映像信号を復号し表示する処理の一例を示すフローチャート
【図４】番組再生リストの一例
【図５】映像信号の表示方式を決定する処理の一例を示すフローチャート
【図６】復号された立体映像信号の左右映像の時間に伴う変化の一例
【図７】映像信号の表示方式を決定する処理の一例を示すフローチャート
【図８】利用者に２Ｄ映像出力への切り換えを推奨する画面表示の例
【図９】映像処理装置の他の構成例を示す図
【発明を実施するための形態】
【００１０】
一般に、動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、時間軸上での前または後のピクチャを参照し、画面内を複数の領域に分割したブロック単位で動き量を検出し、検出した動きベクトルを考慮した予測（動き補償）を行う。これによって、予測精度を上げ、符号化効率を向上させている。
【００１１】
画面間予測符号化を行わず、空間的な冗長性の削減を目的とした画面内予測符号化のみを行うピクチャをＩピクチャと呼ぶ。また、１枚の参照ピクチャから画面間予測符号化を行うものをＰピクチャと呼ぶ。また、最大２枚の参照ピクチャから画面間予測符号化を行うものをＢピクチャと呼ぶ。なお、ピクチャとは１枚の画面を表す用語である。
【００１２】
従来、立体視用の映像である３Ｄ映像を符号化する方式として、様々な方式が提案されている。ここで、第１視点の映像信号（第１視点映像信号）と、当該第１視点とは異なる第２視点の映像信号（第２視点映像信号）とで構成された映像信号を３Ｄ映像（立体映像）信号と称す。第１視点映像および第２視点映像は、いずれか一方が右眼用映像であり、他方が左眼用映像である。また、第１視点映像信号または第２視点映像信号のみで構成された映像信号を２Ｄ映像信号と称す。
【００１３】
３Ｄ映像信号を符号化する方式の一例としては以下のものがある。第１視点映像信号は、従来からの２Ｄ映像の方式で符号化する。第２視点映像信号は、同時刻の第１視点映像信号のピクチャを参照ピクチャとして、当該第１視点映像信号に対する画面間予測符号化を用いた方式で符号化する。
【００１４】
また、その他の一例としては、以下のものがある。第１視点映像信号と第２視点映像信号をそれぞれ水平方向に１／２に縮小し、縮小した映像信号を左右に並べる。そして、この映像信号を、２Ｄ映像と同様の方式で符号化する。この場合、符号化ストリームのヘッダ情報に３Ｄ映像であることを示す情報を追加する。これにより、２Ｄ映像の符号化ストリームと、３Ｄ映像の符号化ストリームとが判別できる。
【００１５】
ところで、立体映像信号において、左右映像間に、本来あるべきではない違い、例えば、映像の垂直方向の位置ずれ、傾きのずれ、または大きさのずれ等があると、視聴者は認知的な矛盾を感じる場合がある。このような立体映像の視聴は、視聴者にとって辛くなることが知られている。本開示では、このような問題を解決する映像処理技術を提供する。
【００１６】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１７】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１８】
（実施の形態１）
上述したような、左右映像間に本来あるべきではない違いが生じる要因の一つに、「圧縮歪み」がある。「圧縮歪み」は、立体映像信号を圧縮符号化処理した際に生じるものである。立体映像を構成する左眼用映像と右眼用映像は、立体感を得るための視差を与えるために、左右方向に予め所定のずれが与えられている。このため、左眼用映像と右眼用映像とは、同一時刻のフレームであってもその映像内容は完全に同一ではないし、時間変化も異なっている。したがって、圧縮符号化における画面内予測符号化や画面間予測符号化の処理内容が左右映像で異なるものとなり、これによって、復号した左右映像において歪みが生じる。このような「歪み」は、例えばブロックノイズやモスキートノイズ等が左右映像で異なる位置、範囲、大きさ等で現れることによって、視聴者に知覚される。
【００１９】
上述した「歪み」は、圧縮符号化処理で生成される情報量が比較的低く抑えられている場合、具体的には低ビットレートの信号が出力される場合ほど、より大きな影響となって現れる。これは、記録レートが低い場合、圧縮符号化処理により欠落する情報量が多くなり、復号化した際の映像信号と元の映像信号との相違度が高くなるからである。この相違度が高いと、復号化した左右映像間における相違度も高くなると考えられる。一方、記録レートが高くなると、欠落する情報量が低減するため、復号化した左右映像間における相違度も低くなる。
【００２０】
本実施形態では、立体映像信号における圧縮歪みの影響の大きさを、左右映像における相違度を表す指標として用いる。圧縮歪みの影響の大きさは、圧縮符号化処理における符号化情報、例えば量子化幅等を用いて、評価する。そして、この評価結果に基づいて、立体映像信号の表示方式を決定する。
【００２１】
＜１−１．レコーダ装置＞
図１は映像処理装置の一例としての、映像を記録するためのレコーダ装置１の機能構成を示した図である。レコーダ装置１は、ディスプレイ２、ＢＤディスク３、ＨＤＤ装置４、ＳＤカード５及び、アンテナ６、遠隔制御装置（リモコン）７等、と接続される。
【００２２】
ディスプレイ２は、レコーダ装置１が再生処理した映像を表示する機器である。ＢＤディスク３、ＳＤカード５、ＨＤＤ装置４は、それぞれレコーダ装置１が再生／記録等する映像データを記録する記録媒体である。アンテナ６は、送信局から放送波で配信される映像番組を受信する装置である。遠隔制御装置７は、レコーダ装置１の利用者から指示内容を受け付け、レコーダ装置１へその指示を送信する。
【００２３】
レコーダ装置１は、ドライブ装置１０１と、入出力ＩＦ１０２と、チューナ１０３と、信号処理部１０４と、受信部１０５と、バッファメモリ１０６と、フラッシュメモリ１０７と、を備える。
【００２４】
ドライブ装置１０１は、ディスクトレイを備え、このディスクトレイに収納されたＢＤディスク３から映像信号を読み出す。また、後述する信号処理部１０４から映像信号が入力される場合、ディスクトレイに収納されるＢＤディスク３にこの映像信号の書込みを行う。
【００２５】
入出力ＩＦ１０２は、ＨＤＤ装置４やＳＤカード５とデータ入出力を行うための接続インターフェースである。入出力ＩＦ１０２は、ＨＤＤ装置４またはＳＤカード５と信号処理部１０４との間で、コントロール信号や映像信号の送受信を実現する。入出力ＩＦ１０２は、ＨＤＤ装置４やＳＤカード５から入力した入力ストリームを、信号処理部１０４に送信する。また、入出力ＩＦ１０２は、信号処理部１０４から入力した符号化ストリームまたは非圧縮の映像ストリームを、ＨＤＤ装置４やＳＤカード５に送信する。例えば、入出力ＩＦ１０２は、ＨＤＭＩコネクタ、ＳＤカードスロット、ＵＳＢコネクタ等で実現できる。
【００２６】
チューナ１０３は、アンテナ６で受信した放送波を受信する。チューナ１０３は、信号処理部１０４によって指定された特定の周波数の映像信号を信号処理部１０４に送信する。これによって、信号処理部１０４は、放送波に含まれる特定の周波数の映像信号を処理することができる。
【００２７】
なお、本実施の形態におけるドライブ装置１０１、入出力ＩＦ１０２およびチューナ１０３は、少なくとも立体映像信号を取得できる。ドライブ装置１０１、入出力ＩＦ１０２およびチューナ１０３は、取得した立体映像信号を信号処理部１０４に出力する。以下、信号処理部１０４に出力する信号を入力ストリームと称す。この入力ストリームは、上記の立体映像信号または従来からの映像信号（２Ｄ映像）となる。
【００２８】
ここで、立体映像信号とはディスプレイ２において立体視聴する際に用いられる左右２枚の対になる映像を示す。例えば、立体映像信号は第１視点映像信号と第２視点映像信号とから構成される映像であっても構わない。この立体視用の映像は、ＭＶＣ（Multi View Coding）に基づいて符号化されたストリームであっても構わない。また、第１視点映像信号と第２視点映像信号とがサイドバイサイド方式またはトップアンドボトム方式で配置される映像であっても構わない。
【００２９】
信号処理部１０４は、レコーダ装置１の各部を制御する。さらに、信号処理部１０４は、入出力ＩＦ１０２、ドライブ装置１０１および、チューナ１０３から出力される映像信号の復号化機能及び符号化機能を有する。信号処理部１０４は、例えば、Ｈ．２６４／ＡＶＣやＭＰＥＧ２などの符号化規格を用いて圧縮符号化処理された入力ストリームを復号する。復号された映像信号は、ディスプレイ２で表示される、あるいは、ＢＤディスク３、ＨＤＤ装置４、ＳＤカード５等に記録される。
【００３０】
信号処理部１０４は、また、例えば、Ｈ．２６４／ＡＶＣやＭＰＥＧ２などの符号化規格を用いて入力ストリームを圧縮符号化処理する。なお、信号処理部１０４の処理は上記の圧縮形式に限定されるものではなく、他の圧縮形式を利用しても構わない。圧縮符号化処理された映像信号は、ＢＤディスク３、ＨＤＤ装置４、ＳＤカード５等に記録される。なお、信号処理部１０４の具体的な構成やその処理内容等の詳細については後述する。信号処理部１０４は、マイクロコンピュータで構成してもよいし、ハードワイヤードな回路で構成してもよい。
【００３１】
受信部１０５は、遠隔制御装置７からの操作信号を受信して、信号処理部１０４に送信する。受信部１０５は、例えば、赤外線センサで実現可能である。バッファメモリ１０６は、信号処理部１０４で信号処理を施す際のワークメモリとして用いられる。バッファメモリ１０６は、例えば、ＤＲＡＭで実現可能である。フラッシュメモリ１０７は、信号処理部１０４が実行するプログラム等を記憶したものである。フラッシュメモリ１０７は、ＮＡＮＤ型の不揮発性メモリ等を用いることができる。
【００３２】
＜１−２．信号処理部１０４＞
図２は信号処理部１０４の機能構成を示すブロック図である。信号処理部１０４は、決定部２０１と、復号部２０２と、符号化部２０３と、制御部２０４と、画面生成部２０５と、視差映像生成部２０６と、を備える。
【００３３】
復号部２０２は、制御部２０４の制御情報に基づいて、圧縮符号化処理された入力ストリームを復号して、復号映像と符号化情報とを取得する。そして復号部２０２は、得られた復号映像を画面生成部２０５および視差映像生成部２０６に出力し、また、得られた符号化情報を決定部２０１に出力する。
【００３４】
ここで、符号化情報とは、圧縮符号化処理された映像信号の圧縮符号化処理に必要な各種パラメータ等の情報である。具体的には、入力ストリームの符号化時に適用した量子化幅を含むヘッダ情報や、記録モード、データ量、録画時間などの情報である。つまり、符号化情報とは、入力ストリームの符号化に関連する情報を示す。
【００３５】
符号化部２０３は、制御部２０４の制御情報に基づいて、復号部２０２が生成した復号映像を再度圧縮符号化処理する。例えば、符号化部２０３は、制御部２０４から通知される圧縮処理形式および記録レートでの圧縮符号化処理を行う。符号化部２０３は、得られた圧縮符号化映像信号をＢＤディスク３、ＨＤＤ装置４、ＳＤカード５等のいずれかに記録する。図２では、符号化部２０３がドライブ装置１０１を介してＢＤディスク３に圧縮符号化映像信号を記録する際のデータフローを示している。なお、圧縮符号化映像信号に加えて、当該圧縮符号化処理で採用された記録モード、データ量、再生時間、番組情報などの管理情報も同時に記録される。
【００３６】
なお、ユーザは遠隔制御装置７を介して、圧縮符号化映像信号をＢＤディスク３、ＨＤＤ装置４またはＳＤカード５のいずれに記録するかについて選択することができる。また、符号化部２０３は、圧縮符号化処理しないことを録画条件として受けとった場合、当該復号映像をそのままＢＤディスク３、ＨＤＤ装置４またはＳＤカード５に記録する。
【００３７】
視差映像生成部２０６は、復号部２０２から受け取った復号映像に基づいて、立体映像信号を構成する左右映像間の視差情報を算出する。そして視差映像生成部２０６は、当該立体映像信号を構成する左右映像の一方の映像信号と、算出した視差情報とから、立体映像信号の他方の映像信号として、視差映像信号を生成する。視差映像生成部２０６は、この視差映像信号を画面生成部２０５に出力する。
【００３８】
決定部２０１は、画面生成部２０５が出力する映像の方式、すなわち立体映像信号の表示方式を決定する。具体的には例えば、決定部２０１は、（１）復号部２０２が復号した復号映像を出力する、（２）視差映像信号を用いた補正処理映像を出力する、（３）通常の２Ｄ映像を出力する、という複数の表示方式の中から、復号部２０２が出力する符号化情報に基づいて、いずれか１つを選択する。そして決定部２０１は、決定した方式を示す制御信号を制御部２０４に出力する。決定部２０１の具体的な動作については後述する。
【００３９】
制御部２０４は、信号処理部１０４全体の動作を制御する。制御部２０４は、決定部２０１からの制御信号を基にして、あるいは、受信部１０５を介して遠隔装置７等によりユーザに選択された内容を基にして、立体映像信号の表示方式を、符号化部２０３および画面生成部２０５に設定する。なお、制御部２０４は、決定部２０１によって決定された方式と遠隔制御装置７によって選択された方式とが異なる場合は、例えば、遠隔制御装置７の選択内容を優先的に選択してもよい。
【００４０】
画面生成部２０５は、制御部２０４の制御情報に基づいてディスプレイ２に表示出力する画面を生成する。制御部２０４から、（１）復号映像を出力する、ことを指示された場合、画面生成部２０５は、復号された立体映像信号の左右映像信号をディスプレイ２に出力する。制御部２０４から、（２）補正処理映像を出力する、ことを指示された場合、画面生成部２０５は、復号された立体映像信号を構成する左右映像信号の一方と、当該一方の映像信号から視差映像生成部２０６によって生成された視差映像信号とで構成した立体映像信号をディスプレイ２に出力する。制御部２０４から、（３）２Ｄ映像を出力する、ことを指示された場合、画面生成部２０５は、復号部２０２が復号した立体映像信号に含まれる左右映像信号の一方の映像信号のみを、ディスプレイ２に出力する。
【００４１】
＜１−３．制御フロー＞
図３は信号処理部１０４が圧縮符号化映像信号を復号し表示する場合の処理の一例を示すフローチャートである。
【００４２】
利用者が遠隔制御装置７を用いてレコーダ装置１へ指示を送ると、レコーダ装置１は、受信部１０５で指示内容を受信し、信号処理部１０４へ受信結果を通知する。受信した指示内容が、レコーダ装置１に管理している映像コンテンツの一覧表示を指示する「再生リスト画面表示」であった場合（ステップＳ３０１）、制御部２０４は、画面生成部２０５に再生リストの表示を指示する。画面生成部２０５は図４のような再生可能な番組リストを表示する（ステップＳ３０２）。
【００４３】
制御部２０４は、利用者が選択した再生対象となる映像コンテンツを示す情報を受信する（ステップＳ３０３）。制御部２０４は、受信した情報に示された映像コンテンツが記録または配信されるソース（ここでは、チューナ１０３、ＢＤディスク３、ＨＤＤ装置４またはＳＤカード５）を選択し、そこから該当のコンテンツ（圧縮符号化された立体映像信号）を読み出す。読み出された立体映像信号は、復号部２０２によって復号される（ステップＳ３０４）。なおここでは、復号部２０２は、入力ストリームを全て復号するのではなく、ディスプレイ２に画面を出力するために必要な復号映像を生成し、次のステップＳ３０５に移行する。
【００４４】
決定部２０１は、復号部２０２から符号化情報を取得し、取得した符号化情報から出力映像の表示方式を決定する（ステップＳ３０５）。ここでは決定部２０１は、（１）復号映像を出力する、（２）補正処理映像を出力する、（３）２Ｄ映像を出力する、のいずれかを決定する。（１）の場合はステップＳ３０８へ、（２）の場合はステップＳ３０６へ、（３）の場合はステップＳ３０９へ、信号処理部１０４は制御を移す。なお、符号化情報に基づいた表示方式の決定方法の詳細については後述する。
【００４５】
ステップＳ３０８では、制御部２０４は、決定部２０１による決定内容すなわち上記（１）の旨を画面生成部２０５に通知する。画面生成部２０５は、復号部２０２によって復号された立体映像信号の左右映像信号をディスプレイ２に出力する。
【００４６】
ステップＳ３０６では、視差映像生成部２０６は、立体映像信号の一方の映像信号から視差映像を生成する。なおこの際、復号された立体映像信号の左右どちらの映像信号を基準とするかは、符号化情報に基づいて決定部２０１が決定してもよい。例えば、圧縮符号化処理された立体映像信号が左眼映像信号を基準としており、右眼映像信号は左眼映像信号を参照して圧縮符号化されている場合、視差映像生成部２０６は、基準となる左眼映像信号から視差映像信号を生成するのが好ましい。これにより、右眼映像信号を基準とする場合よりも、より信頼性の高い立体映像信号を構成することが可能となる。なお、視差映像生成部２０６の詳細については後述する。
【００４７】
そして、ステップＳ３０７では、制御部２０４は、決定部２０１による決定内容すなわち上記（２）の旨を画面生成部２０５に通知する。画面生成部２０５は、復号部２０２によって復号された立体映像信号の一方の映像信号と、視差映像生成部２０６から入力された視差映像信号とから構成する立体映像信号をディスプレイ２へ出力する。
【００４８】
一方、ステップＳ３０９では、制御部２０４は、決定部２０１による決定内容すなわち上記（３）の旨を画面生成部２０５に通知する。画面生成部２０５は、復号部２０２によって復号された立体映像信号の左右映像信号の一方の映像信号のみをディスプレイ２へ出力する。この場合、ディスプレイ２には、映像信号が２Ｄ表示される。
【００４９】
制御部２０４は、選択された映像コンテンツがすべて復号／表示終了されたか否かを判断する（ステップＳ３１０）。コンテンツのすべてが復号されれば処理を終了する。復号がまだ完了していない場合は、ステップＳ３０４へ戻り、上述した処理を繰り返す。
【００５０】
＜１−４．決定部２０１の判断内容＞
決定部２０１は、復号部２０２から受けた符号化情報に基づいて、復号された立体映像信号における「圧縮歪み」の影響の大きさを間接的に計る。そして、この圧縮歪みの影響の大きさを、復号された立体映像信号における左右画像の相違度を表す指標として用いて、立体映像信号の表示方式を決定する。ここでは、圧縮歪みの影響の大小が左右画像の相違度を表している、すなわち、圧縮歪みの影響が小さいときは左右画像の相違度は低く、圧縮歪みの影響が大きいときは左右画像の相違度は高い、という前提をおいている。
【００５１】
「圧縮歪み」は、すでに説明したように、立体映像信号を圧縮符号化処理する際における、左右映像のピクチャの相違、あるいは、画面間予測符号化において参照するピクチャの相違などに依存する。このため、復号された立体映像信号における圧縮歪みの影響の大きさは、圧縮符号化処理における条件によって左右される。そこでここでは、符号化情報に含まれた、圧縮符号化処理における量子化幅の情報を用いて、圧縮歪みの影響の大きさを評価するものとする。
【００５２】
図５は図３のステップＳ３０５すなわち、決定部２０１が出力映像の表示方式を決定する処理の一例を示すフローチャートである。
【００５３】
まずステップＳ５０１において、復号部２０２から受けた符号化情報から、量子化幅Ｑの情報を取得する。ここでは、復号対象となっているフレームの量子化幅を用いるものとする。例えば、各フレームには基準となる量子化幅の情報が付されているので、この情報を用いればよい。なお、入力ストリームが、Ｈ．２６４／ＡＶＣ符号化規格を用いて圧縮符号化されている場合、ＱＰ値または量子化マトリクスから量子化幅を算出してもよい。
【００５４】
次にステップＳ５０２において、ステップＳ５０１で取得した量子化幅Ｑを、予め定めた第１の閾値ＴＨ１および第２の閾値ＴＨ２と比較する（ただし、ＴＨ１＜ＴＨ２）。
【００５５】
Ｑ＜ＴＨ１、すなわち、符号化情報から取得した量子化幅Ｑが第１の閾値ＴＨ１未満であるとき、圧縮歪みの影響は小さいと判断する（Ｓ５０３）。この場合は、復号部２０２で復号された立体映像信号は圧縮歪みの影響をあまり受けていないため、視聴者は、復号された立体映像信号をそのまま視聴しても好適に映像を楽しむことが可能となる。決定部２０１は、（１）復号映像を出力する、と決定する。
【００５６】
ＴＨ１≦Ｑ＜ＴＨ２、すなわち、符号化情報から取得した量子化幅Ｑが第１の閾値ＴＨ１以上第２の閾値ＴＨ２未満であるとき、圧縮歪みの影響はやや大きいと判断する。決定部２０１は、（２）補正処理映像を出力する、と決定する。この結果、ディスプレイ２に表示される立体映像は、復号後の第１視点映像と、それを基準にした第２視点映像とから構成されるため、左右映像間の相関度が非常に高く、違和感の少ない映像となる。そのため、視聴者はより自然な立体映像を好適に視聴することができる。
【００５７】
ＴＨ２≦Ｑ、すなわち、符号化情報から取得した量子化幅Ｑが第２の閾値ＴＨ２以上であるとき、復号部２０２で復号された立体映像信号は、圧縮歪みの影響はかなり大きいと判断する。決定部２０１は、（３）２Ｄ映像を出力する、と決定する。この結果、ディスプレイ２に立体映像は出力されず、２Ｄ映像が表示されるため、立体映像の左右映像間のアンバランスにより生じる圧縮歪みの影響は、表示映像に表れない。これにより、視聴者が不自然な立体映像を視聴することを防ぐことができる。
【００５８】
なお、ここでは、復号対象となっているフレームの量子化幅を用いるものとしたが、これに限られるものではない。例えば、直前に復号されたＩピクチャの量子化幅を用いてもよい。また、既に復号した少なくとも一つ以上のフレームの量子化幅の統計処理を行い、その処理結果を用いてもよい。統計処理としては例えば、平均値、ヒストグラムなどを用いる方法がある。さらに、Ｉピクチャ、Ｐピクチャ、Ｂピクチャといったピクチャタイプごとに、別々に統計処理を行い、その処理結果を用いてもよい。
【００５９】
また、ブロック単位で、量子化幅を用いてもかまわない。例えば、各フレームには基準となる量子化幅の情報が付されており、各ブロックには基準となる量子化幅との差分が付されているので、この情報を用いればよい。
【００６０】
さらに、定期的に例えば数秒間隔で、表示方式の決定のために用いる量子化幅を更新するようにしてもよい。例えば、３０フレーム／秒としたとき、１５フレーム（＝０．５秒）毎に、量子化幅を更新するようにしてもよい。この場合、例えば、最も多いピクチャの並び「ＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰ」において、Ｉの量子化幅を用いてもよいし、ＩとＰの量子化幅の平均値を用いてもかまわない。
【００６１】
また、量子化幅以外の情報を用いて、圧縮歪みの影響の大きさを評価してもよい。例えば別の判断指標として、記録レートの情報を用いてもよい。記録レートとは、圧縮符号化映像信号の平均ビットレートであり、例えば、符号化情報に含まれている場合にはそこから取得すればよいし、圧縮符号化映像信号のデータ量と録画時間から求めることもできる。あるいは、記録モードの情報から求めることもできる。記録レートが高いときは圧縮歪みの影響は小さく、記録レートが低いときは圧縮歪みの影響は大きい、と評価できる。決定方法としては、例えば量子化幅を用いた例と同様に、記録レートを２つの閾値と比較し、（１）復号映像を出力する、（２）補正処理映像を出力する、（３）２Ｄ映像を出力する、のいずれかを選択すればよい。
【００６２】
＜１−５．視差映像生成部２０６の動作＞
視差映像生成部２０６は、復号部２０２から受け取った復号映像信号に基づいて、復号映像の視差情報を生成する。視差情報を求める処理は一般的にステレオマッチングと呼ばれ、例えば、立体映像を構成する左右映像の一方から他方を参照して、ピクチャの画面領域を分割したブロック単位で水平方向の移動量を検出し、検出した各ブロックの移動量を視差情報として求める。移動量を検出する方法としては例えば、処理対象ブロックと参照ブロックの画素の差分絶対値和（Sum of Absolute Difference：ＳＡＤ）を用いたブロックマッチングを用いる方法が知られている。
【００６３】
そして、視差映像生成部２０６は、復号部２０２から受け取った復号映像信号と、生成した視差情報とに基づいて、視差映像信号を生成する。視差映像信号を生成する方法としては、例えば、特許文献２に記載されているＤＩＢＲ（Depth Image Based Rendering）処理を用いればよい。
【００６４】
＜１−６．効果等＞
以上のように、本実施形態で説明したレコーダ装置１は、圧縮符号化処理された映像信号を再生する際に、符号化情報に含まれる量子化幅や記録レート等の情報から、復号映像が立体視し易い３Ｄ映像として視聴できるか否かを判断する。そしてレコーダ装置１は、復号した立体映像では好適に視聴できないと判断した場合、新たに好適な立体映像に補正する、あるいは立体映像を２Ｄ映像として出力する、等を決定する。
【００６５】
本実施形態は、立体映像信号の圧縮符号化条件に基づいて、映像の表示方式を変えることによって、視聴者に好適な映像を試聴させるものである。より具体的には、立体映像信号の圧縮符号化処理に伴う「圧縮歪み」の影響の大きさに応じて、（１）復号映像を出力する、（２）補正処理映像を出力する、（３）２Ｄ映像を出力する、を好適に切り換える。これにより、視聴者は圧縮歪みによる違和感の少ない立体映像を好適に視聴することが可能となる。
【００６６】
なお、本実施形態では、圧縮歪みの影響の大きさを評価するために、量子化幅や記録レートの情報を用いる例について説明したが、これに限定されない。その他に利用できる情報としては、符号化情報に含まれる、デブロックフィルタの強度設定情報、面内予測したブロック数と面間予測したブロック数の比率（面内／面間予測ブロック比率）、動きベクトルの統計情報などが考えられる。
【００６７】
デブロックフィルタの強度設定の情報は、ストリームの中に含まれている。設定されたフィルタ強度が強い（係数が大きい）ということは、フィルタを強くかける必要があるということを意味し、この場合は量子化幅が大きく、したがって圧縮歪みの影響が大きい可能性が高い。面内／面間予測ブロック比率は、画像内のオブジェクトの動きが激しいとき、面内予測をより多く使う傾向があるため、その値が大きくなる。そして画像の動きが激しいときには、記録レートを保つために量子化幅を上げる必要がある。したがって、面内／面間予測ブロック比率が高いと、圧縮歪みの影響が大きいと予想される。動きベクトルの統計情報も、画像内のオブジェクトの動きが激しいとき、その値が大きくなる。そして画像の動きが激しいときには、記録レートを保つために量子化幅を上げる必要がある。したがって、動きベクトルの統計情報が大きいと、圧縮歪みの影響が大きいと予想される。
【００６８】
したがって、量子化幅や記録レートだけでなく、デブロックフィルタの強度設定情報、面内／面間予測ブロック比率、あるいは、動きベクトルの統計情報を用いることによって、立体映像信号における圧縮歪みの影響の大きさを評価することができる。また、これらの指標を２以上組み合わせて用いてもかまわない。
【００６９】
（実施の形態２）
実施の形態１では、復号する立体映像の符号化情報に基づいて、出力する映像方式を切り換える構成について説明したが、本実施の形態２では、別の情報に基づいて、出力する映像方式を切り換える構成について説明する。本実施の形態では、実施の形態１と相違する部分を中心に説明を行い、実質的に同一の構成に対する重複説明を省略する場合がある。
【００７０】
＜２−１．動作＞
図６は復号された立体映像信号の左右画像の時間に伴う変化の例を示した図である。同図中、（ａ）は立体映像の左眼用映像、（ｂ）は立体映像の右眼用映像である。本実施形態では、決定部２０１は、復号部２０２によって実際に復号された立体映像信号を受け、左眼用画像と右眼用映像画像とを比較することによって、その相違度を評価する。そして、この評価結果に基づいて、立体映像信号の表示方式を決定する。
【００７１】
例えば、左右画像の相違度が高いときに値が大きくなる指標を用いるものとする。この指標値が第１の閾値未満の場合は、決定部２０１は、復号した立体映像信号をそのまま出力すると判断する。指標値が第１の閾値以上で第２の閾値未満の場合は、決定部２０１は、復号した立体映像信号の左右映像の一方から視差映像を生成し、生成した視差映像と元の一方の映像とを併せて出力すると判断する。さらに、指標値が第２の閾値以上の場合は、決定部２０１は、復号した立体映像信号の左右映像の一方のみを２Ｄ映像として出力すると判断する。
【００７２】
図７は本実施形態において映像信号の表示方式を決定する処理の一例を示すフローチャートである。まず、立体映像信号の左右画像について差分絶対値和（ＳＡＤ）を算出する（Ｓ７０１）。そして、算出したＳＡＤの値が第１の閾値ＴＨ１よりも小さいときは（Ｓ７０２でＮＯ）、左右画像の相違度が低いと判断し、復号した立体映像信号をそのまま出力すると判断する（Ｓ７０８）。
【００７３】
一方、算出したＳＡＤの値が第１の閾値ＴＨ１以上のときは（Ｓ７０２でＹＥＳ）、画面内の位置と差分との関係性を評価し（Ｓ７０３）、差分が画面内でほぼ均等であるときは（Ｓ７０４でＮＯ）、左右画像の相違度が低いと判断し、復号した立体映像信号をそのまま出力すると判断する（Ｓ７０８）。一方、差分の分布が局所的であるときは（Ｓ７０４でＹＥＳ）、左右画像の相違度は高いと考えられるので、算出したＳＡＤの値を第２の閾値ＴＨ２（＞ＴＨ１）と比較する（Ｓ７０５）。
【００７４】
算出したＳＡＤが第２の閾値ＴＨ２より大きいときは（Ｓ７０５でＹＥＳ）、左右画像の相違度がかなり高いと判断し、復号した立体映像信号の左右映像の一方のみを２Ｄ映像として出力する（Ｓ７０６）。一方、算出したＳＡＤが第２の閾値ＴＨ２以下のときは（Ｓ７０５でＮＯ）、左右画像の相違度がやや高いと判断し、生成した視差映像と立体映像の一方の映像とを併せて出力する（Ｓ７０７）。
【００７５】
＜２−２．効果等＞
本実施の形態では、実際に復号した左右映像を比較することによって、左右映像の相違度を評価している。この方法は、実施の形態１で説明した符号化情報に基づいて圧縮歪みを検出する方法と比較して、左右映像の相違度をより正確に評価することができる。これにより、本実施の形態でも、圧縮符号化処理された映像信号を再生する際に、視聴者は圧縮歪みによる違和感の少ない立体映像を好適に視聴することが可能となる。
【００７６】
なお、本実施形態は、圧縮符号化処理に起因した圧縮歪みだけでなく、その他、例えばレンズ等の光学的要因による映像の歪みについても評価することが可能であり、歪みによる違和感の少ない立体映像を提供することが可能である。
【００７７】
（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施の形態１，２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１，２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００７８】
そこで、以下、他の実施の形態を例示する。
【００７９】
上述した実施形態では、立体映像信号の表示方式として、（１）復号映像を出力する、（２）補正処理映像を出力する、（３）２Ｄ映像を出力する、という３つの場合を好適に切り換える場合ものとして説明したが、これに限定されない。例えば、（１）復号映像を出力する、（２）補正処理映像を出力する、という２つの場合を好適に切り換えてもよい。これにより、常に立体映像信号が表示されるため、視聴者は好適な立体映像の視聴をすることができる。この場合は、（１）と（２）を切り換えるために、１個の閾値を用いればよい。
【００８０】
また、上述した実施形態では、信号処理部１０４が、自動的に上記３つの場合を好適に切り換えるものとしたが、この切り換えに利用者による操作を加えるものであっても良い。例えば、レコーダ装置１（信号処理部１０４）は、復号する立体映像信号の左右映像の相違度がかなり高いと判断すると、図８に示すように、表示画面５０１の右下下部に２Ｄ映像出力への切り換えを推奨する表示５０２を出力する。利用者がこの推奨に応じて、遠隔制御装置７により２Ｄ映像への切り換え指示をした場合に、信号処理部１０４が、（３）２Ｄ映像を出力する、への切り換えを実施する。これにより、利用者は、予期しない２Ｄ映像出力への切り換えを防止することができる。この場合は、（１）と（２）の切り換えは信号処理部１０４が自動的に行い、（２）と（３）の切り換えは、利用者からの承認を得たときに行われる。なお、切り換えを推奨する表示は図８に示したものに限られないし、画面表示以外の方法、例えば音声を用いて、利用者に切替を推奨するようにしてもよい。
【００８１】
また、決定部２０１は、立体映像のシーンが変わるタイミングで、映像の表示方式を決定するものであってもよい。シーンチェンジの検出は、例えば、対象フレームと直前のフレームとのＳＡＤが閾値以上であるか否かを判定することによって行えばよい。また、Ｉピクチャのタイミングをシーンチェンジとみなしてもよい。あるいは、上述したようなシーンチェンジの検出と、Ｉピクチャの出現との両方が成立した場合に、映像の表示方式を決定してもよい。これらの方法により、映像の表示方式の切り換えが、映像内容が変わるタイミング、またはそれに近いタイミングで行われるので、表示方式が変わることによる違和感を視聴者に知覚させにくくすることができる。
【００８２】
また、上述した実施形態では、立体映像信号の出力をディスプレイ２に表示する場合について説明したが、これに限定されるものではない。例えば、表示方式が好適に切り換えられた映像を、ＢＤディスク３、ＨＤＤ装置４やＳＤカード５等に記録してもよい。これにより、好適な表示方式が決定された映像信号が記録されるため、次回以降の再生では、実施形態で説明したような処理を再度繰り返す必要がない。
【００８３】
また、上述の実施形態では、映像処理装置の一例としてレコーダ装置１を例にとって説明したが、本開示はこれに限定されない。例えば、アンテナ６、チューナ１０３、信号処理部１０４、受信部１０５、バッファメモリ１０６、フラッシュメモリ１０７およびディスプレイ２を備えたテレビ装置であってもよい。あるいは、図９に示すように、信号処理部１０４、バッファメモリ１０６、フラッシュメモリ１０７等を備えた映像処理装置７０１としても実現できる。この場合には、チューナ１０３、ＢＤディスク３、ＨＤＤ装置４、ＳＤカード５等は、映像入力装置として機能する。さらに、ディスプレイ２は、映像表示装置として機能する。
【００８４】
さらに、本開示は、上述の実施形態で説明した映像処理装置における映像処理方法も含む。例えば、決定部２０１および制御部２０４を演算処理装置（ＣＰＵ）で構成し、このＣＰＵ上で動作するプログラムを用いて、処理を実現することが可能である。さらに、決定部２０１および制御部２０４をＰＬＤ（Programmable Logic Device）で構成し、ＰＬＤを動作させるプログラムデータを用いて、処理を実現することも可能である。さらに、上述の実施形態で説明した処理内容を、ハードウェア例えば集積回路として実現してもよい。例えば、信号処理部１０４の機能を実現したモジュールユニット（電気信号回路の基板単位のユニット）等を用いてもよい。
【００８５】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００８６】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００８７】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００８８】
本開示は、圧縮符号化された立体映像信号を再生する際に、視聴者が好適に映像を視聴可能である映像処理装置に適用可能である。具体的には、ビデオプレイヤー、ビデオカメラ、デジタルカメラ、パーソナルコンピュータ、カメラ付き携帯電話機、ＴＶ等に本開示は適用可能である。
【符号の説明】
【００８９】
１  レコーダ装置（映像処理装置）
２０１  決定部
２０２  復号部
２０５  画面生成部
２０６  視差映像生成部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
立体映像の圧縮符号化信号を再生する映像処理装置であって、
前記圧縮符号化信号を復号する復号部と、
前記復号部によって復号された立体映像信号における第１視点映像と第２視点映像との画面全体の相違度を評価し、この評価結果に基づいて、前記立体映像信号の表示方式を決定する決定部と、
前記立体映像信号から、前記決定部が決定した表示方式に従った出力映像を生成する画面生成部とを備えた
ことを特徴とする映像処理装置。
【請求項２】
請求項１記載の映像処理装置において、
前記決定部は、前記復号部から前記圧縮符号化信号に含まれる符号化情報を取得し、この符号化情報に基づいて、前記立体映像信号を圧縮符号化処理した際に生じた圧縮歪みの影響の大きさを、前記相違度を表す指標として、評価する
ことを特徴とする映像処理装置。
【請求項３】
請求項２記載の映像処理装置において、
前記決定部は、前記符号化情報に含まれる、量子化幅、記録レート、デブロックフィルタの強度設定情報、面内／面間予測ブロック比率、および、動きベクトルの統計情報のうち少なくともいずれか一つを用いて、前記立体映像信号における圧縮歪みの影響の大きさを評価する
ことを特徴とする映像処理装置。
【請求項４】
請求項１記載の映像処理装置において、
前記決定部は、前記立体映像信号の表示方式を、複数の表示方式の中から選択するものであり、
前記複数の表示方式は、少なくとも、前記立体映像信号をそのまま出力する第１方式と、前記立体映像信号における前記第１視点映像と、この第１視点映像から新たに生成した新第２視点映像とを用いて出力する第２方式とを含む
ことを特徴とする映像処理装置。
【請求項５】
請求項４記載の映像処理装置において、
前記立体映像信号における前記第１視点映像と前記第２視点映像とから視差情報を生成し、この視差情報に基づいて、前記第１視点映像から前記新第２視点映像を生成する視差映像生成部を備えている
ことを特徴とする映像処理装置。
【請求項６】
請求項１記載の映像処理装置において、
前記決定部は、前記立体映像のシーンが変わるタイミングで、前記表示方式を決定する
ことを特徴とする映像処理装置。
【請求項７】
立体映像の圧縮符号化信号を再生する映像処理方法であって、
前記圧縮符号化信号を復号し、
前記復号された立体映像信号における第１視点映像と第２視点映像との画面全体の相違度を評価し、この評価結果に基づいて、前記立体映像信号の表示方式を決定し、
前記立体映像信号から、前記決定した表示方式に従った出力映像を生成する
ことを特徴とする映像処理方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2013108307.tif 000012
【図２】
2013108307.tif 000013
【図３】
2013108307.tif 000014
【図４】
2013108307.tif 000015
【図５】
2013108307.tif 000016
【図６】
2013108307.tif 000017
【図７】
2013108307.tif 000018
【図８】
2013108307.tif 000019
【図９】
2013108307.tif 000020
【国際調査報告】
2013108307.tif 000021
2013108307.tif 000022