(57)【要約】【課題】複数の立体映像を視認する場合に、ユーザが違和感を持つことなく映像を視認できるようにする。【解決手段】本発明の一実施形態に係るテレビ受像機１００は、複数の立体映像を構成する映像データの入力を受けて、各立体映像の奥行き方向の位置を示すＺ値を抽出するＺ値抽出部１１４と、抽出したＺ値を、複数の立体映像の立体感を統一するように補正するＺ値補正部１１６と、を備える。この構成により、複数の立体映像のＺ値を補正することで、複数の立体映像の立体感を統一することが可能となる。【選択図】図１
2012049880.tif 000002
【特許請求の範囲】
【請求項１】
複数の立体映像を構成する映像データの入力を受けて、各立体映像の奥行き方向の位置を示す特性値を抽出する特性値抽出部と、
前記特性値を、前記複数の立体映像の立体感を統一するように補正する特性値補正部と、
を備える、画像処理装置。
【請求項２】
前記特性値補正部は、各立体映像における前記特性値のダイナミックレンジが同一となるように前記特性値を補正する、請求項１に記載の画像処理装置。
【請求項３】
前記特性値補正部は、前記立体映像を構成する１フレーム毎に、各立体映像における前記特性値のダイナミックレンジが同一となるように前記特性値を補正する、請求項２に記載の画像処理装置。
【請求項４】
前記特性値補正部は、任意の時間内において、各立体映像における前記特性値のダイナミックレンジが同一となるように前記特性値を補正する、請求項２に記載の画像処理装置。
【請求項５】
前記特性値補正部は、各立体映像における前記特性値の最大値又は最小値が同一となるように前記特性値を補正する、請求項１又は２に記載の画像処理装置。
【請求項６】
前記特性値補正部は、前記立体映像を構成する１フレーム毎に、各立体映像における前記特性値の最大値又は最小値が同一となるように前記特性値を補正する、請求項５に記載の画像処理装置。
【請求項７】
前記特性値補正部は、任意の時間内において、各立体映像における前記特性値の最大値又は最小値が同一となるように前記特性値を補正する、請求項５に記載の画像処理装置。
【請求項８】
複数の立体映像を構成する映像データの入力を受けて、各立体映像の奥行き方向の位置を示す特性値を抽出するステップと、
前記特性値を、前記複数の立体映像の立体感を統一するように補正するステップと、
を備える、画像処理方法。
【請求項９】
立体映像を構成する映像データの入力を受けて、立体映像の奥行き方向の位置を示す第１の特性値を抽出する第１の特性値抽出部と、前記第１の特性値を、第２の画像処理装置で抽出された第２の特性値に基づいて前記第２の画像処理装置に入力された立体映像との間で立体感を統一するように補正する第１の特性値補正部と、前記第２の画像処理装置で抽出された前記第２の特性値に関する情報を取得する第１の制御部と、を有する、第１の画像処理装置と、
立体映像を構成する映像データの入力を受けて、立体映像の奥行き方向の位置を示す第２の特性値を抽出する第２の特性値抽出部と、前記第２の特性値を、前記第１の画像処理装置で抽出された前記第１の特性値に基づいて前記第１の画像処理装置に入力された立体映像との間で立体感を統一するように補正する第２の特性値補正部と、前記第１の画像処理装置で抽出された前記第１の特性値を取得する第２の制御部と、を有する、前記第２の画像処理装置と、
を備える、画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理システムに関する。
【背景技術】
【０００２】
近時においては、立体映像を表示する表示装置が広く普及しつつある。立体映像の表示装置は、２つの異なる映像信号を、空間的・時間的な手法を用いて左右の目に独立に伝送することを目的として構成されており、右目と左目に独立に伝送された映像信号により視差を再現することにより、立体映像を認識させることができる。このような立体映像の表示において、下記の特許文献１〜３には、立体視を行うユーザの疲労感を軽減することを想定した技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２３９３８８号公報
【特許文献２】特開２００９−２３９３８９号公報
【特許文献３】特開２０１０−６６７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、左右の目に独立に映像信号を伝送する方式は各種考案されているが、立体感（奥行き感）の強度は視差の大小に大きく影響を受ける。特に、複数の立体映像を同時に表示する場合、それぞれの立体映像の立体感が異なる場合がある。これは、例えば複数の映像の個々において、映像が制作された環境等の違いにより、左右の映像間に存在する視差量等に差が生じるためである。複数の立体映像間におけるこのような視差量の差は、ユーザにとっては映像の立体感の違いとして感じられ、ユーザに違和感を与えるものとなる。
【０００５】
また、複数の立体映像が同時に表示されている場合に、立体感の異なる複数の映像の間をユーザの視線が移動すると、ユーザは無意識のうちに各映像に対する合焦動作を毎回行う必要があり、結果として眼に疲労が生じてしまう問題がある。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数の立体映像を視認する場合に、ユーザが違和感を持つことなく映像を視認することが可能な、新規かつ改良された画像処理装置、画像処理方法及び画像処理システムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、複数の立体映像を構成する映像データの入力を受けて、各立体映像の奥行き方向の位置を示す特性値を抽出する特性値抽出部と、前記特性値を、前記複数の立体映像の立体感を統一するように補正する特性値補正部と、を備える、画像処理装置が提供される。
【０００８】
また、前記特性値補正部は、各立体映像における前記特性値のダイナミックレンジが同一となるように前記特性値を補正するものであってもよい。
【０００９】
また、前記特性値補正部は、前記立体映像を構成する１フレーム毎に、各立体映像における前記特性値のダイナミックレンジが同一となるように前記特性値を補正するものであってもよい。
【００１０】
また、前記特性値補正部は、任意の時間内において、各立体映像における前記特性値のダイナミックレンジが同一となるように前記特性値を補正するものであってもよい。
【００１１】
また、前記特性値補正部は、各立体映像における前記特性値の最大値又は最小値が同一となるように前記特性値を補正するものであってもよい。
【００１２】
また、前記特性値補正部は、前記立体映像を構成する１フレーム毎に、各立体映像における前記特性値の最大値又は最小値が同一となるように前記特性値を補正するものであってもよい。
【００１３】
また、前記特性値補正部は、任意の時間内において、各立体映像における前記特性値の最大値又は最小値が同一となるように前記特性値を補正するものであってもよい。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、複数の立体映像を構成する映像データの入力を受けて、各立体映像の奥行き方向の位置を示す特性値を抽出するステップと、前記特性値を、前記複数の立体映像の立体感を統一するように補正するステップと、を備える、画像処理方法が提供される。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、立体映像を構成する映像データの入力を受けて、立体映像の奥行き方向の位置を示す第１の特性値を抽出する第１の特性値抽出部と、前記第１の特性値を、第２の画像処理装置で抽出された第２の特性値に基づいて前記第２の画像処理装置に入力された立体映像との間で立体感を統一するように補正する第１の特性値補正部と、前記第２の画像処理装置で抽出された前記第２の特性値に関する情報を取得する第１の制御部と、を有する、第１の画像処理装置と、立体映像を構成する映像データの入力を受けて、立体映像の奥行き方向の位置を示す第２の特性値を抽出する第２の特性値抽出部と、前記第２の特性値を、前記第１の画像処理装置で抽出された前記第１の特性値に基づいて前記第１の画像処理装置に入力された立体映像との間で立体感を統一するように補正する第２の特性値補正部と、前記第１の画像処理装置で抽出された前記第１の特性値を取得する第２の制御部と、を有する、前記第２の画像処理装置と、を備える、画像処理システムが提供される。
【発明の効果】
【００１６】
本発明によれば、複数の立体映像を視認する場合に、ユーザが違和感を持つことなく映像を視認することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係るテレビ受像機の構成例を示す模式図である。
【図２】Ｚ値のダイナミックレンジと、最大値、最小値を説明するための模式図である。
【図３】複数のテレビ受像機を備えるシステムの構成例を示す模式図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
なお、説明は以下の順序で行うものとする。
１．テレビ受像機の構成例
２．Ｚ値補正部によるＺ値の補正
３．複数のテレビ受像機を備えるシステムの構成例
【００２０】
［１．テレビ受像機の構成例］
本実施形態では、複数の立体映像間で立体感を統一し、全ての立体映像を均一な立体感と共に表示する画像処理装置、画像処理方法、画像処理システムを提供する。図１は、本発明の一実施形態に係るテレビ受像機１００の構成例を示す模式図である。なお、ここではテレビ受像機を例示するが、本実施形態に係る装置はテレビ受像機に限定されるものではなく、ユーザに複数の立体映像を視認させるための機器、システム等に広く適用できる。例えば、本実施形態に係る装置は、複数の立体映像を表示するパーソナルコンピュータ（ＰＣ）などの情報処理装置、デジタルカメラ、携帯電話などのモバイル機器などであっても良い。
【００２１】
図１に示すテレビ受像機１００は、複数の映像入力端子として、チューナー１０２、Ｅｔｈｅｒ入出力端子１０６、ＨＤＭＩ端子１１０、及びアナログ入力端子１１２を有している。放送系の映像ソースはチューナー１０２より入力され、ネットワーク系の映像ソースはＥｔｈｅｒ入出力端子１０６より入力される。また、ベースバンドデジタル映像ソースはＨＤＭＩ端子１１０より入力される。また、ＤＶＤプレーヤの出力、ビデオデッキの出力などのアナログ映像ソースは、アナログ入力端子１１２より入力される。
【００２２】
チューナー１０２に入力された映像ソースは、復号部１０４にて復号されて、Ｚ値抽出部１１４に送られる。また、Ether入出力端子１０６に入力された映像ソースは、復号部１０８にて復号されて、Ｚ値抽出部１１４に送られる。一方、ＨＤＭＩ端子１１０に入力された映像ソース、アナログ入力端子１１２に入力された映像ソースは、Ｚ値抽出部１１４に直接送られる。なお、３Ｄ放送がアナログ放送で実施される場合、チューナー１０２の後段処理としては、復号部１０４を通らない不図示のパス（path）によりチューナー１０２の出力がＺ値抽出部１１４に入力される。
【００２３】
立体映像の信号フォーマットには様々なものが存在するが、各入力端子より入力される映像ソースが各画素の奥行き方向の情報を持ち合わせている場合と、映像ソースが各画素の奥行き方向の情報を持ち合わせていない場合の両方の場合が想定される。
【００２４】
本実施形態では、この奥行き方向の情報量（特性値）をＺ値と称することとする。Ｚ値抽出部１１４は、全ての映像ソースからまずＺ値を抽出する。Ｚ値の抽出は、映像信号に付帯している場合にはその値を抽出して利用する。
【００２５】
また、Ｚ値が映像信号に付帯していない場合、Ｚ値抽出部１１４は、画像解析によりＺ値を抽出する。例えば、立体映像フォーマットが左目用と右目用の２種類の画像を伝送する映像フォーマットである場合には、これら２枚の画像を画素レベルで比較し、パターン認識を行うことで各画素間の視差量を演算し、視差量からＺ値を得る。例えば、左目用と右目用の２種類の画像のそれぞれには、対応するパターン（建物、人物など）が存在するため、Ｚ値抽出部１１４は、これらのパターンを認識した結果から、左目用及び右目用の２つの画像内で各パターンの視差量（画素ズレ量）を求める。このようにして、全画素分の視差量を抽出する。立体映像の奥行き方向の情報量であるＺ値は、視差量に対応する値であるため、視差量から求めることができる。また、視差量そのものをＺ値としても良い。
【００２６】
このようにして得られたＺ値は、Ｚ値補正部１１６へ入力される。後で詳細に説明するが、Ｚ値補正部１１６は、各映像ソースに対応する映像信号間でＺ値を比較した結果に基づいて、Ｚ値を補正することで、各立体映像信号に存在する立体感の差を調整する。
【００２７】
表示処理部１１８には、Ｚ値が補正された映像ソースが入力される。表示処理部１１８は、補正されたＺ値から各画素の視差量を求め、視差を有する左目用／右目用の２種類の映像データを作成する処理を行う。表示部１２０は、例えば液晶ディスプレイ等からなり、表示処理部１１８から入力された映像データに基づいて表示を行う。
【００２８】
制御部１３０は、中央演算処理装置（ＣＰＵ）等から構成されることができ、図１に示す各構成要素を制御する。特に、制御部１３０は、Ｚ値抽出部１１４で抽出された、各映像ソースに対応するＺ値を比較し、この結果に応じてＺ値補正部１１６におけるＺ値の補正を制御する。また、制御部１３０は、補正したＺ値に基づいて、表示処理部１１８における映像データの生成処理を制御する。
【００２９】
［２．Ｚ値補正部によるＺ値の補正］
次に、Ｚ値補正部１１６によるＺ値の補正について詳細に説明する。Ｚ値補正部１１６は、以下の（１）〜（４）で説明するような補正方法により、Ｚ値を補正する。
【００３０】
（１）ある瞬間の立体映像１フレームのＺ値の分布を比較し、そのダイナミックレンジが等しくなるよう調整する。
この方法では、各映像ソース毎に、１フレームの画像内で、奥行き方向で最も手前側（視聴者に近い側）に位置する画像と、最も奥側（視聴者から遠い側）に位置する画像との差分からＺ値のダイナミックレンジを求める。そして、各映像ソースにおいて、１フレーム毎に、ダイナミックレンジが等しくなるようにＺ値を補正する。これにより、複数の立体映像を視認するユーザは、全ての立体映像のダイナミックレンジが等しくなるように調整されているため、全ての映像ソースの立体感が統一された状態を視認できる。従って、例えば特定の映像ソースのみ奥行き方向の立体感が強調されてしまうような事態を回避することができる。これにより、視聴者に違和感を与えることを抑えるとともに、視聴者の疲労感を抑えることが可能となる。
【００３１】
（２）ある一定時間（複数フレーム）にわたって立体映像のＺ値の分布を調べ、そのダイナミックレンジが等しくなるよう調整する。
この方法では、各映像ソース毎に、ある一定時間内のＺ値の分布を取得して、その一定時間内で各映像ソースのダイナミックレンジが等しくなるようにＺ値を補正する。一例として、一定時間内の各映像ソースのダイナミックレンジが、その一定時間内における各映像ソースのダイナミックレンジの平均値となるように補正を行う。これにより、フレーム毎にダイナミックレンジが大きく変化するような映像ソースにおいても、ダイナミックレンジが急激に変化することを抑えることができ、視聴者にとってより視聴し易い複数の立体映像を提供することができる。
【００３２】
（３）ある瞬間の立体映像１フレームのＺ値の分布を比較し、その最大値（もしくは最小値）が等しくなるように調整する。この方法では、各映像ソースの１フレーム毎のＺ値の最大値（もしくは最小値）が等しくなるようにＺ値を補正する。Ｚ値の最大値が等しくなるように補正した場合、各映像ソースにおいて、１フレーム毎に最も手前側（視聴者側）に位置する映像の位置が同一となる。従って、特定の映像ソースの画像の位置が他の映像ソースに比べてより手前側に表示されてしまうことを回避できる。また、Ｚ値の最小値が等しくなるように補正した場合、各映像ソースにおいて、１フレーム毎に最も奥側（視聴者から離れた側）に位置する映像の位置が同一となる。従って、特定の映像ソースの画像の位置が他の映像ソースに比べてより奥側に表示されてしまうことを回避できる。これにより、視聴者に違和感を与えることを抑えるとともに、視聴者の疲労感を抑えることが可能となる。
【００３３】
（４）ある一定時間にわたって立体映像のＺ値の分布を調べ、その最大値（もしくは最小値）が等しくなるよう調整する。この方法では、各映像ソース毎に、ある一定時間内のＺ値の分布を取得して、その一定時間内の最大値（もしくは最小値）が等しくなるようにＺ値を補正する。一例として、一定時間内の各映像ソースの最大値（もしくは最小値）が、その一定時間内における各映像ソースの各フレームにおける最大値（もしくは最小値）の平均値となるように補正を行う。これにより、フレーム毎に最大値（もしくは最小値）が大きく変化するような映像ソースにおいても、最大値（もしくは最小値）が急激に変化することを抑えることができ、視聴者にとってより視認し易い複数の立体映像を提供することが可能となる。なお、この場合においても、オリジナルソースの持つダイナミックレンジは保存（維持）されているため、奥行き感を損なうことなく映像を提供することができる。
【００３４】
図２は、Ｚ値のダイナミックレンジと、最大値、最小値を説明するための模式図である。図２は、表示面（ディスプレイ）の位置に対して、表示面よりも奥に見える引っ込み映像と、表示面よりも手前に見える出っ張り映像を示す模式図である。図２に示すように、表示面でのＺ値を０とする。上述したダイナミックレンジは、最も手前に見える出っ張り映像のＺ値（ｚ１（＞０））と、最も奥に見える引っ込み映像のＺ値（ｚ２（＜０））との差分Ｄ（＝ｚ１−ｚ２）に相当する。Ｚ値の最大値は最も手前に見える出っ張り映像のＺ値の値ｚ１であり、Ｚ値の最小値は最も奥に見える引っ込み映像のＺ値の値ｚ２である。最も手前に見える出っ張り映像では最大の視差量となり、最も奥に見える引っ込み映像では視差量が最小となる。但し、この場合、最大の視差量と最小の視差量の符合は反対である。また、表示面の位置の映像では、視差量は０である。
【００３５】
上述した（１）の手法によれば、１フレーム毎に、最も奥に見える引っ込み映像のＺ値（ｚ１）と、最も手前に見える出っ張り映像のＺ値（ｚ２）との差分であるダイナミックレンジＤが、各映像ソース間で等しくなるように各映像ソースのＺ値が補正される。従って、全ての映像ソースの立体感を統一することが可能となり、ユーザに違和感を与えることを抑えるとともに、ユーザの眼の疲労を最小限に抑えることができる。
【００３６】
また、（２）の手法によれば、ある一定時間に表示される各フレームにおいて、ダイナミックレンジＤが各映像ソース間で等しくなるようにＺ値が補正される。従って、全ての映像ソースの立体感を統一することができるとともに、ダイナミックレンジが急激に変化することを抑えることができ、ユーザの眼の疲労を確実に抑えることが可能である。
【００３７】
また、（３）の手法によれば、１フレーム毎のＺ値の最大値ｚ１または最小値ｚ２の値が、各映像ソースで等しくなるように補正が行われる。従って、各映像ソースにおいて、最も手前に見える出っ張り映像の位置、または最も奥に見える引っ込み映像の位置を同一にすることができ、ユーザに違和感を与えることを抑えるとともに、ユーザの眼の疲労を最小限に抑えることができる。ダイナミックレンジを同一にした場合、例えば、手前側に表示される人物が奥行き方向に移動すると、これに伴って遠景の奥行き方向の位置が移動することが想定される。しかし、最大値ｚ１または最小値ｚ２が等しくなるように補正することで、手前側の映像の位置、又は奥の遠景の位置を統一することが可能である。
【００３８】
また、（４）の手法によれば、ある一定時間に表示される各フレームにおいて、Ｚ値の最大値ｚ１または最小値ｚ２の値が、各映像ソースで等しくなるように補正が行われる。従って、全ての映像ソースの立体感を統一することができるとともに、Ｚ値の最大値ｚ１または最小値ｚ２の値が急激に変化することを抑えることができ、ユーザの眼の疲労を確実に抑えることが可能である。上述したように、この場合、オリジナルソースの持つダイナミックレンジは保存（維持）されているため、奥行き感を損なうことなく映像を提供することができる。
【００３９】
また、上述した（１）〜（４）の手法は、単独で用いても良いし、組み合わせで用いても良い。例えば、（１）と（３）の手法を組み合わせることにより、立体映像の奥行き方向のダイナミックレンジを同一にするとともに、立体映像の最大の飛び出し量または最大の引っ込み量をも同一に制御することができる。
【００４０】
［３．複数のテレビ受像機を備えるシステムの構成例］
図３は、複数のテレビ受像機１００を備えるシステムの構成例を示す模式図である。このシステムでは、図１に示したテレビ受像機１００と、テレビ受像機１００と同様の構成を有するテレビ受像機２００とから構成されている。
【００４１】
図３に示すように、テレビ受像機１００の制御部１３０とテレビ受像機２００の制御部１３０とは互いに接続されている。この接続は、有線による接続であっても、無線による接続であっても良い。これにより、テレビ受像機１００の制御部１３０とテレビ受像機２００の制御部１３０とは互いに情報の送受信を行うことができる。
【００４２】
図３に示す構成において、テレビ受像機１００の制御部１３０は、Ｚ値抽出部１１４から各映像ソースのＺ値を取得する。また、テレビ受像機２００の制御部１３０も、Ｚ値抽出部１１４から各映像ソースのＺ値を取得する。テレビ受像機１００とテレビ受像機２００の制御部１３０は、互いに通信を行い、テレビ受像機１００とテレビ受像機２００の双方に入力される全ての映像ソースのＺ値を取得する。そして、テレビ受像機１００とテレビ受像機２００の制御部１３０は、全ての映像ソースのＺ値に基づいて、上述した（１）〜（４）の手法、またはこれらの組み合わせにより、Ｚ値補正部１１６による補正処理を制御する。
【００４３】
これにより、テレビ受像機１００とテレビ受像機２００の双方に表示される全ての立体映像の立体感を統一することが可能となる。従って、テレビ受像機１００とテレビ受像機２００の双方を視認するユーザは、一方のテレビ受像機の映像から他方のテレビ受像機の映像に視線を移した場合であっても、違和感を覚えることがない。また、一方のテレビ受像機の映像から他方のテレビ受像機の映像に視線を移した場合であっても、各映像ソースの立体感が統一されているため、眼の焦点調節位置が大きく変化することがなく、眼の疲労を最小限に抑えることができる。
【００４４】
以上説明したように本実施形態によれば、立体映像表示装置などにおいて複数の立体映像を同時に表示する場合に、全ての映像の立体感を統一することができ、視聴者に対して自然な立体感を提供することが可能となる。そして、立体感の統一された複数の映像を表示することによって、ユーザが各映像間で視線を移動した場合に、最低限の合焦操作を行うことで眼の焦点を各映像に合わせることができる。従って、眼への疲労を最小限に抑えることが可能となり、長時間にわたる立体映像視を容易に行うことが可能となる。
【００４５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００４６】
１００    テレビ受像機
１１４    Ｚ値抽出部
１１６    Ｚ値補正部
【図１】
2012049880.tif 000003
【図２】
2012049880.tif 000004
【図３】
2012049880.tif 000005