(57)【特許請求の範囲】
【請求項１】
画素毎の特徴量を有する映像を入力する映像入力部と、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算する補正値計算部と、
前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正するデータ補正部と、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算部と、
前記左右映像領域間の相関を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別部と、
を具備する映像フォーマット判別装置。
【請求項２】
画素毎の特徴量を有する映像を入力する映像入力部と、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算部と、
前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算部と、
前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別部と、
を具備する映像フォーマット判別装置。
【請求項３】
前記領域代表値計算部は、特徴量として各画素の輝度信号を用いる、
請求項１又は２のいずれかに記載の映像フォーマット判別装置。
【請求項４】
前記領域間相関計算部は、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分に基づいて、前記左右映像領域間の相関を計算する、
請求項１又は２のいずれかに記載の映像フォーマット判別装置。
【請求項５】
前記領域間相関計算部は、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を重み付け累積加算して、前記左右映像領域間の相関を計算する、
請求項１又は２のいずれかに記載の映像フォーマット判別装置。
【請求項６】
前記領域間相関計算部は、所定値以下の差分の加算を抑制する重み付け関数を用いて前記の重み付け累積加算を行なう、
請求項５に記載の映像フォーマット判別装置。
【請求項７】
前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算部をさらに備え、
前記評価判別部は、前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記３次元映像フォーマットであるか否かを判別する、
請求項１に記載の映像フォーマット判別装置。
【請求項８】
前記評価判別部は、前記領域内相関が所定の閾値以下のときには入力映像の映像フォーマットの判別を保留する、
請求項２又は７のいずれかに記載の映像フォーマット判別装置。
【請求項９】
前記領域代表値計算部は、入力映像がサイド・バイ・サイド形式の３次元映像フォーマットであるかどうかを判別する判別モードにおいて、前記左眼用映像領域及び前記右眼用映像領域をそれぞれ入力映像の左右に配置して、小領域毎の代表値を算出する、
請求項１又は２のいずれかに記載の映像フォーマット判別装置。
【請求項１０】
前記領域代表値計算部は、入力映像がトップ・アンド・ボトム形式の３次元映像フォーマットであるかどうかを判別する判別モードにおいて、前記左眼用映像領域及び前記右眼用映像領域をそれぞれ入力映像の上下に配置して、小領域毎の代表値を算出する、
請求項１又は２のいずれかに記載の映像フォーマット判別装置。
【請求項１１】
複数の３次元映像フォーマットの各々について映像フォーマットを判別する複数の判別モードを有し、
前記評価判別部は、ある判別モードで入力映像が３次元映像あるとは判別されなかった場合には、さらに他の判別モードに切り換えて、入力映像が３次元映像であるかどうかを判別する、
請求項１又は２のいずれかに記載の映像フォーマット判別装置。
【請求項１２】
前記評価判別部は、動画の映像フォーマット判別時において、現在のフレームでの映像フォーマットの判別結果と、前フレームでの映像フォーマットの判別状態と、判別結果が変化してからの経過時間に基づいて、映像フォーマットの判別状態を遷移するかどうかを決定する、
請求項１又は２のいずれかに記載の映像フォーマット判別装置。
【請求項１３】
前記評価判別部は、映像フォーマットの判別状態に応じて、評価値の判別に用いる閾値を設定する、
請求項１２に記載の映像フォーマット判別装置。
【請求項１４】
画素毎の特徴量を有する映像を入力する映像入力部と、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
前記左眼用映像領域及び前記右眼用映像領域の各々について、算出した前記代表値に基づいて、行毎又は列毎に小領域の順位を計算する代表値順位計算部と、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の順位付けの類似度を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別部と、
を具備する映像フォーマット判別装置。
【請求項１５】
画素毎の特徴量を有する映像を入力する映像入力部と、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
前記左眼用映像領域及び前記右眼用映像領域の各々について、各小領域で代表値が変化する方向を計算する代表値方向計算部と、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の変化方向の類似度をさらに評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別部と、
を具備する映像フォーマット判別装置。
【請求項１６】
前記代表値方向計算部は、前記左眼用映像領域及び前記右眼用映像領域の各々について、ｎ×ｍの小領域毎にｎ×ｍの重み付けフィルター係数を掛け合わせて、各小領域で代表値が変化する方向を計算する、
請求項１５に記載の映像フォーマット判別装置。
【請求項１７】
画素毎の特徴量を有する映像を入力する映像入力ステップと、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算する補正値計算ステップと、
前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正するデータ補正ステップと、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算ステップと、
前記左右映像領域間の相関を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別ステップと、
を有する映像フォーマット判別方法。
【請求項１８】
画素毎の特徴量を有する映像を入力する映像入力ステップと、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算ステップと、
前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算ステップと、
前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別ステップと、
を有する映像フォーマット判別方法。
【請求項１９】
画素毎の特徴量を有する映像を入力する映像入力ステップと、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
前記左眼用映像領域及び前記右眼用映像領域の各々について、算出した前記代表値に基づいて、行毎又は列毎に小領域の順位を計算する代表値順位計算ステップと、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の順位付けの類似度を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別ステップと、
を有する映像フォーマット判別方法。
【請求項２０】
画素毎の特徴量を有する映像を入力する映像入力ステップと、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
前記左眼用映像領域及び前記右眼用映像領域の各々について、各小領域で代表値が変化する方向を計算する代表値方向計算ステップと、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の変化方向の類似度をさらに評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別ステップと、
を有する映像フォーマット判別方法。
【請求項２１】
映像信号を入力する入力部と、
入力された映像信号のフォーマットを判別し、判別結果に応じて表示形式を切り替えて、３次元映像信号又は２次元映像信号の処理を行なう映像信号処理部と、
前記映像信号処理部で処理された映像信号を画面に表示する表示部と、
を具備し、
前記映像信号処理部は、入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出し、前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算し、前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正し、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算し、前記左右映像領域間の相関を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する、
表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、映像信号のフォーマットを判別する映像フォーマット判別装置及び映像フォーマット判別方法、並びに、フォーマット判別結果に基づいて映像信号の表示モードを切り替える映像表示装置に係り、特に、３次元映像フォーマットか２次元映像フォーマットかの判別をロバストで且つ少ない演算量で実現する映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置に関する。
【背景技術】
【０００２】
左右の眼に視差のある映像を表示することで、観察者に３次元的に見える３次元視映像を提示することができる。例えば、時分割３次元視映像表示システムは、互いに異なる複数の映像を時分割で表示する表示装置と、映像の観察者がかける眼鏡の組み合わせからなる。表示装置は、視差のある左眼用映像及び右眼用映像を非常に短い周期で交互に表示する。そして、左眼用映像がディスプレイされる間は、眼鏡の左眼部が光を透過するとともに、右眼部が遮光する。一方、右眼用映像がディスプレイされる間は、眼鏡の右眼部が光を透過するとともに、左眼部が遮光する。また、空間分割３次元視差映像表示システムでは、１画面に左眼用映像と右眼用映像を多重化して表示し、観察者が欠けるカメラの左眼部は左眼用映像の光のみを透過し、右眼部は右眼用映像の光のみを透過する。いずれの形式にせよ、観察するユーザーの脳内では左眼用映像と右眼用映像が融像され３次元視映像として認識される。
【０００３】
３次元映像信号の伝送フォーマットとして、例えばサイド・バイ・サイド形式、トップ・アンド・ボトム形式、フレーム・シーケンシャル形式の３種類を挙げることができる。サイド・バイ・サイド形式は、図２３に示す通り、２次元映像信号のアクティブ領域を水平方向に２分割して左右すなわち水平方向に（同時刻の）左眼用映像Ｌと右眼用映像Ｒを多重化する。また、トップ・アンド・ボトム形式は、図２４に示す通り、２次元映像信号のアクティブ領域を垂直方向に２分割して上下すなわち垂直方向に（同時刻の）左眼用映像Ｌと右眼用映像Ｒを多重化する。フレーム・シーケンシャル形式は、図２５に示す通り、時間軸上で左眼用映像Ｌと右眼用映像Ｒを交互に挿入する。
【０００４】
いずれの伝送形式にせよ、映像信号を処理する表示装置では、信号から元の左眼用映像及び右眼用映像を分離し、時間軸上で正しく配列して、左眼用映像は左眼に、右眼用映像は右眼に、それぞれ表示されるように制御する。この際に、当然、現在伝送されている映像信号が３次元映像なのか、また、３次元映像であれば、上述した図２３〜図２５のいずれの伝送フォーマットの信号であるのかを判別して、表示形式を切り替える必要がある。
【０００５】
伝送される映像データに、伝送フォーマットを示す信号が付加されていれば、正確に判別することができる。しかしながら、放送信号やＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）の一部では、このような信号が付加されていないものが多数存在する。また、ＣＭでは２次元映像、番組では３次元映像といったように、伝送フォーマットが異なる信号が混在したコンテンツも存在する。信号が切り替わる度に視聴者が手動で表示モードを切り替えるのは、大変な手間である。映像フォーマットが異なる表示モードが選択されると、２重像表示されるといった弊害が発生する。
【０００６】
画像内の左眼用映像及び右眼用映像にそれぞれ相当する領域同士の相関から映像フォーマットを判別する装置について幾つか提案がなされている。例えば、画素単位の差分値から位置ヒストグラムを求めることで相関を計算し、３次元映像であるかを判別し、表示形式を切り替える映像表示装置について提案がなされている（例えば、特許文献１を参照のこと）。また、左眼用映像及び右眼用映像の各領域の特徴量の内積からフォーマットを自動判別する立体画像フォーマット判別装置について提案がなされている（例えば、特許文献２を参照のこと）。
【０００７】
映像信号中の左右の各映像領域の相関を指標としてフォーマットを判別する方法は、各映像領域から所定の特徴量を求め、その特徴量の差分絶対値の累積結果を評価値として、３次元映像又は２次元映像のいずれであるかを判別する。ここで、評価値が小さい場合は、左右の映像領域間で相関が高くなることから、各領域は対応する左右の映像の関係にある、すなわち、３次元映像であると判別することができる。逆に、評価値が小さい場合は、左右の映像領域間で相関が低いことから、各領域同士に左右の対応関係はなく、２次元映像であると判別することができる。
【０００８】
しかしながら、左右の映像領域同士の単純な相関計算で評価すると、判別精度が悪く、ロバスト性を保つことが難しい、という性能の観点から問題がある。
【０００９】
例えば、ステレオ映像では、左右の映像間には視差が存在することから、視差が大きい場合には相関が低くなり、３次元映像ではないと誤判別する可能性がある。図２６には、視差のある左眼用映像（Ｌｃｈ）と右眼用映像（Ｒｃｈ）の特徴量を単純にマッチングして特徴量の差分絶対値ＡＢＳ（Ｌｃｈ−Ｒｃｈ）を求めた結果を示している。図示のように、視差が大きい場合には映像間で差分が生じ、相関が低くなり、その結果として２次元映像と誤判定する可能性がある。
【００１０】
また、視差以外の左右の映像間の違いによっても、３次元映像ではないと誤判別する可能性がある。ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）映像などでは問題ないが、特に２眼カメラで撮影される３次元映像の場合には、レンズ系の特性の違いや取り付け精度の違いなどに起因して、輝度、コントラスト、γ、色、映像の帯域、ノイズ量などが左右の映像間で大きく異なる場合がある。図２７には、輝度やコントラストに違いのある左眼用映像（Ｌｃｈ）と右眼用映像（Ｒｃｈ）の特徴量を単純にマッチングして特徴量の差分絶対値ＡＢＳ（Ｌｃｈ−Ｒｃｈ）を求めた結果を示している。図示のように、輝度やコントラストの違いが大きい場合にはさらに映像間で差分が生じ、相関が低くなるので、２次元映像と誤判定する可能性がますます高くなる。
【００１１】
また逆に、２次元映像であっても、左眼用映像と右眼用映像にそれぞれ対応する領域間で相関が高くなる映像が存在し、３次元映像と誤判別する場合もある。図２８には、輝度やコントラストの変化に乏しい画像の一例として、海原を見渡した風景画像を示しているが、画面の左右で特徴量の違いが小さく、高い相関を示すことから、サイド・バイ・サイド形式の３次元映像と誤判別する可能性がある。
【００１２】
また、映像フォーマット判別の際に、左右の映像領域同士の単純な相関計算で評価する方法は、画素単位の計算や内積計算を含み、これらは演算量が大きいことから、高速な判別やコストへの影響も大きい。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本明細書で開示する技術の目的は、３次元映像フォーマットか２次元映像フォーマットかの判別をロバストで且つ少ない演算量で実現することができる、優れた映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置を提供することにある。
【課題を解決するための手段】
【００１４】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力部と、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算する補正値計算部と、
前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正するデータ補正部と、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算部と、
前記左右映像領域間の相関を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別部と、
を具備する映像フォーマット判別装置である。
【００１５】
また、本願の請求項２に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力部と、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算部と、
前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算部と、
前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別部と、
を具備する映像フォーマット判別装置である。
【００１６】
本願の請求項３に記載の技術は、請求項１又は２のいずれかに記載の映像フォーマット判別装置において、前記領域代表値計算部は、特徴量として各画素の輝度信号を用いるように構成されている。
【００１７】
本願の請求項４に記載の技術は、請求項１又は２のいずれかに記載の映像フォーマット判別装置において、前記領域間相関計算部は、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分に基づいて、前記左右映像領域間の相関を計算するように構成されている。
【００１８】
本願の請求項５に記載の技術は、請求項１又は２のいずれかに記載の映像フォーマット判別装置において、前記領域間相関計算部は、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を重み付け累積加算して、前記左右映像領域間の相関を計算するように構成されている。
【００１９】
本願の請求項６に記載の技術は、請求項５に記載の映像フォーマット判別装置において、前記領域間相関計算部は、所定値以下の差分の加算を抑制する重み付け関数を用いて前記の重み付け累積加算を行なうように構成されている。
【００２０】
本願の請求項７に記載の技術は、請求項１に記載の映像フォーマット判別装置は、前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算部をさらに備えている。そして、前記評価判別部は、前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記３次元映像フォーマットであるか否かを判別するように構成されている。
【００２１】
本願の請求項８に記載の技術は、請求項２又は７のいずれかに記載の映像フォーマット判別装置において、前記評価判別部は、前記領域内相関が所定の閾値以下のときには入力映像の映像フォーマットの判別を保留するように構成されている。
【００２２】
本願の請求項９に記載の技術は、請求項１又は２のいずれかに記載の映像フォーマット判別装置において、前記領域代表値計算部は、入力映像がサイド・バイ・サイド形式の３次元映像フォーマットであるかどうかを判別する判別モードにおいて、前記左眼用映像領域及び前記右眼用映像領域をそれぞれ入力映像の左右に配置して、小領域毎の代表値を算出するように構成されている。
【００２３】
本願の請求項１０に記載の技術は、請求項１又は２のいずれかに記載の映像フォーマット判別装置において、前記領域代表値計算部は、入力映像がトップ・アンド・ボトム形式の３次元映像フォーマットであるかどうかを判別する判別モードにおいて、前記左眼用映像領域及び前記右眼用映像領域をそれぞれ入力映像の上下に配置して、小領域毎の代表値を算出するように構成されている。
【００２４】
本願の請求項１１に記載の技術は、請求項１又は２のいずれかに記載の映像フォーマット判別装置は、複数の３次元映像フォーマットの各々について映像フォーマットを判別する複数の判別モードを有している。そして、前記評価判別部は、ある判別モードで入力映像が３次元映像あるとは判別されなかった場合には、さらに他の判別モードに切り換えて、入力映像が３次元映像であるかどうかを判別するように構成されている。
【００２５】
本願の請求項１２に記載の技術は、請求項１又は２のいずれかに記載の映像フォーマット判別装置において、前記評価判別部は、動画の映像フォーマット判別時において、現在のフレームでの映像フォーマットの判別結果と、前フレームでの映像フォーマットの判別状態と、判別結果が変化してからの経過時間に基づいて、映像フォーマットの判別状態を遷移するかどうかを決定するように構成されている。
【００２６】
本願の請求項１３に記載の技術は、請求項１２に記載の映像フォーマット判別装置において、前記評価判別部は、映像フォーマットの判別状態に応じて、評価値の判別に用いる閾値を設定するように構成されている。
【００２７】
また、本願の請求項１４に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力部と、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
前記左眼用映像領域及び前記右眼用映像領域の各々について、算出した前記代表値に基づいて、行毎又は列毎に小領域の順位を計算する代表値順位計算部と、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の順位付けの類似度を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別部と、
を具備する映像フォーマット判別装置である。
【００２８】
また、本願の請求項１５に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力部と、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
前記左眼用映像領域及び前記右眼用映像領域の各々について、各小領域で代表値が変化する方向を計算する代表値方向計算部と、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の変化方向の類似度をさらに評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別部と、
を具備する映像フォーマット判別装置である。
【００２９】
本願の請求項１６に記載の技術は、請求項１５に記載の映像フォーマット判別装置において、前記代表値方向計算部は、前記左眼用映像領域及び前記右眼用映像領域の各々について、ｎ×ｍの小領域毎にｎ×ｍの重み付けフィルター係数を掛け合わせて、各小領域で代表値が変化する方向を計算するように構成されている。
【００３０】
また、本願の請求項１７に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力ステップと、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算する補正値計算ステップと、
前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正するデータ補正ステップと、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算ステップと、
前記左右映像領域間の相関を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別ステップと、
を有する映像フォーマット判別方法である。
【００３１】
また、本願の請求項１８に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力ステップと、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算ステップと、
前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算ステップと、
前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別ステップと、
を有する映像フォーマット判別方法である。
【００３２】
また、本願の請求項１９に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力ステップと、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
前記左眼用映像領域及び前記右眼用映像領域の各々について、算出した前記代表値に基づいて、行毎又は列毎に小領域の順位を計算する代表値順位計算ステップと、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の順位付けの類似度を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別ステップと、
を有する映像フォーマット判別方法である。
【００３３】
また、本願の請求項２０に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力ステップと、
入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
前記左眼用映像領域及び前記右眼用映像領域の各々について、各小領域で代表値が変化する方向を計算する代表値方向計算ステップと、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の変化方向の類似度をさらに評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別ステップと、
を有する映像フォーマット判別方法である。
【００３４】
また、本願の請求項２１に記載の技術は、
映像信号を入力する入力部と、
入力された映像信号のフォーマットを判別し、判別結果に応じて表示形式を切り替えて、３次元映像信号又は２次元映像信号の処理を行なう映像信号処理部と、
前記映像信号処理部で処理された映像信号を画面に表示する表示部と、
を具備し、
前記映像信号処理部は、入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出し、前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算し、前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正し、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算し、前記左右映像領域間の相関を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する、
表示装置である。
【発明の効果】
【００３５】
本明細書で開示する技術によれば、３次元映像フォーマットか２次元映像フォーマットかの判別を、多様な種類のキャプチャー方法や映像内容によらず、ロバストで且つ少ない演算量で実現することができる、優れた映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置を提供することができる。
【００３６】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００３７】
【図１】図１は、映像信号処理部１２０内に装備される映像フォーマット判別装置１００の内部構成を示した図である。
【図２】図２は、サイド・バイ・サイド形式の３次元映像フォーマットを判別する判別モードにおいて、入力映像を分割する例を示した図である。
【図３】図３は、トップ・アンド・ボトム形式の３次元映像フォーマットを判別する判別モードにおいて、入力映像を分割する例を示した図である。
【図４】図４は、入力映像を分割する他の方法を例示した図である。
【図５】図５は、入力映像を分割する他の方法を例示した図である。
【図６】図６は、差分累積計算に用いる重み付け関数の一例を示した図である。
【図７】図７は、判別部１８０が評価値Ｚに基づいて入力映像の映像フォーマットを判別するための処理手順を示したフローチャートである。
【図８】図８は、評価値Ｚに基づく映像フォーマットの判別処理方法を示した図である。
【図９】図９は、判別部１８０が評価値Ｚに基づいて複数の映像フォーマットを判別するための処理手順をフローチャートの形式で示し
【図１０】図１０は、映像フォーマット判別装置１００が動画の映像フォーマット判別時の動作制御に用いる状態遷移図である。
【図１１】図１１は、図１０に示した状態遷移図において状態間を遷移すべきかどうかを判別するための処理手順を示したフローチャートである。
【図１２】図１２は、映像フォーマット判別装置１２００の他の構成例を示した図である。
【図１３】図１３は、サイド・バイ・サイド形式の３次元映像を例示した図である。
【図１４】図１４は、図１３に示した入力画像について小領域毎の代表値を計算した結果を示した図である。
【図１５】図１５は、図１４に示した小領域毎の代表値の計算結果に対する輝度順位を計算した結果を示した図である。
【図１６】図１６は、Ｐｒｅｗｉｔｔのテンプレート・マッチングで用いられる８種類のマスクを示した図である。
【図１７】図１７は、図１４に示した小領域毎の代表値の計算結果に対してＰｒｅｗｉｔｔのテンプレート・マッチングを適用して、小領域毎の輝度の変化方向を求めた結果を示した図である。
【図１８】図１８は、図１５に示した輝度順位付けの結果に対する評価結果を示した図である
【図１９】図１９は、図１７に示した輝度変化の方向の計算結果に対する評価結果を示した図である。
【図２０】図２０は、本明細書で開示する技術を適用可能な映像表示システムの構成例を模式的に示した図である。
【図２１】図２１は、表示装置２０００の左眼用映像Ｌの表示期間に同期したシャッター眼鏡２１００における左右のシャッター・レンズ２１０１、２１０２の制御動作を示した図である。
【図２２】図２２は、表示装置２０００の右眼用映像Ｒの表示期間に同期したシャッター眼鏡２１００における左右のシャッター・レンズ２１０１、２１０２の制御動作を示した図である。
【図２３】図２３は、サイド・バイ・サイド形式の３次元映像フォーマットを示した図である。
【図２４】図２４は、トップ・アンド・ボトム形式の３次元映像フォーマットを示した図である。
【図２５】図２５は、フレーム・シーケンシャル形式の３次元映像フォーマットを示した図である。
【図２６】図２６は、左右の映像間に視差のあるステレオ映像を２次元映像と誤判別する場合を例示した図である。
【図２７】図２７は、左右の映像間に輝度やコントラストの違いがあるために３次元映像を２次元映像と誤判別する場合を例示した図である。
【図２８】図２８は、左右で相関が高い２次元映像をサイド・バイ・サイド形式の３次元映像と誤判別する場合を例示した図である。
【発明を実施するための形態】
【００３８】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００３９】
図２０には、本明細書で開示する技術を適用可能な映像表示システムの構成例を模式的に示している。図示の映像表示システムは、３次元表示（３次元視）対応の表示装置２０００と、左眼部及び右眼部にそれぞれシャッター機構を備えたシャッター眼鏡２１００の組み合わせからなる。以下では、３次元画像表示に用いる表示装置２０００として、液晶ディスプレイ（ＬＣＤ）を用いるものとする。但し、本明細書で開示する技術の要旨は、液晶ディスプレイに必ずしも限定されない。
【００４０】
表示装置２０００は、左眼用映像Ｌ及び右眼用映像Ｒを時分割で交互に表示する。一方、シャッター眼鏡２１００は、表示装置２０００側での左眼用映像Ｌ及び右眼用映像Ｒの切り換えタイミングと同期をとって、左右のシャッター・レンズ２１０１、２１０２の開閉切り換えを行なう。表示装置２０００とシャッター眼鏡２１００間の通信には、Ｗｉ−ＦｉやＩＥＥＥ８０２．１５．４などの、電波通信によるワイヤレス・ネットワークが用いられ、表示装置２０００からシャッター眼鏡２１００へ、左右のシャッター・レンズ２１０１、２１０２の開閉タイミングを制御するために必要な情報を記載したパケットが送信される。勿論、ワイヤレス・ネットワークではなく、赤外線通信やその他の通信手段を適用することもできる。
【００４１】
表示装置２０００は、映像信号処理部２００１と、タイミング制御部２００２と、ゲート・ドライバー２００３と、データ・ドライバー２００４と、液晶表示パネル２００５と、通信部２００７を備えている。
【００４２】
液晶表示パネル２００５は、液晶層及び液晶層を挟んで対向する透明電極と、カラー・フィルターなど（いずれも図示しない）から構成されている。また、液晶表示パネル２００５の背後には、バックライト（面光源）２００６が配置されている。バックライト２００６は、残光特性の良好なＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などから構成されている。
【００４３】
映像信号処理部２００１内では、映像の鮮鋭度のエンハンスやコントラスト改善などの画質補正処理が行なわれる。
【００４４】
また、映像信号処理部２００１内には、後述する映像フォーマット判別装置が装備され、映像フォーマットの判別結果に基づいて入力映像の表示形式を切り替えるようになっている。すなわち、入力する映像信号が２次元映像信号又は３次元映像信号のいずれであるか、並びに、３次元映像信号の場合にはそのフォーマットを判別する。そして、入力信号が３次元映像信号であると判別したときには、左眼用画像Ｒ及び右眼用画像Ｌを分離して、時間軸上に正しく配列し、液晶表示パネル２００５で左眼用映像Ｌと右眼用映像Ｒを時分割で交互に表示させるため、左右の映像信号を交互に出力する。
【００４５】
タイミング制御部２００２には、映像信号処理部２００１で変換された左眼用映像信号及び右眼用映像信号が入力される。タイミング制御部２００２は、入力された左眼用映像信号及び右眼用映像信号を液晶表示パネル２００５へ入力するための信号に変換するとともに、ゲート・ドライバー２００３及びデータ・ドライバー２００４からなるパネル駆動回路の動作に用いられるパルス信号を生成する。
【００４６】
ゲート・ドライバー２００３は、順次駆動するための信号を生成する駆動回路であり、タイミング制御部２００２から伝送された信号に応じて、表示パネル１３４内の各画素に接続されたゲート・バス・ラインへ、駆動電圧を出力する。また、データ・ドライバー２００４は、映像信号に基づく駆動電圧を出力する駆動回路であり、タイミング制御部２００２から伝送された信号に基づいてデータ線へ印加する信号を生成して出力する。
【００４７】
また、液晶表示パネル２００５の応答速度を補うための、オーバードライブが適宜行なわれる。オーバードライブは、パネル駆動回路において目標到達電圧以上の駆動電圧を液晶素子に印加して、目標電圧に速やかに到達するようにして、応答特性の改善を行なう処理である。
【００４８】
通信部２００７は、Ｗｉ−ＦｉやＩＥＥＥ８０２．１５．４などのワイヤレス・ネットワークにおけるアクセスポイントとして動作し、端末局として動作する１以上のシャッター眼鏡２１００を自分の基本サービスセット（Ｂａｓｉｃ  Ｓｅｒｖｉｃｅ  Ｓｅｔ：ＢＳＳ）に収容する。通信部２００７からは、シャッター眼鏡２１００側で左右のシャッター・レンズ２１０１、２１０２の開閉タイミングを制御するために必要な情報を記載したパケットが送信される。
【００４９】
図２１には、表示装置２０００の左眼用映像Ｌの表示期間に同期したシャッター眼鏡２１００における左右のシャッター・レンズ２１０１、２１０２の制御動作を示している。図示のように、左眼用映像Ｌの表示期間には、表示装置２０００側から無線伝送される同期パケットに従って、左眼用シャッター・レンズ２１０１を開成状態、右眼用シャッター・レンズ２１０２を閉成状態とし、左眼用画像Ｌに基づく表示光ＬＬがユーザーの左眼にのみ到達する。
【００５０】
また、図２２には、右眼用映像Ｒの表示期間に同期したシャッター眼鏡２１００における左右のシャッター・レンズ２１０１、２１０２の制御動作を示している。図示のように、右眼用映像Ｒの表示期間には、右眼用シャッター・レンズ２１０２を開成状態、左眼用シャッター・レンズ２１０１を閉成状態とし、右眼用映像Ｒに基づく表示光ＲＲがユーザーの右眼にのみ到達する。
【００５１】
表示装置２０００は、液晶表示パネル２００５に、フィールド毎に左眼用映像Ｌと右眼用映像Ｒを時分割で交互に表示する。シャッター眼鏡２１００側では、左右のシャッター・レンズ２１０１、２１０２が表示装置２０００のフィールド毎の映像切り換えに同期して交互に開閉動作を行なう。シャッター眼鏡２１００越しに表示画像を観察するユーザーの脳内では、左眼用映像Ｌと右眼用映像Ｒが融像され、表示装置２０００に表示される映像が３次元的に認識される。
【００５２】
なお、本明細書で開示する技術は、上述したようなシャッター眼鏡２１００などのアクティブ眼鏡を用いた３次元映像表示形式だけでなく、パッシブ眼鏡を用いた３次元映像表示形式や、裸眼による３次元映像表示形式にも同様に適用可能である。
【００５３】
図１には、映像信号処理部２００１内に装備される映像フォーマット判別装置１００の内部構成を示している。図示の映像フォーマット判別装置１００は、映像を入力し、判別モードに従って、サイド・バイ・サイド判別モードか、トップ・アンド・ボトム判別モードかを選択し、判別結果Ｄを得る。
【００５４】
ここで、映像フォーマット判別装置１００への入力映像は、例えば１９２０×１０８０画素サイズで６０ＨｚのＨＤ（Ｈｉｇｈ  Ｆｅｆｉｎｉｔｉｏｎ）信号、７２０×４８０画素サイズのＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）信号のような解像度のビデオ信号、又は、ディジタルカメラで記録された静止画信号を想定している。図１には、１フレームの静止画に対して映像フォーマットを判別する処理を行なう構成例を示しているが、ビデオ信号の場合は、連続して入力される動画像の中の１フレームの処理として扱うことで映像フォーマットを判別することができる。
【００５５】
映像フォーマット判別装置１００は、特徴量計算部１１０と、領域代表値計算部１２０と、補正値計算部１３０と、データ補正部１４０と、差分累積値計算部１５０と、面内相関計算部１６０と、評価値計算部１７０と、判別部１８０を備えている。
【００５６】
特徴量計算部１１０は、入力映像から映像フォーマットを判別する際の特徴量を計算する。特徴量の計算としては、低域通過フィルターにより高域情報を取り除く方法や、帯域通過フィルター、隣接画素差分のような勾配計算によりエッジ情報を取得する方法が考えられるが、いずれの方法でも構わない。また、特に特徴量を計算せずに、入力映像の輝度値をそのまま用いるようにしても構わない。以下では、入力映像の輝度値をそのまま特徴量として用いるものとする。
【００５７】
領域代表値計算部１２０は、判別モードに応じて（すなわち、判別したい３次元映像フォーマットに応じて）、映像フレーム内の左眼用映像表示領域と右用映像表示領域をそれぞれ複数の小領域に分割して、小領域毎に、特徴量計算部１１０で計算した特徴量の代表値を算出する。ここでは、代表値として、各領域内の特徴量（輝度値）の平均値を計算する。いずれの３次元映像フォーマットを判別すべきかが、例えば装置１００の外部から、自動又はユーザーの手動により指示される。
【００５８】
例えば、サイド・バイ・サイド形式の３次元映像フォーマットを判別する判別モードが設定されている場合には、領域代表値計算部１２０は、図２に示すように、入力映像を左右に２等分し、左右それぞれの領域をそれぞれＭ×Ｎ個の小領域、すなわち全体で２Ｍ×Ｎ個の小領域に分割する。
【００５９】
次に、領域代表値計算部１２０は、各小領域内の特徴量から、各小領域の代表値として例えば平均値を算出する。図２並びに図３中の左右それぞれの小領域Ｌ（ｐ，ｑ）、Ｒ（ｐ，ｑ）の平均値は、以下の式（１）、（２）のように計算することができる。
【００６０】
【数１】
0005817639.tif 000002
【００６１】
【数２】
0005817639.tif 000003
【００６２】
ここで、上式（１）、（２）中の各変数を以下のように定義する。
Ｌ（ｐ，ｑ）：左眼用映像の各小領域の代表値
Ｒ（ｐ，ｑ）：右眼用映像の各小領域の代表値
Ｆ（ｘ，ｙ）：入力映像の画素単位の特徴量（輝度値）
ｘ：入力映像の水平画素位置、ｙ：入力映像の垂直画素位置
Ｘ：Ｆ（ｘ，ｙ）の水平画素数、Ｙ：Ｆ（ｘ，ｙ）の垂直ライン数
Ｍ：左右各映像領域の水平方向の領域分割数
Ｎ：左右各映像領域の垂直方向の領域分割数
Ｐ：分割した各小領域の水平画素数（Ｐ＝Ｘ／Ｍ）
Ｑ：分割した各小領域の垂直画素数（Ｑ＝Ｙ／Ｎ）
ｐ：小領域単位の水平画素位置、ｑ：小領域単位の垂直画素位置
【００６３】
また、トップ・アンド・ボトム形式の３次元映像フォーマットを判別する判別モードが設定されている場合には、領域平均値計算部１２０は、図３に示すように、入力映像を上下に２等分し、上下それぞれの領域をそれぞれＭ×Ｎ個の小領域、すなわち全体でＭ×２Ｎ個の小領域に分割する。そして、領域代表値計算部１２０は、各小領域内の特徴量から、各小領域の代表値として例えば平均値を算出する。
【００６４】
なお、入力映像を分割する方法については、図２、図３に示したようにブロックで明確に分割する方法の他に、左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列に分割したブロックの縮小領域を用いる方法（図４を参照のこと）や、隣接するブロックとオーバーラップする領域を用いる方法（図５を参照のこと）も挙げられる。
【００６５】
また、視差の影響を受けない範囲での分割数の取り方も、本明細書で開示する技術の特徴とする。すなわち、図２、図３に出示した例では、Ｍ×Ｎの分割数を、左眼用映像領域及び右眼用映像領域それぞれ４×４分割としているが、１６×１６分割、１２×１２分割、８×８分割などのように十分粗くとることも特徴である。１６×８分割のように、水平方向と垂直方向で分割数を非対称に取ってもよい。このように、入力映像に対して分割数を十分に粗くすることで、視差の影響とともに、ノイズや映像帯域の影響を排除すると同時に、演算量を少なくすることができる。
【００６６】
補正値計算部１３０は、特徴量計算部１１０から供給される入力解像度の特徴量に対して、領域代表値計算部１２０における小領域毎の代表値の計算とは別に、左右各映像領域の代表値として、各領域内の特徴量（輝度値）の平均値ＡＰＬ＿Ｌ、ＡＰＬ＿Ｒをそれぞれ下式（３）、（４）のように計算する。
【００６７】
【数３】
0005817639.tif 000004
【００６８】
【数４】
0005817639.tif 000005
【００６９】
そして、下式（５）に示す、これらの計算値ＡＰＬ＿Ｌ、ＡＰＬ＿Ｒの差分を補正値αとして算出し、後段のデータ補正部１４０に供給する。
【００７０】
【数５】
0005817639.tif 000006
【００７１】
データ補正部１４０は、領域代表値計算部１２０から左眼用映像領域内の各小領域の代表値Ｌ（ｐ，ｑ）を取得すると、補正値計算部１３０から供給される補正値αを用いて、下式（６）に従って補正して、補正後の代表値Ｌ´（ｐ，ｑ）を得る。
【００７２】
【数６】
0005817639.tif 000007
【００７３】
上式（６）に示すような代表値の操作により、２眼カメラで取得されたような３次元映像に対しても、輝度、コントラスト、γの影響（すなわち、左右のカメラの特性の相違に起因する左右の映像領域間の相違）を排除することができる。
【００７４】
差分累積値計算部１５０は、左右の各映像領域間で、対応する小領域同士の代表値の差分に重み付けしたものの累積和Ｓを求める。但し、左眼用映像領域側の各小領域の代表値として、データ補正部１４０で求めた補正値Ｌ´（ｐ，ｑ）を用いる。累積和Ｓは、下式（７）に従って計算することができるが、これが映像内の左眼用映像領域と右眼用映像領域間の相関値Ｓとなる。
【００７５】
【数７】
0005817639.tif 000008
【００７６】
なお、左右の各映像領域間で、対応する小領域同士の代表値の差分に付ける（上式（７）中の）重みＷとして、所定値以下の差分の加算を抑制するような重み関数を用いる。具体的には、図６並びに下式（８）に示すような重み付け関数を用いることができる。図示の重み付け関数Ｗは、所定値ｃ以下の入力ｘに対して極めて小さい重みを付ける。したがって、入力ｘとしての差分値Ｌ´（ｐ，ｑ）−Ｒ（ｐ，ｑ）が、２眼カメラの撮影に起因する視差や輝度、ノイズの影響に起因するほど小さいときには、相関値Ｓへの加算を抑制する。この結果、単純に差分絶対値として相関値を計算する場合と比べ、視差などの影響を排除することができ、３次元映像フォーマットの判別精度を高くする効果が期待できる。
【００７７】
【数８】
0005817639.tif 000009
【００７８】
面内相関計算部１６０は、左右それぞれの映像領域内で、それぞれ映像信号の相関性を計算する。映像全体としての面内相関Ｃは、左眼用映像領域内で求めた面内相関値ＣＬ、又は、右眼用映像領域内で求めた面内相関値ＣＲのいずれか一方を用いてもよいし、下式（９）に示すようにＣＬとＣＲの平均から面内相関Ｃを求めるようにしてもよい。
【００７９】
【数９】
0005817639.tif 000010
【００８０】
ここで、左眼用映像領域内の面内相関値ＣＬ並びに右眼用映像領域内の面内相関値ＣＲは、それぞれ下式（１０）、（１１）に従って求めることができる。
【００８１】
【数１０】
0005817639.tif 000011
【００８２】
【数１１】
0005817639.tif 000012
【００８３】
評価値計算部１７０は、下式（１２）に従って、差分累積値計算部１５０で求めた左右の映像領域間の相関値Ｓと、面内相関計算部１６０で求めた左右の映像領域内の面内相関Ｃとの比を求めることで、評価値Ｚを計算する。
【００８４】
【数１２】
0005817639.tif 000013
【００８５】
判別部１８０は、算出された評価値Ｚに基づいて、入力画像がサイド・バイ・サイド形式などの３次元映像信号、又は、２次元映像信号のいずれであるのかを判別する。入力映像が３次元映像フォーマットであれば、入力映像のうち左眼用映像領域と右眼用入力映像領域間で相関性が高くなる。この場合、上式（７）に示した領域間相関値Ｓが小さくなることから、上式（１２）に示した評価値は小さくなる。したがって、判別部１８０は、評価値計算部１７０が出力する評価値Ｚが低ければ、入力映像を３次元映像フォーマットと判別することができる。
【００８６】
図７には、判別部１８０が評価値Ｚに基づいて入力映像の映像フォーマットを判別するための処理手順をフローチャートの形式で示している。但し、判別部１８０は、判別結果をＤの値で示すものとする（Ｄの値０：３次元映像、１：判断保留）。
【００８７】
判別部１８０は、まず、面内相関計算部１６０で算出した面内相関Ｃが所定の閾値ｔｈ＿ｃ以上かどうかをチェックする（ステップＳ７０１）。
【００８８】
このとき、面内相関Ｃが所定の閾値ｔｈ＿ｃ未満のときには（ステップＳ７０１のＹｅｓ）、判別結果Ｄを１すなわち判断保留として出力する（ステップＳ７０２）。面内相関Ｃが０に近い値を持つ場合には、画面全体が平坦で映像フォーマットを判別するのに十分な情報を持たない可能性が高いからである。
【００８９】
他方、面内相関Ｃが閾値ｔｈ＿ｃ以上のときには（ステップＳ７０１のＮｏ）、入力映像から映像フォーマットを判別するのに十分な情報を得ることができるので、評価値計算部１７０で算出した評価値Ｚに基づいて映像フォーマットの判別を試みる（ステップＳ７０３）。
【００９０】
本実施形態では、評価値Ｚに基づく映像フォーマットの判別処理に、２つの閾値ｔｈ＿ａ及びｔｈ＿ｂを用いる（但し、ｔｈ＿ａ＜ｔｈ＿ｂとする）。図８には、評価値Ｚに基づく映像フォーマットの判別処理方法を図解している。
【００９１】
評価値Ｚが低ければ、入力映像を３次元映像フォーマットと判別することができる（前述）。したがって、評価値Ｚが閾値ｔｈ＿ａより小さいときには、判別部１８０は、入力映像を３次元映像であると判別し、判別結果Ｄとして０を出力する。一方、評価値Ｚが閾値ｔｈ＿ｂ以上のときには、判別部１８０は、入力映像を２次元映像であると判別し、判別結果Ｄとして２を出力する。また、評価値Ｚがｔｈ＿ａ以上でｔｈ＿ｂより小さいときには、判別部１８０は範囲手を保留し、判別結果Ｄとして１を出力する。
【００９２】
なお、閾値ｔｈ＿ａ、ｔｈ＿ｂは例えば０．２，０．４などの値で定義する。また、図８に示したように２段階の閾値ではなく、３段階以上（例えば１０段階）の式の位置を用いて評価値Ｚの判別を行ない、判別結果の信頼度を段階的に表すようにしてもよい。
【００９３】
映像フォーマット判別装置１００において、サイド・バイ・サイド形式の静止画を判別したいときには、判別モードとして「サイド・バイ・サイド判別モード」を設定する。映像フォーマット判別装置１００から得られた判別結果Ｄが、０：３次元映像のときは、サイド・バイ・サイド、２：２次元映像のときは、２次元映像として判断される。また、判別結果Ｄが１：判別保留の場合は、誤検出の可能性も残るため、２次元映像として判別される。
【００９４】
また、映像フォーマット判別装置１００において、トップ・アンド・ボトム形式の静止画を判別したいときには、判別モードとして「トップ・アンド・ボトム判別モード」を設定する。映像フォーマット判別装置１００から得られた判別結果Ｄが、０：３次元映像のときは、トップ・アンド・ボトム、２：２次元映像のときは、２次元映像として判断される。また、判別結果Ｄが１：判別保留の場合は、誤検出の可能性も残るため、２次元映像として判別される。
【００９５】
また、入力映像が、サイド・バイ・サイド形式、トップ・アンド・ボトム形式のうちいずれの３次元映像信号か、あるいは、２次元映像信号かが分からない場合には、映像フォーマット判別装置１００はこれら複数の映像フォーマットを判別する必要がある。
【００９６】
図９には、判別部１８０が評価値Ｚに基づいて複数の映像フォーマットを判別するための処理手順をフローチャートの形式で示している。
【００９７】
まず、判別モードをサイド・バイ・サイド（ＳＢＳ）判別モードに設定して、判別処理を行ない、判別結果Ｄを得る（ステップＳ９０１）。
【００９８】
ここで、得られた判別結果Ｄが０であれば（ステップＳ９０２のＹｅｓ）、入力映像のフォーマットがサイド・バイ・サイド形式であることを示す最終的な判別結果Ｅ＝ＳＢＳを出力して（ステップＳ９０３）、本処理ルーチンを終了する。
【００９９】
また、得られた判別結果Ｄが０でないときには（ステップＳ９０２のＮｏ）、続いて、判別モードをトップ・アンド・ボトム（ＴＡＢ）判別モードに切り換えて、判別処理を行ない、改めて判別結果Ｄを得る（ステップＳ９０４）。
【０１００】
ここで、得られた判別結果Ｄが０であれば（ステップＳ９０５のＹｅｓ）、入力映像のフォーマットがトップ・アンド・ボトム形式であることを示す最終的な判別結果Ｅ＝ＴＡＢを出力して（ステップＳ９０６）、本処理ルーチンを終了する。
【０１０１】
また、得られた判別結果Ｄが０でないときには（ステップＳ９０５のＮｏ）、判別結果Ｄが１であるかどうかをチェックする（ステップＳ９０７）。そして、Ｄが１であれば（ステップＳ９０７のＹｅｓ）、判別保留であることを示す最終的な判別結果Ｅ＝ＨＯＬＤを出力し（ステップＳ９０８）、Ｄが１でなければ（ステップＳ９０７のＮｏ）、入力映像が２次元映像のフォーマットであることを示す最終的な判別結果Ｅ＝２Ｄを出力して（ステップＳ９０９）、本処理ルーチンを終了する。
【０１０２】
既に述べたように、映像フォーマット判別装置１００を搭載する表示装置２０００は、映像フォーマットの判別結果に基づいて入力映像の表示形式を切り替える。ここで、図７〜図９に示したような判別方法では、判別結果はフレーム毎に切り換わる可能性がある。入力映像が動画の場合には、判別結果が短時間に変化すると、表示装置２０００が画面出力する表示形式が頻繁に切り替わることから、視聴者に不快感を与えてしまうことが懸念される。そこで、映像フォーマット判別装置１００が出力する判別結果を時間的に安定化する必要がある。
【０１０３】
図１０には、映像フォーマット判別装置１００が動画の映像フォーマット判別時の動作制御に用いる状態遷移図を示している。図示の例では、映像フォーマット判別装置１００は、入力映像を、サイド・バイ・サイド形式の３次元映像として判別した「ＳＢＳ状態」、トップ・アンド・ボトム形式の３次元映像として判別した「ＴＡＢ状態」、並びに２次元映像として判別した「２Ｄ状態」の３種類の状態を持つ。そして、判別部１８０は、現在のフレームでの判別結果（Ｅ）と、前フレームでの判別状態（Ｔ）と、判別結果が変化してからの経過時間（ＣＮＴ）に基づいて、状態遷移を判別する。同図での各状態が、各映像フォーマットの判別結果の最終結果として、映像フォーマット判別装置１００から出力されることになる。初期状態は、例えば２Ｄ状態とする。
【０１０４】
２Ｄ状態において、現在のフレームの判別結果が２Ｄのままであれば、２Ｄ状態に復帰する。これに対し、現在のフレームの判別結果がＳＢＳに変化して所定時間が経過すると（すなわち、数フレームにわたり連続してＳＢＳと判別すると）、２Ｄ状態からＳＢＳ状態に遷移する。また、現在のフレームの判別結果がＴＡＢに変化して所定時間が経過すると、２Ｄ状態からＴＡＢ状態に遷移する。
【０１０５】
また、ＳＢＳ状態において、現在のフレームの判別結果がＳＢＳのままであれば、ＳＢＳ状態に復帰する。これに対し、現在のフレームの判別結果がＴＡＢに変化して所定時間が経過すると、ＳＢＳ状態からＴＡＢ状態に遷移する。また、現在のフレームの判別結果が２Ｄに変化して所定時間が経過すると、ＳＢＳ状態から２Ｄ状態に遷移する。
【０１０６】
また、ＴＡＢ状態において、現在のフレームの判別結果がＴＡＢのままであれば、ＴＡＢ状態に復帰する。これに対し、現在のフレームの判別結果が２Ｄに変化して所定時間が経過すると、ＴＡＢ状態から２Ｄ状態に遷移する。また、現在のフレームの判別結果がＳＢＳに変化して所定時間が経過すると、ＴＡＢ状態からＳＢＳ状態に遷移する。
【０１０７】
図１１には、判別部１８０が図１０に示した状態遷移図において状態間を遷移すべきかどうかを判別するための処理手順をフローチャートの形式で示している。
【０１０８】
まず、判別部１８０は、前フレームでの状態Ｔに応じて、それぞれの状態で異なる判別閾値を設定する（ステップＳ１１０１）。
【０１０９】
例えば、２Ｄ状態では、２次元映像検出からの遷移が頻繁に発生しないように、ｔｈ＿ａ＝０．１５、ｔｈ＿ｂ＝０．３のように、２次元映像が検出し易いような判別閾値を設定する。また、ＳＢＳ状態又はＴＡＢ状態のように３次元映像状態の場合は、３次元映像検出からの遷移が頻繁に発生しないように、ｔｈ＿ａ＝０．２５、ｔｈ＿ｂ＝０．４５のように、３次元映像が検出し易いような判別閾値を設定する。
【０１１０】
このように、判別部１８０が各状態からの遷移の頻度を抑制することで、判別結果があいまいな場合には、判別状態Ｔが遷移せずに、確実に、異なる形式の映像が入力された場合のみ反応するようになり、判別結果を時間的に安定させることができる。
【０１１１】
ここで、判別部１８０は、複数の映像フォーマットの判別を行なう前に、前回（前フレーム）の判別結果として変数ＦにＥを保持する（ステップＳ１１０２）。なお、この際に、ＥがＨＯＬＤ（判別保留）の場合は、変数Ｆの値を更新しない。このようにしておくことで、前回の判別結果ＦにＥが代入されることはない。Ｅの初期値は、Ｔと同じ値になる。
【０１１２】
そして、判別部１８０は、図９に示した処理手順に従って、複数の映像フォーマットの判別処理を実行して、現在のフレームに対して判別結果Ｅを得る（ステップＳ１１０３）。
【０１１３】
次いで、判別部１８０は、現在のフレームに対する判別結果ＥがＨＯＬＤ（判別保留）であるかどうかをチェックする（ステップＳ１１０４）。
【０１１４】
ここで、現在のフレームに対する判別結果ＥがＨＯＬＤ（判別保留）である場合には（ステップＳ１１０４のＹｅｓ）、状態Ｔ、及び、状態の変化を検出してからの経過時間を計測するカウンターＣＮＴのいずれも更新せずに、本処理ルーチンを終了する。
【０１１５】
一方、現在のフレームに対する判別結果ＥがＨＯＬＤ（判別保留）でなければ（ステップＳ１１０４のＮｏ）、さらに、現在のフレームの判別結果Ｅが、現在の状態Ｔと異なり、且つ、前回の判別結果Ｆと同じであるかどうかをさらにチェックする（ステップＳ１１０５）。
【０１１６】
現在のフレームの判別結果Ｅが、現在の状態Ｔと異なり、且つ、前回の判別結果Ｆと同じである場合には（ステップＳ１１０５）、経過時間を計測するカウンターＣＮＴの値をカウントアップする（ステップＳ１１０６）。
【０１１７】
そして、経過時間を計測するカウンターＣＮＴの値が所定の閾値（変化経過時間）ｔｈ＿ｄを超えたときには（ステップＳ１１０７のＹｅｓ）、現在の状態Ｔを現在のフレームの判別結果Ｅに更新するとともに、カウンターＣＮＴの値を０にリセットして（ステップＳ１１０８）、本処理ルーチンを終了する。
【０１１８】
また、現在のフレームの判別結果Ｅが、現在の状態Ｔと同じであるか、又は、前回の判別結果Ｆと異なる場合には（ステップＳ１１０５のＮｏ）、変化した判別結果が安定していないので、経過時間を計測するカウンターＣＮＴを０にリセットして（ステップＳ１１０９）、本処理ルーチンを終了する。
【０１１９】
図１１に示した処理手順により、判別部１８０は、現在の状態とは異なる判別結果が得られ、その異なる判別結果が一定時間以上継続する場合に、新たな状態を映像フォーマットの判別結果に遷移することになり、安定した映像フォーマットの判別を行なうことができる。この結果、表示装置２０００としては、この判別結果に従って安定した動画像の表示を行なうことができる。
【０１２０】
図１に示した映像フォーマット判別装置１００の特徴について、以下にまとめておく。
【０１２１】
（１）領域代表値計算部１２０は、高解像度の入力映像を少ない領域毎の特徴量の代表値に変換する。これによって、視差、映像帯域、ノイズの影響を受けにくいフォーマット判別を行なうことができる。また、少ない領域毎の特徴量の代表値に変換することで、少ない演算量でフォーマット判別を行なうことができる。
【０１２２】
（２）補正値計算部１３０は、領域毎に算出した特徴量の平均値を基に補正値を算出し、データ補正部１２０はこの補正値を用いて各領域の代表値を補正するので、後段で左右の映像領域間の相関を計算する際に、コントラスト、γ、色の影響を抑制することができる。
【０１２３】
（３）左右の映像領域間における相関計算と同時に、面内相関計算部１６０は領域内での面内相関を計算し、評価値計算部１７０は領域間相関値と面内相関値の比から判別値を算出するので、コントラスト、γ、色の影響を受けにくいフォーマット判別を行なうことができる。また、左右の相関が高い２次元映像（図２８を参照のこと）の影響を受けにくいので、２次元映像と３次元映像の分離性能を向上することができる。
【０１２４】
（４）差分累積値計算部１５０は、左右の各映像領域間の相関計算の際に、重み付け関数を用いる。これによって、視差、映像帯域、ノイズの影響を抑制して、３次元映像の判別精度を向上する。
【０１２５】
（５）判別部１８０は、領域間の相関の評価値に基づいて算出した判別値を用いて、入力映像のフォーマットを判別するが、３次元映像フォーマットと２次元映像フォーマットの間に判別保留を設けることで、誤判定のリスクを削減している。
【０１２６】
（６）映像フォーマット判別装置１００は、左右の映像領域を分割し処理する方法を変えることで、サイド・バイ・サイド形式やトップ・アンド・ボトム形式を始め、複数の異なる３次元映像フォーマットの判別に適用することができる。
【０１２７】
（７）そして、映像フォーマット判別装置１００は、複数の判別モードを切り替えて連続して判別処理を実行することで、複数の３次元映像フォーマットを同時に判別することができる。
【０１２８】
（８）映像フォーマット判別装置１００は、動画の映像フォーマットを判別する際に、前回の判定値に応じて判別閾値を設定することで、検出結果の遷移が頻繁に起こらないようにしたり、所望の映像フォーマットを検出し易くしたりする。
【０１２９】
（９）映像フォーマット判別装置１００は、動画の映像フォーマットを判別する際に、判別の結果の履歴を参照することで、判別結果を時間的に安定化するようにしている。
【０１３０】
図１２には、映像信号処理部２００１内で入力映像のフォーマット判別に適用することができる、映像フォーマット判別装置１２００の他の構成例を示している。
【０１３１】
映像フォーマット判別装置１２００は、特徴量計算部１２１０と、領域代表値計算部１２２０と、輝度順位計算部１２３０と、輝度方向計算部１２４０と、評価値計算部１２５０と、判別部１２６０を備えている。映像フォーマット判別装置１００への入力映像は、例えば１９２０×１０８０画素サイズで６０ＨｚのＨＤ信号、７２０×４８０画素サイズのＳＤ信号のような解像度のビデオ信号、又は、ディジタルカメラで記録された静止画信号である。ビデオ信号の場合は、連続して入力される動画像の中の１フレームの処理として扱うことで映像フォーマットを判別することができる。
【０１３２】
特徴量計算部１２１０は、入力映像から映像フォーマットを判別する際の特徴量を計算する。以下では、入力映像の輝度値をそのまま特徴量として用いるものとする。
【０１３３】
領域代表値計算部１２２０は、装置１２００外部から自動又はユーザーの手動により指示された判別モードに応じて、映像フレーム内の左眼用映像表示領域と右用映像表示領域をそれぞれ複数の小領域に分割して、小領域毎に、特徴量計算部１２１０で計算した特徴量の代表値を算出する。ここでは、代表値として、各領域内の特徴量（輝度値）の平均値を計算する。
【０１３４】
例えば、サイド・バイ・サイド形式の３次元映像フォーマットを判別する判別モードが設定されている場合には、領域代表値計算部１２０は、入力映像を左右に２等分し、左右それぞれの領域をそれぞれＭ×Ｎ個の小領域に分割して（図２を参照のこと）、上式（１）、（２）に従って各小領域の平均値を算出する。また、トップ・アンド・ボトム形式の３次元映像フォーマットを判別する判別モードが設定されている場合には、領域平均値計算部１２０は、入力映像を上下に２等分し、上下それぞれの領域をそれぞれＭ×Ｎ個の小領域に分割して（図３を参照のこと）、各小領域の平均値を算出する。
【０１３５】
なお、入力映像を分割する方法については、図２、図３に示したようにブロックで明確に分割する方法の他に、左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列に分割したブロックの縮小領域を用いる方法（図４を参照のこと）や、隣接するブロックとオーバーラップする領域を用いる方法（図５を参照のこと）も挙げられる。
【０１３６】
また、視差の影響を受けない範囲での分割数の取り方も、本明細書で開示する技術の特徴とする。すなわち、図２、図３に出示した例では、Ｍ×Ｎの分割数を、左眼用映像領域及び右眼用映像領域それぞれ４×４分割としているが、１６×１６分割、１２×１２分割、８×８分割などのように十分粗くとることも特徴である。１６×８分割のように、水平方向と垂直方向で分割数を非対称に取ってもよい。このように、入力映像に対して分割数を十分に粗くすることで、視差の影響とともに、ノイズや映像帯域の影響を排除すると同時に、演算量を少なくすることができる。
【０１３７】
輝度順位計算部１２３０は、領域代表値計算部１２２０で算出された各小領域の代表値すなわち平均輝度を基に、映像フレームの左半分の左眼用映像領域及び右半分の右眼用映像領域の各々において、行毎に小領域の順位付けを行なう。例えば、入力映像が図１３に示すようなサイド・バイ・サイド形式の３次元映像であり、これを領域代表値計算部１２２０で小領域毎の代表値を計算した結果が仮に図１４に示す通りであったとする。この場合、輝度順位計算部１２３０で、左眼用映像領域及び右眼用映像領域の各々において、行毎に小領域の順位付けを行なうと、図１５に示す結果を得ることになる。また、入力映像がトップ・アンド・ボトム形式の場合には、輝度順位計算部１２３０は、映像フレームの上半分の左眼用映像領域及び下半分の右眼用映像領域の各々において、列毎に小領域の順位付けを行なう。
【０１３８】
輝度方向計算部１２４０は、領域代表値計算部１２２０で算出された各小領域の代表値すなわち平均輝度を基に、映像フレーム内の左眼用映像領域及び右眼用映像領域の各々において、小領域で輝度が変化する方向を計算する。
【０１３９】
例えば、３×３の小領域毎に、３×３の重み付けフィルター係数を掛け合わせて、３×３の中心の小領域について輝度変化の方向を求めることができる。この種の重み付けフィルターとして、Ｐｒｅｗｉｔｔのテンプレート・マッチング（例えば、特許文献３を参照のこと）が知られている。このマッチング方法では、図１６に示すようなマスクの値及び方向をそれぞれ持つ８種類のマスクを用いる。そして、注目する小領域及びその近傍の８個の小領域の各平均輝度とマスクの値との積和演算を行ない、最大の値を示すマスクが示す向きが注目する小領域の輝度変化の方向となる。図１６に示した８種類のマスクを用いると、輝度変化の方向は、４５度おきに８方向で求められる。図１３に示すようなサイド・バイ・サイド形式の３次元映像に対してＰｒｅｗｉｔｔのテンプレート・マッチングを適用すると、図１７に示すような輝度方向の変化を得ることができる。
【０１４０】
評価値計算部１２５０は、輝度順位計算部１２３０で順位付けを行なった結果を左眼用映像領域及び右眼用映像領域の対応する小領域同士で比較する。そして、左右で順位が一致する小領域は１、一致しない小領域は０とし、左右で順位が一致する領域の数Ｒを順位づけの評価値として算出する。順位が一致する小領域の数が多い、すなわちＲの値が大きいほど、入力映像は３次元映像と判別できる。図１８には、図１５に示した輝度順位付けの結果に対する評価結果を示している。図示の例では、２４個のすべての小領域で順位が一致するので、評価値Ｒは２４である。
【０１４１】
また、評価値計算部１２５０は、輝度方向計算部１２４０で輝度変化の方向を計算した結果を左眼用映像領域及び右眼用映像領域の対応する小領域同士で比較する。そして、左右で輝度変化の方向が一致する小領域は１、一致しない小領域は０とし、左右で輝度変化の方向が一致する領域の数Ｐを輝度変化の方向の評価値として算出する。図１６に示した８種類のマスクを用いると、輝度変化の方向は、４５度おきに８方向で求められる。判定基準を緩やかにする場合は、左右での輝度変化の方向に対して許容範囲を設け（例えば、−４５度、０度、４５度を一致とみなす）、それに当てはまる領域を求めるものとする。輝度変化の方向が一致する小領域の数が多い、すなわちＰの値が大きいほど、入力映像は３次元映像と判別できる。図１９には、図１７に示した輝度変化の方向の計算結果に対する評価結果を示している。図示の例では、２４個中２２個の小領域で順位が一致するので、評価値Ｐは２２である。
【０１４２】
例えば、判別部１２６０は、評価値Ｒ、Ｐの各々に対して、３次元映像判別用閾値ｔｈ＿Ｒ＿３Ｄ、ｔｈ＿Ｐ＿３Ｄと、２次元映像判別用閾値ｔｈ＿Ｒ＿２Ｄ、ｔｈ＿Ｐ＿２Ｄを設ける。そして、評価値が高いほど、左右の映像領域の類似度が高くなるので、３次元映像である可能性が高くなる。逆に、評価値が低いほど、左右の映像領域の類似度が低くなるので、２次元映像である可能性が高くなる。また、類似度が中程度で３次元映像又は２次元映像のいずれとも判別できない場合には、判別部１２６０は判別保留とする。具体的には、輝度順位並びに輝度変化方向に基づいて、それぞれ下式（１２）、（１３）のように判定する。
【０１４３】
【数１３】
0005817639.tif 000014
【０１４４】
【数１４】
0005817639.tif 000015
【０１４５】
判別部１２６０は、輝度順位計算部１２３０並びに輝度方向計算部１２４０による計算結果を基に評価値計算部で計算した評価値Ｒ、Ｐのうち一方、又は、両方を参照して、入力映像のフォーマットを判別することができる。
【０１４６】
また、上記の判定は入力１フレーム単位で実施されるため、動画では画の変化やノイズによって判定結果が１フレーム単位で変化する可能性がある。判別結果が短時間に変化すると、表示装置２０００が画面出力する表示形式が頻繁に切り替わることから、視聴者に不快感を与えてしまうことが懸念される。そこで、映像フォーマット判別装置１２００が出力する判別結果を時間的に安定化する必要がある。そこで、以下のような方法で、判別部１２６０は、時間方向の判別の変動を抑制するようにしてもよい。
【０１４７】
（１）同一判定結果が連続Ｋ回（Ｋフレーム）以上続く場合に、判別を確定させる。
（２）連続Ｋ回（Ｋフレーム）の判別のうちＪ回以上の判別結果を採用する。
【０１４８】
また、上記（１）又は（２）のような条件に当てはまる判別結果がない場合には、入力画像を３次元映像、又は、２次元映像のいずれとも判別できないので、判別部１２６０は、判別保留という結果を出力するようにしてもよい。
【０１４９】
図１に示した映像フォーマット判別装置１００の特徴について、以下にまとめておく。
【０１５０】
（１）左右の映像領域の輝度の絶対値を考慮しないで判別を行なうので、左右の映像領域間で輝度ずれが大きい３次元映像信号でも、正確に映像フォーマットを判別することができる。
【０１５１】
（２）左右の映像領域をそれぞれ小さい領域に分割し、領域毎の輝度平均値などの代表値を使用して評価を行なう。これによって、視差、映像帯域、ノイズの影響を受けにくいフォーマット判別を行なうことができる。
【０１５２】
（３）左右の映像領域をそれぞれ小さい領域に分割し、領域毎の輝度平均値などの代表値を使用して評価を行なう。したがって、画素単位で評価を行なう方法に比べ演算量が少なくて済む。
【０１５３】
（４）映像フォーマット判別装置１２００は、左右の映像領域を分割し処理する方法を変えることで、サイド・バイ・サイド形式やトップ・アンド・ボトム形式を始め、複数の異なる３次元映像フォーマットの判別に適用することができる。
【０１５４】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）画素毎の特徴量を有する映像を入力する映像入力部と、入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算する補正値計算部と、前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正するデータ補正部と、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算部と、前記左右映像領域間の相関を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別部と、を具備する映像フォーマット判別装置。
（２）画素毎の特徴量を有する映像を入力する映像入力部と、入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算部と、前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算部と、前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別部と、を具備する映像フォーマット判別装置。
（３）前記領域代表値計算部は、特徴量として各画素の輝度信号を用いる、上記（１）又は（２）のいずれかに記載の映像フォーマット判別装置。
（４）前記領域間相関計算部は、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分に基づいて、前記左右映像領域間の相関を計算する、上記（１）又は（２）のいずれかに記載の映像フォーマット判別装置。
（５）前記領域間相関計算部は、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を重み付け累積加算して、前記左右映像領域間の相関を計算する、上記（１）又は（２）のいずれかに記載の映像フォーマット判別装置。
（６）前記領域間相関計算部は、所定値以下の差分の加算を抑制する重み付け関数を用いて前記の重み付け累積加算を行なう、上記（５）に記載の映像フォーマット判別装置。
（７）前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算部をさらに備え、前記評価判別部は、前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記３次元映像フォーマットであるか否かを判別する、上記（１）に記載の映像フォーマット判別装置。
（８）前記評価判別部は、前記領域内相関が所定の閾値以下のときには入力映像の映像フォーマットの判別を保留する、上記（２）又は（７）のいずれかに記載の映像フォーマット判別装置。
（９）前記領域代表値計算部は、入力映像がサイド・バイ・サイド形式の３次元映像フォーマットであるかどうかを判別する判別モードにおいて、前記左眼用映像領域及び前記右眼用映像領域をそれぞれ入力映像の左右に配置して、小領域毎の代表値を算出する、上記（１）又は（２）のいずれかに記載の映像フォーマット判別装置。
（１０）前記領域代表値計算部は、入力映像がトップ・アンド・ボトム形式の３次元映像フォーマットであるかどうかを判別する判別モードにおいて、前記左眼用映像領域及び前記右眼用映像領域をそれぞれ入力映像の上下に配置して、小領域毎の代表値を算出する、上記（１）又は（２）のいずれかに記載の映像フォーマット判別装置。
（１１）複数の３次元映像フォーマットの各々について映像フォーマットを判別する複数の判別モードを有し、前記評価判別部は、ある判別モードで入力映像が３次元映像あるとは判別されなかった場合には、さらに他の判別モードに切り換えて、入力映像が３次元映像であるかどうかを判別する、上記（１）又は（２）のいずれかに記載の映像フォーマット判別装置。
（１２）前記評価判別部は、動画の映像フォーマット判別時において、現在のフレームでの映像フォーマットの判別結果と、前フレームでの映像フォーマットの判別状態と、判別結果が変化してからの経過時間に基づいて、映像フォーマットの判別状態を遷移するかどうかを決定する、上記（１）又は（２）のいずれかに記載の映像フォーマット判別装置。
（１３）前記評価判別部は、映像フォーマットの判別状態に応じて、評価値の判別に用いる閾値を設定する、上記（１２）に記載の映像フォーマット判別装置。
（１４）画素毎の特徴量を有する映像を入力する映像入力部と、入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、前記左眼用映像領域及び前記右眼用映像領域の各々について、算出した前記代表値に基づいて、行毎又は列毎に小領域の順位を計算する代表値順位計算部と、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の順位付けの類似度を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別部と、を具備する映像フォーマット判別装置。
（１５）画素毎の特徴量を有する映像を入力する映像入力部と、入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、前記左眼用映像領域及び前記右眼用映像領域の各々について、各小領域で代表値が変化する方向を計算する代表値方向計算部と、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の変化方向の類似度をさらに評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別部と、を具備する映像フォーマット判別装置。
（１６）前記代表値方向計算部は、前記左眼用映像領域及び前記右眼用映像領域の各々について、ｎ×ｍの小領域毎にｎ×ｍの重み付けフィルター係数を掛け合わせて、各小領域で代表値が変化する方向を計算する、上記（１５）に記載の映像フォーマット判別装置。
（１７）画素毎の特徴量を有する映像を入力する映像入力ステップと、入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算する補正値計算ステップと、前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正するデータ補正ステップと、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算ステップと、前記左右映像領域間の相関を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別ステップと、を有する映像フォーマット判別方法。
（１８）画素毎の特徴量を有する映像を入力する映像入力ステップと、入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算ステップと、前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算ステップと、前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別ステップと、を有する映像フォーマット判別方法。
（１９）画素毎の特徴量を有する映像を入力する映像入力ステップと、入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、前記左眼用映像領域及び前記右眼用映像領域の各々について、算出した前記代表値に基づいて、行毎又は列毎に小領域の順位を計算する代表値順位計算ステップと、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の順位付けの類似度を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別ステップと、を有する映像フォーマット判別方法。
（２０）画素毎の特徴量を有する映像を入力する映像入力ステップと、入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、前記左眼用映像領域及び前記右眼用映像領域の各々について、各小領域で代表値が変化する方向を計算する代表値方向計算ステップと、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の変化方向の類似度をさらに評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する評価判別ステップと、を有する映像フォーマット判別方法。
（２１）映像信号を入力する入力部と、入力された映像信号のフォーマットを判別し、判別結果に応じて表示形式を切り替えて、３次元映像信号又は２次元映像信号の処理を行なう映像信号処理部と、前記映像信号処理部で処理された映像信号を画面に表示する表示部と、を具備し、前記映像信号処理部は、入力映像のうち、判別すべき３次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれＭ行Ｎ列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出し、前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算し、前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正し、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算し、前記左右映像領域間の相関を評価して、入力映像が前記３次元映像フォーマットであるか否かを判別する、表示装置。
【先行技術文献】
【特許文献】
【０１５５】
【特許文献１】特開２０１０−６８３０９号公報
【特許文献２】特開２００６−３３２９８５号公報
【特許文献３】特開２００９−２１７６０６号公報
【産業上の利用可能性】
【０１５６】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１５７】
本明細書では、サイド・バイ・サイド形式やトップ・アンド・ボトム形式のように左右の映像を同一フレームとして伝送する３次元映像フォーマットを判別する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は特定の３次元映像フォーマットに限定されるものではない。例えばフレーム毎に左眼用映像と右眼用映像を交互に伝送するフレーム・シーケンシャル方式の場合には、領域間の相関計算や面内相関計算をフレーム間で行なうことで、同様に本明細書で開示する技術を実現することができる。
【０１５８】
また、本明細書で開示する技術は、上述したようなシャッター眼鏡などのアクティブ眼鏡を用いた３次元映像表示形式だけでなく、パッシブ眼鏡を用いた３次元映像表示形式や、裸眼による３次元映像表示形式にも同様に適用可能である。
【０１５９】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【０１６０】
１００…映像フォーマット判別装置
１１０…特徴量計算部
１２０…領域代表値計算部
１３０…補正値計算部
１４０…データ補正部
１５０…差分累積値計算部
１６０…面内相関計算部
１７０…評価値計算部
１８０…判別部
１２００…映像フォーマット判別装置
１２１０…特徴量計算部
１２２０…領域代表値計算部
１２３０…輝度順位計算部
１２４０…輝度方向部
１２５０…評価値計算部
１２６０…判別部
２０００…表示装置
２００１…映像信号処理部
２００２…タイミング制御部
２００３…ゲート・ドライバー
２００４…データ・ドライバー
２００５…液晶表示パネル
２００６…バックライト
２００７…通信部
２１００…シャッター眼鏡
２１０１、２１０２…シャッター・レンズ
【図１】
0005817639.tif 000016
【図４】
0005817639.tif 000017
【図５】
0005817639.tif 000018
【図６】
0005817639.tif 000019
【図７】
0005817639.tif 000020
【図８】
0005817639.tif 000021
【図９】
0005817639.tif 000022
【図１０】
0005817639.tif 000023
【図１１】
0005817639.tif 000024
【図１２】
0005817639.tif 000025
【図１４】
0005817639.tif 000026
【図１５】
0005817639.tif 000027
【図１７】
0005817639.tif 000028
【図１８】
0005817639.tif 000029
【図１９】
0005817639.tif 000030
【図２０】
0005817639.tif 000031
【図２６】
0005817639.tif 000032
【図２】
0005817639.tif 000033
【図３】
0005817639.tif 000034
【図１３】
0005817639.tif 000035
【図１６】
0005817639.tif 000036
【図２１】
0005817639.tif 000037
【図２２】
0005817639.tif 000038
【図２３】
0005817639.tif 000039
【図２４】
0005817639.tif 000040
【図２５】
0005817639.tif 000041
【図２７】
0005817639.tif 000042
【図２８】
0005817639.tif 000043