(57)【特許請求の範囲】
【請求項１】
左画素から構成される左画像及び右画素から構成される右画像を有する立体映像信号を受けるステップと、
上記立体映像信号の特定映像コンポーネント信号を表す２次元ヒストグラムを生成するステップと、
得られた上記２次元ヒストグラムを表示画面上に表示するステップと
を具え、
上記２次元ヒストグラムを生成するステップが、
上記特定映像コンポーネント信号の上記左画素及び上記右画素を生成するステップと、
上記特定映像コンポーネント信号の対応する上記左画素及び上記右画素の加算値及び差分値を生成するステップと、
上記加算値及び上記差分値を、上記２次元ヒストグラムの２つの軸に従ってプロットするステップと
を有し、
上記加算値及び上記差分値を指標として利用する立体画像の位置決め及びカラー・バランス評価用表示生成方法。
【請求項２】
立体映像信号の特定映像コンポーネント信号に関する左画像画素及び対応する右画像画素を入力とするデカルト・プロットを生成することで２次元ヒストグラムを生成するプロット生成部と、
上記２次元ヒストグラムを表示し、上記左画像画素及び上記右画像画素に関し、上記特定映像コンポーネント信号がどの程度マッチしているかを示す表示画面と
を具え、
上記左画像画素及び対応する上記右画像画素の加算値及び差分値を、上記２次元ヒストグラムの２つの軸に従ってプロットすることよって上記２次元ヒストグラムを生成すると共に、上記加算値及び上記差分値を指標として利用する立体映像信号分析用表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の試験測定に関し、特に、３次元（３Ｄ）画像の画像位置決め及びカラー・バランスを評価する方法及び装置に関する。
【背景技術】
【０００２】
本願は、２０１１年２月２４日に出願された米国仮出願番号６１／４４６１７０号、発明の名称「立体画像位置決め及びカラー・バランス評価用表示」に基づく優先権を主張するものである。
【０００３】
今日、現場における３Ｄ立体画像の制作には、典型的には、左画像と右画像の２つの画像を分離して生成するため、２つのカメラを具えた装置を必要としている。これら２つカメラは、幾何学的又は空間的なミスマッチ（不整合又は不一致）を除去するために次のような設定と位置決めをしなければならない。
１）垂直ずれ  ２）角度ずれ（必要な視差は除く）  ３）回転誤差  ４）ズーム又は焦点距離不整合  ５）シーン合成
【０００４】
また、２つのカメラは、次に関するミスマッチも緩和するよう調整する必要がある。
６）時間的なタイミングのミスマッチはもちろんのこと、カメラ又は撮像装置間の輝度／コントラスト（絞り又は利得）及びカラー・バランス
【０００５】
これらの差分をマッチング（整合）させて除去するためのカメラの調整は、現在のところ、次のような方法を用いている。
ａ）ピクチャ・モニタの２つの画像に分かれた画面を見ながら横に並べて比較
ｂ）チェッカーボード（格子縞模様）パターンを用いるが、このとき、隣接する四角を左画像と右画像間で交互に切り換え、１つの画像上でのマッチングを容易に行えるようにしている
ｃ）波形モニタ又はベクトル表示を用いて、２つのカメラの信号レベルとカラー・バランスを正確にマッチング（整合）させ、輝度／コントラスト及びカラー・バランスにおけるミスマッチを軽減する
【０００６】
本願の発明者による米国特許５３０７０８７号「３次元ＲＧＢコンポーネント・ベクトル表示」は、緑（Ｇ）及び青（Ｂ）コンポーネント（成分）と、緑（Ｇ）及び赤（Ｒ）コンポーネントのような２組の信号対を組合せて、標準的な２次元映像表示のための３次元表示技術を開示している。２組の組合せ信号をベクトル表示装置の入力端子に交互に供給し、対称軸の周りに対称的な表示を形成する。このとき、表示の半分は青コンポーネント信号の特性を表し、他方の半分は赤コンポーネント信号の特性を表し、これら両半分で緑コンポーネント信号の特性を表す。得られるダイヤモンド型表示には、３つのカラー・コンポーネント信号についてカラー・ガマット領域を定められるように、各半分表示に対して格子状の目盛りが設けられ、これによってユーザは、カラー映像信号がＲＧＢ中の適切なカラー空間を表しているか否か確認できる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第５３０７０８７号明細書
【特許文献２】特許第２９２９０６３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
２カメラ立体映像システムで生成される立体画像に関する立体画像位置決め（左右画像がどの程度正確に重ね合わせられるか）評価及びカラー・バランス評価においても、ユーザがこれを容易に行えるようにするための表示方法及び表示装置が必要である。こうした方法及び装置は、左右画像間のカメラのカラー・バランス、絞り（利得）、タイミング・ミスマッチに影響される信号レベルを正確にマッチングできなければならない。また、画像表示上に特別な表示要素を設けて参照したりせずに、左右のカメラの相対的な傾き、回転、ズーム（拡大率）を調整して、ミスマッチを無くすことができるように、幾何学的に最適な位置決めの指標を提供することが望ましい。
【課題を解決するための手段】
【０００９】
従って、本発明は、立体画像の位置決め及びカラー・バランス評価用表示方法及び装置を提供するものであり、ユーザが高品質の立体映像信号を生成できるよう使用する２台のカメラの種々の特性を整合させられるようにしたり、立体映像信号を受けてその品質を分析できるようにするものである。これらカメラは、それぞれ左画像と右画像を生成し、これら画像は、Ｙ（輝度）、Ｒ（赤）、Ｇ（緑）及びＢ（青）のような所望の映像コンポーネント（成分）信号に変換される。映像コンポーネント信号のそれぞれについて、左右画像の対応する画素が比較され、デカルト・プロットへのｘ及びｙ入力としてプロットされ、映像コンポーネント信号のそれぞれについての２次元（２Ｄ）ヒストグラムが生成される。複数のダイヤモンド型表示（以下、単にダイヤモンド表示と呼ぶ）から、ユーザは、それぞれの画像を位置合わせし、２つの画像間のカラー・バランスを生成すると共に改善された高品質の立体映像信号が得られるようにカメラを適切に調整したり、また、既存の立体映像信号の品質を評価したりできる。ユーザは、複数のダイヤモンド表示を２つの画像間の相対的像差（disparity）の指標として用いて、試験用チャート又はシーンに対して、カメラの視差（parallax）又は奥行きの調整を容易に行えるようにしても良い。
【００１０】
より具体的には、本発明の第１概念は、立体画像の位置決め及びカラー・バランス評価用表示を生成する方法であって、
立体映像信号が有する左画像及び右画像の対応関係にある左画像画素及び右画像画素を、上記立体映像信号の特定映像コンポーネント信号を表す２次元ヒストグラムとしてプロットするステップと、
観察者が見えるように、得られた上記２次元ヒストグラムを表示画面上に表示するステップとを具えている。
【００１１】
本発明の第２概念は、第１概念の方法において、
上記特定映像コンポーネント信号中の上記左画像画素及び上記右画像画素を生成するステップと、
上記特定映像コンポーネント信号中の上記左画像画素及び上記右画像画素を比較し、加算値と差分値を生成する比較ステップと、
上記加算値及び上記差分値をそれぞれデカルト・プロットの直交座標に入力し、上記２次元ヒストグラムを生成するステップと
を更に具えることを特徴としている。
【００１２】
本発明の第３概念は、第１概念の方法において、更に、上記プロットするステップより前において、上記左画像画素及び上記右画像画素に水平方向に関してローパス・フィルタ処理を行い、上記左画像画素及び上記右画像画素の限定的な平均値を生成するステップを更に具えることを特徴としている。
【００１３】
本発明の第４概念は、第２概念の方法において、更に、上記比較ステップより前において、上記映像コンポーネント信号をローパス・フィルタ処理するステップを具えることを特徴としている。
【００１４】
本発明の第５概念は、第１概念の方法において、上記映像コンポーネント信号を輝度、赤、青、緑、色相及び明度コンポーネント信号で構成されるグループから選択することを特徴としている。
【００１５】
本発明の第６概念は、第１概念の方法において、上記映像コンポーネント信号として、輝度コンポーネント信号、赤コンポーネント信号、青コンポーネント信号及び緑コンポーネント信号が含まれることを特徴としている。
【００１６】
本発明の第７概念は、第６概念の方法において、上記２次元ヒストグラムがクワッド・ダイヤモンド表示として表されることを特徴としている。
【００１７】
本発明の第８概念は、第１概念の方法において、上記プロットするステップが、上記立体映像信号の複数の異なる映像コンポーネント信号に関する複数の２次元ヒストグラムをプロットするステップを有していることを特徴としている。
【００１８】
本発明の第９概念は、立体映像信号の分析に使用する表示装置であって、
上記映像信号の特定のカラー・コンポーネント信号に関する左画像画素及び対応する右画像画素を入力とするデカルト・プロットを生成することで２次元ヒストグラムを生成する手段と、
上記２次元ヒストグラムを表示し、上記左画像画素及び上記右画像画素に関し、特定の上記カラー・コンポーネント信号がどの程度マッチしているかを観察者に示す表示画面とを具えている。
【００１９】
本発明の第１０概念は、第９概念の表示装置であって、上記カラー・コンポーネント信号を輝度、赤、青、緑、色相及び明度コンポーネント信号で構成されるグループから選択することを特徴としている。
【００２０】
本発明の第１１概念は、第９概念の表示装置であって、上記カラー・コンポーネント信号は、輝度、赤、緑及び青コンポーネント信号であって、上記２次元ヒストグラムは上記表示画面上でクワッド・ダイヤモンド表示として表示されることを特徴としている。
【００２１】
本発明の第１２概念は、第９概念の表示装置であって、上記立体映像信号の異なるカラー・コンポーネント信号から複数のデカルト・プロットを生成し、各デカルト・プロットは、複数の異なるカラー・コンポーネント信号の１つを２次元ヒストグラムで表したもので、複数の上記２次元ヒストグラムが上記表示画面上で同時に表示されることを特徴としている。
【００２２】
本発明の目的、効果及び他の新規な点は、以下の詳細な説明を添付の特許請求の範囲及び図面とともに読むことによって明らかとなろう。
【図面の簡単な説明】
【００２３】
【図１】図１は、従来技術による２次元映像表示に関する３次元ベクトル・ダイヤモンド表示を示す図である。
【図２】図２は、立体画像を構成することとなる２つの２次元映像表示と、本発明の実施形態による関連する２次元ヒストグラムである「クワッド・ダイヤモンド（quad-diamond）」表示を示す図である。
【図３】図３は、２つの輝度フレームのサンプルから構成されるアナグリフを示す図である。
【図４】図４は、本発明による図３のアナグリフのカラー・コンポーネント信号に関するダイヤモンド表示を示す図である。
【図５】図５は、本発明によるカメラのマッチングが異なる場合の図４のダイヤモンド表示の２つの例を示す図である。
【図６】図６は、本発明によるクワッド・ダイヤモンド表示を生成するシステムのブロック図である。
【発明を実施するための形態】
【００２４】
２つの信号電圧を比較する一般的な方法は、一方をｘ値とし、他方をｙ値としてデカルト・プロット（直交プロット）上にプロットするものである。これは、２つの信号が、コンスタレーション表示やベクトル表示で使われるようなコンポジット信号の直交コンポーネント（成分）を表す場合に広く利用されている。しかし、デカルト・プロットは、これら信号がこうした直交コンポーネントでない場合でも、ステレオ・オーディオ（音響）で使われるリサージュ表示でのように、信号の共通する依存関係（common signal dependence）を示すためにもしばしば利用される。このようにして、複数の信号の振幅は比較され、信号が正弦曲線の場合には、相対的な位相及び周波数を決定できる。
【００２５】
上述の米国特許５３０７０８７号「３次元ＲＧＢコンポーネント・ベクトル表示」では、コンポーネントＲＧＢ映像信号を対にして、ｘ軸及びｙ軸上で、いわゆる「デュアル・ダイヤモンド」表示を生成する（デュアル・ダイヤモンド表示＝ダイヤモンド形（ひし形）が２つ（デュアル）ある表示）。この表示では、信号レベルが有効なコンポーネントＲＧＢ信号空間を表しているか、そして、それはどの程度かを判断するために、複数の信号を比較するための指標を提供する。これは、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）コンポーネント信号のそれぞれが３次元（３Ｄ）デカルト（直交）カラー空間の３軸の１つを表している点で有益である。デュアル・ダイヤモンド表示は、信号マッチングに関して有益な特徴があり、これは、ｘ及びｙコンポーネント信号がマッチングしている場合、つまり、時間に関して同じ波形となる場合には、信号波形がどういう形状であっても、デカルト・プロットが直線となるためである。例えば、高解像度画像の１つフレーム全体の全てのＲ、Ｇ及びＢ画素を比較することで、完全にＲ＝Ｇ＝Ｂであるかどうか、それによって、図１に示すような理想的なモノクロ−ム画像を表しているかどうかを判断できる。
【００２６】
デュアル・ダイヤモンド表示は、多くの場合、ラスタ・スキャン表示メモリ内で２次元（２Ｄ）ヒストグラムとして実現され、このとき、一方の信号はｘ座標を構成し、他方の信号はｙ座標を構成する。この場合、得られるデカルト・プロット上のポイントの強さ（intensity：表示上では輝度の強さ）は、回数、つまり、特定のビン（bin：信号ポイント）のｘ及びｙ座標に２つの信号が何回アドレスしたかを表すビン・カウント（ビンのカウント値）に関係する。ビン・カウントは、一般的な表示輝度レンジに比較してダイナミック・レンジが広いので、これを表示できる範囲に収める（制限する）ために、ビン・カウントを輝度に非線形に変換することがしばしば行われている。図１は、これら２Ｄヒストグラムの対１０５及び１１０を示している。２Ｄヒストグラムの対１０５及び１１０は、４５度回転して線を描くにも関わらず、２つの信号はマッチングしている画素を、４５度傾いた方向ではなくて、垂直方向に描くことに注意されたい。
【００２７】
ところで、本発明の実施形態の１つでは、３Ｄ立体映像信号の複数の異なるカラー・コンポーネント信号の対応関係にある左右画像の画素が、複数の２Ｄヒストグラムとしてプロットされる。
【００２８】
本発明の別の実施形態では、上述したような望ましい立体画像の画像位置決め評価及びカラー・バランス評価を行うために、図２に示すような４つの２Ｄヒストグラムを導入し、いわゆる「クワッド・ダイヤモンド」表示２００を生成する（クワッド・ダイヤモンド表示＝４つ（Quad：クワッド）のダイヤモンド形（ひし形）がある表示）。このとき、輝度コンポーネント信号の組、ＹＲ（右（Ｒ）画像の輝度（Ｙ））対ＹＬ（左（Ｌ）画像の輝度（Ｙ））は、左右画像の輝度レベルの比較及びマッチングを行うための１つの２Ｄヒストグラム２０５を形成する。この他の３つの２Ｄヒストグラム、つまり、ＲＲ（右（Ｒ）画像の赤（Ｒ）コンポーネント信号）対ＲＬ（左（Ｌ）画像の赤（Ｒ）コンポーネント信号）の２Ｄヒストグラム２１０、ＧＲ（右（Ｒ）画像の緑（Ｇ）コンポーネント信号）対ＧＬ（左（Ｌ）画像の緑（Ｇ）コンポーネント信号）の２Ｄヒストグラム２１５及びＢＲ（右（Ｒ）画像の青（Ｂ）コンポーネント信号）対ＢＬ（左（Ｌ）画像の青（Ｂ）コンポーネント信号）の２Ｄヒストグラム２２０は、カラー・マッチングに利用される。図示しないが、Hue_R（右（Ｒ）画像の色相（Hue））対Hue_L（左（Ｌ）画像の色相（Hue））の２Ｄヒストグラムなど、その他の比較も、もちろん有益である。
【００２９】
本発明の実施形態の１つでは、これら信号の水平成分についてローパス・フィルタ処理する一方、垂直成分については行わないようにする。これによると、左右画像において水平方向に限定した平均化が行われ、垂直方向のディテールについては平均化されない。この方法では、マッチングしない左右画像の値（垂直ラインからの偏位）があれば、それは２つの画像の水平方向のミスマッチというよりは、垂直方向のミスマッチが主な原因である。これによって得られる表示では、望ましくない垂直方向の相違に対する感度がとても良くなり、その結果、垂直オフセットを１ライン未満にまで無くすこともできるようになる。
【００３０】
水平ローパス・フィルタは、立体的奥行きを生成するのに利用される意図的な左右の視差が原因のヒストグラムにおける像差の範囲、つまり、垂直ラインからの偏位の範囲を、もっと広い画面幅のコンポーネント信号に対して平均化することによって制限し、これによって、全体の色及び輝度のミスマッチを、より簡単に比較できるようにする。１ＭＨｚ帯域のローパス・フィルタ帯域幅は、標準画質（ＳＤ）立体映像に対して良く機能し、２〜５ＭＨｚ帯域のローパス・フィルタ帯域幅は、高解像度（ＨＤ）立体映像に対して良く機能する。
【００３１】
図２は、左カメラ画像２２５を上に、右カメラ画像２３０を下にして積み重ねた画像として提供される立体画像の例を示す。この例では、左カメラ画像２２５は、右カメラ画像２３０と比べて赤が若干弱く、カラー・ミスマッチが生じている。この点は、クワッド・ダイヤモンド表示２００の赤（Ｒ）２Ｄヒストグラム２１０において、左右共通画素値（垂直ライン）の右側のウェイトが高くなるという形で観測され、これは右画像中に赤がより多いという偏りがあることを示す。また、輝度（ＹＲ対ＹＬ）についても、右側画像のウェイトがわずかに高いことにも注意されたい。一方、ヒストグラム２１５及び２２０によれば、緑（Ｇ）及び青（Ｂ）の左右画像のマッチングは良いように見える。
【００３２】
例として、図３は、処理対象として、２つのサンプル輝度フレームである左画像輝度ＹＬ及び右画像輝度ＹＲからなるアナグリフ３００を示している。図４は、ＹＬ及びＹＲからローパス・フィルタ処理及び間引き処理されて生成された画素ＹＬｄ及びＹＲｄのデカルト・プロットを示し、これによって、上述した２Ｄヒストグラムをシミュレーションしてみることにする。
【００３３】
ｙ軸及びｘ軸に関する式Ｄｙ及びＤｘを、次のように定義する。
【００３４】
【数１】
0006043490.tif 000002
【００３５】
【数２】
0006043490.tif 000003
【００３６】
これら式の結果は、デカルト（直交）ｘｙプロットを４５度回転させるもので、これによって、左右で同じ輝度値を有する画素は、中央の垂直ラインに現れるようになる。Ｄｙ及びＤｘの値は、プロットされると、図２のクワッド・ダイヤモンド表示の例のように、２Ｄヒストグラムのビンにおいて指標として機能する。垂直エラー、ズーム・エラー、回転位置決めエラーが原因でなく、奥行き視差が原因で左右画像で同じ値を共有していない画素に関しては、左右画像間の水平方向の像差が、ダイヤモンド・プロット領域の中央垂直ラインの周りに水平に広がるプロットとして現れる。この水平方向の広がりの幅は、奥行き視差の量に関係する一方、中央垂直ラインから離れてゆがんだプロットは、２つの画像間のレベル又は利得のミスマッチを示す。
【００３７】
同様な等式の組を用いることで、立体映像信号の左右画像の赤、緑、青、色相、明度などのカラー・コンポーネント信号について、右対左のダイヤモンド表示を生成できる。４つのコンポーネント信号を表す４つのダイヤモンド表示の組合せれば、図２のクワッド・ダイヤモンド表示が生成される。
【００３８】
図５は、カメラのマッチング関係が異なる図４のダイヤモンド表示の２つの例５００及び５０５を示す。左側の表示５００は、左右画像間の空間的マッチングが完璧で、利得のミスマッチもない場合を示している。この場合の表示では、垂直ラインのプロットが細くなることが示され、また、立体の奥行きのために視差角度を設定する前の状態において、立体カメラが理想的に設定されていることを示している。右側の表示５０５は、左右画像間に望ましい水平視差（奥行きのための左右画像間の像差）がある程度あるものの、同時に、望ましくない１０％の輝度利得又はコントラストのミスマッチ（左カメラは、右カメラより１０％低い）がある（これは、例えば、カメラの自動絞り機能が原因）場合を示している。
【００３９】
図６を参照すると、１つの実施形態では、左立体カメラからの左コンポーネント映像信号値（ＹＬ、ＣｒＬ、ＣｂＬ）が左変換行列６０１に入力される一方、右コンポーネント映像信号値（ＹＲ、ＣｒＲ、ＣｂＲ）が右変換行列６０２に入力される。輝度値ＹＬ及びＹＲと、変換行列６０１及び６０２からのＲＧＢコンポーネント信号値（ＲＬ、ＧＬ及びＢＬ並びにＲＲ、ＧＲ及びＢＲ）は、対応するマッチング処理パス６１０、６３０、６５０及び６７０にそれぞれ入力される。パス６１０は、立体輝度コンポーネント信号ＹＬ及びＹＲを比較するためのものである。パス６３０は、立体赤コンポーネント信号ＲＬ及びＲＲを比較するためのものである。パス６５０は、立体緑コンポーネント信号ＧＬ及びＧＲを比較するためのものである。パス６７０は、立体青コンポーネント信号ＢＬ及びＢＲを比較するためのものである。この例では、パス６１０、６３０、６５０及び６７０のそれぞれは、２つある立体コンポーネント信号の入力部のそれぞれにローパス・フィルタ（ＬＰＦ）を有し、ローパス・フィルタに続いてサンプル・レート・デシメータ（間引き回路：間引き率Ｎ）があり、水平ラインをフィルタ処理すると共に、不必要な過剰サンプリングを無している。各パスの２つのデシメータから得られた間引きされた２つの値は、加算回路で加算されると共に、引き算回路で引き算され、それぞれで得られる結果は、これらに続く２分の１除算回路でそれぞれ平均化される。各マッチング処理パスの出力部に得られる結果は、対応するデカルト・プロットのｘ及びｙ入力にそれぞれ供給され、上述の如く、それぞれ対応する２Ｄヒストグラム６２０、６４０、６６０及び６８０の表示を生成する。その結果は、図２に示すようなクワッド・ダイヤモンド表示である。
【００４０】
以上、高品質の立体映像信号を生成するためのカメラ調整に関して主に説明してきたが、上述の発明は、与えられた立体映像信号の品質を評価するためにも利用可能なことが容易に理解されるであろう。
【００４１】
このように、本発明は、カメラ設定に必要となる、ライブの３Ｄ映像素材でも利用可能な左右画像に関する信号レベル及びカラーのマッチングや位置合わせ（重ね合わせ）のためのシンプルな指標を提供する。一方の画像をミラーで反転させた場合では、本発明を適用するためには、その画素については反転させないようにする。本発明は、立体映像信号画像の生成を主に意図してはいるが、カラー修正が必要となるような３Ｄ用立体映像信号の品質を管理するためにも有益である。
【符号の説明】
【００４２】
２００  クワッド・ダイヤモンド表示
２０５  ＹＲ対ＹＬ２Ｄヒストグラム
２１０  ＲＲ対ＲＬ２Ｄヒストグラム
２１５  ＧＲ対ＧＬ２Ｄヒストグラム
２２０  ＢＲ対ＢＬ２Ｄヒストグラム
２２５  左カメラ画像
２３０  右カメラ画像
３００  アナグリフ画像サンプル
４００  アナグリフ画像のカラー・コンポーネント信号のダイヤモンド表示
５００  理想的マッチング状態の左右画像から生じるダイヤモンド表示
５０５  ミスマッチのある左右画像から生じるダイヤモンド表示
６０１  左変換行列回路
６０２  右変換行列回路
６１０  輝度コンポーネント信号用マッチング処理パス
６２０  左右輝度コンポーネント信号によるＸＹ２Ｄヒストグラム
６３０  赤コンポーネント信号用マッチング処理パス
６４０  左右赤コンポーネント信号によるＸＹ２Ｄヒストグラム
６５０  緑コンポーネント信号用マッチング処理パス
６６０  左右緑コンポーネント信号によるＸＹ２Ｄヒストグラム
６７０  青コンポーネント信号用マッチング処理パス
６８０  左右青コンポーネント信号によるＸＹ２Ｄヒストグラム
【図４】
0006043490.tif 000004
【図５】
0006043490.tif 000005
【図６】
0006043490.tif 000006
【図１】
0006043490.tif 000007
【図２】
0006043490.tif 000008
【図３】
0006043490.tif 000009