(57)【特許請求の範囲】
【請求項１】
左目用画像及び右目用画像が交互に連続して入力される入力手段と、
連続して入力される左目用画像及び右目用画像をそれぞれ複数のブロックに分割し、前記左目用画像及び右目用画像の各ブロックの階調毎の度数分布を合算した合算度数分布を各ブロックに対して取得する度数分布取得手段と、
前記左目用画像及び右目用画像のそれぞれに含まれるオブジェクト画像の位置を検出する検出手段と、
前記各ブロックの前記合算度数分布において、度数が、前記オブジェクト画像の位置に応じて決定された閾値を超えるピーク階調に基づき、前記左目用画像及び右目用画像の前記各ブロックに適用するための階調変換関数を決定する決定手段と、
前記左目用画像及び右目用画像の前記各ブロックに、対応する前記階調変換関数を用いて画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記検出手段が検出した前記オブジェクト画像の位置に応じて、前記左目用画像における前記オブジェクト画像が存在する第１ブロックと、前記右目用画像における前記オブジェクト画像が存在する第２ブロックと、が異なるか否かを判定する判定手段を備え、
前記判定手段が前記第１ブロックと前記第２ブロックとが異なると判定した場合、前記決定手段は、少なくとも前記第１ブロックにおける前記閾値を、前記判定手段が前記第１ブロックと前記第２ブロックとが異ならないと判定した場合より小さくする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段が検出した前記オブジェクト画像の位置に応じて、前記左目用画像における前記オブジェクト画像が存在する第１ブロックと、前記右目用画像における前記オブジェクト画像が存在する第２ブロックと、が異なるか否かを判定する判定手段を備え、
前記判定手段が前記第１ブロックと前記第２ブロックとが異なると判定した場合、前記度数分布取得手段は、少なくとも前記第１ブロックの合算度数分布に対し度数を増加させる補正を行う請求項１に記載の画像処理装置。
【請求項４】
前記左目用画像における前記オブジェクト画像と前記右目用画像における前記オブジェクト画像との間の視差を取得する視差取得手段を備え、
前記判定手段は、前記視差取得手段により取得された前記視差と、前記オブジェクト画像の位置と、各ブロックの位置と、に基づき、前記オブジェクト画像が前記左目用画像及び前記右目用画像それぞれにおいて異なるブロックに存在するか否かを判定する請求項２又は３に記載の画像処理装置。
【請求項５】
前記オブジェクト画像が、前記左目用画像の複数の前記ブロックにまたがって存在している場合に、前記決定手段は、前記オブジェクト画像が存在する複数の前記ブロックの前記閾値を、前記オブジェクト画像が前記左目用画像の複数の前記ブロックにまたがって存在していない場合よりも小さくなるように決定することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記オブジェクト画像が、前記右目用画像の複数の前記ブロックにまたがって存在している場合に、前記決定手段は、前記オブジェクト画像が存在する複数の前記ブロックの前記閾値を、前記オブジェクト画像が前記右目用画像の複数の前記ブロックにまたがって存在していない場合よりも小さくなるように決定することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項７】
左目用画像及び右目用画像が交互に連続して入力される入力工程と、
連続して入力される左目用画像及び右目用画像をそれぞれ複数のブロックに分割し、前記左目用画像及び右目用画像の各ブロックの階調毎の度数分布を合算した合算度数分布を各ブロックに対して取得する度数分布取得工程と、
前記左目用画像及び前記右目用画像のそれぞれに含まれるオブジェクト画像の位置を検出する検出工程と、
前記各ブロックの前記合算度数分布において、度数が、前記オブジェクト画像の位置に応じて決定された閾値を超えるピーク階調に基づき、前記左目用画像及び右目用画像の前記各ブロックに適用するための階調変換関数を決定する決定工程と、
前記左目用画像及び右目用画像の前記各ブロックに、対応する前記階調変換関数を用いて画像処理を施す画像処理工程と、
を有することを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、立体映画システムや業務用モニタ、アミューズメント用ゲーム機やＣＧ作成、医療現場等で、観察者から立体的に見える画像（３次元画像、３Ｄ画像、立体画像）を表示可能なディスプレイが普及しつつある。従来の非立体的な画像（２次元画像、２Ｄ画像）の高画質化技術に関しても立体画像に対応させる必要性が生じている。
立体画像では、左右の眼用に異なる画像（以下、左目に入る画像をＬ画像、右目に入る画像をＲ画像とする）を表示することで、視聴者に視差を知覚させ、立体感を生み出している。
【０００３】
従来の２Ｄ画像に対する高画質化処理では、例えば図１１（Ａ）に示すように、ハードウェア（Ｈ／Ｗ）処理で画像の色や明るさなどの度数分布を取得し、当該度数分布の情報に基づいてファームウェア(Ｆ／Ｗ)処理で画像のガンマ補正が適応的に行われる。図１１（Ａ）の例では、１秒間に６０フレームの画像データが入力され、入力から２フレーム（１／３０秒）遅延したタイミングで高画質化処理の演算結果が反映された画像データが出力される。
【０００４】
入力される立体画像のＬ画像及びＲ画像の平均輝度レベル及びダイナミックレンジをそれぞれ個別に取得し、それに基づいてＬ画像又はＲ画像に対し画像処理を行ってＬ画像とＲ画像の特性を一致させる技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平２−０５８９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
立体画像の伝送方式に、Ｌ画像及びＲ画像をフレームシーケンシャルで伝送するものがある。図１１（Ｂ）は、このようなフレームシーケンシャル方式で伝送される立体画像に対し、Ｌ画像及びＲ画像それぞれの度数分布に基づきガンマ補正等の高画質化処理を行う例を示す図である。図１１（Ｂ）の例では、１秒間にＬ画像及びＲ画像それぞれ６０フレーム、合わせて１２０フレームの画像データが入力される。図１１（Ａ）の場合と同様、入力から１／３０秒遅延したタイミングで高画質化処理後の画像を出力するものとする。すなわち、Ｌ画像及びＲ画像合わせて４フレーム遅延したタイミングで、高画質化処理演算を適用した画像データを出力する。そのためには、例えばＬ画像１の度数分布１ＬをＨ／Ｗが取得すると、その次のＲ画像１が入力されるタイミング（１フレーム後）でＦ／ＷがＬ画像１の度数分布１ＬをＨ／Ｗより取得し、当該度数分布１Ｌを用いて高画質化処理演算を行う。この時、Ｆ／Ｗの処理は、次のＬ画像２が入力されるタイミング（２フレーム後）より前に完了しなければならない。つまり、高画質化処理演算は１フレームの時間内に行う必要がある。
【０００７】
しかし、Ｌ画像及びＲ画像の画素数が図１１（Ａ）の２Ｄ画像の画素数と同じであるとすると、例えばＬ画像１の高画質化処理演算に要する時間１３０２は、図１１（Ａ）に示す２Ｄ画像の１フレームの画像の高画質化処理演算に要する時間１３０４と同じである。この場合、図１１（Ｂ）に示すように、高画質化処理演算に要する時間が１フレームの時
間を超えてしまうことがあり得る。そうすると、図１１（Ｂ）に示すように、Ｌ画像１の高画質化処理演算が次のＬ画像２の入力タイミングより前に完了しなくなる。そして、高画質化処理演算の開始タイミングが徐々に遅れていき、Ｌ画像２の段階で、画像出力タイミングが到来しても高画質化処理演算が完了していない状態（オーバーフロー１３０３）が生じてしまう。オーバーフローを回避するためには、図１１（Ｂ）の１フレームの期間（１／１２０秒）は図１１（Ａ）の１フレームの期間（１／６０秒）の半分であるから、図１１（Ａ）の場合の２倍の処理能力を有する高価なＣＰＵを用いる必要があることになる。
【０００８】
これに対し、図１１（Ｃ）に示すように、Ｈ／ＷがＬ画像とＲ画像の２画像分の度数分布を取得してメモリに書き込み、Ｆ／ＷがメモリからＬ画像とＲ画像の２画像分の度数分布の情報を読み込んでＬ画像とＲ画像の高画質化演算を行うことが考えられる。この場合、Ｌ画像とＲ画像の高画質化処理演算を２フレーム（１／６０秒）の時間内に完了すればオーバーフローを回避できるので、図１１（Ｂ）の場合よりもＣＰＵへの要求性能を低くできると考えられる。
【０００９】
しかしながら、Ｆ／ＷはＬ画像とＲ画像の２画像分の度数分布の情報をメモリから読み出す必要があるため、度数分布の情報の読み出しに要する時間はＬ画像のみ又はＲ画像のみの１画像分の度数分布を読み出す場合の２倍必要になる。そのため、場合によっては高画質化処理演算が２フレームの時間内に完了しない可能性がある。また、メモリにＬ画像とＲ画像の２画像分の度数分布の情報を保存する必要があるため、必要なメモリ容量が増大しコスト増の要因となる。
【００１０】
そこで、本発明は、Ｌ画像及びＲ画像がフレームシーケンシャル方式で入力される立体画像の画像処理において、ＣＰＵの性能やメモリの容量を増やすことなくオーバーフローを回避することができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、左目用画像及び右目用画像が交互に連続して入力される入力手段と、
連続して入力される左目用画像及び右目用画像をそれぞれ複数のブロックに分割し、前記左目用画像及び右目用画像の各ブロックの階調毎の度数分布を合算した合算度数分布を各ブロックに対して取得する度数分布取得手段と、
前記左目用画像及び右目用画像のそれぞれに含まれるオブジェクト画像の位置を検出する検出手段と、
前記各ブロックの前記合算度数分布において、度数が、前記オブジェクト画像の位置に応じて決定された閾値を超えるピーク階調に基づき、前記左目用画像及び右目用画像の前記各ブロックに適用するための階調変換関数を決定する決定手段と、
前記左目用画像及び右目用画像の前記各ブロックに、対応する前記階調変換関数を用いて画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置である。
【００１２】
本発明は、左目用画像及び右目用画像が交互に連続して入力される入力工程と、
連続して入力される左目用画像及び右目用画像をそれぞれ複数のブロックに分割し、前記左目用画像及び右目用画像の各ブロックの階調毎の度数分布を合算した合算度数分布を各ブロックに対して取得する度数分布取得工程と、
前記左目用画像及び前記右目用画像のそれぞれに含まれるオブジェクト画像の位置を検出する検出工程と、
前記各ブロックの前記合算度数分布において、度数が、前記オブジェクト画像の位置に応じて決定された閾値を超えるピーク階調に基づき、前記左目用画像及び右目用画像の前記各ブロックに適用するための階調変換関数を決定する決定工程と、
前記左目用画像及び右目用画像の前記各ブロックに、対応する前記階調変換関数を用いて画像処理を施す画像処理工程と、
を有することを特徴とする画像処理装置の制御方法である。
【発明の効果】
【００１３】
本発明によれば、Ｌ画像及びＲ画像をフレームシーケンシャル方式で入力される立体画像の画像処理において、ＣＰＵの性能やメモリの容量を増やすことなくオーバーフローを回避することができる。
【図面の簡単な説明】
【００１４】
【図１】実施例１に係る立体画像表示装置の概略構成を示すブロック図
【図２】実施例１に係る立体画像の高画質化処理を示すフローチャート
【図３】Ｌ画像とＲ画像の度数分布及びそれらを合算した度数分布を示す図
【図４】実施例１における高画質化処理の流れを概念的に示す図
【図５】Ｌ画像とＲ画像とで異なるブロックに画像が存在する場合の例を示す図
【図６】Ｌ画像とＲ画像の度数分布及びそれらを合算した度数分布を示す図
【図７】実施例２に係る立体画像表示装置の概略構成を示すブロック図
【図８】実施例２に係る立体画像の高画質化処理を示すフローチャート
【図９】Ｌ画像とＲ画像の視差測定の概念図
【図１０】Ｌ画像とＲ画像の度数分布及びそれらを合算した度数分布を示す図
【図１１】従来技術における高画質化処理の流れを概念的に示す図
【図１２】Ｌ画像とＲ画像とで物体の画像がブロック境界に存在する場合を示す図
【図１３】図１２においてブロック１のピーク検出閾値を下げる方法を示す図
【図１４】図１２においてブロック２のピーク検出閾値を下げる方法を示す図
【図１５】図１２においてブロック３のピーク検出閾値を下げる方法を示す図
【発明を実施するための形態】
【００１５】
（実施例１）
以下、本発明の実施例１について説明する。
実施例１では、立体画像のＬ画像及びＲ画像の度数分布をＨ／Ｗで合算して合算度数分布をメモリ（ＳＲＡＭ）に保存し、Ｆ／Ｗが当該合算度数分布に基づいてＬ画像及びＲ画像の高画質化処理を行う。これによれば、メモリの容量は１画像分の度数分布の情報を保存するための容量と同等でよく、かつＦ／Ｗがメモリから度数分布の情報を読み出すのに要する時間も１画像分の度数分布の情報を読み出すのに要する時間と同等になる。従って、メモリからの度数分布の情報の読み出し時間のために高画質化処理演算に要する時間が長くなることを抑制できる。以下、詳細に説明する。
【００１６】
図１は、本実施例に係る画像処理装置１００の機能構成を示すブロック図である。本実施例では、図１の入力部１０１、デコード部１０２、度数分布取得部１０３、画像処理部１０５、メモリ１０６はＨ／Ｗで構成され、高画質化処理演算部１０４はＦ／Ｗにより処理されるものとする。Ｆ／Ｗによる処理は制御部１０７（ＣＰＵ）がＲＯＭ（不図示）等に記憶されたプログラムをＲＡＭ（不図示）に読み込み実行することにより行われるソフトウェア処理である。なお、制御部１０７は、Ｈ／Ｗ部分を構成する入力部１０１、デコード部１０２，度数分布取得部１０３，画像処理部１０５，メモリ１０６の動作を制御する。以下、図１のブロック図を用いて説明する。
【００１７】
画像処理装置１００は、図示していない外部接続機器等からＬ画像及びＲ画像からなる立体画像の画像データを入力する。画像データは入力部１０１に入力された後、デコード部１０２にて復号される。復号された画像データは、内部バスを経由し、度数分布取得部１０３に渡される。画像データは左目用画像データ（Ｌ画像データ）と右目用画像データ（Ｒ画像データ）とが交互に入力される。
【００１８】
度数分布取得部１０３は、連続して入力されるＬ画像及びＲ画像の階調毎の度数分布を取得する。度数分布取得部１０３は、交互に連続して入力されるＬ画像及びＲ画像の画像データから、Ｌ画像の度数分布とＲ画像の度数分布とをそれぞれ取得し、それらを合算した合算度数分布を取得し、合算度数分布の情報をメモリ１０６に保存する。度数分布取得部１０３において度数分布の取得が行われたＬ画像及びＲ画像の画像データは、画像処理部１０５へ入力される。
【００１９】
高画質化処理演算部１０４は、度数分布取得部１０３にて算出された合算度数分布の情報をメモリ１０６から読み出すことにより取得し、当該合算度数分布を用いて画像を高画質化するための演算処理を行う。例えば、高画質化処理演算部１０４は、合算度数分布において度数が所定の閾値を超える階調をピーク階調として検出し、検出したピーク階調に基づき、Ｌ画像とＲ画像の入力階調を出力階調に変換するための階調変換関数を決定する。Ｆ／Ｗは演算結果を画像処理部１０５の有するレジスタに設定することで画像の高画質化処理が実行される。
【００２０】
画像処理部１０５は、高画質化処理演算部１０４にて演算された高画質化処理演算結果をレジスタから読み出し、当該レジスタ値をもとに、入力されるＬ画像及びＲ画像の画像データに対し画像処理を行う。画像処理部１０５は、画像処理を施したＬ画像及びＲ画像の画像データを出力する。出力先は、画像データに基づく画像を表示する液晶表示装置等の画像表示装置、画像データを記憶する記憶装置、画像データに対し他の画像処理を施す画像処理装置等である。
【００２１】
図２は、本発明の実施例１における画像処理装置１００の高画質化処理を示すフローチャートである。
Ｓ２０１において、デコード部１０２は、復号して得られた立体画像データのうち、Ｌ画像データを度数分布取得部１０３へ入力する。
Ｓ２０２において、度数分布取得部１０３は、入力されたＬ画像データの度数分布を取得する。
Ｓ２０３において、度数分布取得部１０３は、取得したＬ画像データの度数分布の情報をメモリ１０６に保存する。Ｌ画像データの度数分布取得処理はＳ２０１からＳ２０３によって行われる。
【００２２】
次に、Ｓ２０４において、デコード部１０２は、復号して得られた立体画像のうち、Ｒ画像データを度数分布取得部１０３へ入力する。
Ｓ２０５において、度数分布取得部１０３は、入力されたＲ画像データの度数分布を取得する。
Ｓ２０６において、度数分布取得部１０３は、取得したＲ画像データの度数分布を、Ｓ２０３にて保存したＬ画像データの度数分布と合算し、合算度数分布を算出する。
【００２３】
Ｓ２０７において、度数分布取得部１０３は、Ｓ２０６にて算出した合算度数分布の情報を、メモリ１０６に保存する。
Ｓ２０８において、高画質化処理演算部１０４は、Ｓ２０７にて保存した合算度数分布の情報をメモリ１０６から読み出し、高画質化処理演算を行う。高画質化処理演算としては、例えば、合算度数分布に基づきγカーブを算出する処理等が挙げられる。
Ｓ２０９において、画像処理部１０５は、Ｓ２０８における演算結果に基づき、入力される画像データに対し画像処理を行う。これにより入力される画像データに対し適応的な高画質化処理が実行されることになる。
【００２４】
図３は、実施例１に係る画像処理の実際の画像への適用例を示した図である。
図３の例では、Ｌ画像３０１及びＲ画像３０２は、それぞれ高輝度の背景画像に２つの
低輝度のオブジェクト（物体）の画像が描画される画像である。図３において、度数分布のグラフは横軸が階調、縦軸が各階調における度数を示す。Ｌ画像の度数分布３０３及びＲ画像の度数分布３０４では、それぞれ高輝度領域及び低輝度領域に排気絵画像及び物体画像に応じたピークがある。また、Ｌ画像の度数分布３０３とＲ画像の度数分布３０４を合算した合算度数分布３０５にも同様の傾向が見られることがわかる。
【００２５】
本実施例の画像表示装置では、Ｌ画像の度数分布３０３とＲ画像の度数分布３０４を合算した合算度数分布３０５がメモリに保存され、Ｆ／Ｗが当該合算度数分布３０５をメモリから読み出し、それに基づきＬ画像及びＲ画像の高画質化処理を行う。
【００２６】
図４は、実施例１における画像処理の流れを概念的に示した図である。図４において横軸は時間を表す。
図４に示すように、本実施例では、立体画像は、Ｌ画像及びＲ画像が１秒間にそれぞれ６０フレーム、合わせて１２０フレームのフレームシーケンシャル方式で画像処理装置１００に入力されるものとする。従って、Ｌ画像が入力されてから次のＲ画像が入力されるまでは１／１２０秒である。本実施例では、画像データが入力されてから４フレーム遅延したタイミング、すなわち入力されてから１／３０秒遅延したタイミングで、高画質化処理後の画像データを出力するものとする。Ｈ／Ｗ処理は、Ｌ画像及びＲ画像の度数分布の取得、合算度数分布の算出、及び合算度数分布のメモリへの保存を行う。Ｆ／Ｗ処理は、メモリからの合算度数分布の取得、合算度数分布に基づく高画質化処理演算を行う。
【００２７】
図４に示すようにＨ／ＷはＬ画像１の度数分布１Ｌを取得し、その後入力されるＲ画像１の度数分布１Ｒを取得し、それらを合算した合算度数分布１Ｓの情報をメモリに保存する。Ｆ／Ｗは、次のＬ画像（Ｌ画像２）が入力されるタイミングで、メモリから合算度数分布１Ｓの情報を読み出し、合算度数分布１Ｓに基づき高画質化処理演算を行う。このＦ／Ｗの処理がオーバーフローしないためには、合算度数分布１Ｓの情報を読み出すタイミングから次のＬ画像（Ｌ画像３）が入力されるタイミングまでの２フレームの期間（１／６０秒）内に高画質化処理演算が完了すればよい。また、Ｆ／Ｗがメモリから合算度数分布１Ｓの情報を読み出すのに要する時間は、Ｌ画像又はＲ画像の１画像分の度数分布の情報をメモリから読み出すのに要する時間と同等である。従って、本実施例の高画質化処理演算は、図１１（Ａ）に示したような２Ｄ画像の画像処理を行う場合と同等の負荷であり、かつ同等の時間内に実行完了すればよいため、図１１（Ａ）の場合と同等の処理性能のＣＰＵを用いてもオーバーフローを回避できる。
【００２８】
以上のように画像処理装置１００の画像処理を制御することにより、立体画像に対してＬ画像及びＲ画像の２画像分の度数分布の情報を取得及び保持するのではなく、Ｌ画像及びＲ画像の度数分布を合算した合算度数分布の情報が取得及び保持される。そして、Ｆ／Ｗが合算度数分布の情報を用いてＬ画像及びＲ画像の高画質化処理が行われるので、２Ｄ画像の高画質化処理と同等の処理性能のＣＰＵ及び容量のメモリの構成でオーバーフローを回避することが可能となる。
【００２９】
（実施例２）
実施例２では、画像を複数のブロックに分割し、各ブロックの度数分布に応じて高画質化処理を行う場合について説明する。特に、本実施例では各ブロックの度数分布に応じて階調変換特性を変更する処理（ダイナミックγ処理）について説明する。
【００３０】
実施例１では、Ｌ画像及びＲ画像の度数分布を合算し、得られた合算度数分布に基づき画像の高画質化処理演算を行う方法について説明した。本実施例では、更に、ブロックごとの度数分布のピークを検出しダイナミックγ処理を行う。そのために、本実施例では、度数分布の合算に加えて、例えば図３の物体画像のような、度数分布のピークに影響を与
え得る画像が存在するブロックが、Ｌ画像とＲ画像とで異なるか否かの判定を行う。
【００３１】
図５は、Ｌ画像及びＲ画像において度数分布のピークに影響を与え得る画像の存在するブロックがＬ画像とＲ画像とで異なる場合の例を示す図である。
図５の例では、図３と同様、高輝度の背景画像に低輝度の物体Ａ，Ｂの画像が存在する。また、Ｌ画像及びＲ画像はそれぞれ横３ブロック×縦３ブロックの全９ブロックに分割される。Ｌ画像及びＲ画像それぞれにおける各ブロックに付されている番号（１〜９）は、ブロック分割の識別子を示している。
【００３２】
図５における物体Ａ、物体Ｂの画像にはそれぞれ立体的に見えるように視差がついている。そのため、物体の画像の位置によっては、視差のためにＬ画像とＲ画像とでその画像の存在するブロックが異なる場合が存在する。図５の例では、物体Ａの画像は、視差が小さく、ブロック１の中央部分に位置しているため、Ｌ画像及びＲ画像それぞれで同じブロック１に属している。一方、物体Ｂの画像は、視差が大きく、ブロック分割の境界付近に位置しているため、Ｌ画像ではブロック２に、Ｒ画像ではブロック３に属している。
【００３３】
図５に示す画像の場合に、Ｌ画像とＲ画像の度数分布をブロック毎に合算することを考える。
図６は、図５の例で示したＬ画像とＲ画像の度数分布をブロック毎に合算し、当該合算度数分布に基づきダイナミックγ処理で用いる度数分布のピークを見つける処理を概念的に示した図である。度数分布のピークとは、図６の合算度数分布の局所的にピークになった部分（図６の符号６０１）のことである。本実施例のダイナミックγ処理では閾値（図６の符号６０２）を設け、閾値以上の度数を持つ階調をピーク階調として検出する。本実施例では、検出されたピーク階調を注目物体の階調（以下、注目階調と呼ぶ）と判断し、注目階調に多くの階調が割り当てられるような階調変換が行われるように動的に階調変換関数であるγカーブを生成する。
【００３４】
立体画像の場合、図５の物体Ｂの画像のように、Ｌ画像とＲ画像の視差のために同一の物体の画像が異なるブロックに存在する場合がある。このような場合に、Ｌ画像とＲ画像の度数分布を合算すると、例えばブロック２の場合、Ｌ画像の度数分布には物体Ｂの画像に対応するピークがあるがＲ画像の度数分布にはそのピークがない。同様に、ブロック３の場合、Ｒ画像の度数分布には物体Ｂの画像に対応するピークがあるがＬ画像の度数分布にはそのピークがない。そのため、ブロック２の合算度数分布も、ブロック３の合算度数分布も、物体Ｂの画像に対応するピークが閾値６０２を超えなくなり、結果としてピークとして検出されない。これに対し、ピーク検出の閾値を下げることが考えられる。しかし、ピーク検出のための閾値を下げると、特に同一物体の画像がＬ画像とＲ画像とで同じブロックに存在する場合に、検出感度が高くなりすぎてピークではない階調をピークと誤検出してしまう可能性がある。
【００３５】
そこで、本実施例２では、同一物体の画像がＬ画像とＲ画像とで異なるブロックに存在していることを検出し、当該物体の画像が属するブロックに関してのみピーク検出のための閾値を既定値よりも下げる処理を行う。これにより、同一の物体の画像がＬ画像とＲ画像とで異なるブロックに存在する場合に、いずれのブロックにおいても当該物体の画像に対応する階調をピークとして検出することができる。以下、本実施例２について詳細に説明する。
【００３６】
図７は、本実施例２に係る画像処理装置７００の装置構成を示すブロック図である。本実施例では、入力部７０１、デコード部７０２、度数分布取得部７０３、画像処理部７０４、視差測定部７０５、メモリ７０９はＨ／Ｗで構成されるものとする。また、ブロック境界判定部７０６、ピーク検出部７０７、高画質化処理演算部７０８はＦ／Ｗにより処理
されるものとする。Ｆ／Ｗによる処理は制御部７０９（ＣＰＵ）がＲＯＭ（不図示）等に記憶されたプログラムをＲＡＭ（不図示）に読み込み実行することにより行われるソフトウェア処理である。なお、制御部７０９は、Ｈ／Ｗ部分を構成する入力部７０１、デコード部７０２、度数分布取得部７０３、画像処理部７０４、視差測定部７０５、メモリ７０９の動作を制御する。
【００３７】
画像処理装置７００は、図示していない外部接続機器等から画像データを受信する。画像データは入力部７０１に入力された後、デコード部７０２にて復号される。復号された画像データは、内部バスを経由し、度数分布取得部７０３及び視差測定部７０５に渡される。
【００３８】
度数分布取得部７０３は、連続して入力されるＬ画像及びＲ画像の階調毎の度数分布を取得する。度数分布取得部７０３は、交互に連続して入力されるＬ画像及びＲ画像の画像データから、ブロック毎にＬ画像とＲ画像の度数分布をそれぞれ取得する。そして、度数分布取得部７０３は、ブロック毎にＬ画像とＲ画像の度数分布を合算して合算度数分布を取得し、合算度数分布の情報を図示しないメモリに保存する。
【００３９】
視差測定部７０５は、デコード部７０２にてデコードされた立体画像のＬ画像及びＲ画像の画像データ同士を比較し、視差を測定する。視差測定部７０５は、立体画像中のオブジェクトの画像の検出をパターンマッチングやエッジ検出等の公知の手法により行い、オブジェクトの画像毎にＬ画像における表示位置とＲ画像における表示位置とから視差を算出する。視差測定部７０５にて測定した視差量は、同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像が存在するか否かを検出するために用いられる。
【００４０】
ブロック境界判定部７０６は、視差測定部７０５にて測定した視差量に基づき、同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像が存在するか否かを判定し、判定結果を後段のピーク検出部７０７に渡す。
【００４１】
ピーク検出部７０７は、度数分布取得部７０３にて取得した合算度数分布の情報と、ブロック境界判定部７０６による判定結果とに基づいて、度数分布のピーク階調をブロック毎に検出する。本実施例では、同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像が存在するブロックについては度数分布のピーク検出の閾値を既定値より下げる。
【００４２】
高画質化処理演算部７０８では、ピーク検出部７０７にて検出されたピーク階調の情報に基づき、画像を高画質化するための演算処理を行う。Ｆ／Ｗは演算結果を画像処理部７０４の有するレジスタに設定することで画像の高画質化処理を実行できる。ここでは、高画質化処理演算部７０８は、ピーク検出部７０７にて検出したピーク階調に対して多くの階調を割り当てるようなγカーブを適応的に作成する。
【００４３】
画像処理部７０４では、高画質化処理演算部７０８にて演算された結果をレジスタから読み出し、当該レジスタ値をもとに画像処理（ダイナミックγ処理）を行う。これにより、高画質化処理演算部７０８が作成したγカーブが画像データに反映される。
【００４４】
図８は、実施例２における画像処理装置７００の高画質化処理を示すフローチャートである。
Ｓ８０１からＳ８０７までの処理は、実施例１の図２におけるＳ２０１からＳ２０７までの処理と同様なので説明を割愛する。ただし、Ｌ画像及びＲ画像ともにブロックに分割し、Ｓ８０２、Ｓ８０５、Ｓ８０６における度数分布の取得及び合算処理はブロック毎に行われる点については実施例１と異なる。また、度数分布や合算度数分布のメモリ７０９
への保存もブロック毎に行われる。
【００４５】
Ｓ８０８において、視差測定部７０５は、立体画像のＬ画像とＲ画像の視差を測定する。本実施例では、Ｌ画像とＲ画像の視差をパターンマッチングによって求め、求めた視差をパラメータとして用いて、同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像があるか否かを判断する。図９はＬ画像とＲ画像のパターンマッチングにより物体の画像毎に視差を測定する例を示した図である。図９（Ａ）に示すように、画像には、図３と同様、高輝度の背景画像に低輝度の物体画像Ａ，Ｂが存在し、Ｌ画像とＲ画像のパターンマッチングにより、図９（Ｂ）に示すように、物体Ａの視差ＰＡ及び物体Ｂの視差ＰＢが測定される。
【００４６】
パターンマッチング自体は立体画像の視差取得の方法として一般的な方法を使用することができる。また、本実施例では、同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像を検出できれば良いので、パターンマッチング以外の方法を用いて視差を測定してもよい。また、立体画像の視差量がメタデータとして立体画像データに付与される場合は、当該メタデータから視差量の情報を取得してもよい。
【００４７】
Ｓ８０９において、ブロック境界判定部７０６は、Ｓ８０８にて測定した視差に基づき、同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像があるか否かの判定を行う。パターンマッチングによって物体の画像中の位置とその視差が求められる。この画像中の物体の位置と視差の情報と、各ブロックのサイズ（縦と横のピクセル数）の情報に基づき、その物体の画像がＬ画像とＲ画像とで２つのブロックにまたがって（ブロック境界を越えて）存在するか否かを判定することができる。
【００４８】
図９（Ｃ）は、物体Ｂの画像がＬ画像とＲ画像とで異なるブロック（図９（Ｃ）ではブロック２、３）に存在すると判定されたことを示した図である。これらのブロックに関しては、ピーク検出部７０７は、次のＳ８１０のピーク検出の際にピーク検出の閾値を下げる処理を行う。
【００４９】
Ｓ８１０において、ピーク検出部７０７は、Ｓ８０９の判定の結果、同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像があると判定されたブロックに対して、ピーク検出の閾値を下げる処理を行う。
一方、Ｓ８１１において、ピーク検出部７０７は、Ｓ８０９の判定の結果、同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像がないと判定されたブロックに対して、デフォルトのピーク検出の閾値（既定値）を用いるよう決定する。
【００５０】
図１０は、同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像があるブロックのピーク検出の閾値を下げた場合のピーク検出結果を示す図である。上記の例では、ブロック２とブロック３に関して、同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像が存在するため、図１０に示すように、閾値がデフォルトの閾値Ａから閾値Ｂへ下げられている。一方、ブロック１に関しては同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像が存在しないため、デフォルトの閾値Ａが用いられる。
【００５１】
これにより、合算度数分布において物体Ｂの画像に基づくピークがブロック１ほど高くなっていないブロック２とブロック３に関しても、ピーク検出の閾値が下げられることによって、物体Ｂの画像に基づくピークを注目階調として検出することが可能となる。図１０は、ブロック１、２、３いずれにおいても、物体Ａ又は物体Ｂの画像に基づくピークを注目階調として検出できたことを示している。
【００５２】
本実施例では同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像があるブロックについてピーク検出のための閾値を下げる例を説明した。しかし、当該ブロックの度数分布又は合算度数分布の度数を増加させる補正を行い、閾値は全ブロックで共通としても良い。度数を増加させることでピーク検出の閾値を下げなくても、同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像があるブロックにおいてピークを検出することが可能となる。
【００５３】
Ｓ８１２において、ピーク検出部７０７は、ブロック毎に、Ｓ８１０とＳ８１１にて決定したピーク検出閾値を用いて、Ｌ画像とＲ画像の度数分布を合算した合算度数分布のピークを検出する。
Ｓ８１３において、高画質化処理演算部７０８は、ブロック毎に、Ｓ８１２にて検出されたピークの情報に基づき、当該ピークが存在する階調に対して多くの階調を割り当てるようにγカーブを作成する。
Ｓ８１４において、画像処理部７０４は、Ｓ８１３にて作成したγカーブを入力された画像データに適用する。
【００５４】
以上のように本実施例の画像処理装置７００では、ブロック毎にＬ画像及びＲ画像の度数分布を合算した合算度数分布を取得し、合算度数分布のうち度数が閾値を超える階調をピーク階調（注目階調）として検出する。そして、ピーク階調近傍に多くの階調が割り当てられるような適応的な階調変換をブロック毎に行う。このとき、立体画像中の同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像があるブロックを検出し、当該ブロックについてはピーク階調を検出するための閾値を下げる処理を行う。これにより、同一物体の画像であってＬ画像とＲ画像とで異なるブロックに存在する画像があるブロックについても、その画像に基づくピークを検出することが可能となり、視差が大きい立体画像であっても最適なγカーブを適応的に生成し適用することができる。
【００５５】
なお、図５は、物体Ｂの画像がＬ画像ではブロック２に存在し、Ｒ画像ではブロック３に存在し、Ｌ画像とＲ画像のいずれにおいても物体Ｂの画像とブロック境界とが重なっていなかったが、図１２に示すようにブロック境界と物体画像とが重なる場合も想定される。この場合、Ｌ画像とＲ画像の少なくともいずれかにおいて、物体画像は複数のブロックにまたがって存在している。このような状態では、ブロック境界判定部７０６は、図８のＳ８０９にて、複数のブロックのそれぞれに物体画像がどの程度の割合（面積、画素数の割合）で存在するか検出し、もっとも存在する割合が大きいブロックがＬ画像とＲ画像とで異なるか否か判定する。異なる場合に、Ｓ８１０の処理に進み、異ならない場合に、Ｓ８１１の処理に進むようにしても良い。
【００５６】
物体がブロック境界を越えた場合の各ブロックの閾値の決定方法について図１３〜図１５を用いて説明する。図１３〜図１５は、立体視される画像が図１２である場合において、それぞれブロック１〜３での閾値の決定方法を説明した図である。
【００５７】
ブロック１については、図１３より、Ｌ画像の物体Ａは全てブロック１に含まれているが、Ｒ画像の物体Ａが、ブロック１とブロック２との境界をまたがっている。よって、ブロック１の閾値は、物体Ａの画像がブロック１とブロック２との境界からブロック２側へ越えた分だけ下げるように決定される。つまり図１３の図から、Ｒ画像において物体Ａが、ブロック１とブロック２の境界からブロック２側へ越えた距離（はみ出した分）ｄ１ＡＲに対応する値だけ閾値を下げる。ただし、距離ｄ１ＡＲが所定値より小さい場合には、度数分布のピーク値の検出への影響が少ないとして、該距離を閾値の決定（補正）に用いなくてもよい。ブロック２側へ超えた分に対応する値とは、例えば、物体Ａの画像のうちブロック２に含まれる部分の画素数とすることができる。或いは、境界に垂直な方向（ブロック１とブロック２との関係では横方向）の距離が大きいほど大きくなるように定めら
れる値とすることができる。以下の説明でも同様である。
【００５８】
次にブロック２について図１４を用いて説明する。ブロック２では、Ｌ画像の物体Ｂが隣接するブロック３との境界にまたがり、Ｒ画像の物体Ａが隣接するブロック１との境界にまたがり、物体Ｂが隣接するブロック３との境界にまたがっている。この場合、Ｌ画像において物体Ｂが、ブロック２とブロック３との境界からブロック３側へ越えた距離ｄ２ＢＬの分だけ閾値を下げる。ただし、距離ｄ２ＢＬが所定値より小さい場合には、度数分布のピーク値の検出への影響が少ないとして、該距離を閾値の決定に用いなくてもよい。
【００５９】
また、Ｒ画像において物体Ａは、ブロック２とブロック１との境界からブロック１側へ距離ｄ２ＡＲの分だけ越えているものの、物体ＡはＬ画像においてはブロック２に含まれていないため、ブロック２にて物体Ａのピーク検出をする必要がない。よって、物体ＡがＲ画像においてブロック１へはみ出した距離ｄ２ＡＲの分は、ブロック２の閾値決定には用いないものとする。従って、距離ｄ２ＡＲの分はブロック２の閾値に影響しない。Ｒ画像において物体Ｂは、ブロック２とブロック３との境界からブロック３側へ距離ｄ２ＢＲの分だけ越えている。ブロックＢはＬ画像においてもブロック２に含まれるため、距離ｄ２ＢＲの分だけ閾値が下げられる。以上より、ブロック２の閾値は、（ｄ２ＢＬ＋ｄ２ＢＲ）の分だけ下げられる。
【００６０】
最後に、ブロック３について図１５を用いて説明する。ブロック３の場合、物体Ｂが含まれている量が多いため、物体Ｂがブロック境界を超えた距離分だけ、ピーク検出閾値を下げる。図１５では、物体ＢはＬ画像の場合ブロック２側へ距離ｄ３ＢＬの分だけはみ出しており、Ｒ画像の場合ブロック２側へ距離ｄ２ＢＲの分だけはみ出している。従って、ピーク検出閾値を（ｄ３ＢＬ＋ｄ３ＢＲ）の分だけ下げられる。
以上によって、図１２のように物体の画像がブロック境界にまたがる場合においても実施例２と同様の効果を得ることが可能となる。
上記の実施例の高画質化処理としては、フレーム毎に度数分布に基づいて設定したガンマ補正を行うことを例示できる。また、高画質化処理としては、ガンマ補正に限らず、高解像度化、ノイズ除去、エッジ強調等の処理であっても良いし、これらを組み合わせた画像処理であっても良い。
【符号の説明】
【００６１】
１００  立体画像表示装置
１０１  入力部
１０３  度数分布取得部
１０４  高画質化処理演算部
１０５  画像処理部
【図１】
0005924932.tif 000002
【図２】
0005924932.tif 000003
【図３】
0005924932.tif 000004
【図４】
0005924932.tif 000005
【図５】
0005924932.tif 000006
【図６】
0005924932.tif 000007
【図７】
0005924932.tif 000008
【図８】
0005924932.tif 000009
【図９】
0005924932.tif 000010
【図１０】
0005924932.tif 000011
【図１１】
0005924932.tif 000012
【図１２】
0005924932.tif 000013
【図１３】
0005924932.tif 000014
【図１４】
0005924932.tif 000015
【図１５】
0005924932.tif 000016