(57)【要約】【課題】３次元画像のＬ画像とＲ画像の輝度の逆転によるちらつき感を防止する装置および方法を提供する。【解決手段】３次元画像の表示処理に際して、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の輝度の高低が逆転することによって発生するちらつきを防止することが可能となる。すなわち、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の輝度の高低が逆転するフレームを検出し、検出ポイントからの一定期間、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の輝度を制御して、急激な輝度の逆転を発生させない構成としている。この輝度制御処理により、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の輝度が瞬時に逆転することがなくなり、観察者にちらつき感を発生させることのない画像表示が実現される。【選択図】図７
2011250071.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像を構成する左眼用画像（Ｌ画）と右眼用画像（Ｒ画）について、各画像単位の平均輝度を算出する平均輝度算出部と、
新規入力フレームである新規ＬＲ画像の輝度高低状態と、直前入力フレームである直前ＬＲ画像の輝度高低状態が逆転しているか否かを判定し、該判定情報を利用して新規ＬＲ画像の輝度制御を実行するか否かを判定する輝度制御実行判定部と、
前記輝度制御実行判定部の判定結果に応じて、新規ＬＲ画像の各々に対する輝度制御値としての加算値を算出する加算値算出部と、
前記加算値算出部の算出した加算値を新規ＬＲ画像の各々に加算または減算することで新規ＬＲ画像の輝度調整を実行する輝度制御部を有する画像処理装置。
【請求項２】
前記加算値算出部は、
前記新規ＬＲ画像の各々の平均輝度がほぼ一致する加算値を算出して前記輝度制御部に出力する請求項１に記載の画像処理装置。
【請求項３】
前記加算値算出部は、
前記新規ＬＲ画像の各々の平均輝度をＬ画像の平均輝度とＲ画像の平均輝度のほぼ中間値に設定する加算値を算出して前記輝度制御部に出力する請求項１に記載の画像処理装置。
【請求項４】
前記加算値算出部は、
前記新規ＬＲ画像の各々の平均輝度がほぼ一致する加算値を算出して前記輝度制御部に出力し、予め設定した期間の後、加算値を徐々に０に近づける制御を行う請求項２または３に記載の画像処理装置。
【請求項５】
前記輝度制御実行判定部は、
新規入力フレームである新規ＬＲ画像の輝度高低状態と、直前入力フレームである直前ＬＲ画像の輝度高低状態が逆転しているか否かを判定し、
さらに、
新規ＬＲ画像のＬ画像と直前ＬＲ画像のＬ画像との平均輝度の差分であるＬ画像フレーム間差分と、
新規ＬＲ画像のＲ画像と直前ＬＲ画像のＲ画像との平均輝度の差分であるＲ画像フレーム間差分を算出し、
前記輝度高低状態の逆転が発生し、かつ、
前記Ｌ画像フレーム間差分が規定閾値以上であり、
前記Ｒ画像フレーム間差分が規定閾値以上であることの確認を条件として、新規ＬＲ画像の輝度制御の実行判定を行う請求項１〜４いずれかに記載の画像処理装置。
【請求項６】
画像処理装置において実行する画像処理方法であり、
平均輝度算出部が、３次元画像を構成する左眼用画像（Ｌ画）と右眼用画像（Ｒ画）について、各画像単位の平均輝度を算出する平均輝度算出ステップと、
輝度制御実行判定部が、新規入力フレームである新規ＬＲ画像の輝度高低状態と、直前入力フレームである直前ＬＲ画像の輝度高低状態が逆転しているか否かを判定し、該判定情報を利用して新規ＬＲ画像の輝度制御を実行するか否かを判定する輝度制御実行判定ステップと、
加算値算出部が、前記輝度制御実行判定部の判定結果に応じて、新規ＬＲ画像の各々に対する輝度制御値としての加算値を算出する加算値算出ステップと、
輝度制御部が、前記加算値算出部の算出した加算値を新規ＬＲ画像の各々に加算または減算することで新規ＬＲ画像の輝度調整を実行する輝度制御ステップを有する画像処理方法。
【請求項７】
画像処理装置において画像処理を実行させるプログラムであり、
平均輝度算出部に、３次元画像を構成する左眼用画像（Ｌ画）と右眼用画像（Ｒ画）について、各画像単位の平均輝度を算出させる平均輝度算出ステップと、
輝度制御実行判定部に、新規入力フレームである新規ＬＲ画像の輝度高低状態と、直前入力フレームである直前ＬＲ画像の輝度高低状態が逆転しているか否かを判定し、該判定情報を利用して新規ＬＲ画像の輝度制御を実行するか否かを判定させる輝度制御実行判定ステップと、
加算値算出部に、前記輝度制御実行判定部の判定結果に応じて、新規ＬＲ画像の各々に対する輝度制御値としての加算値を算出させる加算値算出ステップと、
輝度制御部に、前記加算値算出部の算出した加算値を新規ＬＲ画像の各々に加算または減算することで新規ＬＲ画像の輝度調整を実行させる輝度制御ステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、３次元画像（３Ｄ画像）の表示処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
昨今、３次元画像の再生を可能としたテレビなどの表示装置が急速に普及している。３次元画像の表示は以下のような処理によって行われる。すなわち、左眼用画像と右眼用画像を表示装置に表示して、観察者が左眼用画像を左眼でのみ観察し、右眼用画像を右眼でのみ観察するように制御することで立体的な画像の観察を実現する。
【０００３】
３次元画像の表示方式には様々な表示方式があるが、その代表的手法として、表示装置に左眼用画像と右眼用画像を高速に切り替えて表示し、観察者が例えばシャッタ式メガネを装着して、画像の切り替えに応じてシャッタの開閉を行うものがある。
【０００４】
すなわち、表示部に左眼用画像が表示されている間はシャッタ式メガネの左眼のシャッタを開として右眼シャッタを閉とする。一方、表示部に右眼用画像が表示されている間はシャッタ式メガネの左眼のシャッタを閉として右眼シャッタを開とする。このような制御により、左右の眼用の画像をそれぞれ観察者の一方の眼で観察させるものである。このようなシャッタ方式以外にも異なる偏光方向を持つメガネを利用した偏光方式など、様々な方式の３次元画像表示方式が存在する。
【０００５】
このように３次元画像の表示処理においては、表示部に左眼用画像と右眼用画像が表示される。この左眼用画像と右眼用画像は異なる視点から撮影された画像である。例えば図１に示すように、被写体１０に対して、左眼用画像撮影位置２１において左眼用画像が撮影され、右眼用画像撮影位置２２において右眼用画像が撮影される。
【０００６】
このように異なる位置から左眼用画像と右眼用画像を撮影するため、撮影環境によっては左眼用画像と右眼用画像の輝度が異なってしまう場合が発生する。
左眼用画像と右眼用画像の輝度が異なっている場合に、輝度の高低が左眼用画像と右眼用画像とで入れ替わると観察者は画面のちらつきを感じる。すなわちフリッカ現象が発生する。
【０００７】
図２は、表示部に表示する左眼用画像と右眼用画像の平均輝度の推移例を示す図である。横軸に時間、縦軸に平均輝度を示している。平均輝度とは各画像フレーム単位の平均輝度である。
【０００８】
図２に示す例は、フレームｎ以前は、左眼用画像の平均輝度が右眼用画像の平均輝度より高い状態である。しかし、フレームｎ＋１以降は、右眼用画像の平均輝度が左眼用画像の平均輝度より高い状態に入れ替わっている。
すなわち、フレームｎからｎ＋１の間で、左眼用画像と右眼用画像の平均輝度の高低の逆転が発生している。このように左眼用画像と右眼用画像の輝度の高低が逆転すると、観察者は画面のちらつき、すなわちフリッカを感ずることになる。
【０００９】
このような現象は、特に画像を編集して連続撮影されていない画像をつなぎ合わせた場合などに発生しやすくなる。あるいは３Ｄコンテンツのソースの切り替え、あるいは早送り再生などを行った場合などに、より多く発生する。
【００１０】
３Ｄ画像の撮影時に発生する左右画像の輝度の差分を調整する手法については例えば特許文献１（特開２００３−６０９４７号公報）に記載がある。この特許文献１に記載された方法は３Ｄ画像の撮影時に左眼用画像と右眼用画像の画質の差を小さくする調整処理を行う構成を開示している。しかし、撮影された後の画像表示処理における制御については全く示されておらず、例えば画像の編集などによって輝度の異なる画像が連結された場合などの処理について対応可能な構成ではない。
【００１１】
また、特許文献２（特開２００７−１６７６７５号公報）には、シーン変更など輝度等の大きく異なる画像への変更時に、低輝度状態の画像、例えば黒やグレーの画像を挿入して出力しシーンチェンジにおける観察者の違和感を緩和する構成が示されている。しかし、この特許文献２に記載の手法は、黒やグレーの低輝度画像を挿入して出力するものであり、観察者は黒やグレーの画像を検知する可能性があり、このような場合、違和感を感ずることになる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００３−６０９４７号公報
【特許文献２】特開２００７−１６７６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明は、例えば上記問題点に鑑みてなされたものであり、３次元画像（３Ｄ画像）を表示する構成において、左眼用画像と右眼用画像の輝度の変化が発生した場合でも観察者にちらつき（フリッカ）等の発生を感じさせにくい表示制御を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の第１の側面は、
３次元画像を構成する左眼用画像（Ｌ画）と右眼用画像（Ｒ画）について、各画像単位の平均輝度を算出する平均輝度算出部と、
新規入力フレームである新規ＬＲ画像の輝度高低状態と、直前入力フレームである直前ＬＲ画像の輝度高低状態が逆転しているか否かを判定し、該判定情報を利用して新規ＬＲ画像の輝度制御を実行するか否かを判定する輝度制御実行判定部と、
前記輝度制御実行判定部の判定結果に応じて、新規ＬＲ画像の各々に対する輝度制御値としての加算値を算出する加算値算出部と、
前記加算値算出部の算出した加算値を新規ＬＲ画像の各々に加算または減算することで新規ＬＲ画像の輝度調整を実行する輝度制御部を有する画像処理装置にある。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記加算値算出部は、前記新規ＬＲ画像の各々の平均輝度がほぼ一致する加算値を算出して前記輝度制御部に出力する。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記加算値算出部は、前記新規ＬＲ画像の各々の平均輝度をＬ画像の平均輝度とＲ画像の平均輝度のほぼ中間値に設定する加算値を算出して前記輝度制御部に出力する。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記加算値算出部は、前記新規ＬＲ画像の各々の平均輝度がほぼ一致する加算値を算出して前記輝度制御部に出力し、予め設定した期間の後、加算値を徐々に０に近づける制御を行う。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記輝度制御実行判定部は、新規入力フレームである新規ＬＲ画像の輝度高低状態と、直前入力フレームである直前ＬＲ画像の輝度高低状態が逆転しているか否かを判定し、さらに、新規ＬＲ画像のＬ画像と直前ＬＲ画像のＬ画像との平均輝度の差分であるＬ画像フレーム間差分と、新規ＬＲ画像のＲ画像と直前ＬＲ画像のＲ画像との平均輝度の差分であるＲ画像フレーム間差分を算出し、前記輝度高低状態の逆転が発生し、かつ、前記Ｌ画像フレーム間差分が規定閾値以上であり、前記Ｒ画像フレーム間差分が規定閾値以上であることの確認を条件として、新規ＬＲ画像の輝度制御の実行判定を行う。
【００１９】
さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
平均輝度算出部が、３次元画像を構成する左眼用画像（Ｌ画）と右眼用画像（Ｒ画）について、各画像単位の平均輝度を算出する平均輝度算出ステップと、
輝度制御実行判定部が、新規入力フレームである新規ＬＲ画像の輝度高低状態と、直前入力フレームである直前ＬＲ画像の輝度高低状態が逆転しているか否かを判定し、該判定情報を利用して新規ＬＲ画像の輝度制御を実行するか否かを判定する輝度制御実行判定ステップと、
加算値算出部が、前記輝度制御実行判定部の判定結果に応じて、新規ＬＲ画像の各々に対する輝度制御値としての加算値を算出する加算値算出ステップと、
輝度制御部が、前記加算値算出部の算出した加算値を新規ＬＲ画像の各々に加算または減算することで新規ＬＲ画像の輝度調整を実行する輝度制御ステップを有する画像処理方法にある。
【００２０】
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
平均輝度算出部に、３次元画像を構成する左眼用画像（Ｌ画）と右眼用画像（Ｒ画）について、各画像単位の平均輝度を算出させる平均輝度算出ステップと、
輝度制御実行判定部に、新規入力フレームである新規ＬＲ画像の輝度高低状態と、直前入力フレームである直前ＬＲ画像の輝度高低状態が逆転しているか否かを判定し、該判定情報を利用して新規ＬＲ画像の輝度制御を実行するか否かを判定させる輝度制御実行判定ステップと、
加算値算出部に、前記輝度制御実行判定部の判定結果に応じて、新規ＬＲ画像の各々に対する輝度制御値としての加算値を算出させる加算値算出ステップと、
輝度制御部に、前記加算値算出部の算出した加算値を新規ＬＲ画像の各々に加算または減算することで新規ＬＲ画像の輝度調整を実行させる輝度制御ステップを実行させるプログラムにある。
【００２１】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２３】
本発明の一実施例の構成によれば、３次元画像の表示処理に際して、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の輝度の高低が逆転することによって発生するちらつきを防止することが可能となる。すなわち、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の輝度の高低が逆転するフレームを検出し、検出ポイントからの一定期間、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の輝度を制御して、急激な輝度の逆転を発生させない構成としている。この輝度制御処理により、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の輝度が瞬時に逆転することがなくなり、観察者にちらつき感を発生させることのない画像表示が実現される。
【図面の簡単な説明】
【００２４】
【図１】３次元画像を構成する画像の取得構成例について説明する図である。
【図２】表示部に表示する左眼用画像と右眼用画像の平均輝度の推移例を示す図である。
【図３】本発明の画像処理装置の実行する画像表示制御の概要について説明する図である。
【図４】フレームシーケンシャル方式のビデオ信号について説明する図である。
【図５】本発明の画像処理装置の構成例について説明する図である。
【図６】輝度制御実行判定部２０３の具体的構成と処理について説明する図である。
【図７】加算値フラグ出力部２５４が出力するフラグの設定と、出力されるＬ画像およびＲ画像の輝度変化の対応図を示す図である。
【図８】加算値算出部２０４での算出する加算値による輝度調整フレームの生成処理について説明する図である。
【図９】加算値算出部２０４の構成と処理の具体例について説明する図である。
【図１０】ローパスフィルタ３０３の構成と処理について説明する図である。
【図１１】本発明の画像処理装置の実行する輝度制御処理シーケンスについて説明するフローチャートを示す図である。
【図１２】本発明の画像処理装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本発明の画像処理装置の実行する処理の概要ついての説明
２．本発明の画像処理装置の具体的実施例について
３．画像処理装置のハードウェア構成例について
【００２６】
［１．本発明の画像処理装置の実行する処理の概要ついての説明］
まず、図３を参照して、本発明の画像処理装置の実行する画像表示制御の概要について説明する。
【００２７】
先に図２を参照して説明したように、３次元画像（３Ｄ画像）の観察時に発生するちらつき（フリッカ）は、左眼用画像と右眼用画像の平均輝度の高低の逆転が起こると発生する。本発明では、このような逆転現象の発生するフレーム近傍において、図３に示すような輝度調整を実行する。
【００２８】
図３は、先に説明した図２と同様、表示部に表示する左眼用画像と右眼用画像の平均輝度の推移例を示す図である。横軸に時間、縦軸に平均輝度を示している。平均輝度とは各画像フレーム単位の平均輝度である。
図３に示す例は、本発明の一実施例に従った輝度調整後の左眼用画像と右眼用画像の平均輝度の推移例である。
【００２９】
輝度調整前の入力画像は、先に説明した図２の例と同様であり、フレームｎ以前は、左眼用画像の平均輝度が右眼用画像の平均輝度より高い状態であり、フレームｎ＋１以降は、右眼用画像の平均輝度が左眼用画像の平均輝度より高い状態に入れ替わっている画像である。
【００３０】
本発明の画像処理装置は、このような輝度の高低の入れ替わりが発生する画像について、図３に示す輝度調整フレーム出力期間１００を設定する。
図３に示す輝度調整フレーム出力期間１００は、例えば出力フレーム数＝１〜複数フレーム（ｋフレーム）の期間として設定し、これらの期間において、左眼用画像と右眼用画像の平均輝度の調整を実行する。
【００３１】
具体的には、輝度調整フレーム出力期間１００は、図３に示すように、左眼用画像と右眼用画像の平均輝度がほぼ一致するように輝度調整を行う。
このような輝度調整期間を設定することで、
フレームｎ以前：左眼用画像＝高輝度、右眼用画像＝低輝度、
フレームｎ＋１〜ｎ＋ｋ：左眼用画像＝中輝度、右眼用画像＝中輝度、
フレームｎ＋ｋ＋１以降：左眼用画像＝低輝度、右眼用画像＝高輝度、
このような推移で左眼用画像と右眼用画像の輝度変化が発生する。
【００３２】
このような処理を行うことで、左眼用画像と右眼用画像の輝度がフレーム前後で瞬時に入れ替わることなく、輝度調整フレーム出力期間１００として設定されたｋフレームの調整期間が介在してなめらかに輝度が入れ替わることになり、ユーザ（観察者）がちらつきを感じることが少なくなる。
本発明の画像処理装置の実行する表示制御はこのような制御を行うものである。
【００３３】
［２．本発明の画像処理装置の具体的実施例について］
以下、図３を参照して説明した表示制御を行う本発明の画像処理装置の構成と処理の具体的な実施例について説明する。
【００３４】
本発明の画像処理装置は、３次元画像（３Ｄ画像）の表示制御を実行する。画像処理装置は、たとえば図４に示すようなフレームシーケンシャル方式のビデオ信号を入力して表示制御を実行する。つまり、左眼用の左眼用画像（Ｌ画像）信号と右眼用の右眼用画像（Ｒ画像）信号が交互に伝送路を介して伝達し、これを入力する。
【００３５】
本発明の画像処理装置の構成例を図５に示す。例えば図４に示す画像信号は、フレームメモリ２０１に順次、格納される。また、平均輝度算出部２０２にも並列に供給される。なお、平均輝度算出部２０２には、フレームメモリ２０１に格納された画像信号を供給する構成としてもよい。
【００３６】
例えば、平均輝度算出部２０２は、左眼用画像信号（Ｌ画像）を取得すると、左眼用画像信号（Ｌ画像）の１フレーム全体の平均輝度を算出する。算出したＬ画像フレームの平均輝度はメモリ２２０に記録される。図５に示すメモリ２２０内のＬ画像平均輝度２２１である。
【００３７】
次に、平均輝度算出部２０２は、続いて入力する右眼用画像信号（Ｒ画像）の１フレーム全体の平均輝度を算出する。算出したＲ画像フレームの平均輝度もメモリ２２０に記録する。図５に示すメモリ２２０内のＲ画像平均輝度２２２である。
【００３８】
平均輝度算出部２０２の算出するＬ画像平均輝度２２１とＲ画像平均輝度２２２は、具体的には例えば下記のような算出式に従って算出される。
Ｌ画像の平均輝度Ｌｍ（ｎ）
Ｌｍ（ｎ）＝ΣＬｉｎ（ｘ，ｙ）／（画像サイズ）
なお、Ｌｉｎ（ｘ，ｙ）は入力Ｌ画像の画素位置（ｘ，ｙ）の輝度である。
Ｒ画像の平均輝度Ｒｍ（ｎ）
Ｒｍ（ｎ）＝ΣＲｉｎ（ｘ，ｙ）／（画像サイズ）
なお、Ｒｉｎ（ｘ，ｙ）は入力Ｒ画像の画素位置（ｘ，ｙ）の輝度である。
【００３９】
メモリ２２０に保存されたＬ画像平均輝度２２１と、Ｒ画像平均輝度２２２は、輝度制御実行判定部２０３に入力される。
輝度制御実行判定部２０３は、メモリ２２０に保存されたＬＲ画像ペア（最新ペア）のＬ画像平均輝度２２１と、Ｒ画像平均輝度２２２とを比較する。すなわち、以下のいずれの状態であるかを判断する。
（ａ）Ｌ画像平均輝度２２１≧Ｒ画像平均輝度２２２、
（ｂ）Ｌ画像平均輝度２２１＜Ｒ画像平均輝度２２２、
上記の（ａ），（ｂ）のいずれの状態にあるかを判定する。
【００４０】
輝度制御実行判定部２０３は、メモリ２２０に保存されたＬＲ画像ペア（最新ペア）の直前のＬＲ画像ペア（直前ペア）の輝度の高低差情報を保持しており、
最新ペアの輝度高低差と、直前ペアの輝度高低差の逆転が発生しているか否かを判定する。
すなわち、Ｌ画像ペアの平均輝度の状態遷移が、以下の状態遷移となっているか否かを判定する。
直前ペアの平均輝度がＬ＞Ｒであり、最新ペアがＬ＜Ｒに変化、または、
直前ペアの平均輝度がＬ＜Ｒであり、最新ペアがＬ＞Ｒに変化、
このような輝度の逆転現象が発生しているか否かを判定する。
【００４１】
このような逆転現象が発生していることが検出された場合、先に図３を参照して説明した輝度調整フレーム出力期間を設定した輝度調整処理を実行する。
輝度制御実行判定部２０３は、このような輝度逆転現象の発生の有無に応じたフラグ（加算値フラグ）を加算値算出部２０４に出力する。
すなわち、例えば、輝度逆転現象の発生があった場合にフラグ値＝１、輝度逆転現象の発生がない場合にフラグ値＝０、このような輝度逆転現象の有無を識別可能とした加算値フラグを生成して加算値算出部２０４に出力する。
【００４２】
加算値算出部２０４は、輝度逆転現象の発生があったことを示すフラグ値（例えば１）が入力された場合に、Ｌ画像に対して加算する輝度値と、Ｒ画像に対して加算する輝度値を算出する。すなわち、先に図３を参照して説明した輝度調整フレーム出力期間１００の輝度レベルに調整するための加算値を算出する。
【００４３】
この輝度加算値が輝度制御部２０５に出力される。なお、輝度制御部２０５に出力される輝度加算値は、Ｌ画像に対する加算値であるＬ画像用輝度加算値と、Ｒ画像に対する加算値であるＲ画像用輝度加算値の２つの加算値である。これらが交互に出力される。なお、これらの２つの加算値は＋の値、−の値、様々な値に設定される。
【００４４】
輝度制御部２０５には、フレームメモリ２０１に格納された入力画像であるＬ画像とＲ画像が、順次転送されて格納され、加算値算出部２０４において算出された輝度加算値が加算された後、出力されることになる。
【００４５】
加算値算出部２０４の算出した加算値が輝度制御部２０５に入力した画像フレームに加算される期間は、輝度制御実行判定部２０３の出力する加算値フラグの値が、加算処理を実行することを示す値（例えばフラグ値＝１）に設定されている期間である。これは、図３に示す輝度調整フレーム出力期間１００に相当する期間であり、例えば数フレーム〜数１０フレーム等、予め設定された期間となる。輝度調整フレーム出力期間１００は規定のフレーム数の出力期間あるいは規定の時間（数秒）等、様々な態様での設定が可能である。
【００４６】
輝度制御実行判定部２０３の具体的構成と処理について図６を参照して説明する。
図６に示すように、輝度制御実行判定部２０３の平均輝度比較部２５１は、メモリ２２０からＬＲ画像ペア（最新ペア）のＬ画像平均輝度２２１と、Ｒ画像平均輝度２２２とを入力して、この最新ペアのＬＲ画像の平均輝度を比較する。比較結果は、
（ａ）Ｌ画像平均輝度２２１＞Ｒ画像平均輝度２２２、
（ｂ）Ｌ画像平均輝度２２１＜Ｒ画像平均輝度２２２、
上記の（ａ），（ｂ）のいずれの状態であり、この比較結果情報をＬＲ輝度逆転判定部２５２に出力する。
【００４７】
ＬＲ輝度逆転判定部２５２は、平均輝度比較部２５１から入力する最新ペアの輝度高低情報と、その直前のＬＲ画像の輝度高低情報をメモリ２５３から取得して、ＬＲ画像の平均輝度の高低の逆転が発生しているか否かを判定する。
すなわち、Ｌ画像ペアの平均輝度の状態遷移が、以下の状態遷移となっているか否かを判定する。
直前ペアの平均輝度がＬ＞Ｒであり、最新ペアがＬ＜Ｒに変化、または、
直前ペアの平均輝度がＬ＜Ｒであり、最新ペアがＬ＞Ｒに変化、
このような輝度の逆転現象が発生しているか否かを判定する。
【００４８】
なお、メモリ２５３には、平均輝度比較部２５１において輝度高低比較のなされている１つ前のＬＲ画像フレームペア（直前ペア）の輝度高低情報（Ｌ＞ＲまたはＬ＜Ｒ）が格納されている。このデータは順次更新される。
【００４９】
ＬＲ輝度逆転判定部２５２が、以下の輝度逆転現象、すなわち、
直前ペアの平均輝度がＬ＞Ｒであり、最新ペアがＬ＜Ｒに変化、または、
直前ペアの平均輝度がＬ＜Ｒであり、最新ペアがＬ＞Ｒに変化、
このような輝度の逆転現象が発生していると判定した場合、加算値フラグ出力部２５４に対して、加算処理を有効化するフラグ（例えばフラグ値＝１）の出力を実行させるための制御信号を出力する。さらに、カウンタ２５５のカウント処理を開始させる。
【００５０】
カウンタ２５５は、図３に示す輝度調製フレーム出力期間１００の開始〜終了を決定するためのカウンタである。例えば輝度調製フレーム出力期間１００は予め規定のフレーム数の出力期間、あるいは規定時間（１〜数秒程度）の期間として設定される。
【００５１】
輝度調製フレーム出力期間１００が規定のフレーム数の出力期間として設定されている場合、カウンタ２５５は、その規定フレーム数のカウントを実行する。具体的には、輝度調製フレーム出力期間１００がフレーム数＝ｋのｋフレームを出力する期間として設定されている場合には、カウンタ２５５は加算処理の開始を示すフラグである加算値フラグ（例えばフラグ値＝１）を出力した時点以降の出力フレーム数をカウントする。カウンタ２５５のカウント値がｋとなった時点で、加算値フラグ出力部２５４に対してフラグ値のリセット信号を出力する。加算値フラグ出力部２５４は、このリセット信号の入力に応じて、加算処理を有効化するフラグ（例えばフラグ値＝１）をリセットし、加算処理を停止するフラグ（例えばフラグ値＝０）にフラグ設定を変更する。
【００５２】
加算値フラグ出力部２５４が出力するフラグは、図５に示す加算値算出部２０４に入力される。加算値算出部２０４は、加算値フラグ出力部２５４から入力するフラグが加算処理の実行を示す有効値（たとえばフラグ値＝１）である場合に、Ｌ画像に加算する輝度値であるＬ画像用加算値と、Ｒ画像に加算する輝度値であるＲ画像用加算値を算出する。
【００５３】
すなわち、加算値算出部２０４は、輝度逆転現象の発生があったことを示すフラグ値（例えば１）が入力された場合に、Ｌ画像用加算値とＲ画像用加算値を算出する。すなわち、先に図３を参照して説明した輝度調整フレーム出力期間１００の輝度レベルに調整するための加算値を算出する。
【００５４】
これらの加算値が輝度制御部２０５に入力したＬ画像およびＲ画像に加算されて出力される。この処理により、図３に示す輝度調整フレーム出力期間１００において輝度調整のされたＬ画像／Ｒ画像の出力が行われることになる。
【００５５】
図７に加算値フラグ出力部２５４が出力するフラグの設定と、出力されるＬ画像およびＲ画像の輝度変化の対応図を示す。図７に示す輝度調整フレーム出力期間１００が加算値算出部２０４において算出された輝度加算値の加算によって輝度の調整されたＬ画像とＲ画像との出力期間である。
【００５６】
この期間は、図７の下部に示すフラグの値によって制御される。すなわち、加算値フラグ出力部２５４から出力されるフラグが加算処理の実行を示す有効値（たとえばフラグ値＝１）である期間のみにおいて、加算値算出部２０４の算出した加算値が、Ｌ画像とＲ画像に各々加算されて出力される。
【００５７】
加算値算出部２０４での算出する加算値による輝度調整フレームの生成処理について、図８を参照して説明する。
図８には、
（ａ）Ｌ画像に対する処理、
（ｂ）Ｒ画像に対する処理、
これらの処理を示している。
【００５８】
図８に示す（ａ）Ｌ画像に対する処理には、上から以下の信号を示している。
（ａ１）Ｌ画像入力（平均輝度）、
（ａ２）Ｌ画像輝度加算値
（ａ３）Ｌ画像出力（平均輝度）
図８に示す（ｂ）Ｒ画像に対する処理には、上から以下の信号を示している。
（ｂ１）Ｒ画像入力（平均輝度）、
（ｂ２）Ｒ画像輝度加算値
（ｂ３）Ｒ画像出力（平均輝度）
【００５９】
図８において、輝度逆転の発生は、フレームｎからフレームｎ＋１の間で発生し、輝度調整期間はフレーム数ｋのｋフレームの出力期間とした例である。なお、図８に示す例において、フレーム番号は、Ｌ／Ｒ画像の１組単位で設定した例を示している。すなわち、ＬＲ画像のペアに同一ナンバーのフレーム番号が設定される。従って、輝度調整期間のＬＲ画像個別の出力フレームがｋである場合、表示部におけるＬＲ画像のトータル出力フレーム数は２ｋフレームである。
【００６０】
図５示す加算値算出部２０４は、図８の中段（ａ２），（ｂ２）に示す加算値の算出を実行する。加算値算出部２０４の構成と処理の具体例について図９以下を参照して説明する。
図９は、加算値算出部２０４の構成例を示す図である。
【００６１】
加算値算出部２０４は、図９に示すように、ＬＲ画像平均輝度中間値算出部３０１がメモリ２２０からＬ画像平均輝度２２１とＲ画像平均輝度２２２を入力し、これら最新ペアを構成する２つの画像の輝度の中間値（輝度平均）を算出する。
【００６２】
メモリ２２０に格納されたフレームｎのＬ画像平均輝度２２１を、
Ｌｍ（ｎ）
とし、Ｒ画像平均輝度２２２を、
Ｒｍ（ｎ）
としたとき、ＬＲ画像平均輝度中間値算出部３０１はこれら２つの画像輝度平均値のさらに平均値Ｍ（ｎ）を算出する。Ｍ（ｎ）のｎはフレームｎのＬＲ画像を示し、Ｍ（ｎ）は、フレームｎのＬ画像輝度平均値とＲ画像輝度平均値の中間値（平均）を示すものとする。
すなわち、
ＬＲ画像輝度中間値Ｍ（ｎ）＝（Ｌｍ（ｎ）＋Ｒｍ（ｎ））／２
上記式に従って、ＬＲ画像の輝度中間値を算出する。
【００６３】
ＬＲ画像平均輝度中間値算出部３０１の算出した値は、選択部３０２に出力される。選択部３０２は、ＬＲ画像平均輝度中間値算出部３０１の算出した中間値Ｍ（ｎ）、または入力値［０］を選択的にローパスフィルタ３０３に出力する。選択信号として、加算値フラグ出力部２５４の出力フラグが利用される。
【００６４】
先に図７を参照して説明したように、加算値フラグ出力部２５４は、輝度調整フレーム出力期間１００において、加算処理の実行を示す設定のフラグ値（例えばフラグ値＝１）を出力する。
【００６５】
選択部３０２は、加算値フラグ出力部２５４から入力するフラグが加算処理の実行を示す設定のフラグ値（例えばフラグ値＝１）の場合は、ＬＲ画像平均輝度中間値算出部３０１の算出した中間値Ｍ（ｎ）をローパスフィルタ３０３に出力し、加算値フラグ出力部２５４から入力するフラグが加算処理の停止を示す設定のフラグ値（例えばフラグ値＝０）の場合は、［０］を選択してローパスフィルタ３０３に出力する。
【００６６】
ローパスフィルタ３０３の構成と処理について図１０を参照して説明する。
ローパスフィルタ３０３は、図１０に示すように、選択部３０２の出力値をセットする複数のレジスタ（遅延素子）３２１と、各レジスタ（遅延素子）からの出力と予め設定したフィルタ係数との乗算処理を実行する複数の乗算器３２２と、複数の乗算器３２２の出力を入力して加算する加算器３２３を有する。
【００６７】
加算器３２３の出力が加算値Ａ（ｎ）として出力される。加算値Ａ（ｎ）は、フレームｎに対する加算値であり、第ｎフレームのＬ画像とＲ画像の加算値として利用される。なお、本例では、第ｎフレームの１つのＬＲ画像ペア（ｎ）に対して共通の加算値Ａ（ｎ）を生成し、平均輝度が低い一方の画像に加算値Ａ（ｎ）を加算し、平均輝度が高い他方の画像から加算値Ａ（ｎ）を減算する処理を実行する。これは、図８（ａ），（ｂ）において示した処理に対応する。
【００６８】
図１０に示すローパスフィルタ３０３の処理について説明する。初期状態において、レジスタ（遅延素子）３２１のすべてには０がセットされている。
先に説明したように、選択部３０２は、加算値フラグ出力部２５４から加算処理の実行を示す設定のフラグ値（例えばフラグ値＝１）を入力すると、ＬＲ画像平均輝度中間値算出部３０１の算出した中間値Ｍ（ｎ）をローパスフィルタ３０３に出力する。
【００６９】
この中間値出力がなされると、レジスタ（遅延素子）３２１のすべてに中間値Ｍ（ｎ）がセットされる。中間値Ｍ（ｎ）は、乗算器３２２においてあらかじめ設定されたフィルタ係数と乗算され、さらに各乗算器３２２の出力が加算器３２３において加算されて加算値Ａ（ｎ）が算出されて出力される。フィルタ係数は、各乗算器３２２のすべての出力を加算した加算値Ａ（ｎ）を入力画像に加算した場合に入力ＬＲ画像の平均輝度の中間値になるような値に設定される。
【００７０】
図１０に示すローパスフィルタ３０３の出力する加算値は、図８に示す加算値Ａ（ｎ）に対応し、初期的な出力タイミングは図８に示すｔ０に対応する。
その後、選択部３０２は継続的に中間値Ｍ（ｎ）を出力する。すなわち、加算値フラグ出力部２５４から入力するフラグが加算処理の非実行を示す設定のフラグ値（例えばフラグ値＝０）に変更されるまで、中間値Ｍ（ｎ）を出力する。この期間、ローパスフィルタ３０３は、加算値Ａ（ｎ）を継続的に出力する。図８に示す時間ｔ０〜ｔ１の期間である。
【００７１】
なお、フレーム進行に伴い、ＬＲ画像ペアの平均輝度は変化するので、選択部３０２が出力する平均値Ｍ（ｎ）もフレーム進行に伴い変化する。この変化に伴い加算値Ａ（ｎ）も変化する。なお、図８には時間ｔ０〜ｔ１の期間の加算値を一定に示してあるが、これは簡略化して示しているものであり実際には、加算値は変動する。ただし、加算値は出力されるＬＲ画像を入力ＬＲ画像の輝度平均値の中間値に設定するように変動する。
【００７２】
加算値フラグ出力部２５４は、先に図６を参照して説明したように予め設定した輝度調整フレーム出力期間１００（図７参照）の経過によって、カウンタ２５５からのリセット信号を入力する。このリセット信号の入力により、加算値フラグ出力部２５４は、加算処理の非実行を示す設定のフラグ値（例えばフラグ値＝０）を図９に示す選択部３０２に出力する。
【００７３】
選択部３０２は、このリセット信号の入力に応じて出力を［０］に切り換える。選択部３０２の出力する値［０］は図１０に示す複数のレジスタ（遅延素子）３２１の左側のレジスタ（遅延素子）Ｚ（０）に入力される。その他のレジスタ（遅延素子）Ｚ（１）〜Ｚ（ｋ）には中間値Ｍ（ｎ）が格納されたままとなる。
【００７４】
選択部３０２は画像処理装置の持つシステムクロックのクロックタイミングに応じて、値［０］をローパスフィルタ３０３に入力する。ローパスフィルタ３０３に入力された値［０］は１クロックタイミング毎にレジスタ（遅延素子）Ｚ（０）→Ｚ（１）→Ｚ（２）・・・に転送される。
【００７５】
すなわち、選択部３０２からローパスフィルタ３０３に対する最初の［０］入力時は、レジスタ（遅延素子）Ｚ（０）＝０、レジスタ（遅延素子）Ｚ（１）〜Ｚ（ｋ）＝中間値Ｍ（ｎ）
次のクロックタイミングにおいて、
レジスタ（遅延素子）Ｚ（０），Ｚ（１）＝０、レジスタ（遅延素子）Ｚ（２）〜Ｚ（ｋ）＝中間値Ｍ（ｎ）、
次のクロックタイミングにおいて、
レジスタ（遅延素子）Ｚ（０）〜Ｚ（２）＝０、レジスタ（遅延素子）Ｚ（３）〜Ｚ（ｋ）＝中間値Ｍ（ｎ）、
このようにレジスタ（遅延素子）３２１の格納値が中間値から０に順次切り替わることになる。
【００７６】
この処理はクロックタイミングに従って順次実行される。結果として、加算器３２３の出力は次第に０に近づくことになる。
この処理期間が図８に示す時間ｔ１〜ｔ２の期間に相当する。
図８の期間ｔ１〜ｔ２に示すように、加算値は時間とともに次第に減少する設定となる。
【００７７】
図１０に示すレジスタ（遅延素子）３２１の全ての格納値が中間値から０に切り替わると、加算器３２３の出力する加算値Ａ（ｎ）は０になる。この時間が図８に示す時間ｔ２に相当する。時間ｔ２以降は加算値による輝度調整が非実行状態となる。
【００７８】
上述した加算値による輝度制御について具体的なアルゴリズム例を説明する。
まず、図５に示す平均輝度算出部２０２は、Ｌ画像平均輝度２２１とＲ画像平均輝度２２２を例えば下記の算出式に従って算出する。
Ｌ画像の平均輝度Ｌｍ（ｎ）
Ｌｍ（ｎ）＝ΣＬｉｎ（ｘ，ｙ）／（画像サイズ）
なお、Ｌｉｎ（ｘ，ｙ）は入力Ｌ画像の画素位置（ｘ，ｙ）の輝度である。
Ｒ画像の平均輝度Ｒｍ（ｎ）
Ｒｍ（ｎ）＝ΣＲｉｎ（ｘ，ｙ）／（画像サイズ）
なお、Ｒｉｎ（ｘ，ｙ）は入力Ｒ画像の画素位置（ｘ，ｙ）の輝度である。
【００７９】
これらのＬ画像平均輝度（Ｌｍ（ｎ））２２１と、Ｒ画像平均輝度（Ｒｍ（ｎ））２２２がメモリ２２０に格納され、輝度制御実行判定部２０３に入力される。
輝度制御実行判定部２０３は、メモリ２２０に保存されたＬＲ画像ペア（最新ペア）のＬ画像平均輝度２２１と、Ｒ画像平均輝度２２２とを比較する。すなわち、以下のいずれの状態であるかを判断する。
（ａ）Ｌ画像平均輝度２２１≧Ｒ画像平均輝度２２２、
（ｂ）Ｌ画像平均輝度２２１＜Ｒ画像平均輝度２２２、
上記の（ａ），（ｂ）のいずれの状態にあるかを判定する。
【００８０】
比較結果は、大小比較結果：Ｃ（ｎ）として、以下のような値が例えば図示しないメモリ（レジスタ）に記録される。
Ｃ（ｎ）＝１  ｗｈｅｎ  Ｌｍ（ｎ）≧Ｒｍ（ｎ）
Ｃ（ｎ）＝０  ｗｈｅｎ  Ｌｍ（ｎ）＜Ｒｍ（ｎ）      
【００８１】
前述したように輝度制御実行判定部２０３は、メモリ２２０に保存されたＬＲ画像ペア（最新ペア）の直前のＬＲ画像ペア（直前ペア）の輝度の高低差を保持しており、
最新ペアの輝度高低差と、直前ペアの輝度高低差の逆転が発生しているか否かを判定する。
この判定処理は、例えば
Ｃ（ｎ）＝１の場合は、Ｃ（ｎ−１）＝０であれば逆転が発生していると判定する。
Ｃ（ｎ）＝０の場合は、Ｃ（ｎ−１）＝１であれば逆転が発生していると判定する。
このような判定処理として実行することができる。
【００８２】
この判定処理は、Ｌ画像ペアの平均輝度の状態遷移が、以下の状態遷移となっているか否かを判定する処理である。
直前ペアの平均輝度がＬ＞Ｒであり、最新ペアがＬ＜Ｒに変化、または、
直前ペアの平均輝度がＬ＜Ｒであり、最新ペアがＬ＞Ｒに変化、
このような輝度の逆転現象が発生しているか否かを判定する。
【００８３】
このような輝度の逆転現象が発生している場合、加算値フラグがセットされ、カウンタが動作し始める。生成した現フレームの大小情報は、次フレームで前フレームの大小情報として使用するので、保存する。前フレームの大小情報と現フレームの大小情報が異なる場合に図６に示す輝度制御実行判定部２０３の加算値フラグ出力部２５４の出力するフラグが加算処理の実行を示す有効値（たとえばフラグ値＝１）に設定され、カウンタ２５５がカウントを開始する。
【００８４】
図５、図９に示す加算値算出部２０４は、図９に示すように、ＬＲ画像平均輝度中間値算出部３０１がメモリ２２０からＬ画像平均輝度（Ｌｍ（ｎ））２２１とＲ画像平均輝度（Ｒｍ（ｎ））２２２を入力し、これら最新ペアを構成する２つの画像の輝度の中間値（輝度平均）Ｍ（ｎ）を算出する。
【００８５】
具体的には、例えば以下の算出式に従ってＬＲ画像ペアの輝度の中間値（輝度平均）Ｍ（ｎ）を算出する。
Ｍ（ｎ）＝（Ｌｍ（ｎ）＋Ｒｍ（ｎ））／２
【００８６】
さらに、図９に示す加算値算出部２０４のＬＲ画像平均輝度中間値算出部３０１の算出した値は、選択部３０２に出力される。選択部３０２は、ＬＲ画像平均輝度中間値算出部３０１の算出した中間値Ｍ（ｎ）、または入力値［０］を選択的にローパスフィルタ３０３に出力する。選択信号として、加算値フラグ出力部２５４の出力フラグが利用される。
【００８７】
前述したように加算値算出部２０４のローパスフィルタ３０３はレジスタ３２１に中間値Ｍ（ｎ）または０を入力して加算値Ａ（ｎ）を生成して出力する。加算値Ａ（ｎ）はフレームｎに対する加算値であり、第ｎフレームのＬ画像とＲ画像の加算値として利用される。なお、本例では、第ｎフレームの１つのＬＲ画像ペア（ｎ）に対して共通の加算値Ａ（ｎ）を生成し、平均輝度が低い一方の画像に加算値Ａ（ｎ）を加算し、平均輝度が高い他方の画像から加算値Ａ（ｎ）を減算する処理を実行する。これは、図８（ａ），（ｂ）において示した処理に対応する。
【００８８】
図５に示す加算値算出部２０４は加算値Ａ（ｎ）を算出して輝度制御部２０５に提供する。輝度制御部２０５はフレームメモリ２０１から入力したＬ画像およびＲ画像に加算値Ａ（ｎ）を加算して出力する。
【００８９】
加算値算出部２０４がフレームメモリ２０１から入力したＬ画像の画素位置（ｘ，ｙ）の輝度値をＬｉｎ（ｘ，ｙ）、加算値をＡ（ｎ）、出力Ｌ画像の画素位置（ｘ，ｙ）の輝度値をＬｏｕｔ（ｘ，ｙ）としたとき、輝度制御部２０５の出力するＬ画像の画素輝度値は以下のような値となる。
（ａ）Ｌｏｕｔ（ｘ，ｙ）＝Ｌｉｎ（ｘ，ｙ）−Ａ（ｎ）  ｗｈｅｎＣ（ｎ）＝＝０
（ｂ）Ｌｏｕｔ（ｘ，ｙ）＝Ｌｉｎ（ｘ，ｙ）＋Ａ（ｎ）  ｗｈｅｎＣ（ｎ）＝＝１      
【００９０】
なお、上記式においてＣ（ｎ）は先に説明したフレームｎのＬＲ画像ペアの輝度大小比較結果である。すなわち、以下の通りである。
Ｃ（ｎ）＝１  ｗｈｅｎ  Ｌｍ（ｎ）≧Ｒｍ（ｎ）
Ｃ（ｎ）＝０  ｗｈｅｎ  Ｌｍ（ｎ）＜Ｒｍ（ｎ）      
【００９１】
すなわち、Ｌ画像平均輝度（Ｌｍ）がＲ画像平均輝度（Ｒｍ）以上であれば、上記の（ａ）に示す式に従って入力Ｌ画像（Ｌｉｎ）から加算値Ａ（ｎ）を減算して輝度を低下させて出力Ｌ画像（Ｌｏｕｔ）の画素の輝度値を決定する。
一方、Ｌ画像平均輝度（Ｌｍ）がＲ画像平均輝度（Ｒｍ）未満であれば、上記の（ｂ）に示す式に従って入力Ｌ画像（Ｌｉｎ）に加算値Ａ（ｎ）を加算して輝度を上昇させて出力Ｌ画像（Ｌｏｕｔ）の画素の輝度値を決定する。
なお、本例では加算値Ａ（ｎ）は正の値を有する。
【００９２】
同様に、加算値算出部２０４がフレームメモリ２０１から入力したＲ画像の画素位置（ｘ，ｙ）の輝度値をＲｉｎ（ｘ，ｙ）、加算値をＡ（ｎ）、出力Ｌ画像の画素位置（ｘ，ｙ）の輝度値をＲｏｕｔ（ｘ，ｙ）としたとき、輝度制御部２０５の出力するＲ画像の画素輝度値は以下のような値となる。
（ｃ）Ｒｏｕｔ（ｘ，ｙ）＝Ｒｉｎ（ｘ，ｙ）＋Ａ（ｎ）  ｗｈｅｎＣ（ｎ）＝＝０
（ｄ）Ｒｏｕｔ（ｘ，ｙ）＝Ｒｉｎ（ｘ，ｙ）−Ａ（ｎ）  ｗｈｅｎＣ（ｎ）＝＝１
【００９３】
すなわち、Ｌ画像平均輝度（Ｌｍ）がＲ画像平均輝度（Ｒｍ）以上であれば、上記の（ａ）に示す式に従って入力Ｒ画像（Ｒｉｎ）に加算値Ａ（ｎ）を加算して輝度を上昇させて出力Ｒ画像（Ｒｏｕｔ）の画素の輝度値を決定する。
一方、Ｌ画像平均輝度（Ｌｍ）がＲ画像平均輝度（Ｒｍ）未満であれば、上記の（ｂ）に示す式に従って入力Ｒ画像（Ｒｉｎ）から加算値Ａ（ｎ）を減算して輝度を低下させて出力Ｒ画像（Ｒｏｕｔ）の画素の輝度値を決定する。
なお、本例では加算値Ａ（ｎ）は正の値を有する。
【００９４】
これらの処理により、図３や、図７、図８を参照して説明したように輝度調整フレーム出力期間１００において輝度調整のされたＬ画像／Ｒ画像の出力が行われることになる。
この制御により、ＬＲ画像の輝度逆転の発生するフレーム推移がある場合、急激な輝度逆転を防止して、緩やかな輝度推移を発生させて複数フレームをむかけて輝度の逆転を発生させる構成としたので視覚的なちらつき（フリッカ）を緩和することができる。
【００９５】
なお、上記実施例では、ＬＲ画像の輝度逆転の発生するフレーム推移が検出された場合に全て加算値Ａ（ｎ）による輝度制御を実行する設定として説明した。
この判定処理は、図５に示す輝度制御実行判定部２０３のＬＲ輝度逆転判定部２５２（図６参照）において、例えば以下のような判定処理として実行される。
Ｃ（ｎ）＝１の場合は、Ｃ（ｎ−１）＝０であれば逆転が発生していると判定する。
Ｃ（ｎ）＝０の場合は、Ｃ（ｎ−１）＝１であれば逆転が発生していると判定する。
このような判定処理として実行することができる。
【００９６】
しかし、このような設定とすると頻繁に制御の切り替えが繰り返されることになり、入力画像の持つ本来の輝度情報を過度に変更することになり、また制御が追随できない可能性も発生する。
【００９７】
このような事態を防止するため、図５に示す輝度制御実行判定部２０３のＬＲ輝度逆転判定部２５２（図６参照）において、輝度逆転の判定のみならず、以下のような連続するフレームの平均輝度の変化状態を考慮した処理を行ってもよい。
【００９８】
処理対象とする第ｎフレームのＬ画像平均輝度（Ｌｍ（ｎ））と、１つ前のフレームである第ｎ−１フレームのＬ画像平均輝度（Ｌｍ（ｎ−１））との差分Ｌｄ（ｎ）を算出する。
同様に、処理対象とする第ｎフレームのＲ画像平均輝度（Ｒｍ（ｎ））と、１つ前のフレームである第ｎ−１フレームのＲ画像平均輝度（Ｒｍ（ｎ−１））との差分Ｒｄ（ｎ）を算出する。
【００９９】
すなわち、以下の式に従ってＬ画像差分Ｌｄ（ｎ）とＲ画像差分Ｒｄ（ｎ）を算出する。
Ｌｄ（ｎ）＝ａｂｓ（Ｌｍ（ｎ）−Ｌｍ（ｎ−１））
Ｒｄ（ｎ）＝ａｂｓ（Ｒｍ（ｎ）−Ｒｍ（ｎ−１））
なお、ａｂｓ（ｘ）は、ｘの絶対値を意味する。
【０１００】
さらに、これらのＬ画像差分Ｌｄ（ｎ）とＲ画像差分Ｒｄ（ｎ）のいずれもが予め規定したしきい値（Ｔｈ）以上である場合にのみ加算値Ａ（ｎ）を適用した制御を実行する。
【０１０１】
すなわち、ＬＲ画像の輝度逆転の発生するフレーム推移が検出された場合に全て加算値Ａ（ｎ）による輝度制御を実行するのではなく、ＬＲ画像の輝度逆転の発生するフレーム推移が検出され、かつ
Ｌ画像差分Ｌｄ（ｎ）≧Ｔｈ
Ｒ画像差分Ｒｄ（ｎ）≧Ｔｈ
これらの各式が成立する場合にのみ、加算値Ａ（ｎ）を適用した輝度制御を行う。
このような制御構成とすることで安定した制御が可能となる。
【０１０２】
図１１に示すフローチャートを参照して本発明の画像処理装置の実行する輝度制御シーケンス例について説明する。
まず、図５に示す平均輝度算出部２０２は、ステップＳ１０１において入力画像がＬ画像であるかＲ画像であるかを判定する。入力画像は、例えば図４に示すようにＬＲ画像が交互に入力される。
【０１０３】
ステップＳ１０１において入力画像がＬ画像であると判定した場合は、ステップＳ１０２に進み、Ｌ画像の平均輝度を算出する。この算出処理は、先に説明したように以下の式に従って行われる。
Ｌ画像の平均輝度Ｌｍ（ｎ）
Ｌｍ（ｎ）＝ΣＬｉｎ（ｘ，ｙ）／（画像サイズ）
なお、Ｌｉｎ（ｘ，ｙ）は入力Ｌ画像の画素位置（ｘ，ｙ）の輝度である。
【０１０４】
一方、ステップＳ１０１において入力画像がＲ画像であると判定した場合は、ステップＳ１０３に進み、Ｒ画像の平均輝度を算出する。この算出処理は、先に説明したように以下の式に従って行われる。
Ｌ画像の平均輝度Ｌｍ（ｎ）
Ｒｍ（ｎ）＝ΣＲｉｎ（ｘ，ｙ）／（画像サイズ）
なお、Ｒｉｎ（ｘ，ｙ）は入力Ｒ画像の画素位置（ｘ，ｙ）の輝度である。
【０１０５】
次に、輝度制御実行判定部２０３は、ステップＳ１０４においてＬ画像の平均輝度Ｌｍ（ｎ）とＲ画像の平均輝度Ｒｍ（ｎ）の比較情報Ｃ（ｎ）を求める。
比較情報は、先に説明したように、以下のような値Ｃ（ｎ）が算出される。
Ｃ（ｎ）＝１  ｗｈｅｎ  Ｌｍ（ｎ）≧Ｒｍ（ｎ）
Ｃ（ｎ）＝０  ｗｈｅｎ  Ｌｍ（ｎ）＜Ｒｍ（ｎ）      
【０１０６】
次に、輝度制御実行判定部２０３は、ステップＳ１０５において、処理対象フレーム（ｎ）の１つ前のフレーム（ｎ−１）の比較情報Ｃ（ｎ−１）を比較してＬＲ画像の平均輝度の高低の逆転が発生しているか否かを判定する。
この処理は、ＬＲ輝度逆転判定部２５２（図６参照）において、例えば以下のような判定処理として実行する。
Ｃ（ｎ）＝１の場合は、Ｃ（ｎ−１）＝０であれば逆転が発生していると判定する。
Ｃ（ｎ）＝０の場合は、Ｃ（ｎ−１）＝１であれば逆転が発生していると判定する。
【０１０７】
すなわち、
Ｃ（ｎ）＝Ｃ（ｎ−１）
であればＬＲ画像間において輝度の高低の逆転が発生していないと判定する。この場合、ステップＳ１０５の判定はＹｅｓとなり、ステップＳ１１２に進む。
一方、
Ｃ（ｎ）≠Ｃ（ｎ−１）
であればＬＲ画像間において輝度の高低の逆転が発生していると判定する。この場合、ステップＳ１０５の判定はＮｏとなり、ステップＳ１０６に進む。
【０１０８】
ステップＳ１０６では輝度制御実行判定部２０３のＬＲ輝度逆転判定部２５２（図６参照）において、処理対象とする第ｎフレームのＬ画像平均輝度（Ｌｍ（ｎ））と、１つ前のフレームである第ｎ−１フレームのＬ画像平均輝度（Ｌｍ（ｎ−１））との差分Ｌｄ（ｎ）を算出する。
すなわち、以下の式に従ってＬ画像差分Ｌｄ（ｎ）を算出する。
Ｌｄ（ｎ）＝ａｂｓ（Ｌｍ（ｎ）−Ｌｍ（ｎ−１））
【０１０９】
次に、ステップＳ１０７においてＬ画像差分Ｌｄ（ｎ）と予め規定したしきい値（Ｔｈ）を比較する。
Ｌ画像差分Ｌｄ（ｎ）≧Ｔｈ
上記式が成立するか否かを判定する。
上記式が成立しない場合、すなわち、第ｎフレームのＬ画像の平均輝度Ｌｍ（ｎ）と１つ前の第ｎ−１フレームの平均輝度Ｌｍ（ｎ−１）との差分が小さい場合は、ステップＳ１０７の判定はＮｏとなり、ステップＳ１１２に進む。この場合は現在実行されている制御を継続することになる。
【０１１０】
次に、ステップＳ１０７において、
Ｌ画像差分Ｌｄ（ｎ）≧Ｔｈ
上記式が成立すると判定した場合、すなわち、第ｎフレームのＬ画像の平均輝度Ｌｍ（ｎ）と１つ前の第ｎ−１フレームの平均輝度Ｌｍ（ｎ−１）との差分が大きい場合は、ステップＳ１０７の判定はＹｅｓとなり、ステップＳ１０８に進む。
【０１１１】
ステップＳ１０８では輝度制御実行判定部２０３のＬＲ輝度逆転判定部２５２（図６参照）において、処理対象とする第ｎフレームのＲ画像平均輝度（Ｒｍ（ｎ））と、１つ前のフレームである第ｎ−１フレームのＲ画像平均輝度（Ｒｍ（ｎ−１））との差分Ｒｄ（ｎ）を算出する。
すなわち、以下の式に従ってＲ画像差分Ｒｄ（ｎ）を算出する。
Ｒｄ（ｎ）＝ａｂｓ（Ｒｍ（ｎ）−Ｒｍ（ｎ−１））
【０１１２】
次に、ステップＳ１０９においてＲ画像差分Ｒｄ（ｎ）と予め規定したしきい値（Ｔｈ）を比較する。
Ｌ画像差分Ｒｄ（ｎ）≧Ｔｈ
上記式が成立するか否かを判定する。
上記式が成立しない場合、すなわち、第ｎフレームのＲ画像の平均輝度Ｒｍ（ｎ）と１つ前の第ｎ−１フレームの平均輝度Ｒｍ（ｎ−１）との差分が小さい場合は、ステップＳ１０９の判定はＮｏとなり、ステップＳ１１２に進む。
【０１１３】
一方、ステップＳ１０９において、
Ｌ画像差分Ｒｄ（ｎ）≧Ｔｈ
上記式が成立すると判定した場合、すなわち、第ｎフレームのＲ画像の平均輝度Ｒｍ（ｎ）と１つ前の第ｎ−１フレームの平均輝度Ｒｍ（ｎ−１）との差分が大きい場合は、ステップＳ１０９の判定はＹｅｓとなり、ステップＳ１１０に進む。
【０１１４】
ステップＳ１１０では、加算値フラグを加算処理の実行を示す設定のフラグ値（例えばフラグ値＝１）にセットして加算値フラグ出力部２５４（図６参照）から出力する。
さらに、ステップＳ１１１において、カウンタ２５５のカウント処理を開始させる。カウンタ２５５は、先に説明したように例えば図３、図７に示す輝度調製フレーム出力期間１００の開始〜終了を決定するためのカウンタである。例えば輝度調製フレーム出力期間１００は予め規定のフレーム数の出力期間、あるいは規定時間（１〜数秒程度）の期間として設定される。
【０１１５】
次に、ステップＳ１１２においてカウンタの値が０であるか否かを判定する。カウンタの値が０である場合は、加算値Ａ（ｎ）を適用した輝度制御期間でないことを意味する。
ステップＳ１１１からステップＳ１１２に進んだ場合は、カウンタはすでにカウントを開始しており、ステップＳ１１２の判定はＮｏとなり、ステップＳ１１４に進む。
【０１１６】
一方、ステップＳ１０５からステップＳ１１２に進んだ場合において、輝度制御が行われていない場合はカウンタの値は０であり、この場合はステップＳ１１２の判定はＹｅｓとなり、ステップＳ１１３に進む。
ステップＳ１１３では、加算値フラグをクリアする。すなわち加算処理の非実行を示す設定のフラグ値（例えばフラグ値＝０）にセットして加算値フラグ出力部２５４（図６参照）から出力する。その後、ステップＳ１１４に進む。
【０１１７】
ステップＳ１１４では、さらに加算値フラグが加算処理の実行を示す設定のフラグ値（例えばフラグ値＝１）であるか否かを判定する。
この判定処理は、加算値Ａ（ｎ）による輝度制御期間内であるか否かの判定処理に相当する。
【０１１８】
ステップＳ１１４において、加算値フラグが加算処理の実行を示す設定のフラグ値（例えばフラグ値＝１）であると判定した場合は、ステップＳ１１５に進む。
【０１１９】
ステップＳ１１５では加算値算出部２０４のＬＲ画像平均輝度中間値算出部３０１（図９参照）がメモリ２２０からＬ画像平均輝度２２１とＲ画像平均輝度２２２を入力し、これら最新ペアを構成する２つの画像の輝度の中間値（輝度平均）を算出する。
ＬＲ画像輝度中間値Ｍ（ｎ）＝（Ｌｍ（ｎ）＋Ｒｍ（ｎ））／２
上記式に従って、ＬＲ画像の輝度中間値を算出する。
【０１２０】
次にステップＳ１１６において、ＬＲ画像平均輝度中間値算出部３０１の算出した中間値Ｍ（ｎ）を、図１０を参照して説明したローパスフィルタ３０３のレジスタ（遅延素子）３２１に出力する。
【０１２１】
次にステップＳ１１９において、図１０を参照して説明したローパスフィルタ３０３から加算値Ａ（ｎ）を算出する。
次にステップＳ１２０において、図５に示す輝度制御部２０５はフレームメモリ２０１から入力したＬ画像およびＲ画像に加算値Ａ（ｎ）を加算して出力する。
【０１２２】
一方、ステップＳ１１４において、加算値フラグが加算処理の非実行を示す設定のフラグ値（例えばフラグ値＝０）であると判定した場合は、ステップＳ１１７に進む。
【０１２３】
ステップＳ１１７〜Ｓ１１８では図９に示す加算値算出部２０４の選択部３０２の出力する値［０］を図１０に示すローパスフィルタ３０３の複数のレジスタ（遅延素子）３２１のレジスタ（遅延素子）Ｚ（０）〜Ｚ（ｋ）に順次０を入力する。
【０１２４】
その後ステップＳ１１９において、図１０を参照して説明したローパスフィルタ３０３から加算値Ａ（ｎ）を算出する。
次にステップＳ１２０において、図５に示す輝度制御部２０５はフレームメモリ２０１から入力したＬ画像およびＲ画像に加算値Ａ（ｎ）を加算して出力する。
【０１２５】
ステップＳ１１５、ステップＳ１１６、ステップＳ１１９、Ｓ１２０の処理は、図８に示す時間ｔ０〜ｔ１の期間の処理に相当する。すなわち加算値Ａ（ｎ）の加算処理による輝度制御期間である。ＬＲ画像の平均輝度の中間値に設定する期間である。
一方、Ｓ１１７、ステップＳ１１８、ステップＳ１１９、Ｓ１２０の処理は、図８に示す時間ｔ１〜ｔ２の期間の処理に相当する。すなわち加算値Ａ（ｎ）を減少させて、ＬＲ画像の平均輝度の中間値への設定から次第に入力画像の輝度へ設定する期間の処理である。
【０１２６】
［３．画像処理装置のハードウェア構成例について］
最後に、図１２を参照して本発明の画像処理装置の１つの具体的になハードウェア構成例について説明する。図１２には、本発明の画像処理装置の一例としてパーソナルコンピュータ（ＰＣ）の例を説明する。ただし、本発明の画像処理装置は画像を自装置の表示部、あるいは出力部を介して接続した外部の表示装置に出力可能な機器であればよい。本発明の画像処理装置は、ＰＣに限らず、例えば撮像装置、ＴＶ、プレーヤ等の様々な装置において実現される。
【０１２７】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した輝度制御処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。
【０１２８】
ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。出力部５０７はディスプレイ、スピーカ等によって構成され、ディスカプレイには前述した処理によって輝度制御のなされた３Ｄ画像等の表示がなされる。
【０１２９】
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスクからなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１３０】
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５８に転送され記憶される。
【０１３１】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１３２】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１３４】
以上、説明したように、本発明の一実施例の構成によれば、３次元画像の表示処理に際して、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の輝度の高低が逆転することによって発生するちらつきを防止することが可能となる。すなわち、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の輝度の高低が逆転するフレームを検出し、検出ポイントからの一定期間、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の輝度を制御して、急激な輝度の逆転を発生させない構成としている。この輝度制御処理により、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の輝度が瞬時に逆転することがなくなり、観察者にちらつき感を発生させることのない画像表示が実現される。
【符号の説明】
【０１３５】
１０  被写体
２１  左眼用画像撮影位置
２２  右眼用画像撮影位置
１００  輝度調整フレーム出力期間
２０１  フレームメモリ
２０２  平均輝度算出部
２０３  輝度制御実行判定部
２０４  加算値算出部
２０５  輝度制御部
２２０  メモリ
２２１  Ｌ画像平均輝度
２２２  Ｒ画像平均輝度
２５１  平均輝度比較部
２５２  ＬＲ輝度逆転判定部
２５３  メモリ
２５４  加算値フラグ出力部
２５５  カウンタ
３０１  ＬＲ画像平均輝度中間値算出部
３０２  選択部
３０３  ローパスフィルタ
３２１  レジスタ（遅延素子）
３２２  乗算器
３２３  加算器
５００  画像処理装置
５０１  ＣＰＵ
５０２  ＲＯＭ
５０３  ＲＡＭ
５０４  バス
５０５  入出力インタフェース
５０６  入力部
５０７  出力部
５０８  記憶部
５０９  通信部
５１０  ドライブ
５１１  リムーバブルメディア
【図１】
2011250071.tif 000003
【図２】
2011250071.tif 000004
【図３】
2011250071.tif 000005
【図４】
2011250071.tif 000006
【図５】
2011250071.tif 000007
【図６】
2011250071.tif 000008
【図７】
2011250071.tif 000009
【図８】
2011250071.tif 000010
【図９】
2011250071.tif 000011
【図１０】
2011250071.tif 000012
【図１１】
2011250071.tif 000013
【図１２】
2011250071.tif 000014