(57)【要約】【課題】フレーム補間を行うことによる画質の劣化を抑制するとともに、少ない演算量で画像データ圧縮をも可能とする。【解決手段】表示すべき画像に対応する画像データの複数フレームを処理単位として、所定の３刺激値を有する第１色空間の画像データから所定の３刺激値を有する第２色空間の画像データへ変換する第２色空間への色空間変換ステップを有し、前記第２色空間への色空間変換ステップは、前記第２色空間の３刺激値の画像データうち、人間の目に最も影響を与える要素に関する刺激値の画像データについては、前記処理単位となる複数フレームの各フレームごとに求め、その他の刺激値の画像データについては、前記処理単位となる複数フレームのある１つのフレームにおいて求める。【選択図】図２
2009168975.tif 000002
【特許請求の範囲】
【請求項１】
表示すべき画像に対応する画像データの複数フレームを処理単位として、所定の３刺激値を有する第１色空間の画像データから所定の３刺激値を有する第２色空間の画像データへ変換する第２色空間への色空間変換ステップを有し、
前記第２色空間への色空間変換ステップは、前記第２色空間の３刺激値の画像データうち、人間の目に最も影響を与える要素に関する刺激値の画像データについては、前記処理単位となる複数フレームの各フレームごとに求め、その他の刺激値の画像データについては、前記処理単位となる複数フレームのある１つのフレームにおいて求めることを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記第１色空間以外の色空間の画像データを前記処理単位となる複数フレームの各フレームごとに前記第１色空間の画像データに変換する第１色空間への色空間変換ステップを有し、
前記変換された第１色空間の画像データを前記第２色空間への色空間変換ステップに入力することを特徴とする画像処理方法。
【請求項３】
請求項１または２に記載の画像処理方法において、
前記第２色空間への色空間変換ステップにより変換された第２色空間の画像データを出力する画像データ出力ステップを有することを特徴とする画像処理方法。
【請求項４】
請求項１〜３のいずれかに記載の画像処理方法において、
前記第１色空間は、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）とで表されるＹＣｂＣｒ色空間、前記第２色空間は、赤（Ｒ）、緑（Ｇ），青（Ｂ）とで表されるＲＧＢ色空間であって、
前記第２色空間への色空間変換ステップは、前記Ｇの画像データについては、前記処理単位となる複数フレームの各フレームごとに求め、前記Ｒ及びＢのそれぞれの画像データについては、前記処理単位となる複数フレームのある１つのフレームにおいて求めることを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法において、
前記第２色空間への色空間変換ステップでは、
前記Ｒの画像データは、前記処理単位となる複数フレームのうちのある特定のフレームにおけるＹの値と、前記処理単位となる複数フレームの各フレームのＣｒの値を平均したＣｒの平均値とに基づいて求め、
前記Ｇの画像データは、前記処理単位となる複数フレームのうちのある特定のフレームにおけるＹの値と、前記処理単位となる複数フレームの各フレームにおけるＣｂの値及び各フレームにおけるＣｒの値とに基づいて求め、
前記Ｂの画像データは、前記処理単位となる複数フレームのうちのある特定のフレームにおけるＹの値と、前記処理単位となる複数フレームの各フレームのＣｂの値を平均したＣｂの平均値とに基づいて求めることを特徴とする画像処理方法。
【請求項６】
請求項４に記載の画像処理方法において、
前記第２色空間への色空間変換ステップでは、
前記Ｒの画像データは、前記処理単位となる複数フレームの各フレームのＹの値を平均したＹの平均値と、前記処理単位となる複数フレームの各フレームのＣｒの値を平均したＣｒの平均値とに基づいて求め、
前記Ｇの画像データは、前記処理単位となる複数フレームの各フレームのＹの値を平均したＹの平均値と、前記処理単位となる複数フレームの各フレームにおけるＣｂの値及び各フレームにおけるＣｒの値とに基づいて求め、
前記Ｂの画像データは、前記処理単位となる複数フレームの各フレームのＹの値を平均したＹの平均値と、前記処理単位となる複数フレームの各フレームのＣｂの値を平均したＣｂの平均値とに基づいて求めることを特徴とする画像処理方法。
【請求項７】
請求項１〜６のいずれかに記載の画像処理方法において、
前記表示すべき画像に対応する画像データの各フレームが、画像ソースから供給される基の画像データのフレームレートに対してｍ（ｍは２以上の整数）倍のフレームレートとなるようなフレーム補間が行われていた場合、前記処理単位となるフレームの数は、前記ｍとすることを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法において、
前記表示すべき画像に対応する画像データは、プロジェクタに与えられる画像データであって、前記プロジェクタは、
光源からの色光を画像データに基づいて変調する３つの光変調素子を有し、当該３つの光変調素子で変調された各色光を合成して第１画像光として射出する第１画像形成手段と、光源からの色光を画像データに基づいて変調する３つの光変調素子を有し、当該３つの光変調素子で変調された各色光を合成して第２画像光として射出する第２画像形成手段と、前記第１画像形成手段及び第２画像形成手段から射出される前記第１画像光及び第２画像光を合成する偏光合成光学系と、前記偏光合成光学系で合成された画像光を投射面に投射する投射光学系とを備え、前記第１画像形成手段及び第２画像形成手段に設けられる合計６つの光変調素子のうち、４つの光変調素子は緑色光に対応する光変調素子、残りの２つの光変調素子は赤色光及び青色光に対応する光変調素子として用いられ、前記緑色光に対応する４つの光変調素子で変調された各色光が前記画像データの各フレーム内において所定時間だけずれて順次射出されるように前記光源及び前記緑色光に対応する４つの光変調素子が制御されるプロジェクタであることを特徴とする画像処理方法。
【請求項９】
表示すべき画像に対応する画像データの複数フレームを処理単位として、所定の３刺激値を有する第１色空間の画像データから所定の３刺激値を有する第２色空間の画像データへ変換する第２色空間への色空間変換部を有し、
第２色空間への色空間変換部は、前記第２色空間の３刺激値の画像データうち、人間の目に最も影響を与える要素に関する刺激値の画像データについては、前記処理単位となる複数フレームの各フレームごとに求め、その他の刺激値の画像データについては、前記処理単位となる複数フレームのある１つのフレームにおいて求めることを特徴とする画像処理装置。
【請求項１０】
画像処理をコンピュータに実行させるための画像処理プログラムであって、
表示すべき画像に対応する画像データの複数フレームを処理単位として、所定の３刺激値を有する第１色空間の画像データから所定の３刺激値を有する第２色空間の画像データへ変換する第２色空間への色空間変換ステップを有し、
前記第２色空間への色空間変換ステップは、前記第２色空間の３刺激値の画像データうち、人間の目に最も影響を与える要素に関する刺激値の画像データについては、前記処理単位となる複数フレームの各フレームごとに求め、その他の刺激値の画像データについては、前記処理単位となる複数フレームのある１つのフレームにおいて求めることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
プロジェクタなどの画像表示機器において動画像を表示する際、動画像の視認性を高めるために、２つのフレームから中間画像データを生成して、フレームレートを高めた画像表示を行う技術が様々提案されている（例えば、特許文献１参照）。特許文献１に開示された技術（第１従来技術という）は、フリッカのない滑らかな動画像の表示を可能とするものである。
【０００３】
また、逆に高いフレームレートの動画像データを圧縮して伝送能力の低いハードウエアによって構成された画像表示システムにおいても動画像の再生を可能とする技術も様々提案されている（例えば特許文献２参照）。特許文献２に開示された技術（従来技術という）は、画像データの圧縮に伴う画像の劣化の抑制を可能とするとともに、高い圧縮率で安定した画像圧縮を可能とするものである。
【０００４】
【特許文献１】特開２００３−６９９６１号公報
【特許文献２】特開平８−２６５７５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
第１従来技術のように中間画像を生成してフレーム補間を行うことにより、フレームレートを高くすることができ、滑らかな動画像の表示が可能となるが、単にフレーム補間を行うだけでは、画質の面で課題が残る場合もある。例えば、ある特定の色成分に対応する画像データのフレームを挿入するというようなフレーム補間を行なった場合、偽色が発生し、それが画質を劣化させる要因ともなる場合がある。
【０００６】
また、第２従来技術は、画像を複数の小ブロックに分割して、分割されたブロックごとに離散コサイン変換などを行うようにしている。このため、画像圧縮のための演算量が多く、演算も複雑となるといった問題がある。また、画像をブロックに分割して処理を行うことにより、いわゆるブロックノイズが発生し、それが画質の低下を招く原因ともなる場合がある。
【０００７】
本発明は、フレーム補間を行うことによる画質の劣化を抑制するとともに、少ない演算量で画像データ圧縮をも可能とする画像処理方法、画像処置装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理方法は、表示すべき画像に対応する画像データの複数フレームを処理単位として、所定の３刺激値を有する第１色空間の画像データから所定の３刺激値を有する第２色空間の画像データへ変換する第２色空間への色空間変換ステップを有し、前記第２色空間への色空間変換ステップは、前記第２色空間の３刺激値の画像データうち、人間の目に最も影響を与える要素に関する刺激値の画像データについては、前記処理単位となる複数フレームの各フレームごとに求め、その他の刺激値の画像データについては、前記処理単位となる複数フレームのある１つのフレームにおいて求めることを特徴とする。
【０００９】
このように、本発明の画像処理方法は、人間の目に最も影響を与える要素に関する刺激
値の画像データについては、前記処理単位となる複数フレームの各フレームごとに求め、その他の刺激値の画像データについては、前記処理単位となる複数フレームのある１つのフレームにおいて求めるようにしている。このような処理を行うことによって、３つの刺激値のうちの２つの刺激値の画像データのデータ量を削減することができ、表示すべき画像に対応する画像データ全体のデータ量を圧縮することができる。これによって、低い転送レートで画像データを転送することが可能となり、伝送能力の低いハードウエアで構成された画像表示システムにおいても動画像の表示が可能となる。
【００１０】
また、本発明の画像処理方法は、画像データ圧縮を行う際に、画像を複数の小ブロックに分割する処理を行わないので、ブロックノイズによる画質劣化がなく、また、離散コサイン変換などの複雑な演算は行わないので、少ない演算量で画像データ圧縮が可能となる。
【００１１】
本発明の画像処理方法において、前記第１色空間以外の色空間の画像データを前記処理単位となる複数フレームの各フレームごとに前記第１色空間の画像データに変換する第１色空間への色空間変換ステップを有し、前記変換された第１色空間の画像データを前記第２色空間への色空間変換ステップに入力することが好ましい。
このような第１色空間変換ステップを有することによって、表示すべき画像に対応する画像データが第１色空間以外の色空間を有する場合にも対応可能となる。
【００１２】
本発明の画像処理方法において、前記第２色空間への色空間変換ステップにより変換された第２色空間の画像データを出力する画像データ出力ステップを有することが好ましい。
これによって、第２色空間変換ステップによって第２色空間に変換された画像データを画像表示装置などに出力することができる。
【００１３】
また、本発明の画像処理方法において、前記第１色空間は、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）とで表されるＹＣｂＣｒ色空間、前記第２色空間は、赤（Ｒ）、緑（Ｇ），青（Ｂ）とで表されるＲＧＢ色空間であって、前記第２色空間への色空間変換ステップは、前記Ｇの画像データについては、前記処理単位となる複数フレームの各フレームごとに求め、前記Ｒ及びＢのそれぞれの画像データについては、前記処理単位となる複数フレームのある１つのフレームにおいて求めることが好ましい。
【００１４】
本発明の画像処理方法においては、第２色空間への色空間変換ステップは、ＹＣｂＣｒ色空間の画像データをＲＧＢ色空間の画像データに変換する処理を行うものである。このような色空間変換処理を行うことにより、人間の目に最も影響を与えるＹ（輝度）成分をＲ及びＢにも分散して与えることができる。これにより、例えば、Ｇに対応する画像データのフレームの補間を行うことによって、Ｇに対応する画像データのフレームレートをＲ及びＢに対応する画像データに対して高くするような処理を行った場合に発生する可能性のある偽色を抑制することができる。このように、本発明の画像処理方法によれば、ある特定の色成分に対応する画像データのフレームを挿入するというようなフレーム補間を行なった場合発生する可能性のある偽色を抑制することができ、画質の向上に寄与できる。
【００１５】
本発明の画像処理方法において、前記第２色空間への色空間変換ステップでは、前記Ｒの画像データは、前記処理単位となる複数フレームのうちのある特定のフレームにおけるＹの値と、前記処理単位となる複数フレームの各フレームのＣｒの値を平均したＣｒの平均値とに基づいて求め、前記Ｇの画像データは、前記処理単位となる複数フレームのうちのある特定のフレームにおけるＹの値と、前記処理単位となる複数フレームの各フレームにおけるＣｂの値及び各フレームにおけるＣｒの値とに基づいて求め、前記Ｂの画像データは、前記処理単位となる複数フレームのうちのある特定のフレームにおけるＹの値と、
前記処理単位となる複数フレームの各フレームのＣｂの値を平均したＣｂの平均値とに基づいて求めることが好ましい。
【００１６】
これは、ＹＣｂＣｒ色空間からＲＧＢ色空間への色空間変換処理を行う場合において、動きの再現性を優先とした場合の色空間変換処理であり、動きの再現性を優先とする場合、Ｙ（輝度）の平均値ではなく、ある特定のフレーム（例えば、処理単位となる複数フレームの先頭フレームなど）において求められた輝度（Ｙ）を用いるようにしている。このように、ある特定のフレームにおいて求められた輝度（Ｙ）を用いることにより、動きの再現性を優先した画像データとすることができる。
【００１７】
本発明の画像処理方法において、前記第２色空間への色空間変換ステップでは、前記Ｒの画像データは、前記処理単位となる複数フレームの各フレームのＹの値を平均したＹの平均値と、前記処理単位となる複数フレームの各フレームのＣｒの値を平均したＣｒの平均値とに基づいて求め、前記Ｇの画像データは、前記処理単位となる複数フレームの各フレームのＹの値を平均したＹの平均値と、前記処理単位となる複数フレームの各フレームにおけるＣｂの値及び各フレームにおけるＣｒの値とに基づいて求め、前記Ｂの画像データは、前記処理単位となる複数フレームの各フレームのＹの値を平均したＹの平均値と、前記処理単位となる複数フレームの各フレームのＣｂの値を平均したＣｂの平均値とに基づいて求めることが好ましい。
【００１８】
これは、ＹＣｂＣｒ色空間からＲＧＢ色空間への色空間変換処理を行う場合において、色の再現性を優先とした場合の色空間変換処理であり、このような色空間変換処理によってＲＧＢ色空間における赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に対応する画像データを生成することにより、生成された画像データは偽色の発生を抑制した画像データとなる。このように、色の再現性を優先する場合、Ｙ（輝度）については平均値を用いることによって原画像に近い色とすることができる。
【００１９】
本発明の画像処理方法において、前記表示すべき画像に対応する画像データの各フレームが、画像ソースから供給される基の画像データのフレームレートに対してｍ（ｍは２以上の整数）倍のフレームレートとなるようなフレーム補間が行われていた場合、前記処理単位となるフレームの数は、前記ｍとすることが好ましい。
【００２０】
これは、緑（Ｇ）については、中間画像データを生成して、緑（Ｇ）に対応する画像データのフレームレートを赤（Ｒ）及び青（Ｂ）に対応する画像データのフレームレートのｍ倍として画像表示を行うような場合であり、このような場合、処理単位となるフレーム数をｍとするということである。このようにして処理単位となるフレーム数を設定して本発明の画像処理方法を実行することにより、緑（Ｇ）に対応する画像データのフレームレートを赤（Ｒ）及び青（Ｂ）に対応する画像データに対して高くするような処理を行った場合に発生する可能性のある偽色を抑制することができる。
【００２１】
本発明の画像処理方法において、前記表示すべき画像に対応する画像データは、プロジェクタに与えられる画像データであって、前記プロジェクタは、光源からの色光を画像データに基づいて変調する３つの光変調素子を有し、当該３つの光変調素子で変調された各色光を合成して第１画像光として射出する第１画像形成手段と、光源からの色光を画像データに基づいて変調する３つの光変調素子を有し、当該３つの光変調素子で変調された各色光を合成して第２画像光として射出する第２画像形成手段と、前記第１画像形成手段及び第２画像形成手段から射出される前記第１画像光及び第２画像光を合成する偏光合成光学系と、前記偏光合成光学系で合成された画像光を投射面に投射する投射光学系とを備え、前記第１画像形成手段及び第２画像形成手段に設けられる合計６つの光変調素子のうち、４つの光変調素子は緑色光に対応する光変調素子、残りの２つの光変調素子は赤色光及
び青色光に対応する光変調素子として用いられ、前記緑色光に対応する４つの光変調素子で変調された各色光が前記画像データの各フレーム内において所定時間だけずれて順次射出されるように前記光源及び前記緑色光に対応する４つの光変調素子が制御されるプロジェクタであることが好ましい。
【００２２】
これは、２つの画像形成手段（第１画像形成手段及び第２画像形成手段）と１つの投射光学系とを有するプロジェクタに本発明の画像処理方法を適用した場合である。このようなプロジェクタは、第１画像形成手段及び第２画像形成手段のそれぞれに３個ずつの合計６個の光変調素子（液晶パネルなど）を有するものであり、これら６個の光変調素子のうち、４つを青（Ｇ）に対応する光変調素子として使用し、緑（Ｇ）に対応する画像データを赤（Ｒ）及び青（Ｂ）に対応する画像データに対して４倍のフレームレートで表示可能とするものである。このようなプロジェクタにおいて、単に緑（Ｇ）に対応する画像データのフレームの挿入によるフレーム補間を行うだけでは、偽色が発生する場合があるが、本発明の画像処理方法を適用することによって、偽色の発生を抑制することができる。
【００２３】
本発明の画像処理装置は、表示すべき画像に対応する画像データの複数フレームを処理単位として、所定の３刺激値を有する第１色空間の画像データから所定の３刺激値を有する第２色空間の画像データへ変換する第２色空間への色空間変換部を有し、第２色空間への色空間変換部は、前記第２色空間の３刺激値の画像データうち、人間の目に最も影響を与える要素に関する刺激値の画像データについては、前記処理単位となる複数フレームの各フレームごとに求め、その他の刺激値の画像データについては、前記処理単位となる複数フレームのある１つのフレームにおいて求めることを特徴とする。
【００２４】
本発明の画像処理装置は、例えば、２つの画像形成手段と１つの投射光学系とを有するプロジェクタや、直視型の画像表示装置などに適用することが可能である。本発明の画像処理装置を２つの画像形成手段と１つの投射光学系とを有するプロジェクタに適用した場合には、前述したように、偽色の発生を抑制するといった効果が得られる。
また、本発明の画像処理装置を直視型の画像表示装置などに適用した場合には、画像データを圧縮することができるので、高い転送レートを必要とする画像データを画像表示装置に対して低い転送レートで送信することができる。これにより、伝送能力の低いハードウエアで構成された画像表示システムにおいても動画像の表示が可能となる。また、本発明の画像処理装置においても、前記本発明の画像処理方法が有するそれぞれの特徴を有することが好ましい。
【００２５】
本発明の画像処理プログラムは、画像処理をコンピュータに実行させるための画像処理プログラムであって、表示すべき画像に対応する画像データの複数フレームを処理単位として、所定の３刺激値を有する第１色空間の画像データから所定の３刺激値を有する第２色空間の画像データへ変換する第２色空間への色空間変換ステップを有し、前記第２色空間への色空間変換ステップは、前記第２色空間の３刺激値の画像データうち、人間の目に最も影響を与える要素に関する刺激値の画像データについては、前記処理単位となる複数フレームの各フレームごとに求め、その他の刺激値の画像データについては、前記処理単位となる複数フレームのある１つのフレームにおいて求めることを特徴とする。
【００２６】
このような画像処理プログラムをコンピュータに実行させることにより、前述した本発明の画像処理方法を実現することができ、本発明の画像処理方法と同様の効果が得られる。また、本発明の画像処理プログラムにおいても、前記本発明の画像処理方法が有するそれぞれの特徴を有することが好ましい。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態について説明する。本発明は、表示すべき画像に対応する画像
データの複数フレームを処理単位として、所定の３刺激値を有する第１色空間の画像データから所定の３刺激値を有する第２色空間の画像データへ変換する色空間変換処理を行う。この第２色空間の画像データへ変換する色空間変換処理を行う際は、第２色空間の３刺激値の画像データうち、人間の目に最も影響を与える要素に関する刺激値の画像データは、処理単位となる複数フレームの各フレームごとに求め、その他の刺激値の画像データは、処理単位となる複数フレームのある１つのフレームにおいて求めるといった処理を行う。
【００２８】
以下に示す実施形態では、所定の３刺激値を有する第１色空間の画像データは、ＹＣｂＣｒ色空間の画像データであって、そのＹＣｂＣｒ色空間の画像データを所定の色空間変換処理によって、ＲＧＢ色空間の画像データに変換する例について説明する。また、以下に示す実施形態では、入力画像データとしては、ＹＣｂＣｒ色空間以外の色空間の画像データ（ＲＧＢ色空間の画像データとする）が与えられ、まずは、そのＲＧＢ色空間の画像データをＹＣｂＣｒ色空間の画像データに変換し、ＹＣｂＣｒ色空間の画像データに変換された画像データをＲＧＢ色空間に変換して、ＲＧＢ色空間に変換された画像データを画像表示装置に出力するといった処理を行うものとする。
【００２９】
図１は本発明の実施形態に係る画像処理装置の構成を概略的に示す図である。本発明の実施形態に係る画像処理装置１０は、図１に示すように、表示すべき画像に対応する画像データ（ＲＧＢ色空間の画像データであるとする）を輝度と色差とで表される第１色空間の画像データ（ＹＣｂＣｒ色空間の画像データとする）に変換する第１色空間変換部（ＹＣｂＣｒ色空間変換部とする）１１と、ＹＣｂＣｒ色空間の画像データを第２色空間の画像データ（ＲＧＢ色空間の画像データとする）に変換する第２色空間変換部（ＲＧＢ色空間変換部とする）１２と、ＲＧＢ色空間変換部１２で変換された赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれに対応する画像データ（ＲＧＢ色空間の画像データ）を画像表示手段（図示せず）に出力する画像データ出力部１３とを有している。
なお、ＹＣｂＣｒ色空間変換部１１及びＲＧＢ色空間変換部１２による色空間変換処理は、画像データの複数フレーム（本発明の実施形態では４フレームとする）を処理単位として行うものとする。
【００３０】
図２は図１に示した画像処理装置１０が行う基本的な画像処理について説明する図である。図２及び図１を参照しながら画像処理装置１０が行う基本的な画像処理について説明する。まず、図２の（ａ）に示すように、赤（Ｒ）に対応する４フレーム分の画像データ（Ｒ１，Ｒ２，Ｒ３，Ｒ４とする）と、緑（Ｇ）に対応する４フレーム分の画像データ（Ｇ１，Ｇ２，Ｇ３，Ｇ４とする）と、青（Ｂ）に対応する４フレーム分の画像データ（Ｂ１，Ｂ２，Ｂ３，Ｂ４とする）とが、先頭フレームから順に画像処理装置１０に与えられるものとする。
【００３１】
なお、赤（Ｒ）、緑（Ｇ）、青（Ｂ）に対応する４フレーム分の画像データに付された「１，２，３，４」の数字はフレーム番号を表し、「１」が当該処理単位の４フレームにおける１番目のフレーム（先頭フレーム）であるとする。例えば、赤（Ｒ）に対応する４フレーム分の画像データＲ１，Ｒ２，Ｒ３，Ｒ４においては、Ｒ１が１番目のフレーム（先頭フレーム）、Ｒ２が２番目のフレームというように、それぞれの数字がフレーム番号を表している。Ｇ１，Ｇ２，Ｇ３，Ｇ４及びＢ１，Ｂ２，Ｂ３，Ｂ４も同様である
【００３２】
そして、ＹＣｂＣｒ色空間変換部１１では、図２の（ａ）に示す処理単位の画像データ（ＲＧＢ色空間の画像データ）を輝度Ｙと青の色差Ｃｂと赤の色差Ｃｒとで表されるＹＣｂＣｒ色空間に変換する。なお、処理単位の画像データ（ＲＧＢ色空間の画像データ）をＹＣｂＣｒ色空間に変換する処理をＹＣｂＣｒ色空間変換ステップ（第１色空間変換ステップ）Ｓ１とする。図２の（ｂ）は、ＹＣｂＣｒ色空間変換ステップＳ１によってＹＣｂ
Ｃｒ色空間に変換された画像データ（ＹＣｂＣｒ色空間画像データという）である。
【００３３】
なお、図２の（ｂ）に示すＹＣｂＣｒ色空間変換データにおいて、Ｙ，Ｃｂ，Ｃｒに付されたそれぞれの数字「１，２，３，４」は、上記同様、処理単位としての４フレームのフレーム番号を示すものである。すなわち、Ｙ１，Ｃｂ１，Ｃｒ１は、４フレームのうちの１番目のフレーム（先頭フレーム）におけるＹＣｂＣｒ色空間画像データ、Ｙ２，Ｃｂ２，Ｃｒ２は、２番目のフレームにおけるＹＣｂＣｒ色空間画像データ、Ｙ３，Ｃｂ３，Ｃｒ３は、３番目のフレームにおけるＹＣｂＣｒ色空間画像データ、Ｙ４，Ｃｂ４，Ｃｒ４は、４番目のフレームにおけるＹＣｂＣｒ色空間画像データである。
また、ＹａはＹ１，Ｙ２，Ｙ３，Ｙ４の平均値、ＣｂａはＣｂ１，Ｃｂ２，Ｃｂ３，Ｃｂ４の平均値、ＣｒａはＣｒ１，Ｃｒ２，Ｃｒ３，Ｃｒ４の平均値である。
【００３４】
このようにして、ＹＣｂＣｒ色空間に変換されたＹＣｂＣｒ色空間画像データが求められると、今度は、ＲＧＢ色空間変換部１２によって、ＹＣｂＣｒ色空間画像データをＲＧＢ色空間の画像データに変換する処理を行う。なお、ＹＣｂＣｒ色空間画像データをＲＧＢ色空間の画像データに変換する処理をＲＧＢ色空間変換ステップ（第２色空間変換ステップ）Ｓ１とする。このＲＧＢ色空間変換ステップＳ２において、ＹＣｂＣｒ色空間からＲＧＢ色空間の画像データに変換する際、Ｇに対応する画像データの生成は、４フレームの各フレームごとに行い、Ｒ及びＢに対応する画像データの生成は、４フレームのある１つのフレーム（先頭フレームとする）のみに対して行う。これにより、Ｇについては、４フレーム分の各フレームに対応したＧの画像データ（Ｇ１，Ｇ２，Ｇ３，Ｇ４）が得られ、ＲとＢについては、先頭フレームのみの画像データＲ１及びＢ１が得られる（図２の（ｄ）参照）。
【００３５】
図２の（ｃ）はＹＣｂＣｒ色空間からＲＧＢ色空間への変換式を示すものである。図２の（ｃ）に示すように、ＹＣｂＣｒ色空間からＲＧＢ色空間への変換式としては、動きの再現性を優先（動き優先という）とした変換式と色の再現性を優先（色優先という）とした変換式の２種類の変換式が設定されている。
【００３６】
ここで、動き優先とした変換式は、
Ｒ＝Ｙｘ＋Ｃｒａ×１．４０２０・・・・・・・・・・・・・・（１）
Ｇ＝Ｙｘ−Ｃｂｉ×０．３４４１−Ｃｒｉ×０．７１３９・・・（２）
Ｂ＝Ｙｘ＋Ｃｂａ×１．７７１８・・・・・・・・・・・・・・（３）
とする。
【００３７】
一方、色優先とした変換式は、
Ｒ＝Ｙａ＋Ｃｒａ×１．４０２０・・・・・・・・・・・・・・（４）
Ｇ＝Ｙａ−Ｃｂｉ×０．３４４１−Ｃｒｉ×０．７１３９・・・（５）
Ｂ＝Ｙａ＋Ｃｂａ×１．７７１８・・・・・・・・・・・・・・（６）
とする。
【００３８】
上記（１）〜（３）式において、Ｙの添え字ｘは４つのフレームのうちのある特定のフレーム番号を示している。したがって、特定のフレーム番号として、４つのフレームのうちの１番目のフレーム（先頭のフレーム）を用いるものとすれば、Ｙ１というように表される。
【００３９】
また、（２）式及び（５）式において、Ｃｂ及びＣｒの添え字ｉはその時点におけるフレーム番号である。したがって、Ｃｂｉ及びＣｒｉはその時点においてＲＧＢ色空間への変換対象となるフレームのＣｂ，Ｃｒの値である。例えば、その時点において変換対象フレームのフレーム番号が「１」であれば、Ｃｂ１，Ｃｒ１というように表される。
【００４０】
ここで、動き優先としてＲＧＢ色空間への変換を行う場合、Ｒｘのｘを１（先頭フレーム）に設定したとすれば、図２の（ｄ）におけるＲ１及びＢ１は、上記（１）及び（３）式から、
Ｒ１＝Ｙ１＋Ｃｒａ×１．４０２０・・・・・・（７）
Ｂ１＝Ｙ１＋Ｃｂａ×１．７７１８・・・・・・（８）
というように求めることができる。
【００４１】
また、図２の（ｄ）におけるＧ１〜Ｇ４は、（２）式から、
Ｇ１＝Ｙ１−Ｃｂ１×０．３４４１−Ｃｒ１×０．７１３９・・・・・（９）
Ｇ２＝Ｙ１−Ｃｂ２×０．３４４１−Ｃｒ２×０．７１３９・・・・・（１０）
Ｇ３＝Ｙ１−Ｃｂ３×０．３４４１−Ｃｒ３×０．７１３９・・・・・（１１）
Ｇ４＝Ｙ１−Ｃｂ４×０．３４４１−Ｃｒ４×０．７１３９・・・・・（１２）
と求めることができる。
【００４２】
このように、動き優先とする場合、Ｙ（輝度）の平均値Ｙａではなく、ある特定のフレーム（例えば、処理対象となる複数フレームの先頭フレーム）において求められた輝度を用いるようにしている。このように、ある特定のフレームにおいて求められた輝度（Ｙ）を用いることにより、動きの再現性を優先した画像データとすることができる。
【００４３】
一方、色優先とする場合には、（４）〜（６）式で示されるように、平均の輝度Ｙａを用いている。このように、輝度Ｙについては平均の輝度Ｙａを用いることによって、原画像に近い色とすることができる。なお、色優先とする場合も、図２の（ｄ）におけるＲ１及びＢ１は、上記（１）及び（３）式から、
Ｒ１＝Ｙａ＋Ｃｒａ×１．４０２０・・・・・（１３）
Ｂ１＝Ｙａ＋Ｃｂａ×１．７７１８・・・・・（１４）
というように求めることができる。
【００４４】
また、図２の（ｄ）におけるＧ１〜Ｇ４は、（２）式から、
Ｇ１＝Ｙａ−Ｃｂ１×０．３４４１−Ｃｒ１×０．７１３９・・・・・（１５）
Ｇ２＝Ｙａ−Ｃｂ２×０．３４４１−Ｃｒ２×０．７１３９・・・・・（１６）
Ｇ３＝Ｙａ−Ｃｂ３×０．３４４１−Ｃｒ３×０．７１３９・・・・・（１７）
Ｇ４＝Ｙａ−Ｃｂ４×０．３４４１−Ｃｒ４×０．７１３９・・・・・（１８）
と求めることができる。
【００４５】
このように、動き優先とするか色優先とするかによってＲＧＢ色空間への変換式が異なるが、動き優先とするか色優先とするかは、ユーザの好みや表示する画像の内容によって選ぶことができる。
【００４６】
ところで、図２の（ｄ）は、ＲＧＢ色空間変換ステップＳ２によって、ＲＧＢ色空間に変換された画像データ（ＲＧＢ色空間画像データという）である。図２の（ｄ）に示すように、Ｒ及びＢに対応する画像データは、この場合、処理単位となる４つのフレームのうちの１番目のフレーム（先頭フレーム）のみで求められている（Ｒ１及びＢ１）。また、Ｇに対応する画像データは、処理単位となる４つのフレームのすべてのフレームごとに求められている（Ｇ１，Ｇ２，Ｇ３，Ｇ４）。そして、図２の（ｄ）に示すようなＲＧＢ色空間画像データは、画像データ出力部１３から出力され、画像表示手段によって表示処理される。
【００４７】
図２に説明したような画像処理を行うことにより、例えば、４フレームを処理単位とした場合、ＲＧＢ色空間変換ステップＳ２においては、Ｇについては、各フレームごとの変
換処理を行い、Ｒ及びＢについては、１つのフレーム（先頭フレーム）についての変換処理を行えばよいので、演算量の削減が図れ、かつ、ＲＧＢ色空間に変換された画像データを画像表示手段に転送する際のデータ量を削減することができる。それによって、画像表示手段に画像データを転送する際の転送レートを低く抑えることができる。
【００４８】
なお、ＲＧＢ色空間の画像データを、一旦、ＹＣｂＣｒ色空間に変換し、その後、再びＲＧＢ色空間に変換するのは、ＲＧＢに変換後において、人間の目に最も影響を与えるＹ（輝度）成分をＲ及びＢにも分散させることによって、データ量を削減した場合でも偽色の発生を抑制する効果を持たせるためである。これにより、動きの速い画像データのような場合であっても、偽色の発生を抑制することができる。なお、最終的にＲＧＢ色空間の画像データとするのは、画像表示手段がＲＧＢ色空間で画像表示処理を行うのが一般的であるからである。
【００４９】
次に、上記したような画像処理方法（本発明の基本的な画像処理という）を使用した本発明の応用例について説明する。
【００５０】
[第１応用例]
第１応用例は、本発明の基本的な画像処理を２つの画像形成手段（画像形成ユニットという）と１つの投射光学系とを有するプロジェクタに適用するものである。
【００５１】
図３は２つの画像形成ユニットと１つの投射光学系とを有するプロジェクタの光学的な構成を模式的に示す図である。第１応用例に用いるプロジェクタは、図３に示すように、２系統の画像形成ユニット１００，２００（第１画像形成ユニット１００、第２画像形成ユニット２００という）と、第１画像形成ユニット１００及び第２画像形成ユニット２００から射出されたそれぞれの画像光（第１画像光、第２画像光という）を合成する偏光合成光学系としての偏光合成プリズム３００と、偏光合成プリズム３００で合成された画像光を投射面としてのスクリーンＳＣＲに投射する投射光学系４００とを有する。
【００５２】
第１画像形成ユニット１００は、光源装置として第１〜第３光源装置１１０〜１３０を有し、第２画像形成ユニット２００は、光源装置として第４〜第６光源装置２１０〜２３０を有している。第１〜第３光源装置１１０〜１３０及び第４〜第６光源装置２１０〜２３０は、光源として固体光源（ＬＥＤとする）が用いられる。
【００５３】
第１画像形成ユニット１００における第１光源装置１１０は、赤色光を発光する複数の赤色ＬＥＤで構成される赤色光源Ｒ１と、赤色光源Ｒ１を構成する複数の赤色ＬＥＤに対応して設けられる複数の集光レンズ１１１と、ロッドインテグレータ１１２と、ロッドインテグレータ１１２の出力側に設けられる集光レンズ１１３とを有している。
【００５４】
また、第２光源装置１２０は、緑色光を発光する複数の緑色ＬＥＤで構成される第１緑色光源Ｇ１と、第１緑色光源Ｇ１を構成する複数の緑色ＬＥＤに対応して設けられる複数の集光レンズ１２１と、ロッドインテグレータ１２２と、ロッドインテグレータ１２２の出力側に設けられる集光レンズ１２３とを有している。
【００５５】
また、第３光源装置１３０は、緑色光を発光する複数の緑色ＬＥＤで構成される第２緑色光源Ｇ２と、第２緑色光源Ｇ２を構成する複数の緑色ＬＥＤに対応して設けられる複数の集光レンズ１３１と、ロッドインテグレータ１３２と、ロッドインテグレータ１３２の出力側に設けられる集光レンズ１３３とを有している。
【００５６】
また、第１画像形成ユニット１００は、これら第１〜第３光源装置１１０〜１３０に対応する光変調素子１５０Ｒ，１５０Ｇ１，１５０Ｇ２と、光変調素子１５０Ｒ、１５０Ｇ
１，１５０Ｇ２で変調された各色光を合成する合成光学系１６０をさらに有している。この合成光学系１６０は、クロスダイクロイックプリズムが用いられ、光変調素子１５０Ｒで変調された赤色光を反射し、光変調素子１５０Ｇ１で変調された緑色光を透過させ、光変調素子１５０Ｇ２で変調された緑色光を反射させて、これら各色光を合成する機能を有している。
【００５７】
また、第２画像形成ユニット２００における第４光源装置２１０は、青色光を発光する複数の青色ＬＥＤで構成される青色光源Ｂ１と、青色光源Ｂ１を構成する複数の青色ＬＥＤに対応して設けられる複数の集光レンズ２１１と、ロッドインテグレータ２１２と、ロッドインテグレータ２１２の出力側に設けられる集光レンズ２１３とを有している。
【００５８】
また、第５光源装置２２０は、緑色光を発光する複数の緑色ＬＥＤで構成される第３緑色光源Ｇ３と、第３緑色光源Ｇ３を構成する複数の緑色ＬＥＤに対応して設けられる複数の集光レンズ２２１と、ロッドインテグレータ２２２と、ロッドインテグレータ２２２の出力側に設けられる集光レンズ２２３とを有している。
【００５９】
また、第６光源装置２３０は、緑色光を発光する複数の緑色ＬＥＤで構成される第４緑色光源Ｇ４と、第４緑色光源Ｇ４を構成する複数の緑色ＬＥＤに対応して設けられる複数の集光レンズ２３１と、ロッドインテグレータ２３２と、ロッドインテグレータ２３２の出力側に設けられる集光レンズ２３３とを有している。
【００６０】
また、第２画像形成ユニット２００は、これら第４〜第６光源装置２１０〜２３０に対応する光変調素子２５０Ｂ，２５０Ｇ３，２５０Ｇ４と、光変調素子２５０Ｂ、２５０Ｇ３，２５０Ｇ４で変調された各色光を合成する合成光学系２６０をさらに有している。この合成光学系２６０は、クロスダイクロイックプリズムが用いられ、光変調素子２５０Ｂで変調された青色光を反射し、光変調素子２５０Ｇ３で変調された緑色光を反射させ、光変調素子２５０Ｇ４で変調された緑色光を透過させて、これら各色光を合成する機能を有している。
また、光変調素子１５０Ｒ，１５０Ｇ１，１５０Ｇ２及び光変調素子２５０Ｂ，２５０Ｇ３，２５０Ｇ４は、液晶を用いた光変調素子（液晶パネル）であるとする。
【００６１】
ところで、緑色光の波長帯域は、約５００ｎｍ〜５６５ｎｍであるが、第１応用例に用いるプロジェクタにおいては、約５００ｎｍ〜５６５ｎｍの波長帯域を有する緑色光を、青色光に近い側の波長帯域（５００ｎｍ〜５３２ｎｍの波長帯域）を有する緑色光（第１緑色光という）と黄色光に近い側の波長帯域（５３３ｎｍ〜５６５ｎｍの波長帯域）の緑色光（第２緑色光という）の２種類の緑色光として使用する。
【００６２】
このように、緑色光を第１緑色光及び第２緑色光の２種類の緑色光として使用することによって、第１画像形成ユニット１００の合成光学系１６０及び第２画像形成ユニット２００の合成光学系２６０は、一般的なクロスダイクロイックプリズムを使用することができる。
【００６３】
第１応用例に用いるプロジェクタにおいては、第１画像形成ユニット１００の光変調素子１５０Ｇ１と第２画像形成ユニット２００の光変調素子２５０Ｇ３には、５００ｎｍ〜５３２ｎｍの波長帯域を有する第１緑色光が与えられ、第１画像形成ユニット１００の光変調素子１５０Ｇ２と第２画像形成ユニット２００の光変調素子２５０Ｇ４には、５３３ｎｍ〜５６５ｎｍの波長帯域を有する第２緑色光が与えられるように設定されているものとする。
【００６４】
図４は図３に示したプロジェクタにおける光源の動作と光変調素子の駆動との関係を説
明する図である。図４（ａ）は光変調素子１５０Ｇ１に対応する第１緑色光源Ｇ１の動作、図４（ｂ）は光変調素子１５０Ｇ２に対応する第２緑色光源Ｇ２の動作、図４（ｃ）は光変調素子２５０Ｇ３に対応する第３緑色光源Ｇ３の動作、図４（ｄ）は光変調素子２５０Ｇ４に対応する第４緑色光源Ｇ４の動作を示すものである。また、図４（ｅ）は光変調素子１５０Ｒに対応する赤色光源Ｒ１の動作、図４（ｆ）は光変調素子２５０Ｂに対応する青色光源Ｂ１の動作を示すものである。
【００６５】
なお、図４（ａ）〜（ｆ）において、灰色で示す領域は光源が点灯状態、白色で示す領域は光源が消灯状態であることを示している。また、図４（ａ）〜（ｄ）において、緑色光は５００ｎｍ〜５３２ｎｍの波長帯域を有する第１緑色光と５３３〜５６５ｎｍの波長帯域を有する第２緑色光とを使用しているので、これらを濃い灰色（第１緑色光）と薄い灰色（第２緑色光）とに分けて図示している。
【００６６】
図４（ａ）〜（ｄ）に示すように、第１応用例に用いるプロジェクタにおいては、第１画像形成ユニット１００の第１緑色光源Ｇ１及び第２緑色光源Ｇ２、第２画像形成ユニット２００の第３緑色光源Ｇ３及び第４緑色光源Ｇ４は、それぞれ画像データの１フレームを４分割した１／４フレームに対応する時間（これをΔｔ時間とする）経過ごとに順次点灯し、その点灯状態が２／４フレームに対応する時間（２Δｔ時間）だけ継続する。したがって、第１緑色光源Ｇ１、第２緑色光源Ｇ２、第３緑色光源Ｇ３及び第４緑色光源Ｇ４は、２Δｔ時間の点灯状態において、第１緑色光を発光する緑色光源（第１緑色光源Ｇ１及び第３緑色光源Ｇ３）と、第２緑色光を発光する緑色光源（第２緑色光源Ｇ２及び第４緑色光源Ｇ４）とがΔｔ時間だけ重複して点灯する。
【００６７】
例えば、第２フレームＦ２についてみると、当該第２フレームＦ２を４等分した第１番目の１／４フレームに対応する時間（Δｔ１時間とする）においては、第１緑色光源Ｇ１と第４緑色光源Ｇ４とが同時に点灯し、第２番目の１／４フレームに対応する時間（Δｔ２時間とする）においては、第１緑色光源Ｇ１と第２緑色光源Ｇ２とが同時に点灯する。また、第３番目の１／４フレームに対応するΔｔ時間（Δｔ３時間とする）においては、第２緑色光源Ｇ２と第３緑色光源Ｇ３とが同時に点灯し、第４番目の１／４フレームに対応するΔｔ時間（Δｔ４時間とする）においては、第３緑色光源Ｇ３と第４緑色光源Ｇ４とが同時に点灯する。
【００６８】
このように、第１緑色光を発光する緑色光源と第２緑色光を発光する緑色光源を同時に点灯させるのは、人の目に緑色が２種類の緑色として視認されてしまうのを防止するためである。すなわち、緑色光を２種類の緑色（第１緑色光と第２緑色光）とすることにより、合成光学系として一般的なクロスダイクロイックプリズムの使用が可能となる反面、人の目に緑色が２種類の緑色として視認されてしまう可能性があるので、それを防止するために、第１緑色光を発光する緑色光源と第２緑色光を発光する緑色光源を同時に点灯させるようにしている。
また、図４（ｅ），（ｆ）は、赤色光源Ｒ１及び青色光源Ｂ１の動作を示すもので、赤色光源Ｒ１及び青色光源Ｂ１は連続点灯を行う。
【００６９】
また、図４（ｇ）〜（ｌ）は、各光変調素子の駆動時間を示すものであり、図４（ｇ）は光変調素子１５０Ｇ１の駆動時間、図４（ｈ）は光変調素子１５０Ｇ２の駆動時間、図４（ｉ）は光変調素子２５０Ｇ３の駆動時間、図４（ｊ）は光変調素子２５０Ｇ４の駆動時間、図４（ｋ）は光変調素子１５０Ｒの駆動時間、図４（ｌ）は光変調素子２５０Ｂの駆動時間を示すものであり、灰色で示した部分は各光変調素子が駆動されている時間を示している。
【００７０】
図４（ｇ）〜（ｌ）に示すように、緑色光に対応する光変調素子１５０Ｇ１，１５０Ｇ
２及び光変調素子２５０Ｇ３，２５０Ｇ４は、第１〜第４緑色光源Ｇ１〜Ｇ４の点灯に対応するように駆動される。このとき、第１〜第４緑色光源Ｇ１〜Ｇ４の点灯時間（２Δｔ時間）の前後Δｔ時間をも含めた時間を駆動時間としている。このため、緑色光に対応する光変調素子１５０Ｇ１，１５０Ｇ２及び光変調素子２５０Ｇ３，２５０Ｇ４の駆動時間は、この場合、４Δｔ時間（１フレームに対応する時間）であるが、これら各光変調素子１５０Ｇ１，１５０Ｇ２及び光変調素子２５０Ｇ３，２５０Ｇ４で変調された各色光はそれぞれ２Δｔ時間だけ射出される。
【００７１】
このように、第１〜第４緑色光源Ｇ１〜Ｇ４の点灯時間（２Δｔ時間）の前後Δｔ時間をも含めた時間を各光変調素子の駆動時間とするのは、光変調素子が液晶を用いた光変調素子である場合、液晶の安定動作期間に光源を発光させるようにするためである。
【００７２】
なお、緑色光に対応する光変調素子１５０Ｇ１，１５０Ｇ２，２５０Ｇ３，２５０Ｇ４のうち、光変調素子１５０Ｇ１に対しては、画像データが元々有するフレームのうちの当該フレーム（ｎ番目のフレームとする）に対応する画像データを与えるものとすれば、他の光変調素子１５０Ｇ２，２５０Ｇ３，２５０Ｇ４には、例えば、当該画像データのｎ番目のフレームとｎ＋１番目のフレームとから生成された３つの中間画像データを与えることが好ましい。この中間画像データの生成は、動きベクトルに基づいた中間画像の生成技術など、一般的に行われている各種の中間画像データ生成技術を採用することができる。
【００７３】
第１応用例に用いるプロジェクタを図３に示すような構成とし、かつ、光源と光変調素子の駆動を図４に示すように行うことにより、緑色光に対応する画像データのフレームレートを赤色光及び青色光に対応する画像データに対して４倍とすることができる。
このように、第１応用例に用いるプロジェクタによれば、緑色光に対応する画像データのフレームレートを赤色光及び青色光の画像データに対して４倍とすることができ、フレーム補間された画像データとすることができる。
【００７４】
しかしながら、第１応用例に用いるプロジェクタのように、ＲＧＢの各色のうちのある特定の色成分（この場合は緑）に対応する画像データのフレームを挿入するというようなフレーム補間を行う場合、その特定の色成分に対応する画像データのフレームをそのまま挿入するだけでは偽色が生じる場合もあり、それが画質を劣化させる要因ともなる。このような偽色の発生を抑制するために、第１応用例に用いるプロジェクタでは、図１に示した画像処理装置１０によって、図２で説明したような本発明の基本的な画像処理を施すことが好ましい。
【００７５】
なお、第１応用例においては、図４からもわかるように、赤色光に対応する画像データ及び青色光に対応する画像データに対して緑色光に対応する画像データが４倍のフレームレートを有するため、本発明の基本的な画像処理を実行する際の処理単位は、緑色光に対応する画像データの４つのフレームであるとする。したがって、赤色光及び青色光に対応する画像データは、緑色光の４つのフレーム分の時間内で同じ値を保持する４つのフレームが存在するものとする。すなわち、本発明の基本的な画像処理を実行する際の処理単位は、赤色光に対応する画像データについては「Ｒ１，Ｒ１，Ｒ１，Ｒ１」、緑色光に対応する画像データについては「Ｇ１，Ｇ２，Ｇ３，Ｇ４」、青色光に対応する画像データについては「Ｂ１，Ｂ１，Ｂ１，Ｂ１」であるとする。
【００７６】
ところで、第１応用例においては、ＲＧＢに対応するそれぞれの画像データと、赤色光源、緑色光源、青色光源とは、それぞれが対応するものであるあるため、画像データＲ１、画像データＧ１〜Ｇ４、画像データＢ１、赤色光源Ｒ１、緑色光源Ｇ１〜Ｇ４、青色光源Ｂ１というように画像データとそれぞれに対応する光源とは同じ符号が付されている。
【００７７】
図５は第１応用例に用いるプロジェクタの画像処理について説明する図である。図５に示すように、画像処理装置１０には、「Ｒ１，Ｒ１，Ｒ１，Ｒ１」、「Ｇ１，Ｇ２，Ｇ３，Ｇ４」、「Ｂ１，Ｂ１，Ｂ１，Ｂ１」が処理単位の画像データとして与えられる。このような画像データが画像処理装置１０に入力されることにより、画像処理装置１０では、図２において説明した本発明の基本的な画像処理を行うことができる。
【００７８】
すなわち、画像処理装置１０では、図２において説明したように、処理単位の画像データに対して、ＲＧＢ色空間からＹＣｂＣｒ色空間への変換処理を行い（ＹＣｂＣｒ色空間変換ステップＳ１）、その後、ＹＣｂＣｒ色空間からＲＧＢ色空間への変換処理を行う（ＲＧＢ色空間変換ステップＳ２）。これにより、画像処理装置１０の画像データ出力部１３からは、図５に示すようなＲＧＢ色空間画像データが画像表示手段（光変調素子駆動部２１Ｒ，２１Ｇ１〜２１Ｇ４，２１Ｂとする）に出力される。
【００７９】
ここで、画像データ出力部１３から出力されるＲＧＢ色空間画像データのうち、画像データＲ１は光変調素子駆動部２１Ｒに与えられ、画像データＢ１は光変調素子駆動部２１Ｂに与えられる。また、画像データＧ１〜Ｇ４は図４に示す第１フレームＦ１に対応する時間内において、画像データＧ１は光変調素子駆動部２１Ｇ１に与えられ、画像データＧ２は光変調素子駆動部２１Ｇ２に与えられ、画像データＧ３は光変調素子駆動部２１Ｇ３に与えられ、画像データＧ４は光変調素子駆動部２１Ｇ４に与えられる。
【００８０】
このように、図５における画像処理装置１０に入力される処理単位の画像データに対して、本発明の基本的な画像処理（図２参照）を行うことにより、データ量を削減した場合でも偽色の発生を抑制することができる。すなわち、ＲＧＢ色空間の画像データを、一旦、ＹＣｂＣｒ色空間に変換し、その後、ＲＧＢ色空間に変換するといった処理を行うことにより、ＲＧＢに変換後において、人間の目に最も影響を与えるＹ（輝度）成分をＲ及びＢにも分散させることができ、それによって、偽色の発生を抑制する効果を得ることができる。
【００８１】
[第２応用例]
第２応用例は、図２に示した本発明の基本的な画像処理のアルゴリズムを画像データ圧縮に適用するものである。
【００８２】
図６は第２応用例としての画像表示システムの構成を示す図である。第２応用例としての画像表示システムは、図２に示した本発明の基本的な画像処理を行う画像処理装置１０と、画像表示手段としての画像表示装置３０とを有する。なお、画像表示装置３０は、例えば直視型の画像表示装置であるとする。なお、画像処理装置１０と画像表示装置３０とはケーブルによって直接接続されるような構成であってもよく、また、ネットワークを介して接続されるような構成であってもよい。
【００８３】
前述した第１応用例においては、緑（Ｇ）に対応する画像データのフレームレートを赤（Ｒ）及び青（Ｂ）に対応する画像データの４倍とした場合であるので、処理単位として設定されたフレーム数は４フレームであったが、第２応用例においては、画像データの処理単位のフレーム数を任意に設定することができる。例えば、動きの速い動画像である場合には、フレーム数を少なくし、動きの遅い画像データである場合には、フレーム数を多くすることができる。
【００８４】
ここでは、説明の簡単化のためにフレーム数（ｎとする）をｎ＝４、すなわち、処理単位としてのフレーム数は４フレームであるとする。この場合、画像処理装置１０には、図６に示すように、「Ｒ１，Ｒ２，Ｒ３，Ｒ４」、「Ｇ１，Ｇ２，Ｇ３，Ｇ４」、「Ｂ１，Ｂ２，Ｂ３，Ｂ４」の４フレーム分の画像データが処理単位として順次与えられるものと
する。このようなＲＧＢ色空間の画像データが画像処理装置１０に入力されることにより、画像処理装置１０では、図２において説明した本発明の基本的な画像処理を行う。
【００８５】
すなわち、画像処理装置１０では、図２において説明したように、まず、ＲＧＢ色空間からＹＣｂＣｒ色空間への変換処理を行い（ＹＣｂＣｒ色空間変換ステップＳ１）、その後、ＹＣｂＣｒ色空間からＲＧＢ色空間への変換処理を行う（ＲＧＢ色空間変換ステップＳ２）。これにより、画像処理装置１０の画像データ出力部１３からは、図６に示すように、圧縮されたＲＧＢ色空間画像データが出力され、そのＲＧＢ色空間画像データは画像表示装置３０に送信される。
【００８６】
画像表示装置３０では、送信されてきた画像データの赤（Ｒ）及び青（Ｂ）については、１番目のフレーム（先頭フレーム）の画像データＲ１及びＢ１をメモリ上で保持し、緑（Ｇ）については、画像データＧ１，Ｇ２，・・・が送信されてくるごとにメモリ上で更新して、保持されている画像データＲ１及びＢ１と順次更新される画像データＧ１，Ｇ２，・・・とに基づいて画像表示処理を行う。
【００８７】
なお、画像表示装置３０が有するＧＰＵ（Graphics Processing Unit）などにおいては、通常の場合、ＲＧＢの各色が送信されてくるごとに、ＲＧＢ各色の画像データをメモリ上で更新する処理を行うが、本発明を実現するために、緑（Ｇ）に対応する画像データについては、当該緑（Ｇ）に対応する画像データが送信されてくるごとに、緑（Ｇ）に対応する画像データＧ１，Ｇ２，Ｇ３，Ｇ４はメモリ上で順次更新し、赤（Ｒ）及び青（Ｂ）に対応するそれぞれの画像データＲ１及びＢ１については、緑（Ｇ）の４フレーム分の更新が終わるまで保持するといった機能を有しているものとする。このような機能は、画像表示装置３０が有する画像処理機能をわずかに変更するだけで可能となる。
【００８８】
以上説明したように、第２応用例においては、表示すべき画像に対応する画像データが高い転送レートを必要とする画像データである場合、当該画像データの４フレームを処理単位として、画像処理装置１０によって本発明の基本的な画像処理を行い、それによって圧縮された画像データを画像表示装置３０に送信するようにしている。これにより、データ量が多く高い転送レートを必要とする画像データを低い転送レートで画像表示装置３０に送信することができ、伝送能力の低いハードウエアで構成された画像表示システムにおいても動画像の表示が可能となる。
【００８９】
なお、第２応用例においては、処理単位としてのフレーム数ｎは、前述したように、動画像の動きの速さなどに応じて任意に設定可能であるが、その設定の仕方としては、例えば２つのフレームの動きベクトル量の総和を求め、求められた動きベクトル量の総和に基づいて決定するという方法が一例として挙げられる。例えば、動きベクトル量の総和に閾値を設定しておき、求められた動きベクトル量が閾値を超えるまで、ｎの値を、例えば、１から順に増加させて行き、動きベクトル量が閾値を超えた時点のｎをその時点のフレーム数とするといった決め方もある。
【００９０】
また、動きの速さを判定するパラメータとしては、動きベクトル量に限られるものではなく、例えば、図２で示した動き優先処理においては、ＹｘとＹｉとの自乗平均を総和して得られた値であってもよい。なお、色優先処理の場合であれば、ＹａとＹｉとの自乗平均を総和して得られた値であってもよい。ここで、Ｙｉの添え字ｉはその時点において処理対象となるフレーム番号であり、Ｙｉは当該フレーム番号において求められるＹＣｂＣｒのＹの値である。
【００９１】
また、図６では画像処理装置１０と画像表示装置３０とを別々に設けた場合について説明したが、画像処理装置１０と画像表示装置３０とが一体的に構成されたものであっても
よい。
また、画像処理装置１０の画像データ出力部１３から出力される圧縮された画像データは、画像表示装置３０に送信される形態に限られるものではなく、例えば、記録媒体に記録されるような形態であってもよい。
【００９２】
なお、本発明は前述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の各実施形態では、入力される画像はＲＧＢ色空間の画像データに限られるものでなく、例えば、ＹＣｂＣｒ色空間の画像データであってもよい。この場合、図１及び図２におけるＹＣｂＣｒ色空間変換部１１によるＹＣｂＣｒ色空間変換処理（ＹＣｂＣｒ色空間変換ステップＳ１）は省略することができる。
【００９３】
また、図２の（ｃ）における変換式において、動き優先としてＲＧＢ色空間への変換を行う場合、前述の例では、前述の（７）〜（１２）式に示すように、ＲＧＢすべてにおいて、Ｙｘを用い、ｘ＝１としてＹ１としたが、Ｇについては、ＹｘではなくＹｉとして、その時点のフレーム番号としてもよい。例えば、フレーム番号をｉ＝１，２，３，４とすれば、Ｇ１〜Ｇ４は、
Ｇ１＝Ｙ１−Ｃｂ１×０．３４４１−Ｃｒ１×０．７１３９
Ｇ２＝Ｙ２−Ｃｂ２×０．３４４１−Ｃｒ２×０．７１３９
Ｇ３＝Ｙ３−Ｃｂ３×０．３４４１−Ｃｒ３×０．７１３９
Ｇ４＝Ｙ４−Ｃｂ４×０．３４４１−Ｃｒ４×０．７１３９
として求めることも可能である。
【００９４】
また、本発明が適用可能な応用例としては、２つの画像形成手段（画像形成ユニットという）と１つの投射光学系とを有するプロジェクタ(第１応用例)と、直視型の画像表示装置（第２応用例）を例示したが、本発明は前述の第１応用例及び第２応用例に限られるものではない。
【００９５】
また、前述の実施形態では、ＲＧＢ色空間の画像データを第１色空間変換ステップによってＹＣｂＣｒ色空間の画像データに変換したのち、変換されたＹＣｂＣｒ色空間の画像データを第２色空間変換ステップによってＲＧＢ色空間の画像データに変換する例（図２参照）について説明したが、本発明の画像処理方法は、このような色空間変換処理に限られるものではない。
【００９６】
例えば、ＲＧＢ色空間の画像データをＸＹＺ色空間の画像データに変換する処理（第１色区間変換ステップ）を行ってＸＹＺ色空間の画像データに変換したのち、変換されたＸＹＺ色空間の画像データをＲＧＢ色空間の画像データに変換する処理（第２色区間変換ステップ）を行うこともできる。また、ｓＲＧＢ色空間の画像データをＹＵＶ色空間の画像データに変換する処理（第１色区間変換ステップ）を行ってＹＵＶ色空間の画像データに変換したのち、変換されたＹＵＶ色空間の画像データをｓＲＧＢ色空間の画像データに変換する処理（第２色区間変換ステップ）を行うこともできる。
【図面の簡単な説明】
【００９７】
【図１】本発明の実施形態に係る画像処理装置の構成を概略的に示す図。
【図２】図１に示した画像処理装置１０が行う基本的な画像処理について説明する図。
【図３】２つの画像形成ユニットと１つの投射光学系とを有するプロジェクタの光学的な構成を模式的に示す図。
【図４】図３に示したプロジェクタにおける光源の動作と光変調素子の駆動との関係を説明する図。
【図５】第１応用例に用いるプロジェクタの画像処理について説明する図。
【図６】第２応用例としての画像表示システムの構成を示す図。
【符号の説明】
【００９８】
１０・・・画像処理装置、１１・・・ＹＣｂＣｒ色空間変換部、１２・・・ＲＧＢ色空間変換部、１３・・・画像データ出力部、３０・・・画像表示装置
【図１】
2009168975.tif 000003
【図２】
2009168975.tif 000004
【図３】
2009168975.tif 000005
【図４】
2009168975.tif 000006
【図５】
2009168975.tif 000007
【図６】
2009168975.tif 000008