(57)【要約】  回折限界を超えた解像度の画像を生成する画像処理装置（３０）は、赤色光および緑色光による被写体の画像をそれぞれ表す赤画像データ、緑画像データ、および赤色光および緑色光のいずれよりも波長が短い青色光による前記被写体の画像を表す赤画像データを取得する画像入力部（１０１）と、青画像データに含まれる空間的な高周波成分を赤画像データおよび緑画像データに重畳することにより、赤画像データおよび緑画像データを補正する画像処理部（１０３）とを備え、画像入力部（１０１）は、赤色光および緑色光のいずれの光もそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、青画像データとして取得する。
2009153983.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部と
を備え、
前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する
画像処理装置。
【請求項２】
前記画像入力部は、前記第２の画像データを生成した前記受光素子の配置密度よりも低い密度で配置された複数の受光素子によって生成された画像データを、前記第１の画像データとして取得する
請求項１に記載の画像処理装置。
【請求項３】
前記画像入力部は、紫外光による前記被写体の画像を表す画像データを、前記第２の画像データとして取得する
請求項１に記載の画像処理装置。
【請求項４】
前記画像処理部は、補正後の前記第１の画像データおよび補正後の前記第２の画像データにより表されるカラー画像における色の空間的な連続性が維持されるように、前記第１の画像データおよび前記第２の画像データの両方を補正する
請求項１に記載の画像処理装置。
【請求項５】
前記画像入力部は、前記第２の波長を持つ光の合焦位置に設置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する
請求項１記載の画像処理装置。
【請求項６】
さらに、前記第１の画像データを生成したときの撮影条件である絞り値を表す撮影条件データを取得する撮影条件取得部を備え、
前記画像処理部は、
前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する
請求項１に記載の画像処理装置。
【請求項７】
さらに、前記第１の画像データを生成したときの撮影条件である焦点距離を表す撮影条件データを取得する撮影条件取得部を備え、
前記画像処理部は、
前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する
請求項１に記載の画像処理装置。
【請求項８】
さらに、前記第１の画像データを生成したときの撮影条件である受光素子の設置面の位置を表す撮影条件データを取得する撮影条件取得部を備え、
前記画像処理部は、
前記取得された撮影条件データによって表される前記受光素子の設置面の前記第１の波長の波長を持つ光の合焦位置からのずれ量に応じて、前記第１の画像データに対して焦点ボケの除去処理を行う
請求項１に記載の画像処理装置。
【請求項９】
前記画像入力部は、赤色光による被写体の画像を表す赤画像データ、緑色光による前記被写体の画像を表す緑画像データ、および青色光による前記被写体の画像を表す青画像データを取得し、
前記画像処理部は、前記青画像データに含まれる空間的な高周波成分を前記赤画像データおよび前記緑画像データのうち少なくともいずれか一方に重畳することにより、前記赤画像データおよび緑画像データのうち少なくとも前記一方を補正し、
前記画像入力部は、前記赤色光または緑色光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記青画像データとして取得する
請求項１に記載の画像処理装置。
【請求項１０】
前記画像処理部は、前記画像データのうち、最も短い波長を持つ光による画像データに含まれる空間的な高周波成分を、他の波長の光による画像データに重畳することにより、前記他の波長の光による画像データを補正し、
前記画像入力部は、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記最も短い波長の光の画像データとして取得する
請求項１に記載の画像処理装置。
【請求項１１】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
前記複数の画像データのうち、それ以上収束しない領域の最小の大きさが最も小さい波長の光による第２の画像データに含まれる空間的な高周波成分を、他の波長の光による第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理部と
を備え、
前記画像入力部は、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する
画像処理装置。
【請求項１２】
第１の波長を持つ光による被写体の画像を表す第１の画像データを生成する複数の受光素子と、
前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置され、前記第１の波長よりも短い第２の波長を持つ光による前記被写体の画像を表す第２の画像データを生成する複数の受光素子と、
前記第１の画像データおよび前記第２の画像データを取得する画像入力部と、
前記第２の画像データに含まれる空間的な高周波成分を前記第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理部と
を備える撮像装置。
【請求項１３】
波長が異なる複数の光のそれぞれにより１つの被写体の画像を表す、前記光と同数の画像データを取得する画像入力ステップと、
前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理ステップと
を含み、
前記画像入力ステップで、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する
画像処理方法。
【請求項１４】
画像を処理するためのプログラムであって、請求項１３に記載の画像処理方法に含まれるステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを補正する画像処理装置などに関し、特に画像データを高精細化する技術に関する。
【背景技術】
【０００２】
近年普及したデジタルカメラの撮像素子において、高画質化を目的とした多画素化と、携帯性の向上を目的とした撮像素子の小型化が進んでいる。このような、撮像素子の多画素化および小型化を実現するために、デジタル撮像素子の画素の微細化が進んできている。【０００３】
しかしながら、撮像素子を設置するカメラの結像面では入射光の回折による回折ボケが生じるため、回折ボケの大きさを下回るサイズに撮像素子の画素を微細化しても、解像度を向上させることができない（回折限界）という課題が生じる。特に回折ボケは、撮像光学系の絞りを絞った場合に影響が出やすくなる。【０００４】
このような回折ボケの影響を抑える従来の撮像装置が、特許文献１および特許文献２に記載されている。【０００５】
特許文献１の撮像装置は、撮像時に被写体からの光量が多い場合、撮像光学系の絞りを絞る代わりに、撮像素子の利得を下げて撮像する。これにより、光量が多い場合にでも撮像素子からの信号出力が過剰になることを抑え、絞りによる回折ボケの発生を回避する。【０００６】
また、特許文献２の撮像装置は、撮像時の光量が多い場合、撮像光学系の絞りを絞る代わりに、ＮＤフィルタ（Ｎｅｕｔｒａｌ  Ｄｅｎｓｉｔｙ  Ｆｉｌｔｅｒ）すなわち減光フィルタを用いて入射光量を減少させるように制御して撮影を行う。このように減光フィルタを用いることで、絞りによる回折ボケの発生を回避する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３３６３４７７号公報
【特許文献２】特開２００８−３５２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１および特許文献２の撮像装置では、絞りを絞った場合に生じる回折ボケは回避できるものの、絞りを開放にした状態ですでに発生している回折ボケを回避することはできない。すなわち、撮像素子の微細化に伴って解像度の限界となる回折ボケを回避することはできない。【０００９】
本発明は、このような事情に鑑みてなされたものであり、正の屈折率を持つ既存の素材を用いた光学系および撮像素子を用いて、回折限界を超えた解像度の画像を生成する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する。【００１１】
なお、本発明は、このような画像処理装置として実現できるだけでなく、撮像装置、画像処理方法、その方法をコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等としても実現することができる。
【発明の効果】
【００１２】
本発明の画像処理装置によれば、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳する。そして、前記第２の画像データとして、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを用いるので、前記第１の画像データに、前記第１の波長を持つ光の回折限界を超えて空間的な高周波情報を付与する（以下、高解像度化するという）ことができる。【００１３】
本発明の画像処理装置は、例えば既存のカラー撮像システムに良好な適応性を有している。すなわち、既存のカラー撮像システムでは、赤、緑、青のように異なる色（波長）の光で同じ被写体を撮像することで生成された色ごとの画像データを処理するため、例えば赤色または緑色に対応する画像データを第１の画像データとし、青色に対応する画像データを第２の画像データとして、容易に本発明が適用される。【００１４】
そして、本発明の適用によって、新たな光学素材や光学デバイスなどを必要とせずに、簡便に、長い波長の色に対応する画像データを高解像度化できる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の実施の形態における画像生成システムのハードウェア構成を示すブロック図である。
【図２】図２は、第１の実施の形態における画像処理装置の構成を示す機能ブロック図である。
【図３】図３は、回折ボケの大きさと画素配置との関係の一例を示す図である。
【図４】図４は、第１の画像処理装置の動作を示すフローチャートである。
【図５】図５（ａ）〜（ｃ）は、撮像装置の画素の配置例を示す図である。
【図６】図６（ａ）〜（ｃ）は、撮像装置の構成の具体例を示す図である。
【図７】図７は、撮像装置の画素の配置例を示す図である。
【図８】図８は、回折ボケの形状の一例を示す図である。
【図９】図９（ａ）〜（ｃ）は、赤画像、緑画像、青画像の一例を示す図である。
【図１０】図１０（ａ）〜（ｃ）は、生成カラー画像の一例を示す図である。
【図１１】図１１は、第２の実施の形態における画像処理装置の構成を示す機能ブロック図である。
【図１２】図１２は、撮像装置の画素の配置例を示す図である。
【図１３】図１３（ａ）、（ｂ）は、撮像装置の具体例を示す図である。
【図１４】図１４は、第２の画像処理装置の動作を示すフローチャートである。
【図１５】図１５は、第３の実施の形態における画像処理装置の構成を示す機能ブロック図である。
【図１６】図１６（ａ）、（ｂ）は、集光状態の例を示す図である。
【図１７】図１７は、第３の画像処理装置の動作を示すフローチャートである。
【図１８】図１８は、第４の実施の形態における画像処理装置の構成を示す機能ブロック図である。
【図１９】図１９は、第４の画像処理装置の動作を示すフローチャートである。
【図２０】図２０は、ＲＧＢ色空間と球面座標系との対応の一例を示す図である。
【図２１】図２１は、画像生成システムの変形例としてのカメラの構成を示すブロック図である。
【図２２】図２２は、画像生成システムの変形例としてのディスプレイ機器の構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を前記第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する。
【００１７】
また、前記画像入力部は、前記第２の画像データを生成した前記受光素子の配置密度よりも低い密度で配置された複数の受光素子によって生成された画像データを、前記第１の画像データとして取得してもよい。
【００１８】
この構成によれば、波長の長い光の画像は少ない画素数で構成されるため、撮像時に画素の読み出し速度を抑えることができるという利点がある。また、波長の長い光の画像の画素数を少なくすることで、各画素の面積を大きくすることが可能となり、暗い場所など光量が不足する場合でもＳ／Ｎ比の低下を抑えることが可能となる。
【００１９】
また、前記画像入力部は、紫外光による前記被写体の画像を表す画像データを、前記第２の画像データとして取得してもよい。
【００２０】
この構成によれば、可視光画像を、可視光の回折限界を超えて高解像度化することが可能となる。この時、入射光から紫外光を分離して高解像度化処理にのみ使用することで、可視光画像の色再現性も高められるという効果もある。
【００２１】
また、前記画像処理部は、補正後の前記第１の画像データおよび補正後の前記第２の画像データにより表されるカラー画像における色の空間的な連続性が維持されるように、前記第１の画像データおよび前記第２の画像データの両方を補正してもよい。
【００２２】
この構成によれば、第１の画像データのみを補正して第２の画像データと組み合わせてカラー画像を構成した場合に発生し得る偽色を抑える効果が得られる。
【００２３】
また、前記画像入力部は、前記第２の波長を持つ光の合焦位置に設置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得してもよい。
【００２４】
この構成によれば、前記第２の波長の光による画像の焦点ボケが最小となることで、前記第２の画像データには空間的な高周波成分が豊富に含まれることになり、当該高周波成分を重畳することで前記第１の画像データを効果的に高解像度化できる。
【００２５】
また、前記画像処理装置は、さらに、前記第１の画像データを生成したときの撮影条件である絞り値を表す撮影条件データを取得する撮影条件取得部を備え、前記画像処理部は、前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正してもよい。
【００２６】
この構成によれば、前記絞り値から前記第１の画像データで表される画像が回折限界を超えていないと判断される場合、前記補正処理を不要と判定することが可能となる。回折限界を超えていない場合に、前記補正処理を行わないことで、処理にかかる時間とエネルギーを抑えることができる。
【００２７】
また、前記画像処理装置は、さらに、前記第１の画像データを生成したときの撮影条件である焦点距離を表す撮影条件データを取得する撮影条件取得部を備え、前記画像処理部は、前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正してもよい。
【００２８】
この構成によれば、前記焦点距離から前記第１の画像データで表される画像が回折限界を超えていないと判断される場合、前記補正処理を不要と判定することが可能となる。回折限界を超えていない場合に、前記補正処理を行わないことで、処理にかかる時間とエネルギーを抑えることができる。
【００２９】
また、前記画像処理装置は、さらに、前記第１の画像データを生成したときの撮影条件である受光素子の設置面の位置を表す撮影条件データを取得する撮影条件取得部を備え、前記画像処理部は、前記取得された撮影条件データによって表される前記受光素子の設置面の前記第１の波長の波長を持つ光の合焦位置からのずれ量に応じて、前記第１の画像データに対して焦点ボケの除去処理を行ってもよい。
【００３０】
この構成によれば、前記受光素子の設置面の位置に応じて、前記設置面の前記第１の波長の波長を持つ光の合焦位置からのずれ量に応じた焦点ボケの除去処理が前記第１の画像データに対して行われる結果、回折ボケの補正のみを行う場合に比べて、前記第１の画像データをさらに高品質に補正することが可能となる。
【００３１】
また、前記画像入力部は、赤色光による被写体の画像を表す赤画像データ、緑色光による前記被写体の画像を表す緑画像データ、および青色光による前記被写体の画像を表す青画像データを取得し、前記画像処理部は、前記青画像データに含まれる空間的な高周波成分を前記赤画像データおよび前記緑画像データのうち少なくともいずれか一方に重畳することにより、前記赤画像データおよび緑画像データのうち少なくとも前記一方を補正し、前記画像入力部は、前記赤色光または緑色光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記青画像データとして取得してもよい。
【００３２】
この構成によれば、青色光の画像データの高周波成分を用いて赤色光または緑色光の画像データを高品質に補正することが可能となる。
【００３３】
また、前記画像処理部は、前記画像データのうち、最も短い波長を持つ光による画像データに含まれる空間的な高周波成分を、他の波長の光による画像データに重畳することにより、前記他の波長の光による画像データを補正し、前記画像入力部は、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記最も短い波長の光の画像データとして取得してもよい。
【００３４】
この構成によれば、最も短い波長の画像データの高周波成分を用いて他の光の画像データを高品質に補正することが可能となる。
【００３５】
また、本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、それ以上収束しない領域の最小の大きさが最も小さい波長の光による第２の画像データに含まれる空間的な高周波成分を、他の波長の光による第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する。
【００３６】
この構成によれば、それ以上収束しない領域の最小の大きさが最も小さい波長の画像データの高周波成分を用いて他の光の画像データを高品質に補正することが可能となる。
【００３７】
（第１の実施の形態）
以下、図面を参照しながら本発明の第１の実施の形態に係る画像生成システムについて詳細に説明する。
【００３８】
図１は、本発明の実施の形態に係る画像生成システム１００のハードウェア構成を示すブロック図である。
【００３９】
画像生成システム１００は、撮像装置１０と、画像記憶装置２０と、画像処理装置３０と、表示装置４０とから構成される。
【００４０】
撮像装置１０は、同一の視点、または被写体に対して視差が無視できる程度に近接した視点から被写体を撮影することにより、第１の波長を持つ光による前記被写体の画像である長波長光画像を表す第１の画像データと、前記第１の波長よりも短い第２の波長を持つ光による前記被写体の画像である短波長光画像を表す第２の画像データとを生成するカメラである。
【００４１】
撮像装置１０には、前記第１の画像データを生成するための、前記第１の波長を持つ光に対する複数の受光素子、および前記第２の画像データを生成するための、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさ（最小錯乱円の大きさとして知られている）よりも狭い間隔で配置された、前記第２の波長を持つ光に対する複数の受光素子が設けられる。
【００４２】
以下の例では、撮像装置１０を、被写体を同一視点から撮影することで、赤色光、緑色光、および青色光による前記被写体の画像をそれぞれ表す、赤画像データ、緑画像データ、および青画像データを生成するカラーカメラであるとして説明する。
【００４３】
この場合、赤色光による画像および緑色光による画像が前記長波長光画像に対応し、赤画像データおよび緑画像データが前記第１の画像データに対応する。また、波長が最も短い青色光による画像が前記短波長光画像に対応し、青画像データが前記第２の画像データに対応する。
【００４４】
被写体またはカメラが移動する場合には、各色の画像データを同時に生成することが望ましく、静止被写体を静止カメラで撮影する場合には、時間を変えて各色の画像データを順次生成してもよい。
【００４５】
画像記憶装置２０は、撮像装置１０で生成された各色に対応する画像データ（赤画像データ、緑画像データ、青画像データ）を一時的に記憶するメモリである。
【００４６】
画像処理装置３０は、画像記憶装置２０に記憶された各色に対応する画像データ（赤画像データ、緑画像データ、青画像データ）を読み出し、読み出した複数の画像データから、赤画像データおよび緑画像データに対して空間解像度を高める補正を行う装置である。
【００４７】
表示装置４０は、青画像データ、ならびに、画像処理装置３０で補正された赤画像データおよび緑画像データによって表されるカラー画像を表示する表示装置である。
【００４８】
なお、この構成において、画像処理装置３０が本発明の画像処理装置の一例である。画像処理装置３０は、専用回路等のハードウェアによって実現してもよいし、汎用の計算機における画像処理プログラム等のソフトウェアによって実現してもよい。
【００４９】
図２は、図１に示される画像生成システム１００における画像処理装置３０の内部構成を示す機能ブロック図である。画像処理装置３０は、画像入力部１０１と、撮影条件取得部１０２と、画像処理部１０３と、画像出力部１０４とを備える。
【００５０】
画像入力部１０１は、波長が異なる複数の光にそれぞれ対応する画像データを受け付けるインターフェースである。画像入力部１０１は、赤画像データ、緑画像データ、および青画像データのそれぞれの画像データを取得する、赤画像入力部１０１ａ、緑画像入力部１０１ｂ、および青画像入力部１０１ｃを有する。
【００５１】
赤画像入力部１０１ａ、緑画像入力部１０１ｂ、青画像入力部１０１ｃにそれぞれ入力される画像データは、撮像装置１０によって、同一の被写体を同一の視点または視差が無視できる程度に近接した視点から撮影することにより得られる。青画像データは、撮像装置１０において、赤色光および緑色光のいずれの最小錯乱円の大きさよりも狭い間隔で配置された複数の受光素子によって生成される。
【００５２】
図３は、撮像装置１０において青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各色で被写体を撮影するそれぞれの撮像素子について、各色同一の縮尺で、画素配置の一例および赤色光の最小錯乱円の大きさを模式的に示した図である。図３において、破線の円１６０〜円１６２は赤色光の最小錯乱円の大きさを表す。また、縦横に区切られた各区画が１つの画素領域を表し、各画素領域には、青色光、緑色光、または赤色光に対する１つの受光素子が含まれる。
【００５３】
図３に示されるように、赤に対する画素間隔（赤色光に対する受光素子の配置間隔）は赤色光の最小錯乱円の大きさに対応しているが、緑および青に対応する画素間隔（緑色光または青色光に対する受光素子の配置間隔）は赤色光の最小錯乱円の大きさよりも小さい。
【００５４】
撮像装置１０の詳細な構成、および撮像素子における画素配置の他の例について、後で詳しく説明する。
【００５５】
再び図２において、撮影条件取得部１０２は、画像入力部１０１で取得された画像データを生成したときの撮像装置１０における光学系の撮影条件として、絞り、焦点距離、画素間隔を表す撮影条件データを取得する。
【００５６】
画像処理部１０３は、画像入力部１０１で取得された各色の画像データから、青画像データに含まれる空間的な高周波成分を用いて赤画像データおよび緑画像データを高解像度化のために補正する処理部であり、制御部１０３ａと、補正部１０３ｂと、抽出部１０３ｃとを有する。
【００５７】
制御部１０３ａは、撮影条件取得部１０２で取得された撮影条件データによって表される光学系の絞り、焦点距離、画素間隔に基づいて、赤画像データおよび緑画像データのそれぞれに対する補正の要否を判定し、どの波長の色による画像データを補正するかを決定する。
【００５８】
抽出部１０３ｃは、青画像データから、制御部１０３ａが決定した画像データに重畳されるべき高周波成分を抽出する。
【００５９】
補正部１０３ｂは、制御部１０３ａによる判定に応じて、赤画像データおよび緑画像データのいずれか一方または両方に対して、抽出部１０３ｃにて青画像データから抽出された高周波成分を重畳する。
【００６０】
画像出力部１０４は、画像処理部１０３で処理された各色の画像データを合成したカラー画像データを出力する。
【００６１】
次に、上述したように構成された画像処理装置３０が実行する処理について説明する。
【００６２】
図４は、画像処理装置３０が実行する処理の一例を示すフローチャートである。
【００６３】
ステップＳ４０１では、画像入力部１０１における赤画像入力部１０１ａ、緑画像入力部１０１ｂ、および青画像入力部１０１ｃがそれぞれ、赤画像データ、緑画像データ、および青画像データを取得する。
【００６４】
ここで、画像入力部１０１で取得される画像データを生成する撮像装置１０の構成、および受光素子の配置について、詳しく説明する。
【００６５】
図５（ａ）〜図５（ｃ）はそれぞれ、撮像装置１０における各色の撮像素子における画素配置の例を、図３と同様の表記法により示した図である。
【００６６】
図５（ａ）は、各色の画素間隔が等しい例を示す。この場合、青画像に対して、緑画像と赤画像の画素密度は過剰になるが、全ての色に対する画素配置を共通化できるという利点がある。また、余分に画素が含まれることで、画素欠陥に対する補間処理が容易になるという利点もある。
【００６７】
図５（ｂ）は、各色の画素間隔を、対応する色の波長が長いほど広く取った例を示す。この場合、大きな回折ボケが生じる色ほど画素間隔が広く取られるため、必要十分な解像度を得るために、効率の良い画素配置となる。このとき、図５（ａ）の配置と比較して、画素値の読み取り速度を抑えることが可能になると同時に、緑画像、赤画像では画素サイズが大きくなるために、集光性能が向上し、Ｓ／Ｎ比が向上する利点もある。
【００６８】
また、図５（ｃ）は、緑と赤の画素間隔を、図５（ｂ）と比べてさらに大きくした例を示す。この場合、図５（ｂ）の場合と比べて画素値の読み取り速度をさらに抑え、撮像時のＳ／Ｎ比を向上させることが可能になる。
【００６９】
図６（ａ）〜図６（ｃ）は、撮像装置１０の構成の一例を示す図である。
【００７０】
図６（ａ）は、ダイクロイックプリズムを用いた多素子方式による撮像装置の構成の一例、図６（ｂ）は、単一素子多層方式による撮像装置の構成の一例を示しており、それぞれの構成において、青画像用の撮像素子Ｂ、緑画像用の撮像素子Ｇ、赤画像用の撮像素子Ｒが示されている。
【００７１】
図６（ｃ）は、単一素子単層方式による撮像装置の構成の一例を示している。
【００７２】
図７は、単一素子単層方式による撮像装置に用いられる撮像素子の画素配置の例を示す図である。１つの撮像素子の各画素には、画素ごとに青（Ｂ）、緑（Ｇ）、赤（Ｒ）のうちの所定の１色のカラーフィルタが設置される。
【００７３】
図７の撮像素子おいて、最も波長が短い青色に関する画素は、他の色に関する画素と比べて、高い密度で配置される。これにより、回折の影響の少ない青画像を高解像度で得ることが可能となる。
【００７４】
また、図７の撮像素子を用いる場合には、一般的に高周波成分の折り返し防止で用いられる前置光学ローパスフィルタを、青色光に対してのみ有効にしておくことが望ましい。
【００７５】
あるいは、回折ボケ自体をローパスフィルタの代わりに利用することで、ローパスフィルタを除いた構成でもよい。この場合、撮像素子の構造を簡素化できる利点がある。これにより、青よりも長い波長の光に対応するローパスフィルタを設置することで、青画像に含まれる空間的な高周波成分が低下することを避ける。
【００７６】
上記のように構成された撮像装置１０で被写体を撮影することで、同一視点で撮影された被写体に関し、回折ボケ特性の異なる各色の画像データを得る。
【００７７】
ステップＳ４０２では、撮影条件取得部１０２で取得された撮影条件データによって表される光学系の絞り、焦点距離に基づいて、各波長光のボケ特性を決定する。
【００７８】
円形の開口部を持った光学系の場合、例えば、点光源に対する像において回折により生じる最小の暗環の直径を回折ボケの大きさＤとして用いることができる。その場合の回折ボケの大きさＤは、絞り（開口部の直径）ｄ、焦点距離ｆ、および光の波長λとして、Ｄ＝２．４４λ・ｆ／ｄとなる。
【００７９】
また、開口部の形状が円形以外の場合においても、円形の場合と同様のスケールで、開口部の形状のパワースペクトル分布形状を伴ったボケが生じる。
【００８０】
図８は、回折ボケによる光強度分布の一例を示すグラフである。図８に示されるグラフ１００１は、開口が円形の場合に、点光源に対する像の光強度分布を示している。縦軸は像の光強度（明るさ）で最大値を１．０になるように表現している。横軸は像の中心位置からの距離を表す。グラフ１００１に示されるように、像は中心位置で最も明るく、明暗の同心円環が生じる。
【００８１】
回折ボケの大きさＤには、前述したように、点光源に対する像の光強度が理論上０になる最小の暗環の直径（図８のＤ0）が用いられる。また、回折ボケの大きさＤとして、像の光強度が最大値の一定割合（１／２＝０．５や１／３など）になる直径（図８のＤ1）など、実質的に回折ボケの影響が及ぶ範囲を定めて用いても良い。このように、絞り、焦点距離から、各色の画像における回折ボケの特性（回折ボケの形状と大きさ）を決定する。
【００８２】
次に、ステップＳ４０３では、ステップＳ４０２で決定した各色の回折ボケ特性と、各色の撮像素子の間隔に基づき、どの色の画像データを高解像度化の処理対象とするかを決定する。
【００８３】
ここで、長波長光（色Ａ）に対する回折ボケの大きさ（例えば直径）が、短波長光（色Ｂ）の撮像素子における画素間隔よりも大きい場合、色Ａの画像データを高解像度化の処理対象とする。
【００８４】
例えば、赤色光および緑色光のいずれの回折ボケの大きさよりも青色光の撮像素子における画素間隔が狭い場合、青画像データの高周波成分を赤画像データと緑画像データとに重畳する。緑色光の回折ボケの大きさよりも青色光の撮像素子における画素間隔が広い場合には、青画像データの高周波成分を赤画像データのみに重畳する。
【００８５】
ステップＳ４０４では、ステップＳ４０３での決定に従って、短波長光の画像データの高周波成分を長波長光の画像データに重畳する。例えば、赤画像と緑画像の回折ボケの大きさが、青色光の撮像素子における受光素子の配置間隔を超えている場合、青画像の高周波成分を赤画像に重畳して新たな赤画像および緑画像を生成する。
【００８６】
高周波成分の重畳方法としては、赤画像データｆｒと緑画像データｆｇと青画像データｆｂとをフーリエ変換して周波数空間に展開し、それぞれＦｒ、Ｆｇ、Ｆｂとし、赤色光の回折ボケから決定される周波数の上限ωthを超える青画像データＦｂ（ω）の周波数成分Ｆｂ（ω）［ω＞ωth］を赤画像データＦｒ（ω）に加算して補正された赤画像データＦｒ’（ω）を生成する。補正された赤画像データＦｒ’（ω）を逆フーリエ変換することで、青画像データｆｇの高周波成分を重畳した補正された赤画像データｆｒを得る。
【００８７】
緑画像データｆｇについても同様の処理を行い、補正された緑画像データｆｇ’を得る。
【００８８】
上記例では、周波数空間への展開をフーリエ変換で説明したが、離散コサイン変換やウェーブレット変換など、画像を周波数空間へ変換する他の変換および対となる逆変換とを用いてもよい。
【００８９】
図９（ａ）〜図９（ｃ）を用いてステップＳ４０４の高解像度化のための補正処理を説明する。図９（ａ）は正解の画像の例、図９（ｂ）は補正前の画像の例、図９（ｃ）は補正後の画像の例を、青（Ｂ）画像、緑（Ｇ）画像、および赤（Ｒ）画像のそれぞれについて示している。図９（ａ）〜図９（ｃ）の各画像を構成する小矩形は、画素の大きさと位置の関係を表わしており、矩形の模様の違いは画素値の違いを表現している。
【００９０】
図９（ａ）は、どの色も回折限界を超えない条件で被写体を撮影できた場合の画像を示している。図９（ａ）では青画像、緑画像、赤画像のそれぞれが縦横４画素の１６画素を持ち、１列間隔の縦縞が表現されている。
【００９１】
図９（ｂ）は、図９（ａ）の被写体を回折ボケの大きさに合わせた画素サイズと画素間隔で撮影した例を示している。このような画像は、例えば図５（ｂ）に示すように受光素子を配置した撮像素子で被写体を撮影することにより得られる。ここで、青画像は回折ボケが小さいため画素間隔は図９（ａ）と同じであるが、緑画像と赤画像は回折ボケが青画像よりも大きいため、画素のサイズと画素間隔が大きくなっている。回折ボケのため、図９（ｂ）の緑画像と赤画像は図９（ａ）の緑画像と赤画像をそれぞれ空間的にぼかした画像しか撮影することができない。
【００９２】
ステップＳ４０４では、図９（ｂ）の赤画像や緑画像のようにボケた画像には含まれない高周波成分（１列間隔の縦縞の周波数成分）を青画像から抽出する。抽出した高周波成分を、実際に撮影で得た図９（ｂ）の赤画像や緑画像に重畳する。高周波成分の重畳において、高解像度化前の画素数が高解像度化後に必要な画素数に満たない場合（図９（ｂ）の緑画像、赤画像）、高周波成分の重畳に合わせて、補間により必要な画素数の画像に変換する。
【００９３】
重畳した結果の画像の例を図９（ｃ）に示す。図９（ｃ）の緑画像と赤画像は、それぞれ図９（ｂ）の緑画像と赤画像を補間処理で縦横４画素の１６画像に変換し、高周波成分を重畳した結果である。青画像の高周波成分が重畳された結果、１列間隔の縦縞の周波数成分が再現されている。
【００９４】
次に、ステップＳ４０５では、青画像、ならびに補正された赤画像および緑画像で表されるＲＧＢカラー画像を出力する。
【００９５】
比較の為に、図９（ａ）の赤画像、緑画像、青画像で表されるカラー画像を図１０（ａ）に示す。カラー画像においても１列間隔の縦縞が現れている。
【００９６】
図１０（ｂ）には、図９（ｂ）の赤画像、緑画像、青画像から合成されたカラー画像を示す。ここで、図１０（ｂ）のようなカラー画像の合成において、元になる赤画像、緑画像、青画像の画素数が合成されるべきカラー画像の画素数よりも小さい場合、補間処理により画素数を合わせた画像を生成した上でカラー合成を行う。図１０（ｂ）では空間解像度が低い緑画像と赤画像が合成されるため、単独の青画像に比べてボケた画像になっている。
【００９７】
さらに、図９（ａ）のように本来ＲＧＢ共通で白色（画素値が０）である画素位置（列８ａ０１〜列８ａ０６）についても、緑画像と赤画像が組み合わさることで、本来存在しない色（偽色）が生じてしまう（列９ｂ０１、列９ｂ０２）。
【００９８】
図１０（ｃ）には、図９（ｃ）の赤画像、緑画像、青画像を用いてカラー画像を合成した結果を示す。図１０（ａ）の白色（画素値が０）の画素（列９ａ０１、列９ａ０２）は、図１０（ｃ）では再現されている（列９ｃ０１、列９ｃ０２）。
【００９９】
なお、上記例では、青画像の高周波成分を緑画像と赤画像に重畳したが、緑画像か赤画像のどちらか一方にのみ重畳するだけでも本願発明の効果は得られる。また、緑画像の高周波成分を赤画像に重畳することでも本願発明の効果は得られる。
【０１００】
このように、上記構成では、赤色光や緑色光の回折ボケの大きさよりも狭い間隔で配置された受光素子で生成した青画像データを用いて、赤画像データと緑画像データとを高解像度化のために補正することで、本来は回折限界によって得られない高解像度のカラー画像を得ることが可能になる。
【０１０１】
以上の例では、赤画像、緑画像、青画像で被写体のカラー画像を表す場合を説明した。赤色光、緑色光、青色光を用いた場合、既存の原色系カラー撮像素子を用いて本願発明を構成することが可能となる利点がある。
【０１０２】
また、原色系の色表現の場合と同様に、補色系の色表現を用いることもできる。
【０１０３】
シアン（赤の補色）、マゼンタ（緑の補色）、イエロー（青の補色）の補色系を用いる場合、それぞれの補色の光の波長の回折ボケの大きさに基づいて、上記と同様の処理を行う。
【０１０４】
すなわち、赤色光や緑色光の回折ボケの大きさよりも狭い間隔でイエロー（青の補色）の画素を配置して得た画像から高周波成分を抽出する。そして、抽出した高周波成分をシアン画像またはマゼンタ画像に重畳し、補正されたシアン画像またはマゼンタ画像を得る。この場合、画素の配置は、図５（ａ）〜図５（ｃ）、図７においてＢ、Ｇ、Ｒをそれぞれイエロー、マゼンタ、シアンに置き換えたものになる。
【０１０５】
（第２の実施の形態）
次に、本発明の第２の実施の形態に係る画像生成システムについて詳細に説明する。
【０１０６】
第２の実施の形態における画像処理装置では、可視光により被写体を撮影するとともに、可視光の回折ボケの大きさよりも狭い画素密度で波長が最も短い紫外光により前記被写体を撮影し、紫外画像の高周波成分を可視画像に重畳する。
【０１０７】
図１１は、第２の実施の形態における、画像処理装置３１の内部構成を示す機能ブロック図である。画像処理装置３１では、第１の実施の形態の画像処理装置３０（図２を参照）と比べて、紫外画像入力部１０１ｄが追加された画像入力部１１１が用いられる。紫外画像入力部１０１ｄは、紫外光による被写体の画像を表す紫外画像データを取得する。
【０１０８】
図１２に、撮影に用いる画素の配置の例を示す。図１２においてＲ、Ｇ、Ｂ、ＵＶは、それぞれ赤色光、緑色光、青色光、紫外光による撮影に用いられる撮像素子における画素配置を示している。観賞用の画像には必要としない紫外光の画像の撮影は、例えば図１３のように予めダイクロイックミラーやダイクロイックプリズムで分離して撮影し、第１の実施の形態において青画像データから高周波成分を抽出したのと同様に紫外画像データから高周波成分を抽出し、抽出した高周波成分を赤画像データ、緑画像データ、青画像データにそれぞれ重畳してもよい。
【０１０９】
図１４は、第２の実施の形態において、画像処理装置３１が実行する処理の一例を示すフローチャートである。ステップＳ１８０１〜ステップＳ１８０５の処理は、第１の実施の形態のステップＳ４０１〜ステップＳ４０５と大まかには同様であるが、ステップＳ１８０１で、画像入力部１１１が紫外画像データと可視画像データとを入力し、ステップＳ１８０４において紫外画像の高周波成分を可視画像に重畳する点が異なる。
【０１１０】
また、可視画像はカラー画像ではなくモノクロ画像であっても、高解像度化することができ、本願発明の効果を得ることができる。
【０１１１】
本構成では、可視画像の光量を必ずしも減らすことなく撮影した紫外画像から高周波成分を得ることで、可視画像（モノクロ、カラー）を可視光の回折限界を超えて高解像度化した画像を得ることが可能となる。
【０１１２】
また、可視光以外の波長光を用いる例としては、赤外光による撮影と可視光による撮影とを同時に行い、赤外画像に対して可視画像の高周波成分を重畳して補正された赤外画像を生成してもよい。可視画像の高周波成分を赤外画像に重畳することで、回折ボケの大きさが可視光よりも大きく、高精細の画像を撮影しにくい赤外光による高解像度画像を得ることが可能となる。
【０１１３】
（第３の実施の形態）
次に、本発明の第３の実施の形態に係る画像生成システムについて詳細に説明する。
【０１１４】
第１の実施の形態および第２の実施の形態の画像処理装置では、異なる複数の波長光による画像が全て同時に合焦している場合に、より高い解像度の画像が得られる。第３の実施の形態では、光学系に色収差が含まれる場合に好適な処理を行う画像処理装置について説明する。
【０１１５】
図１５は、第３の実施の形態における画像処理装置３２の内部構成を示す機能ブロック図である。画像処理装置３２では、第１の実施の形態の画像処理装置３０（図２を参照）の撮影条件取得部１０２に代えて、撮影条件取得部１１２が用いられる。撮影条件取得部１１２は、画像入力部１０１で取得された画像データを生成したときの撮影条件として、光学系の絞り、焦点距離、画素間隔に加えて、色収差特性、撮像面の位置を取得する。
【０１１６】
色収差とは、光の屈折率が波長に応じて異なるために、波長が異なる光の集光位置がずれる光学系の特性を意味している。図１６（ａ）、図１６（ｂ）に色収差の例を示す。
【０１１７】
図１６（ａ）において左方からの光はレンズ３０１で屈折し、絞り３０２を通した後、集光される。ここで、赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）は屈折率が異なるため、それぞれ位置３０５、３０４、３０３に集光する。図１６（ａ）において、赤色光、緑色光、青色光の経路を、それぞれ破線、点線、実線で示している。
【０１１８】
図１６（ａ）では、位置３０３、３０４、３０５での各色光の集光状態を、模式的に同心円の大きさで示している。特定の波長の光が最も集光している位置では、他の波長の光は必ずしも集光度が最大とはならない。
【０１１９】
図１６（ｂ）は複数のレンズを組み合わせた光学系３０６の例を示す。絞り３０７を通じた光の集光位置は、図１６（ａ）とは異なるものの、波長によって集光位置は異なっている。図１６（ｂ）では、位置３０８、３０９、３１０での各色光の集光状態を模式的に同心円で示している。図１６ではレンズ左方水平方向からの光線の例のみを示しているが、水平とは異なる向きからの光線の集光特性も同様に波長や向きによって異なってくる。色収差特性はこれらの集光特性を示し、レンズ系に依存して決まる。
【０１２０】
このように、色収差が発生する光学系で画像を得る場合、高周波成分を取得する波長光画像に最も合焦するように被写体を撮影して得た画像を用いることが望ましい。すなわち、図１６（ａ）では位置３０３、図１６（ｂ）では位置３１０において得た青画像を用いる。撮像面の位置をこのように設定することで、高周波成分を豊富に含んだ短波長光画像を取得することができ、焦点ボケの発生している他の波長光画像の高解像度化を効果的に行うことが可能となる。
【０１２１】
また、焦点ボケが生じている画像については、図１６（ａ）、図１６（ｂ）のように焦点ボケの大きさが既知の場合、予め、焦点ボケを除く処理を行った画像を生成し、その画像に対して上記の高解像度化のための補正処理を行えば、より解像度の高い画像が得られる。
【０１２２】
図１６（ａ）の場合、位置３０３で撮影すると赤画像と緑画像については色収差による焦点ボケが生じる。焦点ボケは、合焦位置から撮像面のずれに比例した大きさで、開口部の形状を伴ったボケとなる。最終的なボケ特性は、回折ボケが焦点ボケや収差によるボケに畳み込まれた特性となる。
【０１２３】
図１７は、第３の実施の形態において、画像処理装置３２が実行する処理の一例を示すフローチャートである。ステップＳ２００１〜ステップＳ２００５の処理は、第１の実施の形態のステップＳ４０１〜ステップＳ４０５の処理と大まかには同様であるが、ステップＳ２００２において撮像系に対応付けられた上記色収差特性と撮像面の位置を、撮影条件取得部１０２が取得することで、各色の画像における焦点ボケの特性（ボケの形状と大きさ）を決定し、焦点ボケを除去するための画像復元処理を行う点が異なる。
【０１２４】
“Ａ  ｎｅｗ  ｓｅｎｓｅ  ｆｏｒ  ｄｅｐｔｈ  ｏｆ  ｆｉｅｌｄ”，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  ｖｏｌ．９，  ｎｏ．４，  ｐｐ．５２３−５３１，  １９８７（非特許文献１）に記載されているように、焦点ボケの半径をｒ（焦点ボケ特性）、ｆを焦点距離、ｚを光学系から被写体までの距離、ｄを開口部の直径（絞り）、ｖを光学系と撮像面との距離（撮像面の位置）、αを撮像素子に依存する定数とおくと（式１）の関係が満たされる。ここで、色収差特性とは、焦点距離ｆが波長毎に異なる特性に相当する。
【０１２５】
【数１】
2009153983.tif 000003
【０１２６】
（式１）に基づき、青画像で合焦している場合に、ｒ＝０となる被写体までの距離ｚが定まり、焦点距離ｆの異なる他の波長についての焦点ボケの半径ｒを上記関係式から求めることができる。このようにして、レンズの色収差特性から、赤画像と緑画像の焦点ボケの大きさを決定する。
【０１２７】
焦点ボケの形状が既知であるとして、ステップＳ２００２において、ボケ関数の形状に基づいたウィナーフィルタや射影フィルタなどの画像復元手法により、焦点ボケを除いた赤画像と緑画像を生成する。
【０１２８】
これらの焦点ボケを除いた赤画像と緑画像に対して、ステップＳ２００３で高解像度化の処理対象画像を決定し、ステップＳ２００４で高周波成分を重畳する。
【０１２９】
以上のような構成では、色収差を含む光学系においても、波長の最も短い、もしくはそれ以上収束しない領域の最小の大きさが最も小さい青画像（短波長光画像）の高周波成分を用いて他の波長成分の画像を効果的に高解像度化することができる。
【０１３０】
なお、短波長光による高解像度の画像に対して合焦するように焦点を調整して、撮像することが望ましいが、全ての波長光画像に対して焦点ボケが生じている場合、焦点ボケと回折ボケとを合わせたボケ特性について、回折ボケ単独の場合と同様の処理を用いても、本発明の効果は得られる。
【０１３１】
また、光学系の色収差によって、それ以上収束しない領域の最小の大きさが最も小さい波長の大小関係が、実際の波長の大小関係と異なる場合がある。このような場合には、それ以上収束しない領域の最小の大きさが最も小さい波長の高周波成分を用いて他の波長成分の画像を高解像度化することで本発明の効果が得られる。
【０１３２】
更に、焦点ボケについては、焦点位置（光学系と撮像面との距離）を撮影条件取得部１１２が取得しておくことで、（式１）の関係式を用いることで、予め対象としている距離の被写体に対する、焦点ボケの大きさが推定できる。これを色収差のボケ復元と同様にウィナーフィルタや射影フィルタなどの画像復元手法により、焦点ボケを除く。次に、残った波長ごとに大きさの異なる回折ボケについては、上述のステップＳ２００２〜ステップＳ２００５の処理によって高解像度化することができる。
【０１３３】
（第４の実施の形態）
次に、本発明の第４の実施の形態に係る画像生成システムについて詳細に説明する。
【０１３４】
第１の実施の形態〜第３の実施の形態の画像処理装置では、周波数空間への変換を用いて、短波長光画像に含まれる高周波成分を抽出し、回折ボケを含む波長光の画像へ重畳していたが、第４の実施の形態の画像処理装置では、高周波成分の抽出と重畳を同時に行う。
【０１３５】
図１８は、第４の実施の形態における、画像処理装置３３の内部構成を示す機能ブロック図である。
【０１３６】
画像処理装置３３は、第３の実施の形態における画像処理装置３２（図１５）の画像処理部１０３を、画像処理部１１３に置き換えて構成される。
【０１３７】
画像処理部１１３において、制御部１１３ａは、撮影条件取得部１１２から得た光学系の絞り、焦点距離、撮像面の位置、色収差特性、画素間隔に基づいて、補正処理の対象となる波長光画像を決定する。
【０１３８】
評価関数設定部１１３ｂは、各色の画像の組み合わせで得られる目的画像の色の空間的な連続性（画素値の連続性や画素値の変化の連続性を含む）がより良く維持されている程度を数値で表す評価関数を設定する。
【０１３９】
画像統合処理部１１３ｃは、設定された評価関数に従って、色の空間的な連続性がより良く維持された目的画像が得られるように、各色の画像を補正する。
【０１４０】
目的画像における色の空間的な連続性を維持するように各色の画像を補正することで、各色の空間的な変化が相似となる結果、短波長光画像の高周波成分が長波長光画像に重畳される。同時に、色の連続性を維持するように短波長光画像も処理することで、偽色の発生（色境界などで本来存在しない色が局所的に生成される事象）を抑える。
【０１４１】
図１９は、第４の実施の形態において、画像処理装置３３が実行する処理の一例を示すフローチャートである。ステップＳ２２０１〜ステップＳ２２０３、ステップＳ２２０５の処理は、第３の実施の形態のステップＳ２００１〜ステップＳ２００３、ステップＳ２００５の処理と同等であるが、ステップＳ２２０４では、各色の画像の組み合わせで得られる目的画像の色の空間的な連続性（画素値の連続性や画素値の変化の連続性を含む）を維持するように、長波長光画像と短波長光画像とを処理する。
【０１４２】
目的画像の色の空間的な連続性を維持する処理の例を説明する。
【０１４３】
評価関数設定部１１３ｂで、目的画像ｇにおける各色の画像の空間的変化パタンが近い（青画像の空間的変化と赤画像および緑画像の空間的変化とが相似している）ほど値が小さくなる評価関数Ｊを設定し、画像統合処理部１１３ｃで、Ｊを最小化する目的画像ｇを求める。Ｊの一例を（式２）に示す。
【０１４４】
【数２】
2009153983.tif 000004
【０１４５】
Ｊは、生成したい高解像度カラー画像ｇを構成する赤、緑、および青の各色の画像（画像ベクトルとしてＲH、ＧH、ＢHと表記）の関数として定義される。ＨR、ＨGは、それぞれ目的画像ｇの各色画像ＲH、ＧHから、各色の入力画像ＲL、ＧL（ベクトル表記）への低解像度化変換を表す。ＨR、ＨGは、例えば、それぞれ（式３）、（式４）のような低解像度化の変換である。
【０１４６】
【数３】
2009153983.tif 000005
【０１４７】
【数４】
2009153983.tif 000006
【０１４８】
入力画像の画素値は、目的画像の対応する位置を中心とした、局所領域の画素値の重み付け和となっている。
【０１４９】
（式３）、（式４）において、ＲH（ｘ，ｙ）、ＧH（ｘ，ｙ）は、それぞれ目的画像ｇの画素位置（ｘ，ｙ）における赤（Ｒ）の画素値、緑（Ｇ）の画素値を示す。
【０１５０】
ＲL（ｘRL，ｙRL）、ＧL（ｘGL，ｙGL）は、それぞれ赤入力画像の画素位置（ｘRL，ｙRL）の画素値、緑入力画像の画素位置（ｘGL，ｙGL）の画素値を示している。
【０１５１】
ｘ（ｘRL）、ｙ（ｙRL）、ｘ（ｘGL）、ｙ（ｙGL）はそれぞれ、入力画像の赤画像の画素位置（ｘRL，ｙRL）に対応する目的画像の画素位置のｘ、ｙ座標と、入力画像の緑画像の画素位置（ｘRL，ｙRL）に対応する目的画像の画素位置のｘ、ｙ座標とを表している。
【０１５２】
また、ｗRとｗGは、赤画像と緑画像の入力画像の画素値に対する目的画像の画素値の重み関数をそれぞれ示している。（ｘ’，ｙ’）∈ＣはｗRとｗGとが定義される局所領域の範囲を示している。
【０１５３】
低解像度化画像（青画像の場合は同じ解像度の画像）および入力画像の対応画素位置における画素値の差の２乗和を評価関数の評価条件として設定する（（式２）の第１項、第２項、および第３項）。つまり、これらの評価条件は、低解像度化画像に含まれる各画素値を要素とするベクトルと、入力画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す値により設定される。
【０１５４】
（式２）の第４項のＱsは、画素値の空間的な滑らかさを評価する評価条件である。
【０１５５】
Ｑsの例であるＱs1およびＱs2を（式５）および（式６）に示す。
【０１５６】
【数５】
2009153983.tif 000007
【０１５７】
（式５）においてθH（ｘ，ｙ）、ψH（ｘ，ｙ）、ｒH（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値であり、θH（ｘ，ｙ）とψH（ｘ，ｙ）は２種類の偏角、ｒH（ｘ，ｙ）は動径を表す。
【０１５８】
図２０に、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。図２０では、一例として、θ＝０の方向をＲＧＢ色空間のＲ軸の正方向とし、ψ＝０の方向をＲＧＢ色空間のＧ軸の正方向としているが、偏角の基準方向は図２０に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。
【０１５９】
目的画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現することにより、画素の明るさ（信号強度、輝度も同義である）としてのベクトルの大きさを表すｒ軸の座標値、ならびに画素の色彩（色相、色差、彩度などを含む）としてのベクトルの向きを表すθ軸およびψ軸の座標値を、個別に取り扱うことができる。
【０１６０】
（式５）は、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（式５）は、目的画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様である（つまり画素の色が連続している）ほど、値が小さくなる条件Ｑs1を定義している。
【０１６１】
条件Ｑs1の値が小さくあるべきということは、目的画像内の空間的に隣り合う画素の色が連続すべきということを表している。
【０１６２】
画像中において画素の明るさの変化と画素の色彩の変化とは物理的に異なる事象から生じ得るため、（式５）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（式５）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（式５）の大括弧内の第１項および第２項）とを個別に設定することで、望ましい画質が得やすくなる。
【０１６３】
λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、λr（ｘ，ｙ）はそれぞれ、θ軸、ψ軸、ｒ軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ、（ｘ，ｙ）＝１．０、λr（ｘ，ｙ）＝０．０１のように画素位置やフレームに依らずに設定してもよい。
【０１６４】
また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。
【０１６５】
また、画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（変化の一様性に乏しい）ことによる。
【０１６６】
なお、（式５）では、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件Ｑs1として設定したが、２階差分値の絶対値和、または１階差分値の２乗和もしくは絶対値和を条件として設定してもよい。
【０１６７】
上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。
【０１６８】
新たな直交座標系の座標軸は、例えば、入力動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。
【０１６９】
【数６】
2009153983.tif 000008
【０１７０】
（式６）において、Ｃ1（ｘ，ｙ）、Ｃ2（ｘ，ｙ）、Ｃ3（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3の座標値に変換する回転変換である。
【０１７１】
（式６）は、目的画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（式６）は、目的画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件Ｑs2を定義している。
【０１７２】
条件Ｑs2の値が小さくあるべきことは、目的画像内の空間的に隣り合う画素の色が連続すべきことを表している。
【０１７３】
λC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）はそれぞれ、Ｃ1軸、Ｃ2軸、Ｃ3軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。
【０１７４】
Ｃ1軸、Ｃ2軸、Ｃ3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
【０１７５】
以上、２種類の条件Ｑs1、Ｑs2の例を説明した。条件Ｑsとしては、Ｑs1、Ｑs2いずれを用いることもできる。
【０１７６】
例えば、（式５）に示される条件Ｑs1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。
【０１７７】
（式６）に示される条件Ｑs2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。
【０１７８】
また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3とすることで、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件を設定できるので、単純に赤、緑、青の各色コンポーネントの画素値を用いて条件を設定する場合と比べて、得られる目的画像の画質の向上が期待できる。
【０１７９】
なお、評価関数Ｊは、上記に限定するものではなく、（式２）の項を類似式からなる項と置換し、また異なる条件を表す新たな項を追加してもよい。
【０１８０】
次に、画像統合処理部１１３ｃで、（式２）のＪの値をできるだけ小さく（望ましくは最小に）する目的画像の各画素値を求めることによって、目的画像の各色画像ＲH、ＧH、ＢHを生成する。評価関数Ｊを最小にする目的画像ｇは、例えば、Ｊを目的画像の各色画像ＲH、ＧH、ＢHの各画素値成分で微分した式を全て０とおいた（式７）の方程式を解いて求めてもよく、また最急勾配法などの反復演算型の最適化手法を用いて求めてもよい。
【０１８１】
【数７】
2009153983.tif 000009
【０１８２】
以上のように、高周波成分の抽出と、回折ボケを含む波長光画像への重畳を同時に行う際に、全ての色画像を空間的な色変化の滑らかさを満たすように生成することで、長波長光画像（赤画像、緑画像）のみを修正して短波長光画像（青画像）と組み合わせる場合よりも、カラー画像を構成した場合に発生し得る偽色を抑える効果が得られる。
【０１８３】
なお、上述の例では画像生成システム１００の動作を説明したが、図２１に示すように、図１に示された画像生成システム１００から表示装置４０を除いて構成されるカメラ３００も、本発明に含まれる。さらに、図２０に示されたカメラ３００に表示装置４０を付加して構成される、動画像録画再生機能付きのカメラも、本発明に含まれる。
【０１８４】
また、図２２に示すように、図１に示された画像生成システム１００から撮像装置１０を除いて構成されるテレビなどのディスプレイ機器４００も、本発明に含まれる。そのようなディスプレイ機器４００では、あらかじめ録画してある複数色コンポーネントの動画像を入力動画像として、フレームレートを向上させた目的動画像を生成して表示することが可能になる。
【０１８５】
以上、本発明に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。
【０１８６】
本発明の画像処理装置が行う画像生成処理の一部または全部を、専用のハードウェア機器で実行してもよいし、コンピュータ端末装置、無線基地局等に配置される通信機器、およびスタンドアロンの汎用コンピュータなどに内蔵されるＣＰＵが所定のプログラムを実行することによって、本発明の画像生成処理を行うようにしてもよい。
【産業上の利用可能性】
【０１８７】
本発明は、回折ボケの生じた波長光を含む多色画像から新たな画像を生成する画像処理装置として、特に、回折ボケを含む色画像と前記回折ボケの大きさよりも狭い間隔で得た短波長色の画像から、回折限界を超える高解像度画像を生成する画像処理装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。
【符号の説明】
【０１８８】
１０    撮像装置
２０    画像記憶装置
３０〜３３  画像処理装置
４０    表示装置
１００    画像生成システム
１０１、１１１  画像入力部
１０１ａ    赤画像入力部
１０１ｂ    緑画像入力部
１０１ｃ    青画像入力部
１０１ｄ    紫外画像入力部
１０２、１１２  撮影条件取得部
１０３、１１３  画像処理部
１０３ａ    制御部
１０３ｂ    補正部
１０３ｃ    抽出部
１０４    画像出力部
１１３ａ    制御部
１１３ｂ    評価関数設定部
１１３ｃ    画像統合処理部
３００      カメラ
３０１      レンズ
３０２、３０７  絞り
３０６      光学系
４００      ディスプレイ機器
【図１】
2009153983.tif 000010
【図２】
2009153983.tif 000011
【図３】
2009153983.tif 000012
【図４】
2009153983.tif 000013
【図５】
2009153983.tif 000014
【図６】
2009153983.tif 000015
【図７】
2009153983.tif 000016
【図８】
2009153983.tif 000017
【図９】
2009153983.tif 000018
【図１０】
2009153983.tif 000019
【図１１】
2009153983.tif 000020
【図１２】
2009153983.tif 000021
【図１３】
2009153983.tif 000022
【図１４】
2009153983.tif 000023
【図１５】
2009153983.tif 000024
【図１６】
2009153983.tif 000025
【図１７】
2009153983.tif 000026
【図１８】
2009153983.tif 000027
【図１９】
2009153983.tif 000028
【図２０】
2009153983.tif 000029
【図２１】
2009153983.tif 000030
【図２２】
2009153983.tif 000031
【手続補正書】
【提出日】平成21年9月29日(2009.9.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを補正する画像処理装置などに関し、特に画像データを高精細化する技術に関する。
【背景技術】
【０００２】
近年普及したデジタルカメラの撮像素子において、高画質化を目的とした多画素化と、携帯性の向上を目的とした撮像素子の小型化が進んでいる。このような、撮像素子の多画素化および小型化を実現するために、デジタル撮像素子の画素の微細化が進んできている。
【０００３】
しかしながら、撮像素子を設置するカメラの結像面では入射光の回折による回折ボケが生じるため、回折ボケの大きさを下回るサイズに撮像素子の画素を微細化しても、解像度を向上させることができない（回折限界）という課題が生じる。特に回折ボケは、撮像光学系の絞りを絞った場合に影響が出やすくなる。
【０００４】
このような回折ボケの影響を抑える従来の撮像装置が、特許文献１および特許文献２に記載されている。
【０００５】
特許文献１の撮像装置は、撮像時に被写体からの光量が多い場合、撮像光学系の絞りを絞る代わりに、撮像素子の利得を下げて撮像する。これにより、光量が多い場合にでも撮像素子からの信号出力が過剰になることを抑え、絞りによる回折ボケの発生を回避する。
【０００６】
また、特許文献２の撮像装置は、撮像時の光量が多い場合、撮像光学系の絞りを絞る代わりに、ＮＤフィルタ（Ｎｅｕｔｒａｌ  Ｄｅｎｓｉｔｙ  Ｆｉｌｔｅｒ）すなわち減光フィルタを用いて入射光量を減少させるように制御して撮影を行う。このように減光フィルタを用いることで、絞りによる回折ボケの発生を回避する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３３６３４７７号公報
【特許文献２】特開２００８−３５２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１および特許文献２の撮像装置では、絞りを絞った場合に生じる回折ボケは回避できるものの、絞りを開放にした状態ですでに発生している回折ボケを回避することはできない。すなわち、撮像素子の微細化に伴って解像度の限界となる回折ボケを回避することはできない。
【０００９】
本発明は、このような事情に鑑みてなされたものであり、正の屈折率を持つ既存の素材を用いた光学系および撮像素子を用いて、回折限界を超えた解像度の画像を生成する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する。
【００１１】
前記画像入力部は、紫外光による前記被写体の画像を表す画像データを、前記第２の画像データとして取得してもよく、また、前記画像処理部は、前記画像データのうち、最も短い波長を持つ光による画像データに含まれる空間的な高周波成分を、他の波長の光による画像データに重畳することにより、前記他の波長の光による画像データを補正してもよい。
【００１２】
なお、本発明は、このような画像処理装置として実現できるだけでなく、撮像装置、画像処理方法、その方法をコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等としても実現することができる。
【発明の効果】
【００１３】
本発明の画像処理装置によれば、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳する。そして、前記第２の画像データとして、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを用いるので、前記第１の画像データに、前記第１の波長を持つ光の回折限界を超えて空間的な高周波情報を付与する（以下、高解像度化するという）ことができる。
【００１４】
本発明の画像処理装置は、例えば既存のカラー撮像システムに良好な適応性を有している。すなわち、既存のカラー撮像システムでは、赤、緑、青のように異なる色（波長）の光で同じ被写体を撮像することで生成された色ごとの画像データを処理するため、例えば赤色または緑色に対応する画像データを第１の画像データとし、青色に対応する画像データを第２の画像データとして、容易に本発明が適用される。
【００１５】
そして、本発明の適用によって、新たな光学素材や光学デバイスなどを必要とせずに、簡便に、長い波長の色に対応する画像データを高解像度化できる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の実施の形態における画像生成システムのハードウェア構成を示すブロック図である。
【図２】図２は、第１の実施の形態における画像処理装置の構成を示す機能ブロック図である。
【図３】図３は、回折ボケの大きさと画素配置との関係の一例を示す図である。
【図４】図４は、第１の画像処理装置の動作を示すフローチャートである。
【図５】図５（ａ）〜（ｃ）は、撮像装置の画素の配置例を示す図である。
【図６】図６（ａ）〜（ｃ）は、撮像装置の構成の具体例を示す図である。
【図７】図７は、撮像装置の画素の配置例を示す図である。
【図８】図８は、回折ボケの形状の一例を示す図である。
【図９】図９（ａ）〜（ｃ）は、赤画像、緑画像、青画像の一例を示す図である。
【図１０】図１０（ａ）〜（ｃ）は、生成カラー画像の一例を示す図である。
【図１１】図１１は、第２の実施の形態における画像処理装置の構成を示す機能ブロック図である。
【図１２】図１２は、撮像装置の画素の配置例を示す図である。
【図１３】図１３（ａ）、（ｂ）は、撮像装置の具体例を示す図である。
【図１４】図１４は、第２の画像処理装置の動作を示すフローチャートである。
【図１５】図１５は、第３の実施の形態における画像処理装置の構成を示す機能ブロック図である。
【図１６】図１６（ａ）、（ｂ）は、集光状態の例を示す図である。
【図１７】図１７は、第３の画像処理装置の動作を示すフローチャートである。
【図１８】図１８は、第４の実施の形態における画像処理装置の構成を示す機能ブロック図である。
【図１９】図１９は、第４の画像処理装置の動作を示すフローチャートである。
【図２０】図２０は、ＲＧＢ色空間と球面座標系との対応の一例を示す図である。
【図２１】図２１は、画像生成システムの変形例としてのカメラの構成を示すブロック図である。
【図２２】図２２は、画像生成システムの変形例としてのディスプレイ機器の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を前記第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された、紫外光による前記被写体の画像を表す画像データを、前記第２の画像データとして取得する。
【００１８】
また、前記画像入力部は、前記第２の画像データを生成した前記受光素子の配置密度よりも低い密度で配置された複数の受光素子によって生成された画像データを、前記第１の画像データとして取得してもよい。
【００１９】
この構成によれば、波長の長い光の画像は少ない画素数で構成されるため、撮像時に画素の読み出し速度を抑えることができるという利点がある。また、波長の長い光の画像の画素数を少なくすることで、各画素の面積を大きくすることが可能となり、暗い場所など光量が不足する場合でもＳ／Ｎ比の低下を抑えることが可能となる。
【００２０】
また、前記第２の画像データとして紫外光による前記被写体の画像を表す画像データを用いることにより、可視光画像を、可視光の回折限界を超えて高解像度化することが可能となる。この時、入射光から紫外光を分離して高解像度化処理にのみ使用することで、可視光画像の色再現性も高められるという効果もある。
【００２１】
また、前記画像処理部は、補正後の前記第１の画像データおよび補正後の前記第２の画像データにより表されるカラー画像における色の空間的な連続性が維持されるように、前記第１の画像データおよび前記第２の画像データの両方を補正してもよい。
【００２２】
この構成によれば、第１の画像データのみを補正して第２の画像データと組み合わせてカラー画像を構成した場合に発生し得る偽色を抑える効果が得られる。
【００２３】
また、前記画像入力部は、前記第２の波長を持つ光の合焦位置に設置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得してもよい。
【００２４】
この構成によれば、前記第２の波長の光による画像の焦点ボケが最小となることで、前記第２の画像データには空間的な高周波成分が豊富に含まれることになり、当該高周波成分を重畳することで前記第１の画像データを効果的に高解像度化できる。
【００２５】
また、本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、さらに、前記第１の画像データを生成したときの撮影条件である絞り値を表す撮影条件データを取得する撮影条件取得部を備え、前記画像処理部は、前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する。
【００２６】
この構成によれば、前記絞り値から前記第１の画像データで表される画像が回折限界を超えていないと判断される場合、前記補正処理を不要と判定することが可能となる。回折限界を超えていない場合に、前記補正処理を行わないことで、処理にかかる時間とエネルギーを抑えることができる。
【００２７】
また、本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、さらに、前記第１の画像データを生成したときの撮影条件である焦点距離を表す撮影条件データを取得する撮影条件取得部を備え、前記画像処理部は、前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する。
【００２８】
この構成によれば、前記焦点距離から前記第１の画像データで表される画像が回折限界を超えていないと判断される場合、前記補正処理を不要と判定することが可能となる。回折限界を超えていない場合に、前記補正処理を行わないことで、処理にかかる時間とエネルギーを抑えることができる。
【００２９】
また、本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、さらに、前記第１の画像データを生成したときの撮影条件である受光素子の設置面の位置を表す撮影条件データを取得する撮影条件取得部を備え、前記画像処理部は、前記取得された撮影条件データによって表される前記受光素子の設置面の前記第１の波長の波長を持つ光の合焦位置からのずれ量に応じて、前記第１の画像データに対して焦点ボケの除去処理を行う。
【００３０】
この構成によれば、前記受光素子の設置面の位置に応じて、前記設置面の前記第１の波長の波長を持つ光の合焦位置からのずれ量に応じた焦点ボケの除去処理が前記第１の画像データに対して行われる結果、回折ボケの補正のみを行う場合に比べて、前記第１の画像データをさらに高品質に補正することが可能となる。
【００３１】
また、本発明の一つの態様における画像処理装置は、赤色光による被写体の画像を表す赤画像データ、緑色光による前記被写体の画像を表す緑画像データ、および青色光による前記被写体の画像を表す青画像データを取得する画像入力部と、前記青画像データに含まれる空間的な高周波成分を前記赤画像データおよび前記緑画像データのうち少なくともいずれか一方に重畳することにより、前記赤画像データおよび緑画像データのうち少なくとも前記一方を補正する画像処理部とを備え、前記画像入力部は、前記赤色光または緑色光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記青画像データとして取得する。
【００３２】
この構成によれば、青色光の画像データの高周波成分を用いて赤色光または緑色光の画像データを高品質に補正することが可能となる。
【００３３】
また、本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記画像データのうち、最も短い波長を持つ光による画像データに含まれる空間的な高周波成分を、他の波長の光による画像データに重畳することにより、前記他の波長の光による画像データを補正する画像処理部とを備え、前記画像入力部は、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記最も短い波長の光の画像データとして取得する。
【００３４】
この構成によれば、最も短い波長の画像データの高周波成分を用いて他の光の画像データを高品質に補正することが可能となる。
【００３５】
また、本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、それ以上収束しない領域の最小の大きさが最も小さい波長の光による第２の画像データに含まれる空間的な高周波成分を、他の波長の光による第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する。
【００３６】
この構成によれば、それ以上収束しない領域の最小の大きさが最も小さい波長の画像データの高周波成分を用いて他の光の画像データを高品質に補正することが可能となる。
【００３７】
（第１の実施の形態）
以下、図面を参照しながら本発明の第１の実施の形態に係る画像生成システムについて詳細に説明する。
【００３８】
図１は、本発明の実施の形態に係る画像生成システム１００のハードウェア構成を示すブロック図である。
【００３９】
画像生成システム１００は、撮像装置１０と、画像記憶装置２０と、画像処理装置３０と、表示装置４０とから構成される。
【００４０】
撮像装置１０は、同一の視点、または被写体に対して視差が無視できる程度に近接した視点から被写体を撮影することにより、第１の波長を持つ光による前記被写体の画像である長波長光画像を表す第１の画像データと、前記第１の波長よりも短い第２の波長を持つ光による前記被写体の画像である短波長光画像を表す第２の画像データとを生成するカメラである。
【００４１】
撮像装置１０には、前記第１の画像データを生成するための、前記第１の波長を持つ光に対する複数の受光素子、および前記第２の画像データを生成するための、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさ（最小錯乱円の大きさとして知られている）よりも狭い間隔で配置された、前記第２の波長を持つ光に対する複数の受光素子が設けられる。
【００４２】
以下の例では、撮像装置１０を、被写体を同一視点から撮影することで、赤色光、緑色光、および青色光による前記被写体の画像をそれぞれ表す、赤画像データ、緑画像データ、および青画像データを生成するカラーカメラであるとして説明する。
【００４３】
この場合、赤色光による画像および緑色光による画像が前記長波長光画像に対応し、赤画像データおよび緑画像データが前記第１の画像データに対応する。また、波長が最も短い青色光による画像が前記短波長光画像に対応し、青画像データが前記第２の画像データに対応する。
【００４４】
被写体またはカメラが移動する場合には、各色の画像データを同時に生成することが望ましく、静止被写体を静止カメラで撮影する場合には、時間を変えて各色の画像データを順次生成してもよい。
【００４５】
画像記憶装置２０は、撮像装置１０で生成された各色に対応する画像データ（赤画像データ、緑画像データ、青画像データ）を一時的に記憶するメモリである。
【００４６】
画像処理装置３０は、画像記憶装置２０に記憶された各色に対応する画像データ（赤画像データ、緑画像データ、青画像データ）を読み出し、読み出した複数の画像データから、赤画像データおよび緑画像データに対して空間解像度を高める補正を行う装置である。
【００４７】
表示装置４０は、青画像データ、ならびに、画像処理装置３０で補正された赤画像データおよび緑画像データによって表されるカラー画像を表示する表示装置である。
【００４８】
なお、この構成において、画像処理装置３０が本発明の画像処理装置の一例である。画像処理装置３０は、専用回路等のハードウェアによって実現してもよいし、汎用の計算機における画像処理プログラム等のソフトウェアによって実現してもよい。
【００４９】
図２は、図１に示される画像生成システム１００における画像処理装置３０の内部構成を示す機能ブロック図である。画像処理装置３０は、画像入力部１０１と、撮影条件取得部１０２と、画像処理部１０３と、画像出力部１０４とを備える。
【００５０】
画像入力部１０１は、波長が異なる複数の光にそれぞれ対応する画像データを受け付けるインターフェースである。画像入力部１０１は、赤画像データ、緑画像データ、および青画像データのそれぞれの画像データを取得する、赤画像入力部１０１ａ、緑画像入力部１０１ｂ、および青画像入力部１０１ｃを有する。
【００５１】
赤画像入力部１０１ａ、緑画像入力部１０１ｂ、青画像入力部１０１ｃにそれぞれ入力される画像データは、撮像装置１０によって、同一の被写体を同一の視点または視差が無視できる程度に近接した視点から撮影することにより得られる。青画像データは、撮像装置１０において、赤色光および緑色光のいずれの最小錯乱円の大きさよりも狭い間隔で配置された複数の受光素子によって生成される。
【００５２】
図３は、撮像装置１０において青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各色で被写体を撮影するそれぞれの撮像素子について、各色同一の縮尺で、画素配置の一例および赤色光の最小錯乱円の大きさを模式的に示した図である。図３において、破線の円１６０〜円１６２は赤色光の最小錯乱円の大きさを表す。また、縦横に区切られた各区画が１つの画素領域を表し、各画素領域には、青色光、緑色光、または赤色光に対する１つの受光素子が含まれる。
【００５３】
図３に示されるように、赤に対する画素間隔（赤色光に対する受光素子の配置間隔）は赤色光の最小錯乱円の大きさに対応しているが、緑および青に対応する画素間隔（緑色光または青色光に対する受光素子の配置間隔）は赤色光の最小錯乱円の大きさよりも小さい。
【００５４】
撮像装置１０の詳細な構成、および撮像素子における画素配置の他の例について、後で詳しく説明する。
【００５５】
再び図２において、撮影条件取得部１０２は、画像入力部１０１で取得された画像データを生成したときの撮像装置１０における光学系の撮影条件として、絞り、焦点距離、画素間隔を表す撮影条件データを取得する。
【００５６】
画像処理部１０３は、画像入力部１０１で取得された各色の画像データから、青画像データに含まれる空間的な高周波成分を用いて赤画像データおよび緑画像データを高解像度化のために補正する処理部であり、制御部１０３ａと、補正部１０３ｂと、抽出部１０３ｃとを有する。
【００５７】
制御部１０３ａは、撮影条件取得部１０２で取得された撮影条件データによって表される光学系の絞り、焦点距離、画素間隔に基づいて、赤画像データおよび緑画像データのそれぞれに対する補正の要否を判定し、どの波長の色による画像データを補正するかを決定する。
【００５８】
抽出部１０３ｃは、青画像データから、制御部１０３ａが決定した画像データに重畳されるべき高周波成分を抽出する。
【００５９】
補正部１０３ｂは、制御部１０３ａによる判定に応じて、赤画像データおよび緑画像データのいずれか一方または両方に対して、抽出部１０３ｃにて青画像データから抽出された高周波成分を重畳する。
【００６０】
画像出力部１０４は、画像処理部１０３で処理された各色の画像データを合成したカラー画像データを出力する。
【００６１】
次に、上述したように構成された画像処理装置３０が実行する処理について説明する。
【００６２】
図４は、画像処理装置３０が実行する処理の一例を示すフローチャートである。
【００６３】
ステップＳ４０１では、画像入力部１０１における赤画像入力部１０１ａ、緑画像入力部１０１ｂ、および青画像入力部１０１ｃがそれぞれ、赤画像データ、緑画像データ、および青画像データを取得する。
【００６４】
ここで、画像入力部１０１で取得される画像データを生成する撮像装置１０の構成、および受光素子の配置について、詳しく説明する。
【００６５】
図５（ａ）〜図５（ｃ）はそれぞれ、撮像装置１０における各色の撮像素子における画素配置の例を、図３と同様の表記法により示した図である。
【００６６】
図５（ａ）は、各色の画素間隔が等しい例を示す。この場合、青画像に対して、緑画像と赤画像の画素密度は過剰になるが、全ての色に対する画素配置を共通化できるという利点がある。また、余分に画素が含まれることで、画素欠陥に対する補間処理が容易になるという利点もある。
【００６７】
図５（ｂ）は、各色の画素間隔を、対応する色の波長が長いほど広く取った例を示す。この場合、大きな回折ボケが生じる色ほど画素間隔が広く取られるため、必要十分な解像度を得るために、効率の良い画素配置となる。このとき、図５（ａ）の配置と比較して、画素値の読み取り速度を抑えることが可能になると同時に、緑画像、赤画像では画素サイズが大きくなるために、集光性能が向上し、Ｓ／Ｎ比が向上する利点もある。
【００６８】
また、図５（ｃ）は、緑と赤の画素間隔を、図５（ｂ）と比べてさらに大きくした例を示す。この場合、図５（ｂ）の場合と比べて画素値の読み取り速度をさらに抑え、撮像時のＳ／Ｎ比を向上させることが可能になる。
【００６９】
図６（ａ）〜図６（ｃ）は、撮像装置１０の構成の一例を示す図である。
【００７０】
図６（ａ）は、ダイクロイックプリズムを用いた多素子方式による撮像装置の構成の一例、図６（ｂ）は、単一素子多層方式による撮像装置の構成の一例を示しており、それぞれの構成において、青画像用の撮像素子Ｂ、緑画像用の撮像素子Ｇ、赤画像用の撮像素子Ｒが示されている。
【００７１】
図６（ｃ）は、単一素子単層方式による撮像装置の構成の一例を示している。
【００７２】
図７は、単一素子単層方式による撮像装置に用いられる撮像素子の画素配置の例を示す図である。１つの撮像素子の各画素には、画素ごとに青（Ｂ）、緑（Ｇ）、赤（Ｒ）のうちの所定の１色のカラーフィルタが設置される。
【００７３】
図７の撮像素子おいて、最も波長が短い青色に関する画素は、他の色に関する画素と比べて、高い密度で配置される。これにより、回折の影響の少ない青画像を高解像度で得ることが可能となる。
【００７４】
また、図７の撮像素子を用いる場合には、一般的に高周波成分の折り返し防止で用いられる前置光学ローパスフィルタを、青色光に対してのみ有効にしておくことが望ましい。
【００７５】
あるいは、回折ボケ自体をローパスフィルタの代わりに利用することで、ローパスフィルタを除いた構成でもよい。この場合、撮像素子の構造を簡素化できる利点がある。これにより、青よりも長い波長の光に対応するローパスフィルタを設置することで、青画像に含まれる空間的な高周波成分が低下することを避ける。
【００７６】
上記のように構成された撮像装置１０で被写体を撮影することで、同一視点で撮影された被写体に関し、回折ボケ特性の異なる各色の画像データを得る。
【００７７】
ステップＳ４０２では、撮影条件取得部１０２で取得された撮影条件データによって表される光学系の絞り、焦点距離に基づいて、各波長光のボケ特性を決定する。
【００７８】
円形の開口部を持った光学系の場合、例えば、点光源に対する像において回折により生じる最小の暗環の直径を回折ボケの大きさＤとして用いることができる。その場合の回折ボケの大きさＤは、絞り（開口部の直径）ｄ、焦点距離ｆ、および光の波長λとして、Ｄ＝２．４４λ・ｆ／ｄとなる。
【００７９】
また、開口部の形状が円形以外の場合においても、円形の場合と同様のスケールで、開口部の形状のパワースペクトル分布形状を伴ったボケが生じる。
【００８０】
図８は、回折ボケによる光強度分布の一例を示すグラフである。図８に示されるグラフ１００１は、開口が円形の場合に、点光源に対する像の光強度分布を示している。縦軸は像の光強度（明るさ）で最大値を１．０になるように表現している。横軸は像の中心位置からの距離を表す。グラフ１００１に示されるように、像は中心位置で最も明るく、明暗の同心円環が生じる。
【００８１】
回折ボケの大きさＤには、前述したように、点光源に対する像の光強度が理論上０になる最小の暗環の直径（図８のＤ0）が用いられる。また、回折ボケの大きさＤとして、像の光強度が最大値の一定割合（１／２＝０．５や１／３など）になる直径（図８のＤ1）など、実質的に回折ボケの影響が及ぶ範囲を定めて用いても良い。このように、絞り、焦点距離から、各色の画像における回折ボケの特性（回折ボケの形状と大きさ）を決定する。
【００８２】
次に、ステップＳ４０３では、ステップＳ４０２で決定した各色の回折ボケ特性と、各色の撮像素子の間隔に基づき、どの色の画像データを高解像度化の処理対象とするかを決定する。
【００８３】
ここで、長波長光（色Ａ）に対する回折ボケの大きさ（例えば直径）が、短波長光（色Ｂ）の撮像素子における画素間隔よりも大きい場合、色Ａの画像データを高解像度化の処理対象とする。
【００８４】
例えば、赤色光および緑色光のいずれの回折ボケの大きさよりも青色光の撮像素子における画素間隔が狭い場合、青画像データの高周波成分を赤画像データと緑画像データとに重畳する。緑色光の回折ボケの大きさよりも青色光の撮像素子における画素間隔が広い場合には、青画像データの高周波成分を赤画像データのみに重畳する。
【００８５】
ステップＳ４０４では、ステップＳ４０３での決定に従って、短波長光の画像データの高周波成分を長波長光の画像データに重畳する。例えば、赤画像と緑画像の回折ボケの大きさが、青色光の撮像素子における受光素子の配置間隔を超えている場合、青画像の高周波成分を赤画像に重畳して新たな赤画像および緑画像を生成する。
【００８６】
高周波成分の重畳方法としては、赤画像データｆｒと緑画像データｆｇと青画像データｆｂとをフーリエ変換して周波数空間に展開し、それぞれＦｒ、Ｆｇ、Ｆｂとし、赤色光の回折ボケから決定される周波数の上限ωthを超える青画像データＦｂ（ω）の周波数成分Ｆｂ（ω）［ω＞ωth］を赤画像データＦｒ（ω）に加算して補正された赤画像データＦｒ’（ω）を生成する。補正された赤画像データＦｒ’（ω）を逆フーリエ変換することで、青画像データｆｇの高周波成分を重畳した補正された赤画像データｆｒを得る。
【００８７】
緑画像データｆｇについても同様の処理を行い、補正された緑画像データｆｇ’を得る。
【００８８】
上記例では、周波数空間への展開をフーリエ変換で説明したが、離散コサイン変換やウェーブレット変換など、画像を周波数空間へ変換する他の変換および対となる逆変換とを用いてもよい。
【００８９】
図９（ａ）〜図９（ｃ）を用いてステップＳ４０４の高解像度化のための補正処理を説明する。図９（ａ）は正解の画像の例、図９（ｂ）は補正前の画像の例、図９（ｃ）は補正後の画像の例を、青（Ｂ）画像、緑（Ｇ）画像、および赤（Ｒ）画像のそれぞれについて示している。図９（ａ）〜図９（ｃ）の各画像を構成する小矩形は、画素の大きさと位置の関係を表わしており、矩形の模様の違いは画素値の違いを表現している。
【００９０】
図９（ａ）は、どの色も回折限界を超えない条件で被写体を撮影できた場合の画像を示している。図９（ａ）では青画像、緑画像、赤画像のそれぞれが縦横４画素の１６画素を持ち、１列間隔の縦縞が表現されている。
【００９１】
図９（ｂ）は、図９（ａ）の被写体を回折ボケの大きさに合わせた画素サイズと画素間隔で撮影した例を示している。このような画像は、例えば図５（ｂ）に示すように受光素子を配置した撮像素子で被写体を撮影することにより得られる。ここで、青画像は回折ボケが小さいため画素間隔は図９（ａ）と同じであるが、緑画像と赤画像は回折ボケが青画像よりも大きいため、画素のサイズと画素間隔が大きくなっている。回折ボケのため、図９（ｂ）の緑画像と赤画像は図９（ａ）の緑画像と赤画像をそれぞれ空間的にぼかした画像しか撮影することができない。
【００９２】
ステップＳ４０４では、図９（ｂ）の赤画像や緑画像のようにボケた画像には含まれない高周波成分（１列間隔の縦縞の周波数成分）を青画像から抽出する。抽出した高周波成分を、実際に撮影で得た図９（ｂ）の赤画像や緑画像に重畳する。高周波成分の重畳において、高解像度化前の画素数が高解像度化後に必要な画素数に満たない場合（図９（ｂ）の緑画像、赤画像）、高周波成分の重畳に合わせて、補間により必要な画素数の画像に変換する。
【００９３】
重畳した結果の画像の例を図９（ｃ）に示す。図９（ｃ）の緑画像と赤画像は、それぞれ図９（ｂ）の緑画像と赤画像を補間処理で縦横４画素の１６画像に変換し、高周波成分を重畳した結果である。青画像の高周波成分が重畳された結果、１列間隔の縦縞の周波数成分が再現されている。
【００９４】
次に、ステップＳ４０５では、青画像、ならびに補正された赤画像および緑画像で表されるＲＧＢカラー画像を出力する。
【００９５】
比較の為に、図９（ａ）の赤画像、緑画像、青画像で表されるカラー画像を図１０（ａ）に示す。カラー画像においても１列間隔の縦縞が現れている。
【００９６】
図１０（ｂ）には、図９（ｂ）の赤画像、緑画像、青画像から合成されたカラー画像を示す。ここで、図１０（ｂ）のようなカラー画像の合成において、元になる赤画像、緑画像、青画像の画素数が合成されるべきカラー画像の画素数よりも小さい場合、補間処理により画素数を合わせた画像を生成した上でカラー合成を行う。図１０（ｂ）では空間解像度が低い緑画像と赤画像が合成されるため、単独の青画像に比べてボケた画像になっている。
【００９７】
さらに、図９（ａ）のように本来ＲＧＢ共通で白色（画素値が０）である画素位置（列８ａ０１〜列８ａ０６）についても、緑画像と赤画像が組み合わさることで、本来存在しない色（偽色）が生じてしまう（列９ｂ０１、列９ｂ０２）。
【００９８】
図１０（ｃ）には、図９（ｃ）の赤画像、緑画像、青画像を用いてカラー画像を合成した結果を示す。図１０（ａ）の白色（画素値が０）の画素（列９ａ０１、列９ａ０２）は、図１０（ｃ）では再現されている（列９ｃ０１、列９ｃ０２）。
【００９９】
なお、上記例では、青画像の高周波成分を緑画像と赤画像に重畳したが、緑画像か赤画像のどちらか一方にのみ重畳するだけでも本願発明の効果は得られる。また、緑画像の高周波成分を赤画像に重畳することでも本願発明の効果は得られる。
【０１００】
このように、上記構成では、赤色光や緑色光の回折ボケの大きさよりも狭い間隔で配置された受光素子で生成した青画像データを用いて、赤画像データと緑画像データとを高解像度化のために補正することで、本来は回折限界によって得られない高解像度のカラー画像を得ることが可能になる。
【０１０１】
以上の例では、赤画像、緑画像、青画像で被写体のカラー画像を表す場合を説明した。赤色光、緑色光、青色光を用いた場合、既存の原色系カラー撮像素子を用いて本願発明を構成することが可能となる利点がある。
【０１０２】
また、原色系の色表現の場合と同様に、補色系の色表現を用いることもできる。
【０１０３】
シアン（赤の補色）、マゼンタ（緑の補色）、イエロー（青の補色）の補色系を用いる場合、それぞれの補色の光の波長の回折ボケの大きさに基づいて、上記と同様の処理を行う。
【０１０４】
すなわち、赤色光や緑色光の回折ボケの大きさよりも狭い間隔でイエロー（青の補色）の画素を配置して得た画像から高周波成分を抽出する。そして、抽出した高周波成分をシアン画像またはマゼンタ画像に重畳し、補正されたシアン画像またはマゼンタ画像を得る。この場合、画素の配置は、図５（ａ）〜図５（ｃ）、図７においてＢ、Ｇ、Ｒをそれぞれイエロー、マゼンタ、シアンに置き換えたものになる。
【０１０５】
（第２の実施の形態）
次に、本発明の第２の実施の形態に係る画像生成システムについて詳細に説明する。
【０１０６】
第２の実施の形態における画像処理装置では、可視光により被写体を撮影するとともに、可視光の回折ボケの大きさよりも狭い画素密度で波長が最も短い紫外光により前記被写体を撮影し、紫外画像の高周波成分を可視画像に重畳する。
【０１０７】
図１１は、第２の実施の形態における、画像処理装置３１の内部構成を示す機能ブロック図である。画像処理装置３１では、第１の実施の形態の画像処理装置３０（図２を参照）と比べて、紫外画像入力部１０１ｄが追加された画像入力部１１１が用いられる。紫外画像入力部１０１ｄは、紫外光による被写体の画像を表す紫外画像データを取得する。
【０１０８】
図１２に、撮影に用いる画素の配置の例を示す。図１２においてＲ、Ｇ、Ｂ、ＵＶは、それぞれ赤色光、緑色光、青色光、紫外光による撮影に用いられる撮像素子における画素配置を示している。観賞用の画像には必要としない紫外光の画像の撮影は、例えば図１３のように予めダイクロイックミラーやダイクロイックプリズムで分離して撮影し、第１の実施の形態において青画像データから高周波成分を抽出したのと同様に紫外画像データから高周波成分を抽出し、抽出した高周波成分を赤画像データ、緑画像データ、青画像データにそれぞれ重畳してもよい。
【０１０９】
図１４は、第２の実施の形態において、画像処理装置３１が実行する処理の一例を示すフローチャートである。ステップＳ１８０１〜ステップＳ１８０５の処理は、第１の実施の形態のステップＳ４０１〜ステップＳ４０５と大まかには同様であるが、ステップＳ１８０１で、画像入力部１１１が紫外画像データと可視画像データとを入力し、ステップＳ１８０４において紫外画像の高周波成分を可視画像に重畳する点が異なる。
【０１１０】
また、可視画像はカラー画像ではなくモノクロ画像であっても、高解像度化することができ、本願発明の効果を得ることができる。
【０１１１】
本構成では、可視画像の光量を必ずしも減らすことなく撮影した紫外画像から高周波成分を得ることで、可視画像（モノクロ、カラー）を可視光の回折限界を超えて高解像度化した画像を得ることが可能となる。
【０１１２】
また、可視光以外の波長光を用いる例としては、赤外光による撮影と可視光による撮影とを同時に行い、赤外画像に対して可視画像の高周波成分を重畳して補正された赤外画像を生成してもよい。可視画像の高周波成分を赤外画像に重畳することで、回折ボケの大きさが可視光よりも大きく、高精細の画像を撮影しにくい赤外光による高解像度画像を得ることが可能となる。
【０１１３】
（第３の実施の形態）
次に、本発明の第３の実施の形態に係る画像生成システムについて詳細に説明する。
【０１１４】
第１の実施の形態および第２の実施の形態の画像処理装置では、異なる複数の波長光による画像が全て同時に合焦している場合に、より高い解像度の画像が得られる。第３の実施の形態では、光学系に色収差が含まれる場合に好適な処理を行う画像処理装置について説明する。
【０１１５】
図１５は、第３の実施の形態における画像処理装置３２の内部構成を示す機能ブロック図である。画像処理装置３２では、第１の実施の形態の画像処理装置３０（図２を参照）の撮影条件取得部１０２に代えて、撮影条件取得部１１２が用いられる。撮影条件取得部１１２は、画像入力部１０１で取得された画像データを生成したときの撮影条件として、光学系の絞り、焦点距離、画素間隔に加えて、色収差特性、撮像面の位置を取得する。
【０１１６】
色収差とは、光の屈折率が波長に応じて異なるために、波長が異なる光の集光位置がずれる光学系の特性を意味している。図１６（ａ）、図１６（ｂ）に色収差の例を示す。
【０１１７】
図１６（ａ）において左方からの光はレンズ３０１で屈折し、絞り３０２を通した後、集光される。ここで、赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）は屈折率が異なるため、それぞれ位置３０５、３０４、３０３に集光する。図１６（ａ）において、赤色光、緑色光、青色光の経路を、それぞれ破線、点線、実線で示している。
【０１１８】
図１６（ａ）では、位置３０３、３０４、３０５での各色光の集光状態を、模式的に同心円の大きさで示している。特定の波長の光が最も集光している位置では、他の波長の光は必ずしも集光度が最大とはならない。
【０１１９】
図１６（ｂ）は複数のレンズを組み合わせた光学系３０６の例を示す。絞り３０７を通じた光の集光位置は、図１６（ａ）とは異なるものの、波長によって集光位置は異なっている。図１６（ｂ）では、位置３０８、３０９、３１０での各色光の集光状態を模式的に同心円で示している。図１６ではレンズ左方水平方向からの光線の例のみを示しているが、水平とは異なる向きからの光線の集光特性も同様に波長や向きによって異なってくる。色収差特性はこれらの集光特性を示し、レンズ系に依存して決まる。
【０１２０】
このように、色収差が発生する光学系で画像を得る場合、高周波成分を取得する波長光画像に最も合焦するように被写体を撮影して得た画像を用いることが望ましい。すなわち、図１６（ａ）では位置３０３、図１６（ｂ）では位置３１０において得た青画像を用いる。撮像面の位置をこのように設定することで、高周波成分を豊富に含んだ短波長光画像を取得することができ、焦点ボケの発生している他の波長光画像の高解像度化を効果的に行うことが可能となる。
【０１２１】
また、焦点ボケが生じている画像については、図１６（ａ）、図１６（ｂ）のように焦点ボケの大きさが既知の場合、予め、焦点ボケを除く処理を行った画像を生成し、その画像に対して上記の高解像度化のための補正処理を行えば、より解像度の高い画像が得られる。
【０１２２】
図１６（ａ）の場合、位置３０３で撮影すると赤画像と緑画像については色収差による焦点ボケが生じる。焦点ボケは、合焦位置から撮像面のずれに比例した大きさで、開口部の形状を伴ったボケとなる。最終的なボケ特性は、回折ボケが焦点ボケや収差によるボケに畳み込まれた特性となる。
【０１２３】
図１７は、第３の実施の形態において、画像処理装置３２が実行する処理の一例を示すフローチャートである。ステップＳ２００１〜ステップＳ２００５の処理は、第１の実施の形態のステップＳ４０１〜ステップＳ４０５の処理と大まかには同様であるが、ステップＳ２００２において撮像系に対応付けられた上記色収差特性と撮像面の位置を、撮影条件取得部１０２が取得することで、各色の画像における焦点ボケの特性（ボケの形状と大きさ）を決定し、焦点ボケを除去するための画像復元処理を行う点が異なる。
【０１２４】
“Ａ  ｎｅｗ  ｓｅｎｓｅ  ｆｏｒ  ｄｅｐｔｈ  ｏｆ  ｆｉｅｌｄ”，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  ｖｏｌ．９，  ｎｏ．４，  ｐｐ．５２３−５３１，  １９８７（非特許文献１）に記載されているように、焦点ボケの半径をｒ（焦点ボケ特性）、ｆを焦点距離、ｚを光学系から被写体までの距離、ｄを開口部の直径（絞り）、ｖを光学系と撮像面との距離（撮像面の位置）、αを撮像素子に依存する定数とおくと（式１）の関係が満たされる。ここで、色収差特性とは、焦点距離ｆが波長毎に異なる特性に相当する。
【０１２５】
【数１】
2009153983.tif 000032
【０１２６】
（式１）に基づき、青画像で合焦している場合に、ｒ＝０となる被写体までの距離ｚが定まり、焦点距離ｆの異なる他の波長についての焦点ボケの半径ｒを上記関係式から求めることができる。このようにして、レンズの色収差特性から、赤画像と緑画像の焦点ボケの大きさを決定する。
【０１２７】
焦点ボケの形状が既知であるとして、ステップＳ２００２において、ボケ関数の形状に基づいたウィナーフィルタや射影フィルタなどの画像復元手法により、焦点ボケを除いた赤画像と緑画像を生成する。
【０１２８】
これらの焦点ボケを除いた赤画像と緑画像に対して、ステップＳ２００３で高解像度化の処理対象画像を決定し、ステップＳ２００４で高周波成分を重畳する。
【０１２９】
以上のような構成では、色収差を含む光学系においても、波長の最も短い、もしくはそれ以上収束しない領域の最小の大きさが最も小さい青画像（短波長光画像）の高周波成分を用いて他の波長成分の画像を効果的に高解像度化することができる。
【０１３０】
なお、短波長光による高解像度の画像に対して合焦するように焦点を調整して、撮像することが望ましいが、全ての波長光画像に対して焦点ボケが生じている場合、焦点ボケと回折ボケとを合わせたボケ特性について、回折ボケ単独の場合と同様の処理を用いても、本発明の効果は得られる。
【０１３１】
また、光学系の色収差によって、それ以上収束しない領域の最小の大きさが最も小さい波長の大小関係が、実際の波長の大小関係と異なる場合がある。このような場合には、それ以上収束しない領域の最小の大きさが最も小さい波長の高周波成分を用いて他の波長成分の画像を高解像度化することで本発明の効果が得られる。
【０１３２】
更に、焦点ボケについては、焦点位置（光学系と撮像面との距離）を撮影条件取得部１１２が取得しておくことで、（式１）の関係式を用いることで、予め対象としている距離の被写体に対する、焦点ボケの大きさが推定できる。これを色収差のボケ復元と同様にウィナーフィルタや射影フィルタなどの画像復元手法により、焦点ボケを除く。次に、残った波長ごとに大きさの異なる回折ボケについては、上述のステップＳ２００２〜ステップＳ２００５の処理によって高解像度化することができる。
【０１３３】
（第４の実施の形態）
次に、本発明の第４の実施の形態に係る画像生成システムについて詳細に説明する。
【０１３４】
第１の実施の形態〜第３の実施の形態の画像処理装置では、周波数空間への変換を用いて、短波長光画像に含まれる高周波成分を抽出し、回折ボケを含む波長光の画像へ重畳していたが、第４の実施の形態の画像処理装置では、高周波成分の抽出と重畳を同時に行う。
【０１３５】
図１８は、第４の実施の形態における、画像処理装置３３の内部構成を示す機能ブロック図である。
【０１３６】
画像処理装置３３は、第３の実施の形態における画像処理装置３２（図１５）の画像処理部１０３を、画像処理部１１３に置き換えて構成される。
【０１３７】
画像処理部１１３において、制御部１１３ａは、撮影条件取得部１１２から得た光学系の絞り、焦点距離、撮像面の位置、色収差特性、画素間隔に基づいて、補正処理の対象となる波長光画像を決定する。
【０１３８】
評価関数設定部１１３ｂは、各色の画像の組み合わせで得られる目的画像の色の空間的な連続性（画素値の連続性や画素値の変化の連続性を含む）がより良く維持されている程度を数値で表す評価関数を設定する。
【０１３９】
画像統合処理部１１３ｃは、設定された評価関数に従って、色の空間的な連続性がより良く維持された目的画像が得られるように、各色の画像を補正する。
【０１４０】
目的画像における色の空間的な連続性を維持するように各色の画像を補正することで、各色の空間的な変化が相似となる結果、短波長光画像の高周波成分が長波長光画像に重畳される。同時に、色の連続性を維持するように短波長光画像も処理することで、偽色の発生（色境界などで本来存在しない色が局所的に生成される事象）を抑える。
【０１４１】
図１９は、第４の実施の形態において、画像処理装置３３が実行する処理の一例を示すフローチャートである。ステップＳ２２０１〜ステップＳ２２０３、ステップＳ２２０５の処理は、第３の実施の形態のステップＳ２００１〜ステップＳ２００３、ステップＳ２００５の処理と同等であるが、ステップＳ２２０４では、各色の画像の組み合わせで得られる目的画像の色の空間的な連続性（画素値の連続性や画素値の変化の連続性を含む）を維持するように、長波長光画像と短波長光画像とを処理する。
【０１４２】
目的画像の色の空間的な連続性を維持する処理の例を説明する。
【０１４３】
評価関数設定部１１３ｂで、目的画像ｇにおける各色の画像の空間的変化パタンが近い（青画像の空間的変化と赤画像および緑画像の空間的変化とが相似している）ほど値が小さくなる評価関数Ｊを設定し、画像統合処理部１１３ｃで、Ｊを最小化する目的画像ｇを求める。Ｊの一例を（式２）に示す。
【０１４４】
【数２】
2009153983.tif 000033
【０１４５】
Ｊは、生成したい高解像度カラー画像ｇを構成する赤、緑、および青の各色の画像（画像ベクトルとしてＲH、ＧH、ＢHと表記）の関数として定義される。ＨR、ＨGは、それぞれ目的画像ｇの各色画像ＲH、ＧHから、各色の入力画像ＲL、ＧL（ベクトル表記）への低解像度化変換を表す。ＨR、ＨGは、例えば、それぞれ（式３）、（式４）のような低解像度化の変換である。
【０１４６】
【数３】
2009153983.tif 000034
【０１４７】
【数４】
2009153983.tif 000035
【０１４８】
入力画像の画素値は、目的画像の対応する位置を中心とした、局所領域の画素値の重み付け和となっている。
【０１４９】
（式３）、（式４）において、ＲH（ｘ，ｙ）、ＧH（ｘ，ｙ）は、それぞれ目的画像ｇの画素位置（ｘ，ｙ）における赤（Ｒ）の画素値、緑（Ｇ）の画素値を示す。
【０１５０】
ＲL（ｘRL，ｙRL）、ＧL（ｘGL，ｙGL）は、それぞれ赤入力画像の画素位置（ｘRL，ｙRL）の画素値、緑入力画像の画素位置（ｘGL，ｙGL）の画素値を示している。
【０１５１】
ｘ（ｘRL）、ｙ（ｙRL）、ｘ（ｘGL）、ｙ（ｙGL）はそれぞれ、入力画像の赤画像の画素位置（ｘRL，ｙRL）に対応する目的画像の画素位置のｘ、ｙ座標と、入力画像の緑画像の画素位置（ｘRL，ｙRL）に対応する目的画像の画素位置のｘ、ｙ座標とを表している。
【０１５２】
また、ｗRとｗGは、赤画像と緑画像の入力画像の画素値に対する目的画像の画素値の重み関数をそれぞれ示している。（ｘ’，ｙ’）∈ＣはｗRとｗGとが定義される局所領域の範囲を示している。
【０１５３】
低解像度化画像（青画像の場合は同じ解像度の画像）および入力画像の対応画素位置における画素値の差の２乗和を評価関数の評価条件として設定する（（式２）の第１項、第２項、および第３項）。つまり、これらの評価条件は、低解像度化画像に含まれる各画素値を要素とするベクトルと、入力画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す値により設定される。
【０１５４】
（式２）の第４項のＱsは、画素値の空間的な滑らかさを評価する評価条件である。
【０１５５】
Ｑsの例であるＱs1およびＱs2を（式５）および（式６）に示す。
【０１５６】
【数５】
2009153983.tif 000036
【０１５７】
（式５）においてθH（ｘ，ｙ）、ψH（ｘ，ｙ）、ｒH（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値であり、θH（ｘ，ｙ）とψH（ｘ，ｙ）は２種類の偏角、ｒH（ｘ，ｙ）は動径を表す。
【０１５８】
図２０に、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。図２０では、一例として、θ＝０の方向をＲＧＢ色空間のＲ軸の正方向とし、ψ＝０の方向をＲＧＢ色空間のＧ軸の正方向としているが、偏角の基準方向は図２０に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。
【０１５９】
目的画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現することにより、画素の明るさ（信号強度、輝度も同義である）としてのベクトルの大きさを表すｒ軸の座標値、ならびに画素の色彩（色相、色差、彩度などを含む）としてのベクトルの向きを表すθ軸およびψ軸の座標値を、個別に取り扱うことができる。
【０１６０】
（式５）は、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（式５）は、目的画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様である（つまり画素の色が連続している）ほど、値が小さくなる条件Ｑs1を定義している。
【０１６１】
条件Ｑs1の値が小さくあるべきということは、目的画像内の空間的に隣り合う画素の色が連続すべきということを表している。
【０１６２】
画像中において画素の明るさの変化と画素の色彩の変化とは物理的に異なる事象から生じ得るため、（式５）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（式５）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（式５）の大括弧内の第１項および第２項）とを個別に設定することで、望ましい画質が得やすくなる。
【０１６３】
λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、λr（ｘ，ｙ）はそれぞれ、θ軸、ψ軸、ｒ軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ、（ｘ，ｙ）＝１．０、λr（ｘ，ｙ）＝０．０１のように画素位置やフレームに依らずに設定してもよい。
【０１６４】
また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。
【０１６５】
また、画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（変化の一様性に乏しい）ことによる。
【０１６６】
なお、（式５）では、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件Ｑs1として設定したが、２階差分値の絶対値和、または１階差分値の２乗和もしくは絶対値和を条件として設定してもよい。
【０１６７】
上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。
【０１６８】
新たな直交座標系の座標軸は、例えば、入力動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。
【０１６９】
【数６】
2009153983.tif 000037
【０１７０】
（式６）において、Ｃ1（ｘ，ｙ）、Ｃ2（ｘ，ｙ）、Ｃ3（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3の座標値に変換する回転変換である。
【０１７１】
（式６）は、目的画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（式６）は、目的画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件Ｑs2を定義している。
【０１７２】
条件Ｑs2の値が小さくあるべきことは、目的画像内の空間的に隣り合う画素の色が連続すべきことを表している。
【０１７３】
λC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）はそれぞれ、Ｃ1軸、Ｃ2軸、Ｃ3軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。
【０１７４】
Ｃ1軸、Ｃ2軸、Ｃ3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
【０１７５】
以上、２種類の条件Ｑs1、Ｑs2の例を説明した。条件Ｑsとしては、Ｑs1、Ｑs2いずれを用いることもできる。
【０１７６】
例えば、（式５）に示される条件Ｑs1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。
【０１７７】
（式６）に示される条件Ｑs2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。
【０１７８】
また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3とすることで、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件を設定できるので、単純に赤、緑、青の各色コンポーネントの画素値を用いて条件を設定する場合と比べて、得られる目的画像の画質の向上が期待できる。
【０１７９】
なお、評価関数Ｊは、上記に限定するものではなく、（式２）の項を類似式からなる項と置換し、また異なる条件を表す新たな項を追加してもよい。
【０１８０】
次に、画像統合処理部１１３ｃで、（式２）のＪの値をできるだけ小さく（望ましくは最小に）する目的画像の各画素値を求めることによって、目的画像の各色画像ＲH、ＧH、ＢHを生成する。評価関数Ｊを最小にする目的画像ｇは、例えば、Ｊを目的画像の各色画像ＲH、ＧH、ＢHの各画素値成分で微分した式を全て０とおいた（式７）の方程式を解いて求めてもよく、また最急勾配法などの反復演算型の最適化手法を用いて求めてもよい。
【０１８１】
【数７】
2009153983.tif 000038
【０１８２】
以上のように、高周波成分の抽出と、回折ボケを含む波長光画像への重畳を同時に行う際に、全ての色画像を空間的な色変化の滑らかさを満たすように生成することで、長波長光画像（赤画像、緑画像）のみを修正して短波長光画像（青画像）と組み合わせる場合よりも、カラー画像を構成した場合に発生し得る偽色を抑える効果が得られる。
【０１８３】
なお、上述の例では画像生成システム１００の動作を説明したが、図２１に示すように、図１に示された画像生成システム１００から表示装置４０を除いて構成されるカメラ３００も、本発明に含まれる。さらに、図２０に示されたカメラ３００に表示装置４０を付加して構成される、動画像録画再生機能付きのカメラも、本発明に含まれる。
【０１８４】
また、図２２に示すように、図１に示された画像生成システム１００から撮像装置１０を除いて構成されるテレビなどのディスプレイ機器４００も、本発明に含まれる。そのようなディスプレイ機器４００では、あらかじめ録画してある複数色コンポーネントの動画像を入力動画像として、フレームレートを向上させた目的動画像を生成して表示することが可能になる。
【０１８５】
以上、本発明に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。
【０１８６】
本発明の画像処理装置が行う画像生成処理の一部または全部を、専用のハードウェア機器で実行してもよいし、コンピュータ端末装置、無線基地局等に配置される通信機器、およびスタンドアロンの汎用コンピュータなどに内蔵されるＣＰＵが所定のプログラムを実行することによって、本発明の画像生成処理を行うようにしてもよい。
【産業上の利用可能性】
【０１８７】
本発明は、回折ボケの生じた波長光を含む多色画像から新たな画像を生成する画像処理装置として、特に、回折ボケを含む色画像と前記回折ボケの大きさよりも狭い間隔で得た短波長色の画像から、回折限界を超える高解像度画像を生成する画像処理装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。
【符号の説明】
【０１８８】
１０    撮像装置
２０    画像記憶装置
３０〜３３  画像処理装置
４０    表示装置
１００    画像生成システム
１０１、１１１  画像入力部
１０１ａ    赤画像入力部
１０１ｂ    緑画像入力部
１０１ｃ    青画像入力部
１０１ｄ    紫外画像入力部
１０２、１１２  撮影条件取得部
１０３、１１３  画像処理部
１０３ａ    制御部
１０３ｂ    補正部
１０３ｃ    抽出部
１０４    画像出力部
１１３ａ    制御部
１１３ｂ    評価関数設定部
１１３ｃ    画像統合処理部
３００      カメラ
３０１      レンズ
３０２、３０７  絞り
３０６      光学系
４００      ディスプレイ機器
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部と
を備え、
前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された、紫外光による前記被写体の画像を表す画像データを、前記第２の画像データとして取得する
画像処理装置。
【請求項２】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部と
を備え、
前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、
さらに、前記第１の画像データを生成したときの撮影条件である絞り値を表す撮影条件データを取得する撮影条件取得部を備え、
前記画像処理部は、
前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する
画像処理装置。
【請求項３】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部と
を備え、
前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、
さらに、前記第１の画像データを生成したときの撮影条件である焦点距離を表す撮影条件データを取得する撮影条件取得部を備え、
前記画像処理部は、
前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する
画像処理装置。
【請求項４】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部と
を備え、
前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、
さらに、前記第１の画像データを生成したときの撮影条件である受光素子の設置面の位置を表す撮影条件データを取得する撮影条件取得部を備え、
前記画像処理部は、
前記取得された撮影条件データによって表される前記受光素子の設置面の前記第１の波長の波長を持つ光の合焦位置からのずれ量に応じて、前記第１の画像データに対して焦点ボケの除去処理を行う
画像処理装置。
【請求項５】
赤色光による被写体の画像を表す赤画像データ、緑色光による前記被写体の画像を表す緑画像データ、および青色光による前記被写体の画像を表す青画像データを取得する画像入力部と、
前記青画像データに含まれる空間的な高周波成分を前記赤画像データおよび前記緑画像データのうち少なくともいずれか一方に重畳することにより、前記赤画像データおよび緑画像データのうち少なくとも前記一方を補正する画像処理部と
を備え、
前記画像入力部は、前記赤色光または緑色光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記青画像データとして取得する
画像処理装置。
【請求項６】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
前記画像データのうち、最も短い波長を持つ光による画像データに含まれる空間的な高周波成分を、他の波長の光による画像データに重畳することにより、前記他の波長の光による画像データを補正する画像処理部と
を備え、
前記画像入力部は、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記最も短い波長の光の画像データとして取得する
画像処理装置。
【請求項７】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
前記複数の画像データのうち、それ以上収束しない領域の最小の大きさが最も小さい波長の光による第２の画像データに含まれる空間的な高周波成分を、他の波長の光による第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理部と
を備え、
前記画像入力部は、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する
画像処理装置。
【請求項８】
第１の波長を持つ光による被写体の画像を表す第１の画像データを生成する複数の受光素子と、
前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置され、前記第１の波長よりも短い第２の波長を持つ光である紫外光による前記被写体の画像を表す第２の画像データを生成する複数の受光素子と、
前記第１の画像データおよび前記第２の画像データを取得する画像入力部と、
前記第２の画像データに含まれる空間的な高周波成分を前記第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理部と
を備える撮像装置。
【請求項９】
波長が異なる複数の光のそれぞれにより１つの被写体の画像を表す、前記光と同数の画像データを取得する画像入力ステップと、
前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理ステップと
を含み、
前記画像入力ステップで、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された、紫外光による前記被写体の画像を表す画像データを、前記第２の画像データとして取得する
画像処理方法。
【請求項１０】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力ステップと、
前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理ステップと
を含み、
前記画像入力ステップで、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、
さらに、前記第１の画像データを生成したときの撮影条件である絞り値を表す撮影条件データを取得する撮影条件取得ステップを含み、
前記画像処理ステップで、
前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する
画像処理方法。
【請求項１１】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力ステップと、
前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理ステップと
を含み、
前記画像入力ステップで、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、
さらに、前記第１の画像データを生成したときの撮影条件である焦点距離を表す撮影条件データを取得する撮影条件取得ステップを含み、
前記画像処理ステップで、
前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する
画像処理方法。
【請求項１２】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力ステップと、
前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理ステップと
を含み、
前記画像入力ステップで、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、
さらに、前記第１の画像データを生成したときの撮影条件である受光素子の設置面の位置を表す撮影条件データを取得する撮影条件取得ステップを含み、
前記画像処理ステップで、
前記取得された撮影条件データによって表される前記受光素子の設置面の前記第１の波長の波長を持つ光の合焦位置からのずれ量に応じて、前記第１の画像データに対して焦点ボケの除去処理を行う
画像処理方法。
【請求項１３】
赤色光による被写体の画像を表す赤画像データ、緑色光による前記被写体の画像を表す緑画像データ、および青色光による前記被写体の画像を表す青画像データを取得する画像入力ステップと、
前記青画像データに含まれる空間的な高周波成分を前記赤画像データおよび前記緑画像データのうち少なくともいずれか一方に重畳することにより、前記赤画像データおよび緑画像データのうち少なくとも前記一方を補正する画像処理ステップと
を含み、
前記画像入力ステップで、前記赤色光または緑色光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記青画像データとして取得する
画像処理方法。
【請求項１４】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力ステップと、
前記画像データのうち、最も短い波長を持つ光による画像データに含まれる空間的な高周波成分を、他の波長の光による画像データに重畳することにより、前記他の波長の光による画像データを補正する画像処理ステップと
を含み、
前記画像入力ステップで、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記最も短い波長の光の画像データとして取得する
画像処理方法。
【請求項１５】
それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力ステップと、
前記複数の画像データのうち、それ以上収束しない領域の最小の大きさが最も小さい波長の光による第２の画像データに含まれる空間的な高周波成分を、他の波長の光による第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理ステップと
を含み、
前記画像入力ステップで、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する
画像処理方法。
【請求項１６】
画像を処理するためのプログラムであって、請求項９から請求項１４のいずれか１項に記載の画像処理方法に含まれるステップをコンピュータに実行させるプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009153983.tif 000039
【図２】
2009153983.tif 000040
【図３】
2009153983.tif 000041
【図４】
2009153983.tif 000042
【図５】
2009153983.tif 000043
【図６】
2009153983.tif 000044
【図７】
2009153983.tif 000045
【図８】
2009153983.tif 000046
【図９】
2009153983.tif 000047
【図１０】
2009153983.tif 000048
【図１１】
2009153983.tif 000049
【図１２】
2009153983.tif 000050
【図１３】
2009153983.tif 000051
【図１４】
2009153983.tif 000052
【図１５】
2009153983.tif 000053
【図１６】
2009153983.tif 000054
【図１７】
2009153983.tif 000055
【図１８】
2009153983.tif 000056
【図１９】
2009153983.tif 000057
【図２０】
2009153983.tif 000058
【図２１】
2009153983.tif 000059
【図２２】
2009153983.tif 000060
【国際調査報告】
2009153983.tif 000061
2009153983.tif 000062