(57)【要約】【課題】画像の全体について解像度が高く、画像中の段差で画質劣化を来さない画像を生成する画像処理装置及び画像処理方法を提供する。【解決手段】第１の撮像部で撮影された被写体の第１の撮影画像を取得する。第１の撮像部と光軸が重なる第２の撮像部で撮影された、被写体の第２の撮影画像を取得する。所定の画像成分に対する第１の撮像部の解像度と第２の撮像部の解像度とから求めた、画像成分に対する第１の撮影画像と第２の撮影画像との合成比率を示す比率情報を取得する。第１の撮影画像の所定の画像成分と、第２の撮影画像の所定の画像成分とを、比率情報に従って合成することで、第１の撮影画像と第２の撮影画像とを合成した合成画像を生成する。【選択図】図１
2011022729.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像部で撮影された被写体の第１の撮影画像を取得する手段と、
前記第１の撮像部と光軸が重なる第２の撮像部で撮影された、前記被写体の第２の撮影画像を取得する手段と、
所定の画像成分に対する前記第１の撮像部の解像度と前記第２の撮像部の解像度とから求めた、当該画像成分に対する前記第１の撮影画像と前記第２の撮影画像との合成比率を示す比率情報を取得する比率取得手段と、
前記第１の撮影画像の前記所定の画像成分と、前記第２の撮影画像の前記所定の画像成分とを、前記比率情報に従って合成することで、前記第１の撮影画像と前記第２の撮影画像とを合成した合成画像を生成する合成手段とを備えることを特徴とする、画像処理装置。
【請求項２】
前記比率取得手段は、前記第１の撮像部の解像度と前記第２の撮像部の解像度との比を前記合成比率とすることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記所定の画像成分はＲＧＢ成分であり、
前記比率取得手段はＲＧＢ成分それぞれに対する前記比率情報を取得し、
前記合成手段は、前記第１の撮影画像及び前記第２の撮影画像のＲＧＢ成分それぞれを、ＲＧＢ成分それぞれに対する前記比率情報に従って合成することを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項４】
前記所定の画像成分は像高であり、
前記比率取得手段は像高に対する前記比率情報を取得し、
前記合成手段は、前記第１の撮影画像及び前記第２の撮影画像の対応する画素のそれぞれを、当該画素のそれぞれの像高に対する前記比率情報に従って合成することを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項５】
前記所定の画像成分はメリディオナル方向及びサジタル方向の空間周波数であり、
前記比率取得手段はメリディオナル方向及びサジタル方向の空間周波数に対する前記比率情報を取得し、
前記合成手段は、
前記第１の撮影画像を分割し、第１の部分画像とする第１の分割手段と、
前記第２の撮影画像を前記第１の分割手段と同様に分割し、第２の部分画像とする第２の分割手段と、
前記第１の部分画像を直交変換して第１の周波数空間画像を生成する手段と、
前記第２の部分画像を直交変換して第２の周波数空間画像を生成する手段と、
前記メリディオナル方向及びサジタル方向の空間周波数に対する前記比率情報を、前記周波数空間における前記比率情報に変換する手段と、
前記第１の周波数空間画像の成分と、対応する前記第２の周波数空間画像の成分とを、前記周波数空間における前記比率情報に従って合成して第３の周波数空間画像を生成する手段と、
前記第３の周波数空間画像を実空間へと変換し、第３の部分画像を生成する手段と、
前記第３の部分画像を統合して合成画像を生成する手段とを備えることを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項６】
第１の撮像部で撮影された被写体の第１の撮影画像を取得する手段と、
前記第１の撮像部と光軸が重なる第２の撮像部で撮影された、前記被写体の第２の撮影画像を取得する手段と、
前記第１の撮影画像の各画素についての合成比率を与えるフィルタを取得し、第１の合成比率を計算する手段と、
前記第２の撮影画像の各画素についての合成比率を与えるフィルタを取得し、第２の合成比率を計算する手段と、
前記第１の撮影画像と前記第２の撮影画像との対応する画素を、前記第１の合成比率と前記第２の合成比率の割合で合成することで、合成画像を生成する合成手段とを備えることを特徴とし、
前記フィルタは、画素周辺の空間周波数成分と、当該空間周波数に対する前記第１及び第２の撮像部の解像度とに応じて、合成比率を与えることを特徴とする画像処理装置。
【請求項７】
撮像部を駆動して、当該撮像部を第１の構成又は第２の構成とする駆動手段と、
前記第１の構成の撮像部によって撮影された被写体の第１の撮影画像を取得する手段と、
前記第１の構成の撮像部と光軸が重なる前記第２の構成の撮像部によって撮影された、前記被写体の第２の撮影画像を取得する手段と、
所定の画像成分に対する前記第１の撮像部の解像度と前記第２の撮像部の解像度とから求めた、当該画像成分に対する前記第１の撮影画像と前記第２の撮影画像との合成比率を示す比率情報を取得する比率取得手段と、
前記第１の撮影画像の前記所定の画像成分と、前記第２の撮影画像の前記所定の画像成分とを、前記比率情報に従って合成することで、前記第１の撮影画像と前記第２の撮影画像とを合成した合成画像を生成する合成手段とを備えることを特徴とする、画像処理装置。
【請求項８】
前記駆動手段は、前記撮像部の撮像素子と、前記撮像部のレンズとの間の距離を変化させることを特徴とする、請求項７に記載の画像処理装置。
【請求項９】
画像処理装置が行う方法であって、
第１の撮像部で撮影された被写体の第１の撮影画像を取得する工程と、
前記第１の撮像部と光軸が重なる第２の撮像部で撮影された、前記被写体の第２の撮影画像を取得する工程と、
所定の画像成分に対する前記第１の撮像部の解像度と前記第２の撮像部の解像度とから求めた、当該画像成分に対する前記第１の撮影画像と前記第２の撮影画像との合成比率を示す比率情報を取得する比率取得工程と、
前記第１の撮影画像の前記所定の画像成分と、前記第２の撮影画像の前記所定の画像成分とを、前記比率情報に従って合成することで、前記第１の撮影画像と前記第２の撮影画像とを合成した合成画像を生成する合成工程とを備えることを特徴とする、画像処理方法。
【請求項１０】
画像処理装置が行う方法であって、
第１の撮像部で撮影された被写体の第１の撮影画像を取得する工程と、
前記第１の撮像部と光軸が重なる第２の撮像部で撮影された、前記被写体の第２の撮影画像を取得する工程と、
前記第１の撮影画像の各画素についての合成比率を与えるフィルタを取得し、第１の合成比率を計算する工程と、
前記第２の撮影画像の各画素についての合成比率を与えるフィルタを取得し、第２の合成比率を計算する工程と、
前記第１の撮影画像と前記第２の撮影画像との対応する画素を、前記第１の合成比率と前記第２の合成比率の割合で合成することで、合成画像を生成する合成工程とを備えることを特徴とし、
前記フィルタは、画素周辺の空間周波数成分と、当該空間周波数に対する前記第１及び第２の撮像部の解像度とに応じて、合成比率を与えることを特徴とする画像処理方法。
【請求項１１】
画像処理装置が行う方法であって、
撮像部を駆動して、当該撮像部を第１の構成又は第２の構成とする駆動工程と、
前記第１の構成の撮像部によって撮影された被写体の第１の撮影画像を取得する工程と、
前記第１の構成の撮像部と光軸が重なる前記第２の構成の撮像部によって撮影された、前記被写体の第２の撮影画像を取得する工程と、
所定の画像成分に対する前記第１の撮像部の解像度と前記第２の撮像部の解像度とから求めた、当該画像成分に対する前記第１の撮影画像と前記第２の撮影画像との合成比率を示す比率情報を取得する比率取得工程と、
前記第１の撮影画像の前記所定の画像成分と、前記第２の撮影画像の前記所定の画像成分とを、前記比率情報に従って合成することで、前記第１の撮影画像と前記第２の撮影画像とを合成した合成画像を生成する合成工程とを備えることを特徴とする、画像処理方法。
【請求項１２】
コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置が有する各手段として機能させるための、コンピュータプログラム。
【請求項１３】
請求項１２に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は補完関係にある複数の撮像光学系により取得した画像の合成技術に関する。
【背景技術】
【０００２】
理想的なレンズは物体上の一点から出た多数の光線を再び一点に結像させる。これに対して実際のレンズでは光線を一点に結像させる事が困難である。このため、物体上の一点から出た光はセンサ面上である程度の広がりをもって分布する。これは画像のぼけを招き、解像度の低下要因となる。理想的な結像状態からのずれは、光線のずれ方あるいはぼけ方の特徴によって分類されており、例えば色収差・非点収差・像面湾曲収差等がある。レンズ設計ではこれらの収差を抑えるように各種の工夫がなされるが、完全に収差をなくすことはできず、ぼけができるだけ小さくなるようにバランスをとってレンズは設計される。特許文献１では広角レンズで撮影した画像の中央部に、望遠レンズで撮影した画像を合成する方法が提案されている。画像中央部は望遠レンズで撮影した画像のほうが高解像度であるため、合成により中央部の解像度が向上する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１０３４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１によれば中央部の解像度が向上するが、周辺部の解像度は通常の広角レンズの解像度のままである。通常のレンズと同様に広角レンズも中央部と周辺部で解像度のバランスをとって設計されるため、周辺部の解像度は多少ぼけてしまう。つまり特許文献１では中央部の解像度は良好となる可能性があるが、周辺部の解像度に関しては改善効果が見込めない。また、画像全体について画像を重ね合わせることによって画質を向上させることを意図したものではなく、この方法では中央部と周辺部との境界領域に段差ができてしまい、かえって画質が劣化してしまうことも予想される。また、画像の全体を色収差を抑えるように合成することはこの方法では困難であるし、メリディオナル方向の解像度が高い画像とサジタル方向の解像度が高い画像の全体を合成することも困難である。
【０００５】
本発明は、画像の全体について解像度が高く、画像中の段差で画質劣化を来さない画像を生成する画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
第１の撮像部で撮影された被写体の第１の撮影画像を取得する手段と、
前記第１の撮像部と光軸が重なる第２の撮像部で撮影された、前記被写体の第２の撮影画像を取得する手段と、
所定の画像成分に対する前記第１の撮像部の解像度と前記第２の撮像部の解像度とから求めた、当該画像成分に対する前記第１の撮影画像と前記第２の撮影画像との合成比率を示す比率情報を取得する比率取得手段と、
前記第１の撮影画像の前記所定の画像成分と、前記第２の撮影画像の前記所定の画像成分とを、前記比率情報に従って合成することで、前記第１の撮影画像と前記第２の撮影画像とを合成した合成画像を生成する合成手段とを備えることを特徴とする。
【発明の効果】
【０００７】
画像の全体について解像度が高く、画像中の段差で画質劣化を来さない画像を生成できる。
【図面の簡単な説明】
【０００８】
【図１】補完関係にある撮像光学系を用いた撮像装置の一例
【図２】第１の実施形態における画像処理のフロー図
【図３】第１の実施形態における撮像光学系のＭＴＦと係数の算出法を示す図
【図４】第２の実施形態における撮像光学系のＭＴＦの特性を示す図
【図５】第２の実施形態における画像処理のフロー図
【図６】第２の実施形態において取得した画像の特性と処理領域を示す図
【図７】第３の実施形態におけるＭＴＦの特性と合成画像の周波数特性を示す図
【図８】第３の実施形態における合成処理のフロー図
【図９】本件発明の機能を実現する装置構成の一例
【図１０】第４の実施形態における撮像光学系を説明する図
【発明を実施するための形態】
【０００９】
本発明では伝達特性が補完関係にある撮像光学系をそれぞれ用いて同一の被写体の撮影画像を取得し、撮像光学系の伝達特性に基づいて合成することで、様々な観点において解像度に優れた画像を生成する。なお、本明細書において、撮像光学系と撮像素子を合わせて撮像部と称することとする。直感的に説明すると、補完関係にある撮像光学系のそれぞれはお互いの短所を補い合っている。例えばあるレンズが画像端で解像度が低くなると、他のレンズが画像端で解像度が高くなるようなレンズの組は補完関係にある撮像光学系である。補完関係にある撮像光学系では様々な条件に対してどれか一つの撮像光学系の解像度が高ければよい。画像端で解像度が高く画像中心で解像度が低い画像と、画像中心で解像度が高く画像端で解像度が低い２枚の画像は、どちらも許容できる画質ではない。そこで本発明では補完関係にある撮像光学系で撮影された画像を、個々の撮影光学系の伝達特性に基づいて合成することで、様々な観点において解像度が高い画像を得る。
【００１０】
以下、本発明の画像処理方法を用いた撮像装置の具体的な実施形態を図面を用いて説明する。以下の実施形態においては例として、所定の画像成分（色、像高、空間周波数）についての収差を原因とする解像度の低下を抑える方法を説明する。しかし、本発明の実施形態はこれらに限られるものではなく、例えば複数の収差を抑える構成をとってもよいし、他の画像成分に対する収差を抑えてもよい。
【００１１】
第１の実施形態では、色収差に関するトレードオフを扱う。レンズの屈折率は光の波長によって異なる。そのため、光の波長毎に結像状態が異なる。ある波長の光を一点に集めようとすると、他の波長の光が集光せず、ぼけてしまう。このように色収差によって色毎の解像度にはトレードオフの関係が発生する。
【００１２】
第２の実施形態では、像面湾曲収差に関するトレードオフを扱う。像面湾曲収差とは、結像面の中心と周辺とにおいてピントの差が生じてしまう現象である。ピントが中心に合った場合を考えると、画像の端の領域に結像すべき光はセンサの手前ないし奥で結像してしまう。センサの手前で結像するため、センサ上では光がぼけてしまう。ピントが画像中心に合った場合、像面湾曲収差は画像中心に対して画像端がぼける現象を言うが、仮に画像端での結像点とセンサ面を一致させてぼけを改善すると逆に画像中心がぼけてしまう。このように像面湾曲収差によって画像端と画像中心の解像度にはトレードオフの関係が発生する。
【００１３】
第３の実施形態では、非点収差に関するトレードオフを扱う。物体上の一点から出た光線はレンズ上のあらゆる点を通過する。これら光線のうち二つの断面を通る光線群を考える。第一の断面は光軸を含む断面、第二の断面は第一の断面に垂直で光軸に平行な断面である。第一の断面はメリディオナル面、第二の断面はサジタル面と呼ばれている。通常、それぞれの断面に含まれる光線群は入射角の相違により別々の位置に結像する。例えばメリディオナル面の光線がセンサ上に結像したとすると、サジタル面の光線はセンサ面の前後にずれて結像する。サジタル面の光線に関する結像位置のずれは、画像中心を円の中心とする同心円上で円周方向のぼけを発生させる。逆にメリディオナル面に含まれる光線の結像位置がセンサ面とずれる場合には、画像中心から放射方向のぼけが発生する。このように非点収差によって円周方向と放射方向の解像度にトレードオフが発生する。
【００１４】
［第１の実施形態］
第１の実施形態では、補完関係にある撮像光学系を用い、撮像光学系の伝達特性に基づいて色収差の少ない画像を得る方法について説明する。ここで伝達特性とは当業者によってＯＴＦ(Optical Transfer Function)と呼ばれているものである。ＯＴＦは様々な周波数パターンに対する光学系の応答を表す。ＯＴＦは測定可能な量であり、通常は二次元の空間周波数の関数として表される。ＯＴＦは解像度の指標として用いられ、ＯＴＦの絶対値であるＭＴＦが１に近いほど解像度が高い。ＭＴＦが全空間周波数について１であると理想結像となり、画像のぼけは発生しない。通常ＭＴＦは収差のため、ＤＣ成分を除いては１より小さい値をとる。またＭＴＦは色によっても異なるし、画像の中心・端等画像位置によっても異なる。以上のようにＭＴＦは撮像光学系の解像度に関する特性を表す特性値である。
【００１５】
図１は第１の実施形態に係る補完関係にある撮像光学系を用いた撮像装置の一例である。不図示の被写体からの光線101はハーフミラー102により光路が二つに分かれる。一方の光線は撮像光学系104により撮像素子106に導かれる（第１の撮像部）。もう一方の光線はミラー103により反射され撮像光学系105により撮像素子107に導かれる（第２の撮像部）。ここで撮像光学系104と撮像光学系105とは補完関係にある撮像光学系である。第１の実施形態における撮像光学系104と撮像光学系105とは、それぞれ解像度が高くなる光の波長が異なる。例えば撮像光学系104は短波長側の光に関して解像度が高く、その代わりに長波長側の光に関して解像度が低い。また撮像光学系105は短波長側の光に関して解像度が低く、その代わりに長波長側の光に関して解像度が高い。上記のような撮像光学系104,105の構成は当業者であれば想到可能である。例えばレンズ設計を行う際、２つのレンズの解像度の目標をそれぞれ短波長側、長波長側において高く持って、適切な光学配置を行えばよい。本実施形態では補完関係にある撮像光学系として２つの撮像光学系104と105を挙げた。しかしながら、短波長、中波長、長波長というように波長を３分割して、それぞれの波長で解像度の高い３つの撮像光学系により構成してもよいし、さらには任意の数の撮像光学系により構成してもよい。
【００１６】
撮像素子106,107は例えばＣＣＤやＣＭＯＳ等が好適であり、電気信号として画像情報を形成する。撮像素子106,107から信号を読み出すことで、同一の被写体の撮影画像110（第１の撮影画像）,111（第２の撮影画像）がそれぞれ得られる。ここで撮影画像110は短波長側の光である青に関して解像度が高く、長波長側の光である赤に関して解像度が低い。また撮影画像111では短波長側の光である青に関して解像度が低く、長波長側の光である赤に関して解像度が高い。つまり、撮影画像110,111のどちらの画像も一長一短であり、特定の色（所定の画像成分）に関しては解像度は高いが、それ以外の色に関しては解像度が低い。画像合成部112は、係数記憶部133に記憶されている係数に基づいて撮影画像110,111を合成し、合成画像113を生成する。第１の実施形態に係る合成方法については後述する。画像合成部112により合成された合成画像113は短波長・長波長のどちらの色の光に関しても解像度が高い画像である。合成画像113は画像記憶部135に記憶される。
【００１７】
＜第１の実施形態に係る画像合成方法＞
図２のフローチャートを用いて、第１の実施形態に係る画像合成部112が実行する画像合成方法を説明する。まずステップS201では撮像素子106,107から撮影画像110,111を取得する。次にステップS202で係数記憶部133から合成処理のための係数を読み出す（比率取得手段）。第１の実施形態では係数は撮像光学系104についての係数WaR,WaG,WaB,及び撮像光学系105についての係数WbR,WbG,WbBである。
【００１８】
合成処理のための係数の算出方法について述べる。図３(a)、図３(b)に撮像光学系104と撮像光学系105の光の波長に対するＭＴＦのグラフをそれぞれ示す。横軸は光の波長、縦軸は代表的な空間周波数に対する各光学系のＭＴＦである。代表的な空間周波数として何を採用してもよいが、例えば10cycle/mmであればよい。本実施形態では、撮像光学系104は短波長で解像度が高く、長波長で解像度が低い。そのため図３(a)において長波長側ほどＭＴＦが低くなっている。また図３(b)に示す通り、撮像光学系105では短波長側ほどＭＴＦが低い。このようなデータは当業者であればレンズ設計値等から計算可能である。図３(a),(b)に示す波長対ＭＴＦのデータから次式に基づいて係数WaR,WaG,WaB,WbR,WbG,WbBを計算する。
【００１９】
ＷａＲ＝∫ＭＴＦａ（λ）×Ｒ（λ）dλ
ＷａＧ＝∫ＭＴＦａ（λ）×Ｇ（λ）dλ
ＷａＢ＝∫ＭＴＦａ（λ）×Ｂ（λ）dλ
ＷｂＲ＝∫ＭＴＦｂ（λ）×Ｒ（λ）dλ
ＷｂＧ＝∫ＭＴＦｂ（λ）×Ｇ（λ）dλ
ＷｂＢ＝∫ＭＴＦｂ（λ）×Ｂ（λ）dλ
ここでＲ（λ）、Ｇ（λ）、Ｂ（λ）は、撮像部のＲＧＢチャネルのそれぞれの、波長λの光に対する感度（分光感度特性）である。積分は波長についてなされる。このような積分によりＲ、Ｇ、Ｂの各色チャネルに関する、撮像光学系104,105それぞれの係数が算出される。係数が大きいほど対応するチャネルの色に関して解像度が高い。上記計算の概念図を図３(c)に示す。図３(c)より撮像光学系104は短波長側でMTFが高いためWaRは小さく、逆に長波長側でMTFが低いためWaBは大きい。撮像光学系105ではこれとは反対に短波長側でMTFが低いためWaRが大きく、逆にWaBは小さい。
【００２０】
ステップS203では係数記憶部133から読み出した上記係数を用いて画像合成を行う。撮影画像110のＲＧＢ成分のそれぞれに対応する画像をIaR,IaG,IaBとし、また撮影画像111のＲＧＢ成分のそれぞれに対応する画像をIbR,IbG,IbBとする。合成画像のRGBプレーンに対応する画像をIR,IG,IBとすると画像合成は次式に基づき行われる。
【００２１】
IR=(WaR×IaR+WbR×IbR)/(WaR+WbR)
IG=(WaG×IaG+WbG×IbG)/(WaG+WbG)
IB=(WaB×IaB+WbB×IbB)/(WaB+WbB)
すなわち、IaとIbとの加重平均を、係数Wa及びWbを用いて計算する。すなわち、Wa及びWbはIaとIbとの合成比率を示す比率情報である。この計算は、撮像光学系が３つ以上ある場合にも同様に適用可能である。図３(a)及び図３(b)の例によれば、合成画像のＲプレーンはＲについて解像度の高い撮影画像111により主に構成される。また、合成画像のＢプレーンはＢについて解像度の高い撮影画像110により主に構成される。Ｇプレーンについては撮影画像110,111ともに同程度の解像度であり、IaGとIbGとを同程度の比率で合成した画像により構成される。以上述べた処理により、色収差に関して補完関係にある撮像光学系104及び105により取得された撮影画像110及び111から、どの色についても解像度の高い、色収差の少ない合成画像113を得る事ができる。
【００２２】
＜第２の実施形態＞
本発明の第２の実施形態として、補完関係にある撮像光学系を用いて様々な像高（所定の画像成分）で解像度の高い画像を得る方法について説明する。なお、像高とは画像中心からの距離の事であり、一般的には像高が低いほど解像度が高くなるようにレンズを設計する。本実施形態に係る画像処理装置は、第１の実施形態と同様に図１の構成をとればよい。第１の実施形態との相違は撮像光学系104,105の光学特性、画像合成部112の処理内容、及び係数記憶部133に記憶される係数である。
【００２３】
撮像光学系104は低い像高では解像度が高く、高い像高で解像度が低くなるという特性を有する。また撮像光学系105は逆に、低い像高では解像度が低く、高い像高では解像度が高くなるという特性を有する。図４に撮像光学系104,105についての像高に対するMTFのグラフを示す。上記のような特性を有する２つの撮像光学系は当業者であれば光学ＣＡＤ等により設計する事が可能である。具体的には２つのレンズの解像度の目標をそれぞれ低像高側、高像高側で高く持って設計を行えばよい。一例として、像面湾曲収差により高像高で発生する解像度低下を気にせずに、低像高の光線に関してセンサ面上に結像するように撮像光学系104を設計すればよい。逆に撮像光学系105は、高像高の光線の結像面とセンサ面とを合わせるように設計すればよい。撮像光学系105は、低像高では結像面とセンサ面とが離れてしまい解像度が低くなるが、その分高像高で解像度を高くできる。
【００２４】
次に第２の実施形態において画像合成部112が実行する画像合成の処理フローを図５を用いて説明する。ステップS501では撮影画像110,111を取得する。ステップS502では、撮影画像110,111中の画素の１つを処理対象として選択する。例えばラスタ順に選択していけばよい。例として、位置(X,Y)を選択している場合を説明する。ステップS503では処理対象の画像位置の像高hを計算する。具体的には画像中心の画素位置を(Xc,Yc)とし、現在の画像位置を(X,Y)とする場合に、像高h=√{(X-Xc)2+(Y-Yc)2}として像高を計算すればよい。  ステップS504では像高hに対応する係数Wa(h),Wb(h)を係数記憶部133から読み出す。第２の実施形態に係る係数Wa(h),Wb(h)は、以下のように算出され、係数記憶部133に記憶されていればよい。すなわち、各像高に対するＭＴＦ値によってWa(h),Wb(h)をそれぞれ定義する。図４(a),(b)はそれぞれ撮像光学系104,105について、各像高に対する代表的な空間周波数に対するＭＴＦ値Wa(h),Wb(h)を示している。代表的な空間周波数として何を採用してもよいが、例えば10cycle/mmであればよい。図４(a)に示すように、撮像光学系104は低像高においては解像度が高いため低像高でのWaが大きく、また高像高においては解像度が低いため高像高でのWaが小さくなっている。また図４(b)に示すように、撮像光学系105は低像高においては解像度が低いた低像高でのWbが小さく、高像高においては解像度が高いため高像高でのWbが大きくなっている。
【００２５】
次にステップS505では、位置(X,Y)についての撮影画像110の画素値Ia(X,Y)及び撮影画像111の画素値Ib(X,Y)、及び係数Wa(h),Wb(h)を用いて、第１の実施形態と同様に計算を行う。具体的には、位置(X,Y)に対応する合成画像113の画素値I(X,Y)を次式により計算する。
I(X,Y) = {Wa(h)×Ia(X,Y) + Wb(h)×Ib(X,Y)} / {Wa(h)+Wb(h)}
計算した画素値I(X,Y)は、画像記憶部135に記憶しておけばよい。上記の計算式にもとづけば、合成画像113の低像高部分は、低像高で解像度の高い撮影画像110により主に構成される。また合成画像113の高像高部分は、高像高で解像度の高い撮影画像111により主に構成される。
【００２６】
ステップS506では、まだ選択していない画素があるか否かを判断する。まだ選択していない画素が存在する場合はステップS502に戻り、次の画素を選択する。撮影画像110中の全て画素を選択している場合は、処理を終了する。以上の処理により、様々な像高で解像度の高い、像面湾曲収差の少ない合成画像を得ることができる。
【００２７】
＜第３の実施形態＞
本実施形態ではメリディオナル方向に解像度が高い撮像光学系と、サジタル方向に解像度が高い撮像光学系を用いて、両方向に解像度が高い画像を得る方法について述べる。通常、単一の撮像光学系で両方向ともに解像度を高くする事は困難である。本実施形態に係る画像処理装置は、第１の実施形態と同様に図１の構成をとればよい。第１の実施形態との相違は撮像光学系104,105の光学特性、画像合成部112の処理内容、及び係数記憶部133に記憶される係数である。
【００２８】
本実施形態で撮像光学系104はメリディオナル方向に解像度が高く、サジタル方向に解像度が低い。また本実施形態では撮像光学系105はメリディオナル方向に解像度が低く、サジタル方向に解像度が高い。撮像光学系104,105は補完関係にある撮像光学系である。撮像光学系104,105の特徴を図６を用いて説明する。図６(b)は図６(a)に示すチャートを撮像光学系104を用いて撮影した場合の撮影画像の例である。撮像光学系104はメリディオナル方向に解像度が高いため、画面中心から放射方向に関してはあまりぼけずに、くっきりとしている。従って図６(b)では同心円をなす曲線に関しては鮮明な像が得られる。一方で、撮像光学系105はサジタル方向に解像度が低いため、円周方向に関しては像がぼけてしまう。そのため図６(b)では放射状の線分の像が円周方向にぼけている。一方、図６(c)は撮像光学系105を用いて図６(a)に示すチャートを撮影した場合の撮影画像の例である。図６(c)とは逆に、メリディオナル方向の解像度が低いために同心円をなす曲線が放射方向にぼけている。逆にサジタル方向の解像度が高いため放射状の線分の像は鮮明である。
【００２９】
＜第３の実施形態・合成方法の例１＞
以下で、本実施形態に係る画像合成部112の処理を説明する。撮影画像110,111の合成では、合成画像の各領域について順次画像合成を行う。説明のため例えば図６(d)に示す合成画像801のうち、領域802内の画像合成を行う場合を考える。領域802に対応する、合成のための係数算出方法について述べる。領域802に対応する撮像光学系104のMTFaの例を図７(a)に、撮像光学系105のMTFbの例を図７(b)にそれぞれ示す。図７(a),(b)において縦軸、横軸はそれぞれ縦、横方向の空間周波数（所定の画像成分）を意味する。網点の部分はＭＴＦが高い領域を示す。撮像光学系104はメリディオナル方向、すなわち放射方向に解像度が高い。撮像光学系104を用いて撮影した撮影画像110の放射方向は領域802の左上-右下を結ぶ方向に対応し、この方向を軸にＭＴＦが高い値をとる様子が図７(a)に示されている。逆に撮像光学系105はサジタル方向に解像度が高いため、撮像光学系105を用いて撮影した撮影画像111の領域802内では、左下-右上を結ぶ方向を軸としてＭＴＦが高い値をとる。この様子が、図７(b)には示されている。第３の実施形態・合成方法の例１では、撮像光学系104,105のMTFであるMTFa及びMTFbが合成のための係数に他ならない。なお、撮像光学系のMTFは絞り、物体距離、ズーム位置等に応じて多少変動するため、撮影条件に応じた値を係数記憶部133に格納しておくか、あるいは係数を変更する事が望ましい。撮影条件の取得は例えば図１のシステムコントローラ132によって取得する方法がある。
【００３０】
第３の実施形態・合成方法の例１における合成処理のフローを図８(a)に示す。ステップS1001では撮影画像110及び111を取得する。続いて、撮影画像110,111を同じ方法で複数の領域に分割し、部分画像（第１の部分画像及び第２の部分画像）とする(S1002)（第１の分割手段及び第２の分割手段）。分割方法は任意であるが、例えば、縦方向に均等に５分割、横方向に均等に５分割して、２５個の領域に分割すればよい。この後の処理では各分割領域について合成画像の計算が順次行われるものとする。ステップS1003では分割領域の１つを順に選択する。次に、撮影画像110,111の選択領域をフーリエ変換（直交空間周波数変換又は直交変換）する(S1004)。撮影画像110の選択領域のフーリエ変換をFa(u,v)（第１の周波数空間画像）、撮影画像111の同じ領域のフーリエ変換をFb(u,v)（第２の周波数空間画像）とする。ここで、uは横方向の空間周波数を、vは縦方向の空間周波数を示すものとする。ステップS1005では選択した分割領域における合成画像のフーリエ変換ＦＩ（第３の周波数空間画像）を、次式に基づいて第１及び第２の周波数空間画像の各成分を合成することで計算する。MTFa(u,v)は撮像光学系104の、選択領域における、横方向の空間周波数がuで縦方向の空間周波数がvである時のMTFを示す。これは、メリディオナル方向とサジタル方向との空間周波数に対するMTFから計算可能である。例えば、それぞれの分割領域について、メリディオナル方向とサジタル方向との座標系を直交座標系に近似してから、縦横方向の座標系となるように座標系を回転させればよい。MTFb(u,v)も同様である。
FI={ MTFa(u,v)×Fa(u,v)+MTFb(u,v)×Fb(u,v) }/{MTFa(u,v)+MTFb(u,v)}
【００３１】
上記の計算式により構成されるＦＩの概念図を図７(c)に示す。上記の計算式によれば、ある空間周波数におけるＦＩは、係る周波数においてＭＴＦが高いほうの撮像光学系で得た画像が主に使用される。従って合成画像のフーリエ変換ＦＩの周波数特性は図７(a),(b)のＭＴＦの高い部分を足し合わせたような特性になる。この結果、合成画像はサジタル方向、メリディオナル方向ともにＭＴＦが高く、解像度が高いことが分かる。なお、図７(c)から分かる通り、合成画像のフーリエ変換ＦＩは上下方向と左右方向の値が相対的に低い。これに不満がある場合には、図７(c)において応答が低い周波数を補完するような新たな撮像光学系を追加して、応答が低い周波数を同様の合成手法により補えばよい。ステップS1006では選択領域の合成画像のフーリエ変換ＦＩを逆フーリエ変換し、選択領域の合成画像（第３の部分画像）を得る。各合成部分画像は、合成部分画像群を構成する。得た合成画像は逐次画像記憶部135に格納していけばよい。ステップS1007ではすべての部分領域を選択したか否かを判断し、選択していなければステップS1003に戻って次の部分領域を選択する。選択していれば、画像記憶部135に格納されている合成部分画像を統合し、合成画像を生成する(S1008)。
【００３２】
＜第３の実施形態・合成方法の例２＞
第３の実施形態・合成方法の例１と同様に画像の各領域について順次画像合成を行う。第３の実施形態・合成方法の例１では撮影画像にフーリエ変換を施し、周波数空間で加重平均をしていた。しかしながらこの方法は合成の過程が直感的に分かりやすいという利点はあるものの、実装負荷が高い。そこで合成方法の例２では撮影画像をフーリエ変換して周波数空間上で合成するのではなく、実空間上においてフィルタ処理を行い、第３の実施形態・合成方法の例１と等価な結果を得る。
【００３３】
第３の実施形態・合成方法の例１による合成の計算式を改めて記す。
FI={ MTFa(u,v)×Fa(u,v)+MTFb(u,v)×Fb(u,v) }/{MTFa(u,v)+MTFb(u,v)}
上記の式を逆フーリエ変換すると、次式を得る。
I=fa*Ia+fb*Ib
ここでIは合成画像、Ia,Ibはそれぞれ撮影画像110,111である。*はコンボリューション演算を示す。またfa,fbはそれぞれ次式で表される。
fa= ( MTFa(u,v)/{MTFa(u,v)+MTFb(u,v)} の逆フーリエ変換 )
fb= ( MTFb(u,v)/{MTFa(u,v)+MTFb(u,v)} の逆フーリエ変換 )
画像合成に用いるべき係数は上記の２式によって表されるfa（第１の合成比率）,fb（第２の合成比率）に他ならなず、fa及びfbはIaとIbとの合成比率を与える。この合成比率の割合でIaとIbとを合成すればよい。このような係数を撮影条件、画像中の位置毎に図1の係数記憶部133に格納し、画像合成部112はこれらの係数を画像合成の際に読み出す。
【００３４】
第３の実施形態・合成方法の例２に係る画像合成の処理フローを図８(b)に示す。図８(b)の処理は、他に明示されない限り画像合成部112が行う。ステップＳ1201では撮影画像110,111を取得する。ステップS1202では撮影条件・画素位置に応じて係数記憶部133から前述の係数fa,fbを読み出し、撮影画像110,111のそれぞれにコンボリューションを行う。ステップS1202では撮影画像の各画素についてコンボリューションを行うが、その際には画素位置ごとに対応する係数fa又はfbを用いることに注意する。fa及びfbは、各画素周辺の空間周波数成分と、その空間周波数に対する撮像光学系105,106の解像度に応じて、IaとIbとの合成比率を与える。ステップS1203ではコンボリューション後の画像fa*Iaとfb*Ibとを加算して合成画像113を得る。合成画像113は第３の実施形態・合成方法の例１で得られる画像と数学的に等価であり、従ってメリディオナル方向・サジタル方向ともに解像度が高い。以上第３の実施形態により、補完関係にある撮像光学系104と105を用いて撮影された画像を使って、メリディオナル方向・サジタル方向の両方向に解像度の高い合成画像を得る事ができる。
【００３５】
＜第４の実施形態＞
本実施形態では、光学特性が可変な単一の撮像光学系を用いて画像合成を行う。単一の撮像光学系であっても、光学特性を可変にすることによって実質的に補完関係にある光学系を構成できる。例として、単一の撮像光学系を用いて像高という観点において補完関係にある撮像光学系を構成する方法を図１０を用いて説明する。本実施形態では、像高の高い領域の画像を、手前の結像像面（第２のセンサ位置1404）に可能な限り結像させる。また、像高の低い領域の画像は、奥の結像像面（第１のセンサ位置1403）に可能な限り結像させる。この構成では、画像の撮影画像の全体は結像像面1402のように結像する。上記の特性を有する光学配置は当業者であれば設計可能である。上記の特性を有する撮像光学系でセンサ位置を駆動変更して２回撮影を行うことにより、２枚の画像が得られる。第１のセンサ位置1403（第１の構成）では像高の低い位置で結像像面とセンサ面とが近づくため、低像高で解像度が高い。第２のセンサ位置1404（第２の構成）では像高の高い位置で結像像面とセンサ面とが近づくため、高像高で解像度が高い。つまり、センサ位置を変化させることにより２通りの光学特性が得られ、２通りの光学特性は像高に関する解像度に関して補完関係にある。このような撮像光学系を用いて得られた２枚の画像を合成し、像高という観点において解像度の高い画像を得る処理方法は第２の実施形態と同様である。本実施形態では単一の撮像光学系を用いるため撮像光学系を構成する部品数が少なく、本実施形態に係る画像処理装置を安価に実現できるという利点がある。もちろん、３か所以上のセンサ位置で撮影した画像を合成することも、同様に可能である。
【００３６】
＜その他の実施形態＞
上述の第１〜第３の実施形態において、画像合成に用いる係数は、撮像光学系104,105の組み合わせの各々に対してあらかじめ計算されている。すなわち、撮像光学系104,105の複数の組み合わせの各々に対応する係数の組が、係数記憶部133に記憶されている。第４の実施形態においても、第一のセンサ位置1403と第二のセンサ位置1404とで得た撮影画像を合成するために用いる係数は、係数記憶部133にあらかじめ記憶されている。しかしながら、撮像光学系104,105を設定した際、例えば撮像光学系104,105を交換した際等に、撮像光学系104,105の有するメモリ等からMTFデータを画像合成部112等の適切な処理部が取得する。そして、係数を計算して係数記憶部133に格納してもよい。係る構成により、撮像光学系を自由に組み合わせた場合でも、本発明を適用できる。
【００３７】
本発明は、上記第１〜第４の実施形態と同等の処理を、コンピュータプログラムでも実現できる。装置構成の一例を図９に示す。この場合、図１をはじめとする構成要素の各々は関数、若しくはＣＰＵ（演算装置1305）が実行するサブルーチンで機能させれば良い。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体1304に格納されている。そのプログラムを、コンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピー若しくはインストールすることで実行可能になる。従って、係るコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。具体的には補完関係にある撮像光学系により撮影画像を取得し、各撮像光学系の伝達関数から計算された係数は記録媒体1304やネットワーク等を介してコンピュータに提供し、コンピュータの演算装置1305により画像合成処理を行えばよい。
【図１】
2011022729.tif 000003
【図２】
2011022729.tif 000004
【図３】
2011022729.tif 000005
【図４】
2011022729.tif 000006
【図５】
2011022729.tif 000007
【図６】
2011022729.tif 000008
【図７】
2011022729.tif 000009
【図８】
2011022729.tif 000010
【図９】
2011022729.tif 000011
【図１０】
2011022729.tif 000012