(57)【特許請求の範囲】
【請求項１】
複数の撮像系の各伝達関数が入力される伝達関数入力部と、
入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出部と、
前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成部と、
前記複数の撮像系の各々について生成された前記回復フィルタを用いて、前記複数の撮像系により取得された前記撮像画像に対して前記回復処理を行い回復画像を生成する回復画像生成部と、
を備え、
前記算出部において用いられる前記所定の基準は、前記複数の撮像系の前記回復画像の解像値を一致させるのを前提条件とし、前記回復画像の各々における増幅倍率の最大値が所定の閾値以下となる範囲内において、最大になる解像値を前記目標解像値とする画像処理装置。
【請求項２】
複数の撮像系の各伝達関数が入力される伝達関数入力部と、
入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出部と、
前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成部と、
前記複数の撮像系の各々について生成された前記回復フィルタを用いて、前記複数の撮像系により取得された前記撮像画像に対して前記回復処理を行い回復画像を生成する回復画像生成部と、
を備え、
前記算出部に用いられる前記所定の基準は、前記複数の撮像系の前記回復画像の解像値を一致させるのを前提条件とし、前記複数の撮像系の前記伝達関数のうち、絶対値が最小である値の定数倍を前記目標解像値とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置を有するカメラシステムであって、
前記複数の撮像系と前記複数の撮像系の制御を行う制御装置は有線または無線により接続されており、
前記制御装置に、前記画像処理装置が設けられているカメラシステム。
【請求項４】
請求項１または２に記載の画像処理装置を有するカメラシステムであって、
前記複数の撮像系と前記複数の撮像系の制御を行う制御装置は有線または無線により接続されており、
前記複数の撮像系のうちの少なくとも１つに、前記画像処理装置が設けられているカメラシステム。
【請求項５】
請求項１または２に記載の画像処理装置を有する複数のカメラによって構成されるカメラシステムであって、
前記複数の撮像系と前記複数の撮像系の制御を行う制御装置は有線または無線により接続されており、
前記複数の撮像系の各々には、前記画像処理装置が設けられているカメラシステム。
【請求項６】
複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、
前記複数の撮像系の各々について生成された前記回復フィルタを用いて、前記複数の撮像系により取得された前記撮像画像に対して前記回復処理を行い回復画像を生成する回復画像生成ステップと、
を含み、
前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の前記回復画像の解像値を一致させるのを前提条件とし、前記回復画像の各々における増幅倍率の最大値が所定の閾値以下となる範囲内において、最大になる解像値を前記目標解像値とする画像処理方法。
【請求項７】
複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、
前記複数の撮像系の各々について生成された前記回復フィルタを用いて、前記複数の撮像系で取得された前記撮像画像に対して前記回復処理を行い回復画像を生成する回復画像生成ステップと、
を含み、
前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の前記回復画像の解像値を一致させるのを前提条件とし、前記複数の撮像系の前記伝達関数のうち、絶対値が最小である値の定数倍を前記目標解像値とする画像処理方法。
【請求項８】
複数の撮像系が有線または無線により接続されているカメラシステムにおいて、
前記カメラシステムは、
複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、
を含み、
前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、前記回復画像の各々における増幅倍率の最大値が所定の閾値以下となる範囲内において、最大になる解像値を前記目標解像値とする回復フィルタ生成方法により生成された前記回復フィルタを有するカメラシステム。
【請求項９】
複数の撮像系が有線または無線により接続されているカメラシステムにおいて、
前記カメラシステムは、
複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
を含み、
前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、前記回復画像の各々における増幅倍率の最大値が所定の閾値以下となる範囲内において、最大になる解像値を前記目標解像値とする目標解像値算出方法により算出された前記目標解像値を有するカメラシステム。
【請求項１０】
複数の撮像系が有線または無線により接続されているカメラシステムにおいて、
前記カメラシステムは、
複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、
を含み、
前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、前記複数の撮像系の前記伝達関数のうち、絶対値が最小である値の定数倍を前記目標解像値とする回復フィルタ生成方法により生成された回復フィルタを有するカメラシステム。
【請求項１１】
複数の撮像系が有線または無線により接続されているカメラシステムにおいて、
前記カメラシステムは、
複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
を含み、
前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、前記複数の撮像系の前記伝達関数のうち、絶対値が最小である値の定数倍を前記目標解像値とする目標解像値算出方法により算出された前記目標解像値を有するカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、点拡がり関数に基づく回復処理が行われる画像処理装置、画像処理方法、およびカメラシステムに関する。
【背景技術】
【０００２】
光学系を介して撮影される被写体像には、光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数(ＰＳＦ:Point Spread Function)と呼ばれ、撮像画像（撮影画像）の解像度劣化（ボケ）を左右する特性として知られている。【０００３】
点拡がり現象のために画質劣化した撮像画像は、ＰＳＦに基づく回復処理を受けることによって画質を回復可能である。この回復処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた回復フィルタを用いた画像処理によって撮像画像の点拡がりをキャンセルまたは低減する処理である。この回復処理を利用した技術が、従来より提案されている。【０００４】
例えば特許文献１には、復元フィルタ（回復フィルタ）を使用して復元処理（回復処理）を行い、復元処理後の画像の評価値（ＭＴＦ（modulation transfer function）、ＴＶ（television）解像本数、または評価エリアにおけるコントラスト）を所定の評価値以上にさせる復元フィルタをメモリに保存しておく撮像装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−８５６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、通常、画像の回復には伝達関数の逆関数を乗算するべきであるが、そのまま逆関数を乗算したのでは、劣化の程度が大きな周波数成分において、非常に大きな増幅率を適用することになり、撮像系のノイズを増幅し、逆に画質を劣化させてしまう可能性がある。これを回避するために、撮像系のＳＮ比(signal-noise ratio)が既知である状況において、画像を最小二乗の意味によって最適に回復する、ウィナー（Wiener）フィルタがよく用いられている。【０００７】
ＦＡＭＶ(Factory Automation Machine Vision)などの分野においては、全く同一な解像性能を持つ複数のカメラを有するシステムが求められる。これは、複数のカメラから出力された撮像画像に対して画像認識アルゴリズムを適用する際に、もし撮像画像間の解像が異なると、各撮像画像に合わせて個別に認識アルゴリズムの微調整を行う作業が必要となるからである。すなわち、複数のカメラから出力された撮像画像であっても、同じパラメータの設定の認識アルゴリズムにより処理が可能であることが好ましい。しかしながら実際には、同じ型番のレンズまたはカメラであっても、製造時に発生する個体バラツキによって各個体の性能が変化してしまうため、複数のカメラから出力された撮像画像において全く同じ解像を実現するのは難しい。【０００８】
この問題を解決するために、レンズ個体ごとの光学伝達関数を実測し、それを用いて個別にウィナーフィルタによる回復処理によって解像補正を実施するという手段が考えられる。しかしながら、単にウィナーフィルタによる回復処理を個別に適用しただけでは、補正後の画像の解像が必ずしも同一となっている保証がない。これは、ウィナーフィルタは画像を最小二乗の意味で最良に回復する処理であるため、良いレンズはより良く、悪いレンズは回復しても良いレンズまでは及ばない（場合によってはノイズを消すためにさらに悪く回復してしまう）ケースが生じてしまうためである。【０００９】
特許文献１には、複数のカメラから出力される画像間において解像を合わせることに関しては言及されていない。【００１０】
本発明はこのような事情に鑑みてなされたもので、その目的は、複数の撮像系から出力される画像であっても、同一の解像を有し且つ画質が良好な画像を簡便に得ることができる画像処理装置、画像処理方法、およびカメラシステムを提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の一の態様である画像処理装置は、複数の撮像系の各伝達関数が入力される伝達関数入力部と、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出部と、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成部と、複数の撮像系の各々について生成された回復フィルタを用いて、複数の撮像系により取得された撮像画像に対して回復処理を行い回復画像を生成する回復画像生成部と、を備え、算出部において用いられる所定の基準は、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、回復画像の各々における増幅倍率の最大値が所定の閾値以下となる範囲内において、最大になる解像値を目標解像値とする。【００１２】
本態様によれば、算出部により、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、回復画像の各々における増幅倍率の最大値が所定の閾値以下となる範囲内において、最大になる解像値を目標解像値とする基準に基づいて、複数の撮像系における目標解像値が算出される。そして回復フィルタ生成部により、算出部により算出された目標解像値に基づいて各撮像系により出力された画像に対して用いられる回復フィルタが生成され、回復画像生成部により、撮像画像に対して回復処理が行われた回復画像が生成される。これにより本態様は、複数の撮像系により取得された撮像画像であっても、解像値が一致し且つ画質が良好な回復画像を、簡便に取得することができる。【００１３】
本発明の他の態様である画像処理装置は、複数の撮像系の各伝達関数が入力される伝達関数入力部と、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出部と、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成部と、複数の撮像系の各々について生成された回復フィルタを用いて、複数の撮像系により取得された撮像画像に対して回復処理を行い回復画像を生成する回復画像生成部と、を備え、算出部に用いられる所定の基準は、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、複数の撮像系の伝達関数のうち、絶対値が最小である値の定数倍を目標解像値とする。【００１４】
本態様によれば、算出部により、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、複数の撮像系の伝達関数のうち、絶対値が最小である値の定数倍を目標解像値とする基準に基づいて、複数の撮像系における目標解像値が算出される。そして回復フィルタ生成部により、算出部において算出された目標解像値に基づいて各撮像系により出力された画像に対して用いられる回復フィルタが生成され、回復画像生成部により、撮像画像に対して回復処理が行われた回復画像が生成される。これにより本態様は、複数の撮像系で取得された撮像画像であっても、解像値が一致し且つ画質が良好な回復画像を、簡便に取得することができる。【００１５】
本発明の他の態様であるカメラシステムは、上述の画像処理装置を有するカメラシステムであって、複数の撮像系と複数の撮像系の制御を行う制御装置は有線または無線により接続されており、制御装置に、画像処理装置が設けられている。【００１６】
本態様によれば、上述した画像処理装置がカメラシステムにおける制御装置に設けられている。これにより本態様は、複数の撮像系で取得された撮像画像であっても、解像値が一致し且つ画質が良好な回復画像を取得することができる。【００１７】
本発明の他の態様であるカメラシステムは、上述の画像処理装置を有するカメラシステムであって、複数の撮像系と複数の撮像系の制御を行う制御装置は有線または無線により接続されており、複数の撮像系のうちの少なくとも１つに、画像処理装置が設けられている。【００１８】
本態様によれば、上述した画像処理装置がカメラシステムを構成する複数のカメラのうち少なくとも１つに設けられている。これにより本態様は、複数の撮像系により取得された撮像画像であっても、解像値が一致し且つ画質が良好な回復画像を取得することができる。【００１９】
本発明の他の態様であるカメラシステムは、上述の画像処理装置を有する複数のカメラによって構成されるカメラシステムであって、複数の撮像系と複数の撮像系の制御を行う制御装置は有線または無線により接続されており、複数の撮像系の各々には、画像処理装置が設けられている。【００２０】
本態様によれば、上述した画像処理装置がカメラシステムを構成する複数の撮像系の各々に設けられている。これにより本態様は、複数の撮像系により取得された撮像画像であっても、解像値が一致し且つ画質が良好な回復画像を取得することができる。【００２１】
本発明の他の態様である画像処理方法は、複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、複数の撮像系の各々について生成された回復フィルタを用いて、複数の撮像系により取得された撮像画像に対して回復処理を行い回復画像を生成する回復画像生成ステップと、を含み、算出ステップに用いられる所定の基準は、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、回復画像の各々における増幅倍率の最大値が所定の閾値以下となる範囲内において、最大になる解像値を目標解像値とする。【００２２】
本発明の他の態様である画像処理方法は、複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、複数の撮像系の各々について生成された回復フィルタを用いて、複数の撮像系で取得された撮像画像に対して回復処理を行い回復画像を生成する回復画像生成ステップと、を含み、算出ステップにおいて用いられる所定の基準は、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、複数の撮像系の伝達関数のうち、絶対値が最小である値の定数倍を目標解像値とする。【００２３】
本発明の他の態様であるカメラシステムは、複数の撮像系が有線または無線により接続されているカメラシステムにおいて、カメラシステムは、複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、を含み、算出ステップに用いられる所定の基準は、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、回復画像の各々における増幅倍率の最大値が所定の閾値以下となる範囲内において、最大になる解像値を目標解像値とする回復フィルタ生成方法により生成された回復フィルタを有する。【００２４】
本発明の他の態様であるカメラシステムは、複数の撮像系が有線または無線により接続されているカメラシステムにおいて、カメラシステムは、複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、を含み、算出ステップにおいて用いられる所定の基準は、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、回復画像の各々における増幅倍率の最大値が所定の閾値以下となる範囲内において、最大になる解像値を目標解像値とする目標解像値算出方法により算出された目標解像値を有する。【００２５】
本発明の他の態様であるカメラシステムは、複数の撮像系が有線または無線により接続されているカメラシステムにおいて、カメラシステムは、複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、を含み、算出ステップに用いられる所定の基準は、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、複数の撮像系の伝達関数のうち、絶対値が最小である値の定数倍を目標解像値とする回復フィルタ生成方法により生成された回復フィルタを有する。【００２６】
本発明の他の態様であるカメラシステムは、複数の撮像系が有線または無線により接続されているカメラシステムにおいて、カメラシステムは、複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、を含み、算出ステップにおいて用いられる所定の基準は、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、複数の撮像系の伝達関数のうち、絶対値が最小である値の定数倍を目標解像値とする目標解像値算出方法により算出された目標解像値を有する。
【発明の効果】
【００２７】
本発明によれば、所定の基準を用いて複数の撮像系に対する目標解像値が算出され、算出された目標解像値に基づいて回復フィルタが生成され、生成された回復フィルタにより回復処理が行われるので、複数の撮像系から出力された画像間において周波数特性が一致し、且つ良好な画質を有する画像を簡便に得ることができる。
【図面の簡単な説明】
【００２８】
【図１】カメラシステムを概念的に示す図である。
【図２】カメラシステムを構成するコンピュータおよびカメラの機能構成を示すブロック図である。
【図３】コンピュータ側画像処理部（画像処理装置）の機能構成を示すブロック図である。
【図４】画像撮影から回復処理までの概略を示す図である。
【図５】画像のＭＴＦと周波数の関係を示す図である。
【図６】画像のＭＴＦと周波数の関係を示す図である。
【図７】画像のＭＴＦと周波数の関係を示す図である。
【図８】目標解像値の決定の工程を示すフロー図である。
【図９】画像処理方法の工程を示すフロー図である。
【図１０】カメラシステムを概念的に示す図である。
【図１１】カメラシステムに回復フィルタが設定される場合の動作フロー図である。
【図１２】カメラシステムに目標解像値が設定される場合の動作フロー図である。
【発明を実施するための形態】
【００２９】
以下、添付図面に沿って本発明の画像処理装置、画像処理方法、およびカメラシステムの好ましい実施の形態について説明する。
【００３０】
図１は、複数のカメラと制御装置とから構成されるカメラシステムを概念的に示す図である。
【００３１】
カメラシステム１はカメラ（撮像系）１０Ａ、カメラ（撮像系）１０Ｂ、およびコンピュータ（制御装置）６０により構成される。またカメラ１０Ａは撮像画像２Ａを取得し、カメラ１０Ｂは撮像画像２Ｂを取得する。なお図中では撮像画像２Ａおよび撮像画像２Ｂは、カメラ１０Ａおよびカメラ１０Ｂの撮影方向とともに概念的に示されている。
【００３２】
カメラ１０Ａおよびカメラ１０Ｂは、それぞれ異なる位置に設置され、被写体Ｏを撮影している。カメラ１０Ａは伝達関数Ｈ１を有し、撮像画像２Ａには被写体Ｏの像はＰ１の位置に写される。カメラ１０Ｂは伝達関数Ｈ２を有し、その撮像画像２Ｂには被写体Ｏの像はＰ２の位置に写される。なおカメラシステム１では、カメラ１０Ａ、カメラ１０Ｂ、およびコンピュータ６０は有線によって接続されているが、無線によって接続されてもよい。
【００３３】
カメラシステム１は例えばＦＡＭＶ用途で用いられる。カメラ１０Ａおよびカメラ１０Ｂにより撮影された画像は、画像解析されて画像に写っている物体が認識される。そのために、撮像画像２Ａおよび２Ｂにおいて被写体Ｏは同じ解像で写ることが求められる。なお、解像とは画像表示の精細さであり、画像における細部の表現力をいい、解像値または解像度のように数値によって表すこともできる。
【００３４】
本発明では、カメラシステム１に設けられた画像処理装置によって、被写体Ｏの画像上の解像が同一となるように回復処理が行われる。具体的には、カメラ１０Ａおよびカメラ１０Ｂの伝達関数Ｈ１およびＨ２をキャリブレーションにより求め、被写体Ｏの画面上の位置（Ｐ１、Ｐ２）における被写体Ｏの解像値が等しくなるように回復処理が行われる。ここでキャリブレーションとは、例えばカメラ１０Ａおよびカメラ１０Ｂの目標とする被写体Ｏの位置にチャートを置き、それぞれの伝達関数を測定することである。なお、本願において解像が同一または一致するとは、例えば目標解像値を基準にして５％、好ましくは３％の誤差範囲内に解像が収まっていることをいう。
【００３５】
図２は、カメラシステム１を構成するコンピュータ６０、コンピュータ６０に接続されるカメラ１０Ａおよびカメラ１０Ｂの機能構成を示すブロック図である。なお、カメラ１０Ａおよびカメラ１０Ｂは同様の構成であるので、カメラ１０Ａの構成のみ記載してカメラ１０Ｂの構成は省略する。
【００３６】
カメラ１０Ａは、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、レンズユニット１２とカメラ本体１４とは電気的に接続される。
【００３７】
レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。
【００３８】
カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、Ｒ（赤）Ｇ（緑）Ｂ（青）等のカラーフィルタ、およびイメージセンサ（フォトダイオード；ＣＭＯＳ（complementary metal oxide semiconductor）、ＣＣＤ（charge-coupled device）等）を有する。この撮像素子２６は、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８に送る。なお、カメラ１０Ａがカラー画像を取得する場合について説明するが、カメラ１０Ａは白黒画像または単色画像を取得することもできる。
【００３９】
本例の撮像素子２６は、光学系を用いた被写体像の撮影により原画像データを出力し、この原画像データはカメラ本体コントローラ２８の画像処理部３５に送信される。
【００４０】
カメラ本体コントローラ２８は、図２に示すようにデバイス制御部３４と画像処理部３５とを有し、カメラ本体１４を統括的に制御する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信する。また、デバイス制御部３４は、カメラ１０Ａが具備する各種デバイス類を適宜制御する。
【００４１】
画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、階調補正処理等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理等）、ＲＧＢおよび／またはＹＣｒＣｂ変換処理および画像圧縮処理等の各種の画像処理が、画像処理部３５において適宜行われる。
【００４２】
カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０等に送られる。カメラ１０Ａ（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ等の任意のフォーマットとしうる。したがって、カメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Exchangeable Image File Format）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データおよびサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。
【００４３】
コンピュータ６０は、カメラ本体１４の入出力インターフェース３２およびコンピュータ入出力部６２を介してカメラ１０Ａに接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、カメラ１０Ａからの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（カメラ１０Ａ、カメラ１０Ｂ、およびサーバ８０）を制御することができる。
【００４４】
サーバ８０は、サーバ入出力部８２およびサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。
【００４５】
各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ（Central Processing Unit）等）及びメモリ等を具備する。また、カメラ１０Ａ、コンピュータ６０およびサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０およびサーバ８０を一体的に構成してもよく、またコンピュータ６０およびサーバ８０のうち少なくとも一方が省略されてもよい。また、カメラ１０Ａにサーバ８０との通信機能を持たせ、カメラ１０Ａとサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。
【００４６】
図３は、コンピュータ側画像処理部（画像処理装置）６３の機能構成を示すブロック図である。コンピュータ側画像処理部６３は、コンピュータコントローラ６４に設けられている。
【００４７】
コンピュータ側画像処理部６３は、伝達関数入力部３、算出部５、回復フィルタ生成部７、および回復画像生成部９を備える。
【００４８】
コンピュータ側画像処理部６３には、カメラ１０Ａによって取得された撮像画像２Ａ（撮像画像データ）およびカメラ１０Ｂによって取得された撮像画像２Ｂ（撮像画像データ）が、入出力インターフェース３２およびコンピュータ入出力部６２を介して入力される。コンピュータ側画像処理部６３に入力された撮像画像２Ａおよび撮像画像２Ｂは、回復画像生成部９に入力される。
【００４９】
またコンピュータ側画像処理部６３には、カメラ１０Ａの伝達関数Ｈ１およびカメラ１０Ｂの伝達関数Ｈ２が、入出力インターフェース３２およびコンピュータ入出力部６２を介して入力される。コンピュータ側画像処理部６３に入力された伝達関数Ｈ１および伝達関数Ｈ２は、伝達関数入力部３に入力される。
【００５０】
算出部５は、入力された各伝達関数と算出基準（所定の基準）とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する。具体的には算出部５は、伝達関数Ｈ１および伝達関数Ｈ２と後で説明する算出基準とに基づいて、撮像画像２Ａおよび撮像画像２Ｂに対して行われる回復処理の目標解像値を算出する。ここで目標解像値とは例えば、回復処理によって変更される解像値のことであり、撮像画像に回復処理を行って得られる回復画像の解像値である。また目標解像値は、ある周波数またはある周波数帯域における解像値が示されてもよいし、ナイキスト周波数までの全ての周波数帯域における離散的にサンプリングされた解像値の集合で示されてもよい。
【００５１】
回復フィルタ生成部７は、複数の撮像系の伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する。具体的には回復フィルタ生成部７は、伝達関数Ｈ１および伝達関数Ｈ２と算出部５により算出された目標解像値に基づいて回復フィルタを生成する。
【００５２】
回復画像生成部９は、複数の撮像系の各々について生成された回復フィルタを用いて、複数の撮像系により取得された撮像画像に対して回復処理を行い回復画像を生成する。具体的には回復画像生成部９は、回復フィルタ生成部７により生成されたカメラ１０Ａの回復フィルタを使用して撮像画像２Ａに対して回復処理を行って回復画像１１Ａを生成し、回復フィルタ生成部７で生成されたカメラ１０Ｂの回復フィルタを使用して撮像画像２Ｂに対して回復処理を行って回復画像１１Ｂを生成する。ここで回復画像１１Ａおよび回復画像１１Ｂは、算出部５で算出された目標解像値に回復処理され、回復画像１１Ａと回復画像１１Ｂは同じ解像値を有する。
【００５３】
次に、回復処理に関して説明する。
【００５４】
図４は、画像撮影から回復処理までの概略を示す図である。点像を被写体として撮影を行う場合、被写体像は光学系（レンズ１６、絞り１７等）を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から原画像データＤｏが出力される。この原画像データＤｏは、光学系の特性に由来する点拡がり現象によって、本来の被写体像がぼけた状態の画像データとなる。
【００５５】
このぼけ画像の原画像データＤｏによって本来の被写体像（点像）を復元（回復）するため、原画像データＤｏに対して回復フィルタＦを用いた回復処理Ｐ１０を行うことによって、本来の被写体像（点像）に対してより近い像（回復画像）を表す回復画像データＤｒが得られる。
【００５６】
回復処理Ｐ１０において用いられる回復フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系の点像情報（点拡がり関数）に基づいて、所定の回復フィルタ算出アルゴリズムＰ２０によって得られる。光学系の点像情報（点拡がり関数）は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、回復フィルタＦを算出する際には、これらの撮影条件が取得される。
【００５７】
上述のように回復処理Ｐ１０は、回復フィルタＦを用いたフィルタリング処理によって原画像データＤｏから回復画像データＤｒを作成する処理であり、例えばＮ×Ｍ（ＮおよびＭは１以上の整数）のタップによって構成される実空間上の回復フィルタＦが処理対象の画像データに適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（原画像データＤｏの処理対象画素データおよび隣接画素データ）とを加重平均演算（デコンボリューション演算）することによって、回復処理後の画素データ（回復画像データＤｒ）を算出することができる。この回復フィルタＦを用いた加重平均処理を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、回復処理を行うことができる。
【００５８】
なお、Ｎ×Ｍのタップによって構成される実空間上の回復フィルタは、周波数空間上の回復フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の回復フィルタは、基礎となる周波数空間上の回復フィルタを特定し、実空間上の回復フィルタの構成タップ数を指定することによって、適宜算出可能である。
【００５９】
次に、回復画像生成部９で生成される回復画像１１Ａおよび回復画像１１Ｂの解像に関して説明する。
【００６０】
図５、図６、および図７は、撮像画像２Ａ、撮像画像２Ｂ、回復画像１１Ａ、および回復画像１１ＢのＭＴＦと周波数との関係を示す図である。
【００６１】
図５（ｉ）は撮像画像２ＡのＭＴＦと周波数との関係を示し、図５（ｉｉ）は撮像画像２Ａに対して一般に用いられる態様でウィナーフィルタ使用して回復フィルタを生成しその回復フィルタにより、回復処理がされた場合の回復画像１１ＡのＭＴＦと周波数との関係が示されている。また図６においても同様に、図６（ｉ）では撮像画像２ＢについてのＭＴＦと周波数との関係が示されており、図６（ｉｉ）は撮像画像２Ｂに対して一般に用いられる態様でウィナーフィルタを使用して回復フィルタを生成しその回復フィルタにより、回復処理がされた場合の回復画像１１ＢのＭＴＦと周波数との関係が示されている。なお、図５（ｉｉ）および図６（ｉｉ）では回復処理を行うことによって点線で示された目標解像値までＭＴＦが回復されている。一般に用いられるウィナーフィルタの使用態様とは、一つのカメラから出力画像に対して回復処理を行う場合にウィナーフィルタにより回復フィルタを生成することであり、複数のカメラの画像間における出力画像間の解像の一致は考慮されていない使用態様のことである。
【００６２】
図５および図６に示すように、一般に用いられる態様でウィナーフィルタを使用して回復フィルタを生成して回復処理を行った場合には、カメラ１０Ａまたはカメラ１０Ｂの各個体が有する伝達関数に応じて、回復フィルタが設計されるので、カメラ１０Ａの回復画像１１Ａとカメラ１０Ｂの回復画像１１Ｂとの解像は一致しない場合が多い。すなわち、単にウィナーフィルタによる画像回復処理を個別に適用しただけでは、回復画像１１Ａと回復画像１１Ｂとの解像が必ずしも同一となっている保証がない。これは、ウィナーフィルタは画像を最小二乗の意味で最良に回復する処理であるため、良いレンズはより良く、悪いレンズは回復しても良いレンズまでは及ばないケースが生じてしまうためである。
【００６３】
図７は、撮像画像２Ａおよび撮像画像２ＢのＭＴＦと周波数との関係（図７（Ａ）の（ｉ）および図７（Ｂ）の（ｉ））と、本発明の回復処理を行った場合の回復画像１１Ａおよび回復画像１１ＢのＭＴＦと周波数との関係（図７（Ａ）の（ｉｉ）および図７（Ｂ）の（ｉｉ））が示されている。ここで、図７（Ａ）の（ｉｉ）では、算出部５により算出された目標解像値、伝達関数Ｈ１、および伝達関数Ｈ２に基づいて、カメラ１０Ａで取得された撮像画像２Ａの回復フィルタが生成され、その回復フィルタを用いて回復処理が行われている。また、図７（Ｂ）の（ｉｉ）においても、カメラ１０Ｂで取得された撮像画像２Ｂに対して同様の回復処理が行われている。なお、図７（Ａ）の（ｉｉ）および図７（Ｂ）の（ｉｉ）では回復処理を行うことによって点線で示された目標解像値までＭＴＦが回復または移動されている。
【００６４】
図７（Ａ）の（ｉｉ）および図７（Ｂ）の（ｉｉ）に示されるように、本発明の回復処理が行われた回復画像では、回復画像の周波数特性を一致させることができる。すなわち撮像画像２Ａと撮像画像２Ｂは、回復処理が行われることによって同一の目標解像値へ回復させられるので、回復画像１１Ａおよび回復画像１１Ｂにおいて解像は一致する。
【００６５】
次に、算出部５によって行われる目標解像値の決定の例に関して説明する。目標解像値は、増幅倍率に上限を設けて、いずれかのカメラの増幅倍率の上限（所定の閾値）を超える場合は目標解像値を下げていき、全てのカメラの増幅倍率において増幅倍率の上限を超えない目標解像値に決定する。
【００６６】
＜目標解像値の決定＞
ウィナーフィルタが単純な逆フィルタより優れている効果として、非常に低いＭＴＦを持ち上げようとして高い回復フィルタ増幅倍率をかけ、ノイズを増幅させてしまうのを防ぐという点が挙げられる。
【００６７】
【数１】
0006592622.tif 000002
【００６８】
Ｆｉ（ωｘ，ωｙ）：i番目の撮像系に適用する回復フィルタの増幅倍率（特定の周波数における値に注目）。
【００６９】
Ｒ：目標解像値（特定の周波数における値に注目）；
Ｈｉ（ωｘ，ωｙ）：i番目の撮像系の周波数特性（特定の周波数における値に注目）。
【００７０】
以下、特定の空間周波数において考えるものとする。上式の関係があることからも分かるとおり、回復フィルタ増幅倍率Ｆｉ（ωｘ，ωｙ）は目標解像値Ｒが高いほど高くなる。そのため、回復フィルタ増幅倍率Ｆｉ（ωｘ，ωｙ）が高すぎる場合には、目標解像値Ｒを下げるように調整を入れれば簡易的に効果的な回復フィルタを構成できる。これらを考慮して、回復フィルタ増幅倍率Ｆｉ（ωｘ，ωｙ）に上限値Ｇを設け、全てのカメラにおいて回復フィルタ増幅倍率Ｆｉ（ωｘ，ωｙ）の値が上限値Ｇの値を上回らないように目標解像値Ｒを反復的に求める例を以下に説明する。ここで回復フィルタ増幅倍率Ｆｉ（ωｘ，ωｙ）は回復画像の注目する周波数における増幅倍率の意味となり、回復画像を増幅倍率によって増幅させる際に回復画像のノイズも同倍率によって増幅される。
【００７１】
図８は、算出部５において目標解像値Ｒの決定の工程を示すフロー図である。
【００７２】
先ず、算出部５は仮の目標解像値Ｒを設定する（ステップＳ１０）。例えば目標解像値Ｒの初期値が１と設定されている場合には、算出部５は仮の目標解像値Ｒを１とし、回復フィルタ生成部７は全てのカメラ（１≦ｉ≦Ｍ）に対して回復フィルタの周波数特性Ｆｉ（ωｘ，ωｙ）を上記の式またはウィナーフィルタの算出式により算出する（ステップＳ１１）。例えば図１によって説明した場合ではＭ＝２の場合であって、カメラ１０Ａおよびカメラ１０Ｂに対してのそれぞれ回復フィルタの周波数特性Ｆｉ（ωｘ，ωｙ）が算出される。
【００７３】
その後、算出部５は、カメラ１０Ａおよびカメラ１０Ｂの回復フィルタの周波数特性Ｆｉ（ωｘ，ωｙ）が上限値Ｇ以下であるか否かを判定する（ステップＳ１２）。
【００７４】
全てのカメラにおいて回復フィルタの周波数特性Ｆｉ（ωｘ，ωｙ）が上限値Ｇ以下でない場合、すなわち、ある撮像系用の回復フィルタの周波数特性Ｆｉ（ωｘ，ωｙ）が回復フィルタ増幅倍率の上限値Ｇより大きいカメラがある場合には、算出部５は仮の目標解像値Ｒを変更する（ステップＳ１３）。つまり、算出部５は仮の目標解像値ＲについてＲ−ΔＲとして値を減少させ、回復フィルタ生成部７は新たに設定された仮の目標解像値Ｒに基づいて、改めて回復フィルタ増幅倍率Ｆｉ（ωｘ，ωｙ）の算出を行う。これは、全てのカメラの回復フィルタの周波数特性Ｆｉ（ωｘ，ωｙ）が回復フィルタ増幅倍率の上限値Ｇ以下となるまで繰り返し行われ、算出部５により目標解像値Ｒの値の調整が行われる。
【００７５】
そして、全てのカメラにおいて回復フィルタの周波数特性Ｆｉ（ωｘ，ωｙ）が回復フィルタ増幅倍率の上限値Ｇ以下である場合には、仮に設定した目標解像値Ｒが真の値として採用される（ステップＳ１４）。
【００７６】
図９は、本発明の画像処理方法の工程を示すフロー図である。
【００７７】
先ず、伝達関数入力部３にカメラ１０Ａおよびカメラ１０Ｂの伝達関数Ｈ１および伝達関数Ｈ２が入力される（伝達関数入力ステップ：ステップＳ２０）。次に算出部５は、入力された伝達関数Ｈ１、伝達関数Ｈ２、および算出基準に基づいて、目標解像値を算出する（算出ステップ：ステップＳ２１）。そして、回復フィルタ生成部７により、算出された目標解像値に基づいて回復フィルタが生成される（回復フィルタ生成ステップ：ステップＳ２２）。その後、回復画像生成部９により、生成された各回復フィルタを使用して、各カメラの撮像画像に対して回復処理を行い回復画像１１Ａが生成される（回復画像生成ステップ：ステップＳ２３）。
【００７８】
上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータ６０に実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータ６０に対しても本発明を適用することが可能である。
【００７９】
上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【００８０】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）によって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（system on chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【００８１】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【００８２】
＜回復フィルタの生成＞
次に算出部５および回復フィルタ生成部７で行われる具体的な計算例に関して説明する。一般的な考え方は、上述の＜目標解像値の決定＞に示したが、回復フィルタの算出基準が逆フィルタであるような特別な場合には、反復を必要とせず容易な計算で実現することができる。
【００８３】
＜ウィナーフィルタの導出＞
先ず、一つのカメラ（撮像系）の出力画像に対してのウィナーフィルタにより回復フィルタを生成する場合を説明する。なお、以下の説明で「」括弧によって示される文字および式中のボールド体はベクトルまたは行列を示し、それ以外はスカラーを示すように区別して使用している。
【００８４】
元画像（理想画像）を「x」、撮像系により劣化した画像を「y」、撮像系の光学伝達関数（２次元インパルス応答）を「h」とする。このとき、撮像系により混入する加法ノイズベクトルを「n」とすると、観測モデルは次式のように表現できる。
【００８５】
【数２】
0006592622.tif 000003
【００８６】
ここで、＊は２次元コンボリュージョンを示す。一般に光学伝達関数は像高に依存して変化するが、上式では伝達関数の変化が無視できる微小領域に注目し、移動不変システムと見なせるものと仮定している。
【００８７】
上式の両辺にフーリエ（Fourier）変換を適用すると、次式となる。
【００８８】
【数３】
0006592622.tif 000004
【００８９】
ここで、大文字の変数は小文字の変数の空間周波数
【００９０】
【数４】
0006592622.tif 000005
【００９１】
における周波数成分である。
【００９２】
ウィナー回復フィルタ（回復フィルタ）の２次元インパルス応答を「f」として、回復画像を「z」すると、画像回復過程は次式のように表現できる。
【００９３】
【数５】
0006592622.tif 000006
【００９４】
同様に、上記のフーリエ変換は、
【００９５】
【数６】
0006592622.tif 000007
【００９６】
となる。ウィナー回復フィルタの画像回復基準は、以下で定義される、元画像と回復画像の平均二乗誤差Jとなる。
【００９７】
【数７】
0006592622.tif 000008
【００９８】
ここで、Ｅｘは画像「x」の信号の振幅であり、Ｅｎはノイズ「n」の信号の振幅である。画像「x」とノイズ「n」は無相関であるため、
【００９９】
【数８】
0006592622.tif 000009
【０１００】
と変形できる。上式において、「１」という表記はサイズが「ｆ」*「ｈ」と等しく常に
「１」＊「ｘ」＝「ｘ」となる（中心だけ1その他の要素は0となっている）ベクトルであるとする。上式をフーリエ変換すると、
【０１０１】
【数９】
0006592622.tif 000010
【０１０２】
となる。さらに、平均信号電力Ｓを
【０１０３】
【数１０】
0006592622.tif 000011
【０１０４】
とし、平均ノイズ電力Ｎを
【０１０５】
【数１１】
0006592622.tif 000012
【０１０６】
とすると、
【０１０７】
【数１２】
0006592622.tif 000013
【０１０８】
となる。上式を回復フィルタ周波数特性について最小化するために、
【０１０９】
【数１３】
0006592622.tif 000014
【０１１０】
に対して偏微分してゼロとおくと、
【０１１１】
【数１４】
0006592622.tif 000015
【０１１２】
が得られ、これよりウィナー回復フィルタの周波数特性が次式のように得られる。
【０１１３】
【数１５】
0006592622.tif 000016
【０１１４】
ここで、
【０１１５】
【数１６】
0006592622.tif 000017
【０１１６】
は
【０１１７】
【数１７】
0006592622.tif 000018
【０１１８】
の複素共役であり、
【０１１９】
【数１８】
0006592622.tif 000019
【０１２０】
であるとする。実装上、回復フィルタはタップ数制限された２次元FIRフィルタとして実装されるため、任意の公知の制約条件付きの最適化手法を利用して、周波数特性
【０１２１】
【数１９】
0006592622.tif 000020
【０１２２】
を最良に近似するフィルタタップ係数「f」を得る。
【０１２３】
＜解像合わせウィナーフィルタの導出＞
次に、本発明の算出部５および回復フィルタ生成部７での計算について説明する。
【０１２４】
算出部５が用いる算出基準は、「複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、回復画像の各々における増幅倍率の最大値が所定の閾値以下となる範囲内において、最大になる解像値を目標解像値とする」および「複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、複数の撮像系の伝達関数のうち、絶対値が最小である値の定数倍を目標解像値とする」である。なお、この二つの算出基準は以下で説明するように数学的には同様の効果を持つ。
【０１２５】
複数の撮像系（カメラ）のインデックスをi（1≦i≦M）とし、対応する実測された光学伝達関数(２次元インパルス応答)を「hi」、その周波数特性を
【０１２６】
【数２０】
0006592622.tif 000021
【０１２７】
と表記するものとする。このとき、各撮像系における回復フィルタ適用後の画像（回復画像）の周波数特性が一致していなければならない。回復フィルタ適用後のトータル（劣化と回復を含んだ）の周波数応答をＲ（定数）とおくと、
【０１２８】
【数２１】
0006592622.tif 000022
【０１２９】
となっている必要があり、これはつまり、回復フィルタの周波数特性がパラメータＲを用いて次式のように一意に決まることを意味している。
【０１３０】
【数２２】
0006592622.tif 000023
【０１３１】
各撮像系の回復フィルタの周波数特性は、Ｒの値さえ決めれば、上式によって一意に決定される。Ｒの値を決定するために、ウィナーフィルタの場合と同じく、元画像と回復画像の平均二乗誤差基準を用いる。ただし、ここでは複数の撮像系における二乗誤差の重みつき和を利用するものとする。
【０１３２】
【数２３】
0006592622.tif 000024
【０１３３】
ただし
【０１３４】
【数２４】
0006592622.tif 000025
【０１３５】
【数２５】
0006592622.tif 000026
【０１３６】
である。また、ｗi（≧０）は撮像系の回復程度の優先順位を割り当てるための重み係数であり、不必要であればｗi＝１とする。上記Jをフーリエ変換すると、以下のようになる。
【０１３７】
【数２６】
0006592622.tif 000027
【０１３８】
【数２７】
0006592622.tif 000028
【０１３９】
ここで、平均信号電力と平均ノイズ電力は、撮像系によらず一定であると仮定している。
【０１４０】
いま、元画像と回復画像の平均二乗誤差［J]を直接的に最小化するＲを求めることも可能ではあるが、ここではより簡単にフィルタを構成することを考える。［J］を最小化するには、第１項（解像の回復の程度）と第２項（ノイズの増幅の程度）のバランスの取れたＲの値を求める必要がある。Ｒが大きすぎると第２項の影響によって性能が落ちる一方、Ｒが小さすぎると第１項の影響によって性能が落ちてしまう。ここで簡易的に、第２項におけるノイズ電力の増幅率に許容可能な閾値θを設けて、この値よりノイズ増幅率が小さくなる範囲内において第１項を小さくすることを考える。このノイズ増幅率とはフィルタ増幅倍率そのものであるため、任意のiに対して、
【０１４１】
【数２８】
0006592622.tif 000029
【０１４２】
つまり、
【０１４３】
【数２９】
0006592622.tif 000030
【０１４４】
が成立している必要がある。この式を任意のiについて満たす最大となるＲは、次式によって与えられる。
【０１４５】
【数３０】
0006592622.tif 000031
【０１４６】
これにより、目標解像値Ｒは、各撮像系の伝達関数のうち、絶対値が最も小さいものの解像値の定数倍によって簡易的に得られることが分かる。θの値は任意の手段で事前に決定しておくことが可能であるが、この値を適宜調整することによって、全体的なノイズと回復のバランスを調整することができる。また、各撮像系の回復画像の解像が必ず一致することが保証されている。なお、目標解像値Ｒは、各撮像系の伝達関数のうち、絶対値が最も小さいものの解像値の定数倍に限られず、定数倍以内の値が採用されてもよい。
【０１４７】
このように簡易的に求められた解像合わせ回復フィルタは、元画像と回復画像の平均二乗誤差Jを最小化するという意味においては最適ではないが、非常に簡単に設計することが可能である上、「ノイズを増幅しすぎないように回復の程度を調整する」というウィナーフィルタの考え方も取り入れた設計を簡易的に行うことが可能となっている。
【０１４８】
＜変形例１＞
次に本発明の変形例１に関して説明する。本例では画像処理部（画像処理装置）はカメラシステム１の制御装置（コンピュータ６０）ではなく、カメラ１０Ａおよびカメラ１０Ｂに設けられている。
【０１４９】
図１０は、本例のカメラシステム１を示す概念図である。なお、図で既に説明を行った箇所は同じ番号を付し説明は省略する。またカメラ１０Ｂは、カメラ１０Ａと同じ構成であるため図示は省略されている。
【０１５０】
画像処理部３５には図３で説明をした、伝達関数入力部３、算出部５、回復フィルタ生成部７、および回復画像生成部９が設けられている。
【０１５１】
図１０で説明する場合ではカメラ１０Ａの画像処理部３５に、伝達関数入力部３、算出部５、回復フィルタ生成部７、および回復画像生成部９が設けられている。また図示は省略されているが、カメラ１０Ｂの画像処理部３５においても、伝達関数入力部３、算出部５、回復フィルタ生成部７、および回復画像生成部９が設けられている。
【０１５２】
この場合、カメラ１０Ａの目標解像値およびカメラ１０Ｂの目標解像値がカメラ１０Ａの算出部５で算出されてもよいし、カメラ１０Ａの目標解像値はカメラ１０Ａの算出部５で算出され、カメラ１０Ｂの目標解像値はカメラ１０Ｂの算出部５で算出されてもよい。なお、カメラ１０Ａとカメラ１０Ｂとは有線または無線により接続されており、互いにデータのやり取りは可能である。
【０１５３】
また図１０ではカメラ１０Ａおよびカメラ１０Ｂに伝達関数入力部３、算出部５、回復フィルタ生成部７、および回復画像生成部９が設けられる場合について説明したが、カメラ１０Ａの画像処理部３５のみに、伝達関数入力部３、算出部５、回復フィルタ生成部７、および回復画像生成部９が設けられていてもよい。
【０１５４】
＜変形例２＞
次に、本発明の変形例２に関して説明する。本例では、上述した回復フィルタ生成方法（図９のステップＳ２０〜ステップＳ２２）により回復フィルタが生成され、生成された回復フィルタがカメラシステム１に予め設定されている。
【０１５５】
図１１は、本例のカメラシステム１に回復フィルタが設定される場合の動作フロー図である。
【０１５６】
先ず、伝達関数入力部３にカメラ１０Ａおよびカメラ１０Ｂの伝達関数Ｈ１およびＨ２が入力される（伝達関数入力ステップ：ステップＳ３０）。次に算出部５は、入力された伝達関数Ｈ１およびＨ２、および算出基準に基づいて、目標解像値を算出する（算出ステップ：ステップＳ３１）。そして、回復フィルタ生成部７により、算出された目標解像値に基づいて回復フィルタが生成される（回復フィルタ生成ステップ：ステップＳ３２）。その後、カメラシステム１に生成された回復フィルタが設定（記憶）される（ステップＳ３３）。カメラシステム１は、回復フィルタを適切な箇所で記憶する。すなわち回復フィルタは、カメラシステム１を構成するカメラ１０Ａおよびカメラ１０Ｂに記憶されてもよいし、コンピュータ６０に記憶されてもよい。
【０１５７】
＜変形例３＞
次に、本発明の変形例３に関して説明する。本例では、上述した目標解像値算出方法（図９のステップＳ２０〜ステップＳ２１）により目標解像値が決定され、その目標解像値がカメラシステム１に予め設定されている。
【０１５８】
図１２は、本例のカメラシステム１に回復フィルタが設定される場合の動作フロー図である。
【０１５９】
先ず、伝達関数入力部３にカメラ１０Ａおよびカメラ１０Ｂの伝達関数Ｈ１およびＨ２が入力される（伝達関数入力ステップ：ステップＳ４０）。次に算出部５は、入力された伝達関数Ｈ１およびＨ２、および算出基準に基づいて、目標解像値を算出する（算出ステップ：ステップＳ４１）。その後、カメラシステム１に算出された目標解像値が設定（記憶）される（ステップＳ４２）。カメラシステム１は、目標解像値を適切な箇所で記憶する。例えば目標解像値は、カメラシステム１を構成するカメラ１０Ａおよびカメラ１０Ｂに記憶されてもよいし、コンピュータ６０に記憶されてもよい。
【０１６０】
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１６１】
１        カメラシステム
２Ａ、２Ｂ  撮像画像
３        伝達関数入力部
５        算出部
７        回復フィルタ生成部
９        回復画像生成部
１０Ａ、１０Ｂ  カメラ
１１Ａ、１１Ｂ  回復画像
１２      レンズユニット
１４      カメラ本体
１６      レンズ
１７      絞り
１８      光学系操作部
２０      レンズユニットコントローラ
２２      レンズユニット入出力部
２６      撮像素子
２８      カメラ本体コントローラ
３０      カメラ本体入出力部
３２      入出力インターフェース
３４      デバイス制御部
３５      画像処理部
６０      コンピュータ
６２      コンピュータ入出力部
６３      コンピュータ側画像処理部
６４      コンピュータコントローラ
６６      ディスプレイ
７０      インターネット
８０      サーバ
８２      サーバ入出力部
８４      サーバコントローラ
【図１】
0006592622.tif 000032
【図２】
0006592622.tif 000033
【図３】
0006592622.tif 000034
【図４】
0006592622.tif 000035
【図５】
0006592622.tif 000036
【図６】
0006592622.tif 000037
【図７】
0006592622.tif 000038
【図８】
0006592622.tif 000039
【図９】
0006592622.tif 000040
【図１０】
0006592622.tif 000041
【図１１】
0006592622.tif 000042
【図１２】
0006592622.tif 000043