(57)【要約】【課題】光学系を制御して、ノイズ除去の精度を向上させる撮影装置を提供する。【解決手段】撮影装置１は、統計量をパラメータとして撮影対象をモデル化した確率分布と、撮影対象から撮像画像が得られる過程をモデル化した確率分布とから統計量を推定する統計量推定手段１３０と、推定された統計量およびノイズレベルに基づいて、真の画像とノイズ除去後の画像との誤差の期待値が最小となる光学フィルタのパラメータを導出するフィルタパラメータ導出手段１３１と、光学フィルタのパラメータがフィルタパラメータ導出手段１３１で導出されたパラメータと最も近似するように、光学系１０のフォーカスを制御する光学系制御手段１３２と、推定された統計量およびノイズレベルに基づいて、撮像画像に対して真の画像の事後確率を最大化する画像をノイズ除去後画像として生成するノイズ除去手段１３３と、を備える。【選択図】図１
2014220583.tif 000002
【特許請求の範囲】
【請求項１】
フォーカス制御可能な光学系と、当該光学系によって結像される像を撮像する撮像手段と、当該撮像手段で撮像した画像を記録する画像記録手段と、を備えた撮影装置において、
統計量をパラメータとして撮影対象の真の画像を統計モデルでモデル化した第１の確率分布と、前記光学系を特定する光学フィルタである点拡がり関数を介して前記真の画像から予め定めたノイズレベルで前記画像記録手段に記録される撮像画像が得られる過程をモデル化した第２の確率分布とから、最尤法によって、前記統計量を推定する統計量推定手段と、
この統計量推定手段で推定された統計量および前記ノイズレベルを条件として、前記真の画像とノイズ除去後の画像との誤差の期待値を最小にする前記点拡がり関数の分布形状を特定するフィルタパラメータを求めるフィルタパラメータ導出手段と、
前記フィルタパラメータと前記光学系のフォーカス量との関係を予め対応付けたルックアップテーブルを参照して、前記フィルタパラメータ導出手段で求められたフィルタパラメータに対応するフォーカス量で、前記光学系のフォーカスを駆動制御する光学系制御手段と、
前記統計量推定手段で推定された統計量および前記ノイズレベルを条件として、前記フィルタパラメータ導出手段で求められたフィルタパラメータで特定される点拡がり関数を用いて、前記画像記録手段に記録された撮像画像に対して、前記第１および第２の確率分布を統合した確率分布の事後確率を最大化する画像をノイズ除去後の画像として生成するノイズ除去手段と、
を備えることを特徴とする撮影装置。
【請求項２】
前記フィルタパラメータ導出手段は、前記点拡がり関数を特定する前記フィルタパラメータと前記統計量と前記ノイズレベルとの組み合わせを予め記憶したルックアップテーブルから、前記統計量推定手段で推定された統計量および前記ノイズレベルにおいて最小のフィルタパラメータを選択することを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記光学系制御手段は、前記光学系のフォーカスを合わせた後、前記フォーカスが合ったときのフォーカス値と、前記点拡がり関数のフィルタパラメータおよびそれに対応する前記フォーカス値からのずれ量であるデフォーカス量とを予め記憶したルックアップテーブルから、現時点のフォーカス値と、前記フィルタパラメータ導出手段で導出されたフィルタパラメータが最も近似するフィルタパラメータとに対応するデフォーカス量を選択し、当該デフォーカス量だけフォーカスをずらすように前記光学系を駆動制御することを特徴とする請求項１または請求項２に記載の撮影装置。
【請求項４】
前記ノイズ除去手段は、予め定めた回数だけ、前記光学系の駆動制御を行った結果として、前記画像記録手段に記録される撮像画像に対して、前記ノイズ除去後の画像を生成することを特徴とする請求項１から請求項３のいずれか一項に記載の撮影装置。
【請求項５】
フォーカス制御可能な光学系と、当該光学系によって結像される像を撮像する撮像手段と、当該撮像手段で撮像した画像を記録する画像記録手段と、を備えた撮影装置のコンピュータを、
統計量をパラメータとして撮影対象の真の画像を統計モデルでモデル化した第１の確率分布と、前記光学系を特定する光学フィルタである点拡がり関数を介して前記真の画像から予め定めたノイズレベルで前記画像記録手段に記録される撮像画像が得られる過程をモデル化した第２の確率分布とから、最尤法によって、前記統計量を推定する統計量推定手段、
この統計量推定手段で推定された統計量および前記ノイズレベルを条件として、前記真の画像とノイズ除去後の画像との誤差の期待値を最小にする前記点拡がり関数の分布形状を特定するフィルタパラメータを求めるフィルタパラメータ導出手段、
前記フィルタパラメータと前記光学系のフォーカス量との関係を予め対応付けたルックアップテーブルを参照して、前記フィルタパラメータ導出手段で求められたフィルタパラメータに対応するフォーカス量で、前記光学系のフォーカスを駆動制御する光学系制御手段、
前記統計量推定手段で推定された統計量および前記ノイズレベルを条件として、前記フィルタパラメータ導出手段で求められたフィルタパラメータで特定される点拡がり関数を用いて、前記画像記録手段に記録された撮像画像に対して、前記第１および第２の確率分布を統合した確率分布の事後確率を最大化する画像をノイズ除去後の画像として生成するノイズ除去手段、
として機能させるためのノイズ除去プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズを除去して画像撮影を行う撮影装置およびノイズ除去プログラムに関する。
【背景技術】
【０００２】
デジタルカメラをはじめとする撮像系の出力画像には、一般に「ノイズ」が含まれる。ここで、ノイズとは、同じ対象物を撮影しても、撮影試行ごとに生じる画素値のゆらぎを指す。このゆらぎは、撮像系に入力される信号（入力刺激）および撮像系内のイメージセンサの応答（センサ応答）が、ともに確率的な振る舞いをすることに起因する。
一般的に、ノイズを含む画像よりも、各画素値のノイズを除去した「真の画像」（無限回の撮影画像を平均して得られる画像）の方が、画像処理や画像提示の観点から望ましいとされる場合が多い。なお、一回の撮影で得られる画像から「真の画像」またはこれに近い画像を得る問題は、数理的には逆問題に相当し、何らかの統計モデルを仮定した推定処理を必要とする。
従来、点拡がり関数により原画像が劣化する劣化画像モデルを仮定した推定問題を解くことで、カメラ等で撮影された画像から、ボケおよびノイズを軽減する技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８３８４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された手法は、ノイズ等を軽減するために、イメージセンサで撮像された画像から、劣化画像モデルに基づいて真の画像を推定している。
しかし、本来、画像の劣化は、イメージセンサのみに起因するものではなく、イメージセンサに像を結像させるレンズ等の光学系にも起因している。
すなわち、従来の手法は、光学系を最適化する制御が行われていないため、推定した画像には誤差が含まれ、最適な画像を得ることができないという問題がある。
【０００５】
本発明は、このような問題に鑑みてなされたもので、適応的に光学系を制御することで、ノイズ除去の精度を向上させる撮影装置およびノイズ除去プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、請求項１に記載の撮影装置は、フォーカス制御可能な光学系と、当該光学系によって結像される像を撮像する撮像手段と、当該撮像手段で撮像した画像を記録する画像記録手段と、を備えた撮影装置において、統計量推定手段と、フィルタパラメータ導出手段と、光学系制御手段と、ノイズ除去手段と、を備える構成とした。
【０００７】
かかる構成において、撮影装置は、統計量推定手段によって、統計量をパラメータとして撮影対象の真の画像を統計モデルでモデル化した第１の確率分布と、光学系を特定する光学フィルタである点拡がり関数を介して真の画像から予め定めたノイズレベルで画像記録手段に記録される撮像画像が得られる過程をモデル化した第２の確率分布とから、最尤法によって、第１の確率分布の統計量を推定する。なお、ここで、真の画像とは、ノイズが含まれていない理想画像を意味する。
これによって、撮影装置は、現実に撮像された撮像画像から、撮影対象の真の画像の統計的性質を推定することができる。
【０００８】
そして、撮影装置は、フィルタパラメータ導出手段によって、統計量推定手段で推定された統計量およびノイズレベルを条件として、真の画像とノイズ除去後の画像との誤差の期待値を最小にする点拡がり関数の分布形状を特定するフィルタパラメータ（例えば、標準偏差等）を求める。
これによって、撮影装置は、真の画像とノイズ除去後の画像とが最も近似するときの点拡がり関数の分布形状をフィルタパラメータで特定することができる。
【０００９】
そして、撮影装置は、光学系制御手段によって、フィルタパラメータと光学系のフォーカス量との関係を予め対応付けたルックアップテーブルを参照して、フィルタパラメータ導出手段で求められたフィルタパラメータに対応するフォーカス量で、光学系のフォーカスを駆動制御する。
これによって、撮影装置は、真の画像とノイズ除去後の画像とが近似するように、フォーカス制御を行うことができる。
【００１０】
そして、撮影装置は、ノイズ除去手段によって、統計量推定手段で推定された統計量およびノイズレベルを条件として、フィルタパラメータ導出手段で求められたフィルタパラメータで特定される点拡がり関数を用いて、画像記録手段に記録された撮像画像に対して、第１および第２の確率分布を統合した確率分布の事後確率を最大化する画像をノイズ除去後の画像として生成する。
これによって、撮影装置は、第１および第２の確率分布を統合した確率分布を介して、光学系および撮影系を通した全体の系において、真の画像に最も近似した撮像画像を生成することができる。
【００１１】
また、請求項２に記載の撮影装置は、請求項１に記載の撮影装置において、フィルタパラメータ導出手段が、点拡がり関数を特定するフィルタパラメータと統計量とノイズレベルとの組み合わせを予め記憶したルックアップテーブルから、統計量推定手段で推定された統計量およびノイズレベルにおいて最小のフィルタパラメータを選択することを特徴とする。
【００１２】
かかる構成において、撮影装置は、フィルタパラメータ導出手段によって、予め定めたノイズレベルの環境下で、撮影対象の真の画像が統計量推定手段で推定された統計量を有するための点拡がり関数の分布形状を特定するフィルタパラメータを選択することができる。
【００１３】
また、請求項３に記載の撮影装置は、請求項１または請求項２に記載の撮影装置において、光学系制御手段が、光学系のフォーカスを合わせた後、フォーカスが合ったときのフォーカス値と、点拡がり関数のフィルタパラメータおよびそれに対応するフォーカス値からのずれ量であるデフォーカス量とを予め記憶したルックアップテーブルから、現時点のフォーカス値と、フィルタパラメータ導出手段で導出されたフィルタパラメータが最も近似するフィルタパラメータとに対応するデフォーカス量を選択し、当該デフォーカス量だけフォーカスをずらすように光学系を駆動制御することを特徴とする。
【００１４】
かかる構成において、撮影装置は、光学系制御手段によって、撮影対象にフォーカスを合わせた後、ルックアップテーブルから選択したデフォーカス量だけフォーカスをずらす。これによって、撮影装置は、撮影対象をあえて適度なボケを加えて撮影する。
すなわち、撮影装置は、ノイズのレベルによっては、フォーカスが合った状態よりも、あえてボケ（デフォーカス）を加えることで、最適な画像を生成することができる。
【００１５】
また、請求項４に記載の撮影装置は、請求項１から請求項３のいずれか一項に記載の撮影装置において、ノイズ除去手段が、予め定めた回数だけ、光学系の駆動制御を行った結果として、画像記録手段に記録される撮像画像に対して、ノイズ除去後の画像を生成することを特徴とする。
【００１６】
かかる構成において、撮影装置は、予め定めた回数だけ、光学系の駆動制御を行うことで、統計量推定手段で推定される統計量の精度が高まる方向に作用する。
これによって、撮影装置は、ノイズ除去の精度を高めることができる。
【００１７】
また、請求項５に記載のノイズ除去プログラムは、フォーカス制御可能な光学系と、当該光学系によって結像される像を撮像する撮像手段と、当該撮像手段で撮像した画像を記録する画像記録手段と、を備えた撮影装置のコンピュータを、統計量推定手段、フィルタパラメータ導出手段、光学系制御手段、ノイズ除去手段、として機能させる構成とした。
【００１８】
かかる構成において、ノイズ除去プログラムは、統計量推定手段によって、統計量をパラメータとして撮影対象の真の画像を統計モデルでモデル化した第１の確率分布と、光学系を特定する光学フィルタである点拡がり関数を介して真の画像から予め定めたノイズレベルで画像記録手段に記録される撮像画像が得られる過程をモデル化した第２の確率分布とから、最尤法によって、第１の確率分布の統計量を推定する。
【００１９】
そして、ノイズ除去プログラムは、フィルタパラメータ導出手段によって、統計量推定手段で推定された統計量およびノイズレベルを条件として、真の画像とノイズ除去後の画像との誤差の期待値を最小にする点拡がり関数の分布形状を特定するフィルタパラメータ（例えば、標準偏差等）を求める。
【００２０】
そして、ノイズ除去プログラムは、光学系制御手段によって、フィルタパラメータと光学系のフォーカス量との関係を予め対応付けたルックアップテーブルを参照して、フィルタパラメータ導出手段で求められたフィルタパラメータに対応するフォーカス量で、光学系のフォーカスを駆動制御する。
【００２１】
そして、ノイズ除去プログラムは、ノイズ除去手段によって、統計量推定手段で推定された統計量およびノイズレベルを条件として、フィルタパラメータ導出手段で求められたフィルタパラメータで特定される点拡がり関数を用いて、画像記録手段に記録された撮像画像に対して、第１および第２の確率分布を統合した確率分布の事後確率を最大化する画像をノイズ除去後の画像として生成する。
【発明の効果】
【００２２】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，５に記載の発明によれば、光学系を適応的に制御することで、撮影対象を光学系で撮像し、ノイズを削除する撮影装置の全体の系において、最もノイズを低減した最適な撮影画像を生成することができる。
これによって、請求項１，５に記載の発明は、ノイズ環境下で最も高精度な（真の画像に近い）画像を撮影することができる。
【００２３】
請求項２に記載の発明によれば、請求項１の効果に加え、光学系を特定する光学フィルタ（点拡がり関数）のパラメータをルックアップテーブルから取得するため、高速にパラメータを特定することができ、ノイズ除去後の画像を高速に生成することができる。
【００２４】
請求項３に記載の発明によれば、請求項１の効果に加え、光学系のデフォーカス量をルックアップテーブルから取得するため、高速にデフォーカス量を特定することができ、ノイズ除去後の画像を高速に生成することができる。
【００２５】
請求項４に記載の発明によれば、請求項１の効果に加え、統計量推定手段で推定される統計量が真の画像の統計量に近似する方向に働くため、真の画像の統計量をより精度よく推定することができ、撮像画像から、より精度よくノイズを除去することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態に係る撮影装置の構成を示す機能ブロック図である。
【図２】真の画像およびノイズ除去後の画像の平均２乗誤差と、光学フィルタのフィルタパラメータとの関係を示すグラフ図の例であって、縦軸が平均２乗誤差、横軸がフィルタパラメータである。
【図３】本発明の実施形態に係る撮影装置を動画像カメラとして動作させたときの動作を示すフローチャートである。
【図４】本発明の実施形態に係る撮影装置を静止画カメラとして動作させたときの動作を示すフローチャートである。
【図５】本発明の実施形態に係る撮影装置のシミュレーション結果を説明するための図であって、（ａ）は真の画像、（ｂ）は最適なデフォーカス値を適用した画像、（ｃ）はデフォーカスを行っていない画像である。
【発明を実施するための形態】
【００２７】
以下、本発明の実施形態について図面を参照して説明する。
［撮影装置の構成］
まず、図１を参照して、本発明の実施形態に係る撮影装置１の構成について説明する。この撮影装置１は、光学系を制御して、撮影対象を撮影した画像からノイズを除去するものである。
ここでは、撮影装置１は、光学系１０と、イメージセンサ１１と、画像記録手段１２と、制御手段１３と、統計量記憶手段１４と、フィルタパラメータ記憶手段１５と、を備える。
【００２８】
光学系１０は、イメージセンサ１１上に撮影対象（被写体）の像を結像させるレンズ（群）である。この光学系１０は、駆動部１００によって駆動されることで、光軸方向に移動してフォーカス制御を行うフォーカスレンズを含んでいる。なお、駆動部１００に対する駆動量（フォーカス値）は、制御手段１３から入力される。
すなわち、光学系１０は、真の画像に対して、ボケ等を発生させる光学フィルタとして機能する。ここで、真の画像とは、撮影対象をボケやノイズがない状態で撮影した理想的な仮想画像のことである。
【００２９】
イメージセンサ１１（撮像手段）は、光学系１０によって結像された光学像を電気信号に変換するものである。このイメージセンサ１１は、例えば、ＣＣＤ（Charge-Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等である。
このイメージセンサ１１は、電気信号に変換した画像（画像データ）を、センサ出力として画像記録手段１２に書き込む。
【００３０】
画像記録手段１２は、イメージセンサ１１から出力される画像を記録するもので、半導体メモリ等の一般的な記録媒体である。
この画像記録手段１２に記録された画像は、撮影対象の真の画像に対して、光学系１０（光学フィルタ）によるボケ、イメージセンサ１１によるノイズ等が付加された画像（ノイズ除去前画像）となっている。
この画像記録手段１２に記録された画像は、制御手段１３によって読み出される。
【００３１】
制御手段１３は、光学系１０を駆動制御しつつ、画像記録手段１２に記録された画像（ノイズ除去前画像）に対して、光学フィルタの逆処理（逆光学フィルタ）およびノイズ除去処理を行うものである。ここでは、制御手段１３は、統計量推定手段１３０と、フィルタパラメータ導出手段１３１と、光学系制御手段１３２と、ノイズ除去手段１３３と、を備える。
【００３２】
統計量推定手段１３０は、予め定めた統計モデルで、撮影対象（被写体）を撮影した真の画像をモデル化したときの統計量（統計パラメータ）を推定するものである。
ここで、数式を用いて、統計量推定手段１３０が統計量を推定する統計モデル（第１の確率分布、第２の確率分布）について説明する。
【００３３】
（真の画像の統計モデル：第１の確率分布）
まず、真の画像の統計モデル（第１の確率分布）を、以下の式（１）の条件付き確率分布Ｐ（ｓ｜β，ｈ）と仮定する。
【００３４】
【数１】
2014220583.tif 000003
【００３５】
ここで、Ｈ（ｓ；β，ｈ）は、以下の式（２）で定義される事前分布のエネルギーである。また、ｓは真の画像の画素値をベクトルの形に並べたものである。また、βとｈは統計量（統計パラメータ）であって、式（２）で定義される２次統計量に相当する。
【００３６】
【数２】
2014220583.tif 000004
【００３７】
ここで、ｓｉおよびｓｊは画像ｓの個々の画素値（１≦ｉ≦Ｎ，１≦ｊ≦Ｎ；Ｎは画像ｓの画素数）を表している。なお、式（２）の第一式の右辺第一項は、互いに隣接する２画素ｉ，ｊのすべての組み合わせについての差の２乗和にパラメータβを乗算したものであり、右辺第二項は、画像ｓのすべての画素値の２乗和にパラメータｈを乗算したものである。
この式（２）の第一式は、同第二式で表される。この式（２）の第二式のＪは、画素ｉ，ｊが隣接する場合にＪｉｊ＝１、それ以外の場合にＪｉｊ＝０となるような行列であり、Ｉは単位行列である。また、Ｔは転置を示す。
【００３８】
この式（１），式（２）で表された統計モデルでは、パラメータβが大きいほど滑らかな画像を表し、パラメータｈが大きいほどコントラストが低い画像を表すことになる。
ここで、行列Ｊは画像に対して並進対象（画像の場所に依存しない）であるため、これを畳み込み処理とみなした場合の点拡がり関数のフーリエ変換をＪ〜（Ｊチルダ）、真の画像のフーリエ変換をｓ〜（ｓチルダ）とおくと、式（２）は、以下の式（３）に示すように、畳み込み定理を用いて周波数ｋごとの演算の和として表される。なお、Ｎは、画像ｓの画素数を示す。
【００３９】
【数３】
2014220583.tif 000005
【００４０】
（撮影系の統計モデル：第２の確率分布）
また、真の画像から、撮影画像（ノイズ除去前画像；図１中、画像記録手段１２に記録される画像）が得られる過程の統計モデル（第２の確率分布）を、以下の式（４）の条件付き確率分布Ｐ（ｒ｜ｓ；Ｒ）と仮定する。
【００４１】
【数４】
2014220583.tif 000006
【００４２】
ここで、Ｌ（ｓ，ｒ；Ａ，Ｒ）は、以下の式（５）で定義される尤度のエネルギーである。また、ｓは真の画像の画素値、ｒは撮影画像（ノイズ除去前画像）の画素値をそれぞれベクトルの形に並べたものである。また、Ａは光学フィルタ（光学系１０がイメージセンサ１１に像を結ぶ際の点拡がり関数）、Ｒはノイズレベルを表すパラメータである。なお、ここでは、ノイズを画素ごとに加算されるガウスノイズと仮定する。
【００４３】
【数５】
2014220583.tif 000007
【００４４】
ここで、ｓｊは画像ｓの画素値（１≦ｉ≦Ｎ）を表し、ｒｉは画像ｒの画素値（１≦ｊ≦Ｎ）を表している。また、Ａｉｊは、２画素ｉ，ｊにおいて、ｉ行ｊ列目の画素位置における点拡がり関数の値である。また、Ｔは転置を示す。
ここで、光学フィルタは並進対象であるため、式（５）は、以下の式（６）に示すように、周波数ｋごとの演算の和として表される。なお、Ｎは、画像ｓ，ｒの画素数を示す。
【００４５】
【数６】
2014220583.tif 000008
【００４６】
ここで、ｓ〜（ｓチルダ）は真の画像ｓのフーリエ変換、ｒ〜（ｒチルダ）は撮影画像ｒのフーリエ変換、Ａ〜（Ａチルダ）は光学フィルタ（点拡がり関数）Ａのフーリエ変換を示す。
【００４７】
統計量推定手段１３０は、真の画像の統計モデル（前記式（１））と、撮影系の統計モデル（前記式（４））とに基づいて、撮影画像が真の画像に最も近似する統計量（統計パラメータ；ここでは、βおよびｈ）を推定する。
すなわち、統計量推定手段１３０は、最尤法により、撮影画像ｒのもとでの統計量に関する尤度関数（対数尤度関数）の関数値を最大にする統計量を算出する。
前記式（１）と前記式（４）とから、撮影画像ｒのもとでの統計パラメータβ，ｈに関する対数尤度関数Ｆ（β，ｈ）は、以下の式（７）で与えられる。
【００４８】
【数７】
2014220583.tif 000009
【００４９】
そこで、統計量推定手段１３０は、この式（７）で与えられる対数尤度関数Ｆ（β，ｈ）を最大化する統計パラメータβ，ｈを求める。なお、ノイズレベルＲは、イメージセンサ１１のセンサ感度値（Ｓ／Ｎ；信号対雑音比〔ＳＮＲ〕）に対応して、予めＲ＝（Ｎ／Ｓ）２で与えられているものとする。
【００５０】
この対数尤度関数Ｆ（β，ｈ）の最大化問題を解く手法は、一般的な手法を用いればよく、例えば、勾配法を用いることができる。
すなわち、統計量推定手段１３０は、以下の式（８）に示す勾配法の更新ステップを、値が収束するまで繰り返すことで、統計パラメータβ，ｈを求める。なお、ｗは更新量を決定するための予め定めた値である。
【００５１】
【数８】
2014220583.tif 000010
【００５２】
これによって、統計量推定手段１３０は、撮影対象（真の画像）の画像特徴を、予め定めた統計モデルの統計量（統計パラメータβ，ｈ）によって推定することができる。
この統計量推定手段１３０は、推定した統計量をフィルタパラメータ導出手段１３１に出力するとともに、統計量記憶手段１４に書き込む。
【００５３】
フィルタパラメータ導出手段１３１は、統計量推定手段１３０で推定された統計量と、予め与えられたノイズレベルとを条件として、光学系（光学フィルタ）のパラメータ（フィルタパラメータ）を導出するものである。
このフィルタパラメータは、光学フィルタのフィルタ形状（分布形状）を特定する情報であって、例えば、光学フィルタの点拡がり関数を正規分布と仮定したときの統計量である標準偏差、分散等である。
ここで、統計量推定手段１３０で求められた統計量を有すると推定された真の画像をｓ、逆光学フィルタおよびノイズ除去された結果として得られる画像（ノイズ除去後画像）をｓ＾（ｓハット）、画像の画素数をＮとしたとき、ノイズ除去後画像ｓ＾は、真の画像ｓとの誤差、例えば、以下の式（９）に示す平均２乗誤差ＭＳＥ（Mean Square Error）が最小であることが望ましい。
【００５４】
【数９】
2014220583.tif 000011
【００５５】
このＭＳＥの期待値＜ＭＳＥ＞は、以下の式（１０）に示すように下限を持ち、統計量推定手段１３０で正しく統計量が推定された場合に、下限値となる。なお、β＾（βハット）、ｈ＾（ｈハット）は、ノイズ除去後画像ｓ＾（ｓハット）の統計パラメータを示す。
【００５６】
【数１０】
2014220583.tif 000012
【００５７】
この式（１０）から分かるように、ＭＳＥ期待値＜ＭＳＥ＞は、光学フィルタＡのフィルタ形状（分布形状）に依存する。
例えば、光学フィルタの点拡がり関数を標準偏差γの正規分布と仮定すると、図２で表されるようなフィルタ依存性が示され、特定のフィルタパラメータγ＊において、ＭＳＥが最小値をとる。
また、このγ＊の値は、統計パラメータβ，ｈおよびノイズレベルＲに依存する。
【００５８】
すなわち、フィルタパラメータ導出手段１３１は、統計量推定手段１３０で推定された統計量である統計パラメータβ，ｈと、イメージセンサ１１のノイズレベルＲのもとで、ＭＳＥｍｉｎに関する最小化問題を解くことで、最適なフィルタパラメータγ＊を導出する。
【００５９】
具体的には、フィルタパラメータ導出手段１３１は、図示を省略したルックアップテーブル記憶手段に、統計量（統計パラメータβ，ｈ）と、ノイズレベルＲと、フィルタパラメータγとの組み合わせに対するＭＳＥｍｉｎの値を、４次元ルックアップテーブルとして予め記憶しておき、β，ｈ，Ｒに対応するＭＳＥｍｉｎの値が最小となるフィルタパラメータγ＊を選択する。
【００６０】
また、例えば、フィルタパラメータ導出手段１３１は、図示を省略したルックアップテーブル記憶手段に、統計量（統計パラメータβ，ｈ）と、ノイズレベルＲと、予めβ，ｈ，Ｒによって求めたＭＳＥを最小化するγとを、３次元ルックアップテーブルとして予め記憶しておき、β，ｈ，Ｒに対応するγを、フィルタパラメータγ＊として選択することとしてもよい。なお、ＭＳＥを最小化するγは、全数検索、勾配法、ニュートン法等の一般的な手法によって予め求めておけばよい。
【００６１】
また、例えば、フィルタパラメータ導出手段１３１は、ルックアップテーブルを用いずに、演算によって、フィルタパラメータγ＊を算出することとしてもよい。
このＭＳＥを最小化するフィルタパラメータγ＊を演算によって算出する最小化問題を解く手法は、勾配法、ニュートン法等の一般的な手法を用いればよい。例えば、勾配法でＭＳＥを最小化するフィルタパラメータγ＊を演算するには、前記式（１０）に示したＭＳＥｍｉｎに対して、以下の式（１１）に示す勾配法の更新ステップを、値が収束するまで繰り返すことで、最小解γ、すなわち、フィルタパラメータγ＊を求める。
【００６２】
【数１１】
2014220583.tif 000013
【００６３】
これによって、フィルタパラメータ導出手段１３１は、光学フィルタを制御するためのパラメータ（フィルタパラメータ）を導出することができる。
このフィルタパラメータ導出手段１３１は、導出したフィルタパラメータを光学系制御手段１３２に出力するともに、フィルタパラメータ記憶手段１５に書き込む。
【００６４】
光学系制御手段１３２は、フィルタパラメータ導出手段１３１で導出されたフィルタパラメータに基づいて、光学系１０（光学フィルタ）を駆動制御するものである。
ここでは、光学系制御手段１３２は、ボケによる点拡がり（光学フィルタを正規分布とした場合、その標準偏差γ）が、フィルタパラメータ導出手段１３１で導出されたフィルタパラメータγ＊に一致（最近似）するように、光学系１０のフォーカス値を制御する。
【００６５】
具体的には、光学系制御手段１３２は、既存のオートフォーカス技術（例えば、コントラスト検出方式、位相差検出方式等）によって、フォーカスを合わせた状態から、フォーカスを外す（デフォーカス）方向に光学系１０を制御する
ここで、デフォーカス量は、フォーカスが合った状態から、光学フィルタの点拡がり（ここでは、標準偏差）が、フィルタパラメータγ＊と一致（最近似）するまでのフォーカス値の変化量である。
【００６６】
なお、このデフォーカス量は、予めフォーカス値に対して、標準偏差γ＊となるデフォーカス量を対応付けておけばよい。
例えば、フォーカスが合った状態でのフォーカス値をｆ、そこからのずれ量（デフォーカス量）をΔｆとしたときの関数γ（ｆ，Δｆ）の値を、図示を省略したルックアップテーブル記憶手段に２次元ルックアップテーブルとして記憶しておく。
【００６７】
この２次元ルックアップテーブルは、光学系１０内のレンズに依存する。そこで、２次元ルックアップテーブルは、光学系１０で用いられるレンズにおいて、予め、様々な（ｆ，Δｆ）の組み合わせに対する点拡がり関数を測定しておき、これに近似する正規分布の標準偏差γを記憶しておくこととする。
そして、光学系制御手段１３２は、２次元ルックアップテーブルから、現時点のフォーカス値ｆに対して、フィルタパラメータγ＊と最も近い値となるデフォーカス量Δｆを取得する。
そして、光学系制御手段１３２は、光学系１０のフォーカス制御を行う光学系制御信号として、フォーカス値（ｆ＋Δｆ）を、光学系１０に出力する。
【００６８】
なお、ここで、光学系制御手段１３２は、フォーカスをぼかす方向に光学系１０を駆動している。しかし、これは、イメージセンサ１１で撮像される画像が、ノイズレベルによっては、フォーカスが合った状態よりも、デフォーカスした状態の方が、真の画像に近い画像を得ることができるためである。
【００６９】
ノイズ除去手段１３３は、画像記録手段１２に記録された撮影画像（ノイズ除去前画像）に対して、逆光学フィルタ処理およびノイズ除去処理を行うものである。
ここでは、ノイズ除去手段１３３は、統計量推定手段１３０で推定された統計量と、予め与えられたノイズレベルとを条件として、画像記録手段１２に記録された撮像画像に対して、前記式（１）と前記式（４）の確率分布を統合した確率分布の事後確率を最大化する画像をノイズ除去後の画像として生成する。
ここで、撮影画像（ノイズ除去前画像）ｒのもとでの真の画像ｓの事後確率分布Ｐ（ｓ｜ｒ；β，ｈ，Ｒ）は、ベイズの定理から、以下の式（１２）で与えられる。
【００７０】
【数１２】
2014220583.tif 000014
【００７１】
このノイズ除去手段１３３は、この事後確率を最大化するｓ＝ｓ＾（ｓハット）を、ノイズ除去後画像として出力する。
なお、前記式（１２）に、前記式（２）および式（５）を代入すると、事後確率分布Ｐ（ｓ｜ｒ；β，ｈ，Ｒ）は、以下の式（１３）となる。
【００７２】
【数１３】
2014220583.tif 000015
【００７３】
なお、前記した統計モデルのもとでは、事後確率分布は、正規分布であり、最頻値は平均に等しい。そこで、ノイズ除去手段１３３は、事後確率を最大化するノイズ除去後画像ｓ＾（ｓハット）を、以下の式（１４）により生成する。
【００７４】
【数１４】
2014220583.tif 000016
【００７５】
ここで、ノイズ除去手段１３３は、統計量（統計パラメータβ，ｈ）については、統計量推定手段１３０で推定され統計量記憶手段１４に記憶されている統計量を参照する。なお、行列Ｊ,Ｉ、ノイズレベルＲについては、前記式（２）や式（５）で説明したものと同じであるため、説明を省略するが、これらの情報は、既知の情報として、ノイズ除去手段１３３に予め設定されている。また、光学フィルタＡについては、前記式（５）で説明したとおり、光学系１０の点拡がり関数を表すもので、当該関数を特定するパラメータは、フィルタパラメータ記憶手段１５に逐次記憶されている。
すなわち、ノイズ除去手段１３３は、光学フィルタＡについては、フィルタパラメータ記憶手段１５に記憶されているフィルタパラメータ（例えば、点拡がり関数を正規分布としたときの標準偏差、分散等）を参照し、当該パラメータで特定される点拡がり関数を光学フィルタＡとして使用する。
【００７６】
統計量記憶手段１４は、統計量推定手段１３０で推定された統計量を記憶するもので、半導体メモリ等の一般的な記録媒体である。
フィルタパラメータ記憶手段１５は、フィルタパラメータ導出手段１３１で導出されたフィルタパラメータを記憶するもので、半導体メモリ等の一般的な記録媒体である。
【００７７】
以上説明したように、撮影装置１を構成することで、撮影装置１は、光学系１０を制御して、イメージセンサ１１で撮像されたノイズを含んだ画像からノイズを除去することで、光学系や撮影系を通した一連の処理において発生するノイズを精度よく除去することができる。
【００７８】
なお、撮影装置１の制御手段１３は、撮影装置１内のコンピュータを前記した各手段として機能させるためのプログラム（ノイズ除去プログラム）によって動作する。
すなわち、撮影装置１は、図示を省略した記憶手段に記憶したノイズ除去プログラムを、ＲＡＭ（Random Access Memory）に展開し、コンピュータによって動作させることで、制御手段１３の各手段の機能を実現することができる。
【００７９】
［撮影装置の動作］
次に、図３を参照（構成については、適宜図１参照）して、本発明の実施形態に係る撮影装置１の動作について説明する。
なお、ここでは、撮影装置１を、動画像カメラ（ビデオカメラ）として説明する。
まず、撮影装置１は、イメージセンサ１１によって、光学系１０を介して撮影対象を撮像し、画像記録手段１２に書き込む（ステップＳ１）。
【００８０】
そして、撮影装置１は、制御手段１３の統計量推定手段１３０によって、予め与えられたイメージセンサ１１のノイズレベルの条件下で、画像記録手段１２に書き込まれた画像（撮影画像）から、予め定めた統計モデルの統計量に関する尤度関数（対数尤度関数；前記式（７参照））が最大となる統計量（統計パラメータ）を算出する（ステップＳ２）。
これによって、統計量推定手段１３０は、撮影対象の画像特徴を、予め定めた統計モデルの統計量（統計パラメータ）によって推定する。
【００８１】
そして、撮影装置１は、制御手段１３のフィルタパラメータ導出手段１３１によって、ステップＳ２で算出（推定）された統計量（統計パラメータ）と、予め与えられたノイズレベルとから、真の画像と、ノイズ除去手段１３３においてノイズ除去されたノイズ除去後画像との平均２乗誤差ＭＳＥが最小となる光学フィルタのパラメータ（フィルタパラメータ）を導出する（ステップＳ３）。このフィルタパラメータは、例えば、光学フィルタを正規分布とした場合のフィルタを特定する標準偏差等である。
このとき、フィルタパラメータ導出手段１３１は、事前に準備したルックアップテーブルで、統計パラメータ、ノイズレベル等から、フィルタパラメータを取得することとしてもよいし、平均２乗誤差ＭＳＥを最小とするフィルタパラメータについて最小化問題を解くことで計算により求めてもよい。
【００８２】
そして、撮影装置１は、制御手段１３の光学系制御手段１３２によって、ステップＳ３で導出されたフィルタパラメータと、光学系１０の光学フィルタのパラメータとが一致（最近似）する光学系１０の駆動量を求めて、光学系１０を駆動制御する（ステップＳ４）。
このとき、光学系制御手段１３２は、フォーカスが合った状態でのフォーカス値と、そこからのずれ量（デフォーカス量）とに、フィルタパラメータ（標準偏差）の値を予め対応付けた２次元ルックアップテーブルから、現時点のフォーカス値に対して、フィルタパラメータと最も近い値となるデフォーカス量を取得する。
【００８３】
そして、光学系制御手段１３２は、現時点のフォーカス値にデフォーカス量を加算したフォーカス値を光学系１０に出力する。
これによって、光学系１０のフォーカスが制御され、イメージセンサ１１に結像する像は、ノイズレベルに応じてデフォーカスされた像（撮影画像〔ノイズ除去前画像〕）となって、画像記録手段１２に記録される。
【００８４】
そして、撮影装置１は、制御手段１３のノイズ除去手段１３３によって、ステップＳ２で推定された統計量（統計パラメータ）と、予め与えられたノイズレベルとに基づいて、画像記録手段１２に記録された撮影画像（ノイズ除去前画像）に対して、逆光学フィルタ処理およびノイズ除去処理を行う（ステップＳ５）。
すなわち、ノイズ除去手段１３３は、撮影画像（ノイズ除去前画像）のもとでの真の画像の事後確率を最大化する画像（ノイズ除去後画像）を生成する（前記式（１４）参照）。
その後、撮影装置１は、ステップＳ１に戻って、動作を続ける。
【００８５】
これよって、撮影装置１は、動画像撮影中に、光学系１０を順次調整しつつ、ノイズ除去を行った画像を取得することができる。
なお、ここでは、説明を簡略化するため、撮影装置１がステップＳ１で撮影対象を撮像および記録した後、ステップＳ２〜Ｓ４で光学系を駆動制御することとした。しかし、ステップＳ２〜Ｓ４は、必ずしも撮影対象を撮像および記録するたびに行う必要はない。
例えば、撮影装置１は、最初にステップＳ１〜Ｓ５の動作を行った後、ステップＳ２〜Ｓ４については、ステップＳ１による撮像および記録が予め定めた回数行われるごとに動作させることとしてもよい。
【００８６】
次に、図４を参照（構成については、適宜図１参照）して、本発明の実施形態に係る撮影装置１を静止画カメラ（スチールカメラ）とした場合の動作について説明する。
撮影装置１を静止画カメラとして動作させる場合も、基本的動作は、図３で説明した動画像カメラと同じである。
【００８７】
撮影装置１は、図３で説明した動画像カメラと同様に、ステップＳ１からステップＳ４までの動作を行った後、制御手段１３が、ステップＳ１〜Ｓ４の動作回数を累計し、所定回数（例えば、３回等）に達したか否かを判定する（ステップＳ４Ｂ）。
そして、ステップＳ１〜Ｓ４の動作回数が所定回数に達していない場合（ステップＳ４ＢでＮｏ）、撮影装置１は、ステップＳ１に戻って操作を続ける。
【００８８】
一方、ステップＳ１〜Ｓ４の動作回数が所定回数に達した場合（ステップＳ４ＢでＹｅｓ）、撮影装置１は、制御手段１３のノイズ除去手段１３３によって、ステップＳ２で推定された統計量（統計パラメータ）と、予め与えられたノイズレベルとに基づいて、画像記録手段１２に記録された撮影画像（ノイズ除去前画像）に対して、逆光学フィルタ処理およびノイズ除去処理を行う（ステップＳ５）。
このように、ステップＳ１〜Ｓ４を繰り返し処理することで、撮影装置１は、統計量推定手段１３０における統計量の推定の精度を高めることができ、ノイズ除去精度を高めることができる。
【００８９】
以上説明したように、撮影装置１は、適応的に光学系を制御してノイズを除去することで、撮影系全体を通して画像の最適化を行うことができ、イメージセンサにノイズが発生する環境下において、最も劣化の少ない画像を得ることができる。
【００９０】
［処理結果］
次に、図５を参照して、撮影装置１のシミュレーション結果について説明する。図５（ａ）は真の画像として用いたＬｅｎｎａ標準画像である。図５（ｂ），（ｃ）は、図５（ａ）の画像を、光学系１０に相当する点拡がり関数によって変換し、所定のノイズ（センサノイズ）によって劣化させた後（画像記録手段１２のノイズ除去前画像）、ノイズ除去（ノイズ除去手段１３３）を行った後の画像である。
【００９１】
なお、図５（ｂ）は、統計量推定手段１３０およびフィルタパラメータ導出手段１３１によって得られるフィルタパラメータに対応する点拡がり関数によって、図５（ａ）の画像を変換し、所定のノイズによって劣化させた後、ノイズ除去を行う処理を複数回行った後の画像である。すなわち、図５（ｂ）の画像は、フィルタパラメータによって、光学系制御手段１３２が、最適なデフォーカス値となるように光学系１０を制御し、ノイズ除去を行った画像に相当する。また、図５（ｃ）の画像は、デフォーカスを行っていない画像に相当する。
ただし、ここでは、処理結果を見やすくするため、画像を劣化させるノイズ（すなわち、イメージセンサ１１のセンサ感度値）を“０ｄＢ”としている。
【００９２】
図５（ｂ）に示すように、センサノイズによって撮影画像が劣化した場合であっても、撮影装置１の光学系１０のフォーカス値（デフォーカス値）を最適化することで、デフォーカスを行わない図５（ｃ）の画像比べ、より真の画像（図５（ａ））に近い画像を撮影することができる。
【００９３】
以上、本発明の実施形態に係る撮影装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、統計量推定手段１３０において、画像の滑らかさを特定する統計パラメータβと、コントラストを特定する統計パラメータｈとでモデル化した統計モデルを用いて統計量を推定した。しかし、統計量推定手段１３０は、他の統計量でモデル化した統計モデルで統計量を推定することとしてもよい。例えば、平均輝度等を統計量として用いてもよい。
【００９４】
また、ここでは、フィルタパラメータ導出手段１３１において、光学フィルタの点拡がり関数を正規分布と仮定し、フィルタパラメータが１つ（標準偏差γ）の例で説明した。しかし、点拡がり関数を一般正規分布で表現した場合のように、フィルタパラメータを複数用いることとしてもよい。
例えば、点拡がり関数を、以下の式（１５）に示すような一般正規分布とした場合、フィルタパラメータは、γ１，γ２の２つとなる。なお、Γはガンマ関数である。
【００９５】
【数１５】
2014220583.tif 000017
【００９６】
このように、フィルタパラメータを２つにした場合、フィルタパラメータ導出手段１３１、光学系制御手段１３２で用いるルックアップテーブルの次元をそれぞれ１つ増加させればよい。
【符号の説明】
【００９７】
１      撮影装置
１０    光学系（光学フィルタ）
１１    イメージセンサ（撮像手段）
１２    画像記録手段
１３    制御手段
１３０  統計量推定手段
１３１  フィルタパラメータ導出手段
１３２  光学系制御手段
１３３  ノイズ除去手段
１４    統計量記憶手段
【図１】
2014220583.tif 000018
【図２】
2014220583.tif 000019
【図３】
2014220583.tif 000020
【図４】
2014220583.tif 000021
【図５】
2014220583.tif 000022