(57)【特許請求の範囲】
【請求項１】
連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる画像復元装置であって、
前記複数の入力画像にわたって発生しているブレを示す第１ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を取得するＰＳＦ取得部と、
周波数領域において各周波数の振幅値が閾値未満とならないように前記第１ＰＳＦを加工することにより第２ＰＳＦを生成するＰＳＦ変換部と、
前記第２ＰＳＦのうち各入力画像に対応する部分を用いて前記複数の入力画像をそれぞれ変換することにより、複数の変換画像を生成する画像変換部と、
前記複数の変換画像が合成された劣化画像に対して、前記第２ＰＳＦを用いた復元処理を施すことにより、復元画像を生成する画像復元部とを備える
画像復元装置。
【請求項２】
前記ＰＳＦ変換部は、周波数領域において前記第１ＰＳＦの振幅値が前記閾値未満である周波数を特定し、特定した前記周波数において振幅値を前記閾値以上の所定値に変更することにより、前記第１ＰＳＦを加工する
請求項１に記載の画像復元装置。
【請求項３】
第１周波数の振幅値を変更するときに用いられる前記所定値は、前記第１周波数よりも高い周波数である第２周波数の振幅値を変更するときに用いられる前記所定値よりも大きい
請求項２に記載の画像復元装置。
【請求項４】
前記所定値は、前記入力画像に生じているノイズが大きいほど小さくなるように決定された値である
請求項２に記載の画像復元装置。
【請求項５】
第１周波数を特定するときに用いられる前記閾値は、前記第１周波数よりも高い周波数である第２周波数を特定するときに用いられる前記閾値よりも大きい
請求項２に記載の画像復元装置。
【請求項６】
前記閾値は、前記入力画像に生じているノイズが大きいほど小さくなるように決定された値である
請求項２に記載の画像復元装置。
【請求項７】
前記画像変換部は、前記第２ＰＳＦが示すブレが検出された時間と、前記各入力画像が撮影された時間とに基づいて、前記第２ＰＳＦのうち各入力画像に時間的に対応する部分を決定し、決定した部分を用いて前記複数の入力画像をそれぞれ変換する
請求項１に記載の画像復元装置。
【請求項８】
前記ＰＳＦ変換部は、周波数領域において前記第１ＰＳＦの振幅値が前記閾値未満である周波数を特定し、特定した前記周波数の振幅値が前記閾値以上であるオフセットＰＳＦを生成し、前記オフセットＰＳＦと前記第１ＰＳＦとを加算することにより、前記第２ＰＳＦを生成する
請求項１に記載の画像復元装置。
【請求項９】
連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる集積回路であって、
前記複数の入力画像にわたって発生しているブレを示す第１ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を取得するＰＳＦ取得部と、
周波数領域において各周波数の振幅値が閾値未満とならないように前記第１ＰＳＦを加工することにより第２ＰＳＦを生成するＰＳＦ変換部と、
前記第２ＰＳＦのうち各入力画像に対応する部分を用いて前記複数の入力画像をそれぞれ変換することにより、複数の変換画像を生成する画像変換部と、
前記複数の変換画像が合成された劣化画像に対して、前記第２ＰＳＦを用いた復元処理を施すことにより、復元画像を生成する画像復元部とを備える
集積回路。
【請求項１０】
連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる画像復元方法であって、
前記複数の入力画像にわたって発生しているブレを示す第１ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を取得するＰＳＦ取得ステップと、
周波数領域において各周波数の振幅値が閾値未満とならないように前記第１ＰＳＦを加工することにより第２ＰＳＦを生成するＰＳＦ変換ステップと、
前記第２ＰＳＦのうち各入力画像に対応する部分を用いて前記複数の入力画像をそれぞれ変換することにより、複数の変換画像を生成する画像変換ステップと、
前記複数の変換画像が合成された劣化画像に対して、前記第２ＰＳＦを用いた復元処理を施すことにより、復元画像を生成する画像復元ステップとを含む
画像復元方法。
【請求項１１】
請求項１０に記載の画像復元方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる復元画像を生成する画像復元装置および画像復元方法に関する。
【背景技術】
【０００２】
デジタルカメラで画像を撮影した場合、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサ、あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサの読み出し回路の特性や伝送路の特性により、画像にノイズが加えられることがある。
【０００３】
また、撮影時にフォーカスが合っていないこと（焦点外れ：ｏｕｔ−ｏｆ−ｆｏｃｕｓ）による画像のぼやけ（ブラー：ｂｌｕｒ）、あるいは手振れ（ｃａｍｅｒａ  ｓｈａｋｅ）などによる画像のぼやけが発生することもある。このように、デジタルカメラで撮影された画像は、撮像装置に固有の特性に起因するノイズに、撮影時の人為的な操作に起因するぼやけが加わることにより劣化する。
【０００４】
なお、以下において、これらの「ぼやけ」のうち、撮影（露光）中におけるカメラの運動による画像のぼやけ（手振れ）を「ブレ（ｍｏｔｉｏｎ  ｂｌｕｒ）」と称し、焦点外れによるぼやけ（ｏｕｔ−ｏｆ−ｆｏｃｕｓ  ｂｌｕｒ）と区別することにする。
【０００５】
近年、特に高感度撮影の需要が増大していることにより、ぼやけによって劣化した画像（以下、「劣化画像」という）を元の画像（以下、「理想画像」という）にできるだけ近い画像に復元することが要求されている。高感度撮影に要求される、明るく、かつノイズおよびぼやけのない画像を実現するための方法として、大別して、感度を高めるという方法と、露光時間を長くするという方法とがある。
【０００６】
一般的に、感度を高めれば、ノイズも増幅されてしまう。そのため、感度を高める方法では、信号がノイズに埋もれてしまい、ノイズが大半を占める画像になることが多い。
【０００７】
一方、露光時間を長くすれば、被写体から入射した光を多く蓄積し、ノイズの少ない画像が得られる。したがって、信号がノイズで埋もれることはない。しかしながら、露光時間を長くする方法では、露光時間中における手振れよって画像にブレが生じるという問題がある。
【０００８】
そこで、従来、露光時間を長くする場合における問題の対処法として２つの方法が提案されている。一つの方法は、レンズをシフトさせる方式である光学式手振れ補正である（例えば、特許文献１を参照）。もう一つの方法は、得られた画像からブレの方向および大きさを求め、求めたブレの方向および大きさに基づいて、信号処理によって画像を復元するという方法（信号処理による復元方法）である（例えば、特許文献２〜４、非特許文献１〜７を参照）。
【０００９】
暗い環境で十分な光量を確保するために露光時間を長くすると、大きな手振れが発生しやすくなる。そのような暗い環境において、光学式手振れ補正によってブレに対応するためには、レンズの稼動範囲を大きくする必要がある。しかし、稼動範囲が大きくなるとレンズの移動の際に時間遅れが生じるという問題がある。また、稼動範囲を大きくすることには物理的な限界がある。
【００１０】
手振れによって理想画像から劣化画像へと画像が劣化する現象は、以下のようにモデル化することができる。劣化画像における各画素の輝度を表す関数は、理想画像における各画素の輝度を表す関数と、画像のブレを表す点広がり関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）との畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）によって得られる。逆に、得られた劣化画像を理想画像へと復元するためには、劣化画像とＰＳＦとの逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）を行えばよい。畳み込み演算は、周波数領域では乗算に相当する。そのため、周波数領域において劣化画像をＰＳＦで除算することにより、復元画像を得ることができる。
【００１１】
このようにＰＳＦが既知の場合、ノイズの影響を無視すれば、上記の逆畳み込み演算によって比較的容易に復元画像を得ることができる。一方、ＰＳＦが未知の場合、復元画像を得るためには劣化画像からＰＳＦを推定する必要がある。
【００１２】
ＰＳＦの推定には、例えば非特許文献１に開示されたスパースコーディングによる方法などが知られている。この方法では、まず手動で与えた初期ＰＳＦと劣化画像とから、第１の復元結果を得る。続いて第１の復元結果と劣化画像とを用いてより真のＰＳＦに近いと考えられるＰＳＦを推定し、推定されたＰＳＦで初期ＰＳＦを修正する。修正されたＰＳＦを用いて劣化画像から第２の復元結果を得る。以降、第（Ｎ−１）のＰＳＦと劣化画像とから第Ｎの復元画像を得て、第Ｎの復元画像と劣化画像とから第ＮのＰＳＦを推定する、という操作を繰り返すことにより、ＰＳＦの推定と劣化画像の復元を同時に行っていく。
【００１３】
しかし、この方法では、復元された画像にリンギングなどのノイズが発生してしまうという問題がある。「リンギング（ｒｉｎｇｉｎｇ）」とは、画像において輝度などが一様な部分（平坦部）に発生するノイズである。リンギングが発生すれば、平坦部が平坦に見えないようになる。
【００１４】
図１Ａは、輝度がステップ状に変化する画像（エッジ付近の理想画像）を示す図である。また、図１Ｂは、理想画像の輝度分布を模式的に示すグラフである。図２Ａは、図１Ａの画像をカメラで撮影することによって得られた、エッジ付近の劣化画像（ぼやけ画像：ｂｌｕｒｒｅｄ  ｉｍａｇｅ）を示す図である。また、図２Ｂは、劣化画像の輝度分布を模式的に示すグラフである。
【００１５】
ここで、カメラ撮影に際して、水平横方向に手振れが生じたと仮定する。図２Ａの劣化画像は、手振れによるぼやけ（ブレ）が発生したため、エッジのシャープネスが失われている。
【００１６】
図３Ａは、図２Ａの劣化画像を信号処理によって復元した復元画像を示す図である。また、図３Ｂは、復元画像の輝度分布を模式的に示すグラフである。図３Ａの復元画像には、輝度が周期的に変化する部分が存在している。このような輝度変化が「リンギング」と称されるノイズである。リンギングは、周波数領域においてＰＳＦの振幅値が０になる、または０に限りなく近い値になる周波数（以下、「ゼロ点」という）が存在することに起因して発生する。
【００１７】
このようなリンギングの問題を解決する技術が、特許文献３、４、および非特許文献６、７に開示されている。これらの技術によれば、露光状態の間、シャッタを開放し続けるのではなく、ある決められた時間パターン（符号化パターン）に従って光を遮ることにより、周波数領域上でＰＳＦの振幅値が０となる周波数を低減させることができる。そのため、リンギングノイズの発生を防ぐことができる。特許文献３、４、および非特許文献６、７に開示された方法は、“Ｃｏｄｅｄ  Ｅｘｐｏｓｕｒｅ  Ｐｈｏｔｏｇｒａｐｈｙ”と呼ばれている。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００１−１９７３５７号公報
【特許文献２】特開２００６−１２９２３６号公報
【特許文献３】特表２００９−５２２８２５号公報
【特許文献４】特開２００８−３１０７９７号公報
【非特許文献】
【００１９】
【非特許文献１】“Ｈｉｇｈ−ｑｕａｌｉｔｙ  Ｍｏｔｉｏｎ  Ｄｅｂｌｕｒｒｉｎｇ  ｆｒｏｍ  ａ  Ｓｉｎｇｌｅ  Ｉｍａｇｅ”，  Ｑｉ  Ｓｈａｎ，  Ｊｉａｙａ  Ｊｉａ，  ａｎｄ  Ａｓｅｅｍ  Ａｇａｒｗａｌａ，ＳＩＧＧＲＡＰＨ  ２００８
【非特許文献２】米司・田中・奥富共著，「直線的手ぶれ画像復元のためのｐｓｆパラメータ推定手法」，情報処理学会研究報告，第２００５巻，第３８号，ｐ．４７−５２，２００５年
【非特許文献３】Ｊ．  Ｂｉｏｕｃａｓ−Ｄｉａｓ，  “Ｂａｙｅｓｉａｎ  ｗａｖｅｌｅｔ−ｂａｓｅｄ  ｉｍａｇｅ  ｄｅｃｏｎｖｏｌｕｔｉｏｎ：  ａ  ｇｅｍ  ａｌｇｏｒｉｔｈｍ  ｅｘｐｌｏｉｔｉｎｇ  ａ  ｃｌａｓｓ  ｏｆ  ｈｅａｖｙ−ｔａｉｌｅｄ  ｐｒｉｏｒｓ”，  ＩＥＥＥ  Ｔｒａｎｓ．  Ｉｍａｇｅ  Ｐｒｏｃ．，  ｖｏｌ．  ４，  ｐｐ．  ９３７−９５１，  Ａｐｒｉｌ  ２００６
【非特許文献４】Ｌｅｖｉｎ，  “Ｂｌｉｎｄ  Ｍｏｔｉｏｎ  Ｄｅｂｌｕｒｒｉｎｇ  Ｕｓｉｎｇ  Ｉｍａｇｅ  Ｓｔａｔｉｓｔｉｃｓ”，  Ａｄｖａｎｃｅｓ  ｉｎ  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ  （ＮＩＰＳ），  Ｄｅｃ  ２００６
【非特許文献５】Ｂｏｂ  Ｆｅｒｇｕｓ  ｅｔ  ａｌ．，  “Ｒｅｍｏｖｉｎｇ  ｃａｍｅｒａ  ｓｈａｋｅ  ｆｒｏｍ  ａ  ｓｉｎｇｌｅ  ｉｍａｇｅ”，  Ｂａｒｕｎ  Ｓｉｎｇｈ  Ａａｒｏｎ  Ｈｅｒｔｚｍａｎｎ，  ＳＩＧＧＲＡＰＨ  ２００６
【非特許文献６】“Ｃｏｄｅｄ  Ｅｘｐｏｓｕｒｅ  Ｐｈｏｔｏｇｒａｐｈｙ：  Ｍｏｔｉｏｎ  Ｄｅｂｌｕｒｒｉｎｇ  ｕｓｉｎｇ  Ｆｌｕｔｔｅｒｅｄ  Ｓｈｕｔｔｅｒ”，  Ｒａｍｅｓｈ  Ｒａｓｋａｒ，  Ａｍｉｔ  Ａｇｒａｗａｌ，  Ｆａｃｋ  Ｔｕｍｂｌｉｎ，  ＳＩＧＧＲＡＰＨ  ２００６
【非特許文献７】“Ｃｏｄｅｄ  Ｅｘｐｏｓｕｒｅ  Ｄｅｂｌｕｒｒｉｎｇ：  Ｏｐｔｉｍｉｚｅｄ  Ｃｏｄｅｓ  ｆｏｒ  ＰＳＦ  Ｅｓｔｉｍａｔｉｏｎ  ａｎｄ  Ｉｎｖｅｒｔｉｂｉｌｉｔｙ”，  Ａｍｉｔ  Ａｇｒａｗａｌ，  Ｙｉ  Ｘｕ，  ＭＩＴＳＵＢＩＳＨＩ  ＥＬＥＣＴＲＩＣ  ＲＥＳＥＡＲＣＨ  ＬＡＢＯＲＡＴＯＲＩＥＳ，ｈｔｔｐ：／／ｗｗｗ．ｍｅｒｌ．ｃｏｍ
【発明の概要】
【発明が解決しようとする課題】
【００２０】
このように、特許文献３、４、または非特許文献６に開示された方法によれば、露光符号化を行なうことにより、復元画像におけるリンギングの発生を抑制することができる。
【００２１】
しかしながら、これらの方法では、撮影時に光を遮ることで符号化を行うため、撮影よりも先に符号化パターンを決めておく必要がある。具体的には、手振れが生じている特定の画像を用いて予め符号化パターンを決めておき、その符号化パターンを他のシーンにも適用する。そのため、撮影シーンによっては、予め決めた符号化パターンを適用しても、ＰＳＦにゼロ点が発生することを回避することができず、復元画像にリンギングが生じる可能性がある。つまり、これらの方法では、リンギングの発生を安定して抑制することができない。
【００２２】
また、非特許文献７に開示された方法では、符号化パターンを２値のバイナリパターンとして表現し、複数のバイナリパターンの中から画像の復元に最適なバイナリパターンを探索している。しかしながら、探索するパターンの数が多いため、実際に最適な符号化パターンをあらゆるＰＳＦに対して算出することは現実的ではない。
【００２３】
具体的には、非特許文献７の方法では、画像の復元に最適な符号化パターンを決定するために、符号化パターンを変えながら復元を行い、復元した画像のノイズ量を計測し、最適な復元が行えているか否かの判定を行っている。
【００２４】
したがって、非特許文献７の方法では、最適な符号化パターンを探索するために、撮影と復元処理とを多数回繰り返す必要がある。そのため、符号化パターン探索のための処理量が増大し、消費電力も増大するという課題がある。さらに、探索対象となる符号化パターンのパターン数が多いため、非特許文献７では、全てのパターンではなく一部のパターンの範囲内で最適なものを探索している。そのため、性能面でも最適なものを探索できるとは限らないという問題がある。
【００２５】
そこで、本発明は、上記従来の課題を解決するものであって、処理負荷の増大を抑制しつつ、リンギングの発生を安定して抑制することができる画像復元装置および画像復元方法を提供することを目的とする。
【課題を解決するための手段】
【００２６】
上記目的を達成するために、本発明の一態様に係る画像復元装置は、連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる画像復元装置であって、前記複数の入力画像にわたって発生しているブレを示す第１ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を取得するＰＳＦ取得部と、周波数領域において各周波数の振幅値が閾値未満とならないように前記第１ＰＳＦを加工することにより第２ＰＳＦを生成するＰＳＦ変換部と、前記第２ＰＳＦのうち各入力画像に対応する部分を用いて、前記複数の入力画像をそれぞれ変換することにより、複数の変換画像を生成する画像変換部と、前記複数の変換画像が合成された劣化画像に対して、前記第２ＰＳＦを用いた復元処理を施すことにより、復元画像を生成する画像復元部とを備える。
【００２７】
本構成によれば、複数の入力画像にわたって発生しているブレを示す第１ＰＳＦを加工することにより、周波数領域において各周波数の振幅値が閾値以上である第２ＰＳＦを生成する。そして、第２ＰＳＦの各部分を用いて、各入力画像を変換する。このように変換された複数の入力画像が合成された画像は、ＰＳＦにゼロ点が生じないように符号化されたときに得られる劣化画像（以下、「符号化された劣化画像」という）に相当する。つまり、本構成によれば、ＰＳＦにゼロ点が生じないように符号化された劣化画像を、複数の入力画像にわたって発生しているブレに適応して生成することができる。したがって、予め符号化パターンを決定する必要がないので、リンギングの発生を安定して抑制することができる。さらに、ＰＳＦにゼロ点が生じないように符号化された劣化画像を生成するために復元処理を繰り返す必要もない。したがって、処理負荷の増大も抑制することができる。
【００２８】
また、前記ＰＳＦ変換部は、周波数領域において前記第１ＰＳＦの振幅値が前記閾値未満である周波数を特定し、特定した前記周波数において振幅値を前記閾値以上の所定値に変更することにより、前記第１ＰＳＦを加工することが好ましい。
【００２９】
本構成によれば、第１ＰＳＦの振幅値が閾値未満となる周波数において振幅値を変更することにより、第２ＰＳＦを生成する。したがって、複数の入力画像にわたって発生しているブレにより適応した符号化された劣化画像を生成することができる。つまり、よりブレが少ない復元画像を生成することが可能となる。
【００３０】
また、第１周波数の振幅値を変更するときに用いられる前記所定値は、前記第１周波数よりも高い周波数である第２周波数の振幅値を変更するときに用いられる前記所定値よりも大きいことが好ましい。
【００３１】
本構成によれば、振幅値が変更された周波数において、低周波数の振幅値を高周波数の振幅値よりも大きくすることができるので、低周波領域において生じるノイズであるリンギングノイズを効率的に低減させることが可能となる。
【００３２】
また、前記所定値は、前記入力画像に生じているノイズが大きいほど小さくなるように決定された値であることが好ましい。
【００３３】
本構成によれば、振幅値を変更することにより復元画像においてノイズが増幅されるという弊害を抑制することができる。
【００３４】
また、第１周波数を特定するときに用いられる前記閾値は、前記第１周波数よりも高い周波数である第２周波数を特定するときに用いられる前記閾値よりも大きいことが好ましい。
【００３５】
本構成によれば、リンギングノイズの原因となる小さな振幅値を低周波領域において効率的に排除することができるので、低周波領域において生じるノイズであるリンギングノイズを効率的に低減させることが可能となる。
【００３６】
また、前記閾値は、前記入力画像に生じているノイズが大きいほど小さくなるように決定された値であることが好ましい。
【００３７】
本構成によれば、振幅値を変更することにより復元画像においてノイズが増幅されるという弊害を抑制することができる。
【００３８】
また、前記画像変換部は、前記第２ＰＳＦが示すブレが検出された時間と、前記各入力画像が撮影された時間とに基づいて、前記第２ＰＳＦのうち各入力画像に時間的に対応する部分を決定し、決定した部分を用いて前記複数の入力画像をそれぞれ変換することが好ましい。
【００３９】
本構成によれば、各入力画像に対応する第２ＰＳＦの部分をより適切に決定することが可能となる。
【００４０】
また、前記ＰＳＦ変換部は、周波数領域において前記第１ＰＳＦの振幅値が前記閾値未満である周波数を特定し、特定した前記周波数の振幅値が前記閾値以上であるオフセットＰＳＦを生成し、前記オフセットＰＳＦと前記第１ＰＳＦとを加算することにより、前記第２ＰＳＦを生成することが好ましい。
【００４１】
本構成によれば、オフセットＰＳＦを加算することによって、第２ＰＳＦを生成することが可能となる。
【００４２】
本発明は、このような特徴的な処理部を備える画像復元装置として実現することができるだけでなく、画像復元装置に含まれる特徴的な処理部をステップとする画像復元方法として実現することもできる。また、画像復元方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【００４３】
また、本発明は、画像復元装置が備える特徴的な処理部を有する集積回路として実現することもできる。
【発明の効果】
【００４４】
本発明によれば、ＰＳＦにゼロ点が生じないように符号化された劣化画像を、連続して撮影された複数の入力画像を用いて、複数の入力画像にわたって発生しているブレに適応して生成することができる。したがって、処理負荷の増大を抑制しつつ、リンギングの発生を安定して抑制することが可能となる。
【図面の簡単な説明】
【００４５】
【図１Ａ】エッジ付近の理想画像を示す図
【図１Ｂ】理想画像の輝度分布を模式的に示すグラフ
【図２Ａ】エッジ付近の劣化画像を示す図
【図２Ｂ】劣化画像の輝度分布を模式的に示すグラフ
【図３Ａ】劣化画像を信号処理によって復元した復元画像を示す図
【図３Ｂ】復元画像の輝度分布を模式的に示すグラフ
【図４】露光符号化の説明図
【図５】空間領域におけるＰＳＦの模式図
【図６】周波数領域に変換されたＰＳＦの模式図
【図７】本発明の実施の形態係る撮像装置の機能構成を示すブロック図
【図８】本発明の実施の形態に係る信号処理部の機能構成を示すブロック図
【図９】本発明の実施の形態に係る信号処理部における劣化画像の復元処理の流れを示すフローチャート
【図１０】本発明の実施の形態に係るＰＳＦ変換部におけるＰＳＦ変換処理の流れを示すフローチャート
【図１１】本発明の実施の形態に係る画像変換部における画像変換処理の流れを示すフローチャート
【図１２】理想画像の一例を示す図
【図１３】理想画像の周波数特性の一例を示す図
【図１４】第１ＰＳＦの一例を示す図
【図１５】第１ＰＳＦの周波数特性の一例を示す図
【図１６】劣化画像の一例を示す図
【図１７】劣化画像の周波数特性の一例を示す図
【図１８】従来の画像復元方法によって得られる復元画像の一例を示す図
【図１９】第２ＰＳＦの一例を示す図
【図２０】第２ＰＳＦの周波数特性の一例を示す図
【図２１】本発明の実施の形態に係る画像復元方法によって得られる復元画像の一例を示す図
【図２２】本発明の一態様に係る画像復元装置の機能構成を示すブロック図
【発明を実施するための形態】
【００４６】
本発明の実施の形態について詳細を説明する前に、まず、本実施の形態における画像復元方法の基本的原理について説明する。
【００４７】
本明細書では、撮像面に形成される画像の輝度分布をｍ（ｘ，ｙ）で表すことにする。座標（ｘ，ｙ）は、撮像面の画素（光感知セル）の位置を示す二次元座標である。画像が例えば行列状に配列されたＭ×Ｎ個の画素からなる場合において、ｘおよびｙが、それぞれ、０≦ｘ≦Ｍ−１、０≦ｙ≦Ｎ−１の関係を満足する整数であるとすると、画像を構成する個々の画素の位置を座標（ｘ，ｙ）によって特定することができる。この画像上の座標（ｘ，ｙ）における輝度を、適宜「画素値」と呼ぶ。
【００４８】
座標の原点（０，０）は、画像の左上隅に設定される。また、ｘ軸は水平方向に延びる軸として設定され、ｙ軸を垂直方向に延びる軸として設定される。ただし、座標は、必ずしもこのように設定される必要はなく、任意に設定されればよい。
【００４９】
ここで、ぼやけ（ｂｌｕｒ）のない画像（理想画像または元画像）の輝度分布をｓ（ｘ，ｙ）と表わす。また、ぼやけを規定するＰＳＦをｆ（ｘ，ｙ）と表わす。この場合、ノイズの影響を無視すれば、以下の（式１）が成立する。
【００５０】
【数１】
0005204165.tif 000002
【００５１】
ここで、記号「＊」は、畳み込み演算（コンボリューション）を示している。（式１）の右辺は、一般に、以下の（式２）で表される。
【００５２】
【数２】
0005204165.tif 000003
【００５３】
画像が、Ｍ×Ｎ個の画素からなる場合、上記の（式２）は、以下の（式３）で表すことができる。
【００５４】
【数３】
0005204165.tif 000004
【００５５】
ぼやけの特徴を示す点広がり関数ｆ（ｘ，ｙ）が既知である場合、カメラ撮影によって得られた画像ｍ（ｘ，ｙ）に対して逆畳み込み演算（デコンボリューション）を行なうことにより、ぼやけの無い画像ｓ（ｘ，ｙ）を復元することができる。また、点広がり関数ｆ（ｘ，ｙ）が既知でない場合は、画像ｍ（ｘ，ｙ）からｆ（ｘ，ｙ）を推定した上でぼやけの無い画像ｓ（ｘ，ｙ）を求める必要がある。
【００５６】
一般に、２つの関数の畳み込みは、各関数のフーリエ変換の積によって表される。このため、ｍ（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｆ（ｘ，ｙ）のフーリエ変換を、それぞれ、Ｍ（ｕ，ｖ）、Ｓ（ｕ，ｖ）、Ｆ（ｕ，ｖ）と表すと、（式１）から、以下の（式４）が導かれる。なお、（ｕ，ｖ）は、周波数領域における座標であり、それぞれ、実画像におけるｘ方向およびｙ方向の空間周波数に対応している。
【００５７】
【数４】
0005204165.tif 000005
【００５８】
ここで、記号「・」は、周波数領域における関数の「積」を示している。（式４）を変形すると、以下の（式５）が得られる。
【００５９】
【数５】
0005204165.tif 000006
【００６０】
この（式５）は、カメラ撮影によって得られた画像ｍ（ｘ，ｙ）のフーリエ変換Ｍ（ｕ，ｖ）を、点広がり関数ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）で除算して得られた関数が、理想画像ｓ（ｘ，ｙ）のフーリエ変換Ｓ（ｕ，ｖ）に相当することを示している。すなわち、Ｍ（ｕ，ｖ）およびＦ（ｕ，ｖ）が求まれば、Ｓ（ｕ，ｖ）を決定できる。Ｍ（ｕ，ｖ）は、カメラ撮影によって得られた画像（劣化画像）をフーリエ変換したものであるため、手振れの点広がり関数ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が求まれば、信号処理によって劣化画像から画像を復元する（真の画像に近づける）ことが可能になる。
【００６１】
手振れの点広がり関数ｆ（ｘ，ｙ）は、撮影（露光）中における手振れの軌道に依存する。言い換えると、手振れの軌道はカメラ撮影毎に異なるため、ｆ（ｘ，ｙ）もカメラ撮影毎に変化する。ｆ（ｘ，ｙ）は、カメラ撮影によって得られた１枚または複数枚の画像から推定することも可能であるが、撮影（露光）中におけるカメラの動き（手振れ軌跡）をセンサによって検出して推定することも可能である。しかし、ｆ（ｘ，ｙ）は、推定または測定によって得られるものに過ぎず、何らかの誤差を含む。このため、理想画像ｓ（ｘ，ｙ）を完全に復元することは困難である。
【００６２】
非特許文献２は、短い露光時間中における手振れの軌道を「等速直線運動」と仮定することにより、その点広がり関数のフーリエ変換をｓｉｎｃ関数で近似することを開示している。手振れの幅をＷ、手振れの方向をｘ軸方向とすると、（式５）の分母であるＦ（ｕ，ｖ）は、以下の（式６）で示される。
【００６３】
【数６】
0005204165.tif 000007
【００６４】
（式６）の右辺は、ｓｉｎｃ（ジンク）関数であり、その振幅は一定周期毎にゼロ（０）となる。この周期は、手振れの幅Ｗの逆数（１／Ｗ）である。なお、手振れの方向がｘ軸に対してθの角度を向く場合、Ｆ（ｕ、ｖ）は、（式６）の関数を角度θだけ回転させたものとなる。ただし、現実の手振れは、複雑な軌道を描くため、「等速直線運動」の仮定が充分に成立しない場合もある。
【００６５】
ここで、（式５）の分母であるＦ（ｕ，ｖ）が周期的にゼロとなることが、画像の平坦部におけるリンギングの主たる発生原因であると考えられる。そこで、特許文献３、４、および非特許文献６、７では、撮影の際、露光時間中にシャッタを符号化パターンに従って開閉することにより、Ｆ（ｕ，ｖ）がゼロとなる点を少なくする方法を開示している。このとき周波数領域に変換されたＰＳＦであるＦ（ｕ，ｖ）にゼロ点が生じないように、シャッタの符号化パターンは決められなければならない。
【００６６】
そこで、非特許文献６、７では、予め既知のＰＳＦに対して、符号化パターンを様々に変えながら画像の復元を行うことで、特定のＰＳＦに対して最適な符号化パターンを探索している。この方法では、特定のＰＳＦに対して求めた符号化パターンが、様々なシーンの撮影において利用される。そのため、符号化パターンを決めたＰＳＦとは異なるＰＳＦが周波数領域に変換されたＦ（ｕ，ｖ）では、ゼロ点が生じる可能性がある。また、符号化パターンを探索するために、符号化パターンごとに撮影および復元処理を行なう必要があるので、符号化パターンの探索に要する計算量が多くなる。
【００６７】
そこで、以下に説明する本発明の実施の形態では、撮像装置は、露光時間中に複数の画像を連続して撮影する。そして、撮像装置は、連続して撮影した複数の画像におけるブレを示す第１ＰＳＦを取得する。さらに、撮像装置は、周波数領域に変換された第１ＰＳＦの振幅値を解析することで、第１ＰＳＦを、周波数領域においてゼロ点が存在しない第２ＰＳＦに変換する。撮像装置は、このようにして得られる第２ＰＳＦを用いて各画像に変換処理を施し、変換処理後の画像を合成することにより、ブレに適応した符号化パターンで符号化された劣化画像を得ることができる。そして、撮像装置は、このように得られた劣化画像に対して、第２ＰＳＦを用いた復元処理を行う。このように、本発明の実施の形態に係る撮像装置は、ＰＳＦにゼロ点が生じないように符号化された劣化画像を、複数の入力画像にわたって発生しているブレに適応して生成することができる。したがって、処理負荷の増大を抑制しつつ、リンギングの発生を安定して抑制することが可能となる。
【００６８】
なお、本明細書において「露光時間」とは、連写による撮影の開始から終了までの時間を示す。また、連続して撮影された複数の画像を、適宜、連写画像と記載する。
【００６９】
以下に、本発明の実施の形態について、図面を参照しながら詳細に説明する。
まず、本実施の形態における符号化の概念について図４を用いて説明する。符号化とは、画像の露光情報を特定のパターン（符号化パターン）で変換する処理であり、露光符号化と呼ばれる。露光符号化とは、露光時間中に光を通す状態と、光を通さない状態という２つの状態を作り出すことで、入射する光を時間的に不連続な光信号に変換することである。このとき、光を通す状態と光を通さない状態とによって形成されるパターンを符号化パターンという。
【００７０】
例えば、手振れが真横に等速で生じている場合を考える。露光時間がＴであり、符号化パターンを構成する区間が９つである場合、各区間の時間はＴ／９となる。このとき、光を通す区間を符号「１」で表わし、光を通さない区間を符号「０」で表わす。つまり、符号「１」は、撮像素子に光が入射するＯＮ状態を示す。また、符号「０」は、光が遮られることで撮像素子に光が入射しないＯＦＦ状態を示す。
【００７１】
ここで、符号化が行われない場合、図４（ａ）に示すように、露光時間中の各区間の符号は全て「１」（ＯＮ状態）であり、符号化パターンは｛１１１１１１１１１｝となる。このとき、撮像素子は、露光時間Ｔの全てにおいて光を受光する。
【００７２】
一方、符号化が行われた場合、露光時間中の各区間の符号は、「１」と「０」とが切り替わる。このとき、撮像素子は、露光時間Ｔのうち符号「１」の区間においてのみ光を受光する。例えば、符号化パターンが｛１０１１０１１１０｝の場合、図４（ｂ）に示すように、露光時間中にＯＮ状態とＯＦＦ状態とが切り替えられる。
【００７３】
このような露光時間中に撮像素子に光を通す状態と光を通さない状態とを切り替える符号化を、連写画像を利用して実現する場合を考える。符号化パターンが、図４（ｂ）の例と同じ｛１０１１０１１１０｝であるとする。この場合、図４（ｃ）に示すように、一回の露光時間に９枚の画像を連写するとき、撮影した９枚の画像のうち２枚目５枚目、および９枚目の画像（ハッチングされた画像）の画素値をすべて０に変換した後、９枚の画像を加算する。つまり、連続して撮影された複数の画像のうち、符号「１」の区間に対応する画像のみを加算する。このようにして得られる画像は、図４（ｂ）のように露光時間中に光を遮ることにより得られる画像と本質的に同一となる。つまり、連続して撮影された複数の画像の組み合わせを変更することにより、撮影後に符号化パターンを変更することができる。
【００７４】
次に、符号化がＰＳＦに及ぼす影響について図５および図６を用いて説明する。
図５は、空間領域におけるＰＳＦの模式図である。具体的には、図５（ａ）は、符号化が行われていない場合の空間領域におけるＰＳＦの一例を示す図である。また、図５（ｂ）は、符号化が行われた場合の空間領域におけるＰＳＦの一例を示す図である。なお、図５は、ｘ軸方向に切断した一断面におけるＰＳＦを図示したものである。
【００７５】
ブレの方向がｘ軸方向である場合、符号化が行われることにより、ＰＳＦは、図５（ａ）から図５（ｂ）のように変換される。
【００７６】
図６は、周波数領域に変換されたＰＳＦの模式図である。具体的には、図６（ａ）は、図５（ａ）のＰＳＦを空間領域から周波数領域に変換したときの振幅特性を示す模式図である。同様に、図６（ｂ）は、図５（ｂ）のＰＳＦを空間領域から周波数領域に変換したときの振幅特性を示す模式図である。なお、図６は、ｕ軸方向に切断した一断面についてＰＳＦを図示したものである。
【００７７】
図６（ａ）に示すように、図５（ａ）のＰＳＦ（矩形波）を周波数領域に変換した場合、ＰＳＦは、ｓｉｎｃ関数となる。したがって、周期的に振幅値が０になる点（ゼロ点）が存在する。
【００７８】
一方、図６（ｂ）に示すように、図５（ｂ）の符号化により得られたＰＳＦを周波数領域に変換した場合、ＰＳＦは、ｓｉｎｃ関数とは異なり、振幅値が０になる点が存在しない。このように、符号化により、各周波数において振幅値が０とならないＰＳＦを得ることができる。このように得られるＰＳＦを用いて復元処理を行なうことにより、リンギングノイズがない復元画像を得ることができる。
【００７９】
以上のように、露光を符号化することによって周波数領域において振幅値が０にならないようなＰＳＦを得ることができる。本実施の形態では、撮影時に光を遮ることで露光符号化を行うのではなく、連続して撮影された複数の入力画像のそれぞれにおいて画素値を変化させ、変化後の複数の入力画像を合成することで露光符号化を行う。具体的には、各入力画像をＬ倍（ただし、Ｌは０〜１の実数）することで符号化を行う。このように、本実施の形態では、撮影中に露光を遮る撮影を行なう必要がないため、撮影終了後に様々な符号化パターンを選択することができる。
【００８０】
次に、本実施の形態に係る撮像装置の機能構成について説明する。  図７は、本発明の実施の形態に係る撮像装置１００の機能構成を示すブロック図である。本実施の形態における撮像装置１００は、デジタル式の電子カメラである。ただし、撮像装置１００は、必ずしもデジタル式の電子カメラである必要はない。
【００８１】
撮像装置１００は、図７に例示するように、撮像部３００と、各種信号処理および画像の復元処理を行う信号処理部２００と、画像を表示する表示部６００と、画像データを記録する記録部５００と、各部を制御するシステム制御部４００とを備える。
【００８２】
撮像部３００は、連続して複数の画像を撮影する。具体的には、撮像部３００は、撮像面上に配列された複数の光感知セル（フォトダイオード）を備える撮像素子（イメージセンサ）３１０と、絞り機能を有するシャッタ３２５と、撮像素子３１０の撮像面上に像を形成するための撮影レンズ３２０とを有する。また、撮像部３００は、画像を連続して撮影（連写）する際に連続する画像データを一時的に格納する内部メモリ３５０を有する。
【００８３】
撮像素子３１０は、典型的には、ＣＣＤセンサまたはＣＭＯＳセンサである。
撮影レンズ３２０は、公知の構成を有しており、一般的には複数のレンズから構成されたレンズユニットである。シャッタ３２５および撮影レンズ３２０は、不図示の駆動機構によって駆動され、光学ズーミング、自動露光（ＡＥ：Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）、あるいはオートフォーカス（ＡＦ：Ａｕｔｏ  Ｆｏｃｕｓ）に必要な動作が実行される。
【００８４】
撮像部３００は、さらに、撮像素子３１０を駆動する撮像素子駆動部３３０を有する。撮像素子駆動部３３０は、例えばＣＣＤドライバなどの半導体集積回路から構成される。撮像素子駆動部３３０は、それぞれ撮像素子３１０を駆動することにより、撮像素子３１０からアナログ信号（光電変換信号）をそれぞれ読み出してデジタル信号に変換する。
【００８５】
撮像部３００は、さらに、撮影時の手振れを検出する手振れ検出部３４５を備える。手振れ検出部３４５は、例えば公知のジャイロスコープや加速度センサなどである。手振れ検出部３４５は、露光時間中における撮像装置１００の動きを検出し、手振れの軌跡を示す情報（手振れ情報）を生成する。生成された手振れ情報は、信号処理部２００に入力され、画像復元処理で利用する第１ＰＳＦを取得する処理に用いられる。
【００８６】
信号処理部２００は、劣化画像の復元処理を実行する。つまり、信号処理部２００は、連続して撮影された複数の入力画像が合成された画像に発生するブレを低減させる。
【００８７】
また、信号処理部２００は、色調補正、解像度変更、あるいはデータ圧縮などの各種信号処理を行ってもよい。なお、信号処理部２００における劣化画像の復元処理の詳細は図８を用いて後述する。
【００８８】
信号処理部２００は、公知のデジタル信号処理プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などのハードウェアと、画像処理を実行するためのソフトウェアとの組合せによって好適に実現される。
【００８９】
メモリ２４０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などによって構成される。このメモリ２４０は、撮像部３００から得られた画像データを記録するとともに、信号処理部２００によって各種の画像処理を受けた画像データや、圧縮された画像データを一時的に記憶する。画像データは、アナログ信号に変換された後、表示部６００によって表示され、あるいは、デジタル信号のまま記録部５００に記録される。画像データは、不図示の通信装置を介して、無線または有線で他の装置（不図示）に送信されてもよい。
【００９０】
システム制御部４００は、上記の撮像部３００、信号処理部２００、メモリ２４０、記録部５００、および表示部６００を制御する。システム制御部４００は、不図示の中央演算処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）およびフラッシュメモリを含む。
【００９１】
なお、本実施の形態の撮像装置は、光学ファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
【００９２】
以下、図８を参照しながら本実施の形態における信号処理部２００の構成をより詳細に説明する。
【００９３】
図８は、本発明の実施の形態に係る信号処理部２００の機能構成を示すブロック図である。信号処理部２００は、画像入力部１１００と、ＰＳＦ取得部１２００と、ＰＳＦ変換部１３００と、画像変換部１４００と、画像復元部１５００と、画像出力部１６００とを備える。
【００９４】
画像入力部１１００は、撮像部３００によって連続して撮影された複数の入力画像を取得する。
【００９５】
ＰＳＦ取得部１２００は、ジャイロセンサや加速度センサなどのセンサ情報に基づいて、画像入力部１１００が取得した複数の入力画像にわたって発生しているブレを示す第１ＰＳＦを取得する。具体的には、ＰＳＦ取得部１２００は、例えば、複数の入力画像が撮影されたときに手振れ検出部３４５によって検出された手振れ情報を用いて第１ＰＳＦを算出する。
【００９６】
ＰＳＦ変換部１３００は、ＰＳＦ取得部１２００から得られる第１ＰＳＦを第２ＰＳＦに変換する。具体的には、ＰＳＦ変換部１３００は、周波数領域において各周波数の振幅値が閾値未満とならないように第１ＰＳＦを加工することにより第２ＰＳＦを生成する。つまり、ＰＳＦ変換部１３００は、周波数領域において各周波数の振幅値が閾値以上となる第２ＰＳＦを第１ＰＳＦに基づいて生成する。
【００９７】
画像変換部１４００は、第２ＰＳＦに基づいて、画像入力部１１００が取得した複数の入力画像をそれぞれ変換する。具体的には、画像変換部１４００は、第２ＰＳＦのうち各入力画像に対応する部分を用いて、複数の入力画像をそれぞれ変換することにより、複数の変換画像を生成する。
【００９８】
画像復元部１５００は、複数の変換画像が合成された劣化画像（符号化された劣化画像）に対して、第２ＰＳＦを用いた復元処理を施すことにより、復元画像を生成する。なお、複数の変換画像が合成された画像は、各変換画像を構成する画素の画素位置ごとに、画素値を加算することにより得られる。
【００９９】
画像出力部１６００は、生成された復元画像を出力する。画像出力部１６００は、復元画像を、例えば、記録部５００および表示部６００の少なくとも一方に出力する。
【０１００】
なお、図８に示す信号処理部２００の構成は、一例であり、信号処理部２００は、他の機能ブロックに分割され得る。信号処理部２００は、例えば公知のハードウェアに画像処理のソフトウェアを組み込むことによっても好適に実現される。
【０１０１】
次に、以上のように構成された信号処理部２００における各種処理について説明する。
図９は、本発明の実施の形態に係る信号処理部２００における劣化画像の復元処理の流れを示すフローチャートである。また、図１０は、本発明の実施の形態に係るＰＳＦ変換部１３００におけるＰＳＦ変換処理の流れを示すフローチャートである。また、図１１は、本発明の実施の形態に係る画像変換部１４００における画像変換処理の流れを示すフローチャートである。
【０１０２】
まず、画像入力部１１００は、撮像部３００において連写され、撮像部３００の内部メモリ３５０に蓄えられた複数（ｎ枚：ｎは２以上の整数）の入力画像ｍi（ｘ，ｙ）（ｉは１〜ｎの整数）を取得する（Ｓ１０１）。
【０１０３】
続いて、ＰＳＦ取得部１２００は、複数の入力画像が撮影されたときに手振れ検出部３４５によって検出された手振れ情報を取得する。さらに、ＰＳＦ取得部１２００は、取得した複数の入力画像の画素値を画素位置ごとに加算することにより劣化画像を生成する。そして、ＰＳＦ取得部１２００は、手振れ情報と劣化画像とに基づいて、複数の入力画像にまたがって発生したブレを示す第１ＰＳＦ（ｆ１（ｘ，ｙ））を取得する（Ｓ１０２）。
【０１０４】
なお、ＰＳＦ取得部１２００は、必ずしも手振れ情報と劣化画像との両方に基づいて、第１ＰＳＦを取得する必要はない。例えば、ＰＳＦ取得部１２００は、手振れ情報と劣化画像とのうち手振れ情報にのみ基づいて、第１ＰＳＦを取得してもよい。ただし、劣化画像を用いた信号処理によって算出したＰＳＦも利用して第１ＰＳＦを取得することで、ＰＳＦ取得部１２００は、被写体ぶれと手振れとの両方のブレを示す第１ＰＳＦを取得することができる。
【０１０５】
次に、ＰＳＦ変換部１３００は、周波数領域において各周波数の振幅値が閾値未満とならないように第１ＰＳＦを加工することにより、第２ＰＳＦを生成する（Ｓ１０３）。具体的には、ＰＳＦ変換部１３００では、図１０に示す処理が行われる。
【０１０６】
ＰＳＦ変換部１３００は、まず、ＰＳＦ取得部１２００が取得した第１ＰＳＦを空間領域から周波数領域に変換することにより、周波数毎の振幅値を算出する（Ｓ２０１）。ここで、空間領域における第１ＰＳＦをｆ１（ｘ，ｙ）と表わし、周波数領域における第１ＰＳＦをＦ１（ｕ，ｖ）と表わす。
【０１０７】
次に、ＰＳＦ変換部１３００は、周波数領域において第１ＰＳＦの振幅値が閾値ｆｔｈ未満（｜Ｆ１（ｕ，ｖ）｜＜ｆｔｈ）となる周波数（ｕ’，ｖ’）を特定する（Ｓ２０２）。
【０１０８】
次に、ＰＳＦ変換部１３００は、特定した周波数（ｕ’，ｖ’）において振幅値を閾値ｆｔｈ以上の所定値に変更することにより第２ＰＳＦを生成する（Ｓ２０３）。ここで生成される第２ＰＳＦは、周波数領域における第２ＰＳＦであり、Ｆ２（ｕ，ｖ）と表わす。
【０１０９】
最後に、ＰＳＦ変換部１３００は、Ｆ２（ｕ，ｖ）を周波数領域から空間領域に逆変換する（Ｓ２０４）。ここで、空間領域に変換された第２ＰＳＦをｆ２（ｘ，ｙ）と表わす。このように得られる第２ＰＳＦには、周波数領域においてゼロ点が存在しない。そのため、第２ＰＳＦを用いた復元処理によって得られる復元画像には、リンギングノイズが発生しない。
【０１１０】
図９のフローチャートの説明に戻る。
画像変換部１４００は、第２ＰＳＦのうち各入力画像に対応する部分を用いて、複数の入力画像をそれぞれ変換することにより、変換画像を生成する（Ｓ１０４）。具体的には、画像変換部１４００では、図１１に示す処理が行われる。
【０１１１】
画像変換部１４００は、まず、第２ＰＳＦが示すブレが検出された時間と、各入力画像が撮影された時間とに基づいて、第２ＰＳＦのうち各入力画像に時間的に対応する部分を決定する（Ｓ３０１）。具体的には、画像変換部１４００は、例えば、第２ＰＳＦを構成する複数の画素のうち入力画像に時間的に対応するブレを示す画素（例えば一画素）を入力画像に対応する部分と決定する。
【０１１２】
続いて、画像変換部１４００は、各入力画像に対応する部分を用いて複数の入力画像をそれぞれ変換する（Ｓ３０２）。具体的には、画像変換部１４００は、以下の（式７）に従って入力画像ｍi（ｘ，ｙ）を変換画像ｍi’（ｘ，ｙ）に変換する。例えば、画像変換部１４００は、（式７）に示すように、入力画像と当該入力画像に対応する第２ＰＳＦの部分との畳み込みによって変換画像をそれぞれ生成する。なお、（式７）において、ｆ２i（ｘ，ｙ）は、入力画像ｍi（ｘ，ｙ）に対応する第２ＰＳＦの部分を示す。
【０１１３】
【数７】
0005204165.tif 000008
【０１１４】
次に、画像復元部１５００は、劣化画像ｓ’（ｘ，ｙ）に対して、第２ＰＳＦを用いた復元処理を施すことにより復元画像を生成する（Ｓ１０５）。ここで、劣化画像ｓ’（ｘ，ｙ）は、変換画像ｍi’（ｘ，ｙ）を単に合成した画像であり、以下の（式８）によって求められる。
【０１１５】
【数８】
0005204165.tif 000009
【０１１６】
この劣化画像ｓ’（ｘ，ｙ）は、ＰＳＦにゼロ点が生じないように符号化された劣化画像に相当する。
【０１１７】
なお、画像復元部１５００が実行する復元処理のアルゴリズムは、特に限定されず、公知の画像復元処理のいずれであってもよい。画像復元部１５００は、例えば、公知のリチャードソンルーシ（ＬＲ）法やウィーナフィルタ法などを用いて復元処理を実行することができる。また、画像復元部１５００は、非特許文献１に開示されたスパースコーディング法を用いて復元処理を実行してもよい。また、画像復元部１５００は、最も単純には、以下の（式９）により、復元画像ｒ（ｘ，ｙ）を生成してもよい。
【０１１８】
【数９】
0005204165.tif 000010
【０１１９】
なお、（式９）において、Ｒ（ｕ，ｖ）およびＳ’（ｕ，ｖ）は、周波数領域に変換された、復元画像および符号化された劣化画像を示す。つまり、（式９）によって算出されるＲ（ｕ，ｖ）を空間領域に逆変換することにより、復元画像ｒ（ｘ，ｙ）が得られる。
【０１２０】
次に、画像出力部１６００は、以上のようにして得た復元画像を出力し（Ｓ１０６）、処理を終了する。これにより、復元画像は、例えば記録部５００に記録され、あるいは表示部６００によって表示される。
【０１２１】
次に、本発明の実施の形態に係る信号処理部２００における処理の説明を補足するために、復元処理のシミュレーション結果について説明する。なお、説明の便宜のため、以下において、ｘ軸方向あるいはｕ軸方向の一断面のみを示した図を用いて説明する。
【０１２２】
図１２は、理想画像の一例を示す図である。また、図１３は、理想画像の周波数特性の一例を示す図である。また、図１４は、第１ＰＳＦの一例を示す図である。また、図１５は、第１ＰＳＦの周波数特性の一例を示す図である。また、図１６は、劣化画像の一例を示す図である。図１７は、劣化画像の周波数特性の一例を示す図である。
【０１２３】
本シミュレーションでは、図１２に示す信号を、手振れの存在しない画像信号（理想画像）と設定した。図１２では、横軸がｘ軸方向の画素番号を示し、縦軸が画素値を示す。また、図１４に示すように第１ＰＳＦを設定した。図１４では、横軸がｘ軸方向の画素番号を示し、縦軸がＰＳＦ強度を示す。
【０１２４】
そして、図１４に示す第１ＰＳＦを用いて、図１２に示す理想画像にぼやけ処理を施すことにより、図１６に示す劣化画像を得た。  図１３、図１５および図１７は、図１２、図１４および図１６に示す画像またはＰＳＦを周波数領域に変換したときの周波数特性を示す。図１３、図１５および図１７では、横軸がｕ軸方向の空間周波数を示し、縦軸が振幅値を示す。図１５に示す第１ＰＳＦの周波数特性を見れば、第１ＰＳＦには、周波数領域において振幅値がゼロとなる空間周波数（ゼロ点）が存在することがわかる。
【０１２５】
ここで、まず、従来の画像復元方法によるシミュレーション結果について説明する。最も単純な画像復元方法は、（式５）に示す方法である。したがって、本シミュレーションでは、（式５）による画像復元方法を従来の画像復元方法として扱う。
【０１２６】
図１８は、従来の画像復元方法によって得られる復元画像の一例を示す図である。図１８に示す復元画像は、図１７に示す劣化画像の周波数成分を図に示す第１ＰＳＦの周波数成分を用いて周波数毎に割り算を行うことにより得た画像である。
【０１２７】
ただし、図１５に示すように、周波数領域において第１ＰＳＦの振幅値がゼロになる周波数が含まれる。そのため、従来の画像復元方法では、振幅値がゼロになる周波数では、（式５）に示す割り算を行うことができない。そこで、振幅値がゼロになる周波数では、一定値（本シミュレーションでは「１０」としたが不定値であるため、値は実装・システムによって適宜自由に設定される）を割り算の結果として扱う。
【０１２８】
図１８に示す復元画像から明らかなように、従来の画像復元方法では、画素値が変化する変化点において正しく画像を復元できず、リンギングノイズが発生している。
【０１２９】
次に、本発明の実施の形態に係る画像復元方法によるシミュレーション結果について説明する。
【０１３０】
図１９は、第２ＰＳＦの一例を示す図である。また、図２０は、第２ＰＳＦの周波数特性の一例を示す図である。また、図２１は、本発明の実施の形態に係る画像復元方法によって得られる復元画像の一例を示す図である。
【０１３１】
まず、ＰＳＦ変換部１３００は、図１５に示す第１ＰＳＦの周波数特性を参照して、振幅値が閾値ｆｔｈより小さい周波数を探索する。本シミュレーションでは、閾値ｆｔｈを「０．００１」と設定した。そして、ＰＳＦ変換部１３００は、図２０に示すように、探索した周波数の振幅値を所定値ｐｖに変更することによって、第２ＰＳＦを算出した。ここでは、所定値ｐｖを「０．５」と設定した。
【０１３２】
図２０に示す第２ＰＳＦを周波数領域から空間領域に逆変換することで、図１９に示す第２ＰＳＦが得られる。
【０１３３】
なお、図１９から、第２ＰＳＦは、従来とは異なり負の値にもなりうることがわかる。特許文献３、特許文献４、非特許文献６、および非特許文献７に示されている“Ｃｏｄｅｄ  Ｅｘｐｏｓｕｒｅ  Ｐｈｏｔｏｇｒａｈｙ”では、符号化を行なうことにより、０〜１で表されるＰＳＦの値を一時的に０にしている。つまり、総和が１であるＰＳＦを、部分的に０にすることで（すなわち光量を減らすことで）、周波数領域において振幅値がゼロにならない方法を示していた。本実施の形態では、ＰＳＦを実数倍することで、全体の光量を示すＰＳＦの総和は１のままでリンギングを無くすことができる。
【０１３４】
次に、画像変換部１４００は、図１９に示す第２ＰＳＦのうち各入力画像に対応する部分を用いて複数の入力画像のそれぞれに変換処理を施すことにより、複数の変換画像を生成する。このように生成された複数の変換画像が合成された劣化画像は、符号化されたときに得られる劣化画像に相当する。
【０１３５】
次に、画像復元部１５００は、複数の変換画像が合成された劣化画像と図１９に示す第２ＰＳＦを用いて復元処理を行うことにより、復元画像を生成する。図２１は、このように生成された復元画像を示す。
【０１３６】
図２１に示すように、本実施の形態に係る画像復元方法によって得られる復元画像は、図１２に示す理想画像と同一となる。このことから、本実施の形態に係る画像復元方法によれば、リンギングが無い復元画像を生成可能であることが確認できる。
【０１３７】
なお、上記のシミュレーションにおいて、ＰＳＦ変換部１３００は、周波数領域における第１ＰＳＦの振幅値が閾値（ｆｔｈ＝０．００１）未満となる周波数において、振幅値を所定値（ｐｖ＝０．５）に変更したが、閾値ｆｔｈおよび所定値ｐｖは、必ずしもこれらの値である必要はない。所定値ｐｖを大きくすれば、特定の周波数の振幅値が大きくなるため、特定の周波数における第２ＰＳＦのＰＳＦ強度が増幅される。極端な例では、一周波数においてのみ、第２ＰＳＦのＰＳＦ強度が強く増幅される場合もある。このような場合、複数の入力画像のうち、特定の一枚の入力画像の輝度が増幅され、他の入力画像の輝度が減衰されて、符号化された劣化画像が生成されることになる。複数の入力画像のそれぞれには、ブレは無いが、画像の明るさは暗い。そのため、過度に入力画像の輝度が増幅されれば、ノイズの増加につながる。したがって、所定値ｐｖを過度に大きくすることは好ましくない。
【０１３８】
また、閾値ｆｔｈを大きくすれば、各画素における第２ＰＳＦの絶対値（ＰＳＦ強度）が大きくなる。その結果、各入力画像の画素値の増幅量が増加する。したがって、閾値ｆｔｈも過度に大きくすることは望ましくない。
【０１３９】
以上のことから、上記実施の形態において、ＰＳＦ変換部１３００は、所定値ｐｖと閾値ｆｔｈとを変更しながら、ＰＳＦ強度が過度に大きくなりすぎない第２ＰＳＦを探索することが好ましい。具体的には、ＰＳＦ変換部１３００は、所定値ｐｖと閾値ｆｔｈとを仮設定し、第２ＰＳＦのＰＳＦ強度が過度に大きくなりすぎていないかを確認することを繰り返すことにより、第２ＰＳＦのＰＳＦ強度が過度に大きくなりすぎないときの所定値ｐｖと閾値ｆｔｈとを探索することが好ましい。このように所定値ｐｖと閾値ｆｔｈとを探索しても、従来の非特許文献７のようにＰＳＦを用いた復元処理を繰り返し行う必要がないため、計算量の増加は抑制される。
【０１４０】
なお、上記シミュレーションでは、所定値ｐｖと閾値ｆｔｈとは、全周波数帯域において一定値であったが、必ずしも一定値でなくてもよい。
【０１４１】
リンギングノイズは、画像の平坦部分（低周波成分）に出現するノイズであると考えられる。そこで、所定値ｐｖと閾値ｆｔｈとは、周波数が小さいほど、値が大きくなるように設定されることが好ましい。つまり、第１周波数の振幅値を変更するときに用いられる所定値ｐｖは、第１周波数よりも高い周波数である第２周波数の振幅値を変更するときに用いられる所定値ｐｖよりも大きいことが好ましい。また、第１周波数を特定するときに用いられる閾値ｆｔｈは、第１周波数よりも高い周波数である第２周波数を特定するときに用いられる閾値ｆｔｈよりも大きいことが好ましい。これにより、低周波部分で生じるノイズであるリンギングノイズを効率的に低減させることが可能となる。
【０１４２】
つまり、信号処理部２００は、所定値ｐｖを周波数に応じて変化させることにより、振幅値が変更された周波数において低周波数の振幅値を高周波数の振幅値よりも大きくすることができる。したがって、信号処理部２００は、低周波領域において生じるノイズであるリンギングノイズを効率的に低減させることが可能となる。
【０１４３】
さらに、信号処理部２００は、閾値ｆｔｈを周波数に応じて変化させることにより、リンギングノイズの原因となる小さな振幅値を低周波領域において効率的に排除することができる。したがって、信号処理部２００は、低周波領域において生じるノイズであるリンギングノイズを効率的に低減させることが可能となる。
【０１４４】
また、入力画像の性質を考慮して閾値ｆｔｈと所定値ｐｖとを設定してもよい。（式５）に示すように、復元処理を行なう際の割り算では、分子が劣化画像の周波数成分であり、分母が第２ＰＳＦの周波数成分である。分子である劣化画像の周波数成分が０である場合、分母である第２ＰＳＦの周波数成分はが０であるときを除いて、除算結果は０になる。したがって、周波数領域において劣化画像の振幅値が０となる周波数では、閾値ｆｔｈと所定値ｐｖとはできるだけ小さい値に設定されることが好ましい。これにより、閾値ｆｔｈと所定値ｐｖとが大きくなることで生じる、入力画像の輝度が増幅されることによるノイズ増加の影響を、低減させることが可能となる。
【０１４５】
なお、閾値ｆｔｈと所定値ｐｖは、入力画像のノイズ量に応じて決定されてもよい。つまり、閾値ｆｔｈと所定値ｐｖとは、入力画像のＳ／Ｎ比によって決定されてもよい。具体的には、閾値ｆｔｈと所定値ｐｖとは、入力画像に生じているノイズが大きいほど小さくなるように決定された値であることが好ましい。
【０１４６】
例えば、ＰＳＦ変換部１３００は、撮影シーンの明るさに対応する閾値ｆｔｈと所定値ｐｖとの組み合せをメモリに格納しておき、入力画像が撮影されたときに計測された明るさに対応する閾値ｆｔｈと所定値ｐｖとの組み合せをメモリから読み出すことにより、閾値ｆｔｈと所定値ｐｖとを決定すればよい。一般的に、撮影シーンの明るいほどノイズは小さくなる。
【０１４７】
なお、ＰＳＦ変換部１３００は、撮影シーンの明るさの代わりに、撮影条件（例えば、ＩＳＯ感度）、あるいは入力画像におけるＳ／Ｎ比を利用して、閾値ｆｔｈと所定値ｐｖとを決定してもよい。
【０１４８】
このように、閾値ｆｔｈと所定値ｐｖとを、入力画像に生じているノイズが大きいほど小さくなるように決定することにより、信号処理部２００は、振幅値を変更することにより復元画像においてノイズが増幅されるという弊害を抑制することができる。
【０１４９】
以上のように、本実施の形態に係る撮像装置１００は、複数の入力画像にわたって発生しているブレを示す第１ＰＳＦを加工することにより、周波数領域において各周波数の振幅値が閾値以上である第２ＰＳＦを生成する。そして、撮像装置１００は、第２ＰＳＦの各部分を用いて、各入力画像を変換する。このように変換された複数の入力画像が合成された画像は、ＰＳＦにゼロ点が生じないように符号化された劣化画像に相当する。つまり、撮像装置１００は、ＰＳＦにゼロ点が生じないように符号化された劣化画像を、複数の入力画像にわたって発生しているブレに適応して生成することができる。したがって、撮像装置１００は、予め符号化パターンを決定する必要がないので、リンギングの発生を安定して抑制することができる。さらに、撮像装置１００は、ＰＳＦにゼロ点が生じないように符号化された劣化画像を生成するために復元処理を繰り返す必要もない。したがって、撮像装置１００は、処理負荷の増大も抑制することができる。
【０１５０】
また、本実施の形態に係る撮像装置１００は、第１ＰＳＦの振幅値が閾値未満となる周波数において振幅値を変更することにより、第２ＰＳＦを生成する。したがって、撮像装置１００は、複数の入力画像にわたって発生しているブレにより適応した符号化された劣化画像を生成することができる。つまり、撮像装置１００は、よりブレが少ない復元画像を生成することが可能となる。
【０１５１】
以上、本発明の一態様に係る撮像装置１００について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施した形態も、本発明の範囲内に含まれる。
【０１５２】
例えば、上記実施の形態において、ＰＳＦ変換部１３００は、第１ＰＳＦの振幅値を所定値に変更することにより第２ＰＳＦを生成していたが、他の方法によって第２ＰＳＦを生成してもよい。具体的には、ＰＳＦ変換部１３００は、例えば、特定した周波数の振幅値が閾値以上となるオフセットＰＳＦを生成し、オフセットＰＳＦと第１ＰＳＦとを周波数領域において加算することにより、第２ＰＳＦを生成してもよい。オフセットＰＳＦは、例えば、特定した周波数の振幅値のみが閾値以上の一定値となり、かつ、他の周波数の振幅値が０となる関数である。
【０１５３】
また、上記実施の形態において、ＰＳＦ変換部１３００は、第１ＰＳＦの振幅値が閾値未満となる周波数においてのみ振幅値を変更していたが、第１ＰＳＦの振幅値が閾値以上となる周波数においても振幅値を変更してもよい。例えば、ＰＳＦ変換部１３００は、第１ＰＳＦの振幅値が閾値未満となる周波数の近傍において、振幅値の変化が滑らかになるように振幅値を変更してもよい。
【０１５４】
また、本発明は、信号処理部２００が有する特徴的な処理部を備える画像復元装置として実現されてもよい。具体的には、画像復元装置１０は、例えば、図２２に示すように構成されればよい。
【０１５５】
図２２は、本発明の一態様に係る画像復元装置１０の機能構成を示すブロック図である。図２２に示す画像復元装置１０は、ＰＳＦ取得部１２００と、ＰＳＦ変換部１３００と、画像変換部１４００と、画像復元部１５００とを備える。この画像復元装置１０は、信号処理部２００と同様に、ＰＳＦにゼロ点が生じないように符号化された劣化画像を、連続して撮影された複数の入力画像を用いて、複数の入力画像にわたって発生しているブレに適応して生成することができる。したがって、画像復元装置１０は、処理負荷の増大を抑制しつつ、リンギングの発生を安定して抑制することが可能となる。
【０１５６】
また、図２２に示す画像復元装置１０が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されてもよい。例えば、画像復元装置１０は、ＰＳＦ取得部１２００と、ＰＳＦ変換部１３００と、画像変換部１４００と、画像復元部１５００とを有するシステムＬＳＩ２０から構成されてもよい。
【０１５７】
システムＬＳＩ２０は、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１５８】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１５９】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１６０】
また、本発明は、このような特徴的な処理部を備える画像復元装置として実現することができるだけでなく、画像復元装置に含まれる特徴的な処理部をステップとする画像復元方法として実現することもできる。また、画像復元方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【産業上の利用可能性】
【０１６１】
本発明の一態様に係る画像復元装置は、画像の撮影中に手振れが生じる場合あるいは被写体が動く場合であっても、ブレが少ない画像を生成することができ、デジタルカメラ、ムービー、あるいは監視カメラ等として有用である。
【符号の説明】
【０１６２】
１０  画像復元装置
２０  システムＬＳＩ
１００  撮像装置
２００  信号処理部
２４０  メモリ
３００  撮像部
３１０  撮像素子
３２０  撮影レンズ
３２５  シャッタ
３３０  撮像素子駆動部
３４５  手振れ検出部
３５０  内部メモリ
５００  記録部
６００  表示部
１１００  画像入力部
１２００  ＰＳＦ取得部
１３００  ＰＳＦ変換部
１４００  画像変換部
１５００  画像復元部
１６００  画像出力部
【図１Ａ】
0005204165.tif 000011
【図１Ｂ】
0005204165.tif 000012
【図２Ｂ】
0005204165.tif 000013
【図３Ｂ】
0005204165.tif 000014
【図４】
0005204165.tif 000015
【図５】
0005204165.tif 000016
【図６】
0005204165.tif 000017
【図７】
0005204165.tif 000018
【図８】
0005204165.tif 000019
【図９】
0005204165.tif 000020
【図１０】
0005204165.tif 000021
【図１１】
0005204165.tif 000022
【図１２】
0005204165.tif 000023
【図１３】
0005204165.tif 000024
【図１４】
0005204165.tif 000025
【図１５】
0005204165.tif 000026
【図１６】
0005204165.tif 000027
【図１７】
0005204165.tif 000028
【図１８】
0005204165.tif 000029
【図１９】
0005204165.tif 000030
【図２０】
0005204165.tif 000031
【図２１】
0005204165.tif 000032
【図２２】
0005204165.tif 000033
【図２Ａ】
0005204165.tif 000034
【図３Ａ】
0005204165.tif 000035