(57)【要約】【課題】像ブレを好適に補正することができる検出装置、補正装置、カメラ、及びプログラムを提供する。【解決手段】撮影画像内の合焦した被写体が含まれる第１の領域、及び、撮影画像内の第１の領域とは異なる第２の領域について、点像分布関数を演算する点像分布関数演算部（１４Ａ，Ｓ３０，Ｓ５０）と、第１の領域及び第２の領域の点像分布関数を用いて、撮影画像内における合焦ずれの状態を検出し、合焦ずれとは異なる撮影画像に含まれるブレ成分（Ａ３，Ｂ３，Ｃ３）を演算する成分演算部（１４Ａ，Ｓ６０）とを設ける。【選択図】図２
2008058546.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像内の合焦した被写体が含まれる第１の領域、及び、前記撮影画像内の前記第１の領域とは異なる第２の領域について、点像分布関数を演算する点像分布関数演算部と、
前記第１の領域及び前記第２の領域の前記点像分布関数を用いて、前記撮影画像内における合焦ずれの状態を検出し、前記合焦ずれとは異なる前記撮影画像に含まれるブレ成分を演算する成分演算部とを含むことを特徴とする検出装置。
【請求項２】
請求項１に記載された検出装置であって、前記ブレ成分は、撮影光軸まわりの回転ブレを含むことを特徴とする検出装置。
【請求項３】
請求項１又は請求項２に記載された検出装置であって、
前記成分演算部は、前記第１の領域及び前記第２の領域の前記点像分布関数を用いて前記合焦ずれを除去した後、前記ブレ成分を演算することを特徴とする検出装置。
【請求項４】
請求項１から請求項３までの何れか１項に記載された検出装置と、
前記検出装置により検出された前記ブレ成分を除去する画像回復演算部とを含むことを特徴とする補正装置。
【請求項５】
請求項４に記載された補正装置において、
前記第１の領域及び前記第２の領域の前記点像分布関数から前記回転ブレ成分を演算する回転成分演算部と、
前記回転成分演算部が演算した前記回転ブレ成分を用いて、前記点像分布関数を前記撮影画像内の前記第１の領域及び前記第２の領域以外の領域の点像分布関数に換算する換算部と、
前記換算部により換算された前記点像分布関数を用いて前記撮影画像に含まれる前記回転ブレ成分を除去して画像回復を行う画像演算部とを含むことを特徴とする補正装置。
【請求項６】
請求項１から請求項５までの何れか１項に記載の補正装置において、
前記点像分布関数演算部は、前記第２の領域を２カ所用いて演算を行うこと、
を特徴とする補正装置。
【請求項７】
請求項４から請求項６までの何れか１項に記載された補正装置を含むこと、
を特徴とするカメラ。
【請求項８】
請求項７に記載されたカメラであって、
前記点像分布関数演算部は、撮影画面内に設定された焦点検出領域に対応する領域を前記第１の領域とすること、
を特徴とするカメラ。
【請求項９】
撮影画像、及び、前記撮影画像内の第１の領域に関する情報が入力される入力部と、
前記第１の領域、及び、前記撮影画像内の前記第１の領域とは異なる第２の領域について、点像分布関数を演算する点像分布関数演算部と、
前記第１の領域及び前記第２の領域の前記点像分布関数を用いて、前記撮影画像内における合焦ずれの状態を検出し、前記合焦ずれとは異なる前記撮影画像に含まれるブレ成分を演算する成分演算部と、
前記成分を除去する画像回復演算部とを含むことを特徴とする補正装置。
【請求項１０】
請求項９に記載された補正装置であって、前記ブレ成分は、撮影光軸まわりの回転ブレを含むことを特徴とする補正装置。
【請求項１１】
コンピュータを、
撮影画像、及び、前記撮影画像内の第１の領域に関する情報が入力される入力手段と、
前記第１の領域、前記撮影画像内の前記第１の領域とは異なる第２の領域について、点像分布関数を演算する点像分布関数演算手段と、
前記第１の領域及び前記第２の領域の前記点像分布関数を用いて、前記撮影画像内における合焦ずれの状態を検出し、前記合焦ずれとは異なる前記撮影画像に含まれるブレ成分を演算する成分演算手段と、
前記成分を除去する画像回復演算手段として機能させるためのプログラム。
【請求項１２】
請求項１１に記載されたプログラムであって、前記ブレ成分は、撮影光軸まわりの回転ブレを含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像撮影に関連する検出装置、補正装置、カメラ、プログラムに関するものである。
【背景技術】
【０００２】
撮影時の手振れによる像ブレを低減する光学的なブレ補正装置を備えたカメラが知られている。
しかし、光学的なブレ補正装置は、撮影光学系の光軸まわりでカメラが回転したときの像ブレに対しては、補正効果を期待できなかった。
一方、特許文献１には、撮影光学系の光軸まわりでカメラが回転したときの像ブレを点広がり関数（点像分布関数）を用いて補正する技術が開示されている。
しかし、特許文献１に記載の技術では、点像分布関数を選ぶ位置によって、補正後の画像の品質が大きく左右されてしまい、信頼性が低いという問題があった。
【特許文献１】特開２０００−２９８３００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明の課題は、像ブレを好適に補正することができる検出装置、補正装置、カメラ、及びプログラムを提供することである。
【課題を解決するための手段】
【０００４】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
請求項１の発明は、撮影画像内の合焦した被写体が含まれる第１の領域、及び、前記撮影画像内の前記第１の領域とは異なる第２の領域について、点像分布関数を演算する点像分布関数演算部（１４Ａ，Ｓ３０，Ｓ５０）と、前記第１の領域及び前記第２の領域の前記点像分布関数を用いて、前記撮影画像内における合焦ずれの状態を検出し、前記合焦ずれとは異なる前記撮影画像に含まれるブレ成分（Ａ３，Ｂ３，Ｃ３）を演算する成分演算部（１４Ａ，Ｓ６０）とを含むことを特徴とする検出装置である。
請求項２の発明は、請求項１に記載された検出装置であって、前記ブレ成分（Ａ３，Ｂ３，Ｃ３）は、撮影光軸まわりの回転ブレを含むことを特徴とする検出装置である。
請求項３の発明は、請求項１又は請求項２に記載された検出装置であって、前記成分演算部（１４Ａ，Ｓ６０）は、前記第１の領域及び前記第２の領域の前記点像分布関数を用いて前記合焦ずれを除去した後、前記ブレ成分を演算することを特徴とする検出装置である。
請求項４の発明は、請求項１から請求項３までの何れか１項に記載された検出装置と、前記検出装置により検出された前記ブレ成分を除去する画像回復演算部（１６，Ｓ８０）とを含むことを特徴とする補正装置である。
請求項５の発明は、請求項４に記載された補正装置において、前記第１の領域及び前記第２の領域の前記点像分布関数から前記回転ブレ成分を演算する回転成分演算部（１４Ｂ，Ｓ６０）と、前記回転成分演算部が演算した前記回転ブレ成分を用いて、前記点像分布関数を前記撮影画像内の前記第１の領域及び前記第２の領域以外の領域の点像分布関数に換算する換算部（１４Ｂ，Ｓ７０）と、前記換算部により換算された前記点像分布関数を用いて前記撮影画像に含まれる前記回転ブレ成分を除去して画像回復を行う画像演算部（１６，Ｓ８０）とを含むことを特徴とする補正装置である。
請求項６の発明は、請求項１から請求項５までの何れか１項に記載の補正装置において、前記点像分布関数演算部（１４Ａ，Ｓ３０，Ｓ５０）は、前記第２の領域を２カ所用いて演算を行うこと、を特徴とする補正装置である。
請求項７の発明は、請求項４から請求項６までの何れか１項に記載された補正装置を含むこと、を特徴とするカメラ（１０）である。
請求項８の発明は、請求項７に記載されたカメラであって、前記点像分布関数演算部（１４Ａ，Ｓ３０，Ｓ５０）は、撮影画面内に設定された焦点検出領域（２１）に対応する領域を前記第１の領域とすること、を特徴とするカメラ（１０）である。
請求項９の発明は、撮影画像、及び、前記撮影画像内の第１の領域に関する情報が入力される入力部と、前記第１の領域、及び、前記撮影画像内の前記第１の領域とは異なる第２の領域について、点像分布関数を演算する点像分布関数演算部と、前記第１の領域及び前記第２の領域の前記点像分布関数を用いて、前記撮影画像内における合焦ずれの状態を検出し、前記合焦ずれとは異なる前記撮影画像に含まれるブレ成分を演算する成分演算部と、前記成分を除去する画像回復演算部とを含むことを特徴とする補正装置（１００）である。
請求項１０の発明は、請求項９に記載された補正装置であって、前記ブレ成分は、撮影光軸まわりの回転ブレを含むことを特徴とする補正装置（１００）である。
請求項１１の発明は、コンピュータ（１００）を、撮影画像、及び、前記撮影画像内の第１の領域に関する情報が入力される入力手段と、前記第１の領域、及び、前記撮影画像内の前記第１の領域とは異なる第２の領域について、点像分布関数を演算する点像分布関数演算手段（Ｓ３０，Ｓ５０）と、前記第１の領域及び前記第２の領域の前記点像分布関数を用いて、前記撮影画像内における合焦ずれの状態を検出し、前記合焦ずれとは異なる前記撮影画像に含まれるブレ成分を演算する成分演算手段（Ｓ６０）と、前記成分を除去する画像回復演算手段（Ｓ８０）として機能させるためのプログラムである。
請求項１２の発明は、請求項１１に記載されたプログラムであって、前記ブレ成分は、撮影光軸まわりの回転ブレを含むことを特徴とするプログラムである。
なお、符号を付した構成は適宜改良してもよい。また、少なくとも一部を他の構成物に代替してもよく、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らない。
【発明の効果】
【０００５】
本発明によれば、像ブレを好適に補正することができる検出装置、補正装置、カメラ、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【０００６】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
【０００７】
（第１実施形態）
図１は、第１実施形態によるカメラ１０の光学的ブレ補正機構を説明する図である。
図２は、第１実施形態のカメラ１０の概要を示すブロック図である。
図１、図２において第１実施形態のカメラ１０は、レンズ１１，ブレ補正アクチュエータ２（２ｐ，２ｙ），光学ブレ補正制御部３，レンズ位置検出センサ４（４ｐ，４ｙ），レリーズスイッチ５，振れセンサ９（９ｐ，９ｙ），撮像素子１２，ＡＦエリア情報取得部１３，ＰＳＦ演算部１４，撮影画像取得部１５，デコンボリューション実行部１６，回復画像取得部１７，データ保存部１８，入力部１９等を備えている。
【０００８】
レンズ１１は、撮影光学系の一部を形成し、光軸Ｚに略直交する面内で後述の撮像素子１２に対して移動可能に設けられている。レンズ１１は、カメラ１０の振れによる被写体像の像ブレを打ち消す方向に移動することにより撮像素子１２における像ブレを補正するブレ補正光学系である。
ブレ補正アクチュエータ２は、レンズ１１を移動させる駆動力を発生する駆動部であり、ボイスコイルモータ等が使用される。ブレ補正アクチュエータ２は、ピッチング（Pitching）方向の像ブレ補正時に駆動されるブレ補正アクチュエータ２ｐと、ヨーイング（Yawing）方向の像ブレ補正時に駆動されるブレ補正アクチュエータ２ｙとが設けられている。
【０００９】
光学ブレ補正制御部３は、ブレ補正アクチュエータ２を駆動する回路であり、不図示のブレ補正演算回路により算出された駆動目標に従ってブレ補正アクチュエータ２の駆動を行う。
レンズ位置検出センサ４は、レンズ１１の位置を検出する位置センサであり、ピッチング（Pitching）方向の像ブレ補正時のレンズ１１の位置を検出するレンズ位置検出センサ４ｐと、ヨーイング（Yawing）方向の像ブレ補正時のレンズ１１の位置を検出するレンズ位置検出センサ４Ｙとが設けられている。
振れセンサ９は、カメラ１０の角速度を検出する角速度センサであり、ピッチング（Pitching）振れを検出する振れセンサ９ｐと、ヨーイング（Yawing）振れを検出する振れセンサ９ｙとが設けられている。
本実施形態におけるカメラ１０は、ピッチング（Pitching）、ヨーイング（Yawing）の２系統のブレ補正アクチュエータ２、レンズ位置検出センサ４、振れセンサ９、その他制御系を備えており、ピッチング及びヨーイングに起因する像ブレは、レンズ１１を駆動して光学的に補正を行う。
しかし、このような光学的なブレ補正機構のみでは、カメラ１０が光軸Ｚまわりで回転するローリング（Rolling）に起因する回転ブレについては、補正することができない。また、回転を伴わない完全な平行移動（並進運動）についても、振れセンサ９により検出できず、補正ができない。
そこで、本実施形態のカメラ１０は、光学的なブレ補正機構に加えて、画像回復によるブレ補正も行うことができるようにして、ローリング（Rolling）に起因する回転ブレの補正、及び、並進運動に起因する像ブレの補正も行うことができるように構成されている。
【００１０】
図２において撮像素子１２は、レンズ１１により撮像面に結像した像を撮像する素子であり、本実施形態では、ＣＣＤ（Charge Coupled Devices）を使用している。なお、撮像素子には、ＣＣＤに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等、他の種類のイメージセンサーを使用してもよい。
【００１１】
ＡＦエリア情報取得部１３は、オートフォーカス（ＡＦ）動作により、合焦に使用されたＡＦエリアの情報を取得し、撮影画像内における主要被写体の位置を特定する。
ＰＳＦ演算部１４は、撮影された画像からＰＳＦ（Point Spread Function）を演算する。ＰＳＦは、点像分布関数とも呼ばれ、後述するデコンボリューションの演算に使用する。
本実施形態のＰＳＦ演算部１４は、後述する主要被写体領域と参照領域のＰＳＦを演算する複数領域ＰＳＦ演算部１４Ａと、全画素のＰＳＦを演算する全画素ＰＳＦ演算部１４Ｂとを有している。これら複数領域ＰＳＦ演算部１４Ａ，全画素ＰＳＦ演算部１４Ｂによって、例えば光学的なブレ補正機構により補正できずに残っている回転ブレ等の像ブレ成分を検出することができる。
撮影画像取得部１５は、撮像素子１２が撮影した撮影画像を一時的に記憶する部分である。
デコンボリューション実行部１６は、撮影画像データに対して、ＰＳＦ演算部１４が演算したＰＳＦを用いて画像回復演算を行う部分であり、本実施形態では、デコンボリューションを行うことにより、撮影画像に含まれる像ブレの低減を行う。
回復画像取得部１７は、デコンボリューション実行部１６がデコンボリューションを実行した結果得られた回復画像を一時的に記憶する部分である。
データ保存部１８は、撮影画像、及び、回復画像を保存する部分であり、本実施形態では、着脱可能なメモリカードに記録するようになっている。
入力部１９は、各種入力操作を行える操作部材である。
【００１２】
ここで、本実施形態のカメラが有するＡＦ動作について説明する。
本実施形態のカメラは、ＡＦ動作として、Ｓモード、Ｃモードを選択することができる。
Ｓモードは、レリーズスイッチ５を半押しして不図示の合焦表示が点灯しているときのみ、撮影を行うことができるフォーカス優先のＡＦモードである。Ｓモードでは、レリーズスイッチ５を半押しして合焦表示が点灯すると、レリーズスイッチ５を半押ししている間は、焦点調節を行わずに合焦状態を保持するＡＦロックを行うことができる。従って、レリーズスイッチ５を半押ししていれば、構図変更を行ってＡＦエリアから被写体がずれたとしても、ＡＦロックを行った被写体に対して焦点が調節された（ピントが合った）状態を保持できる。
Ｃモードは、合焦表示にかかわらず、レリーズスイッチ５を全押しすればいつでも撮影を行うことができるレリーズ優先のＡＦモードであり、レリーズスイッチ５を半押ししている間は、常に焦点調節を続ける。従って、構図変更を行うと、ＡＦエリアと重なる位置にある被写体に対して合焦させるように、レンズ１１を駆動し続ける。
【００１３】
次に、本実施形態のカメラの動作について説明する。なお、以下に説明する動作は、画像回復を行う設定となっていることを前提としているが、画像回復を行わない設定となっている場合には、画像回復に関する動作を行わず、従来から知られているカメラと同様な動作を行うこともできる。
まず、ＡＦモードとしてＳモードが選択されている場合の動作について説明する。以下の説明では、人物を主要な被写体として、人物に合焦させるものとして説明を行う。なお、主要な被写体は、人物に限らず、他の物であってもよい。また、簡単のため、ＡＦエリア２１は、撮影範囲の中央に１カ所だけ設けられているものとして説明を行う。
【００１４】
図３は、本実施形態のカメラ１０において、Ｓモードが選択されている場合の動作の流れを示すフローチャートである。
ステップ（以下、Ｓとする）１０では、撮影動作を行う。このＳ１０における動作は、図４を参照して詳しく説明する。
図４は、図３に示したフローチャートにおけるステップ１０の撮影動作を詳細に示すフローチャートである。
撮影動作が開始すると、Ｓ１１０では、レリーズスイッチ５が半押しされたか否かを判断する。レリーズスイッチ５が半押しされていれば、Ｓ１２０に進み、レリーズスイッチ５が半押しされていなければ、Ｓ１０の判断を繰り返す。
Ｓ１２０では、合焦したか否かの判断を行う。合焦していれば、Ｓ１３０に進み、合焦していなければＳ１１０へ戻る。
図５は、Ｓモードが選択されている場合のＡＦエリア情報取得部１３の動作を説明する図である。
Ｓモードでは、例えば、人物に対してＡＦエリア２１が重なるようにしてレリーズスイッチ５を半押しして、合焦させる（図５）。合焦すると、不図示の合焦表示が点灯し、合焦状態を保持するＡＦロックされた状態となる。ＡＦロックされると、ＡＦエリア情報取得部１３は、以下に説明するＳ１３０の動作を行う。
【００１５】
図４に戻って、Ｓ１３０では、ＡＦエリア情報取得部１３は、ＡＦロックが行われた時に撮像素子１２により得られるＡＦロック時の画像を仮保存すると共に、ＡＦロック時に使用されているＡＦエリア２１の位置を記憶する。
Ｓ１４０では、レリーズスイッチ５の半押しが継続されているか否かの判断を行う。レリーズスイッチ５の半押しが継続されている場合には、Ｓ１５０に進み、レリーズスイッチ５の半押しがされていない場合には、Ｓ１１０へ戻る。
ここで、構図を変更したい場合には、合焦表示が点灯した状態でレリーズスイッチ５の半押しを継続したまま、構図を変更する。例えば、人物を左に寄せて、背景の樹木を撮影画面外にしてしまう等の構図変更を行うことができるが、レリーズスイッチ５の半押しを継続しているので、ピントは人物に合っている状態を保持している。
Ｓ１５０では、レリーズスイッチ５が全押しされているか否かを判断する。レリーズスイッチ５が全押しされている場合には、Ｓ１６０へ進み、レリーズスイッチ５が全押しされていない場合には、Ｓ１４０へ戻る。
Ｓ１６０では、撮像素子１２により撮影が行われ、撮影画像が得られ、図３のフローに戻り、Ｓ２０へ進む。
【００１６】
図３に戻って、Ｓ２０では、ＡＦエリア情報取得部１３は、ＡＦロック時に仮保存しておいたＡＦロック時の画像と撮影画像とを比較して、ＡＦロック時にＡＦエリア２１が重なっていた被写体が撮影画像の中のいずれの位置にあるのかを特定する。なお、この被写体の比較は、例えば、ＡＦロック時の画像の中の特徴点を複数抽出して、その特徴点を撮影画像の中から探す等の方法により行える。
撮影画像中でＡＦロック時にＡＦエリア２１が重なっていた被写体の位置（画面内における領域）が特定されたら、ＡＦエリア情報取得部１３は、その位置情報をＰＳＦ演算部１４へ伝える。
【００１７】
Ｓ３０では、ＡＦエリア情報取得部１３が特定した主要被写体領域に対して、ＰＳＦの演算を行う。
Ｓ４０では、主要被写体領域の他に、２つの参照領域を選択する。この２つの参照領域は、例えば以下のような選択基準に従って、自動的に選択される。
基準１：主要被写体領域からできるだけ画面内において離れた位置にあること。
基準２：参照領域同士の距離が離れていること。
基準３：参照領域のコントラストがＰＳＦ演算できる程度に高いこと。
なお、撮影者の意図により入力部１９を使用して参照領域を決定することもできる。
以下の説明では、図５の撮影画面中における右側にある背景の人物と、左側にある背景の樹木とが選択されたものとする。参照領域が選択されると、Ｓ５０へ進む。
【００１８】
Ｓ５０では、選択された２つの参照領域のＰＳＦの演算を行う。このステップで演算する参照領域は、先に演算した主要被写体領域のＰＳＦとは異なり、焦点ずれによりいわゆるボケ（ピンボケ）が生じている可能性が高い。このボケ成分が含まれていると、演算したＰＳＦから正確に像ブレを補正することができない。
図６は、ＰＳＦを２次元上に模式的に表した図である。図６（ａ）は、像ブレのない場合を示し、図６（ｂ）は、図６（ａ）のＰＳＦにさらに回転成分を含む像ブレが加わった場合を示している。なお、図６のＰＳＦは、図５に対応させて示している。
図７は、本実施形態のカメラが行うＰＳＦ演算の順序を示す図である。
【００１９】
図６（ａ）のＰＳＦは、図５に示した状態が、像ブレなく理想的に撮影された場合のものである。図５の状態では、人物に合焦しており、背景の樹木は、ぼやけている。従って、これに対応するＰＳＦは、図６（ａ）のように人物に対応する位置のＰＳＦがＡ１のように点となり、背景の人物に相当するＰＳＦ（Ｂ１）と、背景の樹木に相当する位置のＰＳＦ（Ｃ１）とは、ボケの影響で広がったものになっている。
図６（ｂ）のＰＳＦは、回転成分を有する像ブレを含んだ撮影画像の場合のものである。この図６（ｂ）のＰＳＦには、像ブレの影響を受けて、図６（ａ）のＰＳＦに加えてさらに像ブレの軌跡に相当する成分が含まれている。
図６（ｃ）のＰＳＦは、図６（ｂ）のＰＳＦ（Ｂ１）、（Ｃ１）から、焦点ずれに起因するボケ成分を除去し、像ブレ成分のみのＰＳＦとしたものである。
【００２０】
Ｓ５０で演算するＰＳＦは、ブレ成分を画像回復演算によって補正するときに使用するので、ボケ成分を含まないものとする必要がある。ブレ成分とボケ成分とが含まれるＰＳＦからブレ成分のみのＰＳＦを演算する方法としては、ブレ成分とボケ成分とが含まれるＰＳＦの幅からボケ成分のＰＳＦを演算し、このボケ成分のＰＳＦを用いてブレ成分とボケ成分とが含まれるＰＳＦをデコンボリューションする方法がある。また、簡易的には、ブレ成分とボケ成分とが含まれるＰＳＦの幅方向の最大値を求めることによりブレ成分のＰＳＦを演算することができる。
以上のようにして、２つの参照領域について、ボケ成分を含まず、ブレ成分のみのＰＳＦを演算したら、Ｓ６０へ進む。
【００２１】
Ｓ６０では、Ｓ３０で求めた主要被写体領域のＰＳＦと、Ｓ５０で求めた２つの参照領域のＰＳＦとを用いて、撮影画像のブレを回転成分と並進成分とに分離して、回転成分のＰＳＦを求める。
【００２２】
Ｓ７０では、Ｓ６０で演算した回転成分のＰＳＦから、撮影画像の各位置のＰＳＦに換算する演算を行う。
仮に、回転ブレが発生しておらず並進ブレ（回転を伴わないブレ）しか発生していない場合は、画面上のブレ成分のＰＳＦは、どの位置においても等しくなり、得られた単一のＰＳＦを用いて画像回復を行えば、画面全体にわたって、ブレの補正を行える。
しかし、回転ブレが発生している場合は、回転中心に近い位置と遠い位置でブレ量が異なり、さらに回転中心との位置関係でブレ方向が異なるため、画面内の位置によりＰＳＦが異なる。よって、回転ブレを生じている場合には、画像回復で回転ブレを補正するために、画面内の位置毎にＰＳＦを求める必要がある。
【００２３】
複数の領域のブレ成分のＰＳＦから画面全体（各画素）のブレ成分のＰＳＦを求める方法としては、主要被写体領域のブレ成分のＰＳＦと、２つの参照領域のブレ成分のＰＳＦとを比較して、回転中心を求めるとともに、その回転中心周りの回転角度を求め、求めたい場所の位置と回転中心の位置関係から回転成分を算出し、回転中心のブレ成分のＰＳＦと回転成分をあわせて、求めたい場所のＰＳＦに換算する。なお、ブレ成分のＰＳＦの形状が複雑な場合は、ＰＳＦ上の特徴点（例えば、折れ曲がり点、ＰＳＦ強度極大点等）を参考にしてＰＳＦを分割して、分割した部分ごとに回転成分を求めることも可能である。
【００２４】
Ｓ８０では、デコンボリューションを行う。
ここで、画像回復について説明する。
像ブレ等により劣化した画像を劣化の少ない理想的な画像に近づける方法として、画像回復という方法がある。
今、（ｘ，ｙ）を画面上の位置座標とし、ブレ等のない時の画像（以下、元画像）をｆ（ｘ，ｙ）、ブレ等によって劣化した画像（以下、劣化画像）をｇ（ｘ，ｙ）、ブレ等によって広がった点像の情報である点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）、ノイズをｎ（ｘ，ｙ）とすると、これらの間には、次の関係がある。
【００２５】
【数１】
2008058546.tif 000003
【００２６】
ここで、点像分布関数ｈ（ｘ，ｙ）とノイズｎ（ｘ，ｙ）が分かっていれば、コンボリューションの逆演算であるデコンボリューションを行うことにより、劣化画像ｇ（ｘ，ｙ）から元画像ｆ（ｘ，ｙ）が得られる。
Ｓ９０では、得られた回復画像を保存する。なお、回復画像の他に、撮影画像を併せて保存することもできる。
【００２７】
以上の説明は、ＡＦモードとしてＳモードが選択されている場合であるので、次に、ＡＦモードとしてＣモードが選択されている場合について説明する。
ＡＦモードとしてＣモードが選択されている場合には、レリーズスイッチ５が全押しされる直前まで、ＡＦエリア２１が重なっている被写体に合焦させるように動作する。従って、Ｃモードが選択されている場合には、撮影画像中の主要被写体は、撮影時にＡＦエリア２１が重なる位置にあると想定することが適当である。そこで、ＡＦエリア情報取得部１３は、Ｃモードが選択されている場合には、撮影時にＡＦエリア２１が重なる位置に主要被写体が存在するものとして、その情報をＰＳＦ演算部１４へ伝える。
【００２８】
以上の説明では、簡単のためＡＦエリア２１が撮影画面の中央に１カ所設けられているものとして説明を行ったが、本実施形態のカメラには、撮影画面の中央以外にも、撮影画面中の複数の位置にＡＦエリア２１が配置されている。
図８は、第１実施形態のカメラ１０のＡＦエリア２１の分布を示す図である。
図８に示す例では、９カ所のＡＦエリア２１が配置されている。本実施形態のカメラでは、この９カ所のＡＦエリア２１の中から、撮影者が選択したり、カメラが自動的に選んだりして決めた１つのエリアを使用してＡＦ動作を行う。なお、撮影者が使用するＡＦエリア２１を選択する場合には、入力部１９を操作することにより行う。入力部１９を操作して選択されたＡＦエリア２１は、他のエリアと区別するために表示が他のエリアと異なるようになっている。本実施形態では、図５に示したＡＦエリア２１ａのように、表示色の変更が行われる。
【００２９】
また、上述した説明では、ＡＦエリア情報取得部１３が自動的に主要被写体の位置を特定するものとして説明したが、図３のＳ２０において、ＡＦエリア情報取得部１３が特定した主要被写体位置を表示し、その位置を撮影者が入力部１９を操作することにより修正することもできる。
さらに、ＡＦエリア情報取得部１３を動作させずに、入力部１９を操作することにより、ＰＳＦの演算に使用する位置を指定することもできる。
なお、これら入力部１９を使用して、ＰＳＦの演算に使用する位置の修正や指定を行うときには、選択メニュー等を用いて別途設定を行うことにより実現される。
このように入力部１９を使用してＰＳＦの演算に使用する位置を指定したり修正したりできるので、撮影者の意図がより正確に反映され、良好な回復画像を得られる確率が高くなる。
【００３０】
本実施形態によれば、ＡＦ動作に使用したＡＦエリア２１の情報を利用して主要被写体の位置を特定し、その位置に対してＰＳＦを演算するとともに、参照領域のＰＳＦを求め、撮影画像の回転ブレを補正するので、光学的なブレ補正機構のみでは補正しきれない撮影光軸まわりの回転ブレを補正できる。したがって、ピッチング、ヨーイングおよびローリングで発生する像ブレを補正できる。
また、画面のＰＳＦからボケの成分を除去して回復を行うため、ボケはそのまま保たれ、撮影者の意図通りの画像になる。
さらに、光学的なブレ補正機構では補正不可能なカメラの並進運動により発生する像ブレについても、画像回復によって補正できる。
【００３１】
（第２実施形態）
図９は、第２実施形態のカメラ２０の概要を示すブロック図である。
なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第２実施形態のカメラシステムは、カメラ２０と、コンピュータ１００にインストールされるプログラムとを有している。
第２実施形態のカメラ２０は、第１実施形態のカメラ１０が備えているＰＳＦ演算部１４，デコンボリューション実行部１６，回復画像取得部１７を備えていない。
また、第２実施形態のカメラ２０に設けられているＡＦエリア情報取得部１３は、第１実施形態の場合と同様にして撮影画像中の主要被写体の位置を特定する。そして、その主要被写体の位置に関する情報は、撮影画像取得部１５が有する撮影画像のデータに追加されて、データ保存部１８により保存される。
【００３２】
さらに、第２実施形態のコンピュータ１００にインストールされるプログラムには、コンピュータ１００にインストールすることにより、コンピュータ１００を以下のように動作させるプログラムが含まれている。
第２実施形態のカメラシステムに含まれるプログラムは、データ保存部１８により保存された、主要被写体の位置に関する情報が追加された撮影画像データを、コンピュータ１００に入力できるようにする。なお、データ保存部１８により保存されたデータをコンピュータ１００へ入力する方法は、メモリカードを介してもよいし、カメラ２０とコンピュータ１００とを有線又は無線により通信可能として行ってもよいし、各種ネットワークを介して行ってもよい。また、データ保存部１８により保存されたデータは、複製が可能であるから、メモリカード以外の記憶媒体、例えば、記録ディスク媒体等を介してコンピュータ１００に入力してもよい。
【００３３】
さらに、第２実施形態のカメラシステムに含まれるプログラムは、第１実施形態におけるＰＳＦ演算部１４，デコンボリューション実行部１６，回復画像取得部１７と同様な動作をコンピュータ１００に行わせるようにする。
そして、上記プログラムがインストールされたコンピュータ１００は、入力された撮影画像データに対して、同時に得た主要被写体の位置情報を参照して、主要被写体領域、及び、参照領域のＰＳＦを求め、回転成分を演算し、各位置のＰＳＦを演算し、デコンボリューションにより画像回復演算を行い、回復画像を得る。
光軸まわりの回転に起因する回転ブレを回復する画像回復演算は、演算量が膨大であることから、コンピュータ１００を利用することにより、より高速に演算を行うことができる。また、コンピュータ１００を利用することにより、画像回復演算の条件設定等をより細かく行うこともできる。
【００３４】
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。
（１）第１実施形態において、ＡＦエリア情報取得部１３は、ＡＦロック時に仮保存しておいたＡＦロック時の画像と撮影画像とを比較して、ＡＦロック時にＡＦエリア２１が重なっていた被写体が撮影画像の中のいずれの位置にあるのかを特定する例を示したが、これに限らず、例えば、ＡＦエリア情報取得部１３は、ＡＦロック時にＡＦエリアと重なる位置にある被写体を認識し、撮影時までこの被写体の位置を逐次更新して撮影画像内における被写体の位置を特定するように構成してもよい。この構成は、撮影動作前にカメラ背面などに設けられた表示装置に撮像素子により得た画像を表示し続けるいわゆるスルー表示画に使用する画像データを利用すれば、多くの部品等を追加することなく実現できる。
【００３５】
（２）第１実施形態において、ＰＳＦ演算部１４及びデコンボリューション実行部１６は、画像回復を行う設定となっている場合には、常にＰＳＦの演算及び画像回復を行う例を示したが、これに限らず、例えば、ＡＦエリア情報取得部１３が得た主要被写体の位置に像ブレがあるか否かを判断し、像ブレがある場合にのみ画像回復を行うようにしてもよい。この場合、例えば、ＡＦエリア情報取得部１３に像ブレの有無を判断する機能を追加して、このＡＦエリア情報取得部１３から画像回復を行う旨の指示を受けた場合にのみ、ＰＳＦ演算部１４及びデコンボリューション実行部１６が画像回復に関する処理を行うようにすればよい。
【００３６】
（３）各実施形態において、特定した主要被写体の位置情報は、ＰＳＦの演算に使用する例を示したが、これに限らず、例えば、露出値の決定や、露出補正、ゲイン（感度）の変更等、他の用途に利用してもよい。
【００３７】
（４）第１実施形態において、データ保存部１８は、撮影画像、及び、回復画像を保存する例を示したが、この場合において、特定した主要被写体の位置情報を撮影画像に対して追加してもよいし、主要被写体の位置情報、演算されたＰＳＦに関する情報等を回復画像に追加してもよい。
【００３８】
（５）第２実施形態において、プログラムをインストールしたコンピュータ１００を用いて画像回復を行う例を示したが、これに限らず、例えば、ＰＳＦ演算部１４，デコンボリューション実行部１６，回復画像取得部１７と同様な動作が可能な画像回復専用の装置を用いてもよい。また、そのような装置を写真プリント業者等の店舗や拠点事業所等に設置して、撮影者が記録媒体や通信手段を介して主要被写体位置に関する情報が追加された撮影画像データを渡し、当該業者が画像回復処理を行ったり、その結果得られた回復画像を記録媒体に記録したりプリントしたりしてもよい。
【００３９】
（６）各実施形態において、ＡＦエリアの情報に基づいて主要被写体の位置を決定する例を示したが、これに限らず、例えば、顔の位置を判断して主要被写体の位置を特定したり、目の位置を判断して主要被写体の位置を特定したりしてもよいし、撮影画像内の任意の領域を用いてもよい。
【００４０】
（７）第２実施形態において、第１実施形態のカメラ１０が備えているＰＳＦ演算部１４，デコンボリューション実行部１６，回復画像取得部１７を備えていないカメラ２０を用いる例を示したが、これに限らず、例えば、第１実施形態のカメラ１０と同様なカメラを使用し、撮影画像のデータに主要被写体の位置に関する情報を追加してもよい。
【図面の簡単な説明】
【００４１】
【図１】第１実施形態によるカメラ１０の光学的ブレ補正機構を説明する図である。
【図２】第１実施形態のカメラ１０の概要を示すブロック図である。
【図３】本実施形態のカメラ１０において、Ｓモードが選択されている場合の動作の流れを示すフローチャートである。
【図４】図３に示したフローチャートにおけるステップ１０の撮影動作を詳細に示すフローチャートである。
【図５】Ｓモードが選択されている場合のＡＦエリア情報取得部１３の動作を説明する図である。
【図６】ＰＳＦを２次元上に模式的に表した図である。
【図７】本実施形態のカメラが行うＰＳＦ演算の順序を示す図である。
【図８】第１実施形態のカメラ１０のＡＦエリア２１の分布を示す図である。
【図９】第２実施形態のカメラ２０の概要を示すブロック図である。
【符号の説明】
【００４２】
１０，２０：カメラ、１３：ＡＦエリア情報取得部、１４：ＰＳＦ演算部、１６：デコンボリューション実行部、１９：入力部
【図１】
2008058546.tif 000004
【図２】
2008058546.tif 000005
【図３】
2008058546.tif 000006
【図４】
2008058546.tif 000007
【図６】
2008058546.tif 000008
【図７】
2008058546.tif 000009
【図８】
2008058546.tif 000010
【図９】
2008058546.tif 000011
【図５】
2008058546.tif 000012