(57)【要約】【課題】撮像装置または被写体が移動する場合であっても、全焦点画像を生成する。【解決手段】撮像装置であって、連続して画像を撮像する撮像部と、異なる複数の焦点距離で画像を撮像させるべく、撮像部の焦点距離を制御する焦点距離制御部と、撮像部により撮像された第１の画像から第１の部分画像を選択する第１選択部と、第１の画像における焦点距離とは異なる焦点距離で撮像された第２の画像から、予め定められた基準値以上の割合で第１の部分画像に一致する第２の部分画像を選択する第２選択部と、第１の部分画像における合焦度が、第２の部分画像の合焦度に比べて高いか否かを判定する合焦判定部と、第１の部分画像の合焦度が、第２の部分画像の合焦度に比べて高いと判定された場合に、第２の画像における第２の部分画像を、第１の部分画像で置換する置換部とを備える撮像装置を提供する。【選択図】図１
2005311488.tif 000002
【特許請求の範囲】
【請求項１】
連続して画像を撮像する撮像部と、
異なる複数の焦点距離で前記撮像部により画像を撮像させるべく、前記撮像部の焦点距離を制御する焦点距離制御部と、
前記撮像部により撮像された第１の画像から第１の部分画像を選択する第１選択部と、
前記第１の画像における焦点距離とは異なる焦点距離で前記撮像部により撮像された第２の画像から、予め定められた基準値以上の割合で前記第１の部分画像に一致する第２の部分画像を選択する第２選択部と、
前記第１の部分画像における、合焦の度合いを示す合焦度が、前記第２の部分画像の合焦度に比べて高いか否かを判定する合焦判定部と、
前記第１の部分画像の合焦度が、前記第２の部分画像の合焦度に比べて高いと判定された場合に、前記第２の画像における前記第２の部分画像を、前記第１の部分画像で置換する置換部と
を備える撮像装置。
【請求項２】
前記焦点距離制御部は、前記撮像部の焦点距離を周期的に変化させる請求項１に記載の撮像装置。
【請求項３】
前記第１の画像における焦点距離と略同一の焦点距離で前記撮像部により撮像された第３の画像から、予め定められた基準値以上の割合で前記第１の部分画像に一致する第３の部分画像を選択する第３選択部と、
前記第１の画像における前記第１の部分画像の位置、及び前記第３の画像における前記第３の部分画像の位置に基づいて、第１の画像における前記第１の部分画像として示される被写体像の位置の時間変化を示す変位ベクトルを算出する変位ベクトル算出部と、
前記変位ベクトルに基づいて、前記第２の画像における前記第２の部分画像の位置の候補を算出する候補算出部と
を更に備え、
前記第２選択部は、前記位置の候補に基づいて、前記第２の画像から前記第２の部分画像を選択する
請求項１に記載の撮像装置。
【請求項４】
前記第２選択部は、前記第２の画像における、前記位置の候補を中心とした予め定められた範囲の画像を、前記第１の部分画像と比較することにより、前記第２の部分画像を選択する請求項３に記載の撮像装置。
【請求項５】
前記第１の部分画像の大きさ、及び前記第３の部分画像の大きさに基づいて、第１の画像における前記第１の部分画像として示される被写体像の大きさの時間変化を算出する大きさ変化算出部
を更に備え、
前記候補算出部は、前記大きさの時間変化に基づいて、前記第２の部分画像の大きさの候補を更に算出し、
前記第２選択部は、前記大きさの候補に更に基づいて、前記第２の画像から前記第２の部分画像を選択し、
前記置換部は、前記第２の画像における前記第２の部分画像を、前記第１の部分画像を拡大または縮小した画像で置換する
請求項３に記載の撮像装置。
【請求項６】
撮像部により連続して画像を撮像する撮像段階と、
異なる複数の焦点距離で前記撮像段階において画像を撮像させるべく、前記撮像部の焦点距離を制御する焦点距離制御段階と、
前記撮像段階において撮像された第１の画像から第１の部分画像を選択する第１選択段階と、
前記第１の画像における焦点距離とは異なる焦点距離で前記撮像段階において撮像された第２の画像から、予め定められた基準値以上の割合で前記第１の部分画像に一致する第２の部分画像を選択する第２選択段階と、
前記第１の部分画像における、合焦の度合いを示す合焦度が、前記第２の部分画像の合焦度に比べて高いか否かを判定する合焦判定段階と、
前記第１の部分画像の合焦度が、前記第２の部分画像の合焦度に比べて高いと判定された場合に、前記第２の画像における前記第２の部分画像を、前記第１の部分画像で置換する置換段階と
を備える撮像方法。
【請求項７】
前記第１の画像における焦点距離と略同一の焦点距離で前記撮像段階において撮像された第３の画像から、予め定められた基準値以上の割合で前記第１の部分画像に一致する第３の部分画像を選択する第３選択段階と、
前記第１の画像における前記第１の部分画像の位置、及び前記第３の画像における前記第３の部分画像の位置に基づいて、第１の画像における前記第１の部分画像として示される被写体像の位置の時間変化を示す変位ベクトルを算出する変位ベクトル算出段階と、
前記変位ベクトルに基づいて、前記第２の画像における前記第２の部分画像の位置の候補を算出する候補算出段階と
を更に備え、
前記第２選択段階は、前記位置の候補に基づいて、前記第２の画像から前記第２の部分画像を選択する
請求項６に記載の撮像方法。
【請求項８】
撮像装置を機能させる撮像プログラムであって、
前記撮像装置を、
連続して画像を撮像する撮像部と、
異なる複数の焦点距離で前記撮像部により画像を撮像させるべく、前記撮像部の焦点距離を制御する焦点距離制御部と、
前記撮像部により撮像された第１の画像から第１の部分画像を選択する第１選択部と、
前記第１の画像における焦点距離とは異なる焦点距離で前記撮像部により撮像された第２の画像から、予め定められた基準値以上の割合で前記第１の部分画像に一致する第２の部分画像を選択する第２選択部と、
前記第１の部分画像における、合焦の度合いを示す合焦度が、前記第２の部分画像の合焦度に比べて高いか否かを判定する合焦判定部と、
前記第１の部分画像の合焦度が、前記第２の部分画像の合焦度に比べて高いと判定された場合に、前記第２の画像における前記第２の部分画像を、前記第１の部分画像で置換する置換部と
を備える撮像装置として機能させる撮像プログラム。
【請求項９】
前記撮像装置は、
前記第１の画像における焦点距離と略同一の焦点距離で前記撮像部により撮像された第３の画像から、予め定められた基準値以上の割合で前記第１の部分画像に一致する第３の部分画像を選択する第３選択部と、
前記第１の画像における前記第１の部分画像の位置、及び前記第３の画像における前記第３の部分画像の位置に基づいて、第１の画像における前記第１の部分画像として示される被写体像の位置の時間変化を示す変位ベクトルを算出する変位ベクトル算出部と、
前記変位ベクトルに基づいて、前記第２の画像における前記第２の部分画像の位置の候補を算出する候補算出部と
を更に備え、
前記第２選択部は、前記位置の候補に基づいて、前記第２の画像から前記第２の部分画像を選択する
ことを特徴とする請求項８に記載の撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。特に本発明は、画像全体で焦点の合った画像を撮像する撮像装置、撮像方法、及び撮像プログラムに関する。
【背景技術】
【０００２】
従来、注目すべき複数の被写体のそれぞれが、撮像装置から互いに異なる距離に存在している場合であっても、何れの被写体に対しても焦点の合った全焦点画像を生成する技術が知られている（例えば、特許文献１参照。）。
【０００３】
特許文献１に記載の技術に係る撮像装置は、異なる焦点距離で複数の画像を撮像すると共に、画素毎に、撮像した複数の画像のうち、当該画素の輝度値が最も大きい画像を検出する。そして、検出した画像における当該画素の値を、全焦点画像における当該画像の値として抽出する。そして、以上の処理を全ての画素について繰り返すことにより、全焦点画像を生成する。
【０００４】
【特許文献１】特開２００１−２９８７５５
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術に係る撮像装置においては、撮像された複数の画像を同じ位置の画素毎に比較することによって全焦点画像を生成するので、同じ位置の画素により示される被写体像は、それぞれの画像において同一でなければならない。このため、それら複数の画像を撮像する間に撮像装置または被写体が移動することにより、それぞれの画像における被写体像の位置が異なる場合には、生成した全焦点画像において、被写体像が重複して現れる等の問題が発生し、正常な全焦点画像を生成することができなかった。
【０００６】
そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の第１の形態においては、撮像装置であって、連続して画像を撮像する撮像部と、異なる複数の焦点距離で撮像部により画像を撮像させるべく、撮像部の焦点距離を制御する焦点距離制御部と、撮像部により撮像された第１の画像から第１の部分画像を選択する第１選択部と、第１の画像における焦点距離とは異なる焦点距離で撮像部により撮像された第２の画像から、予め定められた基準値以上の割合で第１の部分画像に一致する第２の部分画像を選択する第２選択部と、第１の部分画像における、合焦の度合いを示す合焦度が、第２の部分画像の合焦度に比べて高いか否かを判定する合焦判定部と、第１の部分画像の合焦度が、第２の部分画像の合焦度に比べて高いと判定された場合に、第２の画像における第２の部分画像を、第１の部分画像で置換する置換部とを備える。焦点距離制御部は、撮像部の焦点距離を周期的に変化させてもよい。
【０００８】
当該撮像装置は、第１の画像における焦点距離と略同一の焦点距離で撮像部により撮像された第３の画像から、予め定められた基準値以上の割合で第１の部分画像に一致する第３の部分画像を選択する第３選択部と、第１の画像における第１の部分画像の位置、及び第３の画像における第３の部分画像の位置に基づいて、第１の画像における第１の部分画像として示される被写体像の位置の時間変化を示す変位ベクトルを算出する変位ベクトル算出部と、変位ベクトルに基づいて、第２の画像における第２の部分画像の位置の候補を算出する候補算出部とを更に備え、第２選択部は、位置の候補に基づいて、第２の画像から第２の部分画像を選択してもよい。第２選択部は、第２の画像における、位置の候補を中心とした予め定められた範囲の画像を、第１の部分画像と比較することにより、第２の部分画像を選択してもよい。
【０００９】
第１の部分画像の大きさ、及び第３の部分画像の大きさに基づいて、第１の画像における第１の部分画像として示される被写体像の大きさの時間変化を算出する大きさ変化算出部を更に備え、候補算出部は、大きさの時間変化に基づいて、第２の部分画像の大きさの候補を更に算出し、第２選択部は、大きさの候補に更に基づいて、第２の画像から第２の部分画像を選択し、置換部は、第２の画像における第２の部分画像を、第１の部分画像を拡大または縮小した画像で置換してもよい。
【００１０】
また、本発明の第２の形態においては、撮像方法であって、撮像部により連続して画像を撮像する撮像段階と、異なる複数の焦点距離で撮像段階において画像を撮像させるべく、撮像部の焦点距離を制御する焦点距離制御段階と、撮像段階において撮像された第１の画像から第１の部分画像を選択する第１選択段階と、第１の画像における焦点距離とは異なる焦点距離で撮像段階において撮像された第２の画像から、予め定められた基準値以上の割合で第１の部分画像に一致する第２の部分画像を選択する第２選択段階と、第１の部分画像における、合焦の度合いを示す合焦度が、第２の部分画像の合焦度に比べて高いか否かを判定する合焦判定段階と、第１の部分画像の合焦度が、第２の部分画像の合焦度に比べて高いと判定された場合に、第２の画像における第２の部分画像を、第１の部分画像で置換する置換段階とを備える。
【００１１】
当該撮像方法は、第１の画像における焦点距離と略同一の焦点距離で撮像段階において撮像された第３の画像から、予め定められた基準値以上の割合で第１の部分画像に一致する第３の部分画像を選択する第３選択段階と、第１の画像における第１の部分画像の位置、及び第３の画像における第３の部分画像の位置に基づいて、第１の画像における第１の部分画像として示される被写体像の位置の時間変化を示す変位ベクトルを算出する変位ベクトル算出段階と、変位ベクトルに基づいて、第２の画像における第２の部分画像の位置の候補を算出する候補算出段階とを更に備え、第２選択段階は、位置の候補に基づいて、第２の画像から第２の部分画像を選択してもよい。
【００１２】
また、本発明の第３の形態においては、撮像装置を機能させる撮像プログラムであって、撮像装置を、連続して画像を撮像する撮像部と、異なる複数の焦点距離で撮像部により画像を撮像させるべく、撮像部の焦点距離を制御する焦点距離制御部と、撮像部により撮像された第１の画像から第１の部分画像を選択する第１選択部と、第１の画像における焦点距離とは異なる焦点距離で撮像部により撮像された第２の画像から、予め定められた基準値以上の割合で第１の部分画像に一致する第２の部分画像を選択する第２選択部と、第１の部分画像における、合焦の度合いを示す合焦度が、第２の部分画像の合焦度に比べて高いか否かを判定する合焦判定部と、第１の部分画像の合焦度が、第２の部分画像の合焦度に比べて高いと判定された場合に、第２の画像における第２の部分画像を、第１の部分画像で置換する置換部とを備える撮像装置として機能させる。
【００１３】
撮像装置は、第１の画像における焦点距離と略同一の焦点距離で撮像部により撮像された第３の画像から、予め定められた基準値以上の割合で第１の部分画像に一致する第３の部分画像を選択する第３選択部と、第１の画像における第１の部分画像の位置、及び第３の画像における第３の部分画像の位置に基づいて、第１の画像における第１の部分画像として示される被写体像の位置の時間変化を示す変位ベクトルを算出する変位ベクトル算出部と、変位ベクトルに基づいて、第２の画像における第２の部分画像の位置の候補を算出する候補算出部とを更に備え、第２選択部は、位置の候補に基づいて、第２の画像から第２の部分画像を選択してもよい。
【００１４】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１５】
本発明によれば、撮像装置または被写体が移動する場合であっても、全焦点画像を生成することができる。
【発明を実施するための最良の形態】
【００１６】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１７】
図１は、本発明の実施形態に係る撮像装置１０の構成の一例を示すブロック図である。本発明の実施形態に係る撮像装置１０は、例えば自動車等の車両に設けられ、車両の周囲を撮像する、所謂車載カメラである。撮像装置１０により撮像された、車両の周囲の画像は、例えば、車両の周囲環境を知らせるべく、利用者に提供されたり、また、車両の周囲に存在する物体を認識するべく、画像処理を行ったりといった用途に用いられる。撮像装置１０により撮像される画像に含まれる被写体のうち、利用者にとって重要度が高い被写体は、例えば、自車両の前後を走行する車両、対向車線を走行する車両、道路に飛び出してきた人物、信号機、道路標識、及び路面標示等の様に、多岐にわたる。ここで、車両から被写体までの距離は被写体毎に異なるので、ある被写体に合焦して撮像された画像であっても、他の被写体にも合焦しているとは限らず、撮像された画像は、利用者にとって重要度の高い被写体のすべてについて見やすい画像であるとは限らない。
【００１８】
そこで、本発明の実施形態に係る撮像装置１０は、焦点距離を変えつつ、複数の画像を連続して撮像することにより、それぞれの被写体について焦点の合った画像を撮像すると共に、一の画像における焦点の合っていない部分画像を、他の画像における焦点の合っている部分画像で置換することにより、利用者にとって見やすい全焦点画像を生成することを目的とする。
一方、全焦点画像を生成する場合に用いる複数の画像を撮像している間に、車両または被写体が移動することにより、被写体像の位置が撮像した複数の画像のそれぞれで異なる場合、撮像装置１０は、一の画像における焦点の合っていない部分画像を、他の画像における同じ位置の部分画像で置換することでは全焦点画像を生成することはできない。
そこで、本発明の実施形態に係る撮像装置１０は、撮像装置１０または被写体が移動する場合であっても、全焦点画像を生成することを目的とする。
【００１９】
なお、本発明の実施形態に係る撮像装置１０は、当該撮像装置１０または被写体が移動するという点で、当該撮像装置１０が有する効果がより顕著であることにより、車載カメラであるとして説明するが、本発明に係る撮像装置は、車載カメラに限定されず、他の形態として実施されてもよい。
【００２０】
撮像装置１０は、撮像部１００、１次メモリ１１０、撮像制御部１２０、画像処理部１３０、表示部１４０、及び２次メモリ１５０を備える。撮像部１００は、光学系１０２、ＣＣＤ１０４、及び撮像信号処理部１０６を有し、連続して画像を撮像する。光学系１０２は、被写体の光学像を、ＣＣＤ１０４の受光面上に結像する。ＣＣＤ１０４は、複数の受光素子を含み、光学系１０２により結像された被写体の光学像によってそれぞれの受光素子に蓄積された電荷を、アナログの電気信号として撮像信号処理部１０６に出力する。撮像信号処理部１０６は、ＣＣＤ１０４から受け取った、被写体像を示すアナログの電気信号を、Ｒ、Ｇ、Ｂの各成分に分解する。そして、撮像信号処理部１０６は、Ｒ、Ｇ、Ｂの各成分に分解されたアナログの電気信号をＡ／Ｄ変換し、その結果得られた被写体像を示すデジタルの画像データを１次メモリ１１０に出力する。１次メモリ１１０は、例えばＤＲＡＭ等の揮発性メモリであり、撮像信号処理部１０６が出力した画像データを格納する。
【００２１】
撮像制御部１２０は、撮像部１００における機構部材を制御することにより、撮像部１００の動作を制御する。例えば、撮像制御部１２０は、撮像部１００における撮像タイミング、ズーム、及びホワイトバランス等を制御する。撮像制御部１２０は、焦点距離制御部１２２を有する。焦点距離制御部１２２は、異なる複数の焦点距離で撮像部１００により画像を撮像させるべく、撮像部１００の焦点距離を制御する。
【００２２】
画像処理部１３０は、第１選択部２００、第３選択部２１０、変位ベクトル算出部２２０、大きさ変化算出部２３０、候補算出部２４０、第２選択部２５０、合焦判定部２６０、及び置換部２７０を有し、撮像部１００により撮像され、１次メモリ１１０に格納された画像データに対して画像処理を行う。例えば、画像処理部１３０は、撮像された画像、及び生成した全焦点画像に対して、ＹＣ変換処理、ＪＰＥＧ等のデータ圧縮処理、及びＮＴＳＣやＰＡＬ等のビデオ信号への変換処理等の画像処理を行う。また、画像処理部１３０は、撮像部１００により撮像された第１の画像から第１の部分画像を選択すると共に、第１の画像における焦点距離とは異なる焦点距離で撮像部１００により撮像された第２の画像から第２の部分画像を選択する。そして、画像処理部１３０は、第１の部分画像における、合焦の度合いを示す合焦度が、第２の部分画像の合焦度に比べて高い場合に、第２の画像における第２の部分画像を、第１の部分画像で置換することにより、全焦点画像を生成する。以降、画像処理部１３０における全焦点画像の生成処理について詳しく説明する。
【００２３】
第１選択部２００は、撮像部１００により撮像された第１の画像から、第１の部分画像を選択する。そして、第１選択部２００は、第１の部分画像、第１の画像における第１の部分画像の位置、及び第１の部分画像の大きさを示す情報を、第３選択部２１０、変位ベクトル算出部２２０、大きさ変化算出部２３０、第２選択部２５０、及び合焦判定部２６０に出力する。第３選択部２１０は、第１の画像における焦点距離と略同一の焦点距離で撮像部１００により撮像された第３の画像から、予め定められた基準値以上の割合で、第１選択部２００から受け取った第１の部分画像に一致する第３の部分画像を選択する。そして、第３選択部２１０は、第３の部分画像、第３の画像における第３の部分画像の位置、及び第３の部分画像の大きさを示す情報を、変位ベクトル算出部２２０、大きさ変化算出部２３０に出力する。
【００２４】
変位ベクトル算出部２２０は、第１選択部２００から受け取った、第１の画像における第１の部分画像の位置、及び第３選択部２１０から受け取った、第３の画像における第３の部分画像の位置に基づいて、第１の画像における第１の部分画像として示される被写体像の位置の時間変化を示す変位ベクトルを算出する。そして、変位ベクトル算出部２２０は、算出した変位ベクトルを候補算出部２４０に出力する。大きさ変化算出部２３０は、第１選択部２００から受け取った、第１の部分画像の大きさ、及び第３選択部２１０から受け取った、第３の部分画像の大きさに基づいて、第１の画像における第１の部分画像として示される被写体像の大きさの時間変化を算出する。そして、大きさ変化算出部２３０は、算出した被写体像の大きさの時間変化を候補算出部２４０に出力する。
【００２５】
候補算出部２４０は、変位ベクトル算出部２２０から受け取った、第１の画像における第１の部分画像として示される被写体像の変位ベクトル、及び大きさ変化算出部２３０から受け取った、第１の画像における第１の部分画像として示される被写体像の大きさの時間変化に基づいて、第２の画像における、予め定められた基準値以上の割合で第１の部分画像に一致する第２の部分画像の位置及び大きさの候補を算出する。そして、候補算出部２４０は、算出した位置及び大きさの候補を第２選択部２５０に出力する。
【００２６】
第２選択部２５０は、第２の画像から、予め定められた基準値以上の割合で、第１選択部２００から受け取った第１の部分画像に一致する第２の部分画像を選択する。ここで、第２選択部２５０は、候補算出部２４０により算出された、第２の部分画像の位置及び大きさの候補に基づいて、第２の部分画像を選択してよい。そして、第２選択部２５０は、第２の画像、第２の部分画像、及び第２の部分画像の位置を示す情報を、合焦判定部２６０に出力する。
【００２７】
合焦判定部２６０は、第１選択部２００から受け取った第１の部分画像、及び第２選択部２５０から受け取った第２の部分画像のそれぞれについて合焦度を算出し、第１の部分画像の合焦度が、第２の部分画像の合焦度に比べて高いか否かを判定する。そして、合焦判定部２６０は、判定結果、第１選択部２００から受け取った第１の部分画像、並びに第２選択部２５０から受け取った、第２の画像、第２の部分画像、及び第２の部分画像の位置を示す情報を、置換部２７０に出力する。置換部２７０は、第１の部分画像の合焦度が、第２の部分画像の合焦度に比べて高いと合焦判定部２６０により判定された場合に、第２の画像における第２の部分画像を、第１の部分画像で置換する。そして、置換部２７０は、第２の画像に対して、第２の部分画像を、より合焦度の高い第１の部分画像で置換した結果として得られた画像、即ち全焦点画像を、表示部１４０及び２次メモリ１５０に出力する。
【００２８】
表示部１４０は、置換部２７０から受け取った全焦点画像を、例えばＬＣＤパネル等の表示装置により表示して、利用者に提供する。２次メモリ１５０は、例えばフラッシュメモリ等の不揮発性メモリであり、置換部２７０から受け取った全焦点画像を格納する。
【００２９】
本発明の実施形態に係る撮像装置１０によれば、第２の画像から第２の部分画像を選択する場合に、第１の画像における第１の部分画像の位置と同じ位置の部分画像を選択する処理に代えて、第１の部分画像に予め定められた基準値以上の割合で一致する部分画像を選択する処理を行うことにより、撮像装置１０または被写体が移動するといった、第１の画像における第１の部分画像の位置と、第２の画像における第２の部分画像の位置とが互いに異なる場合であっても、全焦点画像を生成することができ、見やすい画像を利用者に提供することができる。
【００３０】
図２は、本発明の実施形態に係る撮像部１００により撮像された画像の一例を示す。また、図３は、本発明の実施形態に係る撮像装置１０における処理の流れの一例を示すフローチャートである。以降、図２に示した画像を用いて、図３に示した、撮像装置１０における処理の流れの一例について説明する。本例において、図２に示したそれぞれの画像は、図２（ａ）、図２（ｂ）、図２（ｃ）の順に撮像されているとする。ここで、図２（ａ）は、本発明における第３の画像の一例であり、図２（ｂ）は、本発明における第２の画像の一例であり、また、図２（ｃ）は、本発明における第１の画像の一例である。つまり、画像処理部１３０は、第２の画像３１０における合焦度の低い部分画像を、同一の被写体を示す、第１の画像３２０における合焦度の高い部分画像で置換することにより、第２の画像３１０全体で焦点の合った画像を生成する。
【００３１】
まず、撮像装置１０は、焦点距離制御部１２２を用いて、撮像部１００の焦点距離を変化させつつ、撮像制御部１２０を用いて、撮像部１００に連続して画像を撮像させる（Ｓ１０００）。ここで、焦点距離制御部１２２は、撮像部１００の焦点距離を周期的に変化させてよい。例えば、本例において、焦点距離制御部１２２は、撮像部１００の焦点距離を、二段階で周期的に切り替える。そして、撮像制御部１２０は、焦点距離が切り替えられる毎に、撮像部１００により画像を撮像させる。具体的には、撮像制御部１２０は、撮像部１００の焦点距離が、二段階の焦点距離のうち、遠い方の焦点距離に切り替えられてから、近い方の焦点距離に切り替えられるまでに、撮像部１００に第３の画像３００を撮像させ、続いて、近い方の焦点距離に切り替えられてから、遠い方の焦点距離に切り替えられるまでに、第２の画像３１０を撮像させ、続いて、遠い方の焦点距離に切り替えられてから、近い方の焦点距離に切り替えられるまでに、第１の画像３２０を撮像させる。
【００３２】
これに代えて、焦点距離制御部１２２は、撮像部１００の焦点距離を、三段階以上の焦点距離で順次切り替えてよい。この場合、撮像装置１０は、本図に示したＳ１０１０からＳ１０８０までの処理を、それぞれの焦点距離について繰り返し行うことにより、第２の画像における複数の合焦度の低い部分画像を、複数の異なる焦点距離で撮像された画像のそれぞれから選択された合焦度の高い部分画像で置換してよい。
【００３３】
焦点距離制御部１２２が焦点距離を周期的に変化させることにより、全焦点画像を生成する場合に、何れの焦点距離においても十分に新しい画像を利用することができるので、全焦点画像により示される被写体の状態と、実際の被写体の状態との誤差を、より小さくすることができる。
【００３４】
続いて、第１選択部２００は、第１の画像３２０から第１の部分画像３２２を選択する（Ｓ１０１０）。例えば、第１選択部２００は、第１の画像３２０をグリッド状に分割し、分割したそれぞれの部分画像を第１の部分画像として選択してよい。また、第１選択部２００は、第１の画像３２０に対して公知の方法によりエッジ抽出処理を行うことにより、第１の画像３２０に含まれる被写体の輪郭形状を抽出し、当該輪郭形状に囲まれた領域、または当該輪郭形状に外接する矩形領域により示される部分画像を、第１の部分画像として選択してもよい。ここで、第１選択部２００が、第１の部分画像として複数の部分画像を選択可能である場合、画像処理部１３０は、それぞれの部分画像について、本図に示したＳ１０１０からＳ１０８０までの処理を繰り返し行うことにより、第２の画像における合焦度の低い複数の部分画像を、第１選択部２００により選択されたそれぞれの部分画像で置換してもよい。
【００３５】
続いて、第３選択部２１０は、第３の画像３００から第３の部分画像３０２を選択する（Ｓ１０２０）。例えば、第３選択部２１０は、第３の画像３００及び第１の部分画像３２２を、予め定められた輝度値を基準として二値化する。そして、第３選択部２１０は、二値化した第１の部分画像３２２をパターン画像として用いて、二値化した第３の画像３００に対して公知のパターンマッチング処理を行うことにより、二値化した第３の画像３００から、二値化した第１の部分画像３２２に一致する部分画像を検出し、検出した部分画像に対応する第３の画像３００の部分画像を、第３の部分画像３０２として選択する。ここで、第３選択部２１０は、パターン画像と、二値化した第３の画像３００の部分画像とを画素毎に比較し、比較した画素数に対する一致した画素数の割合が、予め定められた基準値以上である場合に、それぞれの画像が一致すると判定してもよい。
【００３６】
また、ここで、第３選択部２１０は、前記したパターン画像を拡大または縮小した画像をパターン画像として更に用いて、パターンマッチング処理を行ってよい。こうすることにより、撮像装置１０から被写体までの距離の変化に伴って、第３の画像３００と第１の画像３２０とで被写体像の大きさが変化する場合であっても、第１の部分画像３２２に一致する部分画像を検出することができる。また、第３選択部２１０は、前記したパターン画像を、例えば重心位置等を中心として回転した画像をパターン画像として更に用いて、パターンマッチング処理を行ってもよい。
【００３７】
続いて、変位ベクトル算出部２２０は、第１の画像３２０における第１の部分画像３２２として示される被写体像の位置の時間変化を示す変位ベクトルを算出する（Ｓ１０３０）。例えば、変位ベクトル算出部２２０は、第１の画像３２０及び第３の画像３００のそれぞれについて、当該画像の左上隅等の予め定められた位置を原点とする座標系における、当該画像に含まれる部分画像の重心位置を検出する。そして、変位ベクトル算出部２２０は、それぞれの画像を重ね合わせ、先に撮像された画像における部分画像の重心位置を起点とし、後に撮像された画像における部分画像の重心位置を終点とするベクトルを算出する。そして、変位ベクトル算出部２２０は、算出したベクトルの大きさをそれぞれの画像における撮像時刻の差で除算し、その結果として得られたベクトルを、第１の画像３２０における第１の部分画像３２２として示される被写体像の位置の単位時間における変化を示す変位ベクトルとする。
【００３８】
本例においては、変位ベクトル算出部２２０は、第３の画像３００の左上隅を原点とする座標系における第３の部分画像３０２の重心位置を起点とし、第１の画像３２０の左上隅を原点とする座標系における第１の部分画像３２２の重心位置を終点とするベクトルを算出する。そして、変位ベクトル算出部２２０は、算出したベクトルの大きさを、第１の画像３２０の撮像時刻と第３の画像３００の撮像時刻との差で除算し、その結果として得られたベクトルを変位ベクトルとする。
【００３９】
続いて、大きさ変化算出部２３０は、第１の画像３２０における第１の部分画像３２２として示される被写体像の大きさの時間変化を算出する（Ｓ１０４０）。例えば、大きさ変化算出部２３０は、第１の画像３２０及び第３の画像３００のうち、後に撮像された画像における部分画像の面積を、先に撮像された画像における部分画像の面積で除算した値を、それぞれの画像における撮像時刻の差で更に除算し、その結果として得られた単位時間あたりの面積の変化率を、第１の画像３２０における第１の部分画像３２２として示される被写体像の大きさの時間変化とする。本例においては、大きさ変化算出部２３０は、第１の部分画像３２２の面積を、第３の部分画像３０２の面積で除算した値を、第１の画像３２０の撮像時刻と第３の画像３００の撮像時刻との差で更に除算し、その結果として得られた単位時間あたりの面積の変化率を、被写体像の大きさの時間変化とする。
【００４０】
続いて、候補算出部２４０は、第２の画像３１０における第２の部分画像の位置及び大きさの候補を算出する（Ｓ１０５０）。具体的には、第１の画像３２０が第２の画像３１０の前に撮像されている場合、候補算出部２４０は、変位ベクトルを用いて、第２の部分画像の位置の候補を算出する。一方、第１の画像３２０が第２の画像３１０の後で撮像されている場合、候補算出部２４０は、変位ベクトルと同じ大きさの、方向が逆のベクトルを用いて、第２の部分画像の位置の候補を算出する。本例においては、候補算出部２４０は、第１の部分画像３２２の重心位置を、算出された変位ベクトルの示す方向とは逆の方向に、当該変位ベクトルの大きさに第１の画像３２０の撮像時刻と第２の画像３１０の撮像時刻との差を乗じた量だけ変位させた位置を、第２の部分画像の重心位置の候補とする。
【００４１】
また、第１の画像３２０が第２の画像３１０の前に撮像されている場合、候補算出部２４０は、大きさ変化算出部２３０により算出された、被写体像における面積の変化率を用いて、第２の部分画像の大きさの候補を算出する。一方、第１の画像３２０が第２の画像３１０の後で撮像されている場合、候補算出部２４０は、大きさ変化算出部２３０により算出された、被写体像における面積の変化率の逆数を用いて、第２の部分画像の大きさの候補を算出する。本例においては、候補算出部２４０は、大きさ変化算出部２３０により算出された単位時間における面積の変化率の逆数に、第１の画像３２０の撮像時刻と第２の画像３１０の撮像時刻との差を乗じた値を、第１の部分画像３２２の面積に更に乗じて、その結果として得られた面積を、第２の部分画像の大きさの候補とする。
【００４２】
続いて、第２選択部２５０は、第２の画像３１０から第２の部分画像３１４を選択する（Ｓ１０６０）。ここで、第２選択部２５０は、候補算出部２４０により算出された、第２の部分画像の位置の候補を中心とした予め定められた範囲３１２の画像を、第１の部分画像３２２と比較することにより、第２の部分画像３１４を選択してよい。例えば、第２選択部２５０は、候補算出部２４０により算出された大きさの候補と略同一の大きさとなるべく、第１の部分画像３２２を拡大または縮小し、その結果として得られた画像を二値化する。そして、第２選択部２５０は、得られた二値化画像をパターン画像として用いて、範囲３１２の画像を二値化した画像に対してパターンマッチング処理を行うことにより、範囲３１２の画像から第１の部分画像３２２に一致する部分画像を検出し、検出した部分画像に対応する第２の画像３１０の部分画像を、第２の部分画像３１４として選択する。
【００４３】
ここで、第２選択部２５０は、パターン画像と、二値化した範囲３１２の画像の部分画像とを画素毎に比較し、比較した画素数に対する一致した画素数の割合が、予め定められた基準値以上である場合に、それぞれの画像が一致すると判定してもよい。また、ここで、予め定められた基準値とは、第３選択部２１０が第３の部分画像３０２を選択する場合に用いる基準値より低く定められてよい。こうすることにより、第１の部分画像３２２と、選択すべき第２の部分画像３１４との合焦度が異なることで、それぞれの部分画像の一致を判定しづらい場合であっても、第２の部分画像３１４を選択することができる。
【００４４】
また、第２選択部２５０は、前記したパターン画像を拡大または縮小した画像をパターン画像として更に用いて、パターンマッチング処理を行ってよい。こうすることにより、候補算出部２４０により算出された、第２の部分画像の大きさの候補と、実際の第２の部分画像の大きさとが異なる場合であっても、第２の部分画像３１４を選択することができる。また、第２選択部２５０は、前記したパターン画像を、例えば重心位置等を中心として回転した画像をパターン画像として更に用いて、パターンマッチング処理を行ってよい。また、第２選択部２５０は、範囲３１２を、候補算出部２４０により算出された第２の部分画像の大きさの候補が大きい程、より広い範囲としてよい。
【００４５】
また、第２選択部２５０は、第１の部分画像３２２を、候補算出部２４０により算出された大きさの候補と略同一の大きさとなるべく拡大または縮小した後で、更にソフトフォーカス等の画像処理によって暈かし、その結果として得られた画像の二値化画像をパターン画像として用いることにより、パターンマッチング処理を行ってもよい。こうすることにより、第１の部分画像３２２と、選択すべき第２の部分画像３１４との合焦度が異なる場合であっても、精度よく第２の部分画像３１４を選択することができる。ここで、第２選択部２５０は、より高い精度でパターンマッチング処理を行うべく、第１の画像３２０における焦点距離と、第２の画像３１０における焦点距離との差が大きいほど、ソフトフォーカスの度合いをより大きくしてもよい。
【００４６】
続いて、合焦判定部２６０は、第１の部分画像３２２の合焦度が、第２の部分画像３１４の合焦度に比べて高いが否かを判定する（Ｓ１０７０）。ここで、合焦判定部２６０は、第１の部分画像３２２及び第２の部分画像３１４のそれぞれを示す画像信号を、高速フーリエ変換等を用いて複数の周波数成分に分解し、それぞれの画像における高周波成分のレベルを合焦度としてよい。そして、第１の部分画像３２２の合焦度が、第２の部分画像３１４の合焦度に比べて高いと判定された場合に（Ｓ１０７０：Ｙｅｓ）、置換部２７０は、第２の画像３１０における第２の部分画像３１４を、第１の部分画像３２２で置換することにより、全焦点画像を生成する（Ｓ１０８０）。ここで、第２の部分画像３１４の大きさと、第１の部分画像３２２の大きさとが異なっている場合、置換部２７０は、第２の部分画像３１４の大きさと略同一の大きさとなるべく、第１の部分画像３２２を拡大または縮小し、第２の部分画像を、拡大または縮小した結果得られた画像で置換してよい。
【００４７】
そして、表示部１４０は、生成された全焦点画像を表示して、利用者に提供する（Ｓ１０９０）。ここで、撮像装置１０は、毎秒３０回等の予め定められた頻度で全焦点画像の生成処理を行うことにより、各フレーム画像が全焦点画像である動画像を利用者に提供してよく、また、利用者から指示された場合に全焦点画像の生成処理を行うことにより、全焦点画像である静止画像を利用者に提供してもよい。
【００４８】
本発明の実施形態に係る撮像装置１０によれば、候補算出部２４０により算出された位置の候補に基づいて、第１の部分画像に一致する第２の部分画像を検出することができるので、第２の画像全体に対して第２の部分画像の検出を行う場合に比べて、より短時間に、高い精度で第２の部分画像を選択することができる。また、候補算出部２４０により算出された大きさの候補に基づいて、第１の部分画像に一致する第２の部分画像を検出することができるので、部分画像の大きさを任意に変更しながら検出する場合に比べて、より短時間に、高い精度で第２の部分画像を選択することができる。
従って、撮像装置１０は、画像を撮像した時点から、より短時間で全焦点画像を生成することができるので、より新しい、つまり、実際の被写体の状態との誤差がより小さい全焦点画像を利用者に提供することができる。また、撮像装置１０は、撮像装置１０または被写体が移動することにより、撮像した複数の画像のそれぞれにおける被写体像の位置が異なる場合であっても、高い精度で同一の被写体を示す部分画像を選択して、精度の高い全焦点画像を生成することができる。
【００４９】
なお、本例において、撮像装置１０は、第３の画像、第２の画像、第１の画像という順序で画像を撮像したが、それぞれの画像の撮像順序は、本例に示した順序に限定されず、本例に示した順序に多様な変更を加えてもよい。例えば、撮像装置１０は、第１の画像、第２の画像、第３の画像という順序で画像を撮像してよい。また、例えば、撮像装置１０は、第３の画像、第１の画像、第２の画像という順序で画像を撮像してもよく、また、第１の画像、第３の画像、第２の画像という順序で画像を撮像してもよい。また、例えば、撮像装置１０は、第２の画像、第３の画像、第１の画像という順序で画像を撮像してもよく、また、第２の画像、第１の画像、第３の画像という順序で画像を撮像してもよい。撮像装置１０は、何れの順序で撮像した場合であっても、本例に示した方法と同様の方法を用いて、全焦点画像を生成することができる。
【００５０】
また、撮像装置１０において、全焦点画像の生成に用いる画像のそれぞれは、連続して撮像されていなくともよい。但し、より新しい全焦点画像を生成するという点、並びに第２の部分画像の位置及び大きさの候補をより高い精度で算出するという点では、それぞれの画像の撮像時刻が大きく離れていないことが好ましい。また、本例において、撮像装置１０は、第３の部分画像３０２及び第２の部分画像３１４の選択において、二値化処理を行った画像を用いてパターンマッチング処理を行ったが、これに代えて、二値化処理を行っていない画像を用いてパターンマッチング処理を行ってもよく、また、他の公知の画像処理技術を用いて画像の一致を検出してもよい。
【００５１】
図４は、本発明の実施形態に係る撮像装置１０における焦点距離と画像の撮像タイミングとの関係の一例を示す。本例において、焦点距離制御部１２２は、撮像部１００の焦点距離を、二段階で周期的に変化させる。そして、撮像制御部１２０は、点線で示したタイミングで、撮像部１００に画像４００〜４５０のそれぞれを連続して撮像させる。ここで、焦点距離制御部１２２は、焦点距離を変化させる頻度、即ち画像の撮像頻度を、表示部１４０により表示する動画像のフレームレートと略同一としてよく、また、焦点距離の周期的変化の周波数を、動画像のフレームレートと略同一としてもよい。
【００５２】
そして、画像処理部１３０は、撮像されたそれぞれの画像を用いて、全焦点画像を生成する。例えば、画像処理部１３０は、画像４２０が撮像された後で、画像４００を第３の画像として、画像４１０を第２の画像として、及び画像４２０を第１の画像として用いることにより、全焦点画像を生成する。続いて、画像処理部１３０は、画像４３０が撮像された後で、画像４１０を第３の画像として、画像４２０を第２の画像として、及び画像４３０を第１の画像として用いることにより、全焦点画像を生成する。これに代えて、画像処理部１３０は、画像４１０を第２の画像として全焦点画像を生成するのに続いて、画像４４０が撮像された後で、画像４２０を第３の画像として、画像４３０を第２の画像として、及び画像４４０を第１の画像として用いることにより、全焦点画像を生成してもよい。つまり、画像処理部１３０は、画像が撮像される周期と同じ周期で全焦点画像を生成してもよく、また、焦点距離が変化する周期と同じ周期で全焦点画像を生成してもよい。また、図３の説明において述べたように、第１の画像、第２の画像、及び第３の画像は、何れの順序で撮像されていてよい。例えば、画像処理部１３０は、画像４３０が撮像された後で、画像４００を第３の画像として、画像４２０を第１の画像として、及び画像４３０を第２の画像として用いることにより、全焦点画像を生成してよい。
【００５３】
図５は、本発明の実施形態に係る撮像装置１０における焦点距離と画像の撮像タイミングとの関係の他の例を示す。本例において、焦点距離制御部１２２は、撮像部１００の焦点距離を、三段階で周期的に変化させる。そして、撮像制御部１２０は、点線で示したタイミングのそれぞれで、撮像部１００に画像５００〜５８０のそれぞれを連続して撮像させる。ここで、焦点距離制御部１２２は、焦点距離を変化させる頻度、即ち画像の撮像頻度を、表示部１４０により表示する動画像のフレームレートと略同一としてよく、また、焦点距離の周期的変化の周波数を、動画像のフレームレートと略同一としてもよい。
【００５４】
そして、画像処理部１３０は、撮像されたそれぞれの画像を用いて、全焦点画像を生成する。ここで、画像処理部１３０は、１つの全焦点画像を生成する場合に、２つの焦点距離で撮像された画像から選択された部分画像を用いてよい。例えば、画像処理部１３０は、画像５４０が撮像された後で、画像５２０を第２の画像として用いることにより全焦点画像を生成する場合に、画像５００を第３の画像として用いると共に、画像５３０を第１の画像として用いることにより、第２の画像である画像５２０における合焦度の低い部分画像を、合焦度の高い部分画像で置換した後、更に、画像５１０を第３の画像として用いると共に、画像５４０を第１の画像として用いることにより、第２の画像である画像５２０における合焦度の低い部分画像を、合焦度の高い部分画像で置換してよい。
【００５５】
続いて、画像処理部１３０は、画像５５０が撮像された後で、画像５３０を第２の画像として用いることにより、全焦点画像を生成する。この場合、画像処理部１３０は、画像５１０を第３の画像として用いると共に、画像５４０を第１の画像として用いることにより、画像５３０における合焦度の低い部分画像を、合焦度の高い部分画像で置換した後、画像５２０を第３の画像として用いると共に、画像５５０を第１の画像として用いることにより、画像５３０における合焦度の低い部分画像を、合焦度の高い部分画像で更に置換する。ここで、焦点距離制御部１２２が焦点距離を二段階で変化させる場合と同様に、第１の画像、第２の画像、及び第３の画像は、何れの順序で撮像されてもよい。
【００５６】
図６は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００５７】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００５８】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して撮像装置１０と通信し、撮像装置１０にプログラム及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０及び通信インターフェイス１５３０に提供する。
【００５９】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００６０】
ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して撮像装置１０に送信される。撮像装置１０に送信されたプログラムは、撮像装置１０においてインストールされて実行される。撮像装置１０にインストールされて実行されるプログラムは、撮像装置１０を、図１から図５にかけて説明した撮像装置１０として機能させる。
【００６１】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【００６２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施形態に係る撮像装置１０の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る撮像部１００により撮像された画像の一例を示す図である。
【図３】本発明の実施形態に係る撮像装置１０における処理の流れの一例を示すフローチャートである。
【図４】本発明の実施形態に係る撮像装置１０における焦点距離と画像の撮像タイミングとの関係の一例を示す図である。
【図５】本発明の実施形態に係る撮像装置１０における焦点距離と画像の撮像タイミングとの関係の他の例を示す図である。
【図６】本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。
【符号の説明】
【００６４】
１０  撮像装置、１００  撮像部、１０２  光学系、１０４  ＣＣＤ、１０６  撮像信号処理部、１１０  １次メモリ、１２０  撮像制御部、１２２  焦点距離制御部、１３０  画像処理部、１４０  表示部、１５０  ２次メモリ、２００  第１選択部、２１０  第３選択部、２２０  変位ベクトル算出部、２３０  大きさ変化算出部、２４０  候補算出部、２５０  第２選択部、２６０  合焦判定部、２７０  置換部、３００  第３の画像、３０２  第３の部分画像、３１０  第２の画像、３１２  範囲、３１４  第２の部分画像、３２０  第１の画像、３２２  第１の部分画像、４００〜４５０  画像、５００〜５８０  画像
【図１】
2005311488.tif 000003
【図２】
2005311488.tif 000004
【図３】
2005311488.tif 000005
【図４】
2005311488.tif 000006
【図５】
2005311488.tif 000007
【図６】
2005311488.tif 000008