(57)【要約】【課題】複数の焦点距離で撮影するブラケット撮影において、撮影者の意図する被写体に合焦する可能性を高める。【解決手段】撮影した画像データから、画像処理回路15で複数色の画像データを生成する。自動的にあるいは撮影者の操作に応じ、各色の画像データについて、合焦に用いる画像データを選択するとともに、各画像データに対する重み付け量を設定する。光学系11を駆動し、焦点距離を変化させながら、各色について、複数の画像データを撮影する。各色ごとに、それぞれ焦点距離を算出する。算出した複数の焦点距離を、近い順に並べ、順次撮影する。適切な色の画像データを用いることにより、輝度のみでは測距できない被写体についても合焦して撮影できる。【選択図】図１
2005250402.tif 000002
【特許請求の範囲】
【請求項１】
複数の色情報の画像データを用い、各色情報毎にそれぞれ焦点距離を検出し、
各色情報毎に検出した焦点距離でそれぞれ撮像を実行する
ことを特徴とする撮像方法。
【請求項２】
複数の撮影モードを選択可能であり、これら複数の撮影モードが同時に選択された際は、各撮影モードについて、それぞれ複数の色情報を用いてそれぞれ焦点距離を検出し、検出した焦点距離でそれぞれ撮像を実行する
ことを特徴とする請求項１記載の撮像方法。
【請求項３】
焦点距離の検出は、
複数の色情報の画像データについて、それぞれ光学系の焦点距離を変化させながら複数取得し、各色情報の画像データには、互いに隣接する複数の画像検出領域を設定し、前記各画像検出領域毎に、それぞれコントラストの評価値のピーク値がいずれの画像データで記録されたかにより部分焦点距離を算出するとともに、それぞれ前記ピーク値を記録した位置の前記複数の画像データ間における移動に応じた信頼度を算出し、前記信頼度及び前記評価値に応じて、前記部分焦点距離及び所定の焦点距離の中から焦点距離を選択する
ことを特徴とする請求項１または２記載の撮像方法。
【請求項４】
撮像素子と、
この撮像素子に被写体を結像させる光学系と、
この光学系の焦点距離を変化させる光学系駆動手段と、
前記撮像素子から出力された画像データを処理するとともに前記光学系駆動手段を制御する画像処理手段とを具備し、
この画像処理手段は、
前記光学系の焦点距離を変化させながら複数の色情報の画像データを取得し、
取得した前記複数の画像データから、前記各色情報毎にコントラストの評価値のピーク値を用いて焦点距離を算出し、
各色情報毎に算出した焦点距離でそれぞれ撮像を実行する
ことを特徴とする撮像装置。
【請求項５】
撮像を実行中であることを示す警告手段を備えた
ことを特徴とする請求項４記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから焦点距離を検出する撮像方法及び撮像装置に関する。
【背景技術】
【０００２】
従来、ビデオカメラあるいは電子スチルカメラなどの撮像装置において、撮影された画像データの高周波成分を抽出してレンズの焦点を合わせる構成が知られている。この構成は、レンズを駆動して焦点を移動させながら撮影を行い、レンズの各位置において画像データの高周波成分を抽出してコントラストの評価値(以下、コントラストと称する)を算出する。そして、コントラストが大きくなる方向へレンズの位置を移動させ、このコントラストが最大となる位置を、レンズの合焦位置としている。
【０００３】
この点、１回の撮影動作で複数の画像データを連続的に撮影し、撮影者の意図する被写体を確実に撮影することを図ったいわゆるブラケット撮影と呼ばれる撮影方法が知られている。このブラケット撮影については、適正と判断される露出を中心にプラス側とマイナス側に露出を変化させる露出ブラケット撮影の他、複数のホワイトバランスで撮影する構成や、複数の焦点距離で撮影するフォーカスブラケット撮影が知られている。
【０００４】
例えば、ホワイトバランスについてのブラケット撮影では、撮影画面を複数の領域に分割し、各領域に対応して設定したホワイトバランスの設定で画像を撮影する構成が知られている(例えば、特許文献１参照。)。
【０００５】
また、フォーカスブラケット撮影については、撮影範囲中に存在する複数の被写体までの距離をそれぞれ測距し、それぞれのフォーカス位置で撮影する構成が知られている(例えば、特許文献２参照。)。この構成では、複数の被写体の測定は、レンズを移動させながら高周波成分の評価値のピークの位置を検出し、あるいは、複数の測距エリア毎に被写体距離を測定して行っている。
【特許文献１】特許第３３３２３９６号公報（第１頁、図１２）
【特許文献２】特開２００１−１１６９７９号公報（第２頁、図４）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のように、フォーカスブラケット撮影を行うことにより、意図した被写体に合焦する可能性が向上するが、意図した被写体の輝度情報のコントラストが低い場合には、高周波成分の評価値のピークとして検出されず、あるいは測距エリア内での被写体として検出されず、意図した被写体に合焦しない可能性がある。
【０００７】
本発明は、このような点に鑑みなされたもので、撮影者が意図した被写体に合焦した画像を撮像できる可能性の大きい撮像方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１記載の撮像方法は、複数の色情報の画像データを用い、各色情報毎にそれぞれ焦点距離を検出し、各色情報毎に検出した焦点距離でそれぞれ撮像を実行するものである。
【０００９】
そして、この構成では、複数の色情報を用いてそれぞれ検出した焦点距離でそれぞれ撮像を実行することにより、特定の色情報に特徴のある被写体に合焦して撮影し、撮影者が意図した被写体に合焦した画像を撮像できる可能性が大きくなる。
【００１０】
請求項２記載の撮像方法は、請求項１記載の撮像方法において、複数の撮影モードを選択可能であり、これら複数の撮影モードが同時に選択された際は、各撮影モードについて、それぞれ複数の色情報を用いてそれぞれ焦点距離を検出し、検出した焦点距離でそれぞれ撮像を実行するものである。
【００１１】
そして、この構成では、複数の撮影モードでそれぞれ複数の色情報を用いて検出した焦点距離で撮像を実行することにより、特定の色情報に特徴のある被写体に合焦して撮影し、撮影者が意図した被写体に合焦した画像を撮像できる可能性が大きくなる。
【００１２】
請求項３記載の撮像方法は、請求項１または２記載の撮像方法において、焦点距離の検出は、複数の色情報の画像データについて、それぞれ光学系の焦点距離を変化させながら複数取得し、各色情報の画像データには、互いに隣接する複数の画像検出領域を設定し、前記各画像検出領域毎に、それぞれコントラストの評価値のピーク値がいずれの画像データで記録されたかにより部分焦点距離を算出するとともに、それぞれ前記ピーク値を記録した位置の前記複数の画像データ間における移動に応じた信頼度を算出し、前記信頼度及び前記評価値に応じて、前記部分焦点距離及び所定の焦点距離の中から焦点距離を選択するものである。
【００１３】
そして、この構成では、コントラストの評価値のピーク値を記録した位置の画像データ間における移動に応じた信頼度を算出したため、被写体が相対的に移動した信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、各色情報毎に正確な焦点距離の検出が可能になる。
【００１４】
請求項４記載の撮像装置は、撮像素子と、この撮像素子に被写体を結像させる光学系と、この光学系の焦点距離を変化させる光学系駆動手段と、前記撮像素子から出力された画像データを処理するとともに前記光学系駆動手段を制御する画像処理手段とを具備し、この画像処理手段は、前記光学系の焦点距離を変化させながら複数の色情報の画像データを取得し、取得した前記複数の画像データから、前記各色情報毎にコントラストの評価値のピーク値を用いて焦点距離を算出し、各色情報毎に算出した焦点距離でそれぞれ撮像を実行するものである。
【００１５】
そして、この構成では、複数の色情報を用いてそれぞれ検出した焦点距離でそれぞれ撮像を実行することにより、特定の色情報に特徴のある被写体に合焦して撮影し、撮影者が意図した被写体に合焦した画像を撮像できる可能性が大きくなる。
【００１６】
請求項５記載の撮像装置は、請求項４記載の撮像装置において、撮像を実行中であることを示す警告手段を備えたものである。
【００１７】
そして、この構成では、複数の画像を順次撮像する際に、撮影者が撮像装置を被写体から動かさないように警告できる。
【発明の効果】
【００１８】
本発明によれば、複数の色情報を用いてそれぞれ検出した焦点距離でそれぞれ撮像を実行することにより、特定の色情報に特徴のある被写体に合焦して撮影し、撮影者が意図した被写体に合焦した画像を撮像できる可能性を大きくできる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の撮像方法及び撮像装置の一実施の形態を図面を参照して説明する。
【００２０】
図１において、10は撮像装置で、この撮像装置10は、合焦装置を備え、静止画あるいは動画を撮影するためのデジタルカメラであり、レンズ及び絞りなどを備えた光学系11、撮像素子としてのＣＣＤ12、このＣＣＤ12の出力が順次入力されるアナログ回路13、Ａ／Ｄ変換器14、情報選択手段及び画像処理手段を構成する画像処理回路15、記憶手段としてのＲＡＭなどのメモリ16、画像処理手段を構成する制御手段を構成するＣＰＵ17、このＣＰＵ17に制御されてＣＣＤ12を駆動するＣＣＤ駆動回路18、このＣＰＵ17に制御される光学系駆動手段を構成するモータ駆動回路19、このモータ駆動回路19に駆動されて光学系11のフォーカスレンズすなわち焦点レンズなどのレンズなどを前後に駆動して焦点距離を変化させる光学系駆動手段を構成するモータ20、警告手段を構成する液晶ディスプレイなどの画像表示装置21、メモリカードなどの画像記録媒体22、情報選択手段を構成する補助光装置23、及び、図示しない筐体、撮影ボタンや切替スイッチあるいは撮影モード選択手段などを構成する操作手段、電源装置、入出力端子などを備えている。
【００２１】
そして、ＣＣＤ12は、電荷結合素子(ＣＣＤ : charge coupled device)を用いたイメージセンサである電荷結合素子型の固体撮像素子である。また、ＣＰＵ17は、いわゆるマイクロプロセッサであり、システムの制御を司っている。そして、この実施の形態では、ＣＰＵ17は、光学系11の絞り制御及び焦点距離変倍制御(フォーカス制御)を行い、特に、モータ駆動回路19を介してモータ20により光学系11を駆動し、すなわち、単数あるいは複数の焦点レンズの位置を前後に変化させ、フォーカスの制御を行う。さらに、このＣＰＵ17は、ＣＣＤ駆動回路18の制御を介してのＣＣＤ12の駆動制御、アナログ回路13の制御、画像処理回路15の制御、メモリ16に記録されるデータの処理、画像表示装置21の制御、画像記録媒体22への画像データの記録及び読み出し、及び補助光装置23による補助光の投光などを行う。さらに、メモリ16は、安価なＤＲＡＭなどで構成され、ＣＰＵ17のプログラム領域、ＣＰＵ17及び画像処理回路15のワーク領域、画像記録媒体22への入出力バッファ、画像表示装置21用のビデオバッファ、その他画像データの一時記録領域として共用される。
【００２２】
そして、ＣＣＤ12に入射する被写体光は、ＣＰＵ17が光学系11の絞りなどを制御することにより光量調整される。そして、ＣＣＤ12は、ＣＣＤ駆動回路18により駆動され、被写体光が光電変換された結果のアナログ映像信号をアナログ回路13へ出力する。また、ＣＰＵ17はＣＣＤ駆動回路18を介してＣＣＤ12の電子シャッタの制御なども行う。また、アナログ回路13は、相関２重サンプリング及びゲインコントロールアンプからなり、ＣＣＤ12から出力されるアナログ映像信号のノイズ除去、及び画像信号の増幅などを行う。また、例えば、アナログ回路13のゲインコントロールアンプの増幅度などが、ＣＰＵ17により制御される。
【００２３】
そして、アナログ回路13の出力は、Ａ／Ｄ変換器14へ入力され、このＡ／Ｄ変換器14でデジタル映像信号へと変換される。そして、変換された映像信号は、そのままメモリ16へ一時記録され、以後の処理を待つか、あるいは、画像処理回路15へ入力されて画像処理を施された後、メモリ16を介して画像表示装置21により表示され、あるいは使用者の意図により、画像記録媒体22へ動画像あるいは静止画像として記録される。また、メモリ16へ一時記録された処理前の画像データは、ＣＰＵ17か、あるいは画像処理回路15により、あるいはこれら両者により処理される。
【００２４】
さらに、本実施の形態の画像処理回路15は、図２に示すように、マトリクス補完回路27、スイッチ28、エリア判定回路31、コントラスト検出手段としてのフィルタ回路32、ピーク判定回路33、ピーク位置判定回路34、及び演算回路35を備えている。
【００２５】
所定のレンズ位置で、すなわち、光学系11が適宜の焦点距離に設定された状態で、光学系11に入射した被写体像は、ＣＣＤ12を通じてアナログ画像信号化され、アナログ回路13とＡ／Ｄ変換器14を通してデジタルの画像データに変換される。そして、Ａ／Ｄ変換器14から出力されたデジタルの画像データは、メモリ16に記憶され、同時に、合焦及び露出などの制御のためのデータ処理が、画像処理回路15にて行なわれる。すなわち、Ａ／Ｄ変換器14によりデジタルの画像データに変換された画像データは、マトリクス補完回路27に入力され、このマトリクス補完回路27で、色変換あるいは補完処理を受け、合焦制御あるいは露出制御に対応した画像データとして、ＹＣＣ形式の輝度データ(以下、輝度情報と称する)及びＲＧＢ形式の信号データ(以下、色情報と称する)が出力される。なお、この変換処理の設定は、プログラムに応じてＣＰＵ17により変更可能である。そして、これらマトリクス補完回路27から出力された輝度情報及び色情報は、ＣＰＵ17により制御されるスイッチ28に入力され、撮影条件などに応じて制御用の画像データとして選択されて出力される。すなわち、通常のＹＣＣ形式の輝度データの画像データの他、ＲＧＢ形式の画像データのＲ(赤)信号、Ｇ(緑)信号、及びＢ(青)信号を画像データとして出力可能になっている。
【００２６】
そして、このスイッチ28から出力された画像データは、エリア判定回路31に入力され、図３などに示す合焦のための画像エリアである合焦画像範囲Ｗの判定のため、このエリア判定回路31でエリア判定処理を行う。この合焦画像範囲Ｗは、２個以上の複数の画像検出領域Ｗhを有するが、ここでは、画像検出領域ＷhはウインドウＷ1〜Ｗ9により構成され、各ウインドウＷ1〜Ｗ9において、すなわち、被写体Ｔの複数部分の範囲において光学系11から被写体Ｔまでの距離(以下、被写体距離と称する)を算出する手段を有しているものとして説明する。すなわち、合焦画像範囲Ｗの各ウインドウＷ1〜Ｗ9のコントラストの大小の検出のため、フィルタ回路32により高周波成分が解析され、各ウインドウＷ1〜Ｗ9についてコントラストの評価値が算出される。なお、このフィルタ回路32は、比較的コントラストの高いハイパスフィルタ(ＨＰＦ)を用いると良い。
【００２７】
さらに、本実施の形態では、各ウインドウＷ1〜Ｗ9毎の画像に対して、各水平方向のフィルタ回路32から算出された評価値の内、ピーク判定回路33により、最も高い評価値が、各ウインドウＷ1〜Ｗ9の評価値として出力される。また、同時に、ピーク判定回路33で最も高い評価値が得られた画像データ上の位置(以下、ピーク位置と称する)を、算出中のウインドウＷ1〜Ｗ9の起点となる位置から算出するピーク位置判定回路34を備えている。そして、これらピーク判定回路33とピーク位置判定回路34の出力は、すなわち、各ウインドウＷ1〜Ｗ9の水平ライン毎のコントラストの評価値のピーク値とこのピーク値を記録したピーク位置とは、それぞれメモリ16に一時的に格納して保持される。
【００２８】
そして、これらＣＣＤ12の各水平ライン毎に算出されたピーク値とピーク位置とは、演算手段として加算器である演算回路35により各ウインドウＷ1〜Ｗ9内で加算され、各ウインドウＷ1〜Ｗ9毎の加算ピーク値とピーク位置の水平ライン方向の平均位置である加算ピーク位置として出力され、これら加算ピーク値と加算ピーク位置とが各ウインドウＷ1〜Ｗ9の値としてＣＰＵ17に送られる。なお、各ウインドウＷ1〜Ｗ9毎の加算ピーク値の算出に当たる演算回路35は、規定の範囲以上のピーク値のみを対象として演算する構成とすることもできる。
【００２９】
そして、光学系11を駆動し、設定された範囲(駆動範囲)内でレンズ位置を変化させ、各レンズ位置における加算ピーク値と加算ピーク位置とを算出し、メモリ16に保存していく。なお、この駆動範囲すなわち合焦処理用の撮影枚数は、レンズ倍率、撮影される距離情報、撮影者が指定する撮影条件などにより適宜の値を設定することもできる。また、この駆動範囲については、以下に示すように、評価値の演算結果から、評価値が予め設定した図３(b)のFVTHn以上ある場合など、被写体距離が小さい場合には、数を減らし、合焦時間を短くすることもできる。
【００３０】
そして、この駆動範囲で、各ウインドウＷ1〜Ｗ9毎にピーク値を比較し、レンズの駆動方向に対してピーク値にピークがある場合、各ウインドウＷ1〜Ｗ9のピークとする。
【００３１】
そして、このピークの近傍で被写体Ｔに合焦することが推定できる。このピークの値から推定される焦点距離を、各ウインドウＷ1〜Ｗ9の部分焦点距離とする。
【００３２】
ここで、合焦画像範囲Ｗには、複数のウインドウＷ1〜Ｗ9を設定しているため、例えば、ピークの近傍で被写体Ｔが移動しているウインドウが存在する一方、ピークの近傍でブレなく確実に被写体Ｔをとらえているウインドウも存在する。
【００３３】
すなわち、各ウインドウＷ1〜Ｗ9の部分焦点距離には、信頼度の高いもの(有効であるもの)と、信頼度の低いもの(無効であるもの)が存在する。そこで、ＣＰＵ17は、ピーク値とピーク位置との演算結果を用いて、各ウインドウＷ1〜Ｗ9毎に、信頼度を判断し、すなわち、合焦位置特定手段に重み付けを行う。
【００３４】
例えば、部分焦点距離の近傍で、ピーク位置の平均位置が急激に移動している場合や、あるいは、各ウインドウＷ1〜Ｗ9の水平方向に隣接したウインドウＷ1〜Ｗ9のピーク位置の平均位置が急激に移動している場合は、被写体Ｔが移動するブレなどが生じていると推定できるため、当該ウインドウＷ1〜Ｗ9の重み付けは小さくする。一方、ピーク位置の平均位置があまり変化していない場合は、被写体Ｔが移動していないと判断し、重み付けを小さくしない。
【００３５】
また、ウインドウの被写体Ｔのピーク位置が他のウインドウに移動した場合は、ピーク値及びピーク位置が大きく変化する。そこで、このようにピーク値及びピーク位置が大きく変化したウインドウは、重み付けを小さくし、すなわち、ウインドウの信頼度を下げて、結果的に、被写体Ｔをとらえているウインドウの部分焦点距離を優先させる。
【００３６】
なお、各ウインドウＷ1〜Ｗ9内での水平方向のコントラストのピークを評価するため、当該ウインドウＷ1〜Ｗ9内に被写体Ｔのコントラストのピークが存在すれば、被写体Ｔが移動したとしても、評価値としては変化がない。
【００３７】
また、ピーク値のピーク位置がレンズ位置を移動させるごとにばらついている場合は、ノイズなどウインドウ内にコントラストがない場合などが多いため、被写体Ｔがないと判断し、重み付け量を小さくする。
【００３８】
なお、この重み付け量は、予め設定する他、輝度情報や焦点倍率などの撮影条件に基づく画像データの評価値などから算出することもできる。
【００３９】
そして、ＣＰＵ17は、各ウインドウＷ1〜Ｗ9毎に、評価値に重み付けを乗算し、重み付けを行った評価値を得る。
【００４０】
また、ここで、判断手段としてのＣＰＵ17は、重み付けを行った評価値が所定の値以下であると、その評価値は無効とし、以後利用しない。
【００４１】
そして、選択手段としてのＣＰＵ17は、重み付けを行った評価値をレンズ駆動の位置毎に加算し、コントラストが最大になる最終的な合焦位置を算出する。すなわち、評価値の演算結果がＣＰＵ17に送られると、ＣＰＵ17は、各ウインドウＷ1〜Ｗ9で得られた各評価値(加算ピーク値と加算ピーク位置)を加算し、現在のレンズ位置での被写体位置を一つの評価値として演算を行う。この演算の際、ピーク位置は各ウインドウＷ1〜Ｗ9内の垂直方向ライン数で割った値とすると、ピーク位置の重心がわかる。その変化量の大きいものや、水平方向のウインドウから重心がウインドウ隅へ移動したものなどは、そのウインドウ評価値の重み付けを減らした上で加算を行い、最終評価値を得る。
【００４２】
そして、有効とされた評価値の中で最小の部分被写体距離を選び、この部分被写体距離を合焦距離として選択する。すなわち、ＣＰＵ17は、最終評価値の大きさを基に、モータ駆動回路19とモータ20により、最終評価値が最も高い位置まで、光学系11のレンズの移動を指示する。もし、最終評価値に変化がない場合は、モータ駆動回路19を介してモータ20の停止を指示する。
【００４３】
すなわち、重み付けをしているため、被写体Ｔのブレによる誤ったピークを選択することを回避できるため、複数領域を有する複数の焦点距離算出においても、被写体Ｔをブレと間違えずに選択できる。このため、一般的に有効とされる近距離を優先する手法により、正確に合焦位置を選択して撮影できる。
【００４４】
なお、光学系11を構成するレンズのピント位置、すなわち、所定の距離に合焦するレンズの位置は、設計上の撮影距離範囲に対して、焦点倍率による変動や絞り口径位置による変化、及びレンズを支持する鏡筒の温度条件や姿勢差などの条件により変化する。そこで、光学系11には、設計上のピント位置で計算された駆動範囲に加え、さらに、これら条件の変動による変化量を考慮し、近距離側と遠距離側とに変化量分の移動可能範囲すなわちオーバーストローク領域を設けているとともに、ＣＰＵ17などからなる制御手段は、このオーバーストローク領域にレンズを駆動可能にレンズ位置を駆動可能に設定されている。
【００４５】
例えば、設計上の撮影距離範囲を５０cmから無限遠までとしたときのレンズのピント位置の移動量の総量が１０mmであり、上記の変化量の積算最大値が１mmであったとすると、それぞれ近距離側に１mm、遠距離側に１mmのオーバーストローク領域を設け、レンズのピント位置の移動量の総量すなわち駆動範囲を１０＋１＋１より１２mmに設定する。このようにオーバーストローク領域を設け、このオーバーストローク領域にレンズ位置を駆動可能としたため、設計上規定した撮影距離範囲を満足できるようになっている。
【００４６】
また、補助光装置23は、焦点合わせ処理の補助として、撮影環境すなわち被写体が暗い場合に、被写体の輝度に応じて発光する複数の、本実施の形態では、互いに色の異なる２個の光源である補助光Ｌ1，Ｌ2を備えている。そして、各補助光Ｌ1，Ｌ2は、それぞれ光源回路43，44に接続され、さらに、これら光源回路43，44は、第１及び第２のスイッチ45，46を介してＣＰＵ17に接続されている。そして、各補助光Ｌ1，Ｌ2は、光源回路43，44で制御されて発光し、さらに、補助光Ｌ1，Ｌ2の発光が必要か否かの指示や点灯タイミングの制御はＣＰＵ17が行う。また、第１のスイッチ45は、ＣＰＵ17の制御により、２個の補助光Ｌ1，Ｌ2のいずれを制御するかを切り替える。また、第２のスイッチ46は、ＣＰＵ17の制御により、２個の補助光Ｌ1，Ｌ2の両者を同時に制御するか否かを切り替える。
【００４７】
なお、補助光Ｌ1，Ｌ2は、２個に限られず、３個以上の複数(Ｎ個)の補助光Ｌ1，Ｌ2，…ＬNを用いることもできる。そして、これら複数の補助光Ｌ1，Ｌ2，…ＬNは、互いに異なる色で発光する他、互いに同じ色で発光するものとしても良い。また、これら補助光Ｌ1，Ｌ2，…ＬNは、それぞれ単独で制御して発光する構成の他、複数の補助光Ｌ1，Ｌ2，…ＬNを組み合わせて制御し、同時に複数の補助光Ｌ1，Ｌ2，…ＬNを発光させることにより、単独で発光させたときとは異なる色の光を発光することもできる。
【００４８】
次に、本実施の形態による撮影動作の自動合焦動作及び撮影動作を図３ないし図１９を参照して説明する。
【００４９】
本実施の形態は、ブラケット撮影の個々の撮影について、レンズの位置を確定するため、すなわち、正確に合焦するため、撮影者が、通常の輝度情報を用いる他、色情報及び補助光を用いることができるとともに、画像データを複数のウインドウに分割することにより、被写体にブレが生じても正確に合焦できるものである。
【００５０】
まず、図３を参照して、画像データを複数のウインドウに分割する構成について、手振れなどによる被写体ブレがない場合の動作を説明する。
【００５１】
本実施の形態では、図３(a)に示すように、合焦画像範囲ＷがＣＣＤ12の画面の中央部に配置され、さらに、この合焦画像範囲Ｗを、水平方向に３個、垂直方向に３個の合計９個に分割してウインドウＷ1〜Ｗ9が設定されている。なお、このようなウインドウは、隣り合ったエリア部分が複数存在するように構成すれば、個数は適宜の数に設定できる。被写体ブレのない場合の被写体Ｔは、各ウインドウＷ1〜Ｗ9内で十分コントラストがとれるような配置に設定されている。
【００５２】
そして、図３(a)に示す状態で、コントラストを評価した結果を、図３(b)の曲線Ｔcに示す。この例は、モータ20により焦点を近(NEAR)から遠(FAR)に駆動された光学系11により被写体Ｔを撮影した複数の画像データを評価した場合の評価値を加算した最終評価値を示しており、被写体距離Ｔdが、評価値のピークＰに明確に示される。
【００５３】
次に、図４ないし図６を参照して、手振れなどによる被写体のブレがある場合の動作を説明する。
【００５４】
まず、図４を参照して、複数領域を有する方式の被写体移動または手振れなどのブレについて説明する。
【００５５】
図４は、合焦動作中に、手振れ、すなわち撮影中に意に反して撮像装置10が被写体Ｔに対して相対的に移動してしまった場合を示し、時系列に沿ってシーンＳ(H-1)からシーンＳ(H)を経てシーンＳ(H+1)に至る過程で、光学系11のレンズ位置を移動させながら画像データを入力した状態の合焦画像を示している。すなわち、被写体移動あるいは手振れの現象が起こると、例えば、シーンＳ(H-1)ではウインドウＷ1に存在した被写体Ｔのコントラストの大きい部分は、移動によりシーンＳ(H)ではウインドウＷ5に相対的に移動し、シーンＳ(H+1)ではウインドウＷ9に相対的に移動している。そこで、この状態でウインドウＷ1など特定のウインドウのみでコントラストの評価値を評価すると、正しい評価が行われない。
【００５６】
また、図５も、合焦動作中に手振れが生じた場合を示している。そして、図５(a)は、図３(a)と同様の合焦画像範囲Ｗが設定されているが、被写体Ｔが破線Ｔ4に示す位置から実線Ｔ5に示す位置まで相対的に移動する被写体ブレが発生し、被写体Ｔのコントラストの大きい部分が例えばウインドウＷ4からウインドウＷ5まで相対的に移動した状態を示している。そして、この被写体ＴのＴ4からＴ5への移動の間に、光学系11のレンズを駆動する合焦動作が行われると、図５(b)に示すように、ウインドウＷ4のコントラストを評価した結果である評価値は、曲線Ｔc4で示され、また、ウインドウＷ5の評価の結果は曲線Ｔc5で示され、例えばウインドウＷ4の評価値である曲線Ｔc4に注目すると、被写体距離Ｔdとは異なる位置Ｔd4が評価値のピークＰ4となり、被写体が距離毎に複数存在する場合などに区別できないなど、誤作動の原因となる。
【００５７】
また、図６に、ウインドウＷ1〜Ｗ9を相対的に移動するピーク位置について示す。被写体Ｔが水平方向に相対的に移動する場合、ピーク位置の範囲は、各ウインドウＷ1〜Ｗ9の水平方向の画素数で決まり、ピーク位置Ｘ1は、図５(a)のウインドウＷ4でピーク位置の基準点をＡ、ピーク位置Ｘ2は、図５(a)のウインドウＷ5でピーク位置の基準点をＢとした場合を示している。そして、光学系11の焦点距離すなわちレンズ位置をＮとしたとき、このＮに対して近(NEAR)方向をＮ−１、遠(FAR)方向をＮ＋１とする。ここで、光学系11のレンズ位置がＮ−１から遠方向にＮ＋１まで移動した時点で、ピーク位置がウインドウＷ4からウインドウＷ5に移動している。この状態では、ピーク位置は明らかに変化するので、合焦動作の実行中であっても被写体ブレの検出は容易にできる。
【００５８】
しかしながら、このような被写体ブレが生じている場合でも、例えば、ウインドウＷ9のように、複数のウインドウにまたがってコントラストの大きい部分が移動しなければ、正しい評価値をもつウインドウも存在する。従って、このような複数のウインドウにまたがるピーク位置変化部分の検出を行うと同時にその変化のあったウインドウに対する評価値を重み付けによって小さくすることにより、正しい評価値のピークの位置を算出できる。
【００５９】
まず、説明を容易にするため、本実施の形態の前提となる構成について、図７ないし図１０のフローチャートを参照して、上記の重み付け処理を行う合焦制御方法について説明する。図７は合焦処理の全体を示し、図８ないし図１０は図７の合焦処理の一部の処理を詳細に示すものである。また、この図７は、ブラケット撮影を行わず、１個の焦点距離を算出する動作で説明する。
【００６０】
図７に示すように、合焦処理では、複数の画像データを用いるが、まず、初期位置あるいは現状のレンズ位置で、１画面の合焦処理用撮影を行い、合焦画像範囲Ｗの画像データを得る（ステップ101）。次いで、撮影された画像データについて、合焦画像範囲Ｗの各ウインドウＷ1〜Ｗ9毎にコントラストの評価値を算出する（ステップ102）。この算出に当たっては、各ウインドウＷ1〜Ｗ9毎に全ラインのピーク値を加算する。次いで、各ウインドウＷ1〜Ｗ9毎の全ラインのピーク値の各基準となる位置からの相対位置を求め、各ウインドウＷ1〜Ｗ9毎に加算し、被写体Ｔの平均位置を算出する（ステップ103）。そして、撮影枚数Ｎの算出を行い（ステップ104）、このＮ回が終了するまで（ステップ105）、光学系11のレンズを移動しながら撮影を行い（ステップ106）、すなわちレンズの移動及び合焦処理用撮影をＮ回繰り返し（ステップ101〜106）、連続した画像データの評価値を取得する。
【００６１】
そして、ステップ106で駆動されたレンズ位置が被写体Ｔの距離に比較的近い場合は、ステップ101で合焦処理用撮影した画像データからステップ103で算出した平均位置には、被写体Ｔの主となるコントラストの特徴が十分に反映される。従って、特にレンズ位置が被写体Ｔの距離に近いウインドウで、手振れなどによる被写体移動があった場合は、ピーク位置の平均位置が変化することになる。
【００６２】
ここで、合焦動作時の画像データの撮影枚数Ｎの算出部分（ステップ104）について、図８のフローチャートを参照して説明する。
【００６３】
この撮影枚数Ｎの設定は、光学系11のレンズの倍率や、撮影される被写体Ｔの距離情報、あるいは、撮影者が指定する撮影条件などに応じて、撮影枚数Ｎを変化させることにより、必要十分な画像データを取得するものである。
【００６４】
まず、図７のステップ102で算出した各ウインドウＷ1〜Ｗ9の評価値FVを、所定の基準値FVTHnと比較し（ステップ201）、評価値FVが基準値FVTHnより大きい場合は、ＮにＮ0を入力する（ステップ202）。なお、このステップ201の工程は設けないこともできあるいは、Ｎ0は、焦点倍率に応じた変数としてＮに入力することもできる。また、評価値FVが基準値FVTHn以下であり（ステップ201）、撮像装置10の操作者である撮影者の設定などにより近距離撮影とされ（ステップ203）、あるいは焦点倍率が比較的大きい、例えば２倍以上の場合は（ステップ204）、ＮにＮ2を入力する（ステップ205）。一方、上記の条件から外れる場合、すなわち、評価値FVが基準値FVTHn以下であり（ステップ201）、近距離撮影でなく（ステップ203）、かつ焦点倍率が比較的小さい、例えば２倍未満の場合は（ステップ204）、ＮにＮ1を入力する（ステップ206）。ここで、値Ｎ0，Ｎ1，Ｎ2については、Ｎ0＜Ｎ1＜Ｎ2の関係があり、近距離撮影や焦点倍率が大きい場合には、撮影枚数Ｎを大きくして光学系11のレンズ駆動を設定を細かく設定し、詳細な評価を可能にするとともに、算出した評価値FVが所定の基準値FVTHn以上である場合など、被写体Ｔが光学系11に近接している場合などは、撮影枚数Ｎを少なくして、合焦時間を短縮することができる。すなわち、レンズ駆動範囲を評価値により選択設定する手段を設けることにより、合焦の精度を低下させずに合焦時間を短縮できる。
【００６５】
そして、図７に示すように、Ｎ回の撮影を行って取得したピーク位置の平均位置に対し、手振れなどを判定し、各ウインドウＷh(Ｗ1〜Ｗ9)毎の信頼度である重み付け量を算出する（ステップ111）。以下、図９のフローチャートを参照して、この判定手段による重み付け量の算出について詳細に説明する。
【００６６】
この処理では、まず、ピーク値平均位置移動量ＰTHの初期値Ｋp＝ＰTH(base)を予め設定し（ステップ301）、各シーンを撮影した合焦画像範囲ＷのウインドウＷhのそれぞれについて、ステップ102で算出した評価値から最も高い評価値を示した単数あるいは複数のシーンＳ(H)Whを求める（ステップ302）。
【００６７】
また、このピーク値平均位置移動量ＰTHは、各ウインドウＷhの重み付け量を選択する最終的な判定値として用いるもので、撮影条件、例えば輝度や焦点距離などに応じて変化する変数となっている。
【００６８】
すなわち、撮影シーンの輝度が比較的高い場合は（ステップ303）、シャッタスピードが比較的速くなるため、一つのウインドウＷh内の移動量は小さくなる傾向がある。そこで、ピーク値平均位置移動量ＰTHの値の割合を予め設定した初期値Ｋp＝ＰTH(base)より小さくし、すなわち、ピーク値平均位置移動量ＰTHに乗算する割合Ｋ(L)を例えば８０％とする（ステップ304）。一方、撮影シーンの輝度がそれ以外、例えば比較的低い場合は（ステップ303）、割合Ｋ(L)を例えば１００％とする（ステップ305）。続いて、焦点倍率が比較的高い場合は（ステップ306）、焦点倍率が低い場合に較べて手振れの可能性が高いことから、ピーク値平均位置移動量ＰTHの値の割合を予め設定した初期値ＰTH(base)より小さくし、すなわち、ピーク値平均位置移動量ＰTHに乗算する割合Ｋ(f)を例えば８０％とする（ステップ307）。一方、焦点倍率がそれ以外、例えば比較的低い場合は（ステップ306）、割合Ｋ(f)を例えば１００％とする（ステップ308）。
【００６９】
そして、予め設定した初期値ＰTH(base)に対して、求めた輝度及び焦点倍率に対する割合Ｋ(L)，Ｋ(f)を乗じて、撮影シーンに最適な判定値としての、ピーク値平均位置移動量ＰTHを算出する（ステップ309）。すなわち、ＰTH＝Ｋp×Ｋ(L)×Ｋ(f)  の演算を行う。なお、ここでは、輝度及び焦点倍率に応じて、ピーク値平均位置移動量ＰTHを算出したが、予め最適判定値を求めることができれば、ピーク値平均位置移動量ＰTHの初期値ＰTH(base)をそのままピーク値平均位置移動量ＰTHとして用いることもできる。
【００７０】
次いで、各ウインドウＷhの信頼度を算出する動作として、まず、重み付け量である重み付け係数を初期化する（ステップ310）。この重み付け係数は、１００％に対する割合で示され、例えば１００％に初期化される。同時に、求めたピーク値平均位置移動量ＰTHに応じて、重み付け係数を変数として設定できるように変数ｍを設ける。例えば、重み付け係数を４段階に設ける場合は、ｍは初期値を４として、４，３，２，１の値が与えられる。
【００７１】
そして、重み付けの判定を行う際は、求めたピーク値平均位置移動量ＰTHに対しその割合を、変数ｍを使ってピーク値平均位置移動量ＰTH(m)と変化可能に設定する（ステップ311）。具体的には、求めたピーク値平均位置移動量ＰTHを変数ｍで除して、ピーク値平均位置移動量ＰTH(m)を求める。
【００７２】
そして、シーンＳ(H)Whで表されるピーク値平均位置ΔPS(H)Whと、前シーンＳ(H-1)Whで表されるピーク値平均位置ΔPS(H-1)Whとの差の絶対値が、ピーク値平均位置移動量ＰTH(m)より大きい場合には、判定手段であるＣＰＵ17は、手振れなどにより被写体ＴがウインドウＷ1〜Ｗ9間を移動し、あるいは評価値演算に影響があると判断する（ステップ312）。また、同様に、シーンＳ(H)Whで表されるピーク値平均位置ΔPS(H)Whと、後シーンＳ(H+1)Whで表されるピーク値平均位置ΔPS(H+1)Whとの差の絶対値が、ピーク値平均位置移動量ＰTH(m)より大きい場合には、判定手段は、手振れなどにより被写体ＴがウインドウＷ1〜Ｗ9間を移動し、あるいは評価値演算に影響があると判断する（ステップ313）。一方、これらの差の絶対値が両者ともピーク値平均位置移動量ＰTH(m)以下である場合は、手振れはない、または、評価値演算に影響がないものとして、当該ウインドウＷhの重み付け係数は下げない。そして、変数ｍが大きいほど、比較するピーク値平均位置移動量ＰTH(m)は小さくなるが、ピーク値平均位置移動量の判定は厳しくなり、重み付け係数は、そのピーク値平均位置移動量ＰTH(m)に応じて決定する（ステップ315）。そして、ステップ312あるいはステップ313において、いずれかの差の絶対値が設定したピーク値平均位置移動量ＰTH(m)より大きい場合は、手振れがあるものとして、当該ウインドウＷhの重み付けを下げ、重み付け係数を例えば最大２５％まで下げる（ステップ315）。そして、この比較演算を、変数ｍを初期値例えば４から１つずつ減算し（ステップ316）、変数が０になるまで繰り返し（ステップ311〜317）、各変数に応じて重み付け量を決定する（ステップ314，315）。なお、この重み付け係数は、例えば最小２５％としたが、この構成に限られず、例えば最小０％とすることもできる。また、ピーク値平均位置移動量ＰTH(m)は、前工程で求めたピーク値平均位置移動量ＰTHに対する割合として設定したが、可能であれば、予め設定した複数の最適判定値を用いることもできる。
【００７３】
そして、このように、手振れがあったか否かを複数の判定基準を設けて判断することにより、信頼度のレベルをより細かく複数設定することが可能になる。
【００７４】
さらに、全てのウインドウＷ1〜Ｗ9について演算が終了するまで、この動作を繰り返す（ステップ301〜318）。この重み付けにより、各ウインドウＷ1〜Ｗ9の信頼度を重み付け係数として数値化できる。
【００７５】
そして、ウインドウＳ(H)Whに隣り合ったウインドウについて、前記の処理を行うことにより、手振れなどピークとなる被写体の移動の影響があったか否かを知ることができる。すなわち、図７に示すように、各ウインドウＷhの重み付け係数(信頼度)を算出した後、まず、Eval FLGを０にセットする（ステップ112）。この後、重み付け係数すなわち信頼度が１００％であるウインドウＷhの数が所定値以上、例えば５０％以上ある場合（ステップ113）、あるいは、互いに隣り合ったウインドウＷhの信頼度が共に所定値以上、例えば共に１００％のウインドウＷhが存在する場合（ステップ114）は、シーンに被写体Ｔの移動がないと判断し、以下説明する評価重み付けは行わず、評価値が予め決められた判定値より大きいか否かを比較して（ステップ117）有効か無効かの判定を行う。
【００７６】
一方、ステップ113及びステップ114の条件をいずれも満たさなかった場合は、以下に示すように、重み付け係数を加味した演算処理を行う。すなわち、各ウインドウＷ1〜Ｗ9の重み付け係数を算出した後、求めた重み付け係数を各ウインドウＷ1〜Ｗ9毎の各評価値全体に乗算し、評価値の重み付けを各評価値自身に反映させる（ステップ115）。このとき、重み付けを加味した演算処理を行ったことを示すため、Eval FLGを１にセットする（ステップ116）。
【００７７】
次いで、重み付けされた各評価値について、予め決められた判定値ＶTHより大きいか比較して（ステップ117）、評価対象として有効か（ステップ118）、無効か（ステップ119）を判断する動作を全てのウインドウＷ1〜Ｗ9について行う（ステップ117〜120）。
【００７８】
そして、複数のウインドウが有効となった場合は、ＣＰＵ17は、有効とされたウインドウの合焦位置すなわち部分合焦位置のなかから、合焦距離演算を行い（ステップ121）、合焦距離を求める。
【００７９】
このステップ121の合焦距離演算の詳細を図１０に示す。ここでは、まず、評価値の演算で重み付けを加味したか否かをEval FLGの状態から判定し（ステップ401）、重み付けをしている場合は、それらの評価値を距離毎に加算し（ステップ402）、重み付けをしていない場合は、加算を行わない。そして、これら評価値から、ピーク合焦位置(ピーク位置)を求める（ステップ403）。そして、これらピーク合焦位置が全て設定された撮影範囲外にあった場合（ステップ404）、または、全てのピーク合焦位置の信頼度が所定値以下、例えば２５％以下の場合（ステップ405）は、被写体距離の算出が不能と判断し、予め設定した所定距離を合焦位置(合焦焦点位置)として強制的に設定する（ステップ406）。この時、合焦距離判定がＮＧであると判定する（ステップ407）。
【００８０】
また、上記以外の場合、すなわち設定された撮影範囲内にあるピーク合焦位置(ピーク位置)が少なくとも一つ存在し（ステップ404）、かつ、この設定された撮影範囲内にあるピーク合焦位置が所定値より大きい、例えば２５％より大きい信頼度を有する場合（ステップ405）は、被写体距離の算出が可能と判断し、有効とされたウインドウＷ1〜Ｗ9の中から、ピーク位置が最至近の部分合焦位置を選択し、この位置を合焦位置とする（ステップ408）。この時、合焦距離判定がＯＫであると判定する（ステップ409）。
【００８１】
なお、この合焦距離演算において、重み付けした場合は、ステップ402にて、それぞれの評価値を加算して算出するため、評価値は一つとなり、ピーク位置は複数の評価値を含んだ重心の位置となるが、この構成に限られず、ピーク位置が近距離のウインドウのみを選択し、ウインドウ毎に加算した上で、部分焦点位置を算出し、この位置を合焦位置とすることもできる。また、重み付けしない場合は、評価値が有効なウインドウＷ1〜Ｗ9から最至近の部分焦点位置を選んで、合焦位置とすることもできる。
【００８２】
そして、このように合焦距離演算（ステップ121）から求められた合焦距離判定の結果（ステップ407，409）に応じて、図７に示すように、合焦距離判定がＯＫかＮＧかの判定を行い（ステップ122）、ＯＫの場合には算出した合焦位置に光学系11のレンズを移動させ（ステップ123）、ＮＧの場合には予め設定した所定の合焦位置に光学系11のレンズを移動させ（ステップ124）ることにより、最終合焦位置にレンズを配置することができる。
【００８３】
このように、この構成によれば、デジタルカメラ、ビデオカメラなどの撮像装置に用いる画像データ利用の自動合焦装置であって、画面を複数の領域に分割し、各領域でそれぞれ合焦位置を判定する方式の自動合焦動作において、被写体の移動や手振れなど、測距に障害があるシーンにおいても、ブレを検出し、最適データのみを用いて適正に距離を測定し光学系11を合焦できる。
【００８４】
すなわち、複数の領域でそれぞれ評価値のピークが算出された場合に、最も高い評価値を示した合焦位置である部分焦点距離を単に合焦位置とする構成に較べ、信頼度を加味した評価重み付けの手法により、手振れなどによる信頼度の低いウインドウから得られる部分焦点距離を除外し、評価値が最も高くなくとも、信頼できる評価値のみを利用して判断し、有効とされた評価値のなかで最至近の部分焦点距離を用いることにより、正確に合焦する確率を向上し、合焦位置を正確に判断して焦点の合った撮影をすることができる。特に、光学系11のズームの倍率の大きいいわゆる高倍率モデルで有効に機能させることができる。
【００８５】
また、ノイズなどの影響による評価値や有効な被写体が当該ウインドウ内にない場合の評価値など、重み付け前の評価値自体が低い場合にも、当該ウインドウを無効とすることにより、焦点距離を正確に検出できる。
【００８６】
すなわち、複数領域を有する複数の焦点距離算出において、一般的に有効とされる近距離を優先とした場合、従来の方法では、被写体移動や手振れなどにより誤ったピークが被写体より近距離にあると、被写体を合焦位置と判断できず、誤ったピークを合焦位置と判断し、合焦位置を正しく設定できない場合があるが、本実施の形態では、被写体移動や手振れによる誤ったピークが近距離にあっても、被写体移動や手振れを検出して、最適データのみを用いて適正でかつ近距離を優先した合焦位置を正しく設定できる。
【００８７】
また、従来の、画像検出領域を変更することにより被写体の画像ブレや手振れの補正を行い、画像検出領域を変更した後に再度焦点の評価を行う方法では、合焦位置を算出するまでに時間がかかり、シャッターチャンスを逃すおそれがあるが、この構成では、予め設定された画像検出領域から与えられた情報のみから合焦位置を算出するため、迅速な処理が可能になり、シャッターチャンスをとらえることができる。
【００８８】
また、被写体の画像ブレや手振れなどを検出する加速度センサなどの特別な機器を備える必要がなく、構成を簡略化して、製造コストを低減できる。
【００８９】
また、算出された複数の被写体距離の信頼性が高くなるので、その他のアルゴリズムを組むことが可能になる。
【００９０】
また、予め設定された画像検出領域内で評価値を取得して焦点位置を算出するため、意図しない被写体に合焦することによる撮影者の違和感を抑制できる。
【００９１】
また、蛍光灯などによるフリッカーのある画像の輝度変化に影響されず、画像の評価値のピーク位置が変動しないため、評価値の大きさに係わらず、複数領域毎の信頼性を評価できる。
【００９２】
なお、上記の実施の形態では、光学系11の動作を伴いながら複数の位置の評価値を取得し、評価値が増加から減少に転じた時点でピークを判定するいわゆる山登り方式の測距方式を採用しているが、被写体ブレの場合には、ピーク位置が各ウインドウ内を移動し、やがて隣接するウインドウＷ1〜Ｗ9に移動する。そして、被写体Ｔのコントラストのピーク部分が一つのウインドウから他のウインドウに移動する際には、評価値のピーク値も急激に小さくなる。このように、前後に撮影されたシーンに対して評価値が急激に変化したウインドウは、重み付けを小さくすることにより、手振れのあるデータを排除し、最適データのみを用いて適正に測距し合焦できる。
【００９３】
また、この構成では、評価値のピーク位置を加算しており、比較的ぼけた画像のピーク位置はばらつく。そこで、ばらつきの大きいものは重み付けを低くすることができ、また、もともとピーク値も低い場合は評価値の重み付けを小さくすることができる。
【００９４】
このように、光学系11のレンズ位置の移動毎に、同一のウインドウの評価値のピーク値の差を測定し、または、互いに隣接したウインドウのピーク位置の平均位置の移動量の差を測定し、あるいはこれらの両者を測定することにより、当該ウインドウの評価値に対する信頼度を判定し、信頼度を高めることができる。従って、最終合焦位置を決める際に、複数領域に対する焦点位置から近距離を選択する場合、手振れの場合や被写体が移動する場合にも測距の信頼度を向上できる。
【００９５】
このようにして、被写体ブレなどがある場合にも、合焦信頼性を向上できる。
【００９６】
なお、この構成では、水平方向の被写体Ｔの移動に対応する構成について説明したが、この構成に加え、あるいは、この構成とともに、垂直方向あるいは斜め方向についても、同様に適用することができる。
【００９７】
また、図１及び図２に示す画像処理回路15は、例えばＣＰＵ17など他の回路と同一のチップで構成し、あるいは、ＣＰＵ17のソフトウェア上で実現し、回路を簡素化して製造コストを低減することもできる。また、この画像処理回路15のフィルタ回路32は、コントラストの検出ができれば、どのような構成でも実現できる。
【００９８】
また、測距方式は、いわゆる山登り方式に限られず、自動合焦装置の動作可能な範囲を全てスキャンすることもできる。
【００９９】
また、各ウインドウ毎の評価値を、図９に示す重み付けの処理の後に、互いに隣接する複数のウインドウについて加算し、あるいは、選択した複数のウインドウの評価値を加算した後に、重み付けの処理を行うこともできる。
【０１００】
また、図７及び図９に示す処理においては、ピーク値平均位置移動量ＰTH値及び判定値ＶTHは予め一つ設定したが、複数設定した中から選択可能とし、また、評価値の大小、あるいは輝度情報やシャッタスピード、焦点倍率などの光学系11の情報などの撮影条件などに応じて可変とし、最適値を選択可能とし、あるいは、これら条件を変数として演算を行い最適値を求めることにより、シーンに応じた評価を行うことができる。
【０１０１】
さらに、ストロボを使用する場合の撮影においては、合焦処理用撮影に同期してストロボを発光させ、各シーンに対する画像データを得ることにより、上記の焦点距離検出方法を用いて合焦距離を検出できる。そして、このストロボを用いる構成においては、合焦距離に応じたストロボの発光制御と、カメラの絞りやシャッタスピードなどの光量制御とに基づいて、撮影を行うことができる。
【０１０２】
また、この構成においては、有効とされた評価値のなかで最至近の部分焦点距離を用い、すなわち、ピーク位置が最至近の部分合焦位置を選択し、この位置を合焦位置とした（ステップ408）が、この構成に限られず、使用者すなわち撮影者の意図すなわち撮影モードを選択する操作に応じて、撮影者の操作により直接的に、あるいは撮影者の操作に応じた制御手段の選択により自動的に、最至近以外の部分合焦位置を選択して合焦位置とすることもできる。また、上記の実施の形態においては、合焦距離判定がＮＧの場合（ステップ122）、予め設定した所定の合焦位置に光学系11のレンズを移動させ（ステップ124）たが、予め複数の所定の合焦位置を設定し、撮影者の意図すなわち撮影モードを選択する操作に応じて、いずれかの所定の合焦位置に光学系11のレンズを移動させることができる。
【０１０３】
このように、この焦点距離検出方法では、互いに隣接する複数の画像検出領域を設定し、光学系の焦点距離を変化させながら複数の画像データを取得し、取得した前記複数の画像データから、各画像検出領域毎に、それぞれコントラストの評価値のピーク値がいずれの画像データで記録されたかにより部分焦点距離を算出するとともに、それぞれ前記ピーク値を記録した位置の前記複数の画像データ間における移動に応じた信頼度を算出し、前記信頼度及び前記評価値に応じて、前記部分焦点距離及び所定の焦点距離の中から焦点距離を選択するものである。そして、この構成では、コントラストの評価値のピーク値を記録した位置の画像データ間における移動に応じた信頼度を算出したため、被写体が相対的に移動した信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、正確な焦点距離の検出が可能になる。
【０１０４】
また、この焦点距離検出方法では、算出した信頼度に応じて、評価値に重み付けを行い、重み付けを行った評価値に応じて、画像検出領域の部分焦点距離の中から焦点距離を選択するものである。そして、この構成では、算出した信頼度に応じて重み付けを行った評価値を用いることにより、信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、正確な焦点距離の検出が可能になる。
【０１０５】
また、この焦点距離検出方法では、ピーク値を記録した位置が前記ピーク値を記録した位置のある少なくとも一つの画像検出領域から他の少なくとも一つの画像検出領域に移動した場合に、信頼度を下げるものである。そして、この構成では、被写体が相対的に移動した信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、正確な焦点距離の検出が可能になる。
【０１０６】
また、この焦点距離検出方法では、ピーク値を記録した位置が前記ピーク値を記録した位置のある複数の画像データ間で所定の距離を超えて移動した場合に、信頼度を下げるものである。そして、この構成では、被写体が相対的に移動した信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、正確な焦点距離の検出が可能になる。
【０１０７】
また、この焦点距離検出方法では、ピーク値が大きい画像データを取得した場合には、取得する画像データの数を減少させるものである。そして、この構成では、必要十分な画像データのみを取得することにより、合焦時間の短縮が可能となる。
【０１０８】
また、この焦点距離検出方法では、信頼度の算出の際に、ピーク値を記録した位置が移動したか否かを判定するピーク位置移動判定値は、撮影条件に応じて求められる変数であるものである。そして、この構成では、撮影条件に応じてピーク位置移動判定値を設定することにより、撮影条件に応じたより適切な信頼度が算出され、適切な焦点距離の検出が可能になる。
【０１０９】
また、この焦点距離検出方法では、信頼度の算出の際に、ピーク値を記録した位置が移動したか否かを判定するピーク位置移動判定値は、複数設定され、順次画像データと比較されるものである。そして、この構成では、ピーク位置移動判定値を複数設定し、順次画像データと比較することにより、段階的な信頼度の設定が可能になり、適切な焦点距離の検出が可能になる。
【０１１０】
また、この合焦装置では、撮像素子と、この撮像素子に被写体を結像させる光学系と、この光学系の焦点距離を変化させる光学系駆動手段と、前記撮像素子から出力された画像データを処理するとともに前記光学系駆動手段を制御する画像処理手段とを具備し、この画像処理手段は、前記光学系駆動手段を制御し前記光学系の焦点距離を変化させながら複数の画像データを取得し、取得した前記複数の画像データに、互いに隣接する複数の画像検出領域を設定し、各画像検出領域毎に、それぞれコントラストの評価値のピーク値がいずれの画像データで記録されたかにより部分焦点距離を算出するとともに、それぞれ前記ピーク値を記録した位置の前記複数の画像データ間における移動に応じた信頼度を算出し、前記信頼度及び前記評価値に応じて、前記部分焦点距離及び所定の焦点距離の中から焦点距離を選択するものである。そして、この構成では、コントラストの評価値のピーク値を記録した位置の画像データ間における移動に応じた信頼度を算出したため、被写体が相対的に移動した信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、正確な焦点距離の選択及び合焦が可能になる。
【０１１１】
次に、図１１ないし図１６を参照して、本実施の形態の前提として、ブラケット撮影の個々の撮影のレンズの位置すなわち焦点距離を算出する動作を説明する。
【０１１２】
この実施の形態では、上記の図７ないし図１０に示す構成を前提とし、撮影者は、レンズ位置を確定するため、すなわち、ブラケット撮影の各色情報に対応する撮影の焦点距離の決定のために用いる画像データとして、輝度情報すなわち通常のＹＣＣ形式の輝度データの他、色情報すなわちＲＧＢ形式の画像データのＲ(赤)信号、Ｇ(緑)信号、及びＢ(青)信号を自動あるいは手動で選択可能になっている。さらに、撮影者は、通常の撮影モードである通常モードすなわち近距離優先モードに加え、遠距離優先モードを選択して設定可能であり、さらに遠景モードあるいは無限モードと称しうるモードにより撮影距離範囲を指定することができる。なお、図１ないし図１０などに示す実施の形態の構成と同一の部分については、説明を省略する。また、この図１１は、ブラケット撮影を行わず、１個の焦点距離を算出する動作で説明する。
【０１１３】
すなわち、この構成では、撮影者が焦点距離の決定のために用いる画像データとして、輝度情報か色情報かを自動的に選択するかあるいは手動で選択するかを決定する操作手段と、手動の場合に、何色の光を用いるかを設定する操作手段とを備えているとともに、撮影者が遠距離優先モードや遠景モードを選択できる撮影モード選択手段である操作手段を備えている。そこで、図７に示す合焦装置の動作のフローチャートに対し、図１１に示すように、合焦処理用撮影（ステップ101）の前に、撮影モードの設定処理（ステップ11）と画像信号判定処理（ステップ12)とが行われるとともに、画像信号判定処理で選択された画像データに対して、焦点距離の演算に用いる評価値の重み付け量を決定するため、各ウインドウの信頼度算出処理（ステップ111）と合焦距離演算（ステップ121）との内容が変更されている。
【０１１４】
すなわち、撮影モードの設定処理については、撮影距離範囲を指定する場合、焦点合わせ処理では、まず、焦点合わせの条件として、撮像装置10の撮影モードに合わせて、レンズの駆動範囲に伴う撮影距離範囲を把握する必要がある。もし、撮像装置10の撮影モードが、例えば通常モードで５０cmから無限位置までであれば、レンズの駆動範囲をこれに応じて設定する。また、撮像装置10が、通常モード以外に、遠景モード(無限モード)、マクロモードなどを設定可能であれば、これらモードを撮影者が選択可能な操作手段、すなわち、撮影者が撮影距離範囲すなわちレンズの駆動範囲を指定できる操作手段を備える。
【０１１５】
また、焦点合わせ処理では、焦点合わせの条件として、最終焦点距離の決定方法について、近距離優先とするか、遠距離優先とするか、撮影者が撮像装置10に備えた操作手段を操作し、撮影モードを選択する。そして、撮像装置10の撮影モードが遠距離優先モードであれば、撮影画像の中の一番遠距離が合焦距離となるようにレンズを駆動する最遠距離選択モードを設定する。また、近距離優先モードでは、撮影画像の中から一番近距離が合焦距離となる最至近距離選択モードが設定され、一般的に用いられる近距離優先の撮影が可能になる。
【０１１６】
すなわち、図１１に示す撮影モードの設定処理（ステップ11）は、図１２に示すように、まず、撮影者が撮影距離範囲を指定しているかを判断する（ステップ1201）。そして、撮影距離範囲を選択するモードが選択されていると、さらに、遠景モードが選択されているかを判断する（ステップ1202）。さらに、遠景モードが選択されている場合は、最遠距離選択モードを設定し（ステップ1203）、遠景モードが選択されていない場合すなわち通常モードあるいはマクロモードの場合は、最至近距離選択モードを選択する（ステップ1204）。すなわち、ここでは、撮影距離範囲に応じて、近距離を優先するか、遠距離を優先するかの撮影モードが自動的に決定される。
【０１１７】
一方、ステップ1201において、撮影距離範囲を選択するモードが選択されていない場合は、さらに、遠距離優先モードが選択されているかを判断する（ステップ1205）。ここで、撮影者が遠距離優先モードを選択している場合は、最遠距離選択モードを設定し（ステップ1203）、遠距離優先モードが選択されていない場合は、最至近距離選択モードを設定する（ステップ1204）。すなわち、ここでは、撮影者の意図に従い最終的な合焦距離を優先的に決定できる撮影モードが決定される。
【０１１８】
次に、図１１に示す画像信号判定処理（ステップ12）は、図１１のステップ11からステップ106までの焦点合わせ処理について、撮影者が被写体などに応じて輝度情報か色情報かを手動で設定するか、あるいは、撮像装置10側で自動的に設定するかの選択を行うものである。そして、この画像信号判定処理では、図１３に詳細に示すように、まず、画像データが有している情報の内、輝度情報と色情報とのいずれを使用するかについて、撮影者が手動モードを選択しているかを判断する（ステップ1301）。そして、予め手動モードが設定されている場合は、さらに撮影者が色情報を利用するモードを選択しているかを判断する（ステップ1302）。そして、色情報を利用しない場合は、単一の輝度情報のみを利用するモードとし（ステップ1303）、ＲＧＢの色情報は選択しないため、変数ＣＮを１(ＣＮ＝１)として記憶する（ステップ1304）。また、ステップ1302で、焦点合わせのために輝度情報ではなく色情報を利用するモードを選択していた場合には、焦点距離演算に対するＲＧＢの各色の色情報の重み付け量をそれぞれ設定値として任意に数値化して設定可能となる（ステップ1305）。例えば、ＲＧＢの３個の色情報を選択した場合は、色情報の数を示す変数ＣＮを３(ＣＮ＝３)として記憶する（ステップ1306）。そして、これら変数ＣＮなど、色情報及び輝度情報の設定に応じて、図２に示すマトリクス補完回路27及びスイッチ28が設定される。
【０１１９】
一方、ステップ1301で手動モードが選択されていない場合は、色情報及び輝度情報を自動的に選択する自動モードとなる。この自動モードでは、まず、撮影環境の輝度値を見る（ステップ1307）。もし、予め設定された輝度値ＬＶTHよりも現在の輝度値ＬＶが低い場合は、色情報が不足しているため、輝度情報のみで焦点合わせ用の画像データとする方が良いと判断し、ステップ1303に移行する。また、ステップ1307で、色情報を用いることが可能であると判断した場合は、ステップ11で設定された撮影モードなどの各種の設定に基づき、ＲＧＢの色情報の重み付けがそれぞれ自動的に設定される。
【０１２０】
まず、ホワイトバランス追従モードに設定されている場合は（ステップ1308）、現在の被写体の色情報やホワイトバランスＷＢなどの情報に基づいてＲＧＢの色情報の重み付け量がそれぞれ自動的に設定される（ステップ1309）。例えば、Ｒ(赤)の被写体が多いと判断した場合は、評価値の重み付け量を演算する場合、Ｒの重み付け量を大きくし、Ｇ(緑)やＢ(青)の重み付け量を小さくするように設定する。
【０１２１】
なお、図示しないが、複数の画像エリアを設定可能な場合においては、設定された複数の画像エリアの色情報をそれぞれ検出し、一番値の大きい色の重み付け量を大きくすることもできる。
【０１２２】
さらに、ステップ11で設定される以外の複数の撮影モードに対応して、評価値の重み付量を設定できる（ステップ1310）。
【０１２３】
例えば、補助光装置23を備えた実施の形態では、補助光装置23による補助光Ｌ1，Ｌ2の発光の制御についての設定に基づき（ステップ1311）、予め定められたＲＧＢの色情報の重み付け量がそれぞれ自動的にあるいは手動により設定される（ステップ1312，1305）。これら補助光Ｌ1，Ｌ2の制御である補助光判定処理について、図１４を用いて詳細に説明する。撮影者は、補助光Ｌ1，Ｌ2を自動で発光させるか、手動で発光させるかを撮影モードとして選択することができる（ステップ1401）。このステップ1401で、手動モードが選択されていた場合は、撮影者の選択に従い、撮像装置10の補助光装置23の複数の補助光Ｌ1，Ｌ2の中から、発光させる補助光Ｌ1，Ｌ2を単独であるいは複数の組み合わせとして設定する（ステップ1402）。一方、ステップ1401で手動モードが選択されていなかった場合は、自動モードとなり、必要に応じて自動的に補助光Ｌ1，Ｌ2を発光させる（ステップ1403）。ここで、補助光Ｌ1，Ｌ2の発光が必要かどうかは、輝度情報などを用いてＣＰＵ17が判断する。さらに、補助光Ｌ1，Ｌ2を自動的に発光させる場合は、被写体の輝度情報や色情報などを用いて演算を行い（ステップ1404）、どのような色の補助光Ｌ1，Ｌ2が適しているか判断する。そして、この演算の結果、あるいは手動の設定に基づき、複数の補助光Ｌ1，Ｌ2を発光させる必要があるか否かを判断する（ステップ1405）。そして、いずれか１個の補助光Ｌ1，Ｌ2を発光すれば良い場合は、さらに、選択された第１の補助光Ｌ1（ステップ1406）あるいは第２の補助光Ｌ2（ステップ1407）の色情報に応じて、最適な重み付け量を、すなわち、評価値が最大となるように、ＲＧＢの各色情報の評価値に対する重み付け量を選択する（ステップ1408，1409）。
【０１２４】
さらに、３個以上のＮ個の補助光Ｌ1，Ｌ2，…ＬNを用い、これら補助光Ｌ1，Ｌ2，…ＬNにそれぞれ応じた重み付け量を設定することもできる（ステップ1410，1411）。なお、各補助光Ｌ1，Ｌ2，…ＬNの色情報が不定の場合には、エラーとして処理する必要があるが、このエラーの場合の設定値は、一般的な補助光である第１の補助光Ｌ1と仮定して重み付け量を設定する（ステップ1408）。また、自動あるいは手動により複数の補助光Ｌ1，Ｌ2を発光させる場合は（ステップ1405）、例えば、第１の補助光Ｌ1と第２の補助光Ｌ2とを同時に発光させる場合は（ステップ1412）、これら補助光Ｌ1，Ｌ2が同時に発光した状態での色情報に応じて、最適な重み付け量を、すなわち、評価値が最大となるように、ＲＧＢの各色情報の評価値に対する重み付け量を選択する（ステップ1413）。また、Ｎ個の補助光Ｌ1，Ｌ2，…ＬNを組み合わせて発光させる場合には（ステップ1414）、２個の補助光Ｌ1，Ｌ2を組み合わせて発光させる場合と同様に、補助光Ｌ1，Ｌ2，…ＬNの組み合わせに応じて最適な重み付け量を選択する（ステップ1415）。なお、組み合わせた状態の補助光Ｌ1，Ｌ2，…ＬNの色情報が不定の場合には、単独の補助光Ｌ1，Ｌ2，…ＬNを発光させる場合と同様に、エラーとして処理する必要があるが、このエラーの場合の設定値は、一般的な補助光の組み合わせとして第１の補助光Ｌ1と第２の補助光Ｌ2の組み合わせと仮定して重み付けを設定する（ステップ1413）。そして、この補助光判定処理で、最終的にいずれかの補助光Ｌ1，Ｌ2，…ＬNを発光させる場合には、変数LWeightFlgを１として記憶し（ステップ1416）、いずれの補助光Ｌ1，Ｌ2，…ＬNをも発光させない場合には、変数LWeightFlgを０として記憶し（ステップ1417）、図１３に示すフローチャートに復帰する。なお、この変数LWeightFlgは、図１３に示すフローチャートの撮影モード（ステップ1304）で、補助光Ｌ1，Ｌ2，…ＬNを発光させる場合に、上記の重み付け量の設定が終了しているか否かの判断のために用いる。
【０１２５】
また、ステップ1311で補助光Ｌ1，Ｌ2，…ＬNの発光を設定せず、撮影する範囲が近距離、すなわち、マクロ撮影の場合は（ステップ1313）、被写体は比較的鮮やかな色情報と推定できるため、ＲＧＢの色情報の重み付け量はＲＧＢ全ての色情報について大きくなるように設定する（ステップ1314）。
【０１２６】
さらに、被写体が特定のものに限定される場合は、当該被写体の色に合焦しやすいように、また、当該被写体に近接して配置されることが予想される被写体以外の部材の色に合焦しにくいように、重み付け量を設定する。例えば、被写体を明確に花と指定するモードに設定された場合は（ステップ1315）、花に合焦したいのに緑色の葉に合焦してしまうことがないように、緑(Ｇ)の重み付けを小さくする（ステップ1316）。
【０１２７】
また、上記いずれの条件にも該当しない場合、すなわち、色温度やホワイトバランスなどに追従するモードに設定されておらず（ステップ1308）、また、撮影モードが特に指定されていない、いわば設定なしモードの場合は（ステップ1310）、予め定めた所定の重み付け量を設定し（ステップ1317）、色情報の数を示す変数ＣＮを３(ＣＮ＝３)として記憶する（ステップ1306）。なお、この設定なしモードの場合は、例えば、人物の肌色に合焦しやすい重み付け量を設定することもできる。
【０１２８】
このようにして、図１３及び図１４に示す画像信号判定処理及び補助光判定処理において、ステップ1309，1312，1314，1316，1317，1408，1409，1411，1413，1415において、予め決められた重み付け量を設定する。そして、このように設定された色情報あるいは輝度情報に応じて、手動モード及び自動モードにおいて、図２に示すマトリクス補完回路27及びスイッチ28に色情報あるいは輝度情報が設定される。
【０１２９】
次いで、図１１のステップ101からステップ120の処理を行った後、設定された撮影モードに従い、合焦処理での最終合焦処理が決定される。
【０１３０】
ここで、ステップ11からステップ106の処理を繰り返し、１組の連続した画像データの評価値を取得するが、色情報の数が複数ある場合などには、複数組の評価値が取得される。そして、これら複数組の評価値を処理するため、ステップ111の各ウインドウの信頼度算出の処理及びステップ115の評価値の重み付け乗算の処理が、図７に示す実施の形態の構成と異なっている。
【０１３１】
すなわち、選択された輝度情報あるいは色情報の画像データから得られた評価値は、図１１のステップ111すなわち図１５に示す処理で重み付け量が得られるが、画像データの色情報が複数ある場合は、予め記憶した色情報数ＣＮを用いて、各ウインドウ毎の評価値Window(Wh)を求める。まず、図９に示す処理と同様に、図１５のステップ301からステップ318の一連の処理を行う。ついで、ＣＮB＝ＣＮ−１の値を求める（ステップ319）。この後、求めた評価値Window(Wh)の値を、重み付け量Window(Wh)(ＣＮB)に置き換える（ステップ320）。そして、ＣＮBの演算結果が０となっている場合は（ステップ321）、輝度情報のみか、１色の色情報のみの対応で良いことがわかるため、ステップ320で置き換えた重み付け量Window(Wh)(ＣＮB)の値を信頼度算出の結果としてストックする（ステップ322）。また、ＣＮ＝３の場合には、３個の色情報について処理が終わるまで、重み付け量Window(Wh)(ＣＮB)を求める。そして、全ての組すなわち全ての色の演算結果をそれぞれ算出したのち、各ウインドウの評価値Window(Wh)の色情報に応じた重み付け量Window(Wh)(ＣＮB)がストックされる（ステップ322）。
【０１３２】
そして、図１１に示すフローチャートのステップ112からステップ114の処理の後、各ウインドウのWindow(Wh)の色情報に応じた重み付け量Window(Wh)(ＣＮB)を用い、評価値に重み付け乗算を行う演算処理を行う（ステップ115）。そして、この演算処理は、評価値に重み付け量すなわち信頼度を乗算する処理であるが、この実施の形態では、それぞれのウインドウ毎に色情報毎の評価値と信頼度とが得られているため、各色情報に合わせて演算処理を行う。すなわち、この重み付け演算は、一つのウインドウの評価値Window(Wh)に対して、
評価値(Wh)＝Σ { FocusValue(ＣＮB) × Window(ＣＮB)} / ＣＮB
となる。但し、ＣＮ=１の場合は、図７に示すステップ115と同様の演算処理となる。
【０１３３】
そして、この評価値(Wh)は、各ウインドウＷ1〜Ｗ9の各評価値全体に乗算される。
【０１３４】
さらに、図１１のステップ117からステップ120の処理を行った後、ステップ121では、図１０に示す構成に代えて、図１６に示す合焦距離演算を行う。
【０１３５】
ここでは、まず、図１０の処理と同様に、評価値の演算で重み付けを加味したか否かをEval FLGの状態から判定し（ステップ1601）、重み付けをしている場合は、それらの評価値を距離毎に加算し（ステップ1602）、重み付けをしていない場合は、加算を行わない。そして、これら評価値から、ピーク合焦位置(ピーク位置)を求める（ステップ1603）。そして、図１１のステップ11で決定された撮影モードに基づいて、連動範囲選択が設定されていれば（ステップ1604）、これらピーク合焦位置が設定された撮影距離範囲に対して全て範囲外にあった場合（ステップ1605）、または、全てのピーク合焦位置の信頼度が所定値以下、例えば２５％以下の場合（ステップ1606）は、被写体距離の算出が不能と判断する（ステップ1607）。この場合、ステップ11で予め設定した撮影モードに応じて、所定距離を合焦位置(合焦焦点位置)として強制的に設定する。ここで、撮影モードは、最至近距離選択モードか最遠距離選択モードであるから、被写体距離の算出が不能と判断した場合、最遠距離選択モードであるか否かを判断し（ステップ1607）、最遠距離選択モードの場合は所定距離１を設定し（ステップ1608）を設定し、最遠距離選択モードでない場合は所定距離２を設定する（ステップ1609）。ここで、所定距離１は所定距離２より遠距離に設定されている(所定距離１＞所定距離２)。そして、合焦距離判定がＮＧであると判定する（ステップ1610）。
【０１３６】
また、図１１のステップ11で決定された撮影モードに基づいて、連動範囲選択が設定されていない場合についても（ステップ1604）、全てのピーク合焦位置の信頼度が所定値以下、例えば２５％以下の場合（ステップ1606）は、被写体距離の算出が不能と判断し（ステップ1607）、同様に処理する（ステップ1608〜1610）。
【０１３７】
一方、ステップ1604〜1605において、上記以外の場合、すなわち、連動範囲選択が設定されており（ステップ1604）、設定された撮影モードで与えられる撮影モードに対応した撮影距離範囲内にあるピーク合焦位置(ピーク位置)が少なくとも一つ存在し（ステップ1605）、かつ、この設定された撮影範囲内にあるピーク合焦位置が所定値より大きい、例えば２５％より大きい信頼度を有する場合（ステップ1606）は、被写体距離の算出が可能と判断する。そして、ピーク位置を決定するにあたり、ステップ11の撮影モードで決定された選択モードの内の、最遠距離選択モードの場合は（ステップ1611）、有効とされたウインドウＷ1〜Ｗ9の中から、ピーク位置が最遠の部分合焦位置を選択し、この位置を合焦位置とし（ステップ1612）最遠距離選択モードでない場合は（ステップ1611）、すなわち、最至近距離選択モードの場合は、有効とされたウインドウＷ1〜Ｗ9の中から、ピーク位置が最至近の部分合焦位置を選択し、この位置を合焦位置とする（ステップ1613）。そして、合焦距離判定がＯＫであると判定する（ステップ1614）。
【０１３８】
また、図１１のステップ11で決定された撮影モードに基づいて、連動範囲選択が設定されていない場合についても（ステップ1604）、所定値より大きい信頼度を有するピーク合焦位置が少なくとも一つ存在し（ステップ1606）、例えば２５％より大きい信頼度を有するピーク合焦位置が存在する場合（ステップ1606）は、被写体距離の算出が可能と判断し、同様に処理する（ステップ1611〜1614）。
【０１３９】
そして、このような合焦距離演算（ステップ121）から求められた合焦距離判定の結果（ステップ1610，1614）に応じて、図７に示すように、合焦距離判定がＯＫかＮＧかの判定を行い（ステップ122）、ＯＫの場合には算出した合焦位置に光学系11のレンズを移動させ（ステップ123）、ＮＧの場合には予め設定した所定の合焦位置である所定距離１または所定距離２に光学系11のレンズを移動させる（ステップ124）ことにより、最終合焦位置にレンズを配置することができる。
【０１４０】
このように、この構成によれば、画像データを用いて焦点距離を検出するにあたり、色情報を用いることにより、種々の色情報を有する被写体に対し、種々の撮影環境下において、正確に焦点距離を検出できる。すなわち、画像信号の色信号のコントラストの評価値に重み付け演算を行い、最適データのみを用いる測距方法および合焦装置により、合焦精度を向上できる。そして、画像データから得られる輝度信号の高周波成分のみを抽出して得た評価値に応じて焦点合わせを行う構成に比べ、色情報など輝度情報以外の情報を用いることにより、輝度差のみの高周波成分による評価値では測距できない被写体についても測距が可能になり、合焦制御において苦手とする被写体を減らすことができる。
【０１４１】
すなわち、本実施の形態の合焦装置は、複数の色情報について、いわば少なくとも２個の互いに異なる色のカラーフィルタを通して得られるそれぞれの画像データについて、それぞれコントラストの評価値を検出する手段を有し、これら複数の画像データ毎に合焦処理を行うとともに、これら複数の画像データを選択及び演算処理する手段(マトリクス補完回路27、スイッチ28参照)及び処理工程(図１１におけるステップ12参照)を備え、さらに、これら選択及び演算処理で得られた画像データ毎に評価値へ重み付け演算処理を行い、被写体に合焦する手段を有している。
【０１４２】
また、本実施の形態では、各画像データに設定された複数の画像検出領域毎に、複数の画像データに応じて得られた評価値それぞれに、信頼度の重み付け量を算出している(図１５のステップ319〜322参照)。
【０１４３】
さらに、撮影モードに応じて、得られた評価値(図１１のステップ11〜12、図１２、図１３参照)に重み付け(図１１のステップ111参照)加算(図１１のステップ115参照)を行い、この評価値に応じて、画像検出領域の部分焦点距離の中から撮影モードに応じた所定の焦点距離を選択している。
【０１４４】
また、色情報あるいはホワイトバランスの出力に応じて、ＣＰＵ17などで構成される画像処理回路15が、得られた評価値に重み付け(図１１のステップ111、図１３のステップ1309など参照)加算(図１１のステップ115参照)を行い、この重み付けされた評価値を用いて画像検出領域の部分焦点距離の中から撮影モードに応じた所定の焦点距離を選択する。
【０１４５】
そして、焦点距離を算出するための複数の画像データ(マトリクス補完回路27，スイッチ28、図１１のステップ12参照)を自動(図１３のステップ1301のＮＯ以降参照)で切り替える手段を有している。
【０１４６】
また、焦点距離を算出するための複数の画像データ(マトリクス補完回路27，スイッチ28、図１１のステップ12参照)を手動(図１３のステップ1301のＹＥＳ以降参照)で切り替える手段を有している。
【０１４７】
また、焦点距離を算出するための色情報の画像データ(マトリクス補完回路27参照)を被写体の輝度値に応じて(図１３のステップ1307参照)自動的に切り替える手段を有している。
【０１４８】
また、焦点距離を算出するための画像データ(マトリクス補完回路27，スイッチ28、図１１のステップ12参照)から得られるコントラストの評価値のそれぞれの重み付けを撮影者が任意に設定可能(図１１のステップ１２参照)とする手段(図１３のステップ1301〜1305参照)を備えている。
【０１４９】
さらに、重み付けに基づいた評価(図１１のステップ111参照)を行い、画像検出領域の部分焦点距離の中から撮影モードに応じた所定の焦点距離を選択する。
【０１５０】
このように、本実施の形態では、複数の異なる画像データの中から、単数あるいは複数の異なる画像信号を選択し、かつ、演算する手段を備えているため、コントラストの評価値を用いて合焦を行う手段として、より広い状況で、すなわち、種々の色情報を有する被写体に対し、種々の撮影環境下において、画像のコントラストの認識を可能にするとともに、撮影した複数の異なる画像データごとに評価値に重み付け演算を行うため、被写体の特徴に適した合焦演算が可能になる。
【０１５１】
そして、色情報あるいはホワイトバランスに応じて複数の画像データ毎にコントラストの評価値へ重み付けすることにより、被写体に最適な条件でコントラストの評価を行うことができる。
【０１５２】
また、複数の画像データの選択を、被写体に応じて自動的に選択する自動モードを備えたため、この自動モードの利用により、撮影者は撮影に専念することができる。
【０１５３】
一方、複数の画像データの選択を、手動で設定できる手動モードを備えたため、この手動モードの利用により、撮影者の意図を直接的に合焦処理に反映できる。また、手動による設定は、画像データの選択のみならず、合焦処理の重み付け演算に欠かせない重み付け量を直接設定できるため、従来の構成では合焦が困難であった特殊な撮影条件においても、合焦させることができる。
【０１５４】
また、この手動による設定については、撮影モードなど被写体の撮影条件の選択などに合わせて、合焦の画像データの選択や重み付け量を設定できるモードを備えたため、撮影者の意図に合わせた合焦位置を選択できる。
【０１５５】
言い換えれば、本実施の形態では、従来、複数領域を有する複数の焦点距離算出及び最終焦点距離決定において、輝度情報のみか、あるいは、輝度情報に近い単一の情報などを用いて行われている合焦処理について、互いに異なる色情報に基づく評価値を用い、さらに、これら評価値に対し、撮影モードの設定などにより撮影者の意図を反映させた状態で重み付けを行い、精度良く焦点合わせできるとともに、自動モードの場合は、被写体の色情報による特徴を判断し、自動的に評価値を重み付けできるため、簡単かつ精度良く焦点合わせできる。
【０１５６】
また、人間の目で見ると色情報にてコントラストを認識できる場合でも、単一の色情報あるいは輝度情報のみを用いる構成では、輝度が同じ場合はコントラストを検出できない場合があり得る。この点、本実施の形態では、さらに、暗い環境で、手振れや被写体の移動などがある悪条件であっても、複数の色情報または輝度情報を用いて、コントラストのエッジを検出するとともに、間違った評価値のピークを認識することがなく、従来合焦しにくかった被写体に精度良く合焦できる。
【０１５７】
また、撮影者が被写体の特定の色情報のみに合焦させるために手動モードを利用する場合、合焦に用いる画像データの分光色情報あるいは輝度情報に応じて、撮影者が評価値の重み付け量を設定可能としたため、例えば、被写体の特定の色に合わせて色情報の選択及び各色情報の重み付け量を任意に設定でき、撮影者の意図に合った合焦制御ができる。例えば、人物の顔などは、コントラストが比較的低いが、他の色に影響されないように、肌色を特定色として色情報あるいは輝度情報を選択し、かつ、肌色のみに評価値演算時の重み付け量を大きく設定することができる。
【０１５８】
また、植物の花などを撮影する状況において、撮影者が花びらに合焦したい場合、輝度情報のみで評価を行うと、花びらの周辺の緑色の葉が評価値のピークとなってしまい、花びら合焦しない場合があり得る。この点、本実施の形態では、例えば、花びらが青い場合は、青の色情報のみを用いて評価することにより、合焦装置が確実に花びらを被写体として認識でき、野外で風などによる多少の揺れがあっても、確実に青い花びらに合焦することができる。このように、被写体に応じて、所定の色情報の画像データのみを用いて焦点距離を算出する撮影モードを備えることにより、所定の色情報の画像データのみを用いることにより、他の色情報に影響されずに、操作者が意図する被写体に容易に合焦できる。
【０１５９】
また、本実施の形態では、輝度を測定するためのＣＰＵ17などからなる輝度検出回路と、輝度に応じて焦点距離検出用の画像データの撮影を補助するための複数の光源である補助光Ｌ1，Ｌ2と、それぞれの補助光Ｌ1，Ｌ2を制御するための光源回路43，44とを備え、輝度情報あるいは色情報(図１４のステップ1403，1404参照)に応じて、補助光Ｌ1，Ｌ2の発光の制御(図１４のステップ1406，1407，1410，1412，1414参照)及び重み付け(図１４のステップ1408，1409，1411，1413，1415参照)演算を行っている。
【０１６０】
また、補助光Ｌ1，Ｌ2を１灯で発光させ、あるいは補助光Ｌ1，Ｌ2を複数同時に発光させることができる、いわば選択制御可能回路(図２に示す光源回路43，44、スイッチ45，46参照)を備えている。
【０１６１】
さらに、補助光Ｌ1，Ｌ2の選択のための補助光判定処理手段は、自動または手動で制御するための選択手段(図１４のステップ1401参照)を備えている。
【０１６２】
そして、手動で補助光Ｌ1，Ｌ2の選択を行う際は(図１４のステップ1402参照)、複数の補助光Ｌ1，Ｌ2の色情報に応じて(図１４のステップ1406，1407，1410，1412，1414参照)、重み付け演算を行う(図１４のステップ1408，1409，1411，1413，1415参照)ことが可能になっている。
【０１６３】
そこで、暗い環境で撮影を行う際に、合焦を補助するための複数の補助光Ｌ1，Ｌ2を有し、使用時には、補助光Ｌ1，Ｌ2の色温度などの特性に応じて、最適な画像データを複数の画像データの中から選択し、重み付けを行うことにより、合焦を最適化できる。
【０１６４】
すなわち、焦点合わせのための補助光源である補助光Ｌ1，Ｌ2を少なくとも１個備え、かつ、これら補助光Ｌ1，Ｌ2の中から最適な色情報を有する補助光Ｌ1，Ｌ2を用いて発光させるとともに、各補助光Ｌ1，Ｌ2の色温度などに応じて色情報を選択し、評価値に重み付けするため、補助光Ｌ1，Ｌ2を効率良く利用しつつ、精度良く合焦できる。例えば、補助光として、赤色(Ｒ)の発光ダイオード(ＬＥＤ)を用いる場合は、赤色の画像データから評価値を得るとともに、赤色の色情報に重み付けを大きくすることにより、他の色より安価にかつ遠くまで補助光で照らすことができ、暗い場所に位置する被写体についても精度良く合焦できる。
【０１６５】
また、補助光Ｌ1，Ｌ2を複数備えた場合は、被写体の特徴に応じて、補助光Ｌ1，Ｌ2を選択して発光させることにより、合焦の確率を向上できる。ここで、被写体の特徴とは、例えば、図示しないが、３個の補助光Ｌ1，Ｌ2，Ｌ3を備える場合は、それぞれ赤色、青色、緑色に発光するものとして、撮影した画像データの中から被写体の色情報に基づいて最も評価値として有効と認識される色を選択して発光させることが有効である。
【０１６６】
さらに、いずれの補助光Ｌ1，Ｌ2を発光させるかの選択を手動か自動か設定可能としたため、撮影者が補助光源の知識がある場合、被写体の条件に応じて最適な補助光Ｌ1，Ｌ2を任意に設定できるとともに、知識がない場合には、自動で選択させることができ、被写体に対して簡単にかつ最適な光源を使用して合焦できる。
【０１６７】
なお、上記の実施の形態では、画像信号から評価値を得る情報として、ＹＣＣ輝度あるいはＲＧＢ形式の画像データを用いたが、例えば、図２に示すマトリクス補完回路27を用いて、シアン(Ｃ)、マゼンダ(Ｍ)、イエロー(Ｙ)の色差形式や特定の色情報の画像データを生成し、処理に用いることもできる。そして、各色情報に応じて、重み付けの変数を適切に設定し、正確に焦点距離を検出できる。
【０１６８】
さらに、本実施の形態によれば、撮影者の意図に応じて、遠距離側にも合焦可能にしたため、撮影者の意図に応じて遠距離側に合焦した撮影が容易にできる。すなわち、撮影距離の範囲に応じて、通常モードなる撮影距離範囲、及び、遠景モードあるいは無限モードなどの遠距離の撮影を目的とするモード、あるいは、撮影距離範囲をレンズの全撮影距離範囲としつつ、近距離優先または遠距離優先の撮影をするモードを選択できるため、撮影者は意図した撮影を容易にできる。そして、これらの合焦位置の判定は、複数の画像領域から被写体の急激な移動などによる影響を受けていないと評価できるいわば合焦が有効と判断されたデータを用いるため、撮影者の意図を反映した撮影が可能になる。すなわち、画面を複数の領域に分割し、各領域でそれぞれ合焦位置を判定する方式の自動合焦動作において、被写体の移動や手振れなど、測距に障害があるシーンにおいて、ブレを検出し、最適データのみを用いて適正に距離を測定し光学系11を合焦できるため、遠距離モードでの合焦精度を向上できる。
【０１６９】
すなわち、複数領域を有する複数の焦点距離算出及び最終焦点距離決定において、一般的に有効とされる近距離を優先した場合、従来の方法では、被写体移動や手ぶれによって誤ったピークが被写体より近距離にあると、被写体を合焦位置と判断できず、誤ったピークを合焦位置と判断してしまい、合焦位置を正しく設定できない場合がある。また、近距離の被写体の撮影でなく、遠距離の被写体の撮影を意図している場合には、反対に被写体移動や手ぶれによって、近距離側のピークを合焦位置として誤った判断をしてしまい、あるいは、撮影者が意図している遠距離よりもさらに遠距離側(例えば、撮影された画像の最も遠距離の被写体よりもさらに遠距離)のピークを合焦位置として誤った判断を行い、撮影者の意図に反する場合がある。この点、本実施の形態によれば、被写体移動や手ぶれによる誤ったピークが近距離あるいは遠距離のいずれに存在しても、被写体の移動や手ぶれを検出し、正しい評価値のみを用いて適正に判断し、かつ、撮影モードに応じて近距離優先あるいは遠距離優先で正しい合焦位置を設定できる。
【０１７０】
また、撮影距離範囲について、通常モードが設定されている場合は、自動的に最至近距離選択モードとなるとともに、撮影距離範囲が遠距離に設定されている場合は、自動的に最遠距離選択モードとなるため、遠距離モードで選択される撮影距離範囲の中の最至近を最終合焦位置としてしまうことがなく、複数の画像領域の中から最遠距離の被写体を最終合焦位置にでき、撮影者の意図に合致した撮影が可能になる。
【０１７１】
また、全撮影距離範囲で遠距離優先モードと近距離優先モードとを選択可能とする構成では、撮影者は遠距離優先モードを選択するのみで良く、目測などによりマクロ領域なのか通常領域なのかといった、撮影者が目測で撮影距離範囲を予め決定する煩雑な作業の必要がなく、信頼性を評価した後に最終焦点距離を決定する正確な合焦動作と相まって、撮影者の意図に合致して正確に合焦した撮影が可能になる。
【０１７２】
さらに、遠距離優先モードを利用することにより、無限以外の遠距離にも正確に合焦させることができる。
【０１７３】
また、複数領域でそれぞれ被写体距離を算出し評価する構成のため、被写体が移動しあるいは背景がぶれてしまった場合にも、誤動作の心配を抑制できるとともに、合焦位置の評価を正確にできない厳しい条件の場合、すなわち、全ての画像領域でコントラストのよる評価値が低く、有効な合焦位置が得られずに測距が不能になった場合にも、撮影モードに応じた所定距離を合焦距離とすることにより、撮影者の意図を反映した撮影が可能になる。
【０１７４】
また、本実施の形態では、近距離優先か遠距離優先かで明確に示されている撮影者の意図に従うため、近距離優先あるいは遠距離優先に加え画像から経験則を使ってカメラが自動認識して焦点距離を決定する構成に比べ、焦点距離の確認が撮影前に直感的に可能であり、複雑なアルゴリズムを用いる必要がないとともに、一眼レフの光学ファインダーや演算部品を用いた液晶パネルによる拡大表示などの装置を備える必要もなく、構成を簡略化して製造コストを低減できる。
【０１７５】
また、レンズの駆動範囲は、設計上の撮影距離範囲に対して、焦点倍率による変動や絞り口径位置による変化、及びレンズを支持する鏡筒の温度条件や姿勢差などの条件により変化する。そこで、光学系11には、設計上のピント位置で計算された駆動範囲に加え、さらに、これら条件の変動による変化量を考慮し、近距離側と遠距離側とに変化量分の移動可能範囲すなわちオーバーストローク領域を設けているとともに、ＣＰＵ17などからなる制御手段は、このオーバーストローク領域に合焦用レンズ部のレンズ位置を駆動可能に設定されている。
【０１７６】
そこで、最遠距離選択モードの場合は、ピント位置がレンズ駆動範囲の遠距離端付近にあり、さらに、例えば姿勢差が遠距離側にあっても、遠距離側のオーバーストローク領域に合焦用レンズ部のレンズ位置を駆動することにより、撮影距離範囲を満足できる。
【０１７７】
また、最至近距離選択モードの場合は、ピント位置がレンズ駆動範囲の最至近距離端付近にあり、さらに、例えば姿勢差が至近距離側にあっても、近距離側のオーバーストローク領域に合焦用レンズ部のレンズ位置を駆動することにより、撮影距離範囲を満足できる。
【０１７８】
このように、近距離側端部及び遠距離側端部において、焦点のずれ分を考慮した撮影が可能になり、容易に設計上の撮影距離範囲を満足できるため、機械(メカ)的あるいは制御(ソフトウェア)的な高精度の距離補正作業を必要とせず、製造コストを低減できる。
【０１７９】
なお、上記の実施の形態では、撮影距離範囲と、遠距離優先モードとを、撮影者がいずれも設定できる構成としたが、いずれか一方のみを設定できる構成とし、構成及び操作を簡略化することもできる。
【０１８０】
このように、本実施の形態の焦点距離検出方法は、操作者の選択に応じ、画像検出領域の部分焦点距離の中の最近の部分焦点距離と最遠の部分焦点距離とのをいずれかを焦点距離として選択するものである。そして、この構成では、操作者の意図に応じて近距離あるいは遠距離の正確な焦点距離が選択される。
【０１８１】
また、本実施の形態の焦点距離検出方法は、操作者の撮影距離範囲の選択に応じ、制御手段が、画像検出領域の部分焦点距離の中の最近の部分焦点距離と最遠の部分焦点距離とのをいずれかを焦点距離として選択するものである。そして、この構成では、操作者の撮影距離範囲の選択に応じて、制御手段が、画像検出領域の部分焦点距離の中の最近の部分焦点距離と最遠の部分焦点距離とのをいずれかを焦点距離として選択することにより、操作者の意図に応じた正確な焦点距離が選択される。
【０１８２】
また、本実施の形態の焦点距離検出方法は、信頼度に応じて、画像検出領域の部分焦点距離の中から選択した部分焦点距離と、所定の焦点距離とのいずれかを焦点距離として選択するものである。そして、この構成では、信頼度の高い部分焦点距離の中から、焦点距離を選択する構成を前提とし、正確な焦点距離が選択される。また、信頼度の高い部分焦点距離がない場合、あるいは全体として部分焦点距離の信頼度が低い場合は、所定の焦点距離を用いることにより、不正確な焦点距離の選択が回避される。
【０１８３】
また、本実施の形態の焦点距離検出方法は、信頼度に応じて、画像検出領域の部分焦点距離の中から選択した部分焦点距離と、操作者の選択に応じて選択された所定の焦点距離とのいずれかを焦点距離として選択するものである。
【０１８４】
そして、この構成では、信頼度の高い部分焦点距離の中から、焦点距離を選択する構成を前提とし、操作者の意図に応じて近距離あるいは遠距離の正確な焦点距離が選択される。また、信頼度の高い部分焦点距離がない場合、あるいは全体として部分焦点距離の信頼度が低い場合は、操作者の選択に応じた所定の焦点距離を用いることにより、操作者の意図を反映しつつ不正確な焦点距離の選択が回避される。
【０１８５】
また、本実施の形態の合焦装置は、近距離優先モードと遠距離優先モードとを選択する撮影モード選択手段を備え、画像処理手段は、前記撮影モード選択手段の操作に応じて、最近距離の部分焦点距離と最遠の部分焦点距離とのいずれかを優先して焦点距離を選択するものである。そして、この構成では、操作者の意図に応じて近距離あるいは遠距離の正確な焦点距離が選択される。構成を複雑化することなく、製造コストが抑制される。
【０１８６】
また、本実施の形態の合焦装置は、光学系駆動手段は、設計上の合焦可能な焦点距離の範囲を超えたオーバーストローク領域に光学系を駆動可能に設定されたものである。そして、この構成では、温度条件や姿勢による光学系の焦点のずれに関わらず、近距離あるいは遠距離において容易に正確な合焦が可能になる。
【０１８７】
次に、図１７及び図１８を参照して、本実施の形態の撮像装置を説明する。
【０１８８】
本実施の形態は、上記の構成を前提とし、撮影者は、画像データから生成した複数の色情報の画像データを用いることにより、色情報毎に異なる部分焦点距離を算出し、算出した各部分焦点距離でそれぞれ撮影を行う、フォーカスブラケット撮影を行うものである。すなわち、本実施の形態のブラケット撮影の構成は、前提条件として、上記の図１２の撮影モードの選択（ステップ11）にて、連動範囲の選択（ステップ1201）に応じた範囲での色情報を用いた部分焦点距離の算出や、図１３の画像信号判定処理に含まれる撮影モードの選択（ステップ1310）、例えば補助光Ｌ1，Ｌ2の発光の有無などの制御や、複数の撮影モードの組み合わせなどの構成を含むものである。
【０１８９】
まず、図１７のフローチャートを参照して、静止画を撮影するシーケンスであるＳ1シーケンスを説明する。このＳ1シーケンスは、シャッターが半押し状態のシーケンスで、まず、撮影者がブラケット撮影をするか否かについて予め設定しているかを確認し（ステップ1701）、ブラケット撮影をすると設定されている場合は、変数BL_FLGを１とし(BL_FLG=１)（ステップ1702）、ブラケット撮影をすると設定されていない場合は、変数BL_FLGを０とする(BL_FLG=０)（ステップ1703）。この変数BL_FLGは、この後のステップにおいて、ブラケット撮影か否かの判定に用いる。次いで、露出合わせ処理を行う（ステップ1704）。この露出合わせ処理は、被写体を適正な露出とするための制御を決定する処理で、主に、シャッタースピードや絞り、及び撮像素子としてのＣＣＤ12のゲインの設定などを決定する。
【０１９０】
次いで、焦点合わせ処理を行う（ステップ1705）。この焦点合わせ処理について、まず、補助光の選択がなされていない場合についての詳細について、図１８を中心に説明する。この図１８においては、図１１に示す処理と同様に、ステップ11からステップ106の処理を行う。そして、各ウインドウの信頼度を算出するステップ111では、図１５に示すように、色情報毎に信頼度に対する重み付け量Window(Wh)(CNB)を求める（ステップ322）。そして、図１８のステップ112〜114の処理を経て、この重み付け量を用いて、図７に示す処理と同様に、色情報毎に、評価値に対して重み付け演算（ステップ115）を行う。さらに、ステップ116〜120の処理を経て、演算された評価値に基づいて、合焦距離演算を行う（ステップ121）。そして、合焦処理判定が可(ＯＫ)なら（ステップ122）、その状態の焦点距離すなわち焦点レンズ位置Ｐ(CNB)を記憶する（ステップ125）。一方、合焦処理判定が不可(ＮＧ)なら（ステップ122）、予め定められた所定の焦点距離すなわち所定の焦点レンズ位置Ｐ(CNB)を記憶する（ステップ126）。ここで、ＣＮＢは色情報の数を示しており、例えば、Ｒ(Red  赤)，Ｂ(Blue  青)，Ｇ(Green  緑)の３色を使う場合には、ＣＮＢは３となり、３種類の焦点距離を算出する。そして、全ての焦点距離を算出するまで演算を行い（ステップ127）、図１７のフローチャートに復帰する。すなわち、この焦点合わせ処理（ステップ1705）が終了した段階で、各色の色情報に応じた焦点レンズ位置が算出されている。
【０１９１】
そして、図１７のフローチャートで、変数BL_FLGが０の場合は（ステップ1706）、実際の撮影を行うか否かの判定（ステップ1711）に移行する。一方、変数BL_FLGが１の場合は（ステップ1706）、算出された焦点レンズ位置Ｐ(CNB)を焦点距離が近い順に並べ替え（ステップ1707）、まず、光学系11のレンズを最も近い焦点レンズ位置Ｐ(CNB)に移動させる（ステップ1708）。この動作は、複数の焦点レンズ位置Ｐ(CNB)で順次撮影するために、初期設定として、連動範囲の中の端の位置にレンズを移動すること意味している。従って、この実施の形態では、算出された焦点レンズ位置Ｐ(CNB)を焦点距離が近い順に並べ替え、この近い順で撮影するが、算出された焦点レンズ位置Ｐ(CNB)を焦点距離が遠い順に並べ替え、遠い順で撮影することもできる。
【０１９２】
次いで、ステップ1705の焦点合わせ処理の中で、補助光判断手段などにより補助光の使用が選択されているか(図１３のステップ1311参照)を確認し（ステップ1709）、使用する補助光が単数であれば（ステップ1710）、撮影判断（ステップ1711）へ移行する。また、使用する補助光が複数であれば（ステップ1710）、複数の補助光の全ての組み合わせについて焦点合わせ処理を行い、それぞれ焦点レンズ位置Ｐ(CNB)を求める（ステップ1710）。
【０１９３】
そして、上記のレンズの移動の後、シャッターボタンが押し込まれ、静止画撮影が許可されている場合には（ステップ1711）、撮影処理（ステップ1712）を開始する。そして、撮影処理が終わるまで待ち（ステップ1713）、撮影処理が完了した後、指定枚数の撮影が終了したか否かを確認する（ステップ1714）。
【０１９４】
ここで、補助光が単数の場合は、ブラケット撮影の枚数はＣＮＢ枚となる。そして、ステップ1714で指定枚数を終了していなかった場合は、指定枚数カウンタを−１した後（ステップ1716）、現在より遠距離側の焦点レンズ位置Ｐ(CNB)へ、レンズを移動させる（ステップ1717）。そして、指定枚数(ＣＮＢ)分の撮影が終わるまで、レンズの移動と撮影を繰り返す（ステップ1711〜1717）。
【０１９５】
このようにして、色情報毎に得られた画像検出領域の部分焦点距離を用いて、各焦点距離において順次撮影するブラケット撮影を行うことができる。
【０１９６】
なお、このＳ1シーケンスは、シャッターが半押し状態のシーケンスで、露出合わせ処理（ステップ1707）や焦点合わせ処理（ステップ1708）を主に行うものである。そして、シャッターが押しきられた全押しの状態で（ステップ1711）、実際の静止画のブラケット撮影を実行し、すなわち、撮影処理（ステップ1712）を行う。また、シャッターが全押しでない状態では（ステップ1711）、また、指定枚数の撮影が完了した状態では（ステップ1714）、このＳ1シーケンスを終了する（ステップ1715）。
【０１９７】
また、図示しないが、このＳ1シーケンスが終了した場合は、シャッターが半押しの状態であれば、再度シャッターが全押しの状態になるまで、焦点レンズ位置Ｐ(CNB)のデータは保持され、さらに、シャッターを全押しにすることにより、ブラケット撮影を行うことができる。
【０１９８】
また、ステップ1711で撮影が許可されていない場合は、レンズの位置は、色情報毎に求められた焦点距離の内、撮影モードに応じた所定位置に設定する。
【０１９９】
また、このブラケット撮影の撮影処理（ステップ1712）が開始される時に、画像表示装置21にブラケット撮影であることを警告表示する。この警告表示は、１回目の撮影処理が終了するまで（ステップ1713）としても良く、あるいは、Ｓ1シーケンスの全体が終了（ステップ1715）するまで警告表示を継続するとしても良い。このように、ブラケット撮影の撮影中であることを撮影者に知らせることにより、撮影中に撮影者が被写体から撮像装置10を動かしてしまうことを防止できる。なお、図示しないが、スピーカなどの発声手段を備え、上記の警告表示と同じタイミングで、音声により、すなわち聴覚上で警告することもできる。この音声の警告は、警告表示に代えて実行し、あるいは、警告表示とともに実行することができる。
【０２００】
このように、本実施の形態は、いわば色信号毎に最適な合焦位置でブラケット撮影することにより、すなわち、画像信号の色情報のコントラストの評価値に重み付け演算を行って求めた色信号毎に、最適なピント位置でブラケット撮影を行う合焦装置により、撮影者の意図した被写体に合焦した画像を撮影できる可能性を向上できる。
【０２０１】
すなわち、本実施の形態は、いわば少なくとも２個以上の異なるカラーフィルタを通して得られるそれぞれの画像データ(マトリクス補完回路27参照)のコントラストの評価値を検出する手段を有し、これら複数の画像信号毎に上記の図１ないし図１６に示す構成と同様の合焦処理を行う演算処理であって、上記の複数の画像信号を選択及び演算処理する手段(マトリクス補完回路27、スイッチ28、図１８のステップ12参照)を有するとともに、これら選択及び手段で得られた画像データ毎に評価値に重み付け演算処理を施すとことにより、被写体へ合焦する手段を有するものである。さらに、複数の画像データ毎にそれぞれ複数の画像検出領域を設定し、各画像検出領域に応じて得られた評価値の信頼度の重み付け量を算出し（図１５のステップ319〜322参照）、出力された色情報毎に、画像検出領域の部分焦点距離の中からその評価値(図７のステップ115、図１８のステップ115参照)及び撮影モード(図１８のステップ11)に応じた所定の焦点距離を選択し、全ての色情報毎の距離情報を記憶し(図１８のステップ125，126参照)、それぞれ異なる色情報から得られた画像データのコントラストの評価値により、複数の部分焦点距離において順次撮影を行うブラケット撮影のモードを備えている(図１４参照)。
【０２０２】
このように、この実施の形態では、撮影された画像データから生成した複数の画像データ(図１８のステップ12参照)から、画像データ毎に求められた部分焦点距離の中から撮影モードに応じた所定の焦点距離を算出するとともに、求めた焦点距離に対して順次撮影を行う手段を設けたので、被写体の微妙な色の差による合焦位置のずれを気にすることなく、被写体の特徴に合った合焦位置で撮影できる。
【０２０３】
すなわち、複数の画像検出領域を有する複数の焦点距離算出及び最終焦点距離決定において、互いに異なる色情報の画像データから部分焦点距離を算出しているので、各色情報の画像データについて、それぞれ最適な部分焦点距離を算出し、これら部分焦点距離に基づき、ブラケット撮影を行い、撮影者に対し、１回の撮影動作で最適な画像を提供することができる。さらに、本実施の形態では、手動モードでは、色情報の違いに伴う評価値に対して重み付けを可能とし、撮影モードの設定などに応じて撮影者の意図を反映させたブラケット撮影を実現可能としている一方、自動モードでは、ホワイトバランスや補助光の色情報などを自動で認識することにより、被写体の色情報による特徴を判断し、評価値を重み付けし、簡単かつ精度良く焦点合わせできる。
【０２０４】
すなわち、従来の合焦装置では、単一の輝度情報あるいは色情報のみを用いる場合、人間の目で見ると色情報にて被写体のコントラストを認識できるのに、被写体を構成する模様の各部の輝度が同じ場合はコントラストを検出できない場合があるが、本実施の形態では、特に暗い環境や、手ぶれや被写体の移動などが合った場合にも、上記のように互いに異なる色情報の画像データを用いて、それぞれの色情報について最適な部分焦点距離を１回の撮影動作で順次撮影できるため、撮影者に色情報の知識がなくても、従来自動では合焦し難かった被写体にも精度良く合焦した画像を撮影できる。
【０２０５】
また、例えば、植物の花などのを撮影する際には、撮影者が花びらに合焦したい場合、輝度情報のみで評価を行うと、花の周辺の緑色の葉が評価値のピークとなり、花びらに合焦しない場合があるが、本実施の形態では、例えば、色情報から部分焦点距離を算出するため、特定の色の花びらに対して、その花びらの色情報に合わせた色情報の部分焦点距離を検出して撮影できるとともに、互いに異なる複数の色の花がある場合にも、１回の撮影で各花びらに合焦した撮影を順次行い、最適な合焦位置を含めた撮影が可能になる。
【０２０６】
さらに、ブラケット撮影の撮影中あるいは開始時に、画像表示装置21を用いてブラケット撮影であることを視覚的に表示し、この表示に代えて、あるいは、この表示とともに、図示しない発声手段を用いて音声によりブラケット撮影であることを通知する、警告手段を備えることにより、ブラケット撮影中に撮影者が撮像装置10を移動させてしまうことを防止できる。
【０２０７】
なお、図１７に示す実施の形態では、撮影モードとしては、補助光の有無についてのみ例示したが、この構成に限られず、複数の撮影モード(図１２のステップ11参照)を選択可能とし、各撮影モードにおいて、それぞれ異なる色情報から得られた画像データのコントラストの評価値により、複数の部分焦点距離において順次撮影を行うブラケット撮影のモードを設けることもできる。
【０２０８】
例えば、図１７のステップ1709，1710に示す補助光の処理に代えて、図１９に示すステップ1709，1710のように処理することができる。すなわち、算出された焦点レンズ位置Ｐ(CNB)を焦点距離が近い順に並べ替え（ステップ1707）、光学系11のレンズを最も近い焦点レンズ位置Ｐ(CNB)に移動させた後（ステップ1708）、ステップ1705の焦点合わせ処理の中で、撮影モード(図１３のステップ1310参照)を確認し（ステップ1709）、使用する撮影モードが単数であれば（ステップ1710）、撮影判断（ステップ1711）へ移行する。また、使用する撮影モードが複数であれば（ステップ1710）、複数の撮影モードの全てについて焦点合わせ処理を行い、それぞれ焦点レンズ位置Ｐ(CNB)を求める（ステップ1710）。
【０２０９】
そして、図１７に示す処理と同様に、上記のレンズの移動の後、シャッターボタンが押し込まれ、静止画撮影が許可されている場合には（ステップ1711）、撮影処理（ステップ1712）を開始する。そして、撮影処理が終わるまで待ち（ステップ1713）、撮影処理が完了した後、指定枚数の撮影が終了したか否かを確認する（ステップ1714）。
【０２１０】
そして、撮影モードが単数の場合は、ブラケット撮影の枚数はＣＮＢ枚となる。そして、ステップ1714で指定枚数を終了していなかった場合は、指定枚数カウンタを−１した後（ステップ1716）、現在より遠距離側の焦点レンズ位置Ｐ(CNB)へ、レンズを移動させる（ステップ1717）。そして、指定枚数(ＣＮＢ)分の撮影が終わるまで、レンズの移動と撮影を繰り返す（ステップ1711〜1717）。
【０２１１】
このようにして、色情報毎に得られた画像検出領域の部分焦点距離を用いて、各焦点距離において順次撮影するブラケット撮影を行うことができる。
【産業上の利用可能性】
【０２１２】
本発明は、デジタルカメラ、ビデオカメラなどの撮像装置に適用できる。
【図面の簡単な説明】
【０２１３】
【図１】本発明の撮像装置の一実施の形態を示す構成図である。
【図２】同上撮像装置の画像処理回路を詳細に示す説明図である。
【図３】同上撮像装置の合焦装置のブレがない状態の動作を示す説明図であり、(a)はウインドウと被写体との関係を示す説明図、(b)はコントラストの評価値の変化を示す説明図である。
【図４】同上合焦装置のブレがある状態のウインドウと被写体との関係を示す説明図である。
【図５】同上合焦装置のブレがある状態の動作を示す説明図であり、(a)はウインドウと被写体との関係を示す説明図、(b)はウインドウＷ4，Ｗ5におけるコントラストの評価値の変化を示す説明図である。
【図６】同上合焦装置のブレがある状態のウインドウと被写体との関係を示す説明図である。
【図７】本発明の撮像装置の前提となる合焦装置の動作を示すフローチャートである。
【図８】同上合焦装置の取得する画像データの数を算出する動作を示すフローチャートである。
【図９】同上合焦装置の重み付けの動作を示すフローチャートである。
【図１０】同上合焦装置の合焦距離演算の動作を示すフローチャートである。
【図１１】本発明の撮像装置の前提となる合焦装置の動作を示すフローチャートである。
【図１２】同上合焦装置の動作を示すフローチャートである。
【図１３】同上合焦装置の動作を示すフローチャートである。
【図１４】同上合焦装置の動作を示すフローチャートである。
【図１５】同上合焦装置の動作を示すフローチャートである。
【図１６】同上合焦装置の合焦距離演算の動作を示すフローチャートである。
【図１７】本発明の撮像装置の動作を示すフローチャートである。
【図１８】同上撮像装置の合焦装置の動作を示すフローチャートである。
【図１９】本発明の撮像装置の他の動作を示すフローチャートである。
【符号の説明】
【０２１４】
10    撮像装置
11    光学系
12    撮像素子としてのＣＣＤ
15    画像処理手段を構成する画像処理回路
17    画像処理手段を構成するＣＰＵ
19    光学系駆動手段を構成するモータ駆動回路
20    光学系駆動手段を構成するモータ
21    警告手段を構成する画像表示装置
Ｔ    被写体
Ｗ1〜Ｗ9    画像検出領域を構成するウインドウ
Ｗh   画像検出領域
【図１】
2005250402.tif 000003
【図２】
2005250402.tif 000004
【図３】
2005250402.tif 000005
【図４】
2005250402.tif 000006
【図５】
2005250402.tif 000007
【図６】
2005250402.tif 000008
【図７】
2005250402.tif 000009
【図８】
2005250402.tif 000010
【図９】
2005250402.tif 000011
【図１０】
2005250402.tif 000012
【図１１】
2005250402.tif 000013
【図１２】
2005250402.tif 000014
【図１３】
2005250402.tif 000015
【図１４】
2005250402.tif 000016
【図１５】
2005250402.tif 000017
【図１６】
2005250402.tif 000018
【図１７】
2005250402.tif 000019
【図１８】
2005250402.tif 000020
【図１９】
2005250402.tif 000021