(57)【要約】【課題】  構図に関係なくユーザが目的とする被写体に焦点を合わせる【解決手段】  複数領域に分割された撮影画像を表示し，ユーザに目的とする被写体を含む領域を指定させ,検出した指定領域の合焦情報を基に焦点を合わせるようにフォーカスレンズを移動することで，ユーザが目的とする被写体に焦点を合わせる.【選択図】  図１
2010008620.tif 000002
【特許請求の範囲】
【請求項１】
撮像面上に光を結像させるフォーカスレンズと，該フォーカスレンズを駆動するレンズ駆動手段と，撮像面上の光を電気信号へ変換する撮像素子と，撮像素子から出力された該電気信号を撮影画像に変換する信号処理回路と，
撮影画像上における複数の任意の領域を指定する情報を発生させる領域分割手段と，
該領域分割手段により発生される情報で指定された領域毎に被写体の合焦度合いを検出する領域別合焦検出手段と，
該領域別合焦検出手段により検出された合焦度合いを示す情報を表示する表示手段と，
該領域分割手段が示す複数領域の中から任意の領域を選択するための分割領域指定手段と，
該分割領域指定手段にて選択された領域に焦点を合わせるよう該レンズ駆動手段を制御する合焦手段と，
を有する撮像装置であって，
該選択された領域に対して撮影画像の焦点を合わせるように制御される撮像装置。
【請求項２】
前記請求項１に記載の撮像装置であって，該領域分割手段は撮影開始前に撮影画像上における複数の領域情報の中から幾つかの領域をのみを選択することが可能な領域分割手段であること，
を特徴とする撮像装置。
【請求項３】
前記請求項１に記載の撮像装置であって，該領域分割手段は撮影画像を矩形型の領域に分割可能であることを特徴とする撮像装置。
【請求項４】
前記請求項１に記載の撮像装置であって，該領域分割手段が発生する領域情報が示す位置は任意に変更されることを特徴とする撮像装置。
【請求項５】
前記請求項１に記載の撮像装置であって，該領域分割手段が発生する領域情報が示す領域の大きさは任意の大きさに変更されることを特徴とする撮像装置。
【請求項６】
前記請求項１に記載の表示手段は，
分割した各領域の撮影画像と併せて，合焦度合いを示す数値表示が可能であること，
を特徴とする撮像装置。
【請求項７】
前記請求項１に記載の表示手段は，
分割した各領域の撮影画像と併せて合焦度合いを示すヒストグラム表示が可能であること，
を特徴とする撮像装置。
【請求項８】
前記請求項１に記載の表示手段において，
分割した各領域の撮影画像と併せて，合焦度合いを示すパターン画像の表示が可能であること，
を特徴とする撮像装置。
【請求項９】
前記請求項１に記載の撮像装置であって，
画面上の表示を触れることで表示内容のどの部分が選択されたかを感知するタッチパネルを，分割領域指定手段のコマンド入力インターフェースとして用いることを特徴とする撮像装置。
【請求項１０】
前記請求項１に記載の撮像装置において，
音声入力用のマイクロフォンと
入力された音声信号の特徴パラメータを抽出したのち，抽出結果を用いて音声特徴モデルとのパターン照合処理を行い，領域を選択するコマンドを発生させる音声比較器と，
該音声比較器で行われるパターン照合処理に用いる音声特徴モデルとを付加した撮像装置であって，
音声入力により分割領域指定手段が示す領域を選択することを特徴とする撮像装置。
【請求項１１】
前記請求項１に記載の撮像装置であって，
領域別合焦検出手段は，
分割領域指定手段が示す指定領域から検出された第１の高周波成分と，その周辺領域から検出された第２の高周波成分のそれぞれに重み付けして加算するように合焦評価値を演算する評価値演算部を有し，
該合焦評価値は合焦手段でレンズを焦点位置に合わせるための評価基準として使用されたり，表示手段でユーザに指定領域の合焦度合いを示すために使用することを特徴とする撮像装置。
【請求項１２】
前記請求項１に記載の撮像装置であって，
領域別合焦検出手段と表示手段は，
領域別合焦検出手段において一定期間内に複数の周波数成分を検出することで，表示手段において複数の分割領域の合焦度合いを表示すること
を特徴とする撮像装置。
【請求項１３】
前記請求項１に記載の撮像装置であって，
領域別合焦検出手段は，
合焦度を検出する領域の範囲を任意に設定可能とする領域別合焦検出手段であること，
を特徴とする撮像装置。
【請求項１４】
前記請求項１に記載の撮像装置において，
撮影画像内の被写体を認識するオブジェクト認識手段と
該オブジェクト認識手段によって認識された被写体の情報を基に分割領域を設定する領域分割手段と
を有することを特徴とした撮像装置。
【請求項１５】
前記請求項14に記載のオブジェクト認識手段は，
該領域分割手段において分割領域を設定するための被写体の認識情報として被写体の輪郭情報，または中心位置座標を検出可能とするオブジェクト認識手段であること，
を特徴とする撮像装置。
【請求項１６】
前記請求項14に記載のオブジェクト認識手段と領域分割手段と表示手段は，
オブジェクト認識手段による被写体の認識と,認識情報を基にした分割領域の設定と,表示手段による分割領域の表示という一連の３つの処理を一定期間内に自動的に繰り返すこと
を可能とするオブジェクト認識手段と領域分割手段と表示手段であること，
を特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，フォーカス機能を有する撮像機器に関するものである。
【背景技術】
【０００２】
デジタルスチルカメラやビデオカメラなどの撮像機器において，焦点を制御するための機能としてオートフォーカス機能がある。オートフォーカス機能は，焦点検出情報を基にフォーカスレンズを移動させることによって被写体に焦点を合わせる。 
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来のオートフォーカス機能の制御方式には，赤外線や音波を利用して被写体までの距離を算出するアクティブ方式や，レンズを通った光から合焦しているかを判断する位相差検出方式やコントラスト検出方式などがある。特にコントラスト検出方式は撮像用のセンサを使用して合焦できるので，他の方式に比べて開発コストが優れている。そのため，コントラスト検出方式は撮像機器のオートフォーカス制御方式として，一般的に使用されている。
コントラスト検出方式では，フォーカスレンズを動かしながら撮影画像の高周波成分を検出し，高周波成分が最大となる位置にフォーカスレンズを移動することで焦点を合わせる。
しかしながら，撮影位置から少なくとも２種類以上の距離に存在する複数の被写体を同時撮影する場合，レンズの被写界深度には限界が存在する。そのため，すべての被写体について合焦することはできない。
例えば，近距離被写体と遠距離被写体の２種類の被写体を同時撮影する場合，いずれか片方の被写体のみ合焦状態となり，もう片方の被写体は非合焦状態となる。
このような場合に目的とする被写体に焦点を合わせるためには，構図を変更する，ズーム倍率を変更する，もしくはマニュアルでフォーカスを合わせる，またはそれらの組合せ等の操作を行う必要がある。
よって，従来のオートフォーカス機能においては，ユーザの意図する被写体に焦点を合わせるために非常に手間がかかる場合があるという課題があった。
【課題を解決するための手段】
【０００４】
本発明では，目的とする被写体に焦点を合わせるため，領域分割手段により複数領域に分割された撮影画像を表示手段により表示し，分割領域指定手段により目的とする被写体を含む領域を指定させ,領域別合焦検出手段により検出した指定領域の合焦情報を基に焦点を合わせるようレンズ駆動手段によりフォーカスレンズを移動する.
【発明の効果】
【０００５】
本発明の撮像装置は，特定の分割領域の情報を反映して焦点を合わせられるため，領域を指定することで，目的とする被写体に簡単に焦点を合わせることできる。
【発明を実施するための最良の形態】
【０００６】
本発明を実施するための最良の形態は以下の実施例に示す。
【実施例１】
【０００７】
図１は，本発明における実施例１の基本構成を示す図であり，図２は基本処理フローを示す図である。詳細を以下に述べる。
【０００８】
本発明における撮像装置の基本構成は図１に示すように，焦点を合わせるためのフォーカスレンズ１０１とフォーカスレンズの位置を移動させるためのレンズ駆動手段１０３と，レンズを通ってきた光を電気信号に変換し撮影画像として出力するための撮像素子１０２と，撮像素子から出力された信号を撮影画像に変換する信号処理回路１０９と，撮影画像を記録する記録部１１０と，撮影画像や分割パターンや指定領域情報等を表示するための表示手段１０４と，分割領域毎に合焦度を検出するために撮影画像を分割パターンに従って分割する領域分割手段１０６と，ユーザの意図に従って分割領域を選択するための分割領域指定手段１０５と，撮影画像から分割領域毎の合焦評価値を検出するための領域別合焦検出手段１０７と，合焦評価値に基づいて焦点を合わせるためにレンズ駆動手段を制御するための合焦手段と，から構成されている。
実施例１は，このような構成の撮像装置を使用し，図２に示すような処理フローに従って処理を行う。詳細な処理内容は以下に述べる。
【０００９】
はじめに撮影したい構図と目的とする被写体を決める。
撮影したい構図の中に距離の違う２つ以上の被写体が存在する場合，目的とする被写体の方に焦点を合わせる必要がある。ところで,図５は構図の中に近距離被写体（Ａ），中距離被写体（Ｂ），遠距離被写体（Ｃ）の３つの被写体が存在する場合のレンズの位置と高周波成分検出量のグラフの一例を示している。破線は撮影画像全体から検出した高周波成分を表しており，３つの実線はそれぞれの被写体に対する高周波成分を表している。これより，被写体との距離が違う場合，被写体から検出される高周波成分がピーク値になるレンズ位置は異なる。そのため，通常のオートフォーカス機能のように撮影画像全体から高周波成分を検出し，合焦評価値を求める場合，レンズ位置が(ｃ)の近辺から合焦判定を開始すると被写体（Ｃ）の高周波成分を多く検出するレンズ位置（ｃ）または被写体（Ｂ）の高周波成分を多く検出するレンズ位置(ｂ)で合焦したと判断され，被写体（Ａ）に対して合焦できない。従って，一番焦点を合わせたい被写体が被写体（Ａ）であった場合，通常のオートフォーカス機能ではうまく合焦できない場合があった。
【００１０】
そこで，撮影画像全体から合焦評価値を求めるのではなく，撮影画像をいくつかの領域に分割して目的とする被写体を含む領域から合焦評価値を求めることで，目的とする被写体に焦点を合わせる手法をとる。
【００１１】
分割した領域をユーザに示すために，領域分割手段１０６は領域分割パターンの情報を表示手段１０４に送り（２０１），表示手段１０４は該領域分割パターンの情報を基に撮影画像を分割して表示する（２０２）。
【００１２】
ユーザは表示された分割領域の中から目的とする被写体を含んでいる分割領域を分割領域指定手段１０５で入力する。
【００１３】
分割領域指定手段１０５は，指定された分割領域の情報である指定領域情報を領域別合焦検出手段１０７に送る（２０３）。
【００１４】
指定領域情報で指定された領域において，領域別合焦検出手段１０７は検波回路８０２で高周波成分を検出し（２０４），評価値演算部８０３で合焦評価値を演算し，合焦手段１０８に送る（２０５）。
【００１５】
合焦手段１０８は，合焦評価値から現在の状態が合焦状態かを判定し（２０６），合焦状態でない場合は，合焦評価値に応じたレンズ移動量を決定し（２０７），レンズ駆動手段を制御してフォーカスレンズ１０１を移動する（２０８）。
【００１６】
合焦評価値がピーク値になり合焦状態と判定されるまで（２０４）〜（２０８）の処理を繰り返す。
【００１７】
以上の手順により，ユーザの意図する画像領域に対して焦点を合わせることが可能となる。
【実施例２】
【００１８】
図３（３０１），（３０２），（３０３）は，本発明における実施例２の領域分割手段１０６が設定可能な領域分割パターンの種類を示す図であり，実施例１に記載した撮像装置の構成要素の中で，表示手段１０４と分割領域指定手段１０５と領域別合焦検出手段１０７と合焦手段１０８とを同一の構成とし，領域分割手段１０６は異なる構成とする。詳細を以下に述べる。
【００１９】
目的とする被写体に柔軟に焦点を合わせるために，領域分割パターンを複数種類用意し，撮影前に領域分割手段１０６に予め設定する事ができる。
【００２０】
該領域分割パターンとして，図３（３０１）に示す様な３×３の矩形型などの分割領域が固定された領域分割パターンを使用することでユーザにわかりやすく分割領域を示すことができる。
【００２１】
また図３（３０２）に示す様な画像内における分割領域の位置が変更可能な領域分割パターンを使用することで，目的とする被写体に対して正確な位置に領域を指定することが出来る。
【００２２】
また図３（３０３）に示す様な指定領域の大きさを変更可能な領域分割パターンを使用することで，目的とする被写体に対して正確な大きさに領域を指定することが出来る。
【００２３】
以上により，目的とする被写体を含む領域を柔軟に選択させることが可能となる。
【実施例３】
【００２４】
図４は，本発明における実施例３の表示手段１０４における合焦評価値の表示例を示す図であり，実施例１に記載した撮像装置の構成要素の中で，領域分割手段１０６と分割領域指定手段１０５と領域別合焦検出手段１０７と合焦手段１０８とを同一の構成とし，表示手段１０４は異なる構成とする。詳細を以下に述べる。
【００２５】
ユーザが分割領域から目的とする被写体を含む領域を選択するときに，該領域別合焦検出手段１０７を使用して分割領域の合焦評価値を検出して，表示された撮影画像に分割領域毎の合焦度を表示することで，ユーザは現在の構図における合焦状態を参考にしながら分割領域を選択することができる。
【００２６】
また，合焦状態を参考にしながら焦点を合わせる際に，合焦手段１０８はマニュアルフォーカスによる操作も可能とする。 
該表示手段１０４は図４（４０１）に示す様に，各領域の合焦評価値を数値で表示することで，現在の合焦状態をユーザに詳しく示すことができる。
【００２７】
または図４（４０２）に示す様に，各領域の合焦評価値をヒストグラムなどで表示することで，現在の合焦状態をユーザに詳しく示すことができる。ヒストグラムの例としては，横軸を周波数とし，縦軸を各周波数成分検出量とし，各領域に含まれる周波数別成分検出量を示すことが可能となる。この場合，示したい周波数別にバンドパスフィルタを用意し，各分割領域において１つもしくはそれ以上のバンドパスフィルタから周波数成分を検出し，バンドパスフィルタから検出可能な周波数別に周波数成分の検出量を表示する。また横軸を座標とし，縦軸を高周波成分検出量とし，各領域に含まれる座標毎の高周波成分検出量を示すことが可能となる。この場合，撮影画像を分割領域よりも小さく高周波成分検出に必要な領域に分割し，各分割領域に含まれる１つもしくはそれ以上の小領域から高周波成分を検出し，小領域の座標に応じた高周波成分を表示する。
【００２８】
また図４（４０３）に示す様に，合焦評価値に閾値を設定して２つあるいはそれ以上の複数段階に分けてパターン画像を表示することで，現在の合焦状態をユーザにわかりやすく示すことができる。該パターン画像とは，例えば画像に対して色を付ける，あるいはマークを表示するものである。
【００２９】
以上により，ユーザの分割領域選択を補助することが可能となる。
【実施例４】
【００３０】
図６は，本発明における実施例４のタッチパネル６０２を利用した分割領域指定手段１０５を示す図であり，実施例１に記載した撮像装置の構成要素の中で，領域分割手段１０６と領域別合焦検出手段１０７と合焦手段１０８とを同一の構成とし，実施例１とは異なる構成の分割領域指定手段１０５と表示手段１０４に入力手段としてタッチパネル６０２と位置座標比較器６０３を加えた構成とする。詳細を以下に述べる。
【００３１】
分割領域指定手段１０５において入力手段６０１として画面上の表示に触れるだけで入力操作が可能なタッチパネル６０２を使用して該表示手段１０４と組み合わせることで，被写体を含んでいる領域を指定する際にユーザがわかりやすく指定できる。タッチパネルとは画面の表示を遮らない形でマトリクススイッチなどを配置し，使用者が触れた画面の位置を検出する装置である。ユーザが触れたタッチパネル６０２上の位置情報を位置座標比較器６０３によって該表示手段１０４上の座標位置と比較することで，分割領域指定手段１０５は分割パターン情報を参照してユーザが指定したい分割領域を特定することができる。
【００３２】
以上により，ユーザが意図する領域を指定できる。
【実施例５】
【００３３】
図７は本発明における実施例４の音声認識技術を利用した分割領域指定手段１０５を示す図であり，実施例１に記載した撮像装置の構成要素の中で，領域分割手段１０６と領域別合焦検出手段１０７と合焦手段１０８とを同一の構成とし，実施例１とは異なる構成の分割領域指定手段１０５に入力手段としてマイク７０１と音声認識手段７０２を加えた構成とする。詳細を以下に述べる。
【００３４】
該入力手段６０１として音声による入力可能なマイク７０１を使用し，音声認識技術を利用することで，入力された音声が示す領域を指定することができる。音声認識技術とは，入力された音声信号と音声特徴モデル７０４とを比較し最も確からしい言語系統を認識結果として出力する技術である。例えば，ユーザによって入力された「右」「下」等の表示画面に対する方向を示す単語に対し，それぞれの方向に応じた分割領域を分割領域指定手段１０５によって指定させる。音声の特徴モデルは「右」「下」等の分割領域選択時に頻繁に使用される単語に比重を置くことで認識率を上げ，正確な領域指定をすることが可能となる。
【００３５】
以上により，ユーザが意図する領域を指定できる。
【実施例６】
【００３６】
図８は，本発明における実施例６の領域別合焦検出手段１０７の構成の一例を示す図であり，実施例１に記載した撮像装置の構成要素の中で，表示手段１０４と分割領域指定手段１０５と領域分割手段１０６と合焦手段１０８とを同一の構成とし，領域別合焦検出手段１０７は異なる構成とする。詳細を以下に述べる。
【００３７】
領域別合焦検出手段１０７は，ユーザによって指定された領域から検出された高周波成分だけから合焦評価値を作成するのではなく，周辺領域から検出された高周波成分も考慮して合焦評価値を作成することができる。
【００３８】
領域選択部８０１で分割パターン情報と指定領域情報から指定領域の周辺領域も選択し，検波回路８０２で高周波成分を検出し，評価値演算部８０３において係数による重み付け等を施し，指定領域との比重を変えることで合焦評価値を作成する。図８に示す構成の様に検波回路は領域別の合焦度を並列処理可能な構成にすることで分割領域毎の高周波成分を検出した時刻に差を少なくすることが可能となる。また 領域別の合焦度を並列処理可能でない検波回路においても，検出するための撮影画像を一時的に保存しておき，１つずつ検出することで，分割領域毎の高周波成分を検出した時刻に差を少なくすることが可能となる。
【００３９】
また指定領域が複数の場合も同様に合焦評価値を作成することが可能となる。
【００４０】
以上により，指定領域だけに極端に焦点が合うのを防ぐことが可能となる。
【実施例７】
【００４１】
図９は，本発明における実施例７の基本構成を示す図であり，実施例１に記載した撮像装置の構成要素の中で，表示手段１０４と分割領域指定手段１０５と領域別合焦検出手段１０７と合焦手段１０８とを同一の構成とし，実施例１に記載した構成とは異なる領域分割手段１０６にオブジェクト認識手段９０１を加えた構成とする。詳細を以下に述べる。
【００４２】
領域分割手段１０６にオブジェクト認識技術を用いるためにオブジェクト認識手段９０１を使用し，被写体の認識情報から領域分割パターンを作成することで，被写体に近い範囲の領域分割ができる。オブジェクト認識技術とは，用意されたオブジェクトの輪郭などのモデルと参照画像とのパターンマッチングを行い，相関関係が強い部分を抽出する技術である。オブジェクトのモデルとして，車や標識といった交通関連のモデルや，人の顔や体のモデルなどが使用されている。
【００４３】
例えば，人の顔のモデルを用いた「顔認識技術」を利用することで，画像内から抽出した人の顔を分割領域として設定可能となる。
【００４４】
これにより画像内に複数の人物の顔が存在した場合に，目的の人物の顔を認識している分割領域を指定することができる。
【００４５】
オブジェクト抽出器９０３は，撮影画像と被写体の輪郭等の情報を持つオブジェクトモデル９０２を用いてパターンマッチングを行い，撮影画像内に存在する被写体を抽出して認識情報を作成する。
【００４６】
被写体の認識情報を基に領域分割手段１０６は被写体になるべく近い範囲で分割領域を設定する。
【００４７】
以上により，撮影画像内の被写体を認識した分割領域の設定が可能となる。
【実施例８】
【００４８】
図３（３０４）は本発明における実施例８の領域分割パターンを示す図であり，実施例７に記載した撮像装置の構成要素の中で，表示手段１０４と分割領域指定手段１０５と領域別合焦検出手段１０７と合焦手段１０８とを同一の構成とし，領域分割手段１０６とオブジェクト認識手段９０１は異なる構成とする。詳細を以下に述べる。
【００４９】
領域分割手段１０６において，図３（３０４）に示す様なオブジェクトを含む最適な範囲の分割領域を実現するために，まず認識情報から被写体を含む領域の座標の中で上下左右それぞれ一番端の座標を算出する。算出した上端の座標と左端の座標から左上の座標を決定し，これを基準点とする。次に図３（３０２）に示す様な領域の位置が変更可能な分割パターンを使用して，基準点に分割領域の左上の位置を合わせる。そして図３（３０３）に示す様な領域の大きさを変更可能な分割パターンを使用し，右端と下端を含む様に分割領域の大きさを調節する。また被写体の形によっては，１つの被写体に使用する分割領域を複数個組み合わせることでより正確な領域に分割領域を設定できる。また基準点は左上に限定するものではなく，例えば被写体と比較するオブジェクトモデル９０２から被写体の中心点を算出し，基準点として用いてもよい。
【００５０】
以上により，撮影画像内の被写体毎に正確な位置と大きさの分割領域を設定することが可能となる。
【実施例９】
【００５１】
本発明における実施例９の構成は実施例７に記載する撮像装置の構成要素の中で分割領域指定手段１０５と領域別合焦検出手段１０７と合焦手段１０８を同一の構成とし，表示手段１０４と領域分割手段１０６とオブジェクト認識手段９０１は異なる構成とする。
【００５２】
被写体を認識した分割領域を設定する場合，オブジェクト認識手段９０１において撮影画像内の被写体を認識し，領域分割手段１０６において撮影中に被写体を認識した分割領域を検出し，表示手段１０４において分割領域を表示するという一連の処理が必要となる。
【００５３】
この一連の処理を一定期間毎に繰り返し行うことで，被写体または撮像装置が移動する等の理由で撮影中に構図が変化した場合も，被写体を追従した分割領域を設定可能となる。
【００５４】
ユーザによる被写体の指定前は，一連の処理にかかる時間を最短更新期間とし，消費電力や撮像装置の性能等から更新期間の設定を行う。
【００５５】
ユーザによる被写体の指定後に静止画を撮影する場合は，通常のオートフォーカス機能にあるようなシャッターボタンの半押し等による撮影直前のタイミングで更新を行うことで目的とする被写体に正確な範囲の分割領域による合焦評価値の検出が可能となる。
【００５６】
ユーザによる被写体の指定後に動画を撮影する場合も，一連の処理に掛かる時間が最短更新期間となるが，撮影前の更新期間とは別に撮像素子１０２から撮影画像のデータを取り込むタイミングに合わせた撮影中の更新期間を設定することで，被写体に正確な範囲で滑らかに追従する分割領域による合焦評価値の検出が可能となる。
【００５７】
以上により，被写体を追従する分割領域による合焦評価値の検出が可能となる。
【図面の簡単な説明】
【００５８】
【図１】本発明の基本構成図
【図２】本発明の基本処理フロー
【図３】領域分割手段による領域分割例
【図４】表示手段による合焦評価値の表示例
【図５】被写体が複数ある場合の合焦度検出例
【図６】分割領域指定手段にタッチパネルを使用した構成例
【図７】分割領域指定手段に音声認識技術を利用した構成例
【図８】領域別合焦検出手段の構成例
【図９】オブジェクト認識技術を用いた構成例
【図１】
2010008620.tif 000003
【図２】
2010008620.tif 000004
【図３】
2010008620.tif 000005
【図４】
2010008620.tif 000006
【図５】
2010008620.tif 000007
【図６】
2010008620.tif 000008
【図７】
2010008620.tif 000009
【図８】
2010008620.tif 000010
【図９】
2010008620.tif 000011