(57)【要約】【課題】切り出し画角変更後の撮像開始までの時間を短縮した撮像装置を提供すること。【解決手段】画像データから所定の画角を切り出す画像切り出し手段と、前記切り出した画角から被写体を検出する被写体検出手段と、前記検出した被写体の情報に応じて撮像制御を行う撮像制御手段と、前記切り出し手段で切り出す画角を、第一の画角から第二の画角へ変更する画角変更手段と、前記第一の画角において検出した被写体の情報を、前記第二の画角へ変更後も引き継ぐか否かを判定する被写体情報引継判定手段と、を有し、前記撮像制御手段は、前記被写体情報引継判定手段において引き継ぐと判定された場合、引き継いだ被写体情報に応じた撮像設定を行うことを特徴とし、前記被写体情報引継判定手段は、第一の画角での被写体の座標を、第二の画角に座標変換し、座標変換結果と第二の画角との比較に基づいて、前記被写体情報を引き継いで使用するか否かを判定することを特徴とした構成とした。【選択図】  図１
2014013986.tif 000002
【特許請求の範囲】
【請求項１】
画像データから所定の画角を切り出す画像切り出し手段と、
前記切り出した画角から被写体を検出する被写体検出手段と、
前記検出した被写体の情報に応じて撮像制御を行う撮像制御手段と、
前記切り出し手段で切り出す画角を、第一の画角から第二の画角へ変更する画角変更手段と、
前記第一の画角において検出した被写体の情報を、前記第二の画角へ変更後も引き継ぐか否かを判定する被写体情報引継判定手段と、を有し、
前記撮像制御手段は、前記被写体情報引継判定手段において引き継ぐと判定された場合、引き継いだ被写体情報に応じた撮像設定を行うことを特徴とし、
前記被写体情報引継判定手段は、第一の画角での被写体の座標を、第二の画角に座標変換し、座標変換結果と第二の画角との比較に基づいて、前記被写体情報を引き継いで使用するか否かを判定することを特徴とした撮像装置。
【請求項２】
前記撮像制御手段は、前記被写体が適正露出となるべく操作する被写体ＡＥ手段、前記被写体にフォーカスが合うべく操作する被写体フォーカス手段、被写体が適正なホワイトバランスとなるべく操作する被写体ホワイトバランス手段、のうち少なくとも一つを含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体の情報は、画角における被写体の位置、大きさ、被写体である顔の認証情報、被写体である顔の表情情報のうち少なくとも一つを含むことを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
撮影モードを変更する手段をさらに有し、
前記被写体情報引継判定手段は、変更後のモードで、前記被写体情報の各々を使用するかどうかを判断し、使用すると判断された情報をのみを引き継ぐことを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に撮影画像から被写体を検出し、撮像設定する撮像装置に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラにおいては、画像中の人間の顔など特定の被写体の位置や大きさを画像認識アルゴリズムにより検出するものがある。そして、この特定の被写体がいる領域から得られる評価値の重みづけを大きくして、オートフォーカス制御や露出制御などの撮像制御を行う技術が実用化されている（たとえば、特許文献１）。
【０００３】
また、静止画と動画の双方を撮影可能なデジタルカメラが実用化されている。そのカメラにおいては、静止画または動画といった、記録対象のフォーマットに応じて設定された画角を、撮像部からの画像信号より切り出し、撮影画像として記録する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４５６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のような、人間の顔を検出するアルゴリズムは、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて顔部位を検出する手法などがあるが、どれも検出対象領域全体を探索する必要があるため、時間がかかる。そのため、以下のような課題があった。
【０００６】
上述の特許文献１などに記載の方法において、例えば静止画画角設定状態から、動画記録を開始する場合を考える。前述のとおり、撮影画角が変更されるため、直前まで検出され、撮像制御に用いていた被写体が、画角内に映らなくなる恐れがある。そのため、動画用画角に対して適切な撮像設定がされた状態で動画記録を開始するためには、例えば、動画用画角変更後に顔検出を行った後、再び撮像制御を行う方法が考えられる。
【０００７】
しかしこの方法では、顔検出を行う必要があり、動画記録開始までに時間がかかる。このように、画角を変更する際、画角変更後の撮像開始までに時間がかかるという課題があった。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、画像データから所定の画角を切り出す画像切り出し手段と、前記切り出した画角から被写体を検出する被写体検出手段と、前記検出した被写体の情報に応じて撮像制御を行う撮像制御手段と、前記切り出し手段で切り出す画角を、第一の画角から第二の画角へ変更する画角変更手段と、前記第一の画角において検出した被写体の情報を、前記第二の画角へ変更後も引き継ぐか否かを判定する被写体情報引継判定手段と、を有し、前記撮像制御手段は、前記被写体情報引継判定手段において引き継ぐと判定された場合、引き継いだ被写体情報に応じた撮像設定を行うことを特徴とし、前記被写体情報引継判定手段は、第一の画角での被写体の座標を、第二の画角に座標変換し、座標変換結果と第二の画角との比較に基づいて、前記被写体情報を引き継いで使用するか否かを判定することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画角変更時に行う顔検出に掛かる時間を省略し、より早いタイミングで、なおかつ適切な撮像設定がなされた状態で撮像を開始することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る機能構成例を示すブロック図である。
【図２】本実施形態に係る処理方法を示すフローチャートである。
【図３】本実施形態に係る、静止画用画角と動画用画角の例を示す図である。
【図４】本実施形態に係る、画角変更時の顔の位置変化の一例を示す図である。
【図５】本実施形態に係る、画角変更時の顔の位置変化の一例を示す図である。
【発明を実施するための形態】
【００１１】
＜撮像装置の構成＞
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１２】
本実施形態では、実施形態に係る撮像装置の一例として、デジタルカメラを用いた場合について説明する。図１は、被写体領域抽出処理制御の機能構成例を示すブロック図である。
【００１３】
画像信号入力手段としての画像信号入力部１０１は、デジタル画像信号を入力する。例えば撮像装置においては、レンズ等で構成される光学部（不図示）を介して入射される光を受け、ＣＣＤ部（不図示）で光量に応じた電荷を出力し、Ａ／Ｄ変換部（不図示）でＣＣＤ部から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を実施したデジタル信号が入力される。
【００１４】
画像切り出し手段としての画像切り出し部１０２は、画像信号入力部１０１から入力されたデジタル画像信号から、静止画または動画といった、記録対象のフォーマットに応じて設定された画角を切り出して出力する。
【００１５】
被写体検出手段としての顔検出部１０３は、画像切り出し部１０２から受けたデジタル画像信号から、人物の顔の検出を実行し、この領域にかかる情報を被写体情報保持部１０６に通知する。人物の顔検出方法は、公知の技術を適用可能である。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口などの形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。
【００１６】
画角変更手段としての画角変更指示部１０４は、ユーザーからの指示などに応じて、画像切り出し部１０２における切り出し画角の変更を指示する。また、被写体情報引継判定部１０５に、切り出し画角の変更が指示されたことを通知する。
【００１７】
被写体情報引継判定手段としての被写体情報引継判定部１０５は、画角変更指示部１０４からの、切り出し画角変更の通知を受けて、被写体情報を引き継いで撮像設定に使用するかどうかを判定し、被写体情報保持部１０６に通知する。引き継ぎの判定は、具体的には、被写体の座標や大きさを、変更後の画角に応じて座標変換し、変更後の画角内に被写体が収まるかどうかに応じて判定する。より詳細には後述する。引き継ぐと判定した場合は、座標変換結果に応じて修正した被写体情報を、被写体情報保持部１０６に通知する。
【００１８】
被写体情報保持部１０６は、顔検出部１０３から受けた顔の検出情報の履歴を保持する。また、被写体情報引継判定部１０５からの通知に応じて、検出情報の履歴を消去するか、情報の補正を行う。まず、引き継いで使用しないと判定された場合においては、検出情報の履歴を消去し、画角変更前に検出されていた被写体に応じた撮像制御が行われないようにする。次に、引き継いで使用すると判定された場合においては、撮像制御手段としての撮像制御部１０７は、被写体情報保持部１０６に保持された被写体の情報に応じて撮像制御を行う。撮像制御方法としては、例えば、前記特許文献１に記載されたような、被写体がいる領域から得られる評価値の重みづけを大きくして、オートフォーカス制御や露出制御などの撮像制御を行う方法がある。
【００１９】
画像記録部１０８は、不図示の画像記録指示部の指示に応じて、画像切り出し部１０２によって出力された画像を記録する。
【００２０】
次に、本実施の形態における処理の流れを説明する。図２は本実施の形態における処理のフローチャートである。このフローチャートにおいて、静止画用画角の状態で撮像を継続中に、動画撮像開始が指示され、動画用画角への変更が指示された場合を例にとって説明する。
【００２１】
はじめに、静止画用画角で撮像を継続中の状態における流れを説明する（ステップＳ２０１）。
【００２２】
画角変更指示部１０４によって画角変更が指示されていない場合は、ステップＳ２０２に進む。指示されている場合は、ステップＳ２１０に進む（ステップＳ２０２）。
【００２３】
今回の撮像のタイミングが、顔検出部１０３における顔検出の周期であれば、ステップＳ２０３に進む。周期でなければ、ステップＳ２０８に進み、次の撮像を行う（ステップＳ２０３）。
【００２４】
顔検出部１０３において顔検出を行う（ステップＳ２０４）。
【００２５】
ステップＳ２０３において顔が検出された場合は、ステップＳ２０５に進む。されない場合はステップＳ２０６に進む（ステップＳ２０５）。
【００２６】
ステップＳ２０３において検出された顔情報を被写体情報保持部１０６に保持する（ステップＳ２０６）。
【００２７】
ステップＳ２０３において顔が検出されなかった場合、被写体情報保持部１０６に保持された顔情報を消去する（ステップＳ２０７）。
【００２８】
オートフォーカス制御や露出制御などの撮像設定を行う。撮像設定の方法は、例えば、特許文献１に記載された、小領域ごとに重み付けした評価値に応じて設定を行う方法が知られている。ここでは、被写体情報保持部１０６に顔情報が保持されていれば、顔がある領域から得られる評価値の重みづけを大きくして、撮像制御を行うものとする。また、被写体情報保持部１０６に顔情報が保持されていなければ、画角全体を偏りのない評価値の重み付けとして、撮像制御を行うものとする。これによって、顔が画角内に映っている場合は、顔に適応した撮像設定となり、顔が画角内にいない場合は、画角全体に適応した撮像設定とすることができる（ステップＳ２０８）。
【００２９】
画像信号入力部１０１において画像を撮像し、画像切り出し部１０２において画像を切り出す。不図示の画像記録指示部において画像記録が指示されている場合は、画像記録部１０８において切り出した画像を記録する（ステップＳ２０９）。
【００３０】
不図示の撮像停止指示部において、撮像の停止が指示されていれば、処理を終了する。指示されていなければ、再びステップＳ２０１に戻る。こうして、撮像の停止が指示されず、かつ画角の変更が指示されるまでは、上述したステップＳ２０１〜ステップＳ２０９の処理を繰り返す。
【００３１】
次に、上述のステップＳ２０１〜ステップＳ２０９の繰り返しの状態から、動画撮像開始が指示され、動画用画角への変更が指示された場合の処理を説明する（ステップＳ２０１）。
【００３２】
画角変更が指示されたため、ステップＳ２１０に進む（ステップＳ２１０）。
【００３３】
顔情報が保持されている場合はステップＳ２１１に進む。保持されていない場合は、ステップＳ２０７に進み、前述のとおり、画角全体に適応した撮像設定で、動画の記録が開始される（ステップＳ２１１）。
【００３４】
被写体情報引継判定部１０５において、被写体情報を引き継いで撮像設定に使用するかどうかを判定する。判定は、被写体の座標や大きさを、変更後の画角に応じて座標変換し、変更後の画角内に被写体が収まるかどうかに応じて判定する。より詳細には、以下のようになる。
【００３５】
一般的な写真のサイズ規格として用いられるＬ判、２Ｌ判などは、４：３のアスペクト比が用いられている。また、一般的な動画のサイズ規格として用いられるハイビジョンなどは、１６：９のアスペクト比が用いられている。このため、図３のように、静止画用画角と動画用画角では異なる画角が設定されている。
【００３６】
この場合、図４のように、画角変更によって画角内に映っていた顔が、映らなくなる場合がある。このような状況で、顔がいた状態での撮像設定を継続してしまうと、画角に対して適切な撮像設定でない状態で動画記録を開始してしまう。この問題を防止するため、図４の状況では、顔情報を引き継がないと判定する必要がある。
【００３７】
また、図５のように、画角変更後も、画角内に顔が映っている状況がある。図５の状況では、顔情報を引き継ぐ必要がある。
【００３８】
画角変更後に、画角内に顔が映るかどうかの判定の方法は、座標変換を用いる。静止画用画角で検出された顔の座標を、動画用画角での顔の座標へ変換する座標変換式は以下となる。
【００３９】
Ｆｘ'＝（Ｆｘ  −  ｄｘ）＊  Ｚｘ
Ｆｙ'＝（Ｆｙ  −  ｄｙ）＊  Ｚｙ
Ｆｗ'＝  Ｆｗ  ＊  Ｚｘ
Ｆｈ'＝  Ｆｈ  ＊  Ｚｙ
ここで、Ｆｘは静止画用画角で検出された顔のｘ座標、Ｆｘ'は動画用画角での顔のｘ座標であり、ｄｘはｘ軸方向における切り出し位置、Ｚｘはｘ軸方向における静止画用画角から動画用画角への拡大率である。同様に、Ｆｙは静止画用画角で検出された顔のｙ座標、Ｆｙ'は動画用画角での顔のｙ座標であり、ｄｙはｙ軸方向における切り出し位置、Ｚｙはｙ軸方向における静止画用画角から動画用画角への拡大率である。
【００４０】
この座標変換結果で、顔全体が画角に収まっているかどうかは、以下の条件で判定できる。
【００４１】
Ｆｘ'  −  Ｆｗ'／  ２  ＞  ０  （１）
Ｆｙ'  −  Ｆｈ'／  ２  ＞  ０  （２）
Ｆｘ'  ＋  Ｆｗ'／  ２  ＜  ｗｉｄｔｈ      （３）
Ｆｙ'  ＋  Ｆｈ'／  ２  ＜  ｈｅｉｇｈｔ    （４）
上記の式（１）（２）（３）（４）をすべて満たした場合は、顔情報を引き継ぎ、１つでも満たさない場合は顔情報を引き継がない。これによって、座標変換後の画角に顔が映っている場合、映っていない場合どちらも画角に対して適切な撮像設定が可能になる（ステップＳ２１２）。
【００４２】
ステップＳ２１１を受けて、被写体情報を引き継いで使用すると判断された場合は、ステップＳ２１３に進む。引き継いで使用しないと判断された場合は、ステップＳ２１４に進む（ステップＳ２１３）。
【００４３】
被写体情報を引き継いで使用すると判断されたため、ステップＳ２１１の座標変換によって求めた顔の座標・大きさを、修正情報として被写体情報保持部１０６に保持し、ステップＳ２０７にすすむ。これによって、変更後の動画用画角に適応した適切な顔の座標・大きさの情報に基づいて、撮像設定がなされるため、被写体に対して適切な撮像設定がなされた状態で撮像を開始することが可能になる（ステップＳ２１４）。
【００４４】
被写体情報を引き継いで使用しないと判断されたため、被写体情報保持部１０６に保持された顔情報を消去し、ステップＳ２０７にすすむ。これによって、画角変更によって画角に映らなくなった顔に対して撮像設定を合わせてしまうことなく、画角全体に適応した撮像設定がなされた状態で撮像を開始することが可能になる。
【００４５】
以上説明したとおり、画角変更が指示された時に、変更後の画角で改めて顔検出を行わずに、顔が変更後の画角に収まるかどうかの判定結果に応じて、顔情報を引き継ぎ、又は、消去して撮像設定することにより、顔検出に掛かる時間が省略できるため、より早いタイミングで、なおかつ適切な撮像設定がなされた状態で撮像を開始することが可能になる。
【００４６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４７】
例えば、静止画用画角の状態から動画用画角へ変更される際を例にとって説明したが、本発明は、切り出し画角を変更するその他のケースにも適用可能である。例えば、撮影アスペクト比を変更する場合、電子ズーム機能の入り切りを変更する場合などに適用可能である。いずれも、より早いタイミングで、画角変更後の撮像を開始することができる。
【００４８】
また、説明の都合上、被写体情報を顔の位置・サイズとして説明したが、その他の情報としても本発明は成り立つ。例えば、顔の認証情報、顔の表情情報などとしてもよい。その際は、不図示の撮影モード変更手段によって撮影モードを変更したことを感知し、変更後の撮影モードで前記種々の被写体情報が使用されるかどうかを判断し、使用される被写体情報のみを引き継ぐことをしてもよい。これによって、変更後のモードにおいて不要な情報を引き継いで使用してしまうことが防げる。
【符号の説明】
【００４９】
１０１  画像信号入力部
１０２  画像切り出し部
１０３  顔検出部
１０４  画像変更指示部
１０５  被写体情報引き継ぎ判定部
１０６  顔情報保持部
１０７  撮像制御部
１０８  画像記録部
【図１】
2014013986.tif 000003
【図２】
2014013986.tif 000004
【図３】
2014013986.tif 000005
【図４】
2014013986.tif 000006
【図５】
2014013986.tif 000007