(57)【要約】【課題】  追尾対象にする特定の被写体を、容易な操作によって撮影時に選択可能にする。【解決手段】  本発明のカメラは、撮像部と、表示部と、検出部とを有する。撮像部は、撮影レンズにより形成される光像を撮像し、動画像の映像信号を生成する。表示部は、モニタを有すると共に、映像信号を画像としてモニタに表示する。また、表示部は、タッチパネル式であり、モニタに表示されている画像から、モニタ上で接触動作がされた箇所に対応する特定部位を選択する。検出部は、特定部位と、特定部位の選択後に生成された映像信号が表す画像とを比較し、特定部位に該当する画像部分を映像信号から検出する。即ち、追尾対象にする被写体の選択は、モニタ上でのタッチだけでよいので、複雑な操作を伴わず、容易な操作によって撮影時に実行できる。【選択図】      図１
2006101186.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズにより形成される光像を撮像し、動画像の映像信号を生成する撮像部と、
モニタを有すると共に、前記映像信号を画像として前記モニタに表示する表示部と
を備えたカメラであって、
前記表示部は、タッチパネル式であり、前記モニタの表示画像から、前記モニタ上で接触動作がされた箇所に対応する特定部位を抽出し、
前記特定部位と、前記特定部位の抽出後に生成された前記映像信号が表す画像とを比較し、前記特定部位に該当する画像部分を前記映像信号から検出する検出部を有する
ことを特徴とするカメラ。
【請求項２】
請求項１に記載のカメラにおいて、
前記検出部は、顔認識処理、服の模様の認識、音声認識の少なくともいずれかの手段によって前記特定部位に該当する画像部分を検出する
ことを特徴とするカメラ。
【請求項３】
請求項１または請求項２に記載のカメラにおいて、
前記検出部の検出結果に基づいて、前記撮影レンズの画角内において前記特定部位に該当する被写体を追尾し、露出条件及び前記撮影レンズのピントの少なくともいずれかを追尾対象の前記被写体に合わせる追尾部を有する
ことを特徴とするカメラ。
【請求項４】
請求項３に記載のカメラにおいて、
追尾対象の前記被写体が前記画角内から外れた場合、前記表示部は、追尾対象の前記被写体の位置に関する情報を前記モニタに表示する
ことを特徴とするカメラ。
【請求項５】
請求項１〜請求項４のいずれか１項に記載のカメラにおいて、
前記特定部位を登録及び記憶する記憶部を有する
ことを特徴とするカメラ。
【請求項６】
撮影レンズにより形成される光像を撮像し、動画像の映像信号を生成する撮像部と、
予め登録された特定画像と、前記映像信号が表す画像とを比較し、前記特定画像に該当する画像部分を前記映像信号から検出する検出部と、
前記検出部の検出結果に基づいて、前記撮影レンズの画角内において前記特定画像に該当する被写体を追尾し、露出条件及び前記撮影レンズのピントの少なくともいずれかを追尾対象の前記被写体に合わせる追尾部と
を備えたことを特徴とするカメラ。
【請求項７】
請求項６に記載のカメラにおいて、
前記検出部は、顔認識処理、服の模様の認識、音声認識の少なくともいずれかの手段によって前記特定画像に該当する画像部分を検出する
ことを特徴とするカメラ。
【請求項８】
請求項３、請求項４、請求項６、請求項７のいずれか１項に記載のカメラにおいて、
追尾対象の前記被写体が前記画角内から外れた場合、前記追尾部は、前記画角内全体に合う露出条件に近づくように、露出条件を段階的に変更する
ことを特徴とするカメラ。
【請求項９】
請求項３、請求項４、請求項６、請求項７のいずれか１項に記載のカメラにおいて、
追尾対象の前記被写体が前記撮影レンズの画角内から外れた場合、前記追尾部は、露出条件を前記画角内全体に適切な条件に切り替える
ことを特徴とするカメラ。
【請求項１０】
請求項３、請求項４、請求項６、請求項７のいずれか１項に記載のカメラにおいて、
追尾対象の前記被写体が前記撮影レンズの画角内から外れた場合、前記追尾部は、前記被写体が前記画角内から外れた前後において露出条件を変えない
ことを特徴とするカメラ。                                                                
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ、特にビデオカメラに関する。具体的には、顔認識処理によって人物である被写体を検出し、この被写体を追尾する技術に関する。
【背景技術】
【０００２】
ビデオカメラにより撮影される多くの映像では、動いている人物が主要被写体である。従って、動いている人物の位置、特に顔の位置を検出及び追尾し、その人物に露出条件やピントを自動的に合わせることが望まれていた。そこで、特許文献１のビデオカメラは、髪の毛や肌色の領域を画像から検出することで人物の顔を検出し、検出した顔の位置に追従して自動焦点制御を行うことを試みている。
【０００３】
また、画像中から人物の顔を検出する処理の詳細については、特許文献２や特許文献３などにも開示されている。
【特許文献１】特開平６−３０３１８号公報
【特許文献２】特開２００１−３０９２２５号公報
【特許文献３】特開２００４−１２８７１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
実際の撮影では、追尾対象となる特定の人物に加えて、他の不特定の人物も映されることが想定される。しかしながら従来のビデオカメラは、人物を追尾することは可能でも、複数の人物の中から特定の人物を検出及び追尾し、その特定の人物に露出条件やピントを合わせることができなかった。従って、特定の人物のみを検出及び追尾可能にすることが要望されていた。その際、追尾対象にする人物は、容易な操作によってユーザが撮影時に選択できることが望ましい。
【０００５】
本発明の目的は、特定の人物のみを検出及び追尾し、その人物に露出条件またはピントを合わせる技術を提供することである。
本発明の別の目的は、追尾対象にする特定の被写体を、容易な操作によって撮影時に選択可能にする技術を提供することである。
【課題を解決するための手段】
【０００６】
請求項１の発明は、撮影レンズにより形成される光像を撮像し、動画像の映像信号を生成する撮像部と、モニタを有すると共に、映像信号を画像としてモニタに表示する表示部とを備えたカメラである。本請求項の発明は、以下の点を特徴とする。第１に、表示部は、タッチパネル式であり、モニタの表示画像から、モニタ上で接触動作がされた箇所に対応する特定部位を抽出する。第２に、特定部位と、特定部位の抽出後に生成された映像信号が表す画像とを比較し、特定部位に該当する画像部分を映像信号から検出する検出部を有する。
【０００７】
請求項２の発明は、請求項１のカメラにおいて、顔認識処理、服の模様の認識、音声認識の少なくともいずれかの手段によって特定部位に該当する画像部分を検出部が検出することを特徴とする。
請求項３の発明は、請求項１または請求項２のカメラにおいて、検出部の検出結果に基づいて、撮影レンズの画角内において特定部位に該当する被写体を追尾し、露出条件及び撮影レンズのピントの少なくともいずれかを追尾対象の被写体に合わせる追尾部を有することを特徴とする。
【０００８】
請求項４の発明は、請求項３のカメラにおいて、追尾対象の被写体が画角内から外れた場合、追尾対象の被写体の位置に関する情報を、表示部がモニタに表示することを特徴とする。
請求項５の発明は、請求項１〜請求項４のいずれかのカメラにおいて、特定部位を登録及び記憶する記憶部を有することを特徴とする。
【０００９】
請求項６のカメラは、撮像部と、検出部と、追尾部とを備えたことを特徴とする。撮像部は、撮影レンズにより形成される光像を撮像し、動画像の映像信号を生成する。検出部は、予め登録された特定画像と、映像信号が表す画像とを比較し、特定画像に該当する画像部分を映像信号から検出する。追尾部は、検出部の検出結果に基づいて、撮影レンズの画角内において特定画像に該当する被写体を追尾し、露出条件及び撮影レンズのピントの少なくともいずれかを追尾対象の被写体に合わせる。
【００１０】
請求項７の発明は、請求項６のカメラにおいて、顔認識処理、服の模様の認識、音声認識の少なくともいずれかの手段によって特定画像に該当する画像部分を検出部が検出することを特徴とする。
請求項８の発明は、請求項３、請求項４、請求項６、請求項７のいずれかのカメラにおいて、追尾対象の被写体が画角内から外れた場合、画角内全体に合う露出条件に近づくように、追尾部が露出条件を段階的に変更することを特徴とする。
【００１１】
請求項９の発明は、請求項３、請求項４、請求項６、請求項７のいずれかのカメラにおいて、追尾対象の被写体が撮影レンズの画角内から外れた場合、追尾部が露出条件を画角内全体に適切な条件に切り替えることを特徴とする。
請求項１０の発明は、請求項３、請求項４、請求項６、請求項７のいずれかのカメラにおいて、追尾対象の被写体が撮影レンズの画角内から外れた場合、被写体が画角内から外れた前後において、追尾部が露出条件を変えないことを特徴とする。
【発明の効果】
【００１２】
本発明の一形態では、映像信号を画像としてモニタに表示し、表示画像から、モニタ上で接触動作がされた箇所に対応する特定部位を抽出した後、特定部位に該当する被写体を新たに生成される映像信号から検出する。従って、追尾対象にする被写体の選択は、複雑な操作を伴わず、容易な操作によって撮影時に実行できる。
本発明の別の一形態では、顔認識処理のみにより画角内の人物を検出するのではなく、特定画像と、映像信号が表す画像とを比較し、特定画像に該当する画像部分を映像信号から検出する。従って、顔画像などの個人を識別可能なものを特定画像として予め登録しておけば、他の人物とは区別して特定の人物のみを検出できる。そして、この検出結果に基づいて特定画像に該当する被写体を追尾するので、他の人物とは区別して特定の人物に露出条件またはピントを合わせることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、構成、動作、効果、補足事項の順に図面を参照しながら説明する。
＜本実施形態の構成＞
図１は、本実施形態のビデオカメラのブロック図を示している。図に示すように、ビデオカメラ８は、撮影レンズ１２と、撮像素子２０と、アナログ信号処理部２４と、Ａ／Ｄ変換部２８と、タイミングジェネレータ３２と、焦点制御部３６と、音声検出部３８と、操作部４０と、ＭＰＵ（Micro Processor Unit）４４と、システムバス４８と、画像処理部５２と、メモリ５６と、登録用メモリ６０と、記録読み出し部６４と、交換可能な記録媒体６８と、モニタ制御部８４と、タッチパネル式のモニタ８８とを有している。
【００１４】
撮像素子１８は、赤色光、緑色光、青色光のいずれかを選択的に透過させる多数の画素を例えばベイヤー正方配列として配置したものであり、動画撮影が可能なものである。
ＭＰＵ４４は、ビデオカメラ８のシステム制御を行う。
操作部４０は、電源釦、動画一時停止釦、撮影モード等を設定するための釦群を有している（図示せず）。
【００１５】
本実施形態の主な特徴は、第１追尾モード、第２追尾モード、第３追尾モード、第４追尾モードの４つの撮影モードを有することと、モニタ８８がタッチパネル式であることである。これら４つの撮影モードの特徴の１つは、他の人物とは区別して特定の人物を検出及び追尾できることである。
第１追尾モードでは、動画表示中において一旦動画を停止して静止画表示にし、モニタ８８上でタッチされた画像領域を追尾対象の被写体の画像とし、その画像に基づいて追尾を行う。第２追尾モードでは、動画表示中にモニタ８８上でタッチされた画像領域を追尾対象の被写体の画像とし、同様に追尾を行う。第３追尾モードでは、記録媒体６８中の映像をモニタ８８上に再生し、モニタ８８上でタッチされた画像領域を追尾対象の被写体の画像とする。第４追尾モードでは、撮影前に既に登録されている特定画像のいずれかを選択し、それを追尾対象の被写体の画像とする。
【００１６】
図２は、モニタ８８の表示例を示している。追尾対象の被写体の選択は、図２（ａ）に示すようにモニタ８８の表示画像においてその被写体の顔領域を指でタッチすることで行われる。或いは、顔の輪郭を指でなぞる等によって行ってもよい。そして、画像における顔の領域面積が小さい等の原因により、ユーザがタッチした領域に対して顔認識できなかった場合、認識できなかったことと、その原因とが図２（ｂ）のようにモニタ８８の表示画像に重畳して表示される
また、追尾対象の被写体が選択された後、ビデオカメラ８が画角内にその被写体を検出した場合、図２（ｃ）に示すようにモニタ８８の表示画像において、追尾対象の人物の顔に例えば赤の十字が重畳して表示される。さらに、本実施形態のもう１つの特徴は、追尾対象の被写体が画角内から外れた場合に、図２（ｄ）に示すようにその被写体の位置情報をモニタ８８に表示することである。本実施形態では一例として、追尾対象の被写体が存在すると考えられる方向を矢印で表示する。
【００１７】
＜本実施形態の動作説明＞
本実施形態のビデオカメラ８は、電源釦がオンされると、電源オン処理を行う。この後、ユーザは、操作部４０の釦群を操作して、撮影モードなどの設定が可能である。以下、上述した第１〜第４追尾モードのいずれかに設定されている場合について、順に動作を説明する。なお、実際には公知の他の撮影モードに設定されている場合もあるが、他の撮影モードは本願には直接関係がないので、説明を省略する。
【００１８】
図３、図４、図５、図６は、それぞれ、第１追尾モード、第２追尾モード、第３追尾モード、第４追尾モードでのビデオカメラ８の動作を示す流れ図である。まず、図３に示すステップ番号に従って、第１追尾モードから説明する。
［ステップＳ１］ユーザは、追尾対象にする人物の音声をビデオカメラ８に対して録音する。ＭＰＵ４４は、音声検出部３８が検出する音声を、追尾対象の人物の音声として登録用メモリ６０に記憶させる。
【００１９】
［ステップＳ２］音声検出部３８は、音声の検出を開始する。また、撮像素子２０は、露光されて電荷の蓄積及び排出を繰り返し、映像信号を所定のフレームレート（例えば３０フレーム／秒）で連続的に出力する。この映像信号は、アナログ信号処理部２４によりクランプ処理や感度補正処理が施された後、Ａ／Ｄ変換部２８によりデジタルの映像信号に変換される。この映像信号は、ホワイトバランス調整やカラープロセス処理等が画像処理部５２により施された後、モニタ８８に動画表示される。
【００２０】
［ステップＳ３］動画一時停止釦がオンされた場合、それに同期してＭＰＵ４４は、モニタ８８上の表示画像をその時点で表示されていたものに固定する。なお、撮像素子２０の露光による映像信号の生成動作は、継続して行ってよい。この後ステップＳ４に進む。動画一時停止釦がオンされない場合、ＭＰＵ４４は待機する。
［ステップＳ４］モニタ８８上の表示画像は静止しており、ユーザは、モニタ８８上で追尾対象にしたい被写体人物の顔領域をタッチする（前述の図２（ａ）参照）。ユーザが特定の領域をなぞるようにタッチした場合、ＭＰＵ４４は、なぞられた領域に対応する画像（なぞられた領域内に表示されている画像）を、モニタ制御部８４を介して抽出する。ユーザが一点のみタッチした場合、ＭＰＵ４４は、タッチされた部分を中心として肌色部分及び黒色部分（髪の毛に相当）が包括されるように、画像を抽出する。
【００２１】
［ステップＳ５］ステップＳ４で抽出した画像領域には、特定人物の顔として認識できる程度に特徴部分が表れているか否かをＭＰＵ４４は判定する。この判定は例えば、顔認識処理を行い、顔認識ができた場合に特徴点を解析することにより行われる。
顔認識処理では、抽出した画像領域において、唇、目、眉毛等の顔の特徴点を探す。唇の位置は、例えば、周囲よりもやや赤い領域を検出することで判定できる。目の位置は、例えば、瞳に相当する黒く丸い部分と、その両側の白い部分とを検出することで判定できる。両眉毛の位置は、例えば、両目の上方において周囲よりもやや黒い２つの領域を検出することで判定できる。そして、これら顔の特徴点を内側に含むと共にほぼ肌色と見なせる領域を検出し、これにより画像における顔の位置、及び顔の領域面積を判定する。
【００２２】
上述の顔認識ができた場合、眉毛の両端、両目の端、唇の両端等の顔の特徴部分の座標の組み合わせと、顔の輪郭と、頬や額等の色彩とを判定する。但し、求めた特徴部分の座標の組み合わせにおいて、左右非対称の度合いが大きい場合、判定は失敗したものとする。この原因としては、顔がビデオカメラ８に対して十分正面を向いていなかったことが考えられる。そして、判定に成功した場合、特徴部分が十分明瞭に表れているとしてステップＳ７に進む。顔認識ができなかった場合、或いは、顔認識はできたが特徴部分の判定ができなかった場合、ステップＳ６に進む。
【００２３】
［ステップＳ６］ＭＰＵ４４は、ステップＳ５において顔認識或いは特徴部分の判定ができなかった原因を判定する。原因としては、画像における顔の領域面積が小さい、顔がビデオカメラ８に対して十分正面を向いていなかった等が挙げられる。そしてＭＰＵ４４は、顔認識または特徴部分の判定ができなかったことと、その原因とを前述の図２（ｂ）のようにモニタ８８に表示させる（例えば、『顔の領域面積を大きくして下さい』、『もっと正面を向いたものにして下さい』等）。これにより、ステップＳ３、Ｓ４の操作の再実行をユーザに促す。この後、ステップＳ３に戻る。
【００２４】
［ステップＳ７］ＭＰＵ４４は、ステップＳ５で判定した顔の特徴部分の座標の組み合わせと、顔の輪郭と、頬や額等の色彩と、ステップＳ４で抽出した画像領域とを追尾対象の人物の識別情報として登録用メモリ６０に記憶させる。この後、ステップＳ２と同様の動画撮影、モニタ８８上の動画表示を再開する。また、ユーザは、ビデオカメラ８を特定人物に向ける。これ以降、後述のステップＳ１０までの間において、ユーザのトリガー操作があった場合、ＭＰＵ４４は、割り込み処理的に、記録読み出し部６４に記録媒体６８への動画及び音声の記録を開始させる。
【００２５】
［ステップＳ８］ＭＰＵ４４は、生成された映像信号における最新のフレームに対して前述の顔認識処理を行い、顔領域を検出する。顔領域が検出された場合、顔部分の画像を抽出してからステップＳ９に進み、検出されない場合、また新たに生成された最新のフレームに対して同様の処理を行う。なお、顔の検出は、生成される全フレームに対して行う必要はなく、例えば１フレーム／秒でよい。
【００２６】
［ステップＳ９］ＭＰＵ４４は、ステップＳ８で抽出した顔領域と、登録用メモリ６０に記憶させた追尾対象の人物の識別情報との合致判定を行う。具体的には、特徴部分の座標の組み合わせと、顔の輪郭と、頬や額等の色彩とが所定の割合以上で合致すれば、同一人物と判定する。
顔領域の画像による合致判定が微妙な場合、ＭＰＵ４４は、判定時に音声検出部３８により検出される音声と、ステップＳ１で登録した追尾対象の人物の音声とが一致するか否かを判断する。音声が一致すれば同一人物と判定する。音声の一致は、例えば音の周波数で判断すればよい。同一人物と判定された場合、撮影レンズ１２の画角内に主要被写体が入ったと判断できるのでステップＳ１０に進み、同一人物と判定されなかった場合、ステップＳ８に戻る。
【００２７】
［ステップＳ１０］ＭＰＵ４４は、前述の図２（ｃ）のような表示を行うことで追尾対象の人物を検出したことをユーザに知らせると共に、追尾の動作を開始する。具体的には、ＭＰＵ４４及び焦点制御部３６は、画角内におけるステップＳ９で抽出した顔領域の位置に基づいて、追尾対象の人物の顔に撮影レンズ１２のピントを合わせる。また、ＭＰＵ４４は、追尾対象の人物の顔が適正露出になるように絞り値、シャッタスピード等の露出条件を設定する。そして、この後は、新たに生成された最新のフレームから追尾対象の人物の顔を検出し、ピント位置及び露出条件を随時更新する動作を撮影終了まで繰り返す。
【００２８】
なお、本実施形態では、露出条件の内の撮像感度（撮像素子２０のＩＳＯ値）は例えば１００で固定とするが、変えてもよい。また、本実施形態では一例として、追尾開始時において記録媒体６８への動画及び音声の記録が開始されていなければ開始するが、ユーザのトリガー操作がない限り録画しないようにしてもよい。
［ステップＳ１１］新たに生成された最新のフレームに対して顔領域の検出を行い、顔領域が検出されたら、追尾対象と一致するか否かを判定する。一致する場合、画角内における抽出した顔領域に対し、ピント及び露出条件を合わせた後、ステップＳ１４に進む。ステップＳ１４では、撮影終了の指示がない限りこのステップ１１に戻る。従って、ピント位置と、露出条件とが所定の時間間隔で更新される。
【００２９】
この更新の間隔、即ち、ステップＳ１１で最新のフレームに対して顔領域の検出を行った後、ステップＳ１４を介して再度ステップＳ１１に戻って顔領域の検出を行う間隔は、撮像素子２０のフレームレートの間隔と同じである必要はなく、例えば１秒でよい。また、このステップＳ１１で顔領域が検出されなかった場合、或いは、検出されても追尾対象と一致しない場合、追尾対象の人物が画角内から外れたものと判断して、ステップＳ１２に進む。なお、追尾対象の人物が画角内から外れても、撮影や記録媒体６８への記録は継続して行う。
【００３０】
［ステップＳ１２］ＭＰＵ４４は、最新のフレームの直前の数フレームから追尾対象の人物の顔領域をそれぞれ検出する。ＭＰＵ４４は、検出した顔領域の画角内における位置をフレーム毎に比較して、その人物の動いている方向を判定する。そして、ＭＰＵ４４は、その方向を例えば矢印でモニタ８８上の画像に重畳して表示させる（前述の図２（ｄ）参照）。
【００３１】
［ステップＳ１３］ＭＰＵ４４は、画角内全体が適正露出になる露出条件を算出し、算出した露出条件になるように、露出条件を現在のものから段階的に変更する。これは、露出条件の算出対象領域を追尾対象の顔領域から画面全体に徐々に拡大する意味ではなく、画角内全体が適正露出となる条件に徐々に近づくように、露出条件の各々のパラメータを何回かに分けて変更する意味である。
【００３２】
例えば、追尾中には露出条件が｛絞り２、シャッタスピード１／６０秒｝であり、ここで算出した露出条件が｛絞り１６、シャッタスピード１／２００秒｝であれば、まず、露出条件を例えば｛絞り４、シャッタスピード１／１００秒｝に変更する。この後、｛絞り８、シャッタスピード１／１５０秒｝に変更後、算出した露出条件に変更する。この後、ステップＳ８に戻る。
【００３３】
［ステップＳ１４］撮影終了の指示がされない場合、ステップＳ１１に戻って追尾を継続する。撮影終了の指示がされた場合、撮影及び記録を終了する。以上が第１追尾モードの動作説明である。
次に、図４に示すステップ番号に従って、第２追尾モードを説明する。
［ステップＳ３１］前記ステップＳ２と同様に、音声検出、動画撮影、及びモニタ８８上の動画表示が開始される。第２追尾モードでは、これらの処理は撮影終了まで継続して行われる。
【００３４】
［ステップＳ３２］ユーザは、動画が表示されているモニタ８８上で、追尾対象にしたい被写体人物の顔領域をタッチする。ＭＰＵ４４は、タッチされた、或いはなぞられた領域に対応する画像を前記ステップＳ４と同様に抽出する。また、ＭＰＵ４４は、タッチされた時点を中心とする前後の例えば５秒程度の間に音声検出部３８により検出された音声を、追尾対象の人物の音声として登録用メモリ６０に記憶させる。
【００３５】
［ステップＳ３３］ステップＳ３２で抽出した画像領域に対して、前記ステップＳ５と同様の顔認識処理を行い、顔認識ができた場合、特徴部分の判定を行う。特徴部分の座標の組み合わせと、顔の輪郭と、頬や額等の色彩との判定に成功した場合、ステップＳ３５に進む。顔認識ができなかった場合、或いは、顔認識はできたが特徴部分の判定ができなかった場合、ステップＳ３４に進む。
【００３６】
［ステップＳ３４］前記ステップＳ６と同様に、顔認識または特徴部分の判定ができなかったことと、その原因とをモニタ８８に表示する。さらにＭＰＵ４４は、ステップＳ３２で追尾対象の人物の声として登録用メモリ６０に記憶させた音声を消去する。この後、ステップＳ３２に戻る。
［ステップＳ３５］ＭＰＵ４４は、ステップＳ３３で判定した顔の特徴部分の座標の組み合わせと、顔の輪郭と、頬や額等の色彩と、ステップＳ３２で抽出した画像領域とを追尾対象の人物の識別情報として登録用メモリ６０に記憶させる。これ以降にユーザのトリガー操作があった場合、割り込み処理的に、記録媒体６８への動画及び音声の記録を開始する。以降のステップＳ３６〜Ｓ４２の処理は、追尾対象の人物を検出して、それにピント及び露出条件を合わす処理であり、ステップ番号の違いを除いて第１追尾モードのステップＳ８〜Ｓ１４とそれぞれ同様である。以上が第２追尾モードの動作説明である。
【００３７】
次に、図５に示すステップ番号に従って、第３追尾モードを説明する。
［ステップＳ６１］ＭＰＵ４４は、記録媒体６８に記録された映像信号の読み出しを記録読み出し部６４に行わせ、その動画をモニタ８８に表示させ、その音声を不図示の音声出力部から再生させる。
［ステップＳ６２］ユーザは、追尾対象にしたい人物の映像が表示されると、その顔領域をモニタ８８上で選択する。ＭＰＵ４４は、前記ステップＳ３２と同様にタッチされた或いはなぞられた領域内の画像を抽出し、タッチされた時点を中心とする前後の例えば５秒程度の音声を追尾対象の人物の音声として登録用メモリ６０に記憶させる。なお、撮影しながらの動画表示ではなく、再生であるので、一時停止釦（図示せず）を押す等により静止画表示にして選択することも可能である。
【００３８】
［ステップＳ６３］ステップＳ６２で抽出した画像領域に対して、前記ステップＳ５と同様の顔認識処理を行い、顔認識ができた場合、特徴部分の判定を行う。この判定に成功した場合、ステップＳ６５に進む。顔認識ができなかった場合、或いは、顔認識はできたが特徴部分の判定ができなかった場合、ステップＳ６４に進む。
［ステップＳ６４］前記ステップＳ３４と同様に、顔認識または特徴部分の判定ができなかったことと、その原因とをモニタ８８に表示し、ステップ６２で追尾対象の人物の声として登録用メモリ６０に記憶させた音声を消去する。この後、ステップＳ６２に戻る。
【００３９】
［ステップＳ６５］ＭＰＵ４４は、ステップＳ６４で判定した顔の特徴部分の座標の組み合わせと、顔の輪郭と、頬や額等の色彩と、ステップＳ６２で抽出した画像領域とを追尾対象の人物の識別情報として登録用メモリ６０に記憶させる。
［ステップＳ６６］前記ステップＳ２と同様に撮像素子２０の露光が開始され、モニタ８８の動画表示が開始される。また、音声検出部３８は、音声の検出を開始する。これ以降にユーザのトリガー操作があった場合、割り込み処理的に、記録媒体６８への動画及び音声の記録を開始する。以降のステップＳ６７〜Ｓ７３の処理は、ステップ番号の違いを除いて第１追尾モードのステップＳ８〜Ｓ１４とそれぞれ同様である。以上が第３追尾モードの動作説明である。
【００４０】
次に、第４追尾モードを説明する。第４追尾モードでは、登録メモリ用６０には、複数の人物の識別情報（顔画像、顔の特徴部分の座標の組み合わせ、顔の輪郭、頬や額等の色彩）、及び音声が、ＩＤ番号により人物毎に区別されて予め登録されている。登録方法は例えば、第２追尾モードのように特定人物を撮影してモニタ８８に表示させ、モニタ上８８でタッチされた画像部分に対して顔認識及び特徴部分の判定を行い、判定結果と共に音声を登録用メモリ６０に記憶させればよい。或いは、第３追尾モードのように記録媒体６８中の映像をモニタ８８上に再生し、同様に登録してもよい。
【００４１】
以下、図６に示すステップ番号に従って、第４追尾モードの処理の流れを説明する。
［ステップＳ９１］ＭＰＵ４４は、登録用メモリ６０に登録された複数の人物の顔画像をモニタ８８に表示させる。
［ステップＳ９２］ユーザは、追尾対象にしたい人物の顔画像をモニタ８８上でタッチする。ＭＰＵ４４は、タッチされた顔画像に該当する人物を追尾対象に設定する。
【００４２】
［ステップＳ９３］前記ステップＳ２と同様に撮像素子２０の露光が開始され、モニタ８８の動画表示が開始される。また、音声検出部３８は、音声の検出を開始する。これ以降にユーザのトリガー操作があった場合、割り込み処理的に、記録媒体６８への動画及び音声の記録を開始する。以降のステップＳ９４〜Ｓ１００の処理は、ステップ番号の違いを除いて第１追尾モードのステップＳ８〜Ｓ１４とそれぞれ同様である。以上が第４追尾モードの動作説明である。
【００４３】
＜本実施形態の効果＞
第１追尾モードでは、追尾及び録画前の動画撮影時に動画一時停止釦がオンされると、モニタ８８上の表示画像をその時点で表示されていたものに固定する。ユーザは、モニタ８８上の静止画像において、追尾対象にしたい人物の顔部分をタッチするだけでその人物を追尾対象として選択できる。従って、選択に際してはタイミングを逃すおそれや複雑な操作はないので、追尾対象にする人物を容易な操作によって撮影時に選択できる。
【００４４】
追尾対象の人物の顔画像に基づいて、顔の特徴部分の座標の組み合わせと、顔の輪郭と、頬や額等の色彩とを求め、これら識別情報を追尾対象の人物に該当するか否かの合致判定に用いる。これら識別情報は、通常は個人によって異なるので、複数の人物が画角内に存在しても、その中から追尾対象である特定の人物のみを検出できる。従って、他の人物とは区別して特定の人物のみをして追尾し、その人物に露出条件及びピントを合わせることができる。
【００４５】
顔画像に基づいた識別情報による合致判定が微妙な場合、前もって登録した追尾対象の人物の音声と、合致判定時に検出される音声とを比較して判定する。従って、例えば追尾対象の人物がビデオカメラ８から離れ、その顔画像が小さくなって合致判定が微妙になった場合にも、確実に判定できる。
追尾対象の人物が画角内から外れた場合、外れた直前の複数のフレーム画像から動き検出を行い、その人物の動いている方向を判定する。この方向に基づいて、追尾対象の人物の現在位置の方向をモニタ８８に表示する。従って、ユーザは、表示された方向にビデオカメラ８を向けるだけで、追尾対象の人物を再度画角内に収めることができる。
【００４６】
また、追尾対象の人物が画角内から外れた場合、画角内全体に合う露出条件に近づくように、露出条件を段階的に変更する。従って、記録映像において画面の明るさなどが急激に変化するおそれはなく、良好な映像として録画できる。
第２対尾モードでは、追尾対象にしたい人物の選択時において静止画表示に切り替えずに動画表示を継続することを除いて、第１追尾モードと同様に動作する。追尾対象にしたい人物の動きが比較的緩やかな場合、動画表示の状態でもタイミングを逃すことなくモニタ８８上でその顔画像をタッチできる。従って、第２対尾モードにおいても上述した第１追尾モードと同様の効果が得られる。
【００４７】
第３対尾モードでは、記録媒体６８中の映像をモニタ８８上に再生し、その映像から追尾対象の人物を選択することを除いて、第１追尾モードと同様に動作する。従って、第３対尾モードにおいても上述した第１追尾モードと同様の効果が得られる。このモードは、追尾対象の人物の選択時において、その人物を撮影する必要がない。従って、例えば防犯カメラにおいて特定の人物を検出したいが、その人物を予め撮影することが困難な場合に有効である。
【００４８】
第４追尾モードでは、予め登録された複数の人物の顔画像から追尾対象の人物を選択することを除いて、第１追尾モードと同様に動作するので、第１追尾モードと同様の効果が得られる。また、第４追尾モードも、第３対尾モードと同様に追尾対象の人物の選択時において、その人物を撮影する必要がない。従って、第３追尾モードと同様の効果が得られる。
【００４９】
＜本実施形態の補足事項＞
第１〜第４追尾モードにおいて、追尾対象の人物が画角内から外れた場合に、露出条件を段階的に変更する例を述べた。本発明は、かかる実施形態に限定されるものではない。追尾対象の人物が画角内から外れた場合に、露出条件を変えないようにしてもよい。これは、追尾対象の人物がすぐに画角内に戻る可能性が高い場合、追尾対象の人物に合わせた露出条件のままにしておく方がよいからである。或いは、追尾対象の人物が画角内から外れた場合に、露出設定が画角内全体に合うように１度で切り替えてもよい。
【００５０】
追尾対象の人物が画角内から外れた場合に、記録媒体６８への記録を中断しない例を述べた。本発明は、かかる実施形態に限定されるものではない。追尾対象の人物が画角内から外れた瞬間に記録を一時停止し、追尾対象の人物が再び画角内に入ったら記録を再開するようにしてもよい。即ち、追尾対象の人物が映っているフレームのみが記録されるようにしてもよい。そのようにすれば、記録時間を節約できる上に、追尾対象の人物が映っているフレーム画像から画像を抽出する場合において、その作業を効率的に行うことができる。
【００５１】
登録された１つの被写体のみを検出して追尾する例を述べた。本発明は、かかる実施形態に限定されるものではない。例えば、複数の人物を優先順位と共に予め登録しておき、複数の人物を追尾対象としてもよい。その場合、画角内に１人の人物のみが検出されたら、その人物のみを追尾し、複数の人物が検出されたら、最も優先順位の高い人物を追尾すればよい。
【００５２】
第２追尾モードにおいて、追尾対象の人物の顔画像の選択時（ステップＳ３２）に音声も同時に登録する例を述べた。本発明は、かかる実施形態に限定されるものではない。音声登録は、例えばステップＳ３１の前などで、顔画像の選択時とは別に行ってもよい。
第１〜第４追尾モードにおいて、追尾対象の人物に対して露出条件とピントの両方を合わせる例を述べたが、露出条件とピントの内、一方のみを合わせてもよい。
【００５３】
画角内で追尾対象の人物を検出したことをユーザに知らせる手段として、図２（ｃ）のような重畳表示を行う例を述べた。本発明は、かかる実施形態に限定されるものではない。例えば、操作部４０の１つとしてランプを設けておき、ランプを点滅させる方法でもよい。なお、記録が開始されているので、音によって知らせることは望ましくない。
本発明による特定の人物を追尾する技術、及び撮影時にタッチパネルによって追尾対象の人物を選択する技術をビデオカメラに適用する例を述べたが、本発明はデジタルスチルカメラ等の他のカメラにも適用可能である。また、追尾対象は、人物ではない他の動物であっても実施可能である。
【００５４】
モニタ８８上でユーザが直接タッチした部分に対応する画像領域を抽出する例を述べた。本発明は、かかる実施形態に限定されるものではない。例えば、タッチ用のペンなどを用い、モニタ表面においてペンの先端が接触した部分に対応する画像領域を抽出してもよい。
連続的に生成される動画のフレームから特定の人物を検出する例を述べた。本発明は、かかる実施形態に限定されるものではない。追尾対象の人物に無線発信リモコンを持たせて、このリモコンが発信する電波に基づいてその人物を検出するようにしてもよい。
【００５５】
第１〜第４追尾モードにおいて、検出した顔画像と追尾対象の人物との合致判定が微妙な場合に、音声により判定する例を述べた。本発明は、かかる実施形態に限定されるものではない。
音声は判断基準とせず、顔画像による識別情報のみから判定してもよい。
或いは、追尾対象の人物の顔画像及び識別情報を登録せず、音声のみを登録し、音声のみから追尾対象の人物を検出してもよい。具体的には例えば、検出される音声から音源の方向を判定して、その方向に顔画像が検出された場合に、それを追尾対象の人物と判定すればよい。
【００５６】
或いは、顔画像、及び音声は登録せず、追尾対象の人物の服装の画像を抽出し、その服装の色彩や模様などをパターン認識し、追尾対象の人物の合致判定を服装のみで行ってもよい。
或いは、音声は登録せず、顔画像と、顔画像による識別情報と、服装の画像と、服装の画像に対するパターン認識結果とを登録してもよい。この場合例えば、顔画像による識別情報のみでは合致判定があいまいな場合に、服装に基づいて判定すればよい。
【００５７】
或いは、顔画像による識別情報は用いず、服装のパターン認識結果と、音声とに基づいて追尾対象の人物の合致判定を行ってもよい。
或いは、顔画像による識別情報、服装のパターン認識結果、音声の３つを合致判定に用いてもよい。
請求項と本実施形態との対応関係は、例えば以下の通りである。
【００５８】
請求項記載の撮像部は、撮影レンズ１２、撮像素子２０、アナログ信号処理部２４、Ａ／Ｄ変換部２８、タイミングジェネレータ３２、焦点制御部３６、音声検出部３８と、これらに映像信号を生成させるＭＰＵ４４の機能とに対応する。なお、映像信号を生成する動作の詳細は公知なので、説明を省略した。
請求項記載の表示部は、モニタ８８と、モニタ８８に映像を表示させるモニタ制御部８４及びＭＰＵ４４の機能とに対応する。
【００５９】
請求項記載の検出部は、画角内において、追尾対象として設定した人物の顔画像に該当する被写体を検出するＭＰＵ４４の機能に対応する。
請求項記載の追尾部は、画角内において、追尾対象として設定した人物の顔画像に該当する被写体を追尾し、露出条件及びピントを合わせるようにビデオカメラ８の各部を制御するＭＰＵ４４の機能に対応する。
【００６０】
請求項記載の特定部位は、第１〜第３追尾モードにおいて、ステップＳ４、Ｓ３２、Ｓ６２で抽出される画像領域に対応する。
請求項記載の特定画像は、第４追尾モードにおいて、登録用メモリ６０に登録された顔画像に対応する。
請求項記載の記憶部は、登録用メモリ６０と、追尾対象の人物の識別情報を登録用メモリ６０に記憶させるＭＰＵ４４の機能とに対応する。
【産業上の利用可能性】
【００６１】
以上詳述したように本発明は、ビデオカメラの分野において大いに利用可能である。
【図面の簡単な説明】
【００６２】
【図１】本実施形態のビデオカメラのブロック図である。
【図２】モニタの表示例を示す説明図である。
【図３】本実施形態のビデオカメラにおける第１追尾モードでの動作を示す流れ図である。
【図４】本実施形態のビデオカメラにおける第２追尾モードでの動作を示す流れ図である。
【図５】本実施形態のビデオカメラにおける第３追尾モードでの動作を示す流れ図である。
【図６】本実施形態のビデオカメラにおける第４追尾モードでの動作を示す流れ図である。
【符号の説明】
【００６３】
８  ビデオカメラ
１２  撮影レンズ
２０  撮像素子
２４  アナログ信号処理部
２８  Ａ／Ｄ変換部
３２  タイミングジェネレータ
３６  焦点制御部
３８  音声検出部
４０  操作部
４４  ＭＰＵ
４８  システムバス
５２  画像処理部
５６  メモリ
６０  登録用メモリ
６４  記録読み出し部
６８  記録媒体
８４  モニタ制御部
８８  モニタ
【図１】
2006101186.tif 000003
【図２】
2006101186.tif 000004
【図３】
2006101186.tif 000005
【図４】
2006101186.tif 000006
【図５】
2006101186.tif 000007
【図６】
2006101186.tif 000008