(57)【要約】      （修正有）【課題】被撮影者の撮影を遠隔操作により、被撮影者の望むタイミングで撮影するデジタルスチルカメラを提供する。【解決手段】デジタルスチルカメラ１は、被撮影者を撮像して画像データを取得する撮像素子１２と、撮像素子１２にて撮像された動画像に基づいて、被撮影者の両目の画像を連続的に検出する目追跡部２３と、目追跡部２３にて検出された動画像に基づいて、特定の箇所のウィンクを検出するウィンク検出部２４と、ウィンク検出部２４にてウィンクが検出されたときに、静止画像撮影のためのシャッター１３を切るモード設定部１７とを備える。【選択図】図１
2008072183.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを取得する撮像素子と、
前記撮像素子にて撮像された動画像から、被撮影者が映った動画像を検出する被撮影者動画像検出部と、
前記被撮影者動画像検出部にて検出された動画像に基づいて、前記被撮影者の所定の動きを検出する動き検出部と、
前記動き検出部にて前記所定の動きが検出されたときに、静止画像撮影のためのシャッターを切るシャッター制御部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記動き検出部は、被撮影者の両目が開いた状態から、一方の目が閉じられた後に両目が開いた状態になる動きを前記所定の動きとして検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記動き検出部は、被撮影者の口の開閉動作を前記所定の動きとして検出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
あらかじめ顔画像を登録しておく登録顔画像記憶部と、
前記撮像素子にて撮像された動画像から、被撮影者の顔画像を検出する顔画像検出部と、
前記顔画像検出部にて検出された顔画像と前記登録顔画像記憶部に記憶された顔画像とを照合する顔画像照合部と、
を備え、
前記シャッター制御部は、前記動き検出部にて所定の動きが検出され、かつ、前記顔画像照合部にて顔画像が照合されたときに、シャッターを切ることを特徴とする請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記撮像素子にて撮像された動画像に基づいて、前記画像内における被撮影者の顔画像の位置を計算する顔位置計算部と、
前記顔位置計算部にて計算された顔の位置に関する情報を被撮影者に報知する報知部と、
を備えたことを特徴とする請求項１〜４のいずれかに記載の撮像装置。
【請求項６】
前記報知部は、ＬＥＤであることを特徴とする請求項５に記載の撮像装置。
【請求項７】
撮像素子にて撮像された動画像から、被撮影者の映った動画像を検出する被撮影者動画像検出ステップと、
前記被撮影者動画像検出ステップにて検出された動画像に基づいて、前記被撮影者の所定の動きを検出する動き検出ステップと、
前記動き検出部にて所定の動きが検出されたときに、静止画像撮影のためのシャッターを切るシャッター制御ステップと、
を備えたことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画撮影モードと静止画撮影モードを有する撮像装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラ等の撮像装置では、画像を電子データとして取り込むため、様々な画像処理が可能である。例えば、特許文献１に記載されているように、複数の画像に画像処理を行い、その中からクォリティーの高い画像を選択することが可能である。しかし、特許文献１において、画像の評価は、画像処理の結果をスコア化したものである。従って、撮影装置にて選択されたクォリティーの高い画像と撮影者や被撮影者の望む画像とが必ずしも一致するとは限らなかった。
【０００３】
被撮影者が望む画像を撮るための機能として、タイマーを用いた自動シャッター機能がある。この自動タイマー機能を用いれば、被撮影者は、シャッターのタイミングに合わせてポーズをとることができ、被撮影者の望むポーズで写真を撮影することができる。
【特許文献１】特開２００５−４５６００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、タイマーを用いた自動シャッター機能では、被撮影者は、タイマーをセットしてから撮影までの時間を正確に把握できないので、シャッターが切られる瞬間に所望のポーズをとることは難しかった。
【０００５】
本発明は、上記背景に鑑み、遠隔操作により、被撮影者の望むタイミングで撮影を行うことができる装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮影装置は、被写体を撮像して画像データを取得する撮像素子と、前記撮像素子にて撮像された動画像から被撮影者の映った動画像を検出する被撮影者動画像検出部と、前記被撮影者動画像検出部にて検出された動画像に基づいて、前記被撮影者の所定の動きを検出する動き検出部と、前記動き検出部にて前記所定の動きが検出されたときに、静止画像撮影のためのシャッターを切るシャッター制御部と、を備えた構成を有する。
【０００７】
この構成により、被撮影者の所定の動きが検出されたときにシャッターを切って静止画を撮影するので、遠隔操作により被撮影者の望むタイミングで撮影を行うことができる。
【０００８】
本発明の撮影装置において、前記動き検出部は、被撮影者の両目が開いた状態から、一方の目が閉じられた後に両目が開いた状態になる動きを前記所定の動きとして検出する構成を有する。
【０００９】
この構成により、被撮影者がウィンクしたときに、撮影を行うことができる。両目を検出する方法としては、例えば、Ｂｏｏｓｔｏｎｇを用いた方法によって顔を検出し、検出した顔領域の中から、テンプレートマッチング等によって目を検出する。
【００１０】
本発明の撮影装置において、前記動き検出部は、被撮影者の口の開閉動作を前記所定の動きとして検出する構成を有する。
【００１１】
この構成により、被撮影者が何か言ったときに、撮影を行うことができる。
【００１２】
本発明の撮影装置は、あらかじめ顔画像を登録しておく登録顔画像記憶部と、前記撮像素子にて撮像された動画像から被撮影者の顔画像を検出する顔画像検出部と、前記顔画像検出部にて検出された顔画像と前記登録顔画像記憶部に記憶された顔画像とを照合する顔画像照合部とを備え、前記シャッター制御部は、前記動き検出部にて所定の動きが検出され、かつ、前記顔画像照合部にて顔画像が照合されたときに、シャッターを切る構成を有する。
【００１３】
この構成により、被撮影者の所定の動きが検出された場合に、その動きの主体があらかじめ登録された人物であるか否かを照合し、照合された場合にシャッターを切るので、登録されていない人物の動きによってシャッターが切られてしまうという事態を防止できる。
【００１４】
本発明の撮影装置は、前記撮像素子にて撮像された動画像に基づいて、前記画像内における被撮影者の顔画像の位置を計算する顔位置計算部と、前記顔位置計算部にて計算された顔の位置に関する情報を被撮影者に報知する報知部とを備えた構成を有する。
【００１５】
この構成により、顔の位置に関する情報を被撮影者に報知することにより、撮影者がいない場合でも、被撮影者は撮影領域のどのあたりに映っているかを知ることができる。
【００１６】
本発明の撮影装置は、前記報知部としてＬＥＤを用いた構成を有する。
【００１７】
この構成により、簡単な構成で顔の位置に関する情報を報知できる。
【００１８】
本発明の撮影方法は、撮像素子にて撮像された動画像から被撮影者の映った動画像を検出する被撮影者動画像検出ステップと、前記被撮影者動画像検出ステップにて検出された動画像に基づいて前記所定の動きを検出する動き検出ステップと、前記動き検出部にて前記所定の動きが検出されたときに、静止画像撮影のためのシャッターを切るシャッター制御ステップとを備えた構成を有する。
【００１９】
この構成により、本発明の撮像装置と同様に、遠隔操作により被撮影者の望むタイミングで撮影を行うことができる。
【発明の効果】
【００２０】
本発明によれば、被撮影者の所定の動きが検出されたときにシャッターを切って静止画を撮影するので、遠隔操作により被撮影者の望むタイミングで撮影を行うことができるというすぐれた効果を有する。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態に係る撮像装置について、図面を用いて詳細に説明する。以下では、撮像装置の例としてデジタルスチルカメラを取り上げて説明する。
【００２２】
（第１の実施の形態）
図１は、本発明の第１の実施の形態におけるデジタルスチルカメラ１の構成を示すブロック図である。第１の実施の形態におけるデジタルスチルカメラ１は、レンズ１１と、被写体を撮像する撮像素子１２と、静止画撮影を行うためのシャッター１３と、撮像素子１２にて得られた画像信号をＡ／Ｄ変換するＡ／Ｄ変換部１４と、撮像した画像データを記憶するメモリ１５とを備えている。
【００２３】
また、デジタルスチルカメラ１は、動画撮影モードと静止画撮影モードの切替えを行うモード切替部１６と、モード切替部１６およびシャッター１３にモードを指示するモード設定部１７と、ユーザからの操作を受け付ける操作部１８とを備えている。モード切替部１６は、動画撮影モードでは、Ａ／Ｄ変換部１４から入力されたデジタルデータを画像処理部２０に入力する。モード切替部１６は、静止画撮影モードでは、Ａ／Ｄ変換部１４から入力されたデジタルデータをメモリ１５に保存する。
【００２４】
また、デジタルスチルカメラ１は、動作撮影モードにて撮影された動画像に基づいて、被撮影者の所定の動きを検出する機能を有する画像処理部２０を備えている。本実施の形態では、画像処理部２０は、被撮影者のウィンクを検出し、ウィンクの検出信号をモード設定部１７に送信する。
【００２５】
画像処理部２０では、入力画像から被撮影者の顔画像を検出する顔検出部２１と、目の画像を検出する目検出部２２と、目検出部２２にて検出した目を画像する目追跡部２３とを備えている。目追跡部２３は、動画撮影モードで一定時間間隔で入力される画像に対して、目の画像を追跡する。また、画像処理部２０はウィンク検出部２４を備えている。ウィンク検出部２４は、目追跡部２３にて追跡している目の画像に基づいて、目の開閉を検出する。ウィンク検出部２４は、両目が開いた状態から、一方の目が閉じられ、再び両目が開いた状態になったときにウィンクを検出する。
【００２６】
モード設定部１７は、画像処理部２０から送信されるウィンク検出の信号に応じて、シャッター１３を切ることを指示する信号をシャッター１３に送信する機能を有する。シャッター１３が切られると、デジタルスチルカメラ１は、静止画撮影モードで静止画像を撮影する。静止画撮影モードでは、撮像素子１２で撮影した画像データをＡ／Ｄ変換部１４でデジタルデータに変換し、変換されたデジタルデータをモード切替部１６を介してメモリ１５に記録する。また、モード設定部１７は、設定されたモードの情報をモード切替部１６に送信する。これにより、モード切替部１６は、モードに基づいてＡ／Ｄ変換部１４から出力されたデジタル信号をメモリ１５に保存するか、画像処理部１８に入力するかを切り替える。
【００２７】
図２は、デジタルスチルカメラ１による静止画の撮影の動作を示す図である。図１の操作部１８によってリモート撮影モードを選択すると、デジタルスチルカメラ１は、動画撮影モードで被写体を撮影し、撮影によって得られたフレーム毎の画像データを画像処理部２０に入力する。すなわち、デジタルスチルカメラ１は、撮像素子１２にて得られる画像信号をＡ／Ｄ変換部１４でデジタル信号に変換し、変換されたデジタル信号をモード切替部１６を介して画像処理部２０に入力する（Ｓ１０）。
【００２８】
次に、画像処理部２０の顔検出部２１は、入力された各フレーム画像データに対して、顔検出処理を行い、顔画像が検出されたか否かを判定する（Ｓ１１）。顔検出処理に関しては、例えば、Ｖｉｏｌａ，  Ｐ．；  Ｊｏｎｅｓ，  Ｍ．；Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２００１．  ＣＶＰＲ  ２００１．  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００１  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，  Ｖｏｌｕｍｅ：１，  ８−１４  Ｄｅｃ．  ２００１  Ｐａｇｅｓ：Ｉ−５１１〜５１８  ｖｏｌ．１に示された方法を用いることができる。
【００２９】
顔検出部２１にて、顔画像が検出されなかった場合には（Ｓ１１でＮＯ）、画像処理部２０は、次フレームの画像の入力を待つ（Ｓ１０）。顔検出部１２にて、顔画像が検出された場合には（Ｓ１１でＹＥＳ）、目検出部２２による処理を行う。
【００３０】
目検出部２２は、顔検出が行われた領域に対して、目の画像を検出する処理を行う（Ｓ１２）。目検出部２２は、例えば、目のテンプレート画像を利用し、検索領域に対してテンプレートマッチングを行う方法によって目の画像を検出する。目検出部２２は、テンプレートマッチングにより、最も類似度の高かった画像を目の画像とする。目の画像が検出されると、目検出部２２は、目追跡部２３に目の検出位置と検出画像を渡す。
【００３１】
目追跡部２３は、目検出部２２から逐次入力される目の画像に基づいて、被撮影者の目の画像を追跡し、追跡できたか否かを判定する（Ｓ１３）。目追跡部２３は、現フレームでの目の検出位置が、前フレームでの目の検出位置を含む所定の範囲内に含まれている場合には、目の追跡に成功したと判定し、現フレームでの目の位置が所定の範囲外にあった場合には、目の追跡に失敗した判定する。目追跡部２３は、目の追跡に失敗した場合には、現フレームから目の追跡を再スタートする。
【００３２】
画像処理部２０のウィンク検出部２４は、目の検出位置と検出画像に基づいて、ウィンクされたか否かの判定を行う（Ｓ１４）。ウィンク検出部２４では、両目が開いている状態を検知し、次に一方の目が閉じている状態を検知し、再び両目が開いている状態を検知したときにウィンクを検出する。目が開いているか閉じているかの判定は、目検出部２２において、目が開いているテンプレートと目が閉じているテンプレートを用意しておき、状態の遷移を検出する。一方の目が閉じている状態を検知するのは、瞬きによって両目をつぶった場合にウィンクを誤検出しないようにするためである。
【００３３】
ウィンク検出部２４は、ウィンクを検出すると、ウィンクの検出情報をモード設定部１７に通知する。モード設定部１７は、ウィンクの検出情報をトリガーとして、シャッター１３を切り、静止画を撮影する（Ｓ１５）。モード設定部１７がシャッター１３を切るタイミングは、ウィンクの検出情報が通知されたタイミングと同時でもよいし、ウィンクの検出情報の通知を受けてから一定の時間が経過してからでもよい。ウィンクを検出してからシャッター１３を切るまでの時間は、操作部１８にて設定することができる。
【００３４】
デジタルスチルカメラ１の撮像素子１２は、シャッター１３が切られると静止画を撮像し、撮像した静止画像のデータをメモリ１６に保存する（Ｓ１６）。
以上、本実施の形態のデジタルスチルカメラ１の構成および動作について説明した。
【００３５】
本実施の形態のデジタルスチルカメラ１は、動画モードで撮影した動画像から被撮影者の目の画像を検出し、ウィンクを検出したときにシャッター１３を切る。これにより、被撮影者の望むタイミングで静止画の撮影を行うことができる。
【００３６】
本実施の形態では、撮影された画像中に顔が一つだけ写っている場合について説明したが、複数の顔が写っている場合は、複数人の目を追跡し、だれか一人でもウィンクが検出されたときにシャッター１３を切る構成としてもよい。
【００３７】
（第２の実施の形態）
次に、本発明の第２の実施の形態のデジタルスチルカメラについて説明する。第２の実施の形態のデジタルスチルカメラは、基本的な構成は、第１の実施の形態のデジタルスチルカメラ１と同じであるが（図１参照）、画像処理部２０の構成が異なる。
【００３８】
図３は、第２の実施の形態における画像処理部２０の構成を示す図である。画像処理部２０は、入力画像の特徴量を生成する特徴量生成部２５と、あらかじめ所定の人物の顔画像の特徴量を記憶しておく登録特徴量記憶部２６と、照合すべき顔画像の特徴量を記憶するする照合特徴量記憶部２７と、照合特徴量と登録特徴量とを比較して顔照合を行う顔照合部２８と、ウィンク検出部２４による検出結果と顔照合部２８による照合結果とに基づいてシャッター１３を切るか否かを判定する判定部３５を備えている。
【００３９】
次に、第２の実施の形態のデジタルスチルカメラの動作について説明する。第２の実施の形態のデジタルスチルカメラでは、あらかじめシャッター１３を切る人物の顔画像を登録しておき、静止画像を撮影する際には、登録された人物のウィンクによって静止画像を撮影する。
【００４０】
図４は、シャッター１３を切る人物の顔画像の登録動作を示す図である。まず、デジタルスチルカメラは、動画撮影モードにて被撮影者を撮影し、撮影された画像データを画像処理部２０に入力する（Ｓ２０）。画像処理部２０は、顔画像を検出し、検出できたか否かを判定する（Ｓ２１）。顔画像を検出できなかった場合には（Ｓ２１でＮＯ）、画像処理部２０は、次フレームの画像の入力を待つ。顔画像を検出できた場合には（Ｓ２１でＹＥＳ）、目検出部２２は、目の画像を検出する（Ｓ２２）。目検出部２２は、検出した目の位置を十字印で表示する。
【００４１】
デジタルスチルカメラは、検出された顔画像を登録画像としてよいか否かを、操作部１８のボタン操作により受け付ける（Ｓ２３）。登録画像としてよいとの操作を受け付けると、デジタルスチルカメラは、検出された顔画像の特徴量を生成し、生成した特徴量を登録特徴量記憶部２６に記憶する（Ｓ２４）。
【００４２】
図５は、デジタルスチルカメラによる静止画の撮影の動作を示す図である。リモート撮影モードを選択すると、デジタルスチルカメラは、被写体を動画モードで撮影し、撮影されたフレーム毎の画像を画像処理部２０に入力し（Ｓ３０）、入力された画像から顔画像を検出し（Ｓ３１）、顔検出が行われた領域に対して、目の画像を検出する処理を行う（Ｓ３２）。続いて、デジタルスチルカメラは、目の追跡を行い（Ｓ３３）、ウィンクを検出する（Ｓ３４）。以上の動作は、第１の実施の形態のデジタルカメラ１の動作におけるステップＳ１０〜Ｓ１４（図２参照）と同じである。
【００４３】
ウィンク検出部２４にてウィンクが検出された場合には（Ｓ３４でＹＥＳ）、画像処理部２０は、検出された顔画像から照合用の特徴量を生成し、生成された特徴量と、登録特徴量記憶部２６に記憶された特徴量とを比較して、検出された顔画像が登録された人物の顔画像と一致するか否かを照合する（Ｓ３５）。顔照合の方法としては、例えば、Ｅｉｇｅｎｆａｃｅ法として知られる、Ｔｕｒｋ，  Ｍ．Ａ．；  Ｐｅｎｔｌａｎｄ，  Ａ．Ｐ．；Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  １９９１．  Ｐｒｏｃｅｅｄｉｎｇｓ  ＣＶＰＲ  ‘９１．，  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，  ３−６  Ｊｕｎｅ  １９９１  Ｐａｇｅｓ：５８６−５９１を用いることができる。
【００４４】
顔画像が照合された場合に（Ｓ３５でＹＥＳ）、デジタルスチルカメラ１は、シャッター１３を切る（Ｓ３６）。シャッター１３が切られると、デジタルスチルカメラ１の撮像素子１２は、静止画を撮像し、撮像した静止画像のデータをメモリ１６に保存する（Ｓ３７）。
以上、本発明の第２の実施の形態のデジタルスチルカメラについて説明した。
【００４５】
第２の実施の形態のデジタルスチルカメラは、ウィンクが検出された場合に、ウィンクをした人物の顔画像があらかじめ登録された顔画像と一致するか否かを照合し、照合された場合に、シャッター１３を切るので、登録された人物がウィンクをした場合にはシャッター１３が切られ、その他の人物がウィンクしてもシャッター１３が切られない。本実施の形態では、シャッター１３を切ることができる人物を指定することができる。
【００４６】
（第３の実施の形態）
図６は、第３の実施の形態のデジタルスチルカメラ３の構成を示す図、図７はデジタルスチルカメラ３を前面（被撮影者側）から見た図である。図７に示すように、デジタルスチルカメラ３は、前面の四隅にＬＥＤ３１を有している。第３の実施の形態のデジタルスチルカメラ３は、ＬＥＤ３１を点滅させることによって、被撮影者に顔の位置を知らせる。
【００４７】
図６に示すように、第３の実施の形態のデジタルスチルカメラ３の基本的な構成は、第１の実施の形態のデジタルスチルカメラ１と同じである。第３の実施の形態のデジタルスチルカメラ３では、画像処理部２０が、入力画像に基づいて、撮影された画像中のどこに顔があるかを計算する顔位置計算部３０を有している。デジタルカメラ３は、顔位置計算部３０によって計算された顔の位置に基づいて、ＬＥＤ３１の点滅の制御を行う。
【００４８】
図８は、第３の実施の形態のデジタルスチルカメラ３の動作を示す図である。なお、デジタルスチルカメラ３が、被撮影者のウィンクを検出することによってシャッター１３を切る動作は、第１の実施の形態と同じである。図８では、顔の位置を被撮影者に知らせる動作を示している。
【００４９】
デジタルスチルカメラ３は、撮像素子１２にて撮像を行い、撮像によって得られた画像データを画像処理部２０に入力する（Ｓ４０）。画像処理部２０は、撮像された画像から顔画像の検出処理を行い、顔画像が検出されたか否かを判定する（Ｓ４１）。顔画像が検出されると（Ｓ４１でＹＥＳ）、画像処理部２０の顔位置計算部３０は、入力画像のどの領域で、顔画像が検出されたかを計算する（Ｓ４２）。
【００５０】
顔位置計算部３０は、計算された顔の位置に基づいて、ＬＥＤ３１の点滅制御を行う。具体的には、顔位置計算部３０は、被撮影者がどちらに移動すれば、顔が画面の中央に来るかを計算し、被撮影者が移動すべき方向をＬＥＤ３１の点滅によって被撮影者に知らせる。
【００５１】
例えば、図９に示すように、デジタルスチルカメラ３の裏面のモニター３２に顔が写っている場合、被撮影者が矢印の方向が動けば、顔が画面の中央にくることになる。従って、図１０に示すように、左側のＬＥＤ３１を点滅させることにより（図１０では、黒く塗りつぶして点滅を示している）、被撮影者に左側に動くべきことを知らせる。
以上、本発明の第３の実施の形態のデジタルスチルカメラ３について説明した。
【００５２】
第３の実施の形態のデジタルスチルカメラ３は、前面に設けたＬＥＤ３１によって、被撮影者に、顔が中央にくるようにするために移動すべき方向を知らせる。これにより、被撮影者を画面の中央に写すことができる。
【００５３】
なお、本実施の形態では、被撮影者に顔の位置を知らせる手段として、ＬＥＤ３１の点滅を例に説明したが、被撮影者に顔位置を知らせる手段はＬＥＤに限られない。例えば、音声等を用いて案内してもよい。
【００５４】
また、本実施の形態では、第１の実施の形態のデジタルスチルカメラ１に対してＬＥＤ３１を設けた例について説明したが、顔位置を報知する構成は、第２の実施の形態のデジタルスチルカメラにも適用することができる。
【００５５】
本実施の形態では、被撮影者が１人の場合について説明したが、被撮影者が複数人である場合には、例えば、複数人の顔を検出し、検出された複数の顔の位置の重心を用いて同様の処理をすることができる。また、第２の実施の形態のデジタルスチルカメラに適用する場合には、登録特徴量記憶部２６に登録された人物の顔位置が中央にくるように処理を行うこともできる。
【００５６】
（第４の実施の形態）
次に、本発明の第４の実施の形態のデジタルスチルカメラについて説明する。第４の実施の形態のデジタルスチルカメラは、被撮影者の口の動きによりシャッターを切るデジタルスチルカメラである。第４の実施の形態のデジタルスチルカメラの基本的な構成は、第１の実施の形態のデジタルスチルカメラ１と同じであるが（図１参照）、画像処理部２０の構成が異なる。
【００５７】
図１１は、第４の実施の形態における画像処理部２０の構成を示す図である。第４の実施の形態における画像処理部２０は、顔画像検出部２１と、口検出部３３と、口追跡部３４と、口動作検出部３５とを備えている。口検出部３３は、顔画像から口の画像を検出する。口追跡部３４は、口検出部３３にて検出された口画像を追跡する機能を有する。口動作検出部３５は、口追跡部３４にて追跡された口の情報に基づいて、口の動作を検出する機能を有する。
【００５８】
図１２は、第４の実施の形態のデジタルスチルカメラによる静止画の撮影の動作を示す図である。操作部１８によってリモート撮影モードを選択すると、デジタルスチルカメラは、被写体を動画モードで撮影し、撮影されたフレーム毎の画像を画像処理部２０に入力する。すなわち、デジタルスチルカメラは、撮像素子１２にて得られる画像信号をＡ／Ｄ変換部１４でデジタル信号に変換し、変換されたデジタル信号をモード切替部１６を介して画像処理部２０に入力する（Ｓ５０）。
【００５９】
次に、画像処理部２０の顔検出部２１は、入力された各フレーム画像データに対して、顔検出処理を行い、顔画像が検出されたか否かを判定する（Ｓ５１）。顔検出部２１にて、顔画像が検出されなかった場合には（Ｓ５１でＮＯ）、画像処理部２０は、次フレームの画像の入力を待つ（Ｓ５０）。顔検出部１２にて、顔画像が検出された場合には（Ｓ５１でＹＥＳ）、口検出部３３による処理を行う。
【００６０】
口検出部３３は、顔が検出された領域に対して、口の画像を検出する処理を行う（Ｓ５２）。口検出部３３は、例えば、テンプレート画像を作成し、検索領域に対してテンプレートマッチングを行う方法によって口の画像を検出する。口の検出画像は、例えば、テンプレートマッチングを行い、最も類似度の高かった画像を口の画像とする。口の画像の検出が行われると、口追跡部３４に口の検出位置と検出画像が渡される。
【００６１】
口追跡部３４は、前フレームの口画像との比較し、口の画像を追跡し、追跡できたか否かを判定する（Ｓ５３）。口追跡部３４は、現フレームでの口の検出位置が、前フレームでの口の検出位置を含む所定の範囲内に含まれている場合には、口の追跡に成功したと判定し、現フレームでの口の位置が所定の範囲外にあった場合には、口の追跡に失敗した判定する。口追跡部３４は、口の追跡に失敗した場合には、現フレームから口の追跡を再スタートする。
【００６２】
画像処理部２０の口動作検出部３５は、口の検出位置と検出画像に基づいて、口に動きがあった否かの判定を行う。口動作検出部３５は、口が開いている、もしくは閉じている状態を検知し、次に口が閉じた、もしくは開いた状態が検知されたときに口の動作があった判定する。口が開いているか閉じているかの判定は、口検出部３３において、口の開いているテンプレートと口の閉じているテンプレートを用意しておき、状態の遷移を検出する。
【００６３】
口動作検出部３５は、口の開閉動作を検出すると、口の開閉動作の検出情報をモード設定部１７に通知する。モード設定部１７は、口の開閉動作の検出情報をトリガーとして、シャッター１３を切り、静止画を撮影する（Ｓ５５）。モード設定部１７がシャッター１３を切るタイミングは、口の開閉動作の検出情報が通知されたタイミングと同時でもよいし、口の開閉動作の検出情報の通知を受けてから一定の時間が経過してからでもよい。口の開閉動作を検出してからシャッター１３を切るまでの時間は、操作部１８にて設定することができる。
【００６４】
デジタルスチルカメラの撮像素子１２は、シャッター１３が切られると静止画を撮像し、撮像した静止画像のデータをメモリ１６に保存する（Ｓ５６）。以上、第４の実施の形態のデジタルスチルカメラの構成および動作について説明した。
【００６５】
第４の実施の形態のデジタルスチルカメラは、動画モードで撮影した動画像から口の画像を検出し、口の開閉動作を検出したときにシャッター１３を切る。これにより、被撮影者の望むタイミングで静止画の撮影を行うことができる。
【００６６】
本実施の形態では、撮影された画像中に顔が一つだけ写っている場合について説明したが、複数の顔が写っている場合は、複数人の口を追跡し、だれか一人でも口を開閉したときにシャッター１３を切る構成としてもよい。
【００６７】
また、上記実施の形態では、口の動作として、口の開閉のみに着目したが、何か言葉を発する時の口の動きを検出してもよい。
【００６８】
以上、本発明の実施の形態に係るデジタルスチルカメラについて実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００６９】
また、本発明のデジタルスチルカメラは、顔認識システムにおける登録画像や照合画像の撮影等にも応用できる。認証のために撮影を行う際には、被撮影者の顔の向きや表情等は、登録時と同じであることが望ましい。しかし、登録画像や照合画像の撮影を自動で行う場合、顔の向きや表情の変化してしまうことが往々にしてある。本発明を用いることにより、被撮影者が撮影のタイミングを決定できるので、撮影時の顔の向きや表情等を一定にすることができ、認証精度を向上することができる。
【産業上の利用可能性】
【００７０】
以上説明したように、本発明は、遠隔操作により被撮影者の望むタイミングでシャッターを切ることができ、動画撮影モードと静止画撮影モードを有するデジタルスチルカメラ等として有用である。
【図面の簡単な説明】
【００７１】
【図１】第１の実施の形態のデジタルスチルカメラの構成を示す図
【図２】第１の実施の形態のデジタルスチルカメラの動作を示す図
【図３】第２の実施の形態における画像処理部の構成を示す図
【図４】第２の実施の形態のデジタルスチルカメラの顔画像の登録動作を示す図
【図５】第２の実施の形態のデジタルスチルカメラの撮像動作を示す図
【図６】第３の実施の形態のデジタルスチルカメラの構成を示す図
【図７】第３の実施の形態のデジタルスチルカメラの外観を示す図
【図８】第３の実施の形態のデジタルスチルカメラの動作を示す図
【図９】第３の実施の形態のデジタルスチルカメラの動作時の外観を示す図
【図１０】第３の実施の形態のデジタルスチルカメラの動作時の外観を示す図
【図１１】第４の実施の形態における画像処理部の構成を示す図
【図１２】第４の実施の形態のデジタルスチルカメラの動作を示す図
【符号の説明】
【００７２】
１，３  撮像装置
１１  レンズ
１２  撮像素子
１３  シャッター
１４  Ａ／Ｄ変換部
１５  メモリ
１６  モード切替部
１７  モード設定部
１８  操作部
２０  画像処理部
２１  顔検出部
２２  目検出部
２３  目追跡部
２４  ウィンク検出部
２５  特徴量生成部
２６  登録特徴量記憶部
２７  照合特徴量記憶部
２８  顔照合部
２９  判定部
３０  顔位置計算部
３１  ＬＥＤ
３２  モニタ
３３  口検出部
３４  口追跡部
３５  口動作検出部
【図１】
2008072183.tif 000003
【図２】
2008072183.tif 000004
【図３】
2008072183.tif 000005
【図４】
2008072183.tif 000006
【図５】
2008072183.tif 000007
【図６】
2008072183.tif 000008
【図７】
2008072183.tif 000009
【図８】
2008072183.tif 000010
【図９】
2008072183.tif 000011
【図１０】
2008072183.tif 000012
【図１１】
2008072183.tif 000013
【図１２】
2008072183.tif 000014