(57)【要約】【課題】指示タイミングに基づいて撮影タイミングを適応的に決定できる制御装置及び撮像装置等の提供。【解決手段】制御装置は、時系列の指示タイミングである第１〜第ｎの指示タイミングを取得する指示タイミング取得部と、取得された前記第１〜第ｎの指示タイミングのうちの少なくとも第ｉの指示タイミングと第ｋの指示タイミングとに基づいて、前記第ｎの指示タイミングと撮影タイミングとの間の時間差を算出する時間差算出部と、第ｎの指示タイミングから時間差に対応する時間が経過したタイミングで撮影が行われるように、撮像部を制御する撮影制御部を含む。【選択図】図２
2010183160.tif 000002
【特許請求の範囲】
【請求項１】
時系列の指示タイミングである第１〜第ｎ（ｎは２以上の整数）の指示タイミングを取得する指示タイミング取得部と、
取得された前記第１〜第ｎの指示タイミングのうちの少なくとも第ｉの指示タイミングと第ｋの指示タイミング（１≦ｉ＜ｋ≦ｎ）とに基づいて、前記第ｎの指示タイミングと撮影タイミングとの間の時間差を算出する時間差算出部と、
前記第ｎの指示タイミングから前記時間差に対応する時間が経過したタイミングで撮影が行われるように、撮像部を制御する撮影制御部と、
を含むことを特徴とする制御装置。
【請求項２】
請求項１において、
前記第ｋの指示タイミングは前記第ｎの指示タイミングであり、
前記時間差算出部は、
少なくとも前記第ｊの指示タイミングと前記第ｎの指示タイミングとに基づいて、前記時間差を算出することを特徴とする制御装置。
【請求項３】
請求項１又は２において、
前記時間差算出部は、
前記第ｉの指示タイミングと第ｊの指示タイミングとの間の第１の時間間隔と、前記第ｊの指示タイミングと前記第ｋの指示タイミング（１≦ｉ＜ｊ＜ｋ≦ｎ）との間の第２の時間間隔とに基づいて、前記時間差を算出することを特徴とする制御装置。
【請求項４】
請求項３において、
前記時間差算出部は、
前記第１の時間間隔と前記第２の時間間隔の平均値に基づいて、前記時間差を算出することを特徴とする制御装置。
【請求項５】
請求項３において、
前記時間差算出部は、
前記第１の時間間隔に対する前記第２の時間間隔の変化量を求め、求められた前記変化量に基づいて前記時間差を算出することを特徴とする制御装置。
【請求項６】
請求項５において、
前記時間差算出部は、
前記第２の時間間隔の方が前記第１の時間間隔よりも短い場合に前記時間差が小さくように、時間差算出処理を行うことを特徴とする制御装置。
【請求項７】
請求項５又は６において、
前記時間差算出部は、
前記第２の時間間隔の方が前記第１の時間間隔よりも長い場合に前記時間差が大きくなるように、時間差算出処理を行うことを特徴とする制御装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記指示タイミング取得部は、
マイクからの音声信号の振幅レベルが所定しきい値を超える期間が、所定時間以上である場合に、１音節の音声が検出されたと判断し、前記１音節の開始時刻、終了時刻、及び前記開始時刻と前記終了時刻との間の中間時刻の少なくとも１つに基づいて、前記第１〜第ｎの指示タイミングの各指示タイミングを取得することを特徴とする制御装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記指示タイミング取得部は、
マイクからの音声信号により検知された人間の音声及び前記撮像部からの撮像画像により検知された人間の動作の少なくとも一方に基づいて、前記第１〜第ｎの指示タイミングを取得することを特徴とする制御装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記撮像部からの時系列の複数の撮像画像に基づいてオプティカルフローを求め、人間の動作を検知する動作検知部を含み、
前記指示タイミング取得部は、
検知された人間の動作の開始時刻、終了時刻、及び前記開始時刻と前記終了時刻との間の中間時刻の少なくとも１つに基づいて、前記第１〜第ｎの指示タイミングの各指示タイミングを取得することを特徴とする制御装置。
【請求項１１】
請求項１０において、
前記動作検知部は、
前記オプティカルフローのベクトルの大きさが所定値以上になる領域を注目領域として検出し、前記注目領域でのオプティカルフローのベクトルの方向の変化又は前記注目領域の位置の変化を検出して、人間の動作を検知することを特徴とする制御装置。
【請求項１２】
請求項１０において、
前記動作検知部は、
前記オプティカルフローのベクトルの方向についてのヒストグラムを作成し、作成された前記ヒストグラムにおいてベクトルの方向が第１の方向から反対の第２の方向に変化した領域を検出して、人間の動作を検知することを特徴とする制御装置。
【請求項１３】
請求項１０乃至１２のいずれかにおいて、
前記動作検知部は、
人間の部位領域が元の位置から他の位置に移動し、その後に前記元の位置に戻ったことが、前記オプティカルフローにより検出された場合に、前記各指示タイミングに対応する指示動作が検知されたと判断し、
前記指示タイミング取得部は、
検知された前記指示動作の開始時刻、終了時刻、及び前記開始時刻と前記終了時刻との間の中間時刻の少なくとも１つに基づいて、前記第１〜第ｎの指示タイミングの各指示タイミングを取得することを特徴とする制御装置。
【請求項１４】
請求項１０乃至１３のいずれかにおいて、
前記撮像部からの撮像画像に基づいて人物認識を行う人物認識部を含み、
前記動作検知部は、
前記人物認識より人間の部位領域が認識された場合に、認識された前記部位領域についてのオプティカルフローを求め、人間の動作を検知することを特徴とする制御装置。
【請求項１５】
請求項１乃至１４のいずれかにおいて、
マイクからの音声信号に基づいて人間の音声を認識する音声認識部を含み、
前記音声認識部により人間の音声が認識されなかった場合には、前記時間差の算出処理、及び前記時間差に基づく前記撮像部の制御処理をスキップすることを特徴とする制御装置。
【請求項１６】
請求項１乃至１５のいずれかにおいて、
前記撮像部からの撮像画像に基づいて人物認識を行う人物認識部を含み、
前記人物認識部により人物が認識されなかった場合には、前記時間差の算出処理、及び前記時間差に基づく前記撮像部の制御処理をスキップすることを特徴とする制御装置。
【請求項１７】
請求項１乃至１６のいずれかにおいて、
マイクからの音声信号に基づいて人間の音声を認識する音声認識部を含み、
前記撮影制御部は、
前記音声認識部で認識された音声のパターンが、予め登録された登録音声パターンと一致した場合には、前記登録音声パターンに対応する撮影制御を行うことを特徴とする制御装置。
【請求項１８】
請求項１乃至１７のいずれかにおいて、
前記撮像部からの撮像画像に基づいて、人間の動作を検知する動作検知部を含み、
前記撮影制御部は、
前記動作検知部で検知された人間の動作パターンが、予め登録された登録動作パターンと一致した場合には、前記登録動作パターンに対応する撮像制御を行うことを特徴とする制御装置。
【請求項１９】
請求項１乃至１８のいずれかにおいて、
マイクからの音声信号に基づいて人間の音声を認識する音声認識部を含み、
前記指示タイミング取得部は、
前記音声認識部での音声認識結果に基づいて、前記第１〜第ｎの指示タイミングの指示タイミング数ｎを特定することを特徴とする制御装置。
【請求項２０】
請求項１乃至１８のいずれかにおいて、
前記第１〜第ｎの指示タイミングの指示タイミング数ｎをユーザーが任意の値に設定するための指示タイミング数設定部を含み、
前記指示タイミング取得部は、
設定された前記指示タイミング数nを用いて、前記第１〜第nの指示タイミングを取得することを特徴とする制御装置。
【請求項２１】
請求項１乃至２０のいずれかに記載の制御装置と、
被写体を撮像するための撮像部と、
を含むことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置及び撮像装置等に関係する。
【背景技術】
【０００２】
デジタルカメラや銀塩カメラなどの撮像装置では、リモートレリーズと呼ばれる遠隔撮影機構が設けられている。例えばカメラで自分撮りをする場合や、集合写真などを撮る場合に、このリモートレリーズが利用される。
【０００３】
このようなリモートレリーズやフォーカス調整を、音声認識により実現する従来技術も知られている。例えば特許文献１には、人間の音声の合図が送られた後、ポーズや表情をとるためにユーザーが指定する任意の時間が経過してから、シャッターを切るためのレリーズ制御を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３０５６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、デジタルカメラなどの撮像装置では、ユーザーが声でシャッタータイミングを指示するときに、発声が終わってから直ぐにシャッターを切って欲しい場面や、しばらくのためが欲しい場面などの種々のニーズが考えられる。
【０００６】
しかしながら、そのような各場面に応じて、カメラ本体の設定を変更するのは煩雑である。また、設定を逐一変更したとしても、人の発声の調子に合わせたシャッタータイミングを実現することはできない。
【０００７】
本発明の幾つかの態様によれば、指示タイミングに基づいて撮影タイミングを適応的に決定できる制御装置及び撮像装置等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、時系列の指示タイミングである第１〜第ｎ（ｎは２以上の整数）の指示タイミングを取得する指示タイミング取得部と、取得された前記第１〜第ｎの指示タイミングのうちの少なくとも第ｉの指示タイミングと第ｋの指示タイミング（１≦ｉ＜ｋ≦ｎ）とに基づいて、前記第ｎの指示タイミングと撮影タイミングとの間の時間差を算出する時間差算出部と、前記第ｎの指示タイミングから前記時間差に対応する時間が経過したタイミングで撮影が行われるように、撮像部を制御する撮影制御部とを含む制御装置に関係する。
【０００９】
本発明の一態様によれば、時系列の第１〜第ｎの指示タイミングが取得され、取得された第１〜第ｎの指示タイミングのうちの少なくとも第ｉの指示タイミングと、第ｋの指示タイミング（例えば第ｉ＋１のタイミング、第ｉ＋２のタイミング）に基づいて、撮影タイミングとの間の時間差が算出される。そして算出された時間差に対応する時間が経過したタイミングで撮影が行われるようになる。このようにすれば、指示タイミングに基づいて撮影タイミングが適応的に決定できるようになり、これまでにない撮影制御を実現できる。
【００１０】
また本発明の一態様では、前記第ｋの指示タイミングは前記第ｎの指示タイミングであり、前記時間差算出部は、少なくとも前記第ｊの指示タイミングと前記第ｎの指示タイミングとに基づいて、前記時間差を算出してもよい。
【００１１】
このようにすれば、第ｊの指示タイミング（例えば第ｎ−１の指示タイミング）と最後の第ｎの指示タイミングを用いて時間差が算出されるようになる。従って、第ｎの指示タイミングと撮影タイミングとの時間差を精度良く決定でき、撮影タイミングについてのユーザーの意思についても、より反映できるようになる。
【００１２】
また本発明の一態様では、前記時間差算出部は、前記第ｉの指示タイミングと第ｊの指示タイミングとの間の第１の時間間隔と、前記第ｊの指示タイミングと前記第ｋの指示タイミング（１≦ｉ＜ｊ＜ｋ≦ｎ）との間の第２の時間間隔とに基づいて、前記時間差を算出してもよい。
【００１３】
このようにすれば、第ｉの指示タイミングと第ｊの指示タイミング（例えば第ｉ＋１の指示タイミング）の第１の時間間隔と、第ｊの指示タイミングと第ｋの指示タイミング（例えば第ｉ＋２の指示タイミング）の第２の時間間隔により、時間差が算出されるようになり、時間間隔を反映させた撮影タイミングの設定を実現できる。
【００１４】
また本発明の一態様では、前記時間差算出部は、前記第１の時間間隔と前記第２の時間間隔の平均値に基づいて、前記時間差を算出してもよい。
【００１５】
このようにすれば、例えば時間間隔が短い場合には時間差を小さくし、時間間隔が長い場合には時間差を大きくするなどの制御が可能になる。
【００１６】
また本発明の一態様では、前記時間差算出部は、前記第１の時間間隔に対する前記第２の時間間隔の変化量を求め、求められた前記変化量に基づいて前記時間差を算出してもよい。
【００１７】
このようにすれば第１、第２の時間間隔の変化量を反映した撮影タイミングの設定が可能になる。
【００１８】
また本発明の一態様では、前記時間差算出部は、前記第２の時間間隔の方が前記第１の時間間隔よりも短い場合に前記時間差が小さくように、時間差算出処理を行ってもよい。
【００１９】
このようにすれば、例えば指示タイミングのテンポが段階的に速くなる場合に、第ｎのタイミングと撮影タイミングの時間差を小さくできる。
【００２０】
また本発明の一態様では、前記時間差算出部は、前記第２の時間間隔の方が前記第１の時間間隔よりも長い場合に前記時間差が大きくなるように、時間差算出処理を行ってもよい。
【００２１】
このようにすれば、例えば指示タイミングのテンポが段階的に遅くなる場合に、第ｎのタイミングと撮影タイミングの時間差を大きくできる。
【００２２】
また本発明の一態様では、前記指示タイミング取得部は、マイクからの音声信号の振幅レベルが所定しきい値を超える期間が、所定時間以上である場合に、１音節の音声が検出されたと判断し、前記１音節の開始時刻、終了時刻、及び前記開始時刻と前記終了時刻との間の中間時刻の少なくとも１つに基づいて、前記第１〜第ｎの指示タイミングの各指示タイミングを取得してもよい。
【００２３】
このようにすれば、音声の中の１音節を１つの指示タイミングとして、第１〜第ｎの指示タイミングの各指示タイミングを取得できる。
【００２４】
また本発明の一態様では、前記指示タイミング取得部は、マイクからの音声信号により検知された人間の音声及び前記撮像部からの撮像画像により検知された人間の動作の少なくとも一方に基づいて、前記第１〜第ｎの指示タイミングを取得してもよい。
【００２５】
このようにすれば、ユーザーは、音声による指示や動作による指示により指示タイミングを入力できるようになる。
【００２６】
また本発明の一態様では、前記撮像部からの時系列の複数の撮像画像に基づいてオプティカルフローを求め、人間の動作を検知する動作検知部を含み、前記指示タイミング取得部は、検知された人間の動作の開始時刻、終了時刻、及び前記開始時刻と前記終了時刻との間の中間時刻の少なくとも１つに基づいて、前記第１〜第ｎの指示タイミングの各指示タイミングを取得してもよい。
【００２７】
このようにすれば、オプティカルフローの処理により人間の動作を検知して、各指示タイミングを取得できるようになる。
【００２８】
また本発明の一態様では、前記動作検知部は、前記オプティカルフローのベクトルの大きさが所定値以上になる領域を注目領域として検出し、前記注目領域でのオプティカルフローのベクトルの方向の変化又は前記注目領域の位置の変化を検出して、人間の動作を検知してもよい。
【００２９】
このようにすれば、オプティカルフローを利用した簡素な処理により、人間の動作を検知して、各指示タイミングを取得できるようになる。
【００３０】
また本発明の一態様では、前記動作検知部は、前記オプティカルフローのベクトルの方向についてのヒストグラムを作成し、作成された前記ヒストグラムにおいてベクトルの方向が第１の方向から反対の第２の方向に変化した領域を検出して、人間の動作を検知してもよい。
【００３１】
このようにすれば、人間が回帰的動作を１回行ったことを、ヒストグラムにおけるオプティカルフローのベクトルの方向の変化から検出できるようになる。
【００３２】
また本発明の一態様では、前記動作検知部は、人間の部位領域が元の位置から他の位置に移動し、その後に前記元の位置に戻ったことが、前記オプティカルフローにより検出された場合に、前記各指示タイミングに対応する指示動作が検知されたと判断し、前記指示タイミング取得部は、検知された前記指示動作の開始時刻、終了時刻、及び前記開始時刻と前記終了時刻との間の中間時刻の少なくとも１つに基づいて、前記第１〜第ｎの指示タイミングの各指示タイミングを取得してもよい。
【００３３】
このようにすれば、人間が回帰的な動作を1回行ったことを、１回の指示動作として検知して、各指示タイミングを取得できるようになる。
【００３４】
また本発明の一態様では、前記撮像部からの撮像画像に基づいて人物認識を行う人物認識部を含み、前記動作検知部は、前記人物認識より人間の部位領域が認識された場合に、認識された前記部位領域についてのオプティカルフローを求め、人間の動作を検知してもよい。
【００３５】
このようにすれば、部位領域以外の領域での背景物の動きを原因とする誤動作等を防止できる。
【００３６】
また本発明の一態様では、マイクからの音声信号に基づいて人間の音声を認識する音声認識部を含み、前記音声認識部により人間の音声が認識されなかった場合には、前記時間差の算出処理、及び前記時間差に基づく前記撮像部の制御処理をスキップしてもよい。
【００３７】
このようにすれば、意味のある音声が発声された場合にだけ、時間差算出処理等が行われるようになるため、誤動作の防止等を実現できる。
【００３８】
また本発明の一態様では、前記撮像部からの撮像画像に基づいて人物認識を行う人物認識部を含み、前記人物認識部により人物が認識されなかった場合には、前記時間差の算出処理、及び前記時間差に基づく前記撮像部の制御処理をスキップしてもよい。
【００３９】
このようにすれば、人物が認識された場合にだけ、時間差算出処理等が行われるようになるため、誤動作の防止等を実現できる。
【００４０】
また本発明の一態様では、マイクからの音声信号に基づいて人間の音声を認識する音声認識部を含み、前記撮影制御部は、前記音声認識部で認識された音声のパターンが、予め登録された登録音声パターンと一致した場合には、前記登録音声パターンに対応する撮影制御を行ってもよい。
【００４１】
このようにすれば、音声の指示による撮影タイミングの設定のみならず、音声パターンに応じた撮影制御も実現できる。
【００４２】
また本発明の一態様では、前記撮像部からの撮像画像に基づいて、人間の動作を検知する動作検知部を含み、前記撮影制御部は、前記動作検知部で検知された人間の動作パターンが、予め登録された登録動作パターンと一致した場合には、前記登録動作パターンに対応する撮像制御を行ってもよい。
【００４３】
このようにすれば、動作指示による撮影タイミングの設定のみならず、動作パターンに応じた撮影制御も実現できる。
【００４４】
また本発明の一態様では、マイクからの音声信号に基づいて人間の音声を認識する音声認識部を含み、前記指示タイミング取得部は、前記音声認識部での音声認識結果に基づいて、前記第１〜第ｎの指示タイミングの指示タイミング数ｎを特定してもよい。
【００４５】
このようにすれば、指示タイミング数ｎを音声認識により自動的に設定できるようになる。
【００４６】
また本発明の一態様では、前記第１〜第ｎの指示タイミングの指示タイミング数ｎをユーザーが任意の値に設定するための指示タイミング数設定部を含み、前記指示タイミング取得部は、設定された前記指示タイミング数nを用いて、前記第１〜第nの指示タイミングを取得してもよい。
【００４７】
このようにすれば、ユーザーは、指示タイミング数を、自身が所望する任意の値に設定できるようになる。
【００４８】
また本発明の他の態様は、上記のいずれかに記載の制御装置と、被写体を撮像するための撮像部とを含む撮像装置に関係する。
【図面の簡単な説明】
【００４９】
【図１】本実施形態の第１の構成例。
【図２】時間差算出処理の説明図。
【図３】音声の指示によるリモートレリーズ手法の説明図。
【図４】音声の指示によるモートレリーズ手法の説明図。
【図５】本実施形態の処理を説明するためのフローチャート。
【図６】図６（Ａ）、図６（Ｂ）は音声信号から指示タイミングを取得する手法の説明図。
【図７】時間差算出処理を説明するためのフローチャート。
【図８】図８（Ａ）、図８（Ｂ）は時間差算出処理の説明図。
【図９】本実施形態の第２の構成例。
【図１０】オプティカルフローを用いる手法の説明図。
【図１１】人間の動作指示によるリモートレリーズ手法の説明図。
【図１２】本実施形態の処理を説明するためのフローチャート。
【図１３】図１３（Ａ）〜図１３（Ｄ）はオプティカルフローにより動作を検出する手法の説明図。
【図１４】図１４（Ａ）〜図１４（Ｃ）はオプティカルフローのヒストグラムを作成して動作を検出する手法の説明図。
【図１５】本実施形態の第３の構成例。
【図１６】本実施形態の処理を説明するためのフローチャート。
【図１７】本実施形態の処理を説明するためのフローチャート。
【図１８】図１８（Ａ）、図１８（Ｂ）は登録音声パターンとの一致を判断して撮影を制御するリモートレリーズ手法の説明図。
【図１９】図１９（Ａ）、図１９（Ｂ）は検出された部位領域にオプティカルフローの処理を適用する手法の説明図。
【発明を実施するための形態】
【００５０】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５１】
１．第１の構成
本実施形態では、デジタルカメラ等の撮像装置を用いて、ユーザー（操作者）が任意のタイミングで遠隔撮影リモートレリーズを行う場合に、ユーザーの音声等の指示による時系列の指示タイミングに基づいて、シャッターを切るタイミング等の撮影タイミングを適応的に決定する例について説明する。具体的には後述する図３に示すように、例えばユーザーが「３」、「２」、「１」と発声したとする。すると、その「３」、「２」、「１」の指示タイミングに基づいて、発声せずにポーズなどを取る「０」のタイミングを求め、その撮影タイミングでシャッター（広義には対象装置）を動作させる。また図４に示すように、ユーザーが「はい」、「チーズ」と発声すると、「チーズ」の発声後の撮影タイミングまでの時間差を自動的に求めて、その時間差の経過後にシャッターを動作させる。
【００５２】
図１に本実施形態の制御装置５０及び制御装置５０を含む撮像装置（電子機器）の第１の構成例を示す。図１の撮像装置は、撮像部２０、制御装置５０を含む。また操作部４０、記憶部７０、表示部８０、マイク９０、画像処理部１００を含むことができる。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５３】
図１では、撮像装置として例えばデジタルカメラやビデオカメラなどの電子カメラを想定している。但し本実施形態は電子カメラには限定されず、例えば携帯型情報端末、携帯電話機、携帯型ゲーム機等に用いられる種々の撮像装置に適用できる。
【００５４】
撮像部２０は被写体（撮像対象物）を撮像するためのものであり、光学系１０、撮像素子３０を含む。またＡＦＥ（Analog Front End）３２、シャッター駆動部３４、フォーカス調整部３６を含むことができる。
【００５５】
光学系１０は、画像（静止画、動画）を撮像するための例えば複数のレンズで構成され、フォーカスレンズやズームレンズを含むことができる。フォーカスレンズはフォーカス調整のためのレンズであり、例えば光軸方向に沿って移動可能な構成になっている。また光学系１０はシャッター機構を含むことができる。
【００５６】
撮像素子３０（イメージセンサ）は、光学系１０によって結合した画像を撮像するための素子（光電変換素子）であり、ＣＣＤ、ＣＯＭＳセンサなどである。ＡＦＥ３２は、撮像素子２０から出力されたアナログの画像信号をデジタルの画像信号（輝度情報）に変換する回路である。
【００５７】
シャッター駆動部３４は、シャッターの駆動制御を行う。シャッターはメカニカルシャッターであってもよいし、電子シャッターであってもよい。メカニカルシャッターでは、撮像素子３０に入射する光の経路を、機械的に開放したり遮断することで、撮像素子３０の露光時間を制御する。電子シャッターでは、撮像素子３０が光を有効な電気信号に変換する期間を、撮像素子３０（ＡＦＥ３２）に組み込まれている回路によって制御する。本実施形態の撮像タイミングは、例えばメカニカルシャッターや電子シャッターを動作させて被写体を撮影するタイミングである。
【００５８】
フォーカス調整部３６はフォーカスの調整を行うためのものであり、例えば光学系１０でのフォーカスを調整する。具体的には光学系１０のフォーカスレンズのレンズ位置を光軸方向に沿って移動させることで、フォーカス調整を実現する。
【００５９】
画像処理部１００（画像処理装置、画像処理エンジン）は、撮像部２０からの画像信号に対して種々の画像処理を行うものであり、例えば専用のＡＳＩＣ或いはＤＳＰ等の各種プロセッサにより実現できる。
【００６０】
操作部４０は、ユーザー（操作者）が撮像装置の各種設定を行ったり、各種情報を入力するためのものであり、各種のボタン、スイッチ、ダイヤルなどにより実現できる。なお表示部８０がタッチパネルディスプレイにより構成される場合には、表示部８０も操作部として機能することになる。
【００６１】
制御装置５０（制御部）は、撮像装置の全体の制御や各種の演算処理を行うものであり、ＣＰＵ等の各種プロセッサ或いは専用のＡＳＩＣにより実現できる。例えば制御装置５０は、記憶部７０に記憶されたプログラムに基づいて各種の制御処理や演算処理を実行してもよい。
【００６２】
記憶部７０は、画像処理部１００や制御装置５０のワーク領域として機能したり、撮像により得られた画像データを記憶（保存）するためのものであり、ＲＡＭやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００６３】
表示部８０は、例えば液晶パネルや有機ＥＬパネル等の電気光学パネル、ＥＶＦ（電子ビューファインダー）などにより実現されるものであり、スルー画像やＧＵＩ（Graphical User Interface）画面などの各種画像を表示する。
【００６４】
マイク９０（音センサ）は、音を電気信号に変換するものであり、音の物理量である音圧を測定するマイクロホンにより構成される。マイクロフォンとしては、ムービング・コイル型やリボン型のダイナミックマイクロフォンや、音声信号の振動による静電容量の変化を検知するコンデンサ型のマイクロフォンや、圧電効果を利用する圧電型のマイクロフォンや、カーボン型のマイクロフォンなどがある。
【００６５】
制御装置５０は、指示タイミング取得部５２、時間差算出部５４、撮影制御部５６、指示タイミング数設定部５７を含む。なおこれらの構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００６６】
指示タイミング取得部５２は、時系列の指示タイミングである第１〜第ｎ（ｎは２以上の整数）の指示タイミングを取得する。例えば図３において、ユーザーが「３」、「２」、「１」と発声すると、この音声がマイク９０により検知され、「３」、「２」、「１」の各音声に対応して、時系列の第１、第２、第３の各指示タイミング（広義には第１〜第ｎの指示タイミング）が取得される。
【００６７】
時間差算出部５４は時間差の算出処理を行う。具体的には、取得された第１〜第ｎの指示タイミングのうちの少なくとも第ｉの指示タイミングと第ｋの指示タイミング（１≦ｉ＜ｋ≦ｎ）とに基づいて、第ｎの指示タイミングと撮影タイミングとの間の時間差を算出（予測）する。
【００６８】
例えば図３の「３」、「２」、「１」の音声の発声により、図２の第１、第２、第３の指示タイミングＴＭ１、ＴＭ２、ＴＭ３が取得される。この場合には、これらの第１、第２、第３の指示タイミングＴＭ１、ＴＭ２、ＴＭ３（広義には第１〜第ｎの指示タイミング）のうちの少なくとも２つの指示タイミング（広義には第ｉ、第ｋの指示タイミング）に基づいて、第３の指示タイミングＴＭ３（広義には第ｎの指示タイミング）と撮影タイミングＴＭＰ（例えばシャッターを切るタイミング、ビデオカメラ等の撮影ボタンが押されるタイミング）との間の時間差ｄｔが取得される。例えば指示タイミングＴＭ２及びＴＭ３（広義には第ｊの指示タイミング及び第ｎの指示タイミング）に基づいて、時間差ｄｔを算出する。或いはＴＭ１及びＴＭ２に基づいてｄｔを算出したり、ＴＭ１及びＴＭ３に基づいてｄｔを算出したり、ＴＭ１、ＴＭ２及びＴＭ３に基づいてｄｔを算出してもよい。
【００６９】
なお時間差算出部５４は、少なくとも指示タイミングＴＭ２とＴＭ３（広義には第ｊの指示タイミングと第ｎの指示タイミング）に基づいて、時間差ｄｔを算出することが望ましい。このようにすれば例えば「３」、「２」、「１」のうちの最後の「２」と「１」の間の時間間隔等により、時間差ｄｔが制御されるようになる。例えば「２」と「１」の間の時間間隔が長ければ時間差ｄｔが大きくなり、「２」と「１」の間の時間間隔が短ければ時間差ｄｔが小さくなるため、撮影タイミングに対するユーザーの意思をより反映できる。
【００７０】
また時間差算出部５４は、図２に示す指示タイミングＴＭ１とＴＭ２との間の時間間隔ｔ１（広義には第ｉの指示タイミングと第ｊの指示タイミングとの間の第１の時間間隔）と、指示タイミングＴＭ２とＴＭ３との間の時間間隔ｔ２（広義には第ｊの指示タイミングと第ｋの指示タイミングとの間の第２の時間間隔。但し１≦ｉ＜ｊ＜ｋ≦ｎ）とに基づいて、時間差ｄｔを算出することが望ましい。こうすることで、指示タイミング間の時間間隔の平均値や変化量を反映させて、時間差ｄｔを決定できるため、よりインテリジェントなタイミング制御を実現できる。
【００７１】
具体的には時間差算出部５４は、時間間隔ｔ１とｔ２の平均値（例えばｔ１＋ｔ２／２）に基づいて、時間差ｄｔを算出する。或いは時間間隔ｔ１に対するｔ２の変化量ｖｔ（例えば差分値）を求め、求められた変化量ｖｔに基づいて時間差ｄｔを算出する。そして時間間隔ｔ２の方がｔ１よりも短い場合には、時間差ｄｔが小さくように算出処理を行い、時間間隔ｔ２の方がｔ１よりも長い場合には、時間差ｄｔが大きくなるように算出処理を行う。
【００７２】
撮影制御部５６は撮像部２０の制御処理を行う。具体的には、第ｎの指示タイミングから時間差に対応する時間が経過したタイミングで撮影が行われるように、撮像部２０を制御する。例えば撮像部２０に対して撮影指示信号を出力し、これを受けたシャッター制御部３４が、図２に示すように時間差ｄｔの経過後の撮影タイミングＴＭＰでシャッターが動作するようにシャッターを駆動制御する。
【００７３】
指示タイミング数設定部５７は、ユーザーが指示タイミング数n（指示回数、指示信号数）を任意の値に設定するための処理を行う。例えばユーザーがモード設定画面などにおいて操作部４０を用いて指示タイミング数nを入力すると、その指示タイミング数nは記憶部７０に保存される。すると指示タイミング取得部５２は、ユーザーの設定値に基づいて、指示タイミング数nを特定して、第１〜第nの指示タイミングを取得する。
【００７４】
次に図５のフローチャートを用いて本実施形態の処理について説明する。なお以下では図２に示すように第１〜第nの指示タイミングがＴＭ１〜ＴＭ３であり、n＝３の場合について主に説明するが、本実施形態はこれに限定されるものではない。
【００７５】
まず初めに、指示タイミング数設定部５７により指示タイミング数ｎが設定される（ステップＳ１）。例えば図３では、ユーザーが「３」、「２」、「１」と発声して撮影を行うため、音節数は３つになる。従って、ユーザーは指示タイミング数ｎ＝３を、操作部４０（ユーザーインターフェース）を用いて設定する。なお指示タイミング数ｎは３には限定されず、ｎ＝２であったり、ｎ＞３であってもよい。例えば「１０」、「９」・・・・「２」、「１」というように１０カウントを数える場合には、ｎ=１０に設定される。
【００７６】
次に、指示タイミング取得部５２により指示タイミングＴＭ１〜ＴＭ３が取得される（ステップＳ２）。具体的にはユーザーが図３に示すように「３san」、「２ni-」「１ichi」と発声すると、マイク９０により検知された音声は音節ごとに区切られて、「３」、「２」、「１」に対応する指示信号が生成され、これらの指示信号に基づいて指示タイミングＴＭ１〜ＴＭ３が取得される。このようにＴＭ１〜ＴＭ３の各指示タイミングは、各音声が入力されたタイミングになる。
【００７７】
次に、時間差算出部５４が、取得された指示タイミングＴＭ１〜ＴＭ３に基づいて時間差ｄｔを算出する（ステップＳ３）。そして撮影制御部５６が、指示タイミングＴＭ３から時間差ｄｔに対応する時間が経過したタイミングで撮影が行われるように、撮像部２０を制御する（ステップＳ４）。具体的には撮影タイミングＴＭＰで撮影を開始するように制御信号を送る。
【００７８】
次に、各音声から各指示タイミングを取得する手法について説明する。例として、ユーザーが「３san」と音声を入力したときの音声信号の波形例を図６（Ａ）に示す。
【００７９】
図６（Ａ）に示すように、音声信号は複数の波から成り、波の振幅が音の大きさレベルを表し、波の波長が音の高さを表している。ここで、ノイズの影響を消すために所定のしきい値よりも大きい振幅の波のみを残し、かつ所定の時間長以上の波のみを残すと、「３san」というような1音節は一塊の波形として得られる。指示タイミングとしては、一塊の波形の開始時刻ＴＳＴ、終了時刻ＴＥＮ、又はＴＳＴとＴＥＮの間の中間時刻ＴＭＤを利用できる。
【００８０】
具体的には図６（Ｂ）に示すように、マイク９０からの音声信号の振幅レベルが所定しきい値ＶＴを超える期間が、所定時間以上である場合に、１音節の音声が検出されたと判断する。そして１音節の開始時刻ＴＳＴ、終了時刻ＴＥＮ、及びそれらの中間時刻ＴＭＤの少なくとも１つに基づいて、各指示タイミングを取得する。なお、後の処理のためには、指示タイミングとして終了時刻ＴＥＮを用いるのが都合が良い。
【００８１】
以下、同様にして、「３san、「２ni-」、「１ichi」の3つの音節から、図２のＴＭ１、ＴＭ２、ＴＭ３の各指示タイミングを取得する。
【００８２】
次に、時間差ｄｔの算出処理の具体例について図７のフローチャートを用いて説明する。まず、指示信号の入力タイミングである指示タイミングＴＭ１〜ＴＭ３から時間間隔ｔ１、ｔ２を求める（ステップＳ１１）。図２に示すように、ｔ１はＴＭ１とＴＭ２の間の時間間隔であり、ｔ２はＴＭ２とＴＭ３の間の時間間隔であり、下式のように表すことができる。
【００８３】
ｔ１＝ＴＭ２−ＴＭ１           （１）
ｔ２＝ＴＭ３−ＴＭ２           （２）
次に変化量ｖｔを使用しない場合には、時間間隔ｔ１、ｔ２に基づき時間差ｄｔを算出する（ステップＳ１２、Ｓ１３）。時間差ｄｔは図２に示すように、最後の指示タイミングＴＭ３と撮影タイミングＴＭＰとの時間差を表している。ここでは変化量ｖｔを使用しないため、例えば下式のように時間間隔ｔ１、ｔ２の平均値に基づき時間差ｄｔを算出する。
【００８４】
ｄｔ＝（ｔ１＋ｔ２）／２       （３）
なお、時間差ｄｔは、ｔ１、ｔ２の平均値そのものには限定されず、下式のように平均値を引数とする関数値等であってもよい。また関数値は、演算式により求めてもよいし、テーブルデータに引数を入力することで求めてもよい。
【００８５】
ｄｔ＝Ｆ{（ｔ１＋ｔ２）／２}   （４）
変化量ｖｔを使用する場合には、時間間隔ｔ１に対するｔ２の変化量ｖｔを求める（ステップＳ１４）。ここで変化量ｖｔとしては、下式のように時間間隔ｔ２とｔ１が異なる場合の差分値を用いることができる。
【００８６】
ｖｔ＝ｔ２−ｔ１               （５）
なお変化量ｖｔは、ｔ２とｔ１の差分値そのものには限定されず、下式のように差分値を引数とする関数値等であってもよい。
【００８７】
ｖｔ＝Ｇ（ｔ２−ｔ１）         （６）
次に、変化量ｖｔに基づき時間差ｄｔを算出する（ステップＳ１５）。例えば時間差ｄｔは下式のように表すことができる。
【００８８】
ｄｔ＝ｔｂｓ＋ｖｔ             （７）
ここでｔｂｓは、時間差算出処理のための基準時間間隔である。なお上式（６）の場合には変化量ｖｔは下式のように表すことができる。
【００８９】
ｄｔ＝ｔｂｓ＋Ｇ（ｔ２−ｔ１） （８）
このとき、図８（Ａ）に示すように時間間隔ｔ２の方がｔ１よりも短い場合、即ちｔ２＜ｔ１の場合には、時間差ｄｔが小さくなるように時間差算出処理を行う。一方、図８（Ｂ）に示すように、時間間隔ｔ２の方がｔ１よりも長い場合、即ちｔ２＞ｔ１の場合には、時間差ｄｔが大きくなるように時間差算出処理を行う。
【００９０】
このようにすれば、「３」、「２」、「１」のうちの「２」と「１」の間の時間間隔が短ければ、「１」の後のシャッタータイミングが早くなり、「２」と「１」の間の時間間隔が長ければ、「１」の後のシャッタータイミングが遅くなる。従って、ユーザーの意思を反映させたタイミングでシャッターを切ることが可能になる。
【００９１】
以上のように本実施形態によれば、ユーザーが「３」、「２」、「１」と発声した後、発声せずにポーズなどを取る「０」のタイミングでシャッターが自動的に切られるようになる。そして本実施形態では、指示タイミングＴＭ１〜ＴＭ３に基づいて時間差ｄｔが決まるため、ユーザーの声のテンポに合わせてリモートレリーズが行われるようになる。例えば「３」、「２」、「１」の発声のテンポが徐々に遅くなれば、「１」の後のシャッターの切れるタイミングも遅くなり、「３」、「２」、「１」の発声のテンポが徐々に速くなれば、「１」の後のシャッターの切れるタイミングも早くなる。
【００９２】
即ち本実施形態では、ユーザーの発声した音声のタイミング情報を利用する。例えば「はい」、「チーズ」の後にシャッターを切るとすると、「はい」と「チーズ」という二音節の音声信号の時間間隔から、本来ユーザーがシャッターボタンを押すであろうタイミングを決定する。これによって、ゆっくり「はい」「チーズ」と言ったときは撮影までの時間が長くなり、素早く発声したときは直ぐにシャッターが切られる。従って、実際にカメラを手にとって「はい」、「チーズ」と発声しながら撮影する場合と同様の撮影タイミングをユーザに提供できる。
【００９３】
また本実施形態によれば、一般的なデジタルカメラに付属している簡易マイクにより処理を実現でき、また音声認識を行わずに、音レベルの測定のみで処理が可能であるという利点もある。即ち、入力音レベルの検知のみで実現可能できるため、音声認識が必要なく、追加コストが抑えられると共に各国対応が容易になる。このため、ユーザーが発声する音声は図３の「３」、「２」、「１」には限定されず、音節がある発声ならば、図４のような「はい」、「チーズ」でもよく、１０カウントなどであってもよい。
【００９４】
例えば図３のように「３」、「２」、「１」の掛け声でリモートレリーズを行う場合には、Ａ１で指示タイミングＴＭ１が取得され、Ａ２で指示タイミングＴＭ２が取得され、Ａ３で指示タイミングＴＭ３が取得され、ＴＭ３から時間差ｄｔの経過後のＡ４のタイミングで撮影が行われる。
【００９５】
また図４のように「はい」、「チーズ」の掛け声でリモートレリーズを行う場合には、Ｂ１で指示タイミングＴＭ１が取得され、Ｂ２で指示タイミングＴＭ２が取得され、ＴＭ２から時間差ｄｔの経過後のＢ３のタイミングで撮影が行われる。この場合には指示タイミングは２つしかないため時間間隔は１つしか算出されない。従って、変化量ｖｔの算出は行わずに、時間間隔ｔ１の長さに応じて時間差ｄｔを算出する。具体的には例えば時間間隔ｔ１が短い場合には時間差ｄｔも小さくし、時間間隔ｔ１が長い場合には時間差ｄｔも大きくすればよい。
【００９６】
２．第２の構成例
図９に本実施形態の第２の構成例を示す。第１の構成例では、マイクにより検知された人間の音声に基づいて、指示タイミングを取得する場合について説明したが、第２の構成例では、撮像部からの撮像画像により検知された人間の動作に基づいて、指示タイミングを取得している。即ち、ユーザーの動作による複数の時系列の指示タイミングを取得し、指示タイミングの時間間隔等に基づいて、シャッターを動作させるタイミングを適応的に決定する。例えばユーザーが３回腕を振り上げ、４回目に振るであろうタイミングでシャッターを動作させる。
【００９７】
図９の第２の構成例が図１の第１の構成例と異なるのは制御装置５０の構成である。図９の制御装置５０は、指示タイミング取得部５２、時間差算出部５４、撮影制御部５６、指示タイミング数設定部５７に加えて、動作検知部５８を含む。
【００９８】
動作検知部５８は人間の動作の検知処理を行う。具体的には撮像部２０（撮像素子）からの時系列の複数の撮像画像に基づいてオプティカルフロー（動きベクトル）を求めて、人間の動作を検知する。そして指示タイミング取得部５２は、検知された人間の動作の開始時刻、終了時刻及び中間時刻の少なくとも１つに基づいて、第１〜第ｎの指示タイミングの各指示タイミングを取得する。
【００９９】
具体的には動作検知部５８は、オプティカルフローのベクトルの大きさ（複数のベクトルの大きさの加算値）が所定値以上になる領域を注目領域として検出する。例えば、撮像画像を複数の分割領域に分割し、これらの分割領域の中から、オプティカルフローのベクトルの大きさが所定値以上になる領域を、注目領域として検出する。そして注目領域でのオプティカルフローのベクトルの方向の変化や、注目領域の位置の変化を検出して、人間の動作を検知する。例えば、撮像画像を大きな分割領域で分割した場合には、オプティカルフローのベクトルの方向の変化により動作を検知し、撮像画像を小さな分割領域で分割した場合には、注目領域の位置の変化により動作を検知すればよい。
【０１００】
また動作検知部５８は、オプティカルフローのベクトルの方向についてのヒストグラムを作成し、ヒストグラムにおいてベクトルの方向が第１の方向から反対の第２の方向に変化した領域を検出して、人間の動作を検知してもよい。例えばオプティカルフローで得られた複数のベクトルの方向の出現頻度についてのヒストグラムを作成する。そしてその方向が第１の方向から反対の第２の方向に変化したベクトルを検索し、そのベクトルが発生した領域において、人間が手を振り上げて戻すといった動作が行われたと判断する。
【０１０１】
また動作検知部５８は、腕、足等の人間の部位の領域が元の位置から他の位置に移動し、その後に前記元の位置に戻ったことが、オプティカルフローにより検出された場合に、各指示タイミングに対応する指示動作が検知されたと判断してもよい。そして指示タイミング取得部５２は、検知された指示動作の開始時刻、終了時刻、中間時刻の少なくとも１つに基づいて、第１〜第ｎの指示タイミングの各指示タイミングを取得する。
【０１０２】
次に図１０、図１１を用いて本実施形態の動作検出手法の具体例について説明する。本実施形態では人間の動作を検出して時間差ｄｔを算出する。ここで動作とは、終わりと始まりが定義できる人の動きのことである。例えば、腕を振り上げる、足を蹴る、ジャンプする、頭を振る、口を開いて閉じる、目を開閉するなどである。動作検出手法は種々あるが、ここではオプティカルフロー（「デジタル画像処理」CG-ARTS協会、２４３頁参照）を用いて、人が腕を振り上げた後、腕を元の位置に戻したことを検出する例について説明する。
【０１０３】
例えば人がカメラに向かって腕を振り上げて降ろす動作を撮像部２０が動画（時系列の複数の撮像画像）として得たとする。すると指示タイミング取得部５２は、動画を解析して指示タイミングを取得する。具体的には、動画からオプティカルフローを算出する。これにより、動画中の動いている箇所の動き幅が、オプティカルフローのベクトルの大きさとして取得できる。
【０１０４】
次に、ある程度以上の大きさのオプティカルフローが検出された画像領域に注目し、時間的に反復するようなオプティカルフローが検出されたら、その領域のオプティカルフローの大きさの時間方向の変化から指示タイミングを取得する。
【０１０５】
図１０は、人が１回腕を振り上げて降ろすときのオプティカルフローの様子を示す図であり、同じ被写体を時間軸で撮像した例である。
【０１０６】
図１０のＣ１では、人は静止しているのでオプティカルフローは発生しない。次のＣ２では、人が右腕を上に振り上げたため、腕領域のオプティカルフローＯＦは上向きのベクトルを持っている。ここで所定の大きさ以上のオプティカルフローが検出できたとし、人の腕領域を注目領域とする。
【０１０７】
次のＣ３では、人が右腕を元の位置に戻したので、注目領域において、Ｃ２の場合とは逆向きのベクトルでオプティカルフローＯＦが検出される。このように注目領域においてオプティカルフローが行って戻ったときに、1回分の動作が行われたと判断し、指示タイミングを決定する。指示タイミングは図３（Ａ）の音声の例と同じく、オプティカルフローの時間方向の変化を波と考えることで同様に取得できる。例えば図１０では、オプティカルフローＯＦにより、人間が腕を振り上げて元に戻すという指示動作を検知している。そして腕を振り上げ始めた時刻である開始時刻ＴＳＴや、腕を振り下ろした時刻である終了時刻ＴＥＮや、或いはＴＳＴとＴＥＮの中間時刻ＴＭＤを、指示タイミングとして取得する。
【０１０８】
本実施形態では人物認識を行わずに、オプティカルフローの動きのみで処理を行うため、腕を振り上げる動作だけではなく、種々の人間の動作、或いは人間以外の動きでも代用できる。図１１に、人が腕を上げ下げする指示動作から指示タイミングを取得し、リモートレリーズを行う様子を示す。なお、図１１は腕の上げ下げを２回行った例、即ち指示タイミング数ｎを２に設定した例について示している。
【０１０９】
次に本実施形態の処理について図１２のフローチャートを用いて説明する。まず指示タイミング数ｎを取得する（ステップＳ２１）。そして時系列の複数の撮像画像（動画）に基づいて、オプティカルフローを求める（ステップＳ２２）。
【０１１０】
次にオプティカルフローのベクトルの大きさが所定値以上になる領域を注目領域として検出する（ステップＳ２３）。例えば図１３（Ａ）では、撮像画像（画面）を分割した複数の分割領域のうち、ベクトルの大きさの加算値が所定値以上になる領域が、注目領域ＲＯＢとして検出されている。
【０１１１】
次に、注目領域ＲＯＢでのオプティカルフローのベクトルの方向の変化又は注目領域ＲＯＢの位置の変化を検出して、人間の動作を検知する（ステップＳ２４）。例えば図１３（Ａ）〜図１３（Ｄ）では、注目領域ＲＯＢでのオプティカルフローのベクトルの方向が上方向から下方向に変化している。或いは注目領域ＲＯＢ自体が、上方向に移動した後、下方向に移動している。これにより、人間の腕等の部位が、上に振り上げられた後、下に降ろされたという動作が検知される。すると検知された人間の動作に基づいて指示タイミングＴＭ１〜ＴＭ３を取得し、時間差ｄｔを算出する（ステップＳ２５、Ｓ２６）。そして時間差ｄｔに対応する時間が経過したタイミングで撮影が行われるように、撮像部２０を制御する（ステップＳ２７）。
【０１１２】
なおオプティカルフローに基づいて人間の動作を検知する手法は図１２〜図１３（Ｄ）に限定されない。例えば図１４（Ａ）では、ベクトルＶ１〜Ｖ８の方向に対して角度範囲ＡＲ１〜ＡＲ８を設定している。例えば０度の方向のベクトルＶ１に対応して角度範囲ＡＲ１が設定され、４５度のベクトルＶ２に対応して角度範囲ＡＲ２が設定される。
【０１１３】
そして図１４（Ｂ）、図１４（Ｃ）に示すように、オプティカルフローの演算により求められたベクトルの方向についてのヒストグラムを作成する。即ち、複数の分割領域の各分割領域に属するオプティカルフローのベクトルの方向の出現頻度を集計して、ヒストグラムを作成する。例えば図１４（Ｂ）では、その方向が、０度に対応する角度範囲ＡＲ１内になるベクトルの出現頻度が大きいことが検出されている。一方、図１４（Ｃ）では、その方向が、１８０度に対応する角度範囲ＡＲ５内になるベクトルの出現頻度が大きいことが検出されている。従って、図１４（Ｂ）から図１４（Ｃ）に示すようにヒストグラムが変化した場合には、腕を上に振り上げて降ろすというような動作が行われたと判断し、このような動作が行われたタイミングを指示タイミングとして取得する。
【０１１４】
３．第３の構成例
図１５に本実施形態の第３の構成例を示す。第３の構成例では、一般的なデジタルカメラを用いて、ユーザーが任意のタイミングで遠隔撮影を行う場合において、ユーザーの音声又は動作による複数の時系列の指示タイミングを取得すると共に、音声認識や人物認識を行い、認識結果を用いてシャッターを動作させたり、或いは異なる撮影を行わせる。
【０１１５】
図１５の第３の構成例が図１、図９の第１、第２の構成例と異なるのは制御装置５０の構成である。図１５の制御装置５０は、指示タイミング取得部５２、時間差算出部５４、撮影制御部５６、指示タイミング数設定部５７、動作検知部５８に加えて、人物認識部６０、音声認識部６２を含む。
【０１１６】
人物認識部６０は、撮像部２０からの撮像画像（動画像）に基づいて人物の認識処理を行う。人物認識は、画像内の人物の検出、動作の認識を行うものである。具体的には、撮像画像から特徴点情報を抽出し、予め登録されている登録特徴点情報とのパターンマッチングを行うことで、人物や、顔、腕、足等の部位の認識を行う。例えば顔領域の検出手法としては、Haar-like特徴量とAdaBoost学習を用いたViola-Jonesの手法がある。また特開２００２−８３３０２には、ユーザーの手を撮像し、ジェスチャーを認識する手法が開示されている。
【０１１７】
音声認識部６２は、マイク９０からの音声信号に基づいて人間の音声の認識処理を行う。例えば、マイク９０からの音声を言語として認識し、何を話しているのかを認識する。具体的には、音声認識は、音響分析、認識デコーダ、音響モデル、辞書、言語モデルにより実現できる。音響分析では、人間の音声をフーリエ解析等の信号処理により特徴量情報に変換する。認識デコーダでは、特徴量情報に基づいてテキストデータを出力する。辞書は、認識対象の単語（ワード）をデータ化したものであり、音素列と単語を関連づけるものである。言語モデルは、辞書の単語についての確率をデータ化したものである。なお特開２００８−１５２０４３号公報には、音響モデルの変化に対応した音声認識手法が示されている。
【０１１８】
本実施形態では、動作検知部５８は、人物認識より人間の部位領域（例えば腕、足、顔等の部位の領域）が認識された場合に、認識された部位領域についてのオプティカルフローを求め、人間の動作を検知する。また人物認識部６０により人物が認識されなかった場合や、音声認識部６２により人間の音声が認識されなかった場合には、時間差算出部５４による時間差の算出処理、及び撮影制御部５６による時間差に基づく撮像部２０の制御処理がスキップ（省略）される。別の言い方をすれば、人物が認識されたり、人間の音声（言語）が認識されたことを条件に、時間差の算出処理や時間差に基づく撮像部２０の制御処理を実行する。
【０１１９】
また指示タイミング数設定５７は、音声認識部６２での音声認識結果に基づいて、第１〜第ｎの指示タイミングの指示タイミング数ｎを特定してもよい。例えば「３」、「２」、「１」が認識された場合にはｎ＝３と判断し、「はい」、「チーズ」が認識された場合にはｎ＝２と判断する。このようにすれば、指示タイミング数設定部５７によりユーザーが指示タイミング数ｎを設定しなくても、自動的に指示タイミング数ｎを決定できるようになる。
【０１２０】
また撮影制御部５６は、音声認識部６２で認識された音声のパターンが、予め登録された登録音声パターンと一致した場合には、登録音声パターンに対応する撮影制御を行う。即ち後述するように「はい」、「チーズ」が認識された場合には、通常撮影が行われるように撮像部２０を制御し、「はい、はい」「チーズ」が認識された場合には連射撮影が行われるように撮像部２０を制御する。
【０１２１】
なお、動作検知部５８で検知された人間の動作パターンが、予め登録された登録動作パターンと一致した場合に、登録動作パターンに対応する撮像制御を行ってもよい。例えば顔の１回のうなずき動作が検知された場合には、通常撮影が行われるように制御し、顔の２回のうなずき動作が検知された場合には、連射撮影が行われるように制御する。
【０１２２】
次に図１６、図１７のフローチャートを用いて本実施形態の処理について説明する。図１６は音声認識を利用した撮影制御の処理フローである。
【０１２３】
まずマイク９０からの音声信号に基づく音声認識処理を行う（ステップＳ３１）。次に人間の音声（言語）が認識されたか否かを判断する（ステップＳ３２）。そして音声認識の結果、検知された音声が人間の声でなく、環境音などであった場合には、次のステップへ進まず、処理を終了するようにする。即ちステップＳ３３〜Ｓ３６の時間差算出や撮影制御等の処理をスキップする。このようにすれば、ユーザーが意味のある音声を発声したときにだけ、ステップＳ３３〜Ｓ３６の処理が行われるようになるため、撮像装置の誤動作等を防止できる。
【０１２４】
人間の音声が認識された場合には、検知された人間の音声に基づいて、図２で説明したように指示タイミングＴＭ１〜ＴＭ３を取得し、時間差ｄｔを算出する（ステップＳ３３、Ｓ３４）。また検知された音声パターンが、予め登録された登録音声パターンと一致するか否かをチェックする（ステップＳ３５）。例えば「はい」、「チーズ」の登録音声パターンに一致するのか、或いは「はい、はい」、「チーズ」の登録音声パターンに一致するのかをチェックする。
【０１２５】
そして、指示タイミングＴＭ３から時間差ｄｔに対応する時間が経過したタイミングで撮影が行われるように、登録音声パターンに対応する撮影制御を行う（ステップＳ３６）。例えば「はい」、「チーズ」の登録音声パターンに一致した場合には、図１８（Ａ）に示すように通常撮影が行われるように撮像部２０を制御する。一方、「はい、はい」、「チーズ」の登録音声パターンに一致した場合には、図１８（Ｂ）に示すように、連射撮影が行われるように撮像部２０を制御する。
【０１２６】
このようにすれば、ユーザーの音声による指示により撮影タイミングを設定できると共に、その音声パターンを認識することで、音声パターンに応じた撮影制御も行われるようになり、よりインテリジェントなリモートレリーズを実現できる。
【０１２７】
図１７は人物認識を利用した撮影制御の処理フローである。まず撮像部２０からの撮像画像（動画）に基づく人物認識処理を行う（ステップＳ４１）。次に人物が認識されたか否かを判断する（ステップＳ４２）。そして人物認識の結果、撮像画像において人物が認識できなかった場合には、次のステップへ進まず、処理を終了するようにする。即ちステップＳ４３〜Ｓ４６の時間差算出や撮影制御等の処理をスキップする。このようにすれば、ユーザーが近くにいて、認識された場合にだけ、ステップＳ４３〜Ｓ４６の処理が行われるようになるため、撮像装置の誤動作等を防止できる。
【０１２８】
人物が認識された場合には、撮像画像により検知された人間の動作に基づいて、図２で説明したように指示タイミングＴＭ１〜ＴＭ３を取得し、時間差ｄｔを算出する（ステップＳ４３、Ｓ４４）。また検知された動作パターンが、予め登録された登録動作パターンと一致するか否かをチェックする（ステップＳ４５）。例えば片手を挙げるという登録動作パターンに一致するのか、或いは両手を挙げるという登録動作パターンに一致するのかをチェックする。
【０１２９】
そして、指示タイミングＴＭ３から時間差ｄｔに対応する時間が経過したタイミングで撮影が行われるように、登録動作パターンに対応する撮影制御を行う（ステップＳ４６）。例えば片手を挙げるという登録動作パターンに一致した場合には通常撮影が行われるように撮像部２０を制御する。一方、両手を挙げるという登録動作パターンに一致した場合には、連射撮影が行われるように撮像部２０を制御する。
【０１３０】
このようにすれば、ユーザーの動作による指示により撮影タイミングを設定できると共に、その動作パターンを認識することで、動作パターンに応じた撮影制御も行われるようになり、動作の種類によってカメラの種々の撮影制御を実現できる。
【０１３１】
なお登録音声パターンや登録動作パターンとの一致判定により実現される撮影制御は、通常撮影や連射撮影には限定されず、例えばフラッシュ撮影等の撮影制御であってもよい。また例えば両手を１回挙げた場合には連射撮影で、２回挙げた場合には３連射撮影するというような制御を行ってもよい。
【０１３２】
以上では、音声認識や人物認識を利用する例について説明したが、音声認識や人物認識を利用する処理はこれに限定されない。例えば、予め登録された人物が発声したことが認識された場合や、予め登録された人物がカメラの画角内に入っている時にだけ、本実施形態の処理を行うようにしてもよい。このようにすれば、カメラの持ち主にだけ反応するような機能も提供できるようになる。
【０１３３】
また本実施形態では、音声認識を行うことで、「３」、「２」、「１」と言っているのか、「はい」、「チーズ」と言っているのか、或いは、「１０」、「９」・・・「１」というような１０カウントなのかを判別できる。従って、指示タイミング数設定部５７が無くても、指示タイミング数ｎを自動的に決定できため、設定を切り替える手間を省け、ユーザーの利便性を向上できる。
【０１３４】
また本実施形態では、人物認識より人間の部位領域が認識された場合に、認識された部位領域についてのオプティカルフローを求め、人間の動作を検知するようにしてもよい。例えば図１９（Ａ）では、人物認識部６０により、人間の部位である手の平の領域ＲＰＡが認識されている。このような手の平の領域ＲＰＡは、撮像画像から抽出された手の平の画像の特徴点情報と、予め登録されている手の平の登録特徴点情報のパターンマッチングを行うことで認識できる。この場合、例えば撮像画像内の肌色領域を検出した後にパターンマッチングを行うようにしてもよい。
【０１３５】
そして手の平の領域ＲＰＡが検出されると、この手の平の領域についてのオプティカルフロー（動きベクトル）を求める。そして例えばオプティカルフローのベクトルの方向が上方向に向いた場合には、片手を挙げるという動作が検知されたと判断する。或いはオプティカルフローのベクトルの方向が、上方向に向いた後に下方向に向いた場合には、片手を挙げた後に下げたという動作が検知されたと判断する。そして、検知された動作に基づいて指示タイミングを取得し、本実施形態で説明した種々の撮影制御を行う。
【０１３６】
このようにすれば、手の平の領域ＲＰＡにだけオプティカルフローの処理が行われ、撮像画像の全画面に対してオプティカルフローの処理を行わなくても済むようになるため、処理負荷を軽減できる。また撮像画像内において、人物以外の背景物が上下方向等に動いていた場合に、その背景物の動きを手の平の動きと誤認識してしまう事態についても防止できる。従って、動作検知の精度を向上でき、ユーザーの指示動作を精度良く検知できるようになる。
【０１３７】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また制御装置、撮像装置の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１３８】
ＴＭ１〜ＴＭ３  第１〜第３の指示タイミング、ＴＭＰ  撮影タイミング、
ｔ１、ｔ２  第１、第２の時間間隔、ｖｔ  変化量、ｄｔ  時間差、
１０  光学系、２０  撮像部、３０  撮像素子、３２  ＡＦＥ、
３４  シャッター駆動部、３６  フォーカス調整部、４０  操作部、５０  制御装置、
５２  指示タイミング取得部、５４  時間差算出部、５６  撮影制御部、
５７  指示タイミング数設定部、５８  動作検知部、６０  人物認識部、
６２  音声認識部、７０  記憶部、８０  表示部、９０  マイク、１００  画像処理部
【図１】
2010183160.tif 000003
【図２】
2010183160.tif 000004
【図３】
2010183160.tif 000005
【図４】
2010183160.tif 000006
【図５】
2010183160.tif 000007
【図６】
2010183160.tif 000008
【図７】
2010183160.tif 000009
【図８】
2010183160.tif 000010
【図９】
2010183160.tif 000011
【図１０】
2010183160.tif 000012
【図１１】
2010183160.tif 000013
【図１２】
2010183160.tif 000014
【図１３】
2010183160.tif 000015
【図１４】
2010183160.tif 000016
【図１５】
2010183160.tif 000017
【図１６】
2010183160.tif 000018
【図１７】
2010183160.tif 000019
【図１８】
2010183160.tif 000020
【図１９】
2010183160.tif 000021