(57)【要約】【課題】リアルタイムで盛り上がりの判定を行っていくような状況において、より有用性が高く、判定信頼性の高いものを得る。【解決手段】収音音声信号を入力して、そのレベルについての長時間平均値と短時間平均値とを求め、これらの差分により盛り上がりの度合いを示す盛り上がり値を得る。そして、この盛り上がり値と閾値とを比較し、基本的には、盛り上がり値のほうが大きければ盛り上がり状態であると判定し、小さければ盛り上がり状態ではないとして判定する。【選択図】図８
2010085953.tif 000002
【特許請求の範囲】
【請求項１】
周囲環境の盛り上がり状態の判定に利用すべき情報値を取得する情報値取得手段と、
上記情報値についての所定の第１の単位時間における平均値である第１の平均値を出力する第１平均値出力手段と、
上記情報値についての、上記第１の単位時間よりも長い第２の単位時間における平均値である第２の平均値を出力する第２平均値出力手段と、
上記第１の平均値と上記第２の平均値との差分を盛り上がり値として出力する盛り上がり値出力手段と、
上記盛り上がり値と閾値との比較結果に基づいて盛り上がり状態であるか否かを判定する盛り上がり判定手段と、
を備える盛り上がり判定装置。
【請求項２】
撮像により得られる画像に基づく撮像画像情報を得る撮像手段と、
上記盛り上がり判定手段の判定結果に基づいて上記撮像画像情報を静止画像情報として記録媒体に記録する撮像記録動作を実行させる撮像記録制御手段をさらに備える、
請求項１に記載の盛り上がり判定装置。
【請求項３】
上記盛り上がり判定手段は、
単位時間において盛り上がり状態であるとして判定される時間の割合である盛り上がり率の目標値である、盛り上がり率目標値を入力し、
盛り上がり率目標値に応じた盛り上がり状態であるとの判定結果が得られるようにして上記閾値を可変する、
請求項１又は請求項２に記載の盛り上がり判定装置。
【請求項４】
上記盛り上がり判定手段は、
盛り上がり判定値を入力して平均化することで盛り上がり率を出力する第１のローパスフィルタと、
上記盛り上がり率と上記盛り上がり率目標値の大小関係の比較結果に応じて予め定めた最大値と最小値のいずれかを出力する比較器と、
上記比較器の出力を平均化して上記閾値として出力する第２のローパスフィルタを備え、
上記盛り上がり値と上記閾値との大小関係の比較結果に基づいて盛り上がり状態であるか否かの判定結果を示す値である、上記盛り上がり判定値を出力する、
請求項３に記載の盛り上がり判定装置。
【請求項５】
所定の単位時間における上記撮像記録制御手段による撮像記録動作の実行回数を示す撮像記録頻度の値を操作により指定できるようにされた入力操作手段と、
指定された上記撮像記録頻度から上記盛り上がり率目標値を求める盛り上がり率目標値取得手段とをさらに備える、
請求項２乃至請求項４のうち、少なくとも請求項２及び請求項３に記載の盛り上がり判定装置。
【請求項６】
１回の撮像記録動作が開始されてから次の撮像記録動作が開始できるまでの時間であるレリーズ時間間隔が存在する場合において、
上記盛り上がり判定手段は、
盛り上がり状態ではないとの判定結果を出力していた状態から盛り上がり状態であるとの判定結果の出力に変更したタイミングから、上記レリーズ時間間隔が経過するまで、盛り上がり状態であるとの判定結果の出力を継続する、
請求項２乃至請求項５のうち、少なくとも請求項２に記載の盛り上がり判定装置。
【請求項７】
上記撮像記録制御手段は、
上記盛り上がり判定手段により、上記盛り上がり状態ではないとの判定結果を出力していた状態から盛り上がり状態であるとの判定結果の出力に変更されたタイミングに応じて撮像記録を実行させる、
請求項６に記載の盛り上がり判定装置。
【請求項８】
周囲環境の盛り上がり状態の判定に利用すべき情報値を取得する情報値取得手順と、
上記情報値についての所定の第１の単位時間における平均値である第１の平均値を出力する第１平均値出力手順と、
上記情報値についての、上記第１の単位時間よりも長い第２の単位時間における平均値である第２の平均値を出力する第２平均値出力手順と、
上記第１の平均値と上記第２の平均値との差分を盛り上がり値として出力する盛り上がり値出力手順と、
上記盛り上がり値と閾値との比較結果に基づいて盛り上がり状態であるか否かを判定する盛り上がり判定手順と、
を実行する盛り上がり判定方法。
【請求項９】
周囲環境の盛り上がり状態の判定に利用すべき情報値を取得する情報値取得手順と、
上記情報値についての所定の第１の単位時間における平均値である第１の平均値を出力する第１平均値出力手順と、
上記情報値についての、上記第１の単位時間よりも長い第２の単位時間における平均値である第２の平均値を出力する第２平均値出力手順と、
上記第１の平均値と上記第２の平均値との差分を盛り上がり値として出力する盛り上がり値出力手順と、
上記盛り上がり値と閾値との比較結果に基づいて盛り上がり状態であるか否かを判定する盛り上がり判定手順と、
を盛り上がり判定装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周囲環境の盛り上がり状態を判定する盛り上がり判定装置とその方法に関する。また、盛り上がり判定装置が実行するプログラムに関する。
【背景技術】
【０００２】
特許文献１には、撮像装置における動画像の撮影時における入力音声信号について、その極大値が所定の正規化値以上であるときに対応して、撮影される動画像における重要シーンであることを示すハイライトポイント情報を生成し、撮像画像データに対応つけて記録することが記載されている。
【０００３】
【特許文献１】特開２００７−１３４７７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本願発明としても、例えば撮像装置が撮像することにより得られる、時系列性を有する画像について、そのときの入力音声信号に基づいて、重要シーン、即ち、盛り上がりのシーンであるタイミングを判定しようとするものである。そのうえで、本願発明としては、特に撮像を行いながら、リアルタイムで盛り上がりの判定を行っていくような状況において、より有用性が高く、判定信頼性の高いものを得ることをその目的とする。
【課題を解決するための手段】
【０００５】
そこで本発明は上記した課題を考慮して、盛り上がり判定装置として次のように構成することとした。
つまり、周囲環境の盛り上がり状態の判定に利用すべき情報値を取得する情報値取得手段と、上記情報値についての所定の第１の単位時間における平均値である第１の平均値を出力する第１平均値出力手段と、上記情報値についての、上記第１の単位時間よりも長い第２の単位時間における平均値である第２の平均値を出力する第２平均値出力手段と、上記第１の平均値と上記第２の平均値との差分を盛り上がり値として出力する盛り上がり値出力手段と、上記盛り上がり値と閾値との比較結果に基づいて盛り上がり状態であるか否かを判定する盛り上がり判定手段とを備えることとした。
【０００６】
上記構成によれば、盛り上がりの度合いを示すとされる盛り上がり値は、盛り上がり判定に利用する所定の情報値の長時間平均値と短時間平均値との差分により得るものとしている。そして、この盛り上がり値と閾値との比較結果により、現在、盛り上がっているか否かについての判定を行うものとしている。このような盛り上がり状態についての判定の仕方であれば、例えば現時刻より未来の情報値の変化を参照することなく、現時刻が盛り上がり状態であるか否かの判定が行える。
【発明の効果】
【０００７】
上記のようにして、本願発明としては、盛り上がり判定に関して特にリアルタイム性が要求されるような状況で、より高い有用性、信頼性が得られる。
【発明を実施するための最良の形態】
【０００８】
以下、本願発明を実施するための最良の形態（以下、実施形態という）について、下記の順により説明する。
＜１．デジタルスチルカメラの構成＞
＜２．盛り上がり撮影に対応する機能構成例＞
＜３．盛り上がり値生成部の構成例＞
［盛り上がり値生成部：第１構成例］
［盛り上がり値生成部：第２構成例］
［盛り上がり値生成部：第３構成例］
＜４．レリーズ判定部の構成例＞
［レリーズ判定部：第１構成例］
［レリーズ判定部：第２構成例］
［レリーズ判定部：第３構成例］
【０００９】
＜１．デジタルスチルカメラの構成＞
図１は、本実施形態としてのデジタルスチルカメラ１の構成例を示している。
この図において、先ず、光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部２７が実行するとされるズーム（画角）の変更制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【００１０】
イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力するようにされる。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【００１１】
上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
信号処理部２４では、Ａ／Ｄコンバータ２３から出力されるデジタルの撮像信号について、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成することができる。
【００１２】
上記のようにして信号処理部２４にて生成した撮像画像データを画像情報として記憶媒体（記憶媒体装置）であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力する。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された撮像画像データの形式に変換する。そして、このようにして生成した撮像画像データをメディアコントローラ２６に転送する。メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる撮像画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
【００１３】
また、デジタルスチルカメラ１は信号処理部２４にて得られる撮像画像データを利用して表示部３３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部２４においては、先の説明のようにしてＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。
【００１４】
表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つまり、スルー画が表示される。
【００１５】
また、デジタルスチルカメラ１は、メモリカード４０に記録されている撮像画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が撮像画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された撮像画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。
【００１６】
エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３においては、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。
【００１７】
また、表示部３３に対しては、上記のモニタ画像や撮像画像データの再生画像などとともに、ユーザインターフェイス画像も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェイス画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力するようにされる。これにより、表示部３３においてユーザインターフェイス画像が表示されることになる。なお、このユーザインターフェイス画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【００１８】
また、マイクロフォン３５は、デジタルスチルカメラ１に対して周囲音声を収音可能なようにして取り付けられ、収音した周囲音声を音声信号(収音音声信号)として出力する。この収音音声信号は、前処理部３６により増幅、デジタル信号への変換などが行われた後、信号処理部２４に対して入力される。
【００１９】
信号処理部２４は、先に述べた画像信号処理とともに、上記のようにして入力される収音音声信号を対象とした音声信号処理も実行可能とされている。そして、例えば後述する盛り上がり判定のために、収音音声信号のデータを制御部２７に出力できるようになっている。
【００２０】
なお、デジタルスチルカメラ１の実際としては、マイクロフォン３５による収音音声信号を所定の音声ファイル形式によりメモリカード４０に記録したり、また、所定の動画ファイル形式により撮像動画像とともに収音音声信号を記録したりするように構成することも可能である。しかし、ここでは図示を簡単で分かりやすいものとすることの都合上、これらの機能に対応してさらに必要となる構成は省略している。
【００２１】
制御部２７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。
【００２２】
操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力部位とを一括して示している。制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。
【００２３】
本実施形態のデジタルスチルカメラ１は、対応する雲台１０に対して取り付けられた状態とすることで、雲台１０側と通信可能とされている。
雲台対応通信部３４は、上記の通信を実現するために、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位である。その構成としては、例えば雲台１０の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。
雲台１０は、取り付けられたデジタルスチルカメラ１を、パン方向（水平方向）とチルト方向との両方向により動かすためのパン・チルト機構を有している。デジタルスチルカメラ１は、雲台対応通信部３４を経由した通信により、例えば、雲台１０のパン・チルト機構を制御することが可能とされている。
【００２４】
＜２．盛り上がり撮影に対応する機能構成例＞
本実施形態のデジタルスチルカメラ１は、上記図１の構成の下で、盛り上がり撮影機能が与えられる。
ここでいう盛り上がり撮影機能とは、自動撮影機能の１つとされ、マイクロフォン３５により得た収音音声信号の状態に基づいて、デジタルスチルカメラ１の周囲環境において被写体となり得る人などの様子として、気分、雰囲気が盛り上がっているかどうかを判定する。即ち、盛り上がり状態であるか否かの判定を行う。そして、盛り上がり状態であるとの判定結果に基づいたしかるべきタイミングで、自動的に撮像記録を行うというものである。
【００２５】
このような盛り上がり撮影機能によっては、被写体を効率よく自動的に撮像記録していくことができる。
つまり、例えば自動撮像記録として最も単純なものとしては、一定時間ごとに撮像記録していくようなものを考えることができるが、この場合には、後で鑑賞する価値が低い、若しくは価値がほとんど無いような面白みのない画が撮像記録されてしまう可能性が高くなってしまう。このようなことを避けようとすると、例えば撮像記録の時間間隔を短くして、良い画が撮像記録される確率を上げていかねばならないが、その分、いたずらに記憶媒体(メモリカード４０)の記憶容量を消費してしまう。
これに対して盛り上がり撮影機能であれば、被写体である人物が盛り上がっているとされるときに応じて撮像記録が実行されるので、被写体の人物が例えば笑顔であったりするなど、後で鑑賞しても面白みのある画が得られやすくなる。
【００２６】
図２は、デジタルスチルカメラ１に実装される盛り上がり撮影機能に対応した基本的なシステム構成例を示している。
本実施形態の盛り上がり撮影機能に対応しては、盛り上がり値生成部１０１、レリーズ判定部１０２、及びレリーズ制御部１０３が備えられて成るものとしてみることができる。なお、上記各部位は、実際においては、制御部２７（ＣＰＵ）がプログラムに従って実行する処理によって実現できる。
また、例えば盛り上がり値生成部１０１、レリーズ判定部１０２などについては、信号処理部２４の一機能として実装することも可能である。信号処理部２４は、ハードウェアにより実現することも可能であるが、例えばここではＤＳＰ（Digital Signal Processor）により構成されるものとしている。ＤＳＰの機能は、どのＤＳＰに与えるプログラム、インストラクションによって実現される。
【００２７】
盛り上がり値生成部１０１は、収音音声信号を入力して取得する。確認のために述べておくと、この収音音声信号は、マイクロフォン３５により収音され、前処理部３６、信号処理部２４を介して制御部２７に出力されるものである。
【００２８】
盛り上がり値生成部１０１は、時間的に継続して入力されるものとしてみることのできる収音音声信号に基づいて、リアルタイムに、そのときの盛り上がり状態の推定結果を数値化したものとされる、盛り上がり値v_mrgを生成して出力する。
なお、盛り上がり値生成部１０１の構成例については後述する。
【００２９】
レリーズ判定部１０２は、上記盛り上がり値生成部１０１にて生成される盛り上がり値v_mrgを取り込む。そして、取り込んだ盛り上がり値v_mrgに基づいて、レリーズ動作、即ち撮像画像の記録（撮像記録）を実行すべきか否かを判定し、その判定結果に応じて撮像記録動作を指示する撮像指示フラグshot_flagを出力する。
なお、レリーズ判定部１０２の構成例についても後述する。
【００３０】
レリーズ制御部１０３は、入力される撮像指示フラグshot_flagの値が撮像記録動作を指示するものでないときには、撮像記録動作を実行させることなく待機している。これに対して、撮像指示フラグshot_flagが撮像記録動作を指示する値となっていることに対応しては、これに応じたタイミングで、そのときに得られている撮像画像信号から得た静止画としての撮像画像データをメモリカード４０に記録させる動作が実行されるように制御する。つまり、撮像記録の自動実行が行われる。
【００３１】
＜３．盛り上がり値生成部の構成例＞
［盛り上がり値生成部：第１構成例］
図３は、盛り上がり値生成部１０１の第１構成例をブロック構成により示している。
この図に示される盛り上がり値生成部１０１は、絶対値化処理部１１１、正規化処理部１１２、短時間平均値出力部１１３、長時間平均値出力部１１４、及び減算器１１５から成るものとしている。
【００３２】
収音音声信号は、先ず、絶対値化処理部１１１に入力される。
絶対値化処理部１１１は、正／負によるレベル値による収音音声信号について絶対値する。次に正規化処理部１１２は、絶対値化された収音音声信号のレベル値をｄB（デシベル）値に変換する。
【００３３】
上記正規化処理部１１２にて得られたｄB値による収音音声信号（情報値）は、短時間平均値出力部１１３、及び長時間平均値出力部１１４に対して入力される。
短時間平均値出力部１１３は、図示するようにして、必要数のローパスフィルタ（ＬＰＦ）１２０−１〜１２０−ｎを直列接続して形成される。
上記構成により、短時間平均値出力部１１３は、収音音声信号のｄＢ値について、ローパスフィルタ１２０−１〜１２０−ｎの直列接続を通過させて得られる値を出力する。これは、収音音声信号のｄＢ値について、ローパスフィルタ１２０−１〜１２０−ｎの時定数の総合に対応した単位時間分(第１の単位時間)についての移動平均値(第１の平均値)を算出していることに相当する。
【００３４】
また、長時間平均値出力部１１４は、上記短時間平均値出力部１１３を形成するローパスフィルタ１２０−１〜１２０−ｎの後段に対して、さらに、ｍ個のローパスフィルタ１２１−１〜１２１−ｍを直列接続した構成となっている。つまり、長時間平均値出力部１１４においては、収音音声信号のｄＢ値について、ローパスフィルタ１２０−１〜１２０−ｎ、ローパスフィルタ１２１−１〜１２１−ｍを通過させて得られる値を出力する。従って、長時間平均値出力部１１４は、収音音声信号のｄＢ値について、ローパスフィルタ１２０−１〜１２０−ｎ、ローパスフィルタ１２１−１〜１２１−ｍの時定数の総合に対応した単位時間分(第２の単位時間)についての移動平均値(第２の平均値)を算出していることに相当する。
【００３５】
なお、一例として、ローパスフィルタ１２０−１〜１２０−ｎのそれぞれにおいて設定される時定数は、例えば100msec程度とすることが考えられる。また、ローパスフィルタ１２１−１〜１２１−ｍのそれぞれにおいて設定される時定数は、例えば10sec程度とすることが考えられる。
そのうえで、図３において適切とされるローパスフィルタの段数の一具体例を挙げるとすると、ローパスフィルタ１２０−１〜１２０−ｎについては、３段（ｎ＝３）とし、ローパスフィルタ１２１−１〜１２１−ｍについては２段（ｍ＝２）とする構成を挙げることができる。
もちろん、本実施形態としては、ローパスフィルタに設定する時定数、及び短時間平均値出力部１１３及び長時間平均値出力部１１４を形成するためのローパスフィルタの段数については、必要に応じて適宜変更されるべきものである。
【００３６】
なお、ローパスフィルタ１２０−１〜１２０−ｎのそれぞれについて設定する時定数はここでは同じものとしている。同様に、ローパスフィルタ１２１−１〜１２１−ｍのそれぞれについて設定する時定数も、ここでは同じものとしている。もちろん、これらのローパスフィルタの間での時定数を適宜異なるものに設定してもかまわない。しかし、上記のようにして、或るローパスフィルタのまとまりごとに時定数を同じにすれば、例えば実際に短時間平均値出力部１１３、長時間平均値出力部１１４としてのローパスフィルタの処理についてのプログラム、インストラクションの記述を効率的なものとすることができる。また、ハードウェアとして構成する場合にも、同じローパスフィルタとしての部品を利用できるために製造効率も良くなる。
【００３７】
ここで、短時間平均値出力部１１３が求める移動平均の単位時間と、長時間平均値出力部１１４が求める移動平均値の単位時間とを比較すると、長時間平均値出力部１１４のほうが、ローパスフィルタ１２１−１〜１２１−ｍによる時定数分だけ長くなる。即ち、相対的な関係として、短時間平均値出力部１１３が出力する移動平均値が短時間平均値となり、長時間平均値出力部１１４が出力する移動平均値が長時間平均値となる。
そして、長時間平均値出力部１１４の長時間平均値は、デジタルスチルカメラ１の周囲環境における定常的な音の大きさを示すものとしての意義を持つ。これに対して、短時間平均値出力部１１３が出力する短時間平均値は、周囲環境における音声の大きさの変化がより反映されているものとしての意義を持つ。
【００３８】
例えば、周囲環境における音声の大きさの変化を反映させようとすれば、短時間平均値に代えて、収音音声信号のｄＢ値をそのまま採用することも１つの妥当な手法として考えることができる。
しかし、盛り上がり状態に対応した音の大きさの変化は、或る程度の時間幅を持って生じるもので、瞬時的な変化は盛り上がり状態としてとらえるべきではない場合のほうが多い。このため、仮に短時間平均値に代えて、収音音声信号のｄＢ値をそのまま採用したとすると、上記したような瞬時的に音が大きくなるような変化に応答して盛り上がり状態であるとの誤判定を招く可能性が高くなる。そこで、本実施形態としては、短時間平均値を採用することとしている。
【００３９】
短時間平均値出力部１１３から出力される短時間平均値と、長時間平均値出力部１１４から出力される長時間平均値は、減算器１１５に対して入力される。
減算器１１５は、短時間平均値から長時間平均値を減算して、その減算により得られた値を盛り上がり値v_mrgとして出力する。
【００４０】
ここで、短時間平均値から長時間平均値を減算するということは、短時間移動平均としての周囲環境音の大きさから、定常的な音の大きさの影響を排除して、短時間における音の周囲環境音の変化の成分のみを抜き出しているということがいえる。そして、もっとも分かりやすい例として、その周囲の環境としては、被写体となり得る人物が比較的多くの複数人が存在している、という状況を想定すれば、上記した短時間における音の周囲環境音の変化の成分、即ち減算器１１５の出力は、周囲の盛り上がりの程度（盛り上がり度）を表している、ということがいえる。
【００４１】
［盛り上がり値生成部：第２構成例］
図４は、盛り上がり値生成部１０１についての第２構成例を示している。この図において図３と同一部分については同一符号を付して説明を省略する。
図３に示した盛り上がり値生成部１０１では、長時間平均値出力部１１４を形成するローパスフィルタの一部を短時間平均値出力部１１３を形成するローパスフィルタと共用していた。
これに対して、図４の盛り上がり値生成部１０１においては、長時間平均値出力部１１４を形成するローパスフィルタ１２０−１〜１２０−ｎと、短時間平均値出力部１１３を形成するローパスフィルタ１２１−１〜１２１−ｍとは互いに独立した異なるものとなっている。つまり、図４における短時間平均値出力部１１３及び長時間平均値出力部１１４としては、短時間平均値出力部１１３の初段のローパスフィルタ１２０−１、及び長時間平均値出力部１１４の初段のローパスフィルタ１２１−１に対して、正規化処理部１１２から出力されるｄＢ値としての収音音声信号を分岐して入力させることとしている。
【００４２】
［盛り上がり値生成部：第３構成例］
図５は、盛り上がり値生成部１０１についての第３構成例を示している。この図において図３、図４と同一部分については同一符号を付して説明を省略する。
この図においては、絶対値化処理部１１１の前段においてバンドパスフィルタ１１０を設けることとしている。
例えば本実施形態においては、被写体として人を想定し、デジタルスチルカメラ１の周囲に存在する人を対象にして盛り上がり判定を行うこととしている。これは即ち、収音音声信号の成分を、人の声であるとして捉えていることを意味する。しかし、実際の周囲環境音には、人の声以外の音の成分が含まれる可能性のあることは避けられない。
【００４３】
そこで、バンドパスフィルタ１１０について、人間の声に対応する周波数帯域を通過帯域特性として与える。つまり、バンドパスフィルタ１１０には、盛り上がり値の判定の基となる音声成分に対応した通過帯域特性を与える。これにより、この場合には、人間の声以外の音成分を極力排除することが可能になり、盛り上がり値v_mrgとしてもより高い信頼性を得ることができる。
なお、人間の声に対応させたバンドパスフィルタ１１０の実際としては、例えば３００Hz〜４ｋHz程度の周波数帯域が通過するような周波数特性を与えればよい。
【００４４】
なお、この図５においては、図３（第１構成例）と同じ構成の短時間平均値出力部１１３及び長時間平均値出力部１１４の構成を示している。しかし、バンドパスフィルタ１１０を有する構成としては、図４の第２構成例として示した短時間平均値出力部１１３、長時間平均値出力部１１４の構成と組み合わせることについて、何ら問題はない。
【００４５】
＜４．レリーズ判定部の構成例＞
［レリーズ判定部：第１構成例］
続いては、レリーズ判定部１０２としての構成例について説明していく。先ず、図６により、レリーズ判定部１０２の第１構成例について説明する。
図６においては、レリーズ判定部１０２とともに、盛り上がり値生成部１０１が示されている。ここでの盛り上がり値生成部１０１は、図３に示した盛り上がり値生成部としての第１構成例を示しているが、図４，図５などに示した第２，第３構成例とすることについて何ら問題はない。
【００４６】
図６に示されるレリーズ判定部１０２は、比較器１３１から成るものとしている。
この比較器１３１は、非反転入力端子に対して、盛り上がり値生成部１０１から出力される盛り上がり値v_mrgを入力し、反転入力端子に対して、レリーズ判定用（盛り上がり判定用）の閾値ｔｈを入力している。この第１構成例においては、閾値ｔｈは、予め固定値として設定される。
【００４７】
比較器１３１は、上記のようにして入力される盛り上がり値v_mrgと閾値ｔｈとを比較して、盛り上がり値v_mrgが閾値ｔｈよりも大きければ１を出力し、小さければ０を出力する。この比較器１３１の出力が撮像指示フラグshot_flag(盛り上がり判定値)となる。
この場合には、撮像指示フラグshot_flag＝１は、盛り上がり状態にあるとの判定結果を得たことを意味する。また、これとともに、レリーズ制御部１０３からみた場合には、撮像指示フラグshot_flag＝１により撮像記録が指示される旨の意義を持つものとなる。つまり、ここでの図示は省略しているが、レリーズ制御部１０３は、撮像指示フラグshot_flag＝１のときに、予め定められた所定のタイミングで、そのときに撮像により得られている画像についての撮像記録を実行させる。
これに対して、撮像指示フラグshot_flag＝０は、盛り上がり状態ではない（非盛り上がり）であるとの判定結果を得たことを意味する。これとともに、レリーズ制御部１０３にとっては、撮像記録が指示されない旨の意義を持つものとなる。従って、レリーズ制御部１０３は、撮像指示フラグshot_flag＝０のときには、特に撮像記録を実行しない。
【００４８】
上記の説明のようにして、本実施形態のデジタルスチルカメラ１においては、周囲の状況として、被写体となり得る人が盛り上がっていると判定したタイミングに応じて撮像記録を行うことが可能とされている。
【００４９】
特許文献１に記載される、入力音声信号に基づいた重要シーンの判定（ハイライトポイントの生成）も、盛り上がりの判定としては有効ではある。ただし、リアルタイムに判定していくことを考えた場合、音声レベルの極大値を検出する際において、リアルタイム性が損なわれないように工夫する必要性があると考えられる。現時刻において得られている音声レベルが極大値かどうかは、現時刻より後の音声レベルと比較する必要があるからである。
これに対して、本実施形態の盛り上がり値生成部１０１の構成により求められる盛り上がり値v_mrgは、収音音声信号レベルの短時間平均値に対する長時間平均値の差分であるから、閾値ｔｈと比較する段階では、現時刻において盛り上がり状態に応じた絶対的な値が得られているといえる。これは、盛り上がり値v_mrgを閾値と比較するという盛り上がり判定は、収音音声信号レベルの時間進行に応じた変化に対応して適切な判定結果が得られることを意味する。換言すれば、本実施形態の盛り上がり判定は、リアルタイム性に優れているといえる。
【００５０】
また、例えば、単純に、適当に設定した時定数による単一の収音音声信号レベルの平均値と閾値とを比較して盛り上がり状態の判定を行うような場合には、どうしても絶対的な周囲環境音のレベルと閾値との比較になってしまう。このために、例えば、周囲がうるさい環境であると、常に盛り上がり状態であると判定されてしまったり、逆に、周囲が静かな環境であると、常に盛り上がっていないと判定されてしまうような結果となる可能性が高くなる。
これに対して、本実施形態のように、盛り上がり値v_mrgの算出にあたり、短時間平均値から長時間平均値を差し引くということは、そのときの定常的な周囲環境音のレベルに対する短時間的な周囲環境音のレベルの変化を数値化して取り出しているといえる。
このことは、周囲が比較的うるさいような環境であっても、その環境においてさらに盛り上がったときの状態を的確に判定できることにつながる。また、逆に、周囲が比較的静かであれば、盛り上がったときの音量もさほど高くはないが、このような小さい音量変化に対応して適切に盛り上がり状態であるとして判定できる。
【００５１】
［レリーズ判定部：第２構成例］
上記第１構成例からもわかるように、盛り上がり値v_mrgに基づく盛り上がり状態か否かの判定の結果は、閾値ｔｈの設定に依存する。つまり、同じ盛り上がり値v_mrgであっても、設定される閾値ｔｈとしての実値に応じて、盛り上がり状態か否かについての判断結果は異なる。従って、盛り上がり状態についての適切な判定結果を得るためには、当然のこととして、閾値ｔｈを適切に設定することが必要になる。
上記閾値ｔｈについては、適切に設定されていさえすれば、上記第１構成例のようにして固定値であっても、盛り上がり状態についての適切な判定結果を得ることはできる。
【００５２】
ただし、例えばここで、ユーザが、「もう少し盛り上がり撮影される頻度（単位時間におけるさつｚ王記録の回数）を高くしたい、もしくは低くしたい」と思うことは当然あると考えられる。レリーズ判定部１０２についての第２構成例は、このような必要性に対応するための基本とされる一構成である。
【００５３】
図７は、第２構成例としてのレリーズ判定部１０２とともに、盛り上がり値生成部１０１を示している。
なお、ここでの盛り上がり値生成部１０１も、図６の場合と同様に、図３に示した盛り上がり値生成部としての第１構成例を示しているが、図４，図５などに示した第２，第３構成例を採用してよい。この点については、第３構成例として後述する図８についても同様である。
【００５４】
図７のレリーズ判定部１０２においては、図６に示した比較器１３１に加えて、ローパスフィルタ１３２，１３４、及び比較器１３３を備えて成るものとしている。
比較器１３１においては、図６と同様に、非反転入力端子に対して盛り上がり値v_mrgが入力され、反転入力端子に対して閾値ｔｈが入力され、その比較結果として、１，０による撮像指示フラグshot_flag(盛り上がり判定値)を出力する。ただし、この場合には、閾値ｔｈは固定値ではなく、次に説明するようにして可変されるものとなる。
【００５５】
撮像指示フラグshot_flagは、ローパスフィルタ１３２に対して入力される。このローパスフィルタ１３２は、予め設定された時定数に従った指数平滑平均値として、０〜１の範囲内の値を出力する。このローパスフィルタ１３２の出力する値は、時定数に対応する一定時間前から現時刻に至るまでの期間において盛り上がり状態にあるとして判定された時間の比率を示すものとしてみることができる。ここでは、上記時間比率については、盛り上がり率RATE_mrgということにする。
また、ローパスフィルタ１３２に対して設定する時定数は特に限定されるものではなくもっとも好ましいとされる盛り上がり判定結果などが得られるようにして設定されればよい。本願発明者等によっては、例えば数１００sec程度が好ましいことを確認している。例えば本願発明者等は、実際に３００ｓｅｃを設定して試験を行ったが満足のいく結果が得られている。
【００５６】
比較器１３３の非反転入力端子には、上記盛り上がり率RATE_mrgが入力され、反転入力端子には盛り上がり率目標値RATE_TGTが入力される。
ここで、盛り上がり率目標値RATE_TGTは、例えばユーザが、デジタルスチルカメラ１に対する所定操作により指定した、盛り上がり撮影での撮像記録頻度に基づいたしかるべき値が設定されるものとされ、例えば０〜１の範囲で取り得る値となる。
【００５７】
上記撮像記録頻度は、単位時間において撮像記録する回数とされる。例えばユーザが、この撮像記録頻度を指定するためのユーザインターフェイスとしては、ユーザが操作により、１分間あたりに撮影記録したい写真枚数(目標撮影枚数)を入力できるようにしたものを考えることができる。具体例は、レリーズ判定部１０２の第３構成例にて後述するが、デジタルスチルカメラ１の制御部２７は、上記のようにして操作により入力された撮像記録頻度(目標撮影枚数)から、所定の演算により盛り上がり率目標値RATE_TGTを求める。そして、このようにして求めた盛り上がり率目標値RATE_TGTを、比較器１３３の非反転入力端子に対して入力する。
【００５８】
比較器１３３は、上記のようにして入力される盛り上がり率RATE_mrgと盛り上がり率目標値RATE_TGTとを比較する。その比較結果として、盛り上がり率RATE_mrgのほうが大きい場合には、閾値ｔｈとして取り得る上限値th_MAX（例えば１）を出力する。これに対して盛り上がり率目標値RATE_TGTのほうが大きい場合には、閾値ｔｈとして取り得る下限値th_MIN（例えば０）を出力する。
【００５９】
上記比較器１３３の出力は、ローパスフィルタ１３４に入力されて平滑化される。ローパスフィルタ１３４は、閾値ｔｈについての急激な変化を吸収して安定した判定動作が得られるようにするために挿入される。そして、このローパスフィルタ１３４の出力が、閾値ｔｈとして比較器１３１の反転入力端子に対して入力される。
なお、ローパスフィルタ１３４の時定数は、例えば数１００sec〜数１０００sec程度が好ましい。ちなみに発明者等が１０００secを設定して試験を行っている。
【００６０】
このような構成では、単位時間において撮像指示フラグshot_flag＝１となる時間比率（頻度）は、即ち、単位時間において盛り上がり状態にあるとして判定される時間比率は、盛り上がり率目標値と同じになるようにして、閾値ｔｈが可変されることになる。つまり、ユーザが指定したとおりの撮像記録頻度により、盛り上がり撮影を行うようにして動作する。これは、ユーザが認知している盛り上がり状態を適切に判定して盛り上がり撮影を行うことが可能とされていることを意味する。
【００６１】
［レリーズ判定部：第３構成例］
図８は、第３構成例としてのレリーズ判定部１０２とともに、盛り上がり値生成部１０１を示している。なお、この図において、図７と同一部分には同意符号を付して説明を省略する。
この図に示されるレリーズ判定部１０２においては、図７の比較器１３１に代えて、判定処理部１３５が備えられている。
この判定処理部１３５は、盛り上がり値生成部１０１からの盛り上がり値v_mrgと、ローパスフィルタ１３４から出力される閾値ｔｈとを入力し、撮像指示フラグshot_flagと、盛り上がり状態フラグmrg_flagを出力するようにされている。
盛り上がり状態フラグmrg_flagは、現時刻において盛り上がり状態であるか否かを、１，０により示すフラグである。
先に図６，図７により示した第１構成例、第２構成例としてのレリーズ判定部１０２における撮像指示フラグshot_flagは、盛り上がり状態であるか否かを示すフラグ（盛り上がり判定値）であるとしていた。この第３構成例としての図８においては、盛り上がり状態フラグmrg_flagが盛り上がり判定値として扱われるべきものとなる。第３構成例における撮像指示フラグshot_flagは、盛り上がり状態フラグmrg_flagに基づいて、レリーズ制御部１０３に対して１，０により撮像記録のタイミングを指示するフラグとして機能する。
【００６２】
デジタルスチルカメラ１の構成、撮影モード、仕様によっては、１回の撮像記録が開始されてから次の回の撮像記録が実行可能となるまでに一定の時間間隔（レリーズ時間間隔）が必要になる場合がある。撮像記録が開始されたとする時点からレリーズ時間間隔が経過するまでは、次の回の撮像記録は行われない。
第３構成例では、少なくとも、盛り上がり撮影としての自動撮像記録を実行させるのにあたり、上記レリーズ時間間隔として一定の時間長が必要とされる場合に対応した構成となる。
【００６３】
まず、第３構成例における盛り上がり率目標値RATE_TGTの設定例について説明する。
ここでは、ユーザが可能な撮像記録頻度の指定操作のインターフェイスとしては、第２構成例においても述べたように、１分間あたりにおいて撮影（撮像記録）されるべき写真（画像データ）の数(目標撮影枚数)を入力できるようになっているものとする。
ここで、上記ユーザが指定する１分間あたりの目標撮影枚数を、SHOT_PER_MIN_TGT[単位：SHOT/MINUTE]とする。例えば、ユーザが１分間あたりの目標撮影枚数として４を入力したのであれば、SHOT_PER_MIN_TGT=4となる。また、上記レリーズ時間間隔をSHOT_SEC[単位：SECOND]とする。そして、盛り上がり率目標値RATE_TGTについては、下記の演算により求める。
RATE_TGT= SHOT_PER_MIN_TGT* SHOT_SEC/60.0・・・（式１）
【００６４】
例えば、レリーズ時間間隔（SHOT_SEC）が５秒であるとする。すると、１分間において最大で１２回（60/5）撮像できることになる。従って、ユーザが１分間あたりの目標撮影枚数を１２と入力指定すれば、上記（式１）により、盛り上がり率目標値RATE_TGT=1が求められる。また、６と入力指定すれば、上記（式１）により、盛り上がり率目標値RATE_TGT=0.5(1/2)が求められる。
確認のために述べておくと、上記(式１)を利用した盛り上がり率目標値RATE_TGTの算出処理は、デジタルスチルカメラ１においては、制御部２７（CPU）に実行させることができる。
【００６５】
図９のフローチャートは、判定処理部１３５が実行する処理を示している。
判定処理部１３５は、先ずステップＳ１０１により、現時刻において入力される盛り上がり値v_mrgと閾値ｔｈについて、v_mrg＞thが成立するか否かについて判別する。
【００６６】
ステップＳ１０１においてv_mrg＞thであるとして肯定の判別結果が得られた場合には、次のステップＳ１０２により、レリーズ残り時間shot_restが０以下であるか否かについて判別する。
レリーズ残り時間shot_restは、最後の撮像記録が開始された時点を起点とするレリーズ時間間隔についての残り時間を示す。つまり、レリーズ残り時間shot_restが０より大きければ、まだ、レリーズ時間間隔を経過しておらず、従って、撮像記録はまだできないということになる。これに対して、レリーズ残り時間shot_restが０以下であれば、既にレリーズ時間間隔を経過しているので、次の撮像記録が可能な状態であることになる。
【００６７】
ステップＳ１０２において肯定の判別結果が得られた場合、判定処理部１３５は、ステップＳ１０３により、撮像指示フラグshot_flag＝１を設定して出力する。このステップＳ１０３により撮像指示フラグshot_flag＝１とされたタイミングで、レリーズ制御部１０３は、撮像記録を実行することになる。
【００６８】
次に判定処理部１３５は、ステップＳ１０４により、レリーズ残り時間shot_restについて、レリーズ残り時間初期値REST_INITを代入して設定する。
【００６９】
レリーズ残り時間初期値REST_INITは、固定値であるが、下記の(式２)により一義的に求められるべきものとなる。なお、下記の（式２）においてFS［単位：Hz］は、収音音声信号のサンプリング周波数を示す。
REST_INIT= SHOT_SEC*FS・・・(式２)
ここで、レリーズ残り時間初期値REST_INITを求めるのにレリーズ時間間隔SHOT_SECにサンプリング周波数FSを乗算しているのは、この図９に示す処理を、収音音声信号のサンプル周期に対応したタイミングごとに実行していることによる。つまり、レリーズ残り時間初期値REST_INITは、レリーズ時間間隔SHOT_SECとして表される時間長を、サンプル周期に対応した図８のループ処理回数として表したものである。
上記の説明から理解されるように、ステップＳ１０４は、ステップＳ１０３の処理に対応して撮像記録が開始されたことに応じて、レリーズ時間間隔に応じたタイマをリセットしてスタートさせる処理となる。
なお、確認のために述べておくと、レリーズ残り時間shot_restは、初期設定時においては０が設定される。
【００７０】
一方、ステップＳ１０２により否定の判別結果が得られた場合、及び、ステップＳ１０１にて否定の判別結果が得られた場合には、判定処理部１３５は、上記ステップＳ１０３、Ｓ１０４の処理に代えて、ステップＳ１０５、Ｓ１０６の処理を実行する。
【００７１】
ステップＳ１０２にて否定の判別結果が得られる場合とは、盛り上がり値v_mrgが閾値ｔｈ以下である場合となる。また、ステップＳ１０２にて否定の判別結果が得られる場合とは、盛り上がり値v_mrgは閾値ｔｈより大きいが、最後の撮像記録開始タイミングからレリーズ時間間隔（SHOT_SEC）を経過していないときである場合となる。
これらの場合においては、いずれも、撮像記録を実行させる条件を満たさないことになる。そこで、この場合には、ステップＳ１０５にて像指示フラグshot_flag＝０を設定して出力し、レリーズ制御部１０３に対する撮像記録の実行は指示しないようにする。
また、ステップＳ１０６によっては、これまでのレリーズ残り時間shot_restをデクリメントして、新たなレリーズ残り時間shot_restを設定する。このステップＳ１０５、Ｓ１０６の処理によって、レリーズ時間間隔としての期間内においては、図９の処理のループを繰り返すごとにレリーズ残り時間shot_restの値が減少していくようにされる。
【００７２】
ステップＳ１０７においては、改めて、ステップＳ１０２と同様に、レリーズ残り時間shot_restが０以下であるか否かについて判別する。例えばステップＳ１０２において否定の判別結果が得られたとしても、ステップＳ１０６を経たことで、レリーズ残り時間shot_rest＝０に更新される場合がある。この場合には、ステップＳ１０２にて否定の判別結果が得られたとしても、ステップＳ１０７にて肯定の判別結果が得られることになる。
【００７３】
ステップＳ１０７にて肯定の判別結果が得られた場合、即ち、最後の撮像記録に対応するレリーズ時間間隔を経過している場合には、ステップＳ１０８により、盛り上がり状態フラグmrg_flagについて、盛り上がり状態ではないとの判定結果を示す0を設定し、収音音声信号のサンプリング周波数に対応するしかるべきタイミングで、ステップＳ１０１に戻る。
これに対して、ステップＳ１０８にて否定の判別結果が得られた場合、即ち、未だ最後の撮像記録に対応するレリーズ時間間隔を経過していない場合には、ステップＳ１０９により、盛り上がり状態フラグmrg_flagについて盛り上がり状態であるとの判定結果を示す1を設定し、収音音声信号のサンプリング周波数に対応するしかるべきタイミングで、ステップＳ１０１に戻る。
【００７４】
上記処理によると、盛り上がり値v_mrgが閾値ｔｈ以下とされていた状態から、閾値ｔｈより大きい状態に変化してステップＳ１０１にて否定の判別結果が得られていた状態から肯定の判別結果が得られる状態に遷移すると、撮像指示フラグshot_flag=1となることに応じて1回の撮像記録が開始されるとともに、この撮像記録が開始された時点からレリーズ時間間隔が経過するまで、盛り上がり状態フラグmrg_flagも１を出力するようにされる。ただし、撮像指示フラグshot_flag=1とされた次の図９の処理においては、ステップＳ１０２からステップＳ１０５、Ｓ１０６を経由することで、撮像指示フラグshot_flag=0にリセットされる。
また、レリーズ時間間隔が経過したときに、盛り上がり値v_mrgが閾値以下の状態となっており、ステップＳ１０１にて否定の判別結果が得られているときには、ステップＳ１０６により更新されるレリーズ残り時間shot_restは、負の値を取るので、必ずステップＳ１０７にて否定の判別結果が得られ、盛り上がり状態フラグmrg_flag=0が維持されることになる。
このようにして、レリーズ判定部１０２の第３構成例としても、第１，第２構成例と同様に、盛り上がり状態フラグmrg_flagは、基本的には、盛り上がり値v_mrgと閾値ｔｈの大小関係(比較結果)に基づいて１，０の値が設定されるべきものとなっている。そのうえで第３構成例では、一度、mrg_flag=１が設定されると、レリーズ時間間隔が経過するまで、その状態を維持する。これは、撮像記録が開始されてからレリーズ時間間隔が経過されるまでの期間を盛り上がり状態とみなしていることを意味する。これにより、盛り上がり率目標値RATE_TGTと比較される盛り上がり率RATE_mrgとして適切な値を得ることができる。
【００７５】
図１０のタイミングチャートは、或る時間長における、図８に示したレリーズ判定部１０２の動作例として、盛り上がり値v_mrg、撮像指示フラグshot_flag、盛り上がり状態フラグmrg_flag、盛り上がり率RATE_mrg、閾値ｔｈの変化例を示している。
ここでは、収音音声信号のレベルは示されてはいないが、例えば時間経過に従って徐々に大きくなっていく傾向であるとする。つまり、時間が経過していくのに従って、徐々に盛り上がっていくような状況である。
【００７６】
この図において、先ずは、撮像指示フラグshot_flagは、単発のパルスとして立ち上がっている。つまり、前述のようにして盛り上がり値v_mrgが閾値ｔｈを超えたとするタイミングにおいてのみ１となることがここでも示される。また、盛り上がり状態フラグmrg_flagは、撮像指示フラグshot_flagが立ち上がったタイミングで一定の幅で立ち上がっている。この撮像指示フラグshot_flagが立ち上がっている幅に対応する時間長がレリーズ時間間隔に相当する。
また、盛り上がり状態フラグmrg_flag、盛り上がり率RATE_mrg、及び閾値ｔｈに着目すると、時間経過に応じて盛り上がり状態フラグmrg_flagが１となる頻度が高くなっている。つまり、上記もしたように、時間経過に応じて徐々に盛り上がっているような状態であることが検出されている。そして、これに応じて、盛り上がり率RATE_mrgも高くなっていき、これに応じて閾値ｔｈも高くなっている。この場合において閾値ｔｈが高くなっていって居るということは、周囲が徐々に盛り上がっていったとしても、ユーザが設定した撮像記録頻度に近い頻度で撮像記録が自動実行されるように制御されていることを示している。
【００７７】
なお、上記実施形態においては、リアルタイムにマイクロフォンで収音して得られる収音音声信号を盛り上がり判定に利用している。先にも述べたように、本実施形態は、収音音声信号に基づいた盛り上がり判定として特にリアルタイム性に優れているが、例えば既に録音済みとされた収音音声信号などを対象としても有効に盛り上がり判定を行える。また、この考え方をさらに拡大すれば、盛り上がり判定に利用する音声信号は、必ずしもマイクロフォンにより収音した音声でなくともよい利用態様もあると考えられる。
【００７８】
また、盛り上がり判定のために利用する情報値としては音声信号のレベルに限定されない。
例えば盛り上がり判定に利用可能な収音音声信号レベル以外の情報値として、人である被写体の笑顔の度合いを示す情報(笑顔度)を挙げることができる。
現在においては、画像における人の顔を対象として笑顔を検出することが可能とされており、例えばデジタルスチルカメラなどの撮像装置では、撮像画像における人としての被写体の顔について笑顔であることを検出したタイミングで自動的に撮像記録を実行するようにされたものが知られている。
このような笑顔検出に際しては、方式にもよるが、笑顔としての度合い(笑顔度)を評価、検出することができる。
【００７９】
そこで、例えば本実施形態のデジタルスチルカメラ１について、撮像画像において存在する人の顔を対象として上記のような笑顔度を検出可能に構成する。そのうえで、盛り上がり値生成部１０１に対して、収音音声信号レベルに代えて、笑顔度としての数値情報を入力する。このようにすれば、被写体である人の笑顔の度合いにより盛り上がり状態を判定して自動撮像記録するという盛り上がり撮影機能を実現できる。
【００８０】
また、上記実施形態では盛り上がり判定結果をデジタルスチルカメラによる自動撮像記録のトリガとして利用しているのであるが、盛り上がり判定結果の利用の態様は、これに限定されない。これに応じて、本実施形態に対応する盛り上がり判定の構成を適用できる装置は、撮像装置以外にも考えられる。例えば、パーソナルコンピュータなどにインストールされるアプリケーションプログラムなどに適用することもできる。
【００８１】
また、先にも述べたようにｍ本実施形態としての構成における少なくとも一部はＣＰＵやＤＳＰ（Digital Signal Processor）などにプログラムを実行させることで実現できる。
このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシュメモリ３０などに記憶させることが考えられる。また、ＵＳＢやＩＥＥＥ１３９４などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
【図面の簡単な説明】
【００８２】
【図１】実施形態のデジタルスチルカメラの構成例を示すブロック図である。
【図２】実施形態のデジタルスチルカメラに実装される盛り上がり撮影機能に対応した基本的なシステム構成例を示すブロック図である。
【図３】盛り上がり値生成部の第１構成例を示すブロック図である。
【図４】盛り上がり値生成部の第２構成例を示すブロック図である。
【図５】盛り上がり値生成部の第３構成例を示すブロック図である。
【図６】レリーズ判定部の第１構成例を示すブロック図である。
【図７】レリーズ判定部の第２構成例を示すブロック図である。
【図８】レリーズ判定部の第３構成例を示すブロック図である。
【図９】第３構成例のレリーズ判定部が実行する処理手順例を示すフローチャートである。
【図１０】第３構成例のレリーズ判定部の動作例を示すタイミングチャートである。
【符号の説明】
【００８３】
１  デジタルスチルカメラ、２  シャッターボタン、３  レンズ部、１０  雲台、２１  光学系、２２  イメージセンサ、２３  Ａ／Ｄコンバータ、２４  信号処理部、２５  エンコード／デコード部、２６  メディアコントローラ、２７  制御部、２８  ＲＯＭ、２９  ＲＡＭ、３０  フラッシュメモリ、３１  操作部、３２  表示ドライバ、３３  表示部、３４  雲台対応通信部、３５  マイクロフォン、３６  前処理部、４０  メモリカード、１０１  盛り上がり値生成部、１０２  レリーズ判定部、１０３  レリーズ制御部、１１１  絶対値化処理部、１１２  正規化処理部、１１３  短時間平均値出力部、１１４  長時間平均値出力部、１１５  減算器、１２０−１〜１２０−ｎ・１２１−１〜１２１−ｍ  ローパスフィルタ、１３１・１３３  比較器、１３２・１３４  ローパスフィルタ、１３５  判定処理部
【図１】
2010085953.tif 000003
【図２】
2010085953.tif 000004
【図３】
2010085953.tif 000005
【図４】
2010085953.tif 000006
【図５】
2010085953.tif 000007
【図６】
2010085953.tif 000008
【図７】
2010085953.tif 000009
【図８】
2010085953.tif 000010
【図９】
2010085953.tif 000011
【図１０】
2010085953.tif 000012