(57)【特許請求の範囲】
【請求項１】
動画撮像機能を有する撮像装置において、
指定されたテンポで外部に報知するメトロノーム手段と、
前記メトロノーム手段が報知するテンポに基づいて、前記動画撮像機能のフレームレートを設定するフレームレート設定手段と、
前記フレームレート設定手段が設定したフレームレートで前記メトロノーム手段の報知と同期した撮像動作をおこなって動画像データを生成する撮像手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記フレームレート設定手段は、前記メトロノーム手段が報知するテンポの単位当たりのフレーム数が整数となるフレームレートを設定する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
動画撮像機能を有する撮像装置で指定されたテンポと同期した動画を撮像するための動画撮像方法であって、
前記指定されたテンポで外部に報知するステップと、
前記報知されるテンポに基づいて、前記動画撮像機能のフレームレートを設定するステップと、
前記設定されたフレームレートで前記報知と同期した撮像動作をおこなって動画像データを生成するステップと、
を含むことを特徴とする動画撮像方法。
【請求項４】
動画撮像機能を有する撮像装置を制御するコンピュータに、
指定されたテンポで外部に報知する機能と、
前記報知されるテンポに基づいて、前記動画撮像機能のフレームレートを設定する機能と、
前記設定されたフレームレートで前記報知と同期した撮像動作をおこなって動画像データを生成する機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、動画撮像方法、および、プログラムに関し、特に、音楽などと連動した動作を被写体とした動画撮影に好適な撮像装置、動画撮像方法、および、プログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラや撮影機能を有する携帯電話などでは、スチル画像の撮像のみならず動画撮像をおこなえるものが一般的となっている。このような小型・軽量の装置で容易に動画撮影がおこなえることで、様々な場面で誰でも気軽に動画撮影がおこなわれるようになっている。
【０００３】
また、動画撮像機能では、音声も同時に記録することができるので、例えば、楽器練習やダンスなどといった、音楽と動作とが関連する場面などを撮影して、技術の向上などに活用することも容易におこなうことができる。
【０００４】
ここで、デジタル方式の動画撮像においては、フレームレートが映像品質に影響するが、フレームレートは通常、撮像装置の性能などに基づいて設定されているものであり、撮影する場面や対象との関連性はなかった。
【０００５】
一般的な動画撮影においては、規定のフレームレートで撮影しても問題はないが、例えば、音楽と動作とが関連する場面（楽器演奏やダンスなど）を撮影し、コマ送り再生などでテンポ（リズム）と動作が合っているかを確認したい場合、フレームレートが音楽のテンポと一致していないと、動作がテンポ（リズム）に合っているか正確に確認することができなかった。
【０００６】
一方で、デジタル方式の動画撮像においては、フレームレートを可変とすることも一般的となっており、可変フレームレートで撮像された動画を適切に表示させる手法も知られている（例えば、特許文献１）。
【特許文献１】特開２０００−３５８２２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、可変フレームレートであっても、音楽のテンポと同期させることはできないので、動作がテンポ（リズム）に合っているか確認する用途に用いることはできなかった。
【０００８】
本発明は、上記実状に鑑みてなされたものであり、撮像した動作がテンポに合っているか確認することのできる撮像装置、動画撮像方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の第１の観点にかかる撮像装置は、
動画撮像機能を有する撮像装置において、
指定されたテンポで外部に報知するメトロノーム手段と、
前記メトロノーム手段が報知するテンポに基づいて、前記動画撮像機能のフレームレートを設定するフレームレート設定手段と、
前記フレームレート設定手段が設定したフレームレートで前記メトロノーム手段の報知と同期した撮像動作をおこなって動画像データを生成する撮像手段と、
を備えることを特徴とする。
【００１０】
上記撮像装置において、
前記フレームレート設定手段は、前記メトロノーム手段が報知するテンポの単位当たりのフレーム数が整数となるフレームレートを設定することが望ましい。
【００１２】
上記目的を達成するため、本発明の第２の観点にかかる動画撮像方法は、
動画撮像機能を有する撮像装置で指定されたテンポと同期した動画を撮像するための動画撮像方法であって、
前記指定されたテンポで外部に報知するステップと、
前記報知されるテンポに基づいて、前記動画撮像機能のフレームレートを設定するステップと、
前記設定されたフレームレートで前記報知と同期した撮像動作をおこなって動画像データを生成するステップと、
を含むことを特徴とする。
【００１３】
上記目的を達成するため、本発明の第３の観点にかかるプログラムは、
動画撮像機能を有する撮像装置を制御するコンピュータに、
指定されたテンポで外部に報知する機能と、
前記報知されるテンポに基づいて、前記動画撮像機能のフレームレートを設定する機能と、
前記設定されたフレームレートで前記報知と同期した撮像動作をおこなって動画像データを生成する機能と、
を実現させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、動画撮像によってテンポと動作が合っているか容易に確認することができる。
【発明を実施するための最良の形態】
【００１５】
本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルスチルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、一般的なデジタルスチルカメラが有する機能を備えているものとし、この中には、少なくとも、動画撮像機能が含まれているものとする。
【００１６】
図１は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。
【００１７】
撮像部１００は、デジタルカメラ１の撮像動作をおこなう部分であり、図示するように、光学装置１１０やイメージセンサ部１２０、および、音声入力部１３０、などから構成され、後述する制御部２１０による制御によって動作する。
【００１８】
光学装置１１０は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置１１０の動作により、入射光が集光されるとともに、焦点距離や絞りなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。
【００１９】
イメージセンサ部１２０は、光学装置１１０によって集光された入射光に応じた電気信号を生成する、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などのイメージセンサから構成される。イメージセンサ部１２０は、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部２００に出力する。
【００２０】
なお、本実施形態にかかるデジタルカメラ１は動画撮像機能を有しているので、イメージセンサ部１２０は、連続的な受光によって生成した電気信号を順次出力することで、動画像用の画像信号を出力するものとする。
【００２１】
音声入力部１３０は、例えば、マイクロフォンや音声コーデック装置などから構成され、デジタルカメラ１の外部からの音声を収音し、デジタル音声データを生成する。この場合、音声コーデック装置は、例えば、ADPCM（Adaptive Differential Pulse Code Modulation：適応型差分パルス符号変調方式）などの符号化方式を用いて音声データを生成する。
【００２２】
データ処理部２００は、撮像部１００による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図１に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、などから構成される。
【００２３】
制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。
【００２４】
画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、撮像部１００によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。
【００２５】
すなわち、イメージセンサ部１２０から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンがいわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。
【００２６】
また、動画撮像の場合は、画像処理部２２０の動作によって、所定のフレームレートの動画像データが生成される。この場合、イメージセンサ部１２０から出力された画像信号をフレームレートに応じたタイミングでフレーム画像としていることで動画像データとする。なお、動画撮像をおこなう場合、画像処理部２２０は、画像データの処理とともに音声データの処理もおこなうものとする。すなわち、通常の動画撮像機能と同様、画像とともに音声を記録するものであり、音声入力部１３０から入力される音声データを動画像データと組み合わせることで動画データを生成する。この場合、例えば、H.264/AVCなどの符号化規格を用いて動画データが生成される。
【００２７】
画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。
【００２８】
画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。
【００２９】
記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２５０に格納されているものとする。
【００３０】
外部記憶部２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データなどを格納する。
【００３１】
インタフェース部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図１に示すように、表示部３１０、メトロノーム部３２０、操作部３３０、などから構成される。
【００３２】
表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像（ファインダ画像）、撮像画像、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。
【００３３】
メトロノーム部３２０は、一般的な電子メトロノームと同様の機能を実現する構成であり、制御部２１０の制御によって、音楽テンポを外部に報知する出力動作などをおこなう。本実施形態にかかるメトロノーム部３２０は、例えば、所定の音声を出力するための音源装置とスピーカを備えることで、所定のテンポでメトロノーム音を出力する。また、ＬＥＤなどの発光装置を備えていてもよく、この場合、テンポに合わせた点滅動作をおこなうことにより、視覚的なメトロノーム出力をおこなう。これらのスピーカや発光装置は、撮像対象となる被写体に対して出力される位置（例えば、デジタルカメラ１の前面）に配置されていることが望ましい。
【００３４】
また、メトロノーム部３２０に、設定するテンポを入力するための構成が備えられていてもよい。つまり、一般的な電子メトロノームが備えているタップ機能に必要な構成（例えば、マイクロフォンや振動センサなど）を含んでいてもよい。このタップ機能は、音楽に合わせてデジタルカメラ１を叩く動作（タップ）をユーザがおこない、音声や振動によってタップを検知することで、タップ動作のテンポを検出する機能である。
【００３５】
このようなメトロノーム部３２０は、一般的な電子メトロノーム装置の構成と同様の構成をデジタルカメラ１内に組み込み、制御部２１０の制御によって動作するよう構成することで実現することができる。
【００３６】
操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、シャッタ動作を指示するためのシャッタボタンや、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。
【００３７】
ここで、本実施形態では、記憶部２５０に格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図２を参照して説明する。
【００３８】
図２は、制御部２１０によって実現される機能を示した機能ブロック図である。ここでは、連写機能によって撮像された画像からストロボ画像を生成する機能を実現するために必要な機能構成を示す。この場合、図示するように、制御部２１０は、動作モード処理部２１１、メトロノーム設定部２１２、フレームレート設定部２１３、メトロノーム制御部２１４、動画処理部２１５、などとして機能する。
【００３９】
動作モード処理部２１１は、表示部３１０との協働により、デジタルカメラ１が有する各種動作モードをデジタルカメラ１のユーザに指定させるために必要な画面表示や指定された動作モード毎の設定画面表示などをおこなう他、操作部３３０との協働により、ユーザが指定した動作モードを認識し、当該動作モードの実行に必要なプログラムや演算式などを記憶部２５０から読み出し、制御部２１０の主記憶装置（メモリ）にロードする。
【００４０】
本実施形態では、例えば、楽器演奏やダンスなどといった音楽と動作とが関連する場面を撮影し、その音楽のテンポ（リズム）と動作が合っているか確認する用途（以下、「リズムチェック」とする）に適した動画撮影をおこなうための動画撮像モード（以下、「リズムチェックモード」とする）がユーザによって指定されるものとし、以下に説明する制御部２１０の各機能構成は、リズムチェックモードの指定に応じて動作モード処理部２１１がロードしたプログラムを実行することで実現される機能構成である。
【００４１】
メトロノーム設定部２１２は、リズムチェックモードが指定された場合に、メトロノーム部３２０に出力させるメトロノーム出力の設定をおこなう。この場合、メトロノーム設定部２１２は、動作モード処理部２１１との協働により、出力するテンポをユーザに設定させるための動作をおこなう。ここでは、設定に必要な画面を表示部３１０に表示してユーザにテンポを設定させる。なお、メトロノーム部３２０のタップ機能を用いる場合は、メトロノーム部３２０を制御してタップ機能を実行する。メトロノーム設定部２１２は、このようにして入力されたテンポを所定の単位を使って設定する。本実施形態では、メトロノーム設定部２１２によって設定されるテンポの単位を「ＢＰＭ」（Beats Per Minute：ビート数／分）とする。例えば、「１０５ｂｐｍ」は、「４分の４拍子で４分音符を１分間に１０５回打つ速さ（テンポ）」であることを表す。
【００４２】
フレームレート設定部２１３は、メトロノーム設定部２１２によって設定されたテンポに基づいて、動画撮像時のフレームレートを算出して設定する。また、リズムチェックモードで設定されるフレームレートには、再生映像の詳細度に応じたオプションが用意されているものとする。ここでは、例えば、「低フレームレート」と「高フレームレート」の２種類からユーザが選択できるものとする。この場合のフレームレートオプションは、１ビートに対して割り当てるフレーム数（以下、「ＦＰＢ」（Flames Per Beat：フレーム数／ビート）と表記する）によって設定する。本実施形態では、一例として、「低フレームレート」の場合は、１ビート当たりに２フレーム使うフレームレート（すなわち、２ｆｐｂ）とし、「高フレームレート」の場合は、１ビート当たりに８フレーム使うフレームレート（すなわち、８ｆｐｂ）とする。このように、フレームレート設定部２１３は、テンポの単位当たり（１ビート）に割り当てるフレーム数が整数となるようなフレームレートとする。
【００４３】
このため、フレームレート設定部２１３は、動作モード処理部２１１との協働により、フレームレートオプションをユーザに設定させるための画面を表示部３１０に表示する動作などをおこなう。
【００４４】
メトロノーム制御部２１４は、メトロノーム設定部２１２が設定したテンポでメトロノーム出力されるようメトロノーム部３２０を制御する。すなわち、設定されたテンポを表すメトロノーム音や点滅発光がおこなわれるようメトロノーム部３２０を制御する。
【００４５】
動画処理部２１５は、リズムチェックモードにおける動画撮像動作と、撮像された動画像の再生動作にかかる処理をおこなう。撮像時においては、フレームレート設定部２１３によって設定されたフレームレートで動画像データが生成されるよう、撮像部１００と画像処理部２２０を制御する。この場合、メトロノーム制御部２１４と協働し、撮像データの先頭フレームがメトロノーム出力と同期するよう画像処理部２２０を制御する。そして、このようにして撮像された動画像が、リズムチェックに適した再生となるよう画像出力部２４０などを制御する。
【００４６】
以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。この場合、図２に示した機能のうち、画像処理にかかる機能については、画像処理部２２０によって実現されてもよい。
【００４７】
以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。
【００４８】
このような構成のデジタルカメラ１による動作を以下に説明する。本実施形態では、例えば、楽器演奏やダンスなどのような、音楽と関連する動作を動画撮影する場合を想定する。この場合、デジタルカメラ１のユーザは、デジタルカメラ１の操作部３３０を操作し、動画撮影に関するモードからリズムチェックモードを選択する。
【００４９】
リズムチェックモードが指定された場合にデジタルカメラ１が実行する「テンポ同期撮像処理」を、図３に示すフローチャートを参照して説明する。このテンポ同期撮像処理は、デジタルカメラ１のユーザが操作部３３０を操作することで、リズムチェックモードを指定したことを契機に開始される。この場合、動作モード処理部２１１が、リズムチェックモードにかかるプログラムなどを記憶部２５０からロードすることで、図２に示した各機能構成により以下の処理が実行される。
【００５０】
処理が開始されると、メトロノーム設定部２１２との協働により、動作モード処理部２１１が、撮影する動作に合わせる音楽のテンポを設定するためのテンポ設定画面を表示部３１０に表示する（ステップＳ１０１）。ここで表示するテンポ設定画面の例を図４に示す。ここでは、例えば、図４（ａ）に示すような、テンポを入力する方法をユーザに選択させるための画面を表示する。テンポの入力方法として、例えば、数値入力とタップ入力などが用意されているものとし、これらのうちでユーザが所望する方法を選択する。
【００５１】
数値入力は、ユーザが操作部３３０を操作することでＢＰＭの値を入力する方法であり、タップ入力は、メトロノーム部３２０のタップ機能を用いてテンポを入力する方法である。数値入力が選択された場合、動作モード処理部２１１は、例えば、図４（ｂ）に示すようなＢＰＭを設定する画面を表示することで、ユーザにＢＰＭの数値を入力させる。
【００５２】
一方、タップ入力が選択された場合、メトロノーム設定部２１２がメトロノーム部３２０のタップ機能にかかる構成を制御することで、デジタルカメラ１に対するタップを検知し、タップ間隔などを計測することでＢＰＭを求める。このタップ入力によるＢＰＭの算出は、既存の電子メトロノーム装置に用いられている方法によっておこなわれるものとする。
【００５３】
このようにして、所望される音楽のテンポ（ＢＰＭ）が入力されると（ステップＳ１０２：Ｙｅｓ）、メトロノーム設定部２１２は、設定されたテンポをフレームレート設定部２１３とメトロノーム制御部２１４に通知する。テンポを通知されたフレームレート設定部２１３は、動作モード処理部２１１との協働により、フレームレートオプションとしてのＦＰＢをユーザに指定させるためのフレームレート設定画面を表示部３１０に表示する（ステップＳ１０３）。ここで表示するフレームレート設定画面の例を図４（ｃ）に示す。
【００５４】
上述したように、本実施形態では、フレームレートオプションとして、低フレームレートと高フレームレートの２種類が用意されているものとするので、図４（ｃ）に示すように、これらのオプションをユーザに選択させる画面が表示部３１０に表示される。
【００５５】
デジタルカメラ１のユーザは、操作部３３０を操作することで、所望するフレームレートオプションを選択する。すなわち、テンポ（リズム）と動作が合っているかの確認をおおまかに確認したい場合は「低フレームレート」を選択し、詳細に確認したい場合は「高フレームレート」を選択する。
【００５６】
フレームレートオプションが指定されると、フレームレート設定部２１３は、設定されたテンポ（ＢＰＭ）と、指定されたフレームレートオプション（ＦＰＢ）とに基づいて、動画撮像時のフレームレートを算出する（ステップＳ１０４）。
【００５７】
ここでは、１フレームのフレーム長（時間）を算出することで、フレームレートを算出する。この場合、フレームレート設定部２１３は、例えば、数１を算出することで、１フレームのフレーム長を算出する。
【００５８】
（数１）
フレーム長＝（６０÷ＢＰＭ）／ＦＰＢ
【００５９】
例えば、１分間のビート数であるＢＰＭが「１０５」で、フレームレートオプションが「低フレームレート」（２ｆｐｂ）である場合、１ビートに２フレームを割り当てるので、１ビート分の時間である（６０÷１０５）＝０．５７１４（秒）＝５７１．４（ミリ秒）を、ＦＰＢの値となる「２」で除することで、１フレームのフレーム長として２８５．７ミリ秒（ｍｓ）が求められる。
【００６０】
同様に、ＢＰＭが「１０５」で、フレームレートオプションが「高フレームレート」（８ｆｐｂ）である場合は、１ビート分の時間である５７１．４ミリ秒（ｍｓ）をＦＰＢの値「８」で除した７１．４ミリ秒（ｍｓ）が、１フレームのフレーム長となる。
【００６１】
このようにして１フレームのフレーム長を求めることで、フレームレート設定部２１３は、動画撮像時のフレームレートを設定する。上記の例における「低フレームレート」の場合では、３．５ｆｐｓ（１÷０．２８５７）がフレームレートとなり、「高フレームレート」の場合では、１４ｆｐｓ（１÷０．０７１４）がフレームレートとなる。
【００６２】
フレームレートを設定すると、フレームレート設定部２１３は、設定したフレームレートを動画処理部２１５に通知するとともに、動作モード処理部２１１との協働により、リズムチェックモードでの動画撮像を開始できる旨を表示部３１０に表示する。この場合、デジタルカメラ１のユーザは、例えば、操作部３３０のシャッタボタンを操作することで、撮像開始の指示入力をおこなう。
【００６３】
シャッタボタンが操作されると、対応する入力信号が操作部３３０から制御部２１０に入力される。動画処理部２１５は、この入力信号によって撮像開始指示がなされたと判断すると（ステップＳ１０５：Ｙｅｓ）、メトロノーム制御部２１４に対しメトロノーム出力を指示する。
【００６４】
メトロノーム制御部２１４は、動画処理部２１５からの指示に応じてメトロノーム部３２０を制御することで、メトロノーム出力を開始する（ステップＳ１０６）。ここでは、メトロノーム設定部２１２から通知されたテンポのメトロノーム出力をおこなう。同時に、メトロノーム制御部２１４は、メトロノーム出力と同期させるための同期信号を動画処理部２１５に送出する。
【００６５】
動画処理部２１５は、メトロノーム制御部２１４からの同期信号に基づき、メトロノーム出力と同期した動画撮像となるよう撮像部１００および画像処理部２２０を制御することで、最初のメトロノーム出力と先頭フレームのタイミングが同期した動画撮像を開始する（ステップＳ１０７）。
【００６６】
このような撮像動作で撮影する場面の例を図５に示す。ここでは、図示するような打楽器（ドラムなど）を演奏する場面を想定する。この場合、デジタルカメラ１から発せられるメトロノーム出力に合わせて打楽器演奏をおこなうものとする。また、本実施形態においては、４分の４拍子でメトロノーム出力をおこなうものとする。この場合、１ビート（１拍＝４分音符）毎にメトロノーム出力がおこなわれる。メトロノーム出力を音声とした場合、例えば、４拍毎に音色を異ならせたもの（例えば、「ピッ・ポ・ポ・ポ・ピッ・ポ・ポ・ポ…」）とする。
【００６７】
そして、このような４分の４拍子のメトロノーム出力に合わせて、打楽器で８分音符を打つ場面（例えば、一定のリズムをキープする練習をおこなっている場面など）を想定する。１ビートが４分音符に相当するので、８分音符を連打する場合、１回のメトロノーム出力に対し２回打楽器を打つことになる。
【００６８】
このような場面の動画撮像をユーザによる撮像終了指示がなされるまでおこなう（ステップＳ１０８：Ｎｏ）。すなわち、撮像部１００によって生成された撮像信号を、設定したフレームレートで画像処理部２２０がフレーム画像化することで、指定された音楽テンポ、すなわち、メトロノーム部３２０が出力するテンポに合わせたフレームレートの動画データが順次生成され、画像メモリ２３０に格納される。なお、この動画撮像動作においては、通常の動画撮像機能と同様に、音声も同時に記録されている。本例の場合では、打楽器の演奏音やメトロノーム音が動画とともに記録されていることになる。
【００６９】
撮影を終了する場合、デジタルカメラ１のユーザは、例えば、シャッタボタンを再度操作する。この場合、操作に応じた入力信号が操作部３３０から制御部２１０に入力されるので、動画処理部２１５は、撮像終了指示がなされたと判別する（ステップＳ１０８：Ｙｅｓ）。この場合、動画処理部２１５は、撮像部１００と画像処理部２２０に撮像動作の終了を指示するとともに、メトロノーム制御部２１４にメトロノーム出力の終了を指示する。これにより、動画撮像動作とメトロノーム出力が終了する（ステップＳ１０９）。
【００７０】
撮像動作が終了すると、動画処理部２１５は、画像メモリ２３０に格納されている動画データと本処理で設定した設定情報（ＢＰＭ、ＦＰＢ、など）とを対応づけ、例えば、外部記憶部２６０などに格納して（ステップＳ１１０）、処理を終了する。
【００７１】
このような撮像動作で得られたフレーム画像の例を、図６および図７を参照して説明する。図６は、フレームレートオプション（ＦＰＢ）が低フレームレート（２ｆｐｂ）の場合を説明するための図であり、図７は、フレームレートオプション（ＦＰＢ）が高フレームレート（８ｆｐｂ）の場合を説明するための図である。
【００７２】
まず、図６を参照して、低フレームレートの場合に得られるフレーム画像を説明する。本実施形態にかかる低フレームレートは２ｆｐｂであるため、１ビート（５７１．４ｍｓ）につき２フレーム分のフレーム画像が生成されていることになる。ここで、上述したように、４分の４拍子のメトロノーム出力に合わせて８分音符を連打する動作、すなわち１ビートにつき２回打つ動作を撮影しているので、各フレームは８分音符１回分に対応していることになる。このため、正確に８分音符を連打していれば、すべてのフレームで打楽器を打った瞬間の画像が記録されていることになる。
【００７３】
したがって、各フレーム画像を再生することで、メトロノーム出力のテンポに合った正確な演奏動作ができているか確認することができる。図６の例では、「フレーム３」の画像が打楽器を打った瞬間ではないので、３打目がテンポに合っていなかったと確認することができる。
【００７４】
次に、図７を参照して、高フレームレートの場合に得られるフレーム画像を説明する。高フレームレートの場合、１ビート当たり８フレームを使って撮像しているので、８分音符を連打した場合、１回の８分音符に相当する時間は４フレーム分になる。この場合、メトロノーム出力と撮像動作を同期させているので、メトロノーム出力に基づいた８分音符に対応するフレームは４フレーム毎となり、図７の例では、フレーム１、フレーム５、フレーム９…、となる。よって、正確に８分音符を連打していれば、打楽器を打った瞬間の画像がこれらのフレームに記録されることになる。
【００７５】
図７の例では、「フレーム５」の画像が打楽器を打った瞬間ではないので、２打目がテンポに合っていなかったと確認することができる。ここで、図７の例では、「フレーム６」が打楽器を打った瞬間となっているので、高フレームレートにおける１フレーム分の時間、すなわち７１．４ｍｓだけテンポに合っていなかったことになる。このようなわずかなズレは、１打分（８分音符）が１フレームとなる低フレームレートでは確認することが困難である。よって、高フレームレートとすることで、テンポ（リズム）と動作が合っているかより詳細に確認することができる。
【００７６】
このような確認のために再生する際のデジタルカメラ１の動作を説明する。ここでは、リズムチェックモードで撮影した後に再生モードとすることで、リズムチェックモードで再生がおこなわれるものとする。この場合、デジタルカメラ１のユーザが操作部３３０を操作することで再生モードの実行を指示する。この動作を契機に、デジタルカメラ１の制御部２１０は「テンポ同期再生処理」を実行する。この場合、動作モード処理部２１１が、リズムチェックモードにかかるプログラムなどを記憶部２５０からロードすることで、図２に示した各機能構成によりテンポ同期再生処理が実行される。このテンポ同期再生処理を、図８に示すフローチャートを参照して説明する。
【００７７】
処理が開始されると、動作モード処理部２１１と動画処理部２１５との協働により、再生に関する設定をおこなうための「再生設定画面」を表示部３１０に表示する（ステップＳ２０１）。
【００７８】
ここでは、例えば、図９（ａ）に示すような、チェック対象とする音価をユーザに設定させる画面を表示する。例えば、上述した例のように８分音符を連打する場面を撮影した場合、この８分音符の連打がメトロノームのテンポ（リズム）に合っているか確認することになるので、チェック対象の音価として「８分音符」を指定することになる。
【００７９】
チェック対象とする音価が指定されると、図９（ｂ）に示すような、再生モードを指定するための画面を表示する。再生モードとして、例えば、「コマ送り（全フレーム）」、「コマ送り（対象フレームのみ）」、「音＋動画再生」、「音＋静止画再生」、などが用意されるものとする。
【００８０】
「コマ送り（全フレーム）」は、ユーザの操作に応じて撮像された全フレームをコマ送り再生するモードである。
【００８１】
「コマ送り（対象フレームのみ）」は、ユーザの操作に応じて、テンポ（リズム）と合っているか確認できるフレーム（対象フレーム）のみをコマ送り再生するモードである。この場合の対象フレームとは、メトロノームに正確に合わせていた場合に、チェック対象の音価に対応する動作が現れているフレームをいう。
【００８２】
例えば、図６に示した低フレームレートの例においては、各フレームが８分音符に対応しているので、全フレームがコマ送り再生の対象となるが、図７に示した高フレームレートの例では、上述したように、１フレーム、５フレーム、９フレーム…で打楽器を打っていれば正確なテンポ（リズム）がキープされていることになるので、これらのフレームが対象フレームとなる。この場合、コマ送り操作に応じて、１フレーム→５フレーム→９フレーム…、と再生されることになる。
【００８３】
これらのコマ送り再生においては、音声は再生されず、対象となるフレーム画像が表示部３１０に表示されるのみの再生動作となる。
【００８４】
「音＋動画再生」は、通常の動画再生と同様、音声とともに動画再生をおこなうものであるが、上述した対象フレームが再生される場面では、確認ポイントであることを示すため、所定の強調表示をおこなうモードである。
【００８５】
「音＋静止画再生」は、音声を再生しながら、上述した対象フレームが静止画像として再生されるモードである。
【００８６】
デジタルカメラ１のユーザは、操作部３３０を操作することで、チェック対象とする音価を指定するとともに所望する再生モードを選択する。指定された音価や選択された再生モードを示す情報は、制御部２１０のメモリなどに保持される。
【００８７】
再生設定画面による設定入力がなされると、動画処理部２１５は、設定内容に応じて、対象フレームを決定する（ステップＳ２０２）。ここでは、メトロノーム出力の拍子、ＦＰＢ、および、チェック対象音価に基づいて対象フレームを決定する。
【００８８】
メトロノーム出力の拍子が４分の４拍子であるとすると、ＦＰＢが２ｆｐｂでチェック対象音価が８分音符である場合、上述したように、各フレームが８分音符に対応するので、動画処理部２１５は、全フレームを対象フレームとして決定する。
【００８９】
一方、ＦＰＢが８ｆｐｂでチェック対象音価が８分音符である場合、上述したように、１フレーム、５フレーム、９フレーム…が、正確な８分音符の演奏動作に対応するので、これらのフレームを対象フレームとして特定する。
【００９０】
対象フレームを特定すると、動画処理部２１５は、外部記憶部２６０などに格納されたリズムチェックモードで撮像された動画像データを読み出し、画像出力部２４０を制御することで、指定された再生モードの再生出力動作をおこなう（ステップＳ２０３）。
【００９１】
ここで、再生モードとして「コマ送り（全フレーム）」や「コマ送り（対象フレームのみ）」が指定されている場合、動画処理部２１５は、ユーザによる操作部３３０の操作に応じて、表示すべきフレームを選択して表示部３１０に表示する。
【００９２】
また、「音＋動画再生」が指定されている場合は、通常の動画再生と同様に、フレーム画像を動画として表示部３１０に出力するとともに、同時に記録されていた音声を、例えば、メトロノーム部３２０のスピーカから出力する。ここで、ステップＳ２０２で決定した対象フレームを出力する際は、例えば、画面の表示色を変えるなどして強調表示をおこなう。
【００９３】
「音＋静止画再生」が指定されている場合は、音声を再生しながら、ステップＳ２０２で決定した対象フレームのみを静止画像で順次表示出力させる。動画撮像の際には、音声と動画が同期するようタイムスタンプが記録されているので、このタイムスタンプに基づいて音声データの再生位置に同期するように対象フレームを表示する。
【００９４】
いずれの再生モードでも、再生中に操作部３３０を操作することで、他の再生モードに切り換えられるものとする。このような再生関連操作がおこなわれた場合（ステップＳ２０４：Ｙｅｓ）は、動画処理部２１５は、操作に応じた再生動作をおこなう（ステップＳ２０５）。
【００９５】
このような再生動作を、ユーザによる再生終了操作がなされるまでおこなうことで（ステップＳ２０６：Ｎｏ）、テンポ（リズム）と動作が合っているかを様々な再生方法で確認することができる。ユーザが操作部３３０を操作することで、再生動作の終了が指示されることに伴い（ステップＳ２０６：Ｙｅｓ）、本処理を終了する。
【００９６】
以上説明したように、本発明を上記実施形態の如く適用することにより、テンポと動作が合っているか正確に確認することができる。
【００９７】
つまり、撮像装置にメトロノーム機能を組み込むとともに、メトロノームに設定したテンポに基づいて動画撮像のフレームレートを設定するので、テンポとフレームタイミングが同期している。よって、このように撮像されたフレーム画像を目視することで、撮像された動作がテンポに合っているか容易かつ正確に確認することができる。
【００９８】
この場合において、テンポの単位（例えば、ＢＰＭ）当たりに用いるフレーム数が整数となるようなフレームレートとすることで、拍子や音価に合ったフレームレートで撮像することができ、テンポと動作が合っているか正確に確認することができる。
【００９９】
また、メトロノームの出力開始時点と先頭フレームとを同期させているので、確認すべき動作が撮像されているフレームを容易に特定することができる。これにより、当該フレームのみを再生するといった再生方法のバリエーションを持たせることができ、テンポと動作が合っているかの確認をより容易におこなうことができる。
【０１００】
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【０１０１】
例えば、上記実施形態では、撮影対象として打楽器を演奏している場面を例示したが、音楽などのテンポ（リズム）と関連する動作であれば撮影対象は任意である。
【０１０２】
また、上記実施形態では、メトロノーム出力の拍子が４分の４拍子である場合を想定したが、撮像前の設定において他の拍子とするようにしてもよい。この場合、撮像時に設定された拍子に応じて、再生時の対象フレームを選択するよう動作すればよい。
【０１０３】
なお、本発明を上記実施形態で例示したデジタルカメラ１のような撮像装置で実現する場合においては、本発明にかかる構成や機能を予め備えた撮像装置として提供できる他、制御部２１０の各機能と同様の機能を実現するプログラムを適用することにより、既存の撮像装置を本発明にかかる撮像装置をして機能させることもできる。
【０１０４】
なお、上記実施形態では、撮像装置の例として、動画撮像機能を有するデジタルスチルカメラを示したが、撮像装置の形態は任意であり、単体のデジタルスチルカメラで実現可能であることはもとより、これと同様の撮像機能を備えた種々の電子機器（例えば、デジタルビデオカメラ、携帯電話、など）に本発明を適用してもよい。
【０１０５】
このような場合においても、プログラムを適用することで、既存の装置を本発明にかかる撮像装置として機能させることができる。
【０１０６】
このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。
【図面の簡単な説明】
【０１０７】
【図１】本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。
【図２】図１に示す制御部によって実現される機能を示す機能ブロック図である。
【図３】本発明の実施形態にかかる「テンポ同期撮像処理」を説明するためのフローチャートである。
【図４】図３に示す「テンポ同期撮像処理」で表示される画面の表示例を説明するための図であり、（ａ）は、テンポの入力方法を指定するための設定画面の表示例を示し、（ｂ）は、テンポを数値入力するための設定画面の表示例を示し、（ｃ）は、フレームレートオプションを指定するための設定画面を示す。
【図５】本実施形態にかかるデジタルカメラで撮像する場面を説明するための図である。
【図６】図３に示す「テンポ同期撮像処理」において、低フレームレートの場合に得られるフレーム画像を説明するための図である。
【図７】図３に示す「テンポ同期撮像処理」において、高フレームレートの場合に得られるフレーム画像を説明するための図である。
【図８】本実施形態にかかる「テンポ同期再生処理」を説明するためのフローチャートである。
【図９】図８に示す「テンポ同期再生処理」で表示される画面の表示例を示す図であり、（ａ）は、音価を指定するための設定画面の表示例を示し、（ｂ）は、再生モードを選択するための設定画面の表示例を示す。
【符号の説明】
【０１０８】
１…デジタルカメラ、１００…撮像部、１１０…光学装置、１２０…イメージセンサ部、１３０…音声入力部、２００…データ処理部、２１０…制御部、２１１…動作モード処理部、２１２…メトロノーム設定部、２１３…フレームレート設定部、２１４…メトロノーム制御部、２１５…動画処理部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…記憶部、２６０…外部記憶部、３００…インタフェース部、３１０…表示部、３２０…メトロノーム部、３３０…操作部
【図１】
0005061953.tif 000002
【図２】
0005061953.tif 000003
【図３】
0005061953.tif 000004
【図４】
0005061953.tif 000005
【図５】
0005061953.tif 000006
【図６】
0005061953.tif 000007
【図７】
0005061953.tif 000008
【図８】
0005061953.tif 000009
【図９】
0005061953.tif 000010