(57)【要約】【課題】演奏風景のみを録画することが可能となる電子音楽装置を提供する。【解決手段】（ａ）のように撮像装置２０を設置し、撮像装置２０の電源スイッチをオンして、動画像データが撮像装置２０から電子鍵盤楽器に常時供給される状態にした上で、ユーザが録画モード選択スイッチを押すと、電子鍵盤楽器は、その動作モードを録画モードに切り替えて、録画待機状態になる。そして、当該動画像データ内に、（ｃ）のような、ユーザが自分の手で行った典型的な４拍子の指揮動作（録画スタート指示用ジェスチャ）が含まれているかどうかの画像認識がなされ、録画スタート指示用ジェスチャが認識されると、さらに現在の動作が（ｃ）中“１”から“４”のいずれの位置にあるかが判別され、２回目の“１”の位置にあると判別されたときに、録画スタートコマンドが生成されて出力される。これに応じて、撮像部２０から供給された動画像データの録画が開始される。【選択図】図３
2010008893.tif 000002
【特許請求の範囲】
【請求項１】
ユーザを含む情景を撮影して得られた動画像データを供給する供給手段と、
演奏情報を発生する演奏操作子と、
ユーザが前記演奏操作子を操作することによって発生された演奏情報に基づいて楽音信号を生成する生成手段と、
前記供給手段によって供給された動画像データからユーザの所定のジェスチャを認識する認識手段と、
前記供給された動画像データを録画するとともに、前記生成手段によって生成された楽音信号および／または前記発生された演奏情報を記録する録画・記録手段と、
前記認識手段によって認識されたジェスチャに基づいて、前記録画・記録手段の録画・記録の状態を制御する制御手段と
を有することを特徴とする電子音楽装置。
【請求項２】
自動演奏データに基づいて自動演奏を行う自動演奏手段と、
前記認識されたジェスチャに基づいて、前記自動演奏のテンポを設定する設定手段と
をさらに有し、
前記生成手段は、前記自動演奏手段による自動演奏に基づいても楽音信号を生成することを特徴とする請求項１に記載の電子音楽装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの演奏風景を録画することができる電子音楽装置に関する。
【背景技術】
【０００２】
ユーザの演奏風景を録画することができる電子音楽装置は、従来から知られている。
【０００３】
このような電子音楽装置として、ビデオカメラの操作部を介して入力される指示に従って、ユーザの演奏風景や種々の演奏音等を当該ビデオカメラに装着したビデオテープに録画するようにしたものがある（たとえば、特許文献１参照）。
【特許文献１】特開２００３−２０８１６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来の電子音楽装置では、録画の開始または停止の指示はビデオカメラの操作部を介してなされていたので、つまり操作部に設けられている開始／停止を指示するための操作子（たとえば、ボタン）をユーザが操作することによってなされていたので、演奏風景だけではなく、その前後の不必要なユーザの動作、具体的には、録画開始ボタンを操作してから実際に演奏を開始するまでのユーザの動作、あるいは演奏を終了してから録画停止ボタンを操作するまでのユーザの動作も録画されていた。もちろん、録画後の編集作業により、不必要な録画部分をカットすることもできるが、編集作業は面倒である。
【０００５】
本発明は、この点に着目してなされたものであり、演奏風景のみを録画することが可能となる電子音楽装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、請求項１に記載の電子音楽装置は、ユーザを含む情景を撮影して得られた動画像データを供給する供給手段と、演奏情報を発生する演奏操作子と、ユーザが前記演奏操作子を操作することによって発生された演奏情報に基づいて楽音信号を生成する生成手段と、前記供給手段によって供給された動画像データからユーザの所定のジェスチャを認識する認識手段と、前記供給された動画像データを録画するとともに、前記生成手段によって生成された楽音信号および／または前記発生された演奏情報を記録する録画・記録手段と、前記認識手段によって認識されたジェスチャに基づいて、前記録画・記録手段の録画・記録の状態を制御する制御手段とを有することを特徴とする。
【０００７】
請求項２に記載の電子音楽装置は、請求項１の電子音楽装置において、自動演奏データに基づいて自動演奏を行う自動演奏手段と、前記認識されたジェスチャに基づいて、前記自動演奏のテンポを設定する設定手段とをさらに有し、前記生成手段は、前記自動演奏手段による自動演奏に基づいても楽音信号を生成することを特徴とする。
【発明の効果】
【０００８】
請求項１に記載の発明によれば、供給された動画像データからユーザの所定のジェスチャが認識され、該認識されたジェスチャに基づいて、録画・記録手段の録画・記録の状態が制御されるので、ユーザを含む情景の録画を開始あるいは停止させるためにボタンを操作する動作のような、録画したい情景とは無関係な格好の悪い映像が録画されることを防止できる。
【０００９】
請求項２に記載の発明によれば、認識されたジェスチャに基づいてテンポ設定も行うことができるので、予めテンポを設定しておくことなく、録画・記録の開始時にテンポ設定を行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１１】
図１は、本発明の一実施の形態に係る電子音楽装置を適用した電子鍵盤楽器の概略構成を示すブロック図である。
【００１２】
同図に示すように、本実施の形態の電子鍵盤楽器は、音高情報を含む演奏情報を入力するための鍵盤を含む演奏操作子１と、各種情報を入力するための複数のスイッチやダイアル、ジョイスティックを含む設定操作子２と、演奏操作子１の操作状態を検出する検出回路３と、設定操作子２の操作状態を検出する検出回路４と、装置全体の制御を司るＣＰＵ５と、該ＣＰＵ５が実行する制御プログラムや各種テーブルデータ等を記憶するＲＯＭ６と、演奏情報、各種入力情報および演算結果等を一時的に記憶するＲＡＭ７と、各種情報等を表示する、たとえば液晶ディスプレイ（ＬＣＤ）および発光ダイオード（ＬＥＤ）等を備えた表示装置８と、前記制御プログラムを含む各種アプリケーションプログラムや各種楽曲データ、各種データ等を記憶する記憶装置９と、ユーザの演奏風景などを撮影する撮像装置２０を接続し、この撮像装置２０とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１０と、演奏操作子１から入力された演奏情報や、前記記憶装置９に記憶されたいずれかの楽曲データを再生して得られた演奏情報等を楽音信号に変換するとともに、その楽音信号に各種効果を付与するための音源・効果回路１１と、該音源・効果回路１１からの楽音信号を音響に変換する、たとえば、ＤＡＣ（Digital-to-Analog Converter）やアンプ、スピーカ等のサウンドシステム１２とにより構成されている。
【００１３】
上記構成要素３〜１１は、バス１３を介して相互に接続され、通信Ｉ／Ｆ１０には撮像装置２０が接続され、音源・効果回路１１にはサウンドシステム１２が接続されている。
【００１４】
記憶装置９は、たとえば、フレキシブルディスク（ＦＤ）、ハードディスク（ＨＤ）、ＣＤ−ＲＯＭ、ＤＶＤ（デジタル多目的ディスク）、光磁気ディスク（ＭＯ）および半導体メモリなどの記憶媒体とその駆動装置である。記憶媒体は、駆動装置から着脱可能であってもよいし、記憶装置９自体が、電子鍵盤楽器から着脱可能であってもよい。あるいは、記憶媒体も記憶装置９も着脱不可能であってもよい。なお、記憶装置９（の記憶媒体）には、前述のように、ＣＰＵ５が実行する制御プログラムも記憶でき、ＲＯＭ６に制御プログラムが記憶されていない場合には、この記憶装置９に制御プログラムを記憶させておき、それをＲＡＭ７に読み込むことにより、ＲＯＭ６に制御プログラムを記憶している場合と同様の動作をＣＰＵ５にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。
【００１５】
通信Ｉ／Ｆ１０としては、たとえば、ＭＩＤＩ信号などの音楽信号を専用に送受信する音楽専用有線Ｉ／Ｆ、ＵＳＢ（ユニバーサル・シリアル・バス）やＩＥＥＥ１３９４（アイトリプルイー１３９４）などの汎用近距離有線Ｉ／Ｆ、Ｅｔｈｅｒｎｅｔ（登録商標）などの汎用ネットワークＩ／Ｆ、無線ＬＡＮ（local area network）やＢｌｕｅｔｏｏｔｈ（登録商標）などの汎用近距離無線Ｉ／Ｆを挙げることができる。本実施の形態では、通信Ｉ／Ｆ１０として、ＵＳＢを採用しているが、これに代えて他の種類のＩ／Ｆを採用してもよいし、これに他の種類のＩ／Ｆを加えるようにしてもよい。
【００１６】
撮像装置２０は、たとえばＵＳＢビデオ・クラス（USB video class）に対応したＷｅｂカメラ、デジタルビデオカメラ、デジタルスチルカメラなどのカメラであり、撮影して得られた動画像データをMotion-JPEG、DV（Digital Video）、MPEG-2またはMPEG-4などの圧縮データに変換して、あるいは非圧縮データのまま出力する。通信Ｉ／Ｆ１０には、ＵＳＢホスト端子が設けられるとともに、ＵＳＢビデオ・クラス・ドライバが組み込まれており、通信Ｉ／Ｆ１０は、撮像装置２０が出力した上記各種形式の動画像データをＵＳＢの通信プロトコルに従って受信する。なお、通信Ｉ／Ｆ１０としては、上記各種形式すべての動画像データを受信可能なものに限らず、そのうちの少なくとも１つの形式の動画像データを受信可能なものであればよい。また、動画像データの通信プロトコルは、ＵＳＢビデオ・クラスに規定されているものに限られる訳ではない。ＵＳＢビデオ・クラスに規定されている通信プロトコル以外の通信プロトコルを採用した場合には、この通信プロトコルに従って通信する動画像データは上記各種形式に限られない。また、撮像装置２０の撮影方向やズームの倍率などを電子鍵盤楽器側から制御可能に構成されているときには、通信Ｉ／Ｆ１０は、その制御情報をＵＳＢの通信プロトコルに従って撮像装置２０に送信する。なお、本実施の形態では、撮像装置２０として、通信Ｉ／Ｆ１０を介して外部接続したものを採用したが、これに限らず、電子鍵盤楽器内に組み込んだものを採用してもよい。
【００１７】
なお、本実施の形態では、電子音楽装置を電子鍵盤楽器上に構築するようにしたが、これに限らず、鍵盤を外部接続した汎用的なＰＣ上に構築してもよい。また、鍵盤楽器の形態ではなく、弦楽器タイプ、管楽器タイプ、打楽器タイプ等の他の楽器の形態を採用してもよい。
【００１８】
図２は、本実施の形態の電子鍵盤楽器の機能構成を示すブロック図である。
【００１９】
同図において、撮像部１０１は、主として前記撮像装置２０、通信Ｉ／Ｆ１０およびＣＰＵ５に相当し、撮像装置２０を用いて撮影され、通信Ｉ／Ｆ１０を介して当該電子鍵盤楽器内に供給された動画像データを、ＣＰＵ５を介してジェスチャ認識部１０２および動画記録部１０３に供給する。
【００２０】
ジェスチャ認識部１０２は、主としてＣＰＵ５および前記ＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラム（ソフトウェア・モジュール）を実行することで実現される。ジェスチャ認識部１０２は、撮像部１０１から供給された動画像データを一時的に記憶し、この動画像データに対して所定の画像処理を施すことにより、ユーザが行った所定のジェスチャを認識する。ここで、所定のジェスチャとは、動画記録部１０３での録画動作をスタートさせるためのジェスチャ（以下、「録画スタート指示用ジェスチャ」という）、スタートした録画動作をストップさせるためのジェスチャ（以下、「録画ストップ指示用ジェスチャ」という）、およびテンポ設定を行わせるためのジェスチャ（以下、「テンポ設定指示用ジェスチャ」という）である。そして、ジェスチャ認識部１０２は、撮像部１０１からの動画像データ内に、録画スタート指示用ジェスチャが含まれていることを認識すると（厳密には、後述するように、さらに「録画スタート指示タイミング」に相当するジェスチャが認識されるまで待ってから）、録画スタートを指示するコマンド（以下、「録画スタートコマンド」という）を出力し、録画ストップ指示用ジェスチャが含まれていることを認識すると、録画ストップを指示するコマンド（以下、「録画ストップコマンド」という）を出力し、テンポ設定指示用ジェスチャが含まれていることを認識すると、テンポ設定を指示するコマンド（以下、「テンポ設定コマンド」という）を出力する。ジェスチャ認識部１０２から出力される上記３種類のコマンドのうち、録画スタートコマンドおよび録画ストップコマンドは、前記動画記録部１０３およびオーディオ記録部１０８に供給され、テンポ設定コマンドは、自動演奏部１０５に供給される。なお、本発明の特徴は、動画像データから認識したジェスチャをどのように利用するかにあり、動画像データからジェスチャをどのように認識するかにある訳ではないので、ジェスチャの認識処理としては、公知の認識処理を採用すればよい。
【００２１】
動画記録部１０３は、主としてＣＰＵ５、ＲＡＭ７および記憶装置９に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。動画記録部１０３は、ジェスチャ認識部１０２から録画スタートコマンドが供給されると、撮像部１０１から供給された動画像データを時間の経過に従って記録する。動画像データを記録する際のデータフォーマットは、どのようなものを採用してもよいので、動画記録部１０３から供給される動画像データのフォーマットと同じフォーマットで記録してもよいし、他のフォーマットに変換した後、変換後のフォーマットで記録するようにしてもよい。なお、動画記録部１０３における動画像データの録画スタート／ストップは、本実施の形態では、ジェスチャ認識部１０２から録画スタート／ストップコマンドが供給されたことに応じてなされるが、これに加えて、ユーザが前記設定操作子２に含まれる録画スタート／ストップスイッチ（ともに図示せず）を操作したことに応じてもなされるようにしてもよい。
【００２２】
自動演奏データ記憶部１０４は、主としてＲＡＭ７の所定位置に確保された一部領域に相当し、自動演奏部１０５によって自動演奏される自動演奏データを記憶する。本実施の形態の電子鍵盤楽器（の前記記憶装置９）内には、複数の自動演奏データが記憶され、自動演奏データ記憶部１０４には、その中からユーザによって選択された１つ（後述するように、複数の場合もあり得る）が記憶される。ここで、自動演奏データは、ユーザが前記演奏操作子１を用いてある楽曲を演奏する際のバック演奏を行わせるためのものであり、具体的には、１曲の楽曲を表す楽曲データ（ソングデータ）や、伴奏スタイルデータ、コード進行データなどである。なお、自動演奏データのフォーマットとしては、どのようなものを採用しても構わないが、本実施の形態では、通常の電子楽器でよく用いられているＳＭＦ（Standard MIDI File）形式を採用することにする。伴奏スタイルデータは、たとえば、複数のセクション（「イントロ」、「メイン」、「エンディング」および「フィルイン」など）のそれぞれに対応した、所定長（たとえば、１小節長）のスタイルデータによって構成され、各スタイルデータはそれぞれ、キーイベントとその再生タイミングを１組とする複数組からなるシーケンスデータによって構成されている。そして、各キーイベントの音高は、たとえば「Ｃメジャコード」を基準として表されており、ユーザが、たとえば前記鍵盤から好みのコードを指定すると、自動演奏部１０５は、各キーイベントの音高をそのコードに合った音高に変換して、後段の楽音生成部１０７に出力する。なお、伴奏スタイルデータは、上述のように、セクション毎の実データ（スタイルデータ）によって構成する代わりに、セクション毎の実データ（の格納場所）を指示する指示情報（のシーケンス）によって構成し、自動演奏する際に、演奏位置の指示情報によって指示される実データを取得するようにしてもよい。また、コード進行データは、たとえば、複数のコードデータ（＝コードイベント＋その再生タイミング）からなるシーケンスデータによって構成されている。コード進行データを再生して伴奏を生成する場合、コード進行データを構成する各コードデータをそのまま再生して伴奏を生成するようにしてもよいし、ユーザが指定したコードデータに基づいて、当該コード進行データを他のコード進行データに変換することで、伴奏を生成するようにしてもよい。
【００２３】
自動演奏部１０５は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。自動演奏部１０５は、ＲＡＭ７に設けた読み出しポインタ（図示せず）が示す位置にある自動演奏データを自動演奏データ記憶部１０４から読み出し、読み出した自動演奏データが再生タイミングデータであるときには、その再生タイミングまで待ってから読み出しポインタを“１”だけ進め、その位置にあるキーイベントデータを読み出して楽音生成部１０７に供給した後、読み出しポインタを“１”だけ進める一方、読み出した自動演奏データがキーイベントデータであるときには、そのまま楽音生成部１０７に供給した後、読み出しポインタを“１”だけ進める。ここで、再生タイミングデータは、隣接するキーイベントデータ間の時間差（デルタタイム）を、所定の音符長（たとえば、９６分音符長）を単位とする整数値で表したものである。つまり、上記「再生タイミングまで待つ」とは、読み出した再生タイミングデータの値を所定の音符長毎に“１”ずつデクリメントして行き、“０”になるまで待つことである。したがって、自動演奏部１０５は所定の音符長に相当する時間を計時する必要があるが、音符長に相当する時間はテンポに応じた時間であるので、換言すると、音符長に相当する時間はテンポが決まらなければ決まらないので、自動演奏部１０５は、ジェスチャ認識部１０２からのテンポ設定コマンドに応じたテンポに基づいて、所定の音符長に相当する時間を決定する。そして自動演奏部１０５は、その決定した時間を、たとえばＣＰＵ５に内蔵されているタイマ（図示せず）を用いて計測する。
【００２４】
なお、自動演奏データとして、前記伴奏スタイルデータが記憶されているときに、キーイベントデータが読み出された場合、自動演奏部１０５は、前述のように、そのキーイベントデータの音高を指定されたコードデータに合った音高に変換して出力する。コードデータの指定方法としては、前述のように、ユーザが鍵盤を用いて指定する方法を例に挙げたが、これに限らず、コード進行データを再生することで得られるコードデータによって指定する方法を採用してもよい。この場合には、自動演奏データ記憶部１０４の、伴奏スタイルデータが記憶されている領域とは別の領域に、再生したいコード進行データを記憶しておき、自動演奏部１０５は、伴奏スタイルデータの読み出しに並行してコード進行データを読み出すようにすればよい。
【００２５】
演奏操作子１０６は、主として前記演奏操作子１および検出回路３に相当し、ユーザによる演奏操作に応じた演奏情報（本実施の形態では、ＭＩＤＩメッセージ）を生成し、楽音生成部１０７およびＭＩＤＩ記録部１０９に出力する。
【００２６】
楽音生成部１０７は、主として前記音源・効果回路１１に相当し、ユーザによって設定された楽音生成環境（音色、音量および効果など）で、自動演奏部１０５から供給されたキーイベントデータおよび演奏操作子１０６から供給された演奏情報に基づいて楽音信号を生成し、適宜効果を付与した後、オーディオ記録部１０８に出力する。
【００２７】
オーディオ記録部１０８は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。オーディオ記録部１０８は、ジェスチャ認識部１０２から録画スタートコマンドが供給されると、楽音生成部１０７から供給された楽音信号（オーディオデータ）を時間の経過に従って記録し、録画ストップコマンドが供給されると、楽音信号の記録を停止する。ここで、オーディオデータの記録フォーマットは、どのようなものを採用してもよく、非圧縮のものでも、圧縮したものでもよい。なお本実施の形態では、オーディオ記録部１０８における記録開始／停止の指示も、動画記録部１０３における録画開始／停止の指示と同様に、録画スタート／ストップコマンドによって行うようにしたが、これは、両者における開始／停止の指示が同じタイミングでなされるので、敢えて異なるスタート／ストップコマンド（たとえば、動画記録部１０３については録画スタート／ストップコマンド、オーディオ記録部１０８については記録スタート／ストップコマンド）を生成して供給する必要はないからである。もちろん、この場合でも、異なるスタートコマンドを生成して、それぞれ動画記録部１０３およびオーディオ記録部１０８に供給するようにしてもよい。
【００２８】
ＭＩＤＩ記録部１０９は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。ＭＩＤＩ記録部１０９は、演奏操作子１０６から供給されたＭＩＤＩメッセージをＳＭＦ形式で記録する。なお、ＭＩＤＩ記録部１０９における記録開始／停止の指示も、録画スタート／ストップコマンドによって行えばよい。
【００２９】
ファイル作成部１１０は、主としてＣＰＵ５およびＲＡＭ７に相当し、ＣＰＵ５が所定の制御プログラムを実行することで実現される。ファイル作成部１１０は、動画記録部１０３によって記録された動画像データ、オーディオ記録部１０８によって記録されたオーディオデータおよびＭＩＤＩ記録部１０９によって記録されたＳＭＦ形式のＭＩＤＩデータを１つのファイル内に収めたマルチメディアファイルを作成して、ファイル記憶部１１１に出力する。
【００３０】
ファイル記憶部１１１は、主としてＲＡＭ７の所定位置に確保された一部領域に相当し、ファイル作成部１１０から供給されるマルチメディアファイルを記憶する。記憶されたマルチメディアファイルは、前記通信Ｉ／Ｆ１０あるいは着脱可能な記憶媒体経由で外部の装置に供給可能であり、たとえば動画投稿サイトのサーバや、ブログサイトのサーバなどにアップロードすることができる。
【００３１】
なお、本実施の形態では、マルチメディアファイルとして、複数種類（３種類）のデータを１つのファイル内に収めたものを生成するようにしたが、これに限らず、複数種類のデータのそれぞれについて個別にファイルを作成し、その個々のファイルを関連付けて、同時に再生可能に構成してもよい。
【００３２】
また、本実施の形態の電子鍵盤楽器には、オーディオ記録部１０８とＭＩＤＩ記録部１０９はいずれも備わっているものとしたが、いずれか一方のみ備わっているとしてもよい。あるいは、機能としては、オーディオ記録部１０８とＭＩＤＩ記録部１０９のいずれも備わっており、ユーザの選択操作に応じて、両方有効、オーディオ記録部１０８のみ有効あるいはＭＩＤＩ記録部１０９のみ有効のいずれかを選択可能に構成してもよい。
【００３３】
以上のように構成された電子鍵盤楽器が実行する制御処理を、まず図３を参照してその概要を説明し、次に図４を参照して詳細に説明する。
【００３４】
図３は、本実施の形態の電子鍵盤楽器による演奏風景の撮影方法を説明するための図であり、同図（ａ）は、電子鍵盤楽器を演奏するユーザを撮影するために撮像装置２０を設置した一例を示し、同図（ｂ）は、同図（ａ）の撮像装置２０の設置状態で演奏風景を撮影したときに、前記表示装置８のＬＣＤ上に表示された撮影画像（動画像）８ａの一例を示し、同図（ｃ）は、前記録画スタート指示用ジェスチャの一例を示す図であり、同図（ｄ）は、前記録画ストップ指示用ジェスチャの一例を示す図である。
【００３５】
図３（ａ）に示すように撮像装置２０を設置し、撮像装置２０の電源スイッチ（図示せず）をオンして、動画像データが撮像装置２０から本実施の形態の電子鍵盤楽器に常時供給される状態にした上で、ユーザが、たとえば前記設定操作子２に含まれる録画モード選択スイッチ（図示せず）を押すと、本実施の形態の電子鍵盤楽器は、その動作モードを録画モードに切り替えて、録画待機状態になる。そして、前記ジェスチャ認識部１０２は、供給されている動画像データに対して画像認識を行う。画像認識の対象となるジェスチャは、前記録画スタート指示用ジェスチャまたは前記録画ストップ指示用ジェスチャのいずれかであり、本実施の形態では、録画スタート指示用ジェスチャも録画ストップ指示用ジェスチャも、指揮動作（指揮ジェスチャ）を採用している。より具体的には、自動演奏させる自動演奏データが、たとえば４拍子の曲である場合、録画スタート指示用ジェスチャは、前記図３（ｃ）に示すような、ユーザが自分の手で行った典型的な４拍子の指揮動作である。一方、録画ストップ指示用ジェスチャは、前記図３（ｄ）に示すような、ユーザが自分の手で行った「止め」の指揮動作（指揮終了動作）である。
【００３６】
ジェスチャ認識部１０２は、当該動画像データ内に録画スタート指示用ジェスチャが含まれていることを認識すると、現在の動作が図３（ｃ）中“１”から“４”のいずれの位置にあるかを判別し、２回目の“１”の位置にあると判別されたときに、前記録画スタートコマンドを生成して前記動画記録部１０３、オーディオ記録部１０８およびＭＩＤＩ記録部１０９に出力する。これに応じて、動画記録部１０３は、撮像部１０１から供給された動画像データの録画を開始し、オーディオ記録部１０８は、前記楽音生成部１０７から供給された楽音信号の記録を開始し、ＭＩＤＩ記録部１０９は、前記演奏操作子１０６から供給されたＭＩＤＩメッセージの記録を開始する。
【００３７】
また、ジェスチャ認識部１０２は、録画スタート指示用ジェスチャを認識したときに、その録画スタート指示用ジェスチャ内の一部ジェスチャである、前記テンポ設定指示用ジェスチャを認識すると、そのジェスチャからテンポ値を算出し、算出したテンポ値を設定させるためのテンポ設定コマンドを前記自動演奏部１０５に出力する。ここで、テンポを１分間当たりの拍数（ＢＰＭ）で定義し、録画スタート指示用ジェスチャとして、図３（ｃ）の４拍子の指揮動作を採用し、テンポ設定指示用ジェスチャとして、１拍に相当する指揮動作、つまり、ユーザが指揮を開始するために構えた位置（“４”の位置）から“１”の位置まで手を振り下ろす動作を採用した場合、テンポ値は、次のようにして算出される。すなわち、
（ａ）ユーザが１拍に相当する指揮動作（テンポ設定指示用ジェスチャ）を行ったときに経過した時間（秒）を測定
（ｂ）６０秒を上記（ａ）の測定時間によって除算
によって算出される。もちろん、テンポ値の算出方法はこれに限られる訳ではなく、たとえば、テンポ設定指示用ジェスチャとして、４拍に相当する指揮動作、つまり、ユーザが指揮を開始するために構えた位置（“４”の位置）から１−２−３の各位置を経由して元の位置（“４”の位置）まで手を振る動作を採用し、
（ａ′）ユーザが４拍に相当する指揮動作を行ったときに経過した時間（秒）を測定
（ｂ′）６０秒を上記（ａ′）の測定時間の４分の１（＝１拍当たりの経過時間）によって除算
によって算出するようにしてもよい。
【００３８】
自動演奏部１０５は、ジェスチャ認識部１０２からテンポ設定コマンドを受信すると、自動演奏を行う際に用いるテンポ値を、このテンポ設定コマンドによって指定されるテンポ値に設定する。
【００３９】
一方、動画記録部１０３が動画像データを録画している（このときには当然、オーディオ記録部１０８も楽音信号を記録しており、ＭＩＤＩ記録部１０９もＭＩＤＩメッセージを記録している）状態で、ジェスチャ認識部１０２が、当該動画像データ内に録画ストップ指示用ジェスチャが含まれていることを認識すると、ジェスチャ認識部１０２は、動画記録部１０３、オーディオ記録部１０８およびＭＩＤＩ記録部１０９に対して前記録画ストップコマンドを出力する。これに応じて、動画記録部１０３は動画像データの録画を停止し、オーディオ記録部１０８は楽音信号の記録を停止し、ＭＩＤＩ記録部１０９はＭＩＤＩメッセージの記録を停止する。
【００４０】
このようにして、本実施の形態の電子鍵盤楽器では、ユーザが撮像装置２０に向かって所定のジェスチャを行うだけで、演奏風景の録画を開始あるいは停止させることができるので、演奏風景の録画を開始あるいは停止させるためにボタンを操作する動作のような、演奏風景とは無関係な格好の悪い映像が録画されることを防止できる。
【００４１】
また、ジェスチャに基づいてテンポ設定も行うことができるので、予めテンポを設定しておくことなく、録画開始時にテンポ設定を行うことができる。
【００４２】
次に、この制御処理を詳細に説明する。
【００４３】
図４は、本実施の形態の電子鍵盤楽器、特にＣＰＵ５が実行する録画処理の手順を示すフローチャートであり、本録画処理は、たとえば、ユーザが前記録画モード選択スイッチを押したときに、起動される。
【００４４】
本録画処理は、主として
（１）録画待機状態設定処理（ステップＳ１）
（２）自動演奏データ選択処理（ステップＳ２）
（３）録画スタートコマンド生成処理（ステップＳ４）
（４）テンポ設定コマンド生成処理（ステップＳ６）
（５）自動演奏スタートコマンド生成処理（ステップＳ８）
（６）演奏情報生成処理（ステップＳ１０）
（７）自動演奏ストップコマンド生成処理（ステップＳ１２）
（８）録画ストップコマンド生成処理（ステップＳ１４）
（９）録画の終了処理（ステップＳ１５）
によって構成されている。
【００４５】
本録画処理が起動されると、まずＣＰＵ５は、処理を前記（１）の録画待機状態設定処理に進め、前記動画記録部１０３、オーディオ記録部１０８およびＭＩＤＩ記録部１０９が録画スタートコマンドを受信すると直ちに、動画記録部１０３は動画像データを録画でき、オーディオ記録部１０８は楽音信号を記録でき、ＭＩＤＩ記録部１０９はＭＩＤＩメッセージを記録できる状態（録画待機状態）に設定する。なお、この（１）録画待機状態設定処理が実行されるときには、撮像装置２０は既に前記通信Ｉ／Ｆ１０を介して本実施の形態の電子鍵盤楽器と接続されており、撮像装置２０の電源はオン状態であることを前提としている。つまり、ここでの「録画待機状態」とは、本実施の形態の電子鍵盤楽器（の、特に動画記録部１０３、オーディオ記録部１０８およびＭＩＤＩ記録部１０９）に対するものであって、撮像装置２０に対するものではない。ただし撮像装置２０が、本実施の形態の電子鍵盤楽器側から録画待機状態（たとえば、電源をオンして、動画像データを出力する状態）に制御可能に構成されている場合には、撮像装置２０を録画待機状態に設定する処理も、この（１）録画待機状態設定処理内で行うようにすればよい。また本実施の形態では、動画記録部１０３における録画とオーディオ記録部１０８およびＭＩＤＩ記録部１０９における各記録は、同時に開始して同時に終了し、さらに「録画」には通常、音声を記録することも含まれ、さらに本実施の形態では、ＭＩＤＩメッセージも記録されるので、以下、「録画」には、動画記録部１０３における動画像データの録画だけでなく、オーディオ記録部１０８における楽音信号の記録や、ＭＩＤＩ記録部１０９におけるＭＩＤＩメッセージの記録も含まれることとする。
【００４６】
次にＣＰＵ５は、処理を前記（２）の自動演奏データ選択処理に進める。前述のように、自動演奏部１０５が自動演奏可能な自動演奏データは、記憶装置９内に複数記憶されており、自動演奏データ記憶部１０４には、その中からユーザによって選択された１つの自動演奏データが記憶される。この（２）自動演奏データ選択処理では、ＣＰＵ５は、前記表示装置８上に、記憶装置９に記憶されている複数の自動演奏データ（の名称）の一覧を表示させ、その一覧からユーザによって選択された自動演奏データを読み出して、自動演奏データ記憶部１０４に格納する。
【００４７】
次にＣＰＵ５は、撮像部１０１から供給されている動画像データ内に、録画スタート指示用ジェスチャが含まれているかどうかの画像認識を行い、録画スタート指示用ジェスチャが含まれているときには、現在の動作が録画スタートタイミングのものであるかどうかを判別する（ステップＳ３）。この処理は、前記ジェスチャ認識部１０２によって実行される処理の一部である。録画スタート指示用ジェスチャは、本実施の形態では、ユーザの手による指揮動作（指揮ジェスチャ）であり、前記（２）自動演奏データ選択処理で選択された自動演奏データが、たとえば４拍子の曲である場合には、前記図３（ｃ）に示したような４拍子の曲に対する典型的な指揮動作（「構え」の静止位置から１−２−３を経由して「構え」の位置“４”に至る動作）である。そしてＣＰＵ５は、現在の動作が指揮を開始してから２回目の“１”に相当するかどうかを判別し、２回目の“１”に相当すると判別されたときには、つまり録画スタート指示タイミングであるときには、ＣＰＵ５は、処理を前記（３）の録画スタートコマンド生成処理に進める。この（３）録画スタートコマンド生成処理では、ＣＰＵ５は、録画スタートコマンドを生成して、動画記録部１０３、オーディオ記録部１０８およびＭＩＤＩ記録部１０９に供給する。
【００４８】
このように本実施の形態では、録画スタート指示用ジェスチャとして、指揮ジェスチャを認識し、その所定タイミングで録画スタート指示を行うようにしたが、録画スタート指示用ジェスチャとしては、これに限らず、顔の表情（これも、本実施の形態ではジェスチャと見なすことにする）や首振り動作などの他のジェスチャを採用してもよい。顔の表情としては、瞬き（所定回数の瞬きで、録画スタート指示）、撮像装置２０への注視（所定時間継続して注視したときに、録画スタート指示）、笑顔（笑顔になったときに、録画スタート指示）などを挙げることができ、首振り動作としては、横方向または縦方向への首振り（所定回数の首振りで、録画スタート指示）などを挙げることができる。
【００４９】
次にＣＰＵ５は、前記ステップＳ３で認識した録画スタート指示用ジェスチャ内に、テンポ設定指示用ジェスチャが含まれているかどうかの画像認識を行う（ステップＳ５）。この処理も、前記ジェスチャ認識部１０２によって実行される処理の一部である。ステップＳ５で認識された録画スタート指示用ジェスチャが指揮ジェスチャである場合、テンポ設定指示用ジェスチャは、その指揮ジェスチャを構成する一部ジェスチャである。指揮ジェスチャが、たとえば前記図３（ｃ）のジェスチャであるとすると、テンポ設定指示用ジェスチャは、前述したような、ユーザが手を「構え」の静止位置から“１”の位置まで振り下ろすジェスチャである。そして、テンポ設定指示用ジェスチャを認識すると、ＣＰＵ５は、処理を前記（４）のテンポ設定コマンド生成処理に進める。この（４）テンポ設定コマンド生成処理では、ＣＰＵ５は、認識したテンポ設定指示用ジェスチャに基づいてテンポ値を算出し、そのテンポ値を含むテンポ設定コマンドを生成して、前記自動演奏部１０５に供給する。なお、録画スタート指示用ジェスチャが前記首振り動作である場合には、テンポ設定指示用ジェスチャは、その録画スタート指示用ジェスチャと同じ首振り動作とし（この場合、録画スタート指示用ジェスチャを認識することが同時に、テンポ設定指示用ジェスチャを認識することになる）、ＣＰＵ５は、その首振りの周期からテンポ値を検出して、テンポ設定コマンドを生成するようにすればよい。
【００５０】
次にＣＰＵ５は、自動演奏のスタート指示がなされたかどうかチェックし（ステップＳ７）、自動演奏のスタート指示がなされたときには、処理を前記（５）の自動演奏スタートコマンド生成処理に進める。この（５）自動演奏スタートコマンド生成処理では、ＣＰＵ５は、自動演奏スタートコマンドを生成して、自動演奏部１０５に供給する。これに応じて、自動演奏部１０５は、前記自動演奏データ記憶部１０４に記憶されている自動演奏データの自動演奏を開始する。ここで、自動演奏のスタート指示は、ユーザが、たとえば前記設定操作子２に含まれる自動演奏スタートスイッチ（図示せず）を押すことによってなされることを想定している。しかし本録画処理のフローチャートでは、自動演奏スタートスイッチを押すときには既に、動画記録部１０３による動画記録は開始されているので、ユーザが自動演奏スタートスイッチを押す動作も録画されることになる。この動作が演奏風景に含まれないようにするためには、前記（３）の録画スタートコマンド生成処理によって動画記録部１０３への録画開始が指示されてから所定時間経過後、自動的に自動演奏スタートコマンドが生成されるようにすればよい。
【００５１】
そして、ユーザが前記演奏操作子１を用いて演奏操作を行うと、ＣＰＵ５は、処理を前記（６）の演奏情報生成処理に進める（ステップＳ９→Ｓ１０）。この（６）演奏情報生成処理では、ＣＰＵ５は、その演奏操作に応じた演奏情報（本実施の形態では前述のように、ＭＩＤＩメッセージ）を生成して、前記楽音生成部１０７およびＭＩＤＩ記録部１０９に供給する。
【００５２】
次にＣＰＵ５は、自動演奏のストップ指示がなされたかどうか、あるいは自動演奏が進んで自動演奏データの末尾に達したかどうかをチェックし（ステップＳ７）、自動演奏のストップ指示がなされたか、あるいは自動演奏データの末尾に達したときには、処理を前記（７）の自動演奏ストップコマンド生成処理に進める。この（７）自動演奏ストップコマンド生成処理では、ＣＰＵ５は、自動演奏ストップコマンドを生成して、自動演奏部１０５に供給する。これに応じて、自動演奏部１０５は自動演奏を終了する。ここで、自動演奏のストップ指示は、ユーザが、たとえば前記設定操作子２に含まれる自動演奏ストップスイッチ（図示せず）を押すことによってなされることを想定している。しかし、このときには録画は終了していないので、自動演奏ストップスイッチを押す動作も録画されることになる。この動作が演奏風景に含まれないようにするためには、後述する（８）の録画ストップコマンド生成処理によって動画記録部１０３（およびオーディオ記録部１０８）への録画終了が指示されるに際して、その指示前に自動演奏ストップコマンドを自動的に生成して自動演奏部１０５に出力し、それから所定時間経過後に、当該録画終了を指示するようにすればよい。なお、自動演奏データの末尾に達したときに、動画記録部１０３側で自動的に、自動演奏が終了するようになっていれば、ＣＰＵ５は敢えて自動演奏ストップコマンドを生成する必要はない。
【００５３】
次にＣＰＵ５は、撮像部１０１から供給されている動画像データ内に、前記録画ストップ指示用ジェスチャが含まれているかどうかの画像認識を行う（ステップＳ１３）。この処理は、前記ジェスチャ認識部１０２によって実行される処理の一部である。録画ストップ指示用ジェスチャは、本実施の形態では、ユーザの手による指揮の終了動作であり、前記図３（ｄ）に示したような「止め」の動作である。なお、「止め」には、「置き止め」、「反動止め」、「叩き止め」などの各種技法があるが、録画ストップ指示用ジェスチャとして、いずれを採用してもよいことは言うまでもない。ステップＳ１３の画像認識により、録画ストップ指示用ジェスチャが認識されたときには、ＣＰＵ５は、処理を前記（８）の録画ストップコマンド生成処理に進める。この（８）録画ストップコマンド生成処理では、ＣＰＵ５は、録画ストップコマンドを生成して、動画記録部１０３、オーディオ記録部１０８およびＭＩＤＩ記録部１０９に供給する。ステップＳ１３の判別処理ではさらに、ユーザが、たとえば前記設定操作子２に含まれる録画ストップスイッチ（図示せず）を押すことで録画のストップ指示がなされたかどうかも判別するようにしている。これは、録画を終了するときには、その終了指示動作（録画ストップスイッチを押す動作）が録画されても構わない、あるいは、録画の終了までもジェスチャによって指示するのは煩わしいというユーザを考慮してのものである。
【００５４】
続いてＣＰＵ５は、処理を前記（９）の録画の終了処理に進める。この（９）録画の終了処理では、ＣＰＵ５は、録画モードを終了し、前記ファイル作成部１１０に指示することで、前記マルチメディアファイルを作成して前記ファイル記憶部１１１に記憶させる。
【００５５】
なお、本実施の形態では、画像認識するジェスチャは、生成するコマンド毎に予め定められた１つのジェスチャとしたが、これに限らず、コマンド毎に複数のジェスチャを認識可能とし、コマンド毎に採用する１つのジェスチャをユーザが選択可能に構成してもよいし、コマンドとは無関係に複数のジェスチャを認識可能とし、どのジェスチャをどのコマンドに対応付けるかをユーザが選択可能に構成してもよい。さらに、ユーザのジェスチャの癖を学習させるようにしてもよい。
【００５６】
また、本実施の形態では、テンポ設定指示用ジェスチャは、録画スタート指示用ジェスチャの一部あるいは全部としたが、これに限らず、録画スタート指示用ジェスチャとは独立したジェスチャを採用してもよい。
【００５７】
また、ジェスチャからテンポを検出する構成は、必須のものではない。なぜなら、一般的に自動演奏データにはテンポデータが設定されており、このテンポデータのテンポに従って自動演奏を行うだけでも問題がないからである。なお、ジェスチャからテンポを検出する構成を備えるようにした場合には、検出したテンポを採用して自動演奏を行うか、あるいは自動演奏データ内に既に設定されているテンポデータのテンポに従って自動演奏を行うかを、ユーザが予め選択できるようにしておいた方が好ましい。
【００５８】
さらに、本実施の形態では、認識されたジェスチャは、動画記録部１０３、オーディオ記録部１０８、ＭＩＤＩ記録部１０９および自動演奏部１０５を制御するコマンドを生成するために使用したが、これに限らず、撮像装置２０を制御するコマンドを生成するために使用してもよい。たとえば、ユーザが手あるいは目（視線）で上下左右を指示すると、指示した方向に撮像装置２０の撮影方向を向かわせるような制御コマンドを生成するようにしたり、首振りの角度の大きさに応じてズームの倍率を変更するような制御コマンドを生成するようにしたりすることが考えられる。
【００５９】
また、本実施の形態では、ユーザが演奏操作子１を用いて演奏するときには常に、自動演奏データによる自動演奏を行うようにしたが、自身の演奏にバック演奏を必要としないユーザもいるので、自動演奏を行うかどうかユーザに選択させる機能を設けた方が好ましい。特に、自動演奏のスタート指示が自動的になされる場合には、この選択機能は有用である。
【００６０】
なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００６１】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６２】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【００６３】
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００６４】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施の形態に係る電子音楽装置を適用した電子鍵盤楽器の概略構成を示すブロック図である。
【図２】図１の電子鍵盤楽器の機能構成を示すブロック図である。
【図３】図１の電子鍵盤楽器による演奏風景の撮影方法を説明するための図である。
【図４】図１の電子鍵盤楽器、特にＣＰＵが実行する録画処理の手順を示すフローチャートである。
【符号の説明】
【００６６】
１…演奏操作子，５…ＣＰＵ（供給手段、生成手段、認識手段、録画・記録手段、制御手段、自動演奏手段、設定手段），７…ＲＡＭ（生成手段、認識手段、録画・記録手段、制御手段、自動演奏手段、設定手段），１０…通信Ｉ／Ｆ（供給手段），１１…音源・効果回路（生成手段）
【図１】
2010008893.tif 000003
【図２】
2010008893.tif 000004
【図３】
2010008893.tif 000005
【図４】
2010008893.tif 000006