(57)【要約】【課題】  楽器演奏音が高音質に録音されておりかつ楽器演奏時の周りの雰囲気・臨場感をも充分に伝えうる音楽コンテンツの簡易な生成。【解決手段】  操作子の演奏操作に応じて生成された楽音信号と、外部で発生した音響信号とをミキシング処理して生成したミキシング信号を音楽コンテンツとして記録する。楽音信号と音響信号とをミキシング処理する際に、操作子の演奏操作開始に伴う音源での楽音信号の立ち上がり及び／又は操作子の演奏操作終了に伴う音源での楽音信号の立下りを検出し、該楽音信号の立ち上がり及び／又は立下りの検出に基づき音響信号をフェードアウト及び／又はフェードインさせながら楽音信号とミキシング処理する。このようにすると、楽器演奏音（楽音信号）が高音質に録音されておりかつ演奏時の雰囲気・臨場感を充分に伝えうる音楽コンテンツを、演奏者は単に演奏を行うだけで簡単に作成することができるようになる。【選択図】        図３
2010054856.tif 000002
【特許請求の範囲】
【請求項１】
操作子と、
記憶手段と、
前記操作子の演奏操作に応じて、楽音信号を生成する音源と、
外部で発生した音響信号を入力する入力手段と、
前記音源で生成された楽音信号と、前記入力手段から入力された音響信号とをミキシング処理してミキシング信号を生成するミキシング手段と、
前記生成したミキシング信号を音楽コンテンツとして前記記憶手段に記録する記録手段と、
前記操作子の演奏操作開始に伴う前記音源での楽音信号の立ち上がり及び／又は前記操作子の演奏操作終了に伴う前記音源での楽音信号の立下りを検出する検出手段と、
前記楽音信号の立ち上がり及び／又は立下りの検出に基づき、前記音響信号をフェードアウト及び／又はフェードインさせながら前記楽音信号とミキシング処理を行うよう前記ミキシング手段を制御する制御手段と
を具えてなり、
前記ミキシング信号は、演奏操作開始前及び演奏操作終了後については前記音響信号のみからなり、演奏操作開始から演奏操作終了までにおいては前記楽音信号のみからなる音楽コンテンツとして記録されることを特徴とする電子楽器。
【請求項２】
前記操作子を操作する演奏者の映像信号を入力する映像入力手段をさらに具えてなり、前記記録手段は演奏者の操作と当該操作に応じて生成された楽音信号とが時間的に一致するように、音楽コンテンツとして前記映像信号を前記ミキシング信号に並行して記録する請求項１に記載の電子楽器。
【請求項３】
前記制御手段は、前記楽音信号の立ち上がり開始時点において前記音響信号のフェードアウトを完了させるために、前記楽音信号と前記音響信号とを実際の信号生成時又は信号入力時よりも時間遅延してからミキシング処理するよう前記ミキシング手段を制御することを特徴とする請求項１又は２に記載の電子楽器。
【請求項４】
前記制御手段は、前記楽音信号の立下り終了時点において前記音響信号のフェードインを開始するように前記ミキシング手段を制御することを特徴とする請求項１乃至３のいずれかに記載の電子楽器。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、演奏者が行った楽器演奏を記録した音楽コンテンツを生成することが可能な電子楽器に関する。特に、楽器演奏音が高音質に録音されておりかつ楽器演奏時の周りの雰囲気・臨場感をも充分に伝えうる音楽コンテンツを生成する技術に関する。
【背景技術】
【０００２】
最近では、インターネット等の通信ネットワークの普及に伴い、ユーザが動画などの音楽コンテンツを生成し、該生成した音楽コンテンツを通信ネットワークを介して接続されたサーバに対して投稿（アップロード）することで、同じようにして他のユーザから投稿された多数の音楽コンテンツを多くのユーザで共有して楽しむことができる、所謂音楽コンテンツ共有サービスが提供されている。こうした技術に関連するものとしては、例えば下記に示す特許文献１に記載されている発明がその一例である。
【特許文献１】特開2005-346492号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来技術において、ユーザにより生成され投稿されうる音楽コンテンツには、ユーザ自身が楽器（自然楽器や電子楽器）を操作して演奏している演奏風景を録画した動画（映像信号だけでなく、当然にマイクロフォンから入力される音響信号を含む）や、演奏操作に応じて楽器から発せられた楽音のみを録音したものなどがある。こうした録画や録音等は、一般的には楽器とは別に用意されたビデオカメラ（撮像装置、マイクロフォンなどの音響入力装置を含んでいてよい）やオーディオレコーダー（音響入力装置）などの外部機器を利用して行われている。なお、本明細書において、外部機器を利用して入力される本装置外部で発生した楽音を音響信号と呼ぶ。また、楽音という場合、音楽的な音に限るものではなく、音声あるいはその他任意の音を含んでいてもよい意味あいで用いるものとする。
【０００４】
ところで、上記外部機器を利用して録画した映像に含まれる音響信号や録音された音響信号には、演奏者が演奏操作している楽器から発せられた楽音（演奏音）のみならず、演奏者自身が発したあるいは演奏者の周りで発せられた上記演奏音以外の音（便宜的に周囲の音と呼ぶ）も録音される。しかし、楽音鑑賞の観点からすると、演奏操作とは関係なく発せられる周囲の音は通常雑音としてユーザに捉えられやすいことに鑑み、従来の音楽コンテンツは純粋に演奏操作に基づき楽器から発せられる「楽音（演奏音）」を鑑賞するには適していない。そこで、楽器演奏時において周囲の音が録音されることを避けるために、演奏者による演奏操作に基づき生成された楽音（波形）信号そのものを直接記録することが考えられるが、そうすると演奏開始前や演奏終了後に発生された楽器演奏時の雰囲気・臨場感（所謂ライブ感）を伝えうる周囲の音が全く録音されないことになる。例えば、演奏開始前に演奏者が「次はこの曲（曲名）いくぜ。よろしく。」などといったようにして演奏曲の説明などを即興で入れたとしても、またその場で一緒に演奏を楽しんでいた観客が歓声をあげたり拍手などをしたとしても、それら周囲の音が全く録音されず、従ってその音楽コンテンツが本当に演奏者がその場で演奏したものを記録（録画ないし録音）したものであるのかが当該音楽コンテンツを楽しむユーザに伝わりにくい。このように、従来の音楽コンテンツは「楽音（演奏音）」を鑑賞するには適しておらず、また演奏時の雰囲気・臨場感を醸し出すに乏しい音楽コンテンツでもある、という問題点があった。
【０００５】
本発明は上述の点に鑑みてなされたもので、電子楽器の演奏を録音したり演奏風景を録画したりする際に、演奏中に発生される演奏音を高音質で録音することと、演奏前後における周囲の音を録音することとを両立させて、「楽音（演奏音）」を鑑賞するに適しかつ演奏時の雰囲気・臨場感を充分に醸し出す音楽コンテンツをユーザが簡単に制作することができる電子楽器を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る電子楽器は、操作子と、記憶手段と、前記操作子の演奏操作に応じて、楽音信号を生成する音源と、外部で発生した音響信号を入力する入力手段と、前記音源で生成された楽音信号と、前記入力手段から入力された音響信号とをミキシング処理してミキシング信号を生成するミキシング手段と、前記生成したミキシング信号を音楽コンテンツとして前記記憶手段に記録する記録手段と、前記操作子の演奏操作開始に伴う前記音源での楽音信号の立ち上がり及び／又は前記操作子の演奏操作終了に伴う前記音源での楽音信号の立下りを検出する検出手段と、前記楽音信号の立ち上がり及び／又は立下りの検出に基づき、前記音響信号をフェードアウト及び／又はフェードインさせながら前記楽音信号とミキシング処理を行うよう前記ミキシング手段を制御する制御手段とを具えてなり、前記ミキシング信号は、演奏操作開始前及び演奏操作終了後については前記音響信号のみからなり、演奏操作開始から演奏操作終了までにおいては前記楽音信号のみからなる音楽コンテンツとして記録されることを特徴とする。
【０００７】
この発明によると、操作子の演奏操作に応じて生成された楽音信号と、外部で発生した音響信号とをミキシング処理して生成したミキシング信号を音楽コンテンツとして記録する。前記楽音信号と前記音響信号とをミキシング処理する際に、前記操作子の演奏操作開始に伴う前記音源での楽音信号の立ち上がり及び／又は前記操作子の演奏操作終了に伴う前記音源での楽音信号の立下りを検出し、該楽音信号の立ち上がり及び／又は立下りの検出に基づき前記音響信号をフェードアウト及び／又はフェードインさせながら前記楽音信号とミキシング処理するように制御を行う。これにより、演奏操作開始前及び演奏操作終了後については前記音響信号のみからなり、演奏操作開始から演奏操作終了までにおいては前記楽音信号のみからなる音楽コンテンツが記憶手段に記録される。このようにすると、楽器演奏音（楽音信号）が高音質に録音されておりかつ演奏時の雰囲気・臨場感を充分に伝えうる音楽コンテンツを、演奏者は特に意識せずとも単に操作子を操作して演奏を行うだけで簡単に作成することができるようになる。
【発明の効果】
【０００８】
この発明によれば、外部で発生した周囲の音（音響信号）を入力する一方で、操作子の演奏操作に応じて生成された楽器演奏音（楽音信号）を外部に発する前の段階で音源から直接入力し、楽音信号の立ち上がり（演奏開始）／立下り（演奏終了）の検出にあわせて音響信号に対してフェードアウト／フェードイン制御を施しながら楽音信号とミキシング処理を行い、生成されたミキシング信号を音楽コンテンツとして記録する。これにより、演奏者は楽器演奏音が高音質に録音されておりかつ演奏時の雰囲気・臨場感を充分に伝えうる音楽コンテンツを生成することが簡単にできるようになる、という効果を得る。
【発明を実施するための最良の形態】
【０００９】
以下、この発明の実施の形態を添付図面に従って詳細に説明する。
【００１０】
図１は、この発明に係る電子楽器の全体構成の一実施例を示したハード構成ブロック図である。本実施例に示す電子楽器は、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータによって制御される。ＣＰＵ１は、この電子楽器全体の動作を制御する。このＣＰＵ１に対して、通信バス１Ｄ（例えばデータ及びアドレスバス）を介してＲＯＭ２、ＲＡＭ３、記憶装置４、検出回路５，６、表示回路７、音源・効果回路８、通信インタフェース（Ｉ／Ｆ）９がそれぞれ接続されている。ＲＯＭ２は、ＣＰＵ１により実行あるいは参照される各種制御プログラムや各種データ等を格納する。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを一時的に記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、メモリなどとして利用される。
【００１１】
記憶装置４は、各種データやＣＰＵ１が実行する各種制御プログラム等を記憶する。上述したＲＯＭ２に制御プログラムが記憶されていない場合、この記憶装置４（例えばハードディスク）に制御プログラムを記憶させておき、それをＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、記憶装置４はハードディスク（HD）に限られず、フレキシブルディスク（FD）、コンパクトディスク（CD‐ROM・CD‐RAM）、光磁気ディスク（MO）、DVD（Digital Versatile Disk）、あるいはフラッシュメモリなどの半導体メモリ等の様々な形態の記憶媒体を利用する記憶装置であればどのようなものであってもよい。記憶媒体は電子楽器に対して着脱自在としてもよいし、電子楽器に内蔵されていてもよい。
【００１２】
演奏操作子５Ａは、楽音の音高を選択するための複数の鍵を備えた例えば鍵盤等のようなものであり、各鍵に対応してキースイッチを有しており、この演奏操作子５Ａ（鍵盤等）はユーザ自身の手弾きによるマニュアル演奏に使用することができるのは勿論のこと、音色や効果等を設定する手段などとして使用することもできる。検出回路５は、演奏操作子５Ａの各鍵の押圧及び離鍵を検出することによって検出出力を生じる。
【００１３】
設定操作子（スイッチ等）６Ａは、例えば演奏の際に使用する音色・効果あるいは音量やテンポ等などの各種演奏パラメータを設定する設定スイッチ、自動演奏データに基づく自動演奏の開始／終了を指示する自動演奏スイッチ、ユーザ演奏の録画（録音）の開始／終了を指示する記録スイッチ等、各種の操作子を含んで構成される。勿論、設定操作子６Ａは上記した以外にも音高、音色、効果等を選択・設定・制御するために数値データ入力用のテンキーや文字データ入力用のキーボード、あるいはディスプレイ７Ａ上の画面位置を指定するポインタを操作するマウスなどの各種操作子を含んでいてもよい。検出回路６は、上記設定操作子６Ａの操作状態を検出し、その操作状態に応じたスイッチ情報等をデータ及びアドレスバス１Ｄを介してＣＰＵ１に出力する。
【００１４】
表示回路７は例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成されるディスプレイ７Ａに、上記スイッチ操作に応じた各種画面を表示するのは勿論のこと、ＲＯＭ２や記憶装置４に記憶されている各種データあるいはＣＰＵ１の制御状態などを表示することもできる。演奏者はディスプレイ７Ａに表示されるこれらの各種情報を参照することで、演奏の際に使用する各種演奏パラメータの設定や自動演奏曲の選択などを容易に行うことができる。
【００１５】
音源・効果回路８は複数のチャンネルで楽音信号の同時発生が可能であり、通信バス１Ｄを経由して与えられた演奏情報を入力し、この演奏情報に基づいて楽音を合成して楽音信号を発生する。また、発生した楽音信号に対して効果を付与することもできる。音源・効果回路８から発生される楽音信号は、アンプやスピーカなどを含むサウンドシステム８Ａから発音されるし、またマイクロフォンなどを介せずにＲＡＭ３や記憶装置４などに記録することができる。この音源・効果回路８とサウンドシステム８Ａの構成には、従来のいかなる構成を用いてもよい。例えば、音源・効果回路８はFM、PCM、物理モデル、フォルマント合成等の各種楽音合成方式のいずれを採用してもよく、また専用のハードウェアで構成してもよいし、ＣＰＵ１によるソフトウェア処理で構成してもよい。
【００１６】
通信インタフェース（Ｉ／Ｆ）９は、外部機器と当該電子楽器との間でMIDI形式の演奏データを送受信するMIDI入出力インタフェース、MIDI以外のデータや制御プログラムなどの各種情報を送受信するデータ入出力インタフェースとしての機能を備えた、例えばRS-232C、USB（ユニバーサル・シリアル・バス）、IEEE1394（アイトリプルイー1394）、ブルートゥース（商標）、赤外線送受信器等のインタフェースである。また、LAN（Local Area Network）やインターネット、電話回線等の有線あるいは無線の通信ネットワークを介して、電子楽器とネットワーク上の外部機器（例えば、サーバ装置）とを接続することができ、電子楽器とサーバ装置との間で各種データや各種情報などを送受信することができるネットワークインタフェースである。こうした通信インタフェース９は、有線あるいは無線のものいずれかでなく双方を具えていてよい。
【００１７】
前記通信インタフェース（Ｉ／Ｆ）９は例えばUSBホスト端子であって、該USBホスト端子にはUSBビデオクラスに対応したWebカメラ，デジタルビデオカメラ，デジタルスチルカメラ等のMotion-JPEG、DV、MPEG-2、MPEG-4などの圧縮データや非圧縮データからなる動画／静止画を送信可能な撮像装置９Ａが接続される。この場合、電子楽器にはUSBビデオクラスドライバが組み込まれていることは言うまでもない。また、前記通信インタフェース（Ｉ／Ｆ）９は例えばオーディオインタフェースであって、該オーディオインタフェースには例えばマイクロフォンやオーディオレコーダー等のアナログの音響信号を送信可能な音響入力装置９Ｂが接続される。なお、相互に接続されうる電子楽器、撮像装置、音響入力装置は全てのデータ形式に対応するものに限らず、少なくとも１つのデータ形式に対応するものであればよい。また、USBビデオクラスに限らず専用のドライバを使って通信を行ってもよく、その場合のデータ形式は上記した形式に限らない。さらに、撮像装置や音響入力装置は予め電子楽器に内蔵されていてもよい。
【００１８】
なお、演奏操作子５Ａは鍵盤楽器の形態に限らず、弦楽器や管楽器、あるいは打楽器等どのようなタイプの形態でもよい。また、演奏操作子５Ａやディスプレイ７Ａあるいは音源・効果回路８などを１つの装置本体に内蔵したものに限らず、それぞれが別々に構成され、通信インタフェースや各種ネットワーク等の通信手段を用いて各装置を接続するように構成されたものであってもよいことは言うまでもない。
【００１９】
次に、図１に示した電子楽器において演奏者が行った操作及びその操作に応じて発生された楽音さらにはその際に演奏者の周りで発生した周囲の音を記録（録画及び録音）して音楽コンテンツを生成する機能の概要について、図２を用いて説明する。図２は、図１に示した電子楽器における音楽コンテンツ生成機能の概略を示す機能ブロック図である。
【００２０】
自動演奏データ記憶部Ｉは、自動演奏データを記憶する。記憶する自動演奏データは、１曲全体の楽曲を表す楽曲データ(ソングデータ)や、伴奏スタイルデータ、コード進行データなどであって、ユーザが演奏操作子５Ａを操作して楽曲をマニュアル演奏する際のバック演奏（自動伴奏など）をこの自動演奏データに担わせるようにしている。すなわち、自動演奏部Ｊはユーザによる自動演奏スイッチの操作に応じて、ＲＯＭ２や記憶装置４に予め記憶済みの自動演奏データを時間経過にしたがって順次に読み出し、該読み出した自動演奏データを楽音生成部Ｋへ供給する。楽音生成部Ｋは自動演奏部Ｊから自動演奏データが供給された場合、該自動演奏データに基づいてユーザ自身が設定した演奏環境(音色、音量、効果など)に従って楽音信号を生成する。一方、演奏操作子５Ａはユーザによる演奏操作（例えば押鍵／離鍵操作）に応じた操作情報を生成し、該生成した操作情報を楽音生成部Ｋへ供給する。楽音生成部Ｋは演奏操作子５Ａから操作情報が供給された場合、該操作情報に基づいて前記演奏環境に従って楽音信号を生成する。楽音生成部Ｋは自動演奏データ又は操作情報に基づき生成した楽音信号を、ミキシング部Ｈ及び立ち上がり／立下り検出部Ｌに順次に供給する。
【００２１】
なお、従来知られているように、自動演奏データが伴奏スタイルデータなどのパターンデータの再生順を規定するパターンシーケンスデータである場合には、自動演奏部Ｊに対し別途コード(和音)データが演奏操作子５Ａないし自動演奏データ記憶部Ｉに記憶されたコード進行データに従い供給され、これに従い音高変換処理がなされて楽音が生成される。また、自動演奏データがコード進行データである場合には、自動演奏部Ｊに対し読み出されたコードデータが前述の伴奏スタイルデータの音高変換用に供給される。
なお、上記自動演奏データ記憶部Ｉと自動演奏部Ｊは必要に応じて設けてあればよく、本発明に係る電子楽器において必須ではない（バック演奏が必要なければ設けていなくてよい）。
【００２２】
撮像部Ａ(USBカメラ等)は、本電子楽器を演奏する演奏者の演奏操作（演奏操作子の操作だけでなく、自動演奏の開始／終了操作などの他の操作を含んでいてよい）を撮影する。撮像部Ａで撮影された演奏操作の動画像（映像信号）は、映像記録部Ｂへと送られる。録画（録音）指示部Ｍは、ユーザによる記録スイッチの操作に応じて映像記録部Ｂ及びオーディオ記録部Ｄに対して映像信号及び音響信号の記録開始／終了を指示する。映像記録部Ｂは録画（録音）指示部Ｍから記録開始の指示をうけると録画を開始し、ここでは撮像部Ａから送られた動画像（映像信号）を時間経過にしたがって録画（記録）する。なお、映像記録部Ｂで動画像を記録する際の録画フォーマットは任意である(前述の撮像部Ａから送られてくる映像信号形式と同じでもよいし、他の映像信号形式に変換してもよい)。一方、音響入力部Ｆは典型的にはマイクロフォンであり、演奏者が本電子楽器を演奏する際(特に、演奏開始前と演奏終了後)に適宜に発生された周囲の音を入力してアナログの音響信号に変換する。このアナログ音響信号はA/D変換部Ｇでデジタル信号に変換された後に、ミキシング部Ｈへ供給される。
【００２３】
立ち上がり/立下り検出部Ｌは、楽音生成部Ｋで生成された楽音信号の立ち上がり及び立下りを検出する。ただし、本明細書において、楽音信号の立ち上がり/立下りとは、１音又は複数の連続音におけるそれぞれの音又は一連の連続音のアタック（立ち上がり部）／リリース（立下り部）を表すのではなく、演奏開始に基づく楽音信号の最初の発生箇所（立ち上がり）と演奏終了に基づく楽音信号の最後の終了箇所（立下り）を表す。ミキシング部Ｈは、音響入力部Ｆから供給されたアナログ音響信号と、楽音生成部Ｋで生成された楽音信号とをミキシングする。その際に、前記立ち上がり/立下り検出部Ｌにおける楽音信号の立ち上がり/立下りの検出タイミングに基づき、前記アナログ音響信号に対してフェードアウト/フェードイン制御を開始する（詳しくは後述する図３又は図５参照）。なお、このフェードアウト/フェードイン制御に要する時間は固定時間でもよいし、ユーザが任意の時間を設定できるようにしてあってもよい。また、その時間はノイズが生じない程度の短時間(例えば１秒未満)でもよいし、もっと長時間(例えば５秒程度)でもよい。
【００２４】
オーディオ記録部Ｄは録画（録音）指示部Ｍから記録開始の指示をうけると、ミキシング部Ｈによるミキシング処理によって生成されたミキシング信号を時間経過にしたがって録音（記録）する。ただし、オーディオ記録部Ｄが記録するミキシング信号の録音態様としては、遅延指示部Ｎによる時間遅延がミキシング部Ｈで行われることなく生成されたミキシング信号を録音する場合（後述する図３及び図４参照）と、遅延指示部Ｎによる時間遅延がミキシング部Ｈで行われて生成されたミキシング信号を録音する場合（後述する図５及び図６参照）との２通りの実施形態がある。前記遅延指示部Ｎは、音響信号と楽音信号とを所定時間だけ遅延してから前記各信号のミキシング処理を行うようミキシング部Ｈに対して指示する。上記実施形態についての詳細な説明は後述する。なお、オーディオ記録部Ｄで楽音信号を録音する際の録音フォーマットは任意である(例えば非圧縮オーディオ、圧縮オーディオ等)。
【００２５】
ファイル作成部Ｅは、前記映像記録部Ｂで録画された動画像（映像信号）と、前記オーディオ記録部Ｄで録音されたミキシング信号（音響信号と楽音信号とをミキシング処理したもの）とを含んでなるマルチメディアファイル（音楽コンテンツ）を作成する。作成されたマルチメディアファイルは、ファイル記憶部Ｃに記憶される。ファイル記憶部Ｃに記憶されたマルチメディアファイルは、通信インタフェース９経由や着脱可能な記憶媒体経由で本電子楽器外部の他の装置に供給可能であり、ユーザが例えば動画投稿サイトのサーバやブログサイトのサーバなどにアップロードすることができる。
【００２６】
上記したように、本実施例に示す電子楽器においては、オーディオ記録部Ｄが録音するミキシング信号の録音態様の一例として、遅延指示部Ｎによる時間遅延が行われることなく生成されたミキシング信号を録音する第１の実施形態と、遅延指示部Ｎによる時間遅延が行われて生成されたミキシング信号を録音する第２の実施形態とがある。そこで、まず、第１の実施形態について、図３及び図４を用いて説明する。
【実施例１】
【００２７】
図３は、上記した第１の実施形態を説明するための概念図である。ここでは説明を理解しやすくするために、映像記録部Ｂで録画する映像信号を上段に示し、オーディオ記録部Ｄで録音するミキシング信号をミキシング前の音響信号と楽音信号とに分け、それぞれ中段と下段とに示した。すなわち、図３は、ファイル作成部Ｅによって録音・録画開始から録音・録画終了までの時間経過に応じて作成されるマルチメディアファイルの内容に相当する。なお、図中において斜線部を施した箇所は動画像、周囲の音、演奏音が実際に録音されている箇所を便宜的に表す。
【００２８】
演奏者が録音・録画の開始を指示すると、撮像部Ａから供給される映像信号の録画が開始されるとともに、音響入力部Ｆ（マイクロフォン）で入力された音響信号と楽音生成部Ｋで発生された楽音信号とをミキシングしたミキシング信号の録音が開始される。ただし、ミキシング信号の録音を開始したとしても、録音・録画を開始してから演奏開始時点までは、電子楽器での演奏が開始されていないことから無音を表す楽音信号が録音される。一方、音響信号は電子楽器での演奏が開始されていなくとも録音される。すなわち、録音・録画を開始してから演奏開始時点までは、周囲の音（音響信号）のみがミキシング信号に反映される。
【００２９】
電子楽器での演奏が開始されると、無音を表す楽音信号でなく演奏操作に応じて発生される楽音信号が録音されるようになる。この演奏操作に応じて発生される楽音信号の録音は、電子楽器での演奏が終了されるまで続く。一方、電子楽器での演奏が開始されても音響信号は関係なしに続けて録音されるが、楽音信号の立ち上がりの検知に応じて音響信号に対してフェードアウト制御が開始される。したがって、フェードアウトに要する時間が経過した以降に音響入力部Ｆ（マイクロフォン）から入力された音響信号についてはミキシング信号に反映されない。このように、演奏開始時点からフェードアウトに要する時間が経過するまでの間は、演奏操作に応じて発生される演奏音（楽音信号）と周囲の音（音響信号）の両方がミキシング信号に反映される（ただし、時間経過に応じて周囲の音はだんだんと反映されなくなる）。それ以降は、演奏音（楽音信号）のみがミキシング信号に反映される。
【００３０】
電子楽器での演奏が終了されると、演奏操作に応じて発生される楽音信号でなく無音を表す楽音信号が録音・録画終了まで録音される。一方、楽音信号の立下りの検知に応じて音響信号に対してフェードイン制御が開始されることから、楽音信号の立下りを検知した以降は周囲の音（音響信号）のみがミキシング信号に反映される。さらに、演奏者が録音・録画の終了を指示すると、映像信号の録画及び音響信号と楽音信号をミキシングしたミキシング信号の録音を終了する。以上のようにして、録音・録画を開始してから終了するまでの間において、動画像（映像信号）については続けて録画を行うことで常に反映させるようにする一方で、ミキシング信号の元となる音響信号と楽音信号については、演奏開始／終了タイミングにあわせて音響信号に対してフェードアウト／フェードイン制御を行うことによって、演奏開始までと演奏終了後は周囲の音（音響信号）のみを、演奏開始から演奏終了までのフェードアウトに要する時間を除くほとんどの間は演奏音（楽音信号）のみを反映させるようにしている。
【００３１】
図４は、上記した第１の実施形態を実現する「立ち上がり／立下り検出処理」の一実施例を示すフローチャートである。当該処理は、電子楽器の電源オンに応じてＣＰＵ１が開始する処理であって、立ち上がり／立下り検出部Ｌの機能に該当する。なお、ここでは図示を省略したが、図２に示した各機能に該当する処理が別途動作していることは言うまでもない。
【００３２】
ステップＳ１は、楽音生成部Ｋから供給される楽音信号に基づき楽音信号の立ち上がりを検出したか否かを判定する。例えば、録音・録画の開始後に最初に出現した楽音信号のアタック部を楽音信号の立ち上がりとする。楽音信号の立ち上がりを検出した場合には（ステップＳ１のＹＥＳ）、音響信号のフェードアウト制御の開始をミキシング部Ｈに指示する（ステップＳ２）。ミキシング部Ｈでは、該指示に応じて音響信号をフェードアウト制御しながら楽音信号とのミキシングを行いミキシング信号を生成する。ステップＳ３は、楽音生成部Ｋから供給される楽音信号に基づき楽音信号の立下りを検出したか否かを判定する。例えば、楽音信号のリリース部が出現してから所定時間（録音対象の楽曲の途中に現れるユーザが演奏するパートにおける無音期間よりも長い時間であって、固定長であってもよいし、ユーザにより長さ設定が可能であってもよい）内に楽音信号のアタック部が続けて出現しない場合、最後の楽音信号のリリース部を楽音信号の立下りとする。楽音信号の立下りを検出した場合には（ステップＳ３のＹＥＳ）、音響信号のフェードイン制御の開始をミキシング部Ｈに指示する（ステップＳ４）。ミキシング部Ｈでは、該指示に応じて音響信号をフェードイン制御しながら楽音信号（ただし、無音）とのミキシングを行うことによってミキシング信号を生成する。
【実施例２】
【００３３】
上述した第１の実施形態の場合、演奏開始からフェードアウトに要する時間が経過するまでは、周囲の音（音響信号）と演奏音（楽音信号）とがどうしても重なってしまうことが起こる（図３参照）。そのため、例えば静かな曲の演奏を開始する際に周囲の音が極めて大きかったような場合などには、ユーザが演奏開始時点の演奏音を聴き取り難い音楽コンテンツを生成してしまい都合が悪い。そこで、第２の実施形態では、録音・録画開始から終了するまでにわたって、周囲の音（音響信号）と演奏音（楽音信号）とを重ねないように信号制御して音楽コンテンツを生成する。以下、説明する。
【００３４】
図５は、上記した第２の実施形態を説明するための概念図である。まず、演奏者が録音・録画の開始を指示したとしても、音響信号と楽音信号に関しては直ぐに録音を開始することなく音響信号と楽音信号とを一時的にバッファリングしておく。録音・録画の開始指示から音響信号に対するフェードアウト制御に要する時間分だけ経過すると、順次にバッファリングした音響信号と楽音信号とを読み出して、これらの信号をミキシング処理してミキシング信号を生成する。その際に、楽音信号の立ち上がりを検出した場合には、バッファリングされている音響信号のフェードアウトを開始し、楽音信号とミキシングする。他方、楽音信号の立下りを検出した場合には、直ちにではなくバッファリングしてある時間分、つまりはフェードアウト制御に要した時間分だけ時間を遅らせてから音響信号のフェードインを開始し、楽音信号とミキシングする。このようにして、第２の実施形態では演奏開始時に開始される音響信号のフェードアウト制御を、演奏開始に応じて発生される楽音信号を録音する前に完了させるようにしている。
【００３５】
なお、この場合には、音響信号と楽音信号とを遅延させてミキシング処理する分だけ、動画像（映像信号）の録画タイミングと演奏音（楽音信号）及び周囲の音（音響信号）の録音タイミングとがずれてしまうので、録音・録画終了時に時間調整をしてからファイル記憶部Ｃに記録する必要がある。こうした時間（タイミング）調整は、ファイル作成部Ｅでバッファリングしてある時間つまりはフェードアウト制御に要した時間だけ音響信号及び楽音信号の録音時間を前にもどしてから、ファイル記憶部Ｃに記録させるようにするとよい。あるいは、映像信号についても録音・録画の開始指示にあわせて直ぐに録画を開始することなく、音響信号及び楽音信号と同じようにバッファリングすることで、動画像と演奏音及び周囲の音との互いの発生タイミングがずれないようにしてもよい。
【００３６】
図６は、上記した第２の実施形態を実現する「立ち上がり／立下り検出処理」の一実施例を示すフローチャートである。ステップＳ１１は、遅延された楽音信号に基づき楽音信号の立ち上がりを検出したか否かを判定する。楽音信号の立ち上がりを検出した場合には（ステップＳ１１のＹＥＳ）、楽音信号と同じように遅延された音響信号のフェードアウト制御の開始をミキシング部Ｈに指示する（ステップＳ１２）。ステップＳ１３は、楽音信号の立下りを検出したか否かを判定する。楽音信号の立下りを検出した場合には（ステップＳ１３のＹＥＳ）、フェードイン予約を行う（ステップＳ１４）。このフェードイン予約は、演奏終了に応じて直ぐに音響信号のフェードイン制御を開始してしまうと、周囲の音（音響信号）と演奏音（楽音信号）とが重なってしまうことが生じるので、これを避けるために音響信号のフェードイン制御の開始を遅らせるために指定される時刻（演奏終了が指定された時刻）である。ステップＳ１５は、フェードイン予約から所定時間が経過したか否かを判定する。フェードイン予約から所定時間（フェードアウト制御に要した時間）が経過したと判定した場合には（ステップＳ１５のＹＥＳ）、遅延された音響信号のフェードイン制御の開始をミキシング部Ｈに指示する（ステップＳ１６）。
【００３７】
以上のようにして、外部で発生した周囲の音（音響信号）を入力すると共に演奏操作に従って生成された楽器演奏音（楽音信号）を外部に発する前の段階で音源から直接入力するようにしておき、そして楽音信号の立ち上がり（演奏開始）／立下り（演奏終了）を検出した場合には音響信号に対してフェードアウト／フェードイン制御を施して前記楽音信号とミキシング処理を行うようにした。こうすると、演奏開始前や演奏終了後においては周囲の音のみ、演奏開始から演奏終了までにおいては楽器演奏音のみを組み合わせてなる音楽コンテンツが自動的に生成される。これにより、演奏者は楽器演奏音が高音質に録音されておりかつ演奏時の雰囲気・臨場感を充分に伝えうる音楽コンテンツを生成することが簡単にできるようになる。
【００３８】
なお、立ち上がり／立下り検出部Ｌにおいて音響信号に従い観客の拍手を検出できるようにしておき、演奏開始前に拍手を検出した場合には、楽音信号が立ち上がっても拍手が終わるまでフェードアウトに要する時間を延長させてもよい。こうした場合、第２実施形態では、フェードアウトに要する時間の延長に伴い延長した分だけ楽音信号の録音開始を遅らせることは言うまでもない。また、音響信号に従い歌唱を検出して、フェードアウト後であっても音響信号のボリュームを上げるようにしてもよい。
なお、立ち上がり／立下り検出部Ｌは、自動演奏データ中に「エンディング」などのマークが含まれていたら、これを合図にフェードイン制御を開始させるようにしてもよい。さらに、自動演奏データ中の「間奏開始」マークでフェードイン、「間奏終了」マークでフェードアウト制御をそれぞれ開始させるようにしてよい。このようにした場合には、間奏中に行われた観客の拍手等を適宜自動的に録音でき便利である。
なお、曲末尾近く（自動演奏データの再生位置に基づき、曲末尾近くであることを検出可能である）において拍手を検出した場合には、楽音信号の立下りを待たずにフェードイン制御を開始させてもよい。
【００３９】
なお、音響信号のフェードアウト／フェードイン制御を伴うミキシング処理を、音響信号及び楽音信号それぞれの録音後に行うようにしてもよい。すなわち、一旦、ボリュームを下げずに音響信号及び楽音信号を録音しておき(ただし音響信号と楽音信号は別トラックに録音する)、録音終了後に自動的に楽音信号トラックを解析して楽音信号の立ち上がり／立下りを検出し、音響信号トラックにおいて対応する位置にある音響信号にフェードアウト／フェードインを掛けながらミキシング処理を行い、生成されるミキシング信号を保存する。
なお、楽音信号の立ち上がり／立下りの検出として、演奏情報中の最初のノートオンやオールノートオフ(から所定時間経過したこと)を検出するようにして、該検出に従ってフェードアウトやフェードイン制御を開始するようにしてもよい。あるいは自動演奏のスタートやストップ指示を検出して、フェードアウトやフェードイン制御を開始するようにしてもよい。これらの検出も楽音信号の立ち上がり／立下り検出と実質的に等しいからである。
なお、本発明に係る電子楽器は録画と録音の両方を行えるものに限らず、録音のみを行えるものであればよいことは言うまでもない。
【図面の簡単な説明】
【００４０】
【図１】この発明に係る電子楽器の全体構成の一実施例を示したハード構成ブロック図である。
【図２】電子楽器における音楽コンテンツ生成機能の概略を示す機能ブロック図である。
【図３】遅延指示部による時間遅延が行われることなくミキシング信号を録音する第１の実施形態を説明するための概念図である。
【図４】第１の実施形態を実現する「立ち上がり／立下り検出処理」の一実施例を示すフローチャートである。
【図５】遅延指示部による時間遅延が行われてミキシング信号を録音する第２の実施形態を説明するための概念図である。
【図６】第２の実施形態を実現する「立ち上がり／立下り検出処理」の一実施例を示すフローチャートである。
【符号の説明】
【００４１】
１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、４…記憶装置、５，６…検出回路、５Ａ…演奏操作子、６Ａ…設定操作子、７…表示回路、７Ａ…ディスプレイ、８…音源・効果回路、８Ａ…サウンドシステム、９…通信インタフェース、１Ｄ…通信バス、Ａ…撮像部、Ｂ…映像記録部、Ｃ…ファイル記憶部、Ｄ…オーディオ記録部、Ｅ…ファイル作成部、Ｆ…音響入力部、Ｇ…Ａ／Ｄ変換部、Ｈ…ミキシング部、Ｉ…自動演奏データ記憶部、Ｊ…自動演奏部、Ｋ…楽音生成部、Ｌ…立ち上がり／立下り検出部、Ｍ…録画（録音）指示部、Ｎ…遅延指示部
【図１】
2010054856.tif 000003
【図２】
2010054856.tif 000004
【図３】
2010054856.tif 000005
【図４】
2010054856.tif 000006
【図５】
2010054856.tif 000007
【図６】
2010054856.tif 000008