(57)【要約】      （修正有）【課題】楽器演奏の録音にあたり自動演奏ピアノの演奏音をキャンセルする録音方法を提供する。【解決手段】録音方法１は、演奏情報をシーケンスデータで表した演奏データを出力する手段を有する第一楽器１０から演奏データを取得する過程と、演奏データに対応する第一楽器１０の演奏音に応じた第一波形信号を生成する過程３０と、第一楽器１０からの発音と、他の音とを含む音を収音し第二波形信号を生成する過程２０と、第二波形信号から第一波形信号に基づいて第一楽器１０からの発音を除去した第三波形信号を生成する過程４０と、第三波形信号からオーディオデータを生成する過程と、演奏データとオーディオデータとを組にして記録する過程５０と、を含む。【選択図】図１
2015132724.tif 000002
【特許請求の範囲】
【請求項１】
演奏情報をシーケンスデータで表した演奏データを出力する手段を有する第一楽器から、当該第一楽器による演奏の演奏データを取得する過程と、
前記演奏データに対応する前記第一楽器の演奏音に応じた第一波形信号を生成する過程と、
前記第一楽器からの発音と、他の音とを含む音を収音し当該音に応じた第二波形信号を生成する過程と、
前記第二波形信号から前記第一波形信号に基づいて前記第一楽器からの発音を除去した第三波形信号を生成する過程と、
前記第三波形信号からオーディオデータを生成する過程と、
前記演奏データと前記オーディオデータとを組にして記録する過程と、
を含む録音方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽器演奏の録音方法に関する。
【背景技術】
【０００２】
一般に自動演奏ピアノは、ユーザが自動演奏ピアノを用いて行った演奏をＭＩＤＩ（Ｍｕｓｉｃ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）形式の演奏情報として出力することができる。また、自動演奏ピアノはＭＩＤＩ形式の演奏情報を読み込んで、この演奏情報に基づいて、鍵駆動用のソレノイドを制御し、打弦によりピアノ音を発生することで自動演奏を行うことができる。
また、特許文献１には、自動演奏ピアノによる演奏を聴きながら例えば歌唱を行い、その歌唱による音声をオーディオデータに変換する。そしてこのオーディオデータと自動演奏ピアノが出力するＭＩＤＩ形式の演奏情報と組みにした演奏統合データとして記録する技術が開示されている。また、特許文献１には、自動演奏ピアノが演奏統合データを読み込んでピアノ演奏と歌唱に応じた音声とを同期再生する技術が開示されている。この同期再生の技術では、自動演奏ピアノが演奏統合データに含まれるＭＩＤＩ形式の演奏情報にしたがって自動演奏を行い、一方、自動演奏ピアノが内蔵する再生装置が演奏統合データに含まれるオーディオデータをピアノ演奏に合わせて再生することができる。
この技術を用いれば例えば自動演奏ピアノとオーケストラが同時に演奏を行った演奏音を収音して演奏統合データとして記録する。そして、その演奏統合データを例えば各家庭などに設置された自動演奏ピアノに読み込ませて再生する。これにより、ユーザは自動演奏ピアノとオーケストラの演奏を鑑賞することが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１６８９１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、自動演奏ピアノとオーケストラからの演奏音をマイクロホンで収音すると、収音した演奏音には自動演奏ピアノによる演奏音と他の楽器による演奏音が含まれることになる。この収音した演奏音に基づく演奏統合データを自動演奏ピアノで同期再生する。この場合、自動演奏ピアノがＭＩＤＩ形式の演奏情報に基づいて再生した演奏音とオーディオデータの再生音に含まれるピアノの演奏音とが重なって聞こえるという問題があった。
【０００５】
本発明は、上述した背景に鑑みてなされたものであり、その目的は、自動演奏ピアノの演奏音と他の楽器による演奏音や歌唱による音を共に収音し記録する場合に、他の楽器による演奏音に自動演奏ピアノの演奏音が混在し、結果として記録した演奏統合データの再生時に自動演奏ピアノの演奏音が二重に放音されてしまうことを防ぐ仕組みを提供することにある。
【課題を解決するための手段】
【０００６】
上述した問題を解決するため、本発明は、演奏情報をシーケンスデータで表した演奏データを出力する手段を有する第一楽器から、当該第一楽器による演奏の演奏データを取得する過程と、前記演奏データに対応する前記第一楽器の演奏音に応じた第一波形信号を生成する過程と、前記第一楽器からの発音と、他の音とを含む音を収音し当該音に応じた第二波形信号を生成する過程と、前記第二波形信号から前記第一波形信号に基づいて前記第一楽器からの発音を除去した第三波形信号を生成する過程と、前記第三波形信号からオーディオデータを生成する過程と、前記演奏データと前記オーディオデータとを組にして記録する過程と、を含む録音方法を提供する。
【発明の効果】
【０００７】
本発明によれば、自動演奏ピアノと他の楽器などによる演奏音を同時に収音し記録する場合に、他の楽器などによる演奏音を記録したオーディオデータに自動演奏ピアノによる演奏音が混在することを防止することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第一の実施形態における録音システムの機能ブロック図である。
【図２】本発明の第一の実施形態における録音システムを用いた録音方法のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の第一の実施形態おける録音方法を図１〜図２を参照して説明する。
まず、本実施形態に係る発明は以下のような場面での録音方法に係る発明である。
図１は録音システムの構成を表す機能ブロック図である。図１に示すように本実施形態の録音システム１は、自動演奏ピアノ１０と、マイクロホン２０と、音源３０と、フィルタ装置４０と、演奏統合データ記録装置５０とを備えている。
【００１０】
自動演奏ピアノ１０は、ユーザが自動演奏ピアノ１０を用いて演奏した内容を表す演奏情報をＭＩＤＩ形式の演奏データで出力する機能を有している。なお、以下の説明では演奏データの一態様としてＭＩＤＩを例として説明する。ＭＩＤＩ形式のデータはシーケンスデータであり、以下このＭＩＤＩ形式のシーケンスデータをＭＩＤＩデータという。また、自動演奏ピアノ１０は、ＭＩＤＩデータを読み込んでＭＩＤＩデータに含まれた音色や音のピッチ、発音や停止タイミングに従って鍵を動作させることでＭＩＤＩデータが示す演奏を再現する機能を有している。自動演奏ピアノ１０の演奏をＭＩＤＩデータで出力する方法や、ＭＩＤＩデータを読み込んで鍵を駆動しピアノ音を発声させる方法は公知であるので、詳細な説明は省略する。
【００１１】
また、自動演奏ピアノ１０は、オーディオデータを再生する再生装置を内蔵している。オーディオデータとは、楽器などの演奏音に応じた波形信号をデジタル化したデータである。自動演奏ピアノ１０は、ＭＩＤＩデータとオーディオデータを組にした演奏統合データを読み込んでＭＩＤＩデータに基づく自動演奏を行い、再生装置によってオーディオデータに基づく音を再生する。これにより、自動演奏ピアノ１０は、ＭＩＤＩデータに係る音とオーディオデータとを同期して再生することができる。このＭＩＤＩデータとオーディオデータを組にした演奏統合データには、例えば特許文献１に記載の方法で生成された演奏統合データを用いることができる。この機能を利用すると例えば以下のようなことが可能である。ユーザが自動演奏ピアノ１０を演奏し、オーケストラが自動演奏ピアノ１０の演奏に合わせて他の楽器の演奏を行う。そのとき自動演奏ピアノ１０は、演奏情報をＭＩＤＩデータで出力する。その他の楽器による演奏はマイクロホンによって収音され、記録装置がオーディオデータとして記録する。そして記録装置は、所定の方法によりＭＩＤＩデータとオーディオデータとを統合して自動演奏ピアノ１０で同期再生可能な演奏統合データを生成する。これにより、自動演奏ピアノ１０を所有する愛好家などがその演奏統合データを入手し、自動演奏ピアノ１０と内蔵する再生装置を用いてオーケストラの演奏を再現して鑑賞することができる。
【００１２】
マイクロホン２０は、他の楽器群の演奏や歌唱による音を収音する収音手段である。マイクロホン２０は、演奏に関係のない他の音を収音しないように指向性や設置場所が工夫されて備えられていてもよい。しかし、自動演奏ピアノ１０とオーケストラ等による他の楽器とで共演するような場合、これらの工夫を行ってもマイクロホン２０は、他の楽器による演奏音だけでなく自動演奏ピアノ１０による演奏音を収音してしまう。マイクロホン２０が収音したこれら演奏音をオーディオデータに変換し、自動演奏ピアノ１０が出力するＭＩＤＩデータと組みにして演奏統合データとして記録し、さらにこの演奏統合データを自動演奏ピアノ１０によって同期再生する場面を考える。このとき同期再生した音にはＭＩＤＩデータに基づく自動演奏ピアノ１０の演奏音と、マイクロホン２０が収音した自動演奏ピアノ１０のピアノ演奏音がと含まれる。ユーザは、ピアノ演奏音が二重に重なって聞こえるため違和感を覚える。そこで本実施形態では以下の装置を用いてマイクロホン２０が収音した音から自動演奏ピアノ１０による演奏音を取り除くことでこの問題の解決を図る。
【００１３】
音源３０は、ＭＩＤＩデータを読み込んでＭＩＤＩデータに含まれる音色や音の高さ、発音や停止タイミングなどの情報から自動演奏ピアノ１０が演奏した音の波形信号を生成する音源モジュールである。音源３０は、自動演奏ピアノ１０の出力したＭＩＤＩデータに応じた波形信号を生成してフィルタ装置４０へ出力する。第一の実施形態では、演奏データに対応する第一楽器の演奏音に応じた第一波形信号の生成を、音源３０が自動演奏ピアノ１０の出力したＭＩＤＩデータ（演奏データ）に基づいて行う。
フィルタ装置４０は、ピアノを音キャンセルするフィルタである。フィルタ装置４０は、マイクロホン２０が収音した自動演奏ピアノ１０の演奏音と他の楽器による演奏音とが混在した音の波形信号から自動演奏ピアノ１０による演奏音の波形信号を除去してマイクロホン２０が収音した音から自動演奏ピアノ１０の音を消去（ピアノ音キャンセル）する。フィルタ装置４０は、ピアノ音キャンセル後の波形信号からオーディオデータを生成する。
演奏統合データ記録装置５０は、ＭＩＤＩデータとオーディオデータとを組にした演奏統合データを生成して記録する記録装置である。演奏統合データ記録装置５０は、自動演奏ピアノ１０の演奏音に対応したＭＩＤＩデータと、ピアノ音がキャンセルされた後の他の楽器による演奏音に対応したオーディオデータとの両方を1つのファイルに記録してもよい。また、演奏統合データ記録装置５０は、ステレオデータの例えば第１チャンネルにＭＩＤＩデータに符号化処理を加えたデータを記録し、第２チャンネルにオーディオデータを記録し１ファイルとして保存してもよい。
【００１４】
図２は本発明の第一の実施形態における録音システムを用いた録音方法のフローチャートである。
図２を用いて、本実施形態における録音方法について説明する。
例として自動演奏ピアノ（第一楽器）と他の楽器（第二楽器）が同時に演奏を行い、自動演奏ピアノによる演奏音と他の楽器による演奏音を演奏統合データに記録する場面を考える。
前提として、ユーザによる自動演奏ピアノ１０の演奏操作又は自動演奏ピアノ１０の備える自動演奏機能により自動演奏ピアノ１０が放音しているものとする（ステップＳ１００）。
同時に他のユーザの演奏操作により他の楽器が放音しているものとする（ステップＳ２００）。
【００１５】
まず、マイクロホン２０が、自動演奏ピアノ１０からの演奏音と他の楽器からの演奏音とが混在した音を収音する（ステップＳ１）。他の楽器からは、ＭＩＤＩデータが得られないのでオーディオデータを記録するためにマイクロホン２０によって演奏音を収音する。このときマイクロホン２０が、他の楽器からの演奏音だけを収音することができればよいが、実際には自動演奏ピアノ１０が発した演奏音も収音してしまう。マイクロホン２０は、この収音した音を波形信号（第二波形信号）に変換してフィルタ装置４０へ出力する。
【００１６】
マイクロホン２０によって他の楽器の演奏音を収音することに並行して、自動演奏ピアノ１０は、演奏に応じたＭＩＤＩデータを生成し音源３０へ出力する（ステップＳ２）。また、自動演奏ピアノ１０は、生成したＭＩＤＩデータを演奏統合データ記録装置５０へ出力する。
音源３０は、自動演奏ピアノ１０から取得したＭＩＤＩデータに基づいて波形信号（第一波形信号）を生成しフィルタ装置４０へ出力する（ステップＳ３）。
【００１７】
フィルタ装置４０は、マイクロホン２０から取得した波形信号から音源３０から取得した自動演奏ピアノ１０による演奏音を示す波形信号を除去して新たな波形信号（第三波形信号）を生成する（ステップＳ４）。自動演奏ピアノ１０の波形信号を除去するには例えば以下のようにしてもよい。フィルタ装置４０は、音源３０から取得した自動演奏ピアノ１０による演奏音を示す波形信号からその波形の逆位相の波形信号を生成する。この逆位相の波形信号は、ピアノ音を打ち消すための信号である。そしてフィルタ装置４０は、マイクロホン２０から取得した波形信号に含まれる自動演奏ピアノ１０による音の成分を解析して、逆位相の波形信号の振幅や位相の調整などを行う。そしてフィルタ装置４０は、この調整した波形信号とマイクロホン２０から取得した波形信号とを合成してピアノ音を打ち消した新たな波形信号（第三波形信号）を生成する。この新たに生成された波形信号は自動演奏ピアノ１０による演奏音が除去された他の楽器からの演奏音を示す信号である。次にフィルタ装置４０は、この波形信号を例えばＲＩＦＦ（Ｒｅｓｏｕｒｃｅ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）形式のオーディオデータに変換し、オーディオデータを演奏統合データ記録装置５０へ出力する。
【００１８】
次に演奏統合データ記録装置５０は、ＭＩＤＩデータとオーディオデータとを組にして１つのファイルに記録する（ステップＳ５）。
最後に自動演奏ピアノ１０は、ユーザからの終了要求操作などにより演奏が終了したかどうかを判定し（ステップＳ６）、演奏終了でなければステップＳ１からの処理を繰り返す。演奏終了であれば処理フローを終了する。
以上で本処理フローを終了する。
【００１９】
本実施形態によれば、自動演奏ピアノ１０が出力するＭＩＤＩデータに基づいて生成した波形信号を用いて、自動演奏ピアノ１０以外の楽器・歌唱などによる演奏音と自動演奏ピアノ１０による演奏音が混在した波形信号から自動演奏ピアノ１０による演奏音を除去た音を記録することができる。
【００２０】
＜他の実施形態＞
第一の実施形態に係る録音システムにおいては、フィルタ装置４０においてピアノ音を打ち消すための波形信号を自動演奏ピアノ１０が出力するＭＩＤＩデータから生成する方法を用いて説明を行ったが、以下のような実施形態でもよい。すなわち、ＭＩＤＩデータの代わりに響板の各駒に設けられた圧電素子（ピエゾセンサ）によってピアノの弦の振動を検出する。そして、検出した弦の振動情報に基づいて自動演奏ピアノ１０による演奏音を表す波形信号を生成してフィルタ装置４０に出力するようにしてもよい。また、同様に加速度センサを用いてピアノの響板の振動の加速度を検出し、響板の変位や音圧などを計算してピアノ演奏音を表す波形信号を生成しフィルタ装置４０に出力するようにしてもよい。この実施形態では演奏データに対応する第一楽器の演奏音に応じた第一波形信号の生成を、例えばピエゾセンサ、加速度センサなどが検出した信号に基づいて行う。
また、自動演奏ピアノ１０の響板近傍にマイクロホンを設け、当該マイクロホンが収音した響板から放音される演奏音の波形信号をフィルタ装置４０に出力するようにしてもよい。
【００２１】
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば、自動演奏ピアノは、ＭＩＤＩデータの出力と再生が可能であれば、他の電子楽器などでも構わない。また、自動演奏ピアノ１０と音源３０とフィルタ装置４０と演奏統合データ記録装置５０は、一体に構成されていてもよいし、それぞれ別体であってもよい。また、自動演奏ピアノ１０が内蔵する再生装置は、自動演奏ピアノ１０と別体であって自動演奏ピアノ１０と接続して用いるものであってもよい。また、上述の実施形態ではＭＩＤＩ形式の演奏データを例として説明したが、演奏データとしてはＭＩＤI形式に限らない。自動演奏ピアノ１０および音源３０が解釈可能なシーケンスデータである演奏データであればどのようなデータであってもよい。
【符号の説明】
【００２２】
１０・・・自動演奏ピアノ、２０・・・マイクロホン、３０・・・音源、４０・・・フィルタ装置、５０・・・演奏統合データ記録装置
【図１】
2015132724.tif 000003
【図２】
2015132724.tif 000004