(57)【要約】  ユーザが楽器演奏初心者であっても、楽曲音に対して不協和音にならない音を発生させ、当該楽曲音とのアドリブセッションを可能とする音発生装置、音発生方法、音発生プログラム、及び記録媒体を提供する。  本願の音発生装置は、再生された楽曲音を解析し、その解析結果に基づいて、当該楽曲音に適合する音要素を決定し、決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶し、前記楽曲音の再生中に前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得し、前記取得された音要素情報に示される音要素に応じた音を発生させる。
2010119541.tif 000002
【特許請求の範囲】
【請求項１】
再生された楽曲音を解析する楽曲音解析手段と、
前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する音要素決定手段と、
前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する音要素割当手段と、
前記楽曲音の再生中に、前記操作子の操作を検出する操作検出手段と、
前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する音要素情報取得手段と、
前記取得された音要素情報に示される音要素に応じた音を発生させる発音手段と、
を備えることを特徴とする音発生装置。
【請求項２】
請求項１に記載の音発生装置において、
前記発生された音と前記再生された楽曲音とをミキシングして出力する出力手段を備えることを特徴とする音発生装置。
【請求項３】
請求項２に記載の音発生装置において、
前記発生された音と前記再生された楽曲音とが同期するように当該楽曲音を遅延させる遅延手段を備え、
前記出力手段は、前記発生された音と前記遅延された楽曲音とをミキシングして出力することを特徴とする音発生装置。
【請求項４】
請求項１乃至３の何れか一項に記載の音発生装置において、
前記音要素決定手段は、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する複数の音要素を決定し、
前記音要素割当手段は、前記決定された各音要素を、前記操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記各音要素を示す各音要素情報を対応付けて記憶し、
前記音要素情報取得手段は、前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記各音要素情報を取得し、
前記発音手段は、前記取得された各音要素情報に示される音要素に応じた音を発生させることを特徴とする音発生装置。
【請求項５】
請求項１乃至３の何れか一項に記載の音発生装置において、
前記音要素決定手段は、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する複数の音要素を決定し、
前記音要素割当手段は、前記決定された各音要素を、複数の前記操作子のうち、別々の前記操作子毎に割り当て、当該各操作子を示す操作子情報毎に、当該各操作子に割り当てた前記各音要素を示す各音要素情報を対応付けて記憶し、
前記音要素情報取得手段は、何れかの前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得し、
前記発音手段は、前記取得された音要素情報に示される音要素に応じた音を発生させることを特徴とする音発生装置。
【請求項６】
請求項１乃至５の何れか一項に記載の音発生装置において、
前記音要素割当手段は、前記決定された音要素を、楽器音毎に対応する前記操作子の夫々に割り当て、当該各操作子を示す操作子情報毎に、当該各操作子に割り当てた前記各音要素を示す各音要素情報を対応付けて記憶し、
前記音要素情報取得手段は、何れかの前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得し、
前記発音手段は、前記取得された音要素情報に示される音要素に応じた音を、前記操作が検出された操作子に対応する楽器音で発生させることを特徴とする音発生装置。
【請求項７】
請求項１乃至６の何れか一項に記載の音発生装置において、
前記楽曲音解析手段は、前記楽曲音の開始時間位置から終了時間位置に至るまで所定時間間隔毎に解析し、
前記音要素決定手段は、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を前記所定時間間隔毎に決定し、
前記音要素割当手段は、前記所定時間間隔毎に決定された音要素を、前記操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を前記所定時間間隔毎に更新することを特徴とする音発生装置。
【請求項８】
請求項１乃至７の何れか一項に記載の音発生装置において、
前記音要素決定手段は、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する和音又は音階を前記音要素として決定することを特徴とする音発生装置。
【請求項９】
音発生装置における音発生方法であって、
再生された楽曲音を解析する工程と、
前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する工程と、
前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する工程と、
前記楽曲音の再生中に、前記操作子の操作を検出する工程と、
前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する工程と、
前記取得された音要素情報に示される音要素に応じた音を発生させる工程と、
を含むことを特徴とする音発生方法。
【請求項１０】
コンピュータを、
再生された楽曲音を解析する楽曲音解析手段、
前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する音要素決定手段、
前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する音要素割当手段、
前記楽曲音の再生中に、前記操作子の操作を検出する操作検出手段、
前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する音要素情報取得手段、及び、
前記取得された音要素情報に示される音要素に応じた音を発生させる発音手段として機能させることを特徴とする音発生プログラム。
【請求項１１】
請求項１０に記載の音発生プログラムがコンピュータ読み取り可能に記録されていることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、楽曲音に合った音を発生する音発生装置等の技術分野に関する。
【背景技術】
【０００２】
この種の技術として、例えば、特許文献１には、複数の操作キーの夫々に対して異なる電子楽器音（例えば、ドラム、ハイハット、トライアングル、カスタネット等）が割り当てられた音響装置が開示されている。かかる音響装置では、カセットテープに記録された楽曲音の再生中に、何れかの操作キーが操作されると、当該操作キーに割り当てられた電子楽器音が上記楽曲音に加算されて放音されるようになっている。これにより、ユーザは楽曲音に合わせて電子楽器音でリズムをとったり、楽曲音にアクセントをつけることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平8-272367号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の技術において、例えば、ドラムやトライアングルなどの音階をもたないリズム楽器に関しては、どの操作キーが操作されてもハーモニーにあまり影響がないため、違和感なく聞こえるかもしれないが、音階をもつ電子楽器音が割り当てられた場合、再生された楽曲音に対し、ハーモニーの合う音、又は不協和音にならない音が何かをユーザの音感で判別し、その音が割り当てられた操作キーをユーザが選択して操作しなければならないという問題がある。【０００５】
また、リズム楽器であっても、楽曲音との音量レベル差や音色の違和感（例えば、クラシックの曲にタンバリンなど）などの調節は、従来の技術ではマニュアル操作が必要であるという問題もある。【０００６】
そこで、本願は、このような問題の解消を課題の一つとし、ユーザが楽器演奏初心者であっても、楽曲音に対して不協和音にならない音を発生させ、当該楽曲音とのアドリブセッションを可能とする音発生装置、音発生方法、音発生プログラム、及び記録媒体を提供することを目的する。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、請求項１に記載の発明は、再生された楽曲音を解析する楽曲音解析手段と、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する音要素決定手段と、前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する音要素割当手段と、前記楽曲音の再生中に、前記操作子の操作を検出する操作検出手段と、前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する音要素情報取得手段と、前記取得された音要素情報に示される音要素に応じた音を発生させる発音手段と、を備えることを特徴とする。【０００８】
請求項９に記載の発明は、音発生装置における音発生方法であって、再生された楽曲音を解析する工程と、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する工程と、前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する工程と、前記楽曲音の再生中に、前記操作子の操作を検出する工程と、前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する工程と、前記取得された音要素情報に示される音要素に応じた音を発生させる工程と、を含むことを特徴とする。【０００９】
請求項１０に記載の音発生処理プログラムの発明は、コンピュータを、再生された楽曲音を解析する楽曲音解析手段、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する音要素決定手段、前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する音要素割当手段、前記楽曲音の再生中に、前記操作子の操作を検出する操作検出手段、前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する音要素情報取得手段、及び、前記取得された音要素情報に示される音要素に応じた音を発生させる発音手段として機能させることを特徴とする。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る音響装置の概要構成例を示す図である。
【図２】操作部１５の外観の一例を示す図である。
【図３】割り当て状態保持テーブルの内容の一例を示す図である。
【図４】解析結果及び割り当てられた音要素の表示例を示す図である。
【図５】（Ａ）は、音響装置Ｓの制御部１９における音要素割り当て処理を示すフローチャートであり、（Ｂ）は、音響装置Ｓの制御部１９における操作命令入力処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本願の実施形態を添付図面に基づいて説明する。なお、以下に説明する実施の形態は、音響装置に対して本願を適用した場合の実施形態である。
【００１２】
先ず、図１等を参照して、本実施形態における音響装置の構成及び機能について説明する。
【００１３】
図１は、本実施形態に係る音響装置の概要構成例を示す図である。
【００１４】
図１に示すように、音響装置Ｓは、音声再生部１１、楽器音源発音部１２、加算部１３、増幅部１４、操作部１５、表示部１６、記憶部１７、解析部１８、及び制御部１９等を備えて構成されている。
【００１５】
音声再生部１１は、ＣＤ（Compact Disc）、ＭＤ（Mini Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリなどの記録媒体に記録された楽曲音（楽曲音信号）を再生し、加算部１３及び解析部１８に出力する。又は、音声再生部１１は、ポータブル機器等の外部機器又はマイクから楽曲音を入力して加算部１３及び解析部１８に出力、或いは、テレビ放送やラジオ放送等から楽曲音を受信して加算部１３及び解析部１８に出力する。
【００１６】
次に、発音手段の一例としての楽器音源発音部１２は、ＭＩＤＩ（Musical Instrument Digital Interface）音源や音源ＩＣ（Integrated Circuit)等により構成され、制御部１９からのコマンドに従って、楽器音を発生（発音）し、加算部１３に出力する。
【００１７】
次に、出力手段の一例としての加算部（ミキシング部）１３は、音声再生部１１からの楽曲音を入力したときに、楽器音源発音部１２から楽器音を入力した場合、当該楽曲音と当該楽器音とをミキシング（加算）し、ミキシングした音を増幅部１４に出力する。なお、音声再生部１１からの楽曲音を入力したときに、楽器音源発音部１２からの楽器音の入力がない場合、当該楽曲音をそのまま増幅部１４に出力する。また、楽器音源発音部１２からの楽器音を入力したときに、音声再生部１１からの楽曲音の入力がない場合、当該楽器曲をそのまま増幅部１４に出力する。
【００１８】
次に、増幅部（アンプ）１４は、加算部１３からのミキシングされた音等を増幅して左右スピーカに出力する。これにより、当該音はスピーカから放音される。なお、図１の例では、左右の２ｃｈスピーカを示しているが、これに限らず、４ｃｈスピーカや５．１ｃｈスピーカであってもよい。また、増幅部１４は、制御部１９からのボリューム制御やイコライザ設定、ミュート制御、音場制御、高音質化処理などに対応してもよい。
【００１９】
次に、操作部１５には、ユーザが、音響装置Ｓに対して各種動作指示、設定指示、及び発音指示を与えるための操作キーが複数備えられており、ユーザが操作キーを操作すると当該操作キーに対応する操作命令（操作信号）が制御部１９に出力される。ここで、動作指示には、例えば、電源オン、ミュート（消音）、ボリュームアップ（音量アップ）、プレイ（再生）、ストップ（停止）、トラックアップ（曲番号アップ）等がある。また、設定指示には、例えば、画面設定、イコライザ設定、リピート設定等がある。
【００２０】
図２は、操作部１５の外観の一例を示す図である。図２に示す操作部１５には、動作指示及び設定指示用の操作キーが設けられた動作・設定操作部１５ａと、発音指示用の操作キーが設けられた発音操作部１５ｂとが設けられている。
【００２１】
図２の例では、発音操作部１５ｂに、発音指示用の操作キーとして、５つの操作キー１〜５（本願における複数の操作子の一例）が設けられている。これらの各操作キー１〜５には、音声再生部１１から出力された楽曲音（再生中の楽曲音）に適合する音要素が自動的に割り当てられ、割り当てられた音要素は、当該楽曲音の進行に伴って変更されるようになっている。かかる音要素として、例えば、音階、和音（コード）、楽器音（音色）、音量、オクターブ（音域）、ＰＡＮ（左右定位）、エフェクト等が挙げられる。なお、図２の例では、音要素が割り当てられる操作子として、５つの操作キーを示したが、これより少ない数の操作キーであってもよいし、これより多い数の操作キーであってもよい。
【００２２】
そして、ユーザにより操作キー１〜５の全部又は一部が操作（この例では、押下）されると、当該操作が制御部１９により検出され、各操作キーに割り当てられた音要素に応じた音が楽器音源発音部１２から発生することになる。つまり、操作キーは、楽器（例えば電子ピアノ）の鍵盤のように機能する（ただし、操作キーは、楽器の鍵盤の形状や形式である必要はない）。
【００２３】
なお、動作・設定操作部１５ａにおける一部の操作キーを発音操作部１５ｂにおける操作キーとして兼ねてもよい。また、動作・設定操作部１５ａと、発音操作部１５ｂとを物理的に分離させてもよい。また、操作部１５は、音響装置Ｓ本体に設けられていてもよいし、音響装置Ｓと通信可能なリモコン等の操作機器に設けられてもよい。操作部１５が操作機器に設けられる場合、音響装置Ｓ本体と操作機器との間の通信は、有線（ケーブル、フレキ、ＵＳＢケーブルなど）で行われてもよいし、無線（赤外線通信、Bluetooth、Wi-Fi、Zigbeeなど）で行われてもよい。また、上記操作部１５では、本願の操作子として、押ボタン式の操作キー１〜５を例にとったが、ユーザによる操作を制御部１９が検出できるものであればどのようなものであってもよく、例えば、鍵盤、タクトスイッチ、タッチパネル、加速度センサ、ショックセンサ、静電容量センサ、超音波センサ、マイク入力（音声認識）、カメラ入力（画像認識）、又は脳波スイッチなどにより構成された操作子が適用可能である。
【００２４】
次に、表示部１６は、例えば液晶又は有機ＥＬ等のディスプレイを備え、音響装置Ｓの動作状態や設定状態、更には、操作キー１〜５への音要素の割り当て状態などを表示画面上に表示する。なお、表示部１６は、操作の補助的な役割や演出効果的な役割があってもよい。また、表示部１６は、1つに限らず複数あってもよい（例えば、音響装置Ｓに一つ、リモコンに１つ）。
【００２５】
次に、記憶部１７は、例えばＲＡＭやフラッシュメモリ等により構成され、主に、各操作キー１〜５への音要素の割り当て状態を保持する割り当て状態保持テーブルが記憶されている。
【００２６】
図３は、割り当て状態保持テーブルの内容の一例を示す図である。図３の例では、６つの音要素毎に、割り当て状態保持テーブルが分かれており（一つのテーブルにまとめてもよい）、各テーブルでは、操作キーを示す操作子番号（操作子情報の一例）と、各操作キーに割り当てられた音要素を示す音要素情報とが対応付けられている。例えば、図３に示すように、操作キー１には、音階としてＣ（ド）が、楽器音（楽器の種類）としてピアノが、音量として１００が、オクターブとして０が、ＰＡＮとして５０（つまり、左右スピーカへの出力が均等）が、エフェクトとしてエコーが、夫々割り当てられている。したがって、この割り当て状態において、ユーザにより操作キー１が操作されると、制御部１９の制御の下、当該操作キー１に割り当てられた音階、楽器音、音量、オクターブ、ＰＡＮ、及びエフェクトに応じた音が楽器音源発音部１２から発生することになる。
【００２７】
次に、楽曲音解析手段の一例としての解析部１８は、例えばＤＳＰ等により構成され、再生された楽曲音、つまり、音声再生部１１から出力された楽曲音を入力しこれを解析して、和音、音階、楽器音（楽器の種類）、音量、音域、曲の調、テンポ等を検出する。これらの音要素の検出は、公知の様々な技術により検出できるので、詳しい説明は省略するが、例えば和音については特開2004-184510号公報に開示される技術により検出することができる。この技術を用いた場合、解析部１８は、入力された楽曲音を所定の時間毎に周波数成分の大きさを示す周波数信号に変換し、当該周波数信号から平均律の各音に対応した周波数成分を所定の時間毎に抽出し、その抽出した各音に対応した周波数成分のうちレベル合計が大となる３つの周波数成分の組によって構成される和音（例えば、Ｃ（ド）、E（ミ）、Ｇ（ソ）によって構成されるＣのコード）を検出する。
【００２８】
このような解析は、楽曲音の進行に伴い、楽曲音の再生開始時間位置から再生終了時間位置に至るまで所定の解析時間間隔（例えば、数百ｍｓ〜数ｓ）毎に行われる。かかる解析時間間隔は、検出する音要素の数や検出処理負荷に応じて長くなる。なお、解析部１８は、曲の調を検出する場合、所定の検出時間間隔毎に検出した和音のデータを蓄積し、蓄積された和音のデータに基づき曲の調（例えば、ハ長調、ト長調）を検出するので、曲の調の解析時間間隔は他の音要素の解析時間間隔に比べて長くなる。
【００２９】
そして、解析部１８は、楽曲音を解析した解析結果（検出した和音等を示す情報を含む）を制御部１９に出力、つまり、上記所定の解析時間間隔毎に解析した解析結果（解析結果のデータ）を当該時間間隔毎に制御部１９に出力する。
【００３０】
次に、制御部１９は、ＣＰＵ、ＲＡＭ，及びＲＯＭ等を備え、例えばＲＯＭに記憶されたプログラム（本願の音発生プログラムを含む）を読み出して実行することにより、音響装置Ｓ全体を統括制御するとともに、本願の音要素決定手段、音要素割当手段、操作検出手段、及び音要素情報取得手段等として機能する。
【００３１】
より具体的には、制御部１９は、データ生成プログラム（データ生成アルゴリズム）に従い、解析部１８からの楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素であって割り当て候補となる音要素を決定し、決定した音要素（又は、音要素群）が示される当該候補データを生成する。
【００３２】
例えば、解析結果からある和音が得られた場合、制御部１９は、該得られた和音を割り当て候補として決定、又は、該得られた和音の転回形（三和音の場合、第１及び第２の転回形）を割り当て候補として決定、又は、該得られた和音及びこれの転回形を割り当て候補として決定、又は、該得られた和音を構成する各音階を割り当て候補として決定、又は、該得られた和音を構成する各音階及びこれらとオクターブ違いの音階を割り当て候補として決定、又は、該得られた和音を構成する各音階のうちの一部の音階（例えば、ルート音及び５度の音）を割り当て候補として決定する。
【００３３】
また、例えば、解析結果からある楽器音が得られた場合、制御部１９は、該得られた楽器音を割り当て候補として決定、又は、該得られた楽器音にハーモニーの合う楽器音を割り当て候補として決定、又は該得られた楽器音及びこれとハーモニーの合う楽器音を割り当て候補として決定する。
【００３４】
なお、上記のように、解析結果から得られる音要素毎にどの音要素を決定するかは、データ生成プログラムやテーブルで予め設定される。
【００３５】
そして、制御部１９は、上記生成した候補データに示される各音要素（候補）を、各操作キー１〜５に割り当て、当該各操作キーを示す操作子番号と当該操作キーに割り当てた音要素を示す音要素情報を対応付けて、割り当て状態保持テーブルに記憶する。例えば、上述したように複数の音階（又は、複数の和音）が割り当て候補として決定された場合、制御部１９は、当該各音階（或いは、各和音）を別々の操作キー毎に割り当てたり、さらに、図３に示すように、複数種類の音要素（音階、楽器音、音量、オクターブ、ＰＡＮ、エフェクト）を操作キー１〜５毎に割り当てる。なお、制御部１９は、上記決定した音要素が３つであれば、操作キー４及び５には割り当てないか、或いは、操作キー１及び２と同一の音要素を割り当ててもよい。また、全ての音要素が操作キーに自動的に割り当てられなくともよく、例えば音階又は和音のみが自動的に操作キーに割り当てられ、例えば音量、及びＰＡＮ等の音要素は操作キーに割り当てられないか或いはユーザがマニュアル操作で割り当てるように構成してもよい。上記割り当て候補として決定された音要素であっても、操作キーに割り当てられない場合もある。
【００３６】
ところで、制御部１９には解析部１８から所定の解析時間間隔毎に解析結果が入力されるので、当該制御部１９は、入力した各解析結果に基づいて、楽曲音に適合する音要素であって割り当て候補となる音要素を当該時間間隔毎に決定して、上記候補データを生成し、候補データに示される音要素を操作キーに当該時間間隔毎に割り当て、当該操作キーを示す操作子番号と当該操作キーに割り当てた音要素を示す音要素情報を対応付けて、割り当て状態保持テーブルに記憶、つまり、割り当て状態保持テーブルの内容を当該時間間隔毎に更新する。なお、このとき、制御部１９は、解析時間間隔毎に入力された解析結果を表示部１６に表示したり、上記時間間隔毎に操作キーに割り当てられた音要素を表示部１６に表示すれば効果的である。
【００３７】
図４は、解析結果及び割り当てられた音要素の表示例を示す図である。図４に示す例では、解析結果、並びに各操作キーに割り当てられた音階と楽器音が表示されており、所定時間経過後にその内容が切り替わっている。
【００３８】
そして、制御部１９は、楽曲音の再生中に（つまり、音声再生部１１から楽曲音の出力中に）、当該何れかの操作キーの操作を検出（操作部１５からの操作命令による）したときに、当該操作キーを示す操作子番号に対応付けられて記憶されている最新の音要素情報を、上記割り当て状態保持テーブルから取得し、当該音要素情報を含むコマンドを楽器音源発音部１２に出力する。こうして、当該音要素情報に示される音要素に応じた楽器音が楽器音源発音部１２により発生され、発生された楽器音と音声再生部１１からの楽曲音とが加算部１３においてミキシングされ、増幅部１４を介してスピーカから出力されることになる。これにより、操作キーを操作するユーザが楽器演奏初心者であっても、楽曲音に対して不協和音にならない音を発生させ、当該楽曲音とのアドリブセッションを行うことができる。
【００３９】
ここで、解析部１８による再生中の楽曲音の解析に要する時間、及び制御部１９による音要素の決定及び操作キーへの割り当てに要する時間があるので、楽器音源発音部１２により発生された楽器音と、音声再生部１１から出力された楽曲音とが同期するように当該楽曲音を、上記解析に要する時間及び音要素の決定及び操作キーへの割り当てに要する時間分遅延させることが望ましい。本実施形態においては、再生中の楽曲音の解析に要する時間、及び制御部１９による音要素の決定及び操作キーへの割り当てに要する時間は、一定時間間隔であるので、遅延時間もこれに合わせて一定時間間隔とすればよい。
【００４０】
これにより、楽器音源発音部１２により発生された楽器音と当該遅延された楽曲音とがミキシングされて出力されるので、楽器音と楽曲音とのずれがなくなり違和感が生じるのを回避することができる。なお、楽曲音の遅延は、例えば、音声再生部１１（遅延手段の一例）により行われる。例えば、音声再生部１１が記録媒体に記録された楽曲音を再生する構成の場合、再生された楽曲音に係るデータを音声再生部１１がバッファリングして、加算部１３への出力のみを遅延させる。同様に、音声再生部１１がテレビ放送やラジオ放送等から楽曲音を受信して加算部１３及び解析部１８に出力する構成の場合においても、受信された楽曲音に係るデータを音声再生部１１がバッファリングして、加算部１３への出力のみを遅延させるように構成する。
【００４１】
次に、図５を参照して、本実施形態における音響装置Ｓの動作について説明する。
【００４２】
図５（Ａ）は、音響装置Ｓの制御部１９における音要素割り当て処理を示すフローチャートであり、図５（Ｂ）は、音響装置Ｓの制御部１９における操作命令入力処理を示すフローチャートである。
【００４３】
図５（Ａ）に示す処理は、制御部１９が、解析部１８から楽曲音の解析結果を入力することにより開始される。なお、入力された解析結果はＲＡＭの所定領域に記憶される。当該処理が開始されると、制御部１９は、当該入力された解析結果と、前回入力されＲＡＭに記憶された解析結果とを比較し、解析結果が前回と同じであるか否かを判別する（ステップＳ１）。そして、解析結果が前回と同じである場合には（ステップＳ１：ＹＥＳ）、制御部１９は、当該処理を終了し（割り当て状態保持テーブルの内容は更新されない）、次回の解析結果の入力待ちとなる。なお、かかる解析結果の比較処理は行わなくともよい。
【００４４】
一方、解析結果が前回と同じでない場合には（ステップＳ１：ＮＯ）、制御部１９は、データ生成プログラム（データ生成アルゴリズム）に従い、上述したように、今回入力した楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素であって割り当て候補となる音要素を決定し、決定した音要素が示される候補データを生成する（ステップＳ２）。
【００４５】
次いで、制御部１９は、上述したように、生成した候補データに示される各音要素を、各操作キーに割り当て、当該各操作キーを示す操作子番号と当該操作キーに割り当てた音要素を示す音要素情報を対応付けて、割り当て状態保持テーブルに記憶する（ステップＳ３）。
【００４６】
ここで、音要素の操作キーへの割り当ての幾つかの例を説明する。
（例１）候補データに示される音要素がＣの和音である場合、制御部１９は、Ｃ（ド）、Ｅ（ミ）、Ｇ（ソ）の３つの音階を１つの操作キー１に割り当てる。つまり、得られた和音がそのまま和音として操作キーに割り当てられる。そして、制御部１９は、他の操作キーには、当該和音の転回形（ＥとＧと1オクターブ上のＣなど）を割り当てる。
（例２）候補データに示される音要素がＣの和音である場合、制御部１９は、Ｃ（ド）の音階を操作キー1に、Ｅ（ミ）の音階を操作キー２に、Ｇ（ソ）の音階を操作キー３に夫々割り当てる。つまり、得られた和音が分散され操作キーに割り当てられる。そして、制御部１９は、他の操作キーには、オクターブ違いのＣ、Ｅ、Ｇを割り当てる。
（例３）候補データに示される音要素がＣの和音であり、楽器としてベースを想定する場合、制御部１９は、ルート音（Ｃ）を操作キー1に、５度の音（Ｇ）を操作キー２に割り当てる。つまり、得られた和音が分散され、そこから必要な音のみが抜き出されて操作キーに割り当てられる。そして、制御部１９は、他の操作キーには、オクターブ違いのＣ、Ｇを割り当てる。
（例４）候補データに示される音要素がＣの和音である場合、制御部１９は、和音が切り替わる度に操作キーへの割り当てを切り替えるのではなく、和音を累積した結果から曲の調（スケール）を割り出す。例えばＣのメジャーペンタトニックスケールと割り出した場合、制御部１９は、Ｃ，Ｄ，Ｅ，Ｇ，Ａの音階を操作キー１，２，３，４，５に夫々割り当てる。他にも操作キーがある場合、オクターブ違いのスケールを割り当てるなどしてもよい。
【００４７】
次いで、制御部１９は、上記入力された解析結果、及び割り当てられた音要素を表示部１６に表示（再描画）し（ステップＳ４）、その後、上記処理を終了し、次回の解析結果の入力待ちとなる。
【００４８】
このような処理により、再生中の楽曲音に合う音要素（または不協和音以外の音要素）がリアルタイムかつ自動的に操作キーに割り当てられる。また、操作キーに対する音要素の割り当ては一定ではなく、楽曲音の進行に応じてリアルタイムかつ自動的に適切な音要素に変化することになる。
【００４９】
次に、図４（Ｂ）に示す処理は、制御部１９が、操作部１５から操作命令を入力することにより開始される。当該処理が開始されると、制御部１９は、入力された操作命令が音声再生部１１に対する命令（例えば、楽曲音の再生命令、停止命令等）であるか否かを判別し（ステップＳ１１）、音声再生部１１に対する命令である場合には（ステップＳ１１：ＹＥＳ）、ステップＳ１２に進み、音声再生部１１に対する命令でない場合には（ステップＳ１１：ＮＯ）、ステップＳ１３に進む。
【００５０】
ステップＳ１２では、制御部１９は、音声再生部１１に対する命令を実行し、その後、当該処理を終了し、次回の操作命令の入力待ちとなる。音声再生部１１は、制御部１９からの命令にしたがって動作、例えば音声再生部１１から楽曲音が再生出力することになる。
【００５１】
ステップＳ１３では、入力された操作命令が楽器音源発音部１２に対する命令、つまり、発音操作部１５ｂにおいて音要素が割り当てられた操作キーからの命令であるか否かを判別し、楽器音源発音部１２に対する命令である（つまり、音要素が割り当てられた操作キーの操作を検出した）場合には（ステップＳ１３：ＹＥＳ）、ステップＳ１４に進み、楽器音源発音部１２に対する命令でない場合には（ステップＳ１３：ＮＯ）、ステップＳ１７に進む。
【００５２】
ステップＳ１４では、制御部１９は、楽器音源発音部１２に対する命令に対応する操作キーを示す操作子番号に対応付けられて記憶されている最新の音要素情報を、上記割り当て状態保持テーブルから取得する。
【００５３】
次いで、制御部１９は、取得した音要素情報を含むコマンドを楽器音源発音部１２に出力する（ステップＳ１５）。こうして、当該音要素情報に示される音要素に応じた楽器音が楽器音源発音部１２により発生され、発生された楽器音と音声再生部１１からの楽曲音とが加算部１３において同期がとられつつミキシングされ、増幅部１４を介してスピーカから出力されることになる。
【００５４】
次いで、制御部１９は、楽器音源発音部１２に対する命令に対応する操作キーが操作されたことを示す情報（例えば、ハイライト表示）を、図４に示すように解析結果及び操作キーに割り当てられた音要素とともに表示し（ステップＳ１６）、その後、当該処理を終了し、次回の操作命令の入力待ちとなる。
【００５５】
ステップＳ１７では、制御部１９は、入力された操作命令が、割り当て変更（マニュアル変更）命令であるか否かを判別し、割り当て変更命令である場合には（ステップＳ１７：ＹＥＳ）、ステップＳ１８に進み、割り当て変更命令でない場合には（ステップＳ１７：ＮＯ）、ステップＳ１９に進む。
【００５６】
ステップＳ１８では、制御部１９は、割り当て変更命令にしたがって割り当て状態保持テーブルの内容を変更する処理を実行し、その後、当該処理を終了し、次回の操作命令の入力待ちとなる。かかる割り当て状態保持テーブルの内容を変更する処理では、制御部１９は、操作部１５を通じてユーザからの指示された音要素を、ユーザから指示された操作キーに割り当て、当該操作キーを示す操作子番号と当該操作キーに割り当てた音要素を示す音要素情報を対応付けて、割り当て状態保持テーブルに記憶する。例えば、操作キー１にバイオリンの音色、操作キー２にピアノの音色、操作キー３にトランペットの音色、操作キー４にフルートの音色というようにマニュアルで割り当てられる。或いは、何れかの操作キー、例えば、操作キー２のみエレキギターの音色を割り当て、その他の操作キーにはステップＳ３の処理にしたがって自動で楽器音を割り当てるように構成してもよい。
【００５７】
ステップＳ１９における、その他の処理では、例えば、装置全体に関わる電源オン／オフや各種設定、増幅部１４の各種設定などの処理が行われる。
【００５８】
以上説明したように、上記実施形態によれば、制御部１９は、再生中の楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定して操作キーにリアルタイムかつ自動的に割り当て、当該楽曲音の再生中に操作キーの操作を検出したときに、当該操作キーに割り当てられた音要素で楽器音源発音部１２に音を発生させるようにしたので、ユーザは、現在再生されている楽曲音にハーモニーの合う音（又は不協和音にならない音）が何かを自らの音感で判別してその音が割り当てられた操作キーを選択して操作する必要がなく、直感的な操作（つまり、操作キーを操作するタイミング、言い換えれば、音を鳴らすタイミング）のみに集中すれば良く、どの操作キーを選択しても意図しないハーモニー（例えば不協和音になる音）を避ける演奏が可能となる。したがって、操作キーを操作するユーザが楽器演奏初心者であっても、弾き間違えることなく、楽曲音に対して不協和音にならない音を発生させ、当該楽曲音とのアドリブセッションを行うことができる。
【００５９】
また、本実施形態に係る音響装置Ｓでは、演奏した音が勝手に楽曲に合うのではなく、合わない音を排除した音要素（もしくは合う音のみを集めた音要素）をユーザにリアルタイムに（時々刻々変化して）提供することができる。また、ユーザは決められた１つの音のみを鳴らすのではなく、選択できる権限があることから、予め用意された楽曲である必要はなく、どのような楽曲であっても適用可能である。
【００６０】
また、操作キーに割り当てる音要素は１つではなく複数の音要素が割り当てられることから、ユーザにとって選択肢が広がり、アドリブ感やオリジナリル感が得られる。
【００６１】
また、解析部１８に様々な解析技術を導入することにより、自動音量レベル調整や、違和感のない音色の自動割り当ても可能となる。
【００６２】
また、音要素の操作キーへの割り当てを自動的に行うとともに、マニュアルで行うことができるようにしたので、ユーザにとって選択肢がより広がり、オリジナリル感を一層得られる。
【００６３】
また、上記実施形態においては、複数の操作キーが設けられた発音操作部１５ｂが一つである場合を例にとったが、発音操作部１５ｂを複数ユーザで使用可能なように複数用意し、夫々の発音操作部１５ｂにおける操作キーに割り当てる楽器音等を異ならせることにより、バンド演奏を手軽に楽しむことが可能となる。例えば、ユーザＸが使用する発音操作部Ｘにおける操作キーにエレキギターの音色をマニュアルで割り当て（音階及び音域等は自動割り当て）、ユーザＹが使用する発音操作部Ｙにおける操作キーにドラムの音色をマニュアルで割り当て、ユーザＺが使用する発音操作部Ｚにおける操作キーにピアノの音色をマニュアルで割り当て（音階及び音域等は自動割り当て）るように構成する。
【００６４】
また、上記実施形態において、加算部１３におけるミキシング時に、楽曲音のみをミュート（つまり、楽器音源発音部１２から発生した音のみスピーカから出力）するように構成してもよい。この構成によれば、オリジナル曲の特徴を受け継ぐ別の新しい楽曲が作曲可能となる。この構成は、上述したように、発音操作部１５ｂを複数ユーザで使用可能なように複数用意し、夫々の発音操作部１５ｂにおける操作キーに割り当てる楽器音等を異ならせるようにした場合において特に効果的である。
【００６５】
なお、上記実施形態にかかる音響装置Ｓは、オーディオプレーヤー全般（ホームオーディオ、カーオーディオ、携帯プレーヤ）、電子楽器、ＤＪ機器、カラオケ機器、ラジオ機器、テレビ機器、その他本願に特化した新しい組込製品に適用可能である。
【符号の説明】
【００６６】
１１  音声再生部
１２  楽器音源発音部
１３  加算部
１４  増幅部
１５  操作部
１６  表示部
１７  記憶部
１８  解析部
１９  制御部
Ｓ  音響装置
【図１】
2010119541.tif 000003
【図２】
2010119541.tif 000004
【図３】
2010119541.tif 000005
【図４】
2010119541.tif 000006
【図５】
2010119541.tif 000007
【手続補正書】
【提出日】平成23年5月18日(2011.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
再生された楽曲音を解析する楽曲音解析手段と、
前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する音要素決定手段と、
前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する音要素割当手段と、
前記楽曲音の再生中に、前記操作子の操作を検出する操作検出手段と、
前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する音要素情報取得手段と、
前記取得された音要素情報に示される音要素に応じた前記楽曲音に適合する音を発生させる発音手段と、
を備えることを特徴とする音発生装置。
【請求項２】
請求項１に記載の音発生装置において、
前記発生された前記楽曲音に適合する音と前記再生された楽曲音とをミキシングして出力する出力手段を備えることを特徴とする音発生装置。
【請求項３】
請求項２に記載の音発生装置において、
前記発生された前記楽曲音に適合する音と前記再生された楽曲音とが同期するように当該楽曲音を遅延させる遅延手段を備え、
前記出力手段は、前記発生された前記楽曲音に適合する音と前記遅延された楽曲音とをミキシングして出力することを特徴とする音発生装置。
【請求項４】
請求項１乃至３の何れか一項に記載の音発生装置において、
前記音要素決定手段は、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する複数の音要素を決定し、
前記音要素割当手段は、前記決定された各音要素を、前記操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記各音要素を示す各音要素情報を対応付けて記憶し、
前記音要素情報取得手段は、前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記各音要素情報を取得し、
前記発音手段は、前記取得された各音要素情報に示される音要素に応じた前記楽曲音に適合する音を発生させることを特徴とする音発生装置。
【請求項５】
請求項１乃至３の何れか一項に記載の音発生装置において、
前記音要素決定手段は、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する複数の音要素を決定し、
前記音要素割当手段は、前記決定された各音要素を、複数の前記操作子のうち、別々の前記操作子毎に割り当て、当該各操作子を示す操作子情報毎に、当該各操作子に割り当てた前記各音要素を示す各音要素情報を対応付けて記憶し、
前記音要素情報取得手段は、何れかの前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得し、
前記発音手段は、前記取得された音要素情報に示される音要素に応じた前記楽曲音に適合する音を発生させることを特徴とする音発生装置。
【請求項６】
請求項１乃至５の何れか一項に記載の音発生装置において、
前記音要素割当手段は、前記決定された音要素を、楽器音毎に対応する前記操作子の夫々に割り当て、当該各操作子を示す操作子情報毎に、当該各操作子に割り当てた前記各音要素を示す各音要素情報を対応付けて記憶し、
前記音要素情報取得手段は、何れかの前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得し、
前記発音手段は、前記取得された音要素情報に示される音要素に応じた前記楽曲音に適合する音を、前記操作が検出された操作子に対応する楽器音で発生させることを特徴とする音発生装置。
【請求項７】
請求項１乃至６の何れか一項に記載の音発生装置において、
前記楽曲音解析手段は、前記楽曲音の開始時間位置から終了時間位置に至るまで所定時間間隔毎に解析し、
前記音要素決定手段は、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を前記所定時間間隔毎に決定し、
前記音要素割当手段は、前記所定時間間隔毎に決定された音要素を、前記操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を前記所定時間間隔毎に更新することを特徴とする音発生装置。
【請求項８】
請求項１乃至７の何れか一項に記載の音発生装置において、
前記音要素決定手段は、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する和音又は音階を前記音要素として決定することを特徴とする音発生装置。
【請求項９】
音発生装置における音発生方法であって、
再生された楽曲音を解析する工程と、
前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する工程と、
前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する工程と、
前記楽曲音の再生中に、前記操作子の操作を検出する工程と、
前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する工程と、
前記取得された音要素情報に示される音要素に応じた前記楽曲音に適合する音を発生させる工程と、
を含むことを特徴とする音発生方法。
【請求項１０】
コンピュータを、
再生された楽曲音を解析する楽曲音解析手段、
前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する音要素決定手段、
前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する音要素割当手段、
前記楽曲音の再生中に、前記操作子の操作を検出する操作検出手段、
前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する音要素情報取得手段、及び、
前記取得された音要素情報に示される音要素に応じた前記楽曲音に適合する音を発生させる発音手段として機能させることを特徴とする音発生プログラム。
【請求項１１】
請求項１０に記載の音発生プログラムがコンピュータ読み取り可能に記録されていることを特徴とする記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記課題を解決するため、請求項１に記載の発明は、再生された楽曲音を解析する楽曲音解析手段と、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する音要素決定手段と、前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する音要素割当手段と、前記楽曲音の再生中に、前記操作子の操作を検出する操作検出手段と、前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する音要素情報取得手段と、前記取得された音要素情報に示される音要素に応じた前記楽曲音に適合する音を発生させる発音手段と、を備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
請求項９に記載の発明は、音発生装置における音発生方法であって、再生された楽曲音を解析する工程と、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する工程と、前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する工程と、前記楽曲音の再生中に、前記操作子の操作を検出する工程と、前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する工程と、前記取得された音要素情報に示される音要素に応じた前記楽曲音に適合する音を発生させる工程と、を含むことを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
請求項１０に記載の音発生処理プログラムの発明は、コンピュータを、再生された楽曲音を解析する楽曲音解析手段、前記楽曲音の解析結果に基づいて、当該楽曲音に適合する音要素を決定する音要素決定手段、前記決定された音要素を、ユーザにより操作される操作子に割り当て、当該操作子を示す操作子情報と当該操作子に割り当てた前記音要素を示す音要素情報を対応付けて記憶する音要素割当手段、前記楽曲音の再生中に、前記操作子の操作を検出する操作検出手段、前記操作子の操作が検出されたときに、当該操作子を示す操作子情報に対応付けられて記憶されている前記音要素情報を取得する音要素情報取得手段、及び、前記取得された音要素情報に示される音要素に応じた前記楽曲音に適合する音を発生させる発音手段として機能させることを特徴とする。
【国際調査報告】
2010119541.tif 000008
2010119541.tif 000009
2010119541.tif 000010
2010119541.tif 000011