(57)【要約】【課題】第１の音源に対して第２の音源の音を違和感なく重ねて再生することが可能な技術の提供。【解決手段】第１の音源の音を示す第１音源信号を取得する第１音源信号取得手段と、第２の音源の音がバイノーラルマイクで集音されることによって生成されたバイノーラル信号を取得するバイノーラル信号取得手段と、前記第１音源信号と前記バイノーラル信号とを混合した混合信号を取得する混合信号取得手段と、前記混合信号が示す音を再生する再生手段と、を備える信号再生装置を構成する。【選択図】図１
2015216435.tif 000002
【特許請求の範囲】
【請求項１】
第１の音源の音を示す第１音源信号を取得する第１音源信号取得手段と、
第２の音源の音がバイノーラルマイクで集音されることによって生成されたバイノーラル信号を取得するバイノーラル信号取得手段と、
前記第１音源信号と前記バイノーラル信号とを混合した混合信号を取得する混合信号取得手段と、
前記混合信号が示す音を再生する再生手段と、
を備える信号再生装置。
【請求項２】
前記第１の音源は電子楽器であり、前記第２の音源は電子楽器の周辺で音を発生する音源である、
請求項１に記載の信号再生装置。
【請求項３】
前記第１音源信号が示す音の音量と前記バイノーラル信号が示す音の音量とのバランスを調整するバランス調整手段をさらに備え、
前記混合信号取得手段は、バランスが調整された後の前記第１音源信号と前記バイノーラル信号とを混合して前記混合信号を取得する、
請求項１または請求項２のいずれかに記載の信号再生装置。
【請求項４】
前記再生手段は、
両耳のそれぞれから所定の範囲に取り付けられるとともに当該両耳のそれぞれに向けて音を出力する少なくとも２個のスピーカーによって前記混合信号が示す音を再生し、
前記バランス調整手段は、
前記第１音源信号が示す音が前記スピーカーから出力されず、かつ、前記バイノーラル信号が示す音が前記スピーカーから出力される状態で、
前記スピーカーの出力音を集音するキャリブレーションマイクで集音された音の音量と、
前記バイノーラルマイクによって集音された音の音量と、
が所定の関係となるように前記バイノーラル信号にゲインを作用させる、
請求項３に記載の信号再生装置。
【請求項５】
前記第１音源信号取得手段は、
前記第１の音源の聴取者と前記第１の音源との相対位置関係を取得し、当該相対位置関係に応じて前記第１の音源の音像が所定の位置に定位するように前記第１音源信号を補正する、
請求項１〜請求項４のいずれかに記載の信号再生装置。
【請求項６】
第１の音源の音を示す第１音源信号を取得する第１音源信号取得機能と、
第２の音源の音がバイノーラルマイクで集音されることによって生成されたバイノーラル信号を取得するバイノーラル信号取得機能と、
前記第１音源信号と前記バイノーラル信号とを混合した混合信号を取得する混合信号取得機能と、
前記混合信号が示す音を再生する再生機能と、
をコンピュータに実現させる信号再生プログラム。
【請求項７】
第１の音源の音を示す第１音源信号を取得する第１音源信号取得ステップと、
第２の音源の音がバイノーラルマイクで集音されることによって生成されたバイノーラル信号を取得するバイノーラル信号取得ステップと、
前記第１音源信号と前記バイノーラル信号とを混合した混合信号を取得する混合信号取得ステップと、
前記混合信号が示す音を再生する再生ステップと、
を含む信号再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号再生装置、方法およびプログラムに関する。
【背景技術】
【０００２】
従来、音源から周囲への音の拡散を抑制または防止する技術が開発されている。例えば、電子楽器からの音の拡散を防止するため、多くの電子楽器にはヘッドホン端子が備えられており、ヘッドホンを音の出力対象とすることで周囲への音の拡散を防止することができる。そして、電子楽器等の出力音をヘッドホンで聴くための各種の技術が開発されており、例えば、特許文献１においては、頭部伝達関数を模擬した第１の信号と反射音の伝達関数を模擬した第２の信号とを生成して合成し、左右それぞれの耳用の音響制御信号を生成することで音像を定位させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１８２１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術においては、第１の音源の周囲に第１の音源と異なる第２の音源が存在する場合に、当該第２の音源からの音を聞くことが困難であった。例えば、指導者が生徒を指導しながら電子楽器を練習する場合、通常は、指導者が生徒に対して発話することによって指導が行われる。しかし、生徒が自己の演奏を聴くためにヘッドホンを装着していると、指導者の発話内容を聞くことが困難になる。また、テレビジョンからの出力音をヘッドホンで聴く場合、ヘッドホンの装着者の周囲の者が装着者に対して発話しても、装着者が周囲の者の発話を聞くことが困難になる。
本発明は、前記課題にかんがみてなされたもので、第１の音源に対して第２の音源の音を違和感なく重ねて再生することが可能な技術の提供を目的とする。
【課題を解決するための手段】
【０００５】
上述の目的を達成するため、第１の音源の音を示す第１音源信号を取得する第１音源信号取得手段と、第２の音源の音がバイノーラルマイクで集音されることによって生成されたバイノーラル信号を取得するバイノーラル信号取得手段と、前記第１音源信号と前記バイノーラル信号とを混合した混合信号を取得する混合信号取得手段と、前記混合信号が示す音を再生する再生手段と、を備える信号再生装置を構成する。
【０００６】
すなわち、第１音源信号を再生するにあたり、第１の音源の周囲に存在し得る第２の音源の音がバイノーラルマイクで集音され、第１の音源の音に重畳されて再生される。従って、再生された音を聞く利用者は、第１の音源の音とともに第２の音源の音を聞くことができる。さらに、第２の音源の音はバイノーラルマイクで集音されるため、第２の音源の位置とバイノーラルマイクとの相対位置関係が音によって再現された状態となる。このため、第１の音源に対して第２の音源の音を違和感なく（第２の音源からの音を直接聞いた場合と同様の音に感じられるように）重ねて再生することができる。
【０００７】
ここで、第１音源信号取得手段は、第１の音源の音を示す第１音源信号を取得することができればよく、例えば、第１の音源としては、電子楽器、消音器が取り付けられたアコースティック楽器、テレビジョン等のＡＶ機器など、種々の音源が想定される。なお、第１の音源が電子楽器であれば、電子楽器を練習している利用者が、周囲に存在する第２の音源を違和感なく聞くことができるように音を再生することができる。また、第１音源信号は、第１の音源と利用者との位置が感じられるように、すなわち、所定の位置に音像を定位させるように、生成されると自然な音の再生という意味では好ましい。
【０００８】
バイノーラル信号取得手段は、第２の音源の音がバイノーラルマイクで集音されることによって生成されたバイノーラル信号を取得することができればよい。すなわち、バイノーラルマイクの位置と第２の音源の位置との相対位置関係を感じられるようにバイノーラル録音されたバイノーラル信号を取得することができればよい。バイノーラルマイクは、第２の音源の音をバイノーラル信号として取得可能であれば良いが、第２の音源の位置との相対位置関係を再現するためには、再生手段によって再生された音を聞く利用者の位置に配置されることが好ましい。従って、利用者が装着可能な装置（ヘッドホン（イヤホンを含む。以下同様））に一体的に取り付けられることが好ましい。むろん、利用者の近くに配置される構成であっても良い。
【０００９】
また、バイノーラルマイクは種々の構成を採用可能であり、利用者自身の耳の中央に取り付けられることにより、利用者の耳や頭部、肩等の影響を反映した状態で録音できるように構成されていても良いし、耳や頭部、肩等を擬似的に模した取付部位に取り付けられることによって耳や頭部、肩等の影響を反映した状態で録音できるように構成されていても良い。
【００１０】
第２の音源は、第１の音源の周囲に存在し様々な話声や音を発音する人物やＡＶ機器等であり、バイノーラル方式で録音されるため、バイノーラルマイクと利用者が移動することなくリアルタイムで再生する限りバイノーラルマイクとの相対位置関係が再現されて聞こえることになる。一方、第１の音源は、部屋の中に設置される電子楽器やテレビジョン装置のように利用者（またはバイノーラルマイク）との相対位置関係が固定的になり易い音源が想定されるが、小型で利用者と一緒に移動するものであってもよい。
【００１１】
混合信号取得手段は、第１音源信号とバイノーラル信号とを混合した混合信号を取得することができればよい。すなわち、第１音源信号が示す音とバイノーラル信号が示す音とを同時に再生できるように足し合わせて混合信号を生成することができればよい。むろん、ここでは、バイノーラル信号によって第２の音源とバイノーラルマイクとの相対位置関係が再現されるように構成されるため、少なくともバイノーラル信号のチャンネル数分の混合信号（例えば、バイノーラル信号の総数が左右２チャンネル分であれば２チャンネル分の混合信号）が生成される。
【００１２】
再生手段は、混合信号が示す音を再生することができればよく、バイノーラル信号が示す第２の音源の音を、第２の音源とバイノーラルマイクとの位置関係を感じられるように再現するため、混合信号のチャンネル数に応じた数のスピーカー（少なくとも２個のスピーカー）によって音が再生されることが好ましい。また、スピーカーの種類は限定されないが、第１の音源の音が拡散することを抑制または防止した状態で第２の音源の音を聞くことができるように構成するため、装着者の両耳のそれぞれに向けて音を出力する２個のスピーカーを備えるヘッドホンによって音が再生される構成が好ましい。むろん、第１の音源においてヘッドホンのスピーカー以外のスピーカーが備えられていてもよい。
【００１３】
さらに、第１音源信号が示す音の音量とバイノーラル信号が示す音の音量とのバランスを調整するバランス調整手段を備える構成とし、混合信号取得手段が、バランスが調整された後の第１音源信号とバイノーラル信号とを混合して混合信号を取得する構成としても良い。すなわち、第１音源信号が示す音の音量とバイノーラル信号が示す音の音量とのバランスとして理想的な状態は、利用者のニーズによって種々の状態が想定し得る。そこで、バランス調整手段によって第１音源信号が示す音の音量とバイノーラル信号が示す音の音量とのバランスを調整する構成とすれば、種々のニーズに応じたバランスで第１音源信号が示す音を聞きながら、バイノーラル信号が示す音を聞くことが可能になる。
【００１４】
なお、第１音源信号が示す音の音量とバイノーラル信号が示す音の音量とのバランスを調整するための手法としては、種々の手法を採用可能である。例えば、混合前の第１音源信号とバイノーラル信号とのいずれかまたは双方に作用させるゲインを調整することにより、各信号が示す音の音量を調整する手法を採用可能である。このような調整は、バランスやゲインを指示するための各種の操作子の操作によって実現されても良いし、所定のバランスまたはゲインとなるように自動で調整されても良い。
【００１５】
バランスまたはゲインを自動で調整する際には、所定の調整目標となるように調整が行われる。このための例として、第２の音源の音が自然に聞こえるようにするための調整が挙げられる。このような調整は、例えば、再生手段を使用している場合と使用していない場合とで第２の音源の音が同様の音として聞こえるようにするための調整が挙げられる。
【００１６】
このような調整を行うための具体例としては、再生手段が、両耳のそれぞれから所定の範囲に取り付けられるとともに両耳のそれぞれに向けて音を出力する少なくとも２個のスピーカーによって混合信号が示す音を再生する構成において、バランス調整手段が、第１音源信号が示す音がスピーカーから出力されず、かつ、バイノーラル信号が示す音がスピーカーから出力される状態で、前記スピーカーの出力音を集音するキャリブレーションマイクで集音された音の音量と、バイノーラルマイクによって集音された音の音量と、が所定の関係となるようにバイノーラル信号にゲインを作用させる構成としても良い。
【００１７】
すなわち、スピーカーは、両耳のそれぞれの耳元で混合信号が示す音を再生する装置として機能するため、キャリブレーションマイクで当該スピーカーの出力音を集音すれば、利用者が聞く再生音の音量を評価することができる。そこで、任意の音源からの音が出力されている状態において、キャリブレーションマイクで集音された音の音量と、バイノーラルマイクで集音された音の音量と、が所定の関係となるようにバイノーラル信号のレベルを増減させれば、バイノーラルマイクに届く音の音量と所定の関係にある音量の音をスピーカーで聞くことができる。従って、利用者は、バイノーラルマイクの周囲の音の音量と所定の関係にある音量の音をスピーカーから聞くことができる。
【００１８】
なお、所定の関係は、予め決められた関係であれば良く、例えば、同一の音量を所定の関係とすれば、利用者は、バイノーラルマイクの周囲の音とほぼ同一の音をスピーカーから聞くことができる。また、バイノーラルマイクで集音された音の音量よりも、キャリブレーションマイクで集音された音の音量が所定量だけ小さくなるようにバイノーラル信号のレベルを増減させれば、第１の音源の音を強調した状態で再生を行うことができる。さらに、バイノーラルマイクで集音された音の音量よりも、キャリブレーションマイクで集音された音の音量が所定量だけ大きくなるようにバイノーラル信号のレベルを増減させれば、第２の音源の音を強調した状態で再生を行うことができる。
【００１９】
さらに、キャリブレーションマイクによってスピーカーから出力される音を集音する際には、第１音源信号が示す音が前記スピーカーから出力されず、かつ、前記バイノーラル信号が示す音が前記スピーカーから出力される状態であれば良い。すなわち、スピーカーから混合信号を出力する際に、混合信号を構成する第１音源信号の信号レベルが０になるように調整し、実質的にバイノーラル信号のみに基づいて混合信号が構成される状態とした後に、混合信号に基づいてスピーカーから音を再生すれば良い。
【００２０】
このとき、バイノーラルマイクには、リファレンスとなる音が入力されれば良く、例えば、第１の音源に搭載されたスピーカーによって第１の音源の外部（バイノーラルマイクの周囲）に音を出力し、当該第１の音源の音をリファレンスとする構成等を採用可能である。むろん、第２の音源の音がリファレンスとなっても良いし、他の音源の音がリファレンスになっても良い。いずれにしても、以上のようにしてバイノーラル信号を調整すれば、少なくとも、バイノーラルマイクによって集音された音の音量を所定の音量として再生を行うことが可能になる。むろん、この場合において、第１音源信号のレベルが調整されても良い。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態にかかる信号再生装置のブロック図である。
【図２】（２Ａ）〜（２Ｃ）は信号処理の流れを示すブロック図である。
【図３】音像定位の信号処理の流れを示すブロック図である。
【発明を実施するための形態】
【００２２】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）信号再生装置の構成：
（２）信号再生処理：
（２−１）バイノーラル信号のキャリブレーション：
（２−２）第１音源信号のキャリブレーション：
（３）他の実施形態：
（３−１）第１の音源信号の音像定位の信号処理：
【００２３】
（１）信号再生装置の構成：
図１は本発明の一実施形態にかかる信号再生装置として機能する電子楽器１０、バイノーラルマイク９２ａ，９２ｂが一体的に取り付けられたヘッドホン９１を示す図である。同図１に示す電子楽器１０は、演奏操作子５０を演奏操作することによって左右２チャンネルのオーディオ信号の演奏音を生成することが可能な電子楽器であり、ＣＰＵ２０と不揮発性メモリ３０とＲＡＭ４０と演奏操作子５０と入出力部６０とサンプリング回路７０とＡＤＣ（Analog-to-Digital converter）７２とトーンジェネレータ８０とＤＳＰ（Digital Signal Processor）８２とミキサー８４とＤＡＣ（Digital-to-Analog converter）８６とサウンドシステム８８とスピーカー９０ａ，９０ｂとを備える。本実施形態においては、電子楽器１０が第１の音源である。
【００２４】
また、本実施形態において、電子楽器１０は図示しない端子を備えており、当該端子にヘッドホン９１が接続されて使用される。ヘッドホン９１は、装着者の左耳に対応したスピーカー９４ａと右耳に対応したスピーカー９４ｂとを備えており、これらのスピーカー９４ａ，９４ｂは、ヘッドホン９１を利用者が装着した場合に両耳のそれぞれから所定の範囲に取り付けられる。この結果、ヘッドホン９１が利用者に装着された状態において各スピーカー９４ａ，９４ｂは、利用者の左右の耳のそれぞれに向けて音を出力することができる。
【００２５】
また、ヘッドホン９１においては、スピーカー９４ａの近傍にスピーカー９４ａの出力音を集音するキャリブレーションマイク９６が備えられている。さらに、ヘッドホン９１においては、スピーカー９４ａ，９４ｂの音の出力方向と逆方向に指向性を有するバイノーラルマイク９２ａ，９２ｂが備えられている。すなわち、バイノーラルマイク９２ａ，９２ｂにおいては、利用者の耳や肩等の形状に応じて変化してバイノーラルマイク９２ａ，９２ｂに入力する音を集音することができ、集音した信号をバイノーラル信号として出力する。ヘッドホン９１は、上記電子楽器１０の端子に有線接続するように図示し説明しているが、利用者の移動や装着性を向上させるためには無線接続が好ましい。
【００２６】
本実施形態においては、ヘッドホン９１の周囲に存在する電子楽器１０以外の音源が第２の音源となり、ここでは電子楽器１０を演奏する利用者を指導する指導者が電子楽器１０を演奏する利用者の周囲に第２の音源として存在する状況を想定するが、第１の音源と同じ空間にある、伴奏音を再生するようなオーディオＣＤ再生装置、ドアの開閉音、指導者以外の話声等が全て第２の音源となりうる。さらに、本実施形態において電子楽器１０は、ヘッドホン９１を接続可能な端子を複数個備えており、複数個のヘッドホン９１を電子楽器１０に接続することが可能である。本実施形態においては、電子楽器１０を演奏する利用者と、当該利用者を指導する指導者とがヘッドホン９１を装着し、利用者の演奏を両者で聴きながら指導者が利用者を指導することになる。
【００２７】
ＣＰＵ２０は、ＲＡＭ４０を一時記憶領域として利用して不揮発性メモリ３０に記録されたプログラムを実行可能であり、ＣＰＵ２０は、当該プログラムの一つを実行することにより、バスに接続された各部を制御し、また、データを授受することができる。
【００２８】
ＡＤＣ７２は、入力されたアナログ信号をデジタル信号に変換して出力する回路である。本実施形態においてＡＤＣ７２にはヘッドホン９１に備えられたバイノーラルマイク９２ａ，９２ｂとキャリブレーションマイク９６が接続されており、ＡＤＣ７２は、バイノーラルマイク９２ａ，９２ｂおよびキャリブレーションマイク９６から出力されるアナログ信号をデジタル信号に変換して出力する。
【００２９】
サンプリング回路７０は、所定のサンプリング周期でデジタル信号をサンプリングして音を示すデータを生成する回路であり、ＡＤＣ７２に接続されている。本実施形態においてサンプリング回路７０は、ＣＰＵ２０の制御によって指示されたサンプリング周期でサンプリングを行ってデジタル信号を生成する。すなわち、サンプリング回路７０は、バイノーラルマイク９２ａ，９２ｂによって集音された音を示すデジタル信号（以下、バイノーラル信号）およびキャリブレーションマイク９６によって集音された音を示すデジタル信号（以下、キャリブレーション信号と呼ぶ）を生成することができる。ＣＰＵ２０は、これらのバイノーラル信号やキャリブレーション信号を示すデータを生成し、ＲＡＭ４０等に記録することができる。
【００３０】
演奏操作子５０は、鍵等の操作子であり利用者が演奏操作子５０を操作することによって出力すべき音を指定すると、ＣＰＵ２０は、各操作子の操作状況（操作された操作子や操作された強度、長さ等）を取得する。入出力部６０は、利用者からの指示等を入力する入力部と利用者に各種の情報（画像情報や音声情報）を出力する出力部とを含んでいる。ＣＰＵ２０は、入力部から出力される信号に基づいて利用者からの指示を取得し、出力部に出力する制御信号によって任意の情報を利用者に対して与えることができる。なお、ここでは、入出力部６０として、タッチパネル（入力部）を備えたディスプレイ（出力部）を想定する。
【００３１】
トーンジェネレータ８０は、上記操作状況によって特定される音高や長さ、強さ等の、音を示す、左右のスピーカー用の発音チャンネル毎の信号を生成する回路である。すなわち、ＣＰＵ２０は、上記操作子５０の操作状況に基づきＭＩＤＩ信号を生成させて順次トーンジェネレータ８０に送信させ、トーンジェネレータ８０は当該ＭＩＤＩ信号の発音チャンネル毎に楽音信号を合成し、左右のスピーカー用の音として出力する。この結果、トーンジェネレータ８０は、演奏内容に応じた音を指示された音色等で発音させるための信号を生成する。なお、本実施例では、トーンジェネレータ８０を上記のように専用の電子回路またはＬＳＩとして形成しているが、ＣＰＵ２０またはＤＳＰ８２が上記機能相当のプログラムを実施することにより形成されるものでもよい。
【００３２】
ＤＳＰ８２は、トーンジェネレータ８０から入力される信号が示す音に各種の効果を与えるための回路である。すなわち、ＣＰＵ２０は、利用者の指示に応じて左右のスピーカー用の音毎の効果の種類および効果を付与するタイミングを特定し、特定された種類の効果を特定されたタイミングで付与する指示をＤＳＰ８２に出力する。この結果、ＤＳＰ８２は、演奏内容に応じた音に指示された効果を付与して発音させるための信号を生成する。なお、本実施形態において、ＤＳＰ８２にて音に与えることが可能な効果には種々の効果が含まれ、リバーブ等の各種エフェクトの他、各種の補正を行うことが可能である。当該効果には音像定位のための処理が含まれている。トーンジェネレータ８０が生成する信号がバイノーラル効果のある信号であれば、左右のスピーカー用の音の信号は音像定位された状態で生成されるので、更に音像定位のための処理をする必要はない。一方、バイノーラル効果のある信号でない場合には、音像定位されていないので、そのままヘッドホンで再生すると音像が頭内に定位し、違和感を与える場合もある。
【００３３】
そこで、本実施形態においては、ＤＳＰ８２において音像定位のための処理を行っている。当該処理は、種々の方法で実現可能でありよく、例えば、予め規定されたクロストークキャンセルおよび頭部伝達関数により音波の伝達や遮蔽による周波数特性の変化を再現して音源の音像定位を再現するものでもよく、更に、距離や向きの影響を考慮のため、簡易的に例えば、音源との距離による音量の減衰や両耳間強度差により音像を定位させれば良い。本実施形態において、トーンジェネレータ８０により生成される第１音源信号は、予め音像定位の処理がされておらず、ＤＳＰ８２が予め決められた位置に音像を定位させるための音像定位処理を実行することにより、演奏操作子５０を演奏操作する利用者の前方、電子楽器１０上に音像定位されるように効果付与されるものとする。
【００３４】
ミキサー８４は、複数の種類の信号が示す音を同時に発音させるための混合信号を生成する回路であり、本実施形態においては、サンプリング回路７０で生成されたデータが示すバイノーラル信号とＤＳＰ８２から出力される信号（第１音源信号）とを混合して混合信号を生成する。すなわち、ＣＰＵ２０は、ＤＳＰ８２から出力される信号に同期させてバイノーラル信号をミキサー８４に出力する。この結果、ミキサー８４は、ＤＳＰ８２から出力される信号とバイノーラル信号とが重ね合わされた混合信号を生成して出力する。なお、本実施形態において、バイノーラル信号は複数のヘッドホン９１のそれぞれに搭載されたバイノーラルマイク９２ａ，９２ｂの集音結果に基づいて生成され、トーンジェネレータ８０からは左右のスピーカー用の発音チャンネルについての信号が生成される。そこで、ミキサー８４は、複数のヘッドホン９１のそれぞれで使用される左右のスピーカー用のチャンネルの混合信号を生成する。
【００３５】
すなわち、ミキサー８４は、利用者が装着したヘッドホン９１のバイノーラルマイク９２ａ，９２ｂの集音結果に基づいて生成された左右のチャンネルのバイノーラル信号と、ＤＳＰ８２が所定音像定位効果を付与し出力した左右のチャンネルの信号（第１音源信号）とを混合し、利用者が装着したヘッドホン９１用の混合信号を生成する。また、ミキサー８４は、指導者が装着したヘッドホン９１のバイノーラルマイク９２ａ，９２ｂの集音結果に基づいて生成された左右のチャンネルのバイノーラル信号と、ＤＳＰ８２が所定音像定位効果を付与し出力した左右のチャンネルの信号（第１音源信号）とを混合し、指導者が装着したヘッドホン９１用の混合信号を生成する。
【００３６】
なお、本実施形態においてミキサー８４は、通常は、入力された複数の種類の信号を混合するように構成されているが、ＣＰＵ２０から混合の停止が指示された場合、複数の種類の信号を混合することなく出力することも可能である。本実施形態においては、後述するキャリブレーションの際に、混合を行うことなく信号を出力する状態とされる。
【００３７】
ＤＡＣ８６は、入力されたデジタル信号をアナログ信号に変換して出力する回路である。サウンドシステム８８は、ＤＡＣ８６から出力されるアナログ信号を増幅して発音するサウンドシステムである。本実施形態において、ゲインは図示しないボリューム調整部とＣＰＵ２０とによって調整することができる。後者の場合、ＣＰＵ２０は、入出力部６０における利用者の指示に応じてゲインを特定し、特定されたゲインでアナログ信号を増幅して出力する。
【００３８】
なお、サウンドシステム８８による音の出力先は、スピーカー９０ａ，９０ｂまたはヘッドホン９１のスピーカー９４ａ，９４ｂである。すなわち、スピーカー９０ａ，９０ｂは電子楽器１０に取り付けられたスピーカーであり、電子楽器１０の図示しない端子に対してヘッドホン９１が取り付けられていない場合、当該スピーカー９０ａ，９０ｂから音が出力され、電子楽器１０の周囲に音が発音される。なお、この場合、ヘッドホン９１と一体のバイノーラルマイク９２ａ，９２ｂも接続されず、バイノーラル信号は存在しないため、スピーカー９０ａ，９０ｂからは第１音源である電子楽器１０の演奏音が出力される。
【００３９】
一方、電子楽器１０の図示しない端子に対してヘッドホン９１が取り付けられている場合、ＣＰＵ２０からの指示によってサウンドシステム８８からの音の出力先が選択される。後述するキャリブレーションの後、通常の演奏が行われる状態においては、ＣＰＵ２０がヘッドホン９１のスピーカー９４ａ，９４ｂを出力先としてサウンドシステム８８に指示する。従って、サウンドシステム８８は、利用者が装着したヘッドホン９１用の混合信号に基づいて生成されたアナログ信号を増幅し、利用者が装着したヘッドホン９１のスピーカー９４ａ，９４ｂに対して出力する。この結果、利用者と指導者との相対位置関係を反映した状態で指導者の発話が演奏音に重畳された音が利用者の耳に向けて発音される。第１音源信号に基づく演奏音は、電子楽器１０の前で演奏操作する利用者を基準にして電子楽器１０上に音像定位された状態で重畳され利用者の耳に向けて発音される。
【００４０】
さらに、サウンドシステム８８は、指導者が装着したヘッドホン９１用の混合信号に基づいて生成されたアナログ信号を増幅し、指導者が装着したヘッドホン９１のスピーカー９４ａ，９４ｂに対して出力する。この結果、指導者と指導者自身の耳や頭部との相対位置関係を反映した状態で指導者や利用者の発話が演奏音に重畳された音が利用者の耳に向けて発音される。なお、第１音源信号に基づく演奏音は、電子楽器１０の前で演奏操作する利用者を基準にして電子楽器１０上に音像定位された状態で重畳されているので、利用者から少し離れた位置にいる指導者には、電子楽器上ではなく、その分だけ電子楽器１０から少し離れた位置に音像定位された状態で聞こえるようになる。また、この場合、ヘッドホン９１から発音されるので、電子楽器１０の周囲に音は発音されない。
【００４１】
（２）信号再生処理：
次に、以上の構成を利用して演奏操作子５０の演奏操作に応じて生成される音とバイノーラルマイク９２ａ，９２ｂの周囲の音とを再生する信号再生処理を説明する。当該信号再生処理は、ＣＰＵ２０が信号処理プログラムを実行することによって実現される。当該信号処理プログラムは、プログラムモジュールとして、第１音源信号取得部２０ａとバイノーラル信号取得部２０ｂとバランス調整部２０ｃと混合信号取得部２０ｄと再生部２０ｅとを備えている（図１においては、ＣＰＵ２０が各部で実行されることをＣＰＵ２０のブロック内に示している）。なお、本実施形態では、電子楽器１０のＣＰＵ２０が上記第１音源信号取得、バイノーラル信号取得、バランス調整、オーディオ信号の混合、再生、第１音源信号の音像定位などのプログラム処理を実施するように構成しているが、電子楽器１０の機能は第１音源信号を生成し音として発音するだけで、上記プログラム処理はＰＣ、タブレット、専用の制御装置などが別途実施するように構成させてもよい。また、再生手段がヘッドホンまたはイヤホンによって実現される構成等であってもよい。
【００４２】
本実施形態において電子楽器１０の演奏中の音（第１音源信号の音）および指導者の発話（バイノーラル信号の音）を再生する信号再生処理は、予めキャリブレーションが行われた後に実行される。本実施形態におけるキャリブレーションは、バイノーラル信号に作用させるゲインおよび第１音源信号に作用させるゲインを特定する処理であり、詳細は後述する。
【００４３】
図２Ａは、信号処理プログラムを構成するプログラムモジュールによる信号処理の流れを示すブロック図である。第１音源信号取得部２０ａは、第１の音源である電子楽器１０の音を示す第１音源信号を取得する機能をＣＰＵ２０に実現させるプログラムモジュールである。当該第１音源信号を取得するため、ＣＰＵ２０は、第１音源信号取得部２０ａの処理により、入出力部６０によって指示された音色、テンポなどの楽音構成要素および効果を特定する。また、ＣＰＵ２０は、第１音源信号取得部２０ａの処理により、トーンジェネレータ８０に発音すべき音色（ピアノ音等）の種類を指示し、効果を付与すべきタイミングでＤＳＰ８２に効果の種類を指示する。さらに、ＣＰＵ２０は、第１音源信号取得部２０ａの処理により、演奏者による演奏操作子５０の操作状況を取得し、当該操作状況に応じた音を示す情報（ＭＩＤＩデータ）をトーンジェネレータ８０に与える。この結果、演奏内容に応じて指示された音色の音を発音するための左右のスピーカー用の信号がトーンジェネレータ８０から出力され、電子楽器上への音像定位など指示された効果が与えられた左右のスピーカー用の信号がＤＳＰ８２から出力される。なお、本実施形態においては当該信号が第１音源信号であり、ＣＰＵ２０は、以上の処理により、ミキサー８４に入力すべき第１音源信号を取得（生成）したことになる。
【００４４】
バイノーラル信号取得部２０ｂは、指導者の発話等の利用者周辺で発生する音がバイノーラルマイク９２ａ，９２ｂで集音されることによって生成されたバイノーラル信号を取得する機能をＣＰＵ２０に実現させるプログラムモジュールである。ＣＰＵ２０は、バイノーラル信号取得部２０ｂの処理により、サンプリング回路７０に対してサンプリング周期を指示する。ＡＤＣ７２は、２個のヘッドホン９１のそれぞれに搭載されたバイノーラルマイク９２ａ，９２ｂの出力信号をデジタル信号に変換して出力するため、サンプリング回路７０は、指示されたサンプリング周期で当該デジタル信号をサンプリングして出力する。ＣＰＵ２０は、サンプリングされたバイノーラル信号を示すデータを取得する。
【００４５】
バランス調整部２０ｃは、第１音源信号が示す音の音量とバイノーラル信号が示す音の音量とのバランスを調整する機能をＣＰＵ２０に実現させるプログラムモジュールである。本実施形態においてＣＰＵ２０は、後述するキャリブレーションによって取得されたゲインをバイノーラル信号および第１音源信号に作用させることにより、バランスを調整する。なお、ゲインを作用させるタイミングは種々のタイミングを採用可能であり、本実施形態においてＣＰＵ２０は、バイノーラル信号取得部２０ｂにて取得されたバイノーラル信号を示すデータに基づいて、ゲインを作用させた後のバイノーラル信号を特定し、当該信号をミキサー８４に入力する。
【００４６】
なお、バイノーラル信号は、２個のヘッドホン９１のそれぞれにおけるバイノーラルマイク９２ａ，９２ｂのそれぞれによって生成され、ゲインは各ヘッドホン９１について特定される（詳細は後述）。そこで、ＣＰＵ２０は、利用者が装着するヘッドホン９１について特定されたゲインを当該ヘッドホン９１のバイノーラルマイク９２ａ，９２ｂによって生成された信号に作用させる。また、ＣＰＵ２０は、指導者が装着するヘッドホン９１について特定されたゲインを当該ヘッドホン９１のバイノーラルマイク９２ａ，９２ｂによって生成された信号に作用させる。
【００４７】
さらに、ＣＰＵ２０は、第１音源信号を生成するトーンジェネレータ８０に対して、演奏操作子５０の操作状況から特定される音量の音を示す信号にゲインを作用させた信号が生成されるように指示を行うことによってゲインが作用した信号を生成する。この結果、左右のスピーカーのそれぞれで使用される第１音源信号がトーンジェネレータ８０によって生成され、ＤＳＰ８２に入力される。
【００４８】
混合信号取得部２０ｄは、ゲインによる調整後の第１音源信号とバイノーラル信号とを混合した混合信号を取得する機能をＣＰＵ２０に実現させるプログラムモジュールである。すなわち、ゲインによる調整後の信号に効果が与えられた第１音源信号がＤＳＰ８２から順次出力される状態において、ＣＰＵ２０は、混合信号取得部２０ｄの処理により、ゲインによる調整後のバイノーラル信号を、ゲインによる調整後の第１音源信号に同期させながらミキサー８４に出力する。この結果、ゲインによる調整後の第１音源信号とゲインによる調整後のバイノーラル信号とが混合された混合信号がミキサー８４から出力される。
【００４９】
再生部２０ｅは、混合信号が示す音を再生する機能をＣＰＵ２０に実現させるプログラムモジュールである。すなわち、ＣＰＵ２０は、サウンドシステム８８に出力先を指示して複数のヘッドホン９１のそれぞれのスピーカー９４ａ，９４ｂに、混合信号が示す音を出力させる。具体的には、ＣＰＵ２０は、第１音源信号の生成元のヘッドホン９１が出力先となるように、サウンドシステム８８に対して出力先を指示する。この結果、ミキサー８４から出力された混合信号がＤＡＣ８６でアナログ信号に変換され、サウンドシステム８８に入力されると、サウンドシステム８８は、利用者が装着するヘッドホン９１のバイノーラルマイク９２ａ，９２ｂで集音された音を含むアナログ信号を、利用者が装着するヘッドホン９１のスピーカー９４ａ，９４ｂに出力する。また、サウンドシステム８８は、指導者が装着するヘッドホン９１のバイノーラルマイク９２ａ，９２ｂで集音された音を含むアナログ信号を、指導者が装着するヘッドホン９１のスピーカー９４ａ，９４ｂに出力する。
【００５０】
以上の構成によれば、電子楽器１０の周囲に存在する指導者の発話等の音がバイノーラルマイク９２ａ，９２ｂで集音され、電子楽器１０の音に重畳されてヘッドホン９１のスピーカー９４ａ，９４ｂ再生される。従って、利用者および指導者は、電子楽器１０の音が周囲に拡散しない（スピーカー９０ａ，９０ｂから発音しない）状態で、電子楽器１０の音とともに指導者の発話等周囲の音を聞くことができる。さらに、指導者の発話は利用者および指導者が装着するヘッドホン９１が備えるバイノーラルマイク９２ａ，９２ｂで集音されるため、利用者は、指導者の位置と利用者との相対位置関係を感じることが可能であり、電子楽器１０の音と指導者の発話が重なった音を違和感なく（指導者の発話を直接聞いた場合と同様の音に感じられるように）聞くことができる。
【００５１】
（２−１）バイノーラル信号のキャリブレーション：
図２Ｂは、バイノーラル信号のキャリブレーションを説明する説明図である。バイノーラル信号のキャリブレーションは、電子楽器１０の周囲において任意の音源から音が出力されている状態で実行される。従って、電子楽器１０のスピーカー９０ａ，９０ｂから音が出力されている状態や、指導者が発話している状態等においてキャリブレーションを実行することができるが、ここでは、電子楽器１０のスピーカー９０ａ，９０ｂから音が出力されている状態でキャリブレーションを実行する例を説明する。
【００５２】
入出力部６０においてバイノーラル信号のキャリブレーション開始が指示されると、電子楽器１０のスピーカー９０ａ，９０ｂから音が出力されている状態とするため、ＣＰＵ２０は、第１音源信号取得部２０ａの処理により、トーンジェネレータ８０に、キャリブレーション用の音の音色および音高、音量を指示する。また、ＣＰＵ２０は、混合信号取得部２０ｄの処理により、入力信号を混合しない状態となるようにミキサー８４に指示する。さらに、ＣＰＵ２０は、再生部２０ｅの処理により、トーンジェネレータ８０が生成した音をスピーカー９０ａ，９０ｂから出力するようにサウンドシステム８８に指示する。これらの指示により、トーンジェネレータ８０は、キャリブレーション用の音を示す信号を出力し、当該信号はＤＳＰ８２を経てミキサー８４に入力される。ミキサー８４においては当該信号を混合せずに出力するため、当該信号がＤＡＣ８６でアナログ信号に変換され、サウンドシステム８８は当該アナログ信号をスピーカー９０ａ，９０ｂに出力する。この結果、電子楽器１０のスピーカー９０ａ，９０ｂからキャリブレーション用の音が出力される。なお、図２Ｂにおいては、当該アナログ信号がトーンジェネレータ８０の出力信号に基づいて生成されたことを示すため、再生部２０ｅからスピーカー９０ａ，９０ｂへの信号の流れを示す矢印に第１音源信号と付記してある。
【００５３】
この状態において、ＣＰＵ２０は、バイノーラル信号取得部２０ｂの処理により、サンプリング回路７０にサンプリング周期を指示し、この結果、サンプリング回路７０が出力したバイノーラル信号を取得し、当該バイノーラル信号を示すデータを取得する。従って、キャリブレーション用の音がバイノーラル録音された音を示すデータが取得されることになる。ここで、バイノーラル信号は、利用者が装着するヘッドホン９１におけるバイノーラルマイク９２ａ，９２ｂの出力、指導者が装着するヘッドホン９１のバイノーラルマイク９２ａ，９２ｂの出力に基づいて生成される。
【００５４】
次に、ＣＰＵ２０は、バランス調整部２０ｃの処理により、当該データに基づいてバイノーラル信号を生成し、混合信号取得部２０ｄに受け渡す。すなわち、キャリブレーションの際、ＣＰＵ２０はバイノーラル信号にゲインを作用させることなく、バイノーラル信号を混合信号取得部２０ｄに受け渡す。次に、混合信号取得部２０ｄは、バイノーラル信号をミキサー８４に出力する。ミキサー８４は入力信号を混合しない状態に設定されているため、ミキサー８４に入力されたバイノーラル信号には第１音源信号が混合されることなくミキサー８４から出力される。なお、この状態において、ミキサー８４からはバイノーラル信号と第１音源信号とが出力された状態となり、第１音源信号は、スピーカー９０ａ，９０ｂから音を出力するための信号として使用され続ける。
【００５５】
ミキサー８４からバイノーラル信号が出力されると、当該バイノーラル信号はＤＡＣ８６でアナログ信号に変換される。この結果、利用者が装着するヘッドホン９１におけるバイノーラルマイク９２ａ，９２ｂの出力、指導者が装着するヘッドホン９１のバイノーラルマイク９２ａ，９２ｂの出力に基づいてアナログ信号が生成された状態となる。そこで、ＣＰＵ２０は、サウンドシステム８８に出力先を指示し、再生部２０ｅの処理により、各アナログ信号を当該アナログ信号の元となる信号を出力したヘッドホン９１のスピーカー９４ａ，９４ｂに出力させる。この結果、利用者が装着するヘッドホン９１のバイノーラルマイク９２ａ，９２ｂで集音された音が、利用者が装着するヘッドホン９１のスピーカー９４ａ，９４ｂで再生され、指導者が装着するヘッドホン９１のバイノーラルマイク９２ａ，９２ｂで集音された音が、指導者が装着するヘッドホン９１のスピーカー９４ａ，９４ｂで再生される。なお、図２Ｂにおいては、バイノーラル信号に基づいてスピーカー９４ａ，９４ｂで音が再生されたことを示すため、再生部２０ｅからスピーカー９４ａ，９４ｂへの信号の流れを示す矢印にバイノーラル信号と付記してある。
【００５６】
このように、ヘッドホン９１のスピーカー９４ａ，９４ｂで音が再生されると、キャリブレーションマイク９６によって当該再生された音が集音される。キャリブレーションマイク９６にて音が集音されると、集音された音を示すアナログ信号がＡＤＣ７２に入力される。そして、ＣＰＵ２０は、バランス調整部２０ｃの処理により、当該アナログ信号に基づいてゲインを特定する。
【００５７】
すなわち、ＣＰＵ２０は、バランス調整部２０ｃの処理により、サンプリング回路７０にサンプリング周期を指示する。サンプリング回路７０は当該サンプリング周期で、ＡＤＣ７２が出力するキャリブレーションマイク９６による集音結果であるアナログ信号をサンプリングし、キャリブレーション信号として取得する。そして、ＣＰＵ２０は、当該キャリブレーション信号を示すデータを取得する。むろん、キャリブレーション信号は、利用者が装着するヘッドホン９１におけるキャリブレーションマイク９６の出力、指導者が装着するヘッドホン９１のキャリブレーションマイク９６の出力に基づいて生成される。
【００５８】
この状態において、ＣＰＵ２０は、スピーカー９０ａ，９０ｂの発音をバイノーラルマイク９２ａ，９２ｂで集音した音を示すバイノーラル信号と、バイノーラル信号が示す音をスピーカー９４ａ，９４ｂで再生した音をキャリブレーションマイク９６で集音した音を示すキャリブレーション信号と、を取得していることになる。そこで、ＣＰＵ２０は、バランス調整部２０ｃの処理により、両信号を比較し、両信号が示す音の音量（信号の振幅）を一致させるためにバイノーラル信号に作用させるべきゲインを特定する。すなわち、ＣＰＵ２０は、バイノーラルマイク９２ａ，９２ｂで集音した音の音量とキャリブレーションマイク９６で集音した音の音量とを比較し、一致していない場合、ＣＰＵ２０は、バイノーラル信号取得部２０ｂの処理により、バイノーラル信号のゲインを所定量変化させる。
【００５９】
そして、ＣＰＵ２０は、ゲインを変化させた後のバイノーラル信号が示す音を混合信号取得部２０ｄ、再生部２０ｅの処理によってスピーカー９４ａ，９４ｂに再生させる。ＣＰＵ２０は、この処理を、バイノーラルマイク９２ａ，９２ｂで集音した音の音量とキャリブレーションマイク９６で集音した音の音量とが一致するまで実行する。そして、一致した場合におけるゲインを不揮発性メモリ３０に記録する。以上の処理は、利用者が装着するヘッドホン９１と指導者が装着するヘッドホン９１とのそれぞれにおいて実行される。従って、それぞれのヘッドホン９１において、バイノーラル信号のゲインが特定されることになる。このようにしてゲインが特定されると、特定されたゲインによって上述の図２Ａのような再生が行われることにより、ヘッドホン９１を使用している場合と使用していない場合とで指導者の発話の音量が変化しない状態となる。
【００６０】
（２−２）第１音源信号のキャリブレーション：
図２Ｃは、第１音源信号のキャリブレーションを説明する説明図である。第１音源信号のキャリブレーションは、バイノーラル信号のキャリブレーションが行われた状態（バイノーラル信号のゲインが固定された状態）で実行される。なお、第１音源信号のキャリブレーションは、第１音源信号を電子楽器１０のスピーカー９４ａ，９４ｂとヘッドホン９１のスピーカー９４ａ，９４ｂとから出力させた場合に、両者が一致するように第１音源信号のゲインを特定する処理である。
【００６１】
このようなキャリブレーションは、図２Ｂに示す処理とほぼ同様の処理で実現可能であるが、図２Ｂと比較すると、再生部２０ｅがスピーカー９４ａ，９４ｂに出力させる音がバイノーラル信号に基づく音ではなく、第１音源信号に基づく音である点が異なっており、ゲインの特定対象が第１音源信号である点が異なっている。従って、図２Ｂに示す処理と同様の処理が行われている状態によってミキサー８４から第１音源信号が出力され、ＤＡＣ８６でアナログ信号に変換された状態において、ＣＰＵ２０は、再生部２０ｅの処理により、サウンドシステム８８に出力先を指示し、当該アナログ信号をスピーカー９４ａ，９４ｂに出力させる。なお、ここで、第１音源信号のキャリブレーションは、利用者が装着するヘッドホン９１または指導者が装着するヘッドホン９１のいずれを利用して行われても良く、少なくとも一方のヘッドホン９１におけるスピーカー９４ａ，９４ｂにアナログ信号が出力されれば良い。
【００６２】
このように、ヘッドホン９１のスピーカー９４ａ，９４ｂで音が再生されると、キャリブレーションマイク９６によって当該再生された音が集音されるため、ＣＰＵ２０は、バランス調整部２０ｃの処理により、サンプリング回路７０を制御してキャリブレーションマイク９６による集音結果をキャリブレーション信号として取得する。そして、ＣＰＵ２０は、スピーカー９０ａ，９０ｂの発音をバイノーラルマイク９２ａ，９２ｂで集音した音を示すバイノーラル信号と、第１音源信号が示す音をスピーカー９４ａ，９４ｂで再生した音をキャリブレーションマイク９６で集音した音を示すキャリブレーション信号と、を取得していることになる。そこで、ＣＰＵ２０は、バランス調整部２０ｃの処理により、両信号を比較し、両信号が示す音の音量（信号の振幅）を一致させるために第１音源信号に作用させるべきゲインを特定する。すなわち、ＣＰＵ２０は、バイノーラルマイク９２ａ，９２ｂで集音した音の音量とキャリブレーションマイク９６で集音した音の音量とが一致していない場合、第１音源信号取得部２０ａの処理により、第１音源信号のゲインを所定量変化させる。
【００６３】
そして、ＣＰＵ２０は、混合信号取得部２０ｄ、再生部２０ｅの処理によってゲインを変化させた後の第１音源信号が示す音をスピーカー９０ａ，９０ｂおよびスピーカー９４ａ，９４ｂに再生させる。ＣＰＵ２０は、この処理を、バイノーラルマイク９２ａ，９２ｂで集音した音の音量とキャリブレーションマイク９６で集音した音の音量とが一致するまで実行する。そして、一致した場合におけるゲインを不揮発性メモリ３０に記録する。このようにしてゲインが特定されると、特定されたゲインによって上述の図２Ａのような再生が行われることにより、ヘッドホン９１を使用している場合と使用していない場合とで指導者の発話の音量が変化しない状態となり、かつ、ヘッドホン９１を使用している場合と使用していない場合とで電子楽器１０の音量が変化しない状態となる。
【００６４】
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、電子楽器１０の構成は上述の構成に限定されず、外部装置等から提供を受けるＭＩＤＩ情報やオーディオ情報に基づいて第１音源信号が取得されても良い。また、第１音源信号は、着脱可能な記録媒体に記録されていても良いし、通信Ｉ／Ｆを介して他の装置から取得されてもよい。さらに、不揮発性メモリ３０は、各種の情報を保持することができる記録媒体であれば良く、フラッシュメモリ等によって構成可能であるが、他のメモリが利用されても良いし、記録媒体がハードディスクドライブなどの他の媒体で構成されても良い。
【００６５】
さらに、ヘッドホン９１は、図１に示されるようにパッドにスピーカー９４ａ，９４ｂが取り付けられる構成であっても良いし、音道を備える挿入部が外耳道に挿入され、スピーカー９４ａ，９４ｂの出力音が音道を通って外耳道に導かれる構成であっても良い。この場合、バイノーラルマイク９２ａ，９２ｂは周囲に露出する位置（例えば、挿入部の端部であって挿入部を外耳道に挿入した状態で外耳道の外部に位置する部分）において外部に向けて配置され、キャリブレーションマイク９６は外耳道の内側に向けて配置されれば良い。
【００６６】
さらに、図１に示す構成からキャリブレーションマイク９６が省略された構成としても良い。この場合、音量調整の操作子等によって、第１音源信号が示す音の音量とバイノーラル信号が示す音の音量とのバランスを調整可能であることが好ましい。さらに、図１に示す構成は各種の変形例を想定可能である。例えば、ヘッドホン９１がＡＤＣ７２やサンプリング回路７０を備える構成等を想定可能である。
【００６７】
さらに、上述のキャリブレーションは一部が省略されても良い。例えば、第１音源信号のキャリブレーションが省略され、当該第１音源信号については電子楽器１０が備える操作子等で音量が調整される構成であっても良い。
【００６８】
（３−１）第１の音源信号の音像定位の信号処理：
上述の実施形態において、第１音源信号である電子楽器１０の音は予め規定された頭部伝達関数によって正面を向いて演奏する利用者の位置（距離と角度）を基準にその前の所定の位置に電子楽器１０の音像が定位して聞こえるように効果が付与されている。また、利用者がその位置や顔の向きを変えると、電子楽器１０が実際に存在する位置からその変化量だけ離れた位置や向きに定位されることになる。そこで、利用者の位置や顔の向きの変化に応じて第１音源信号（左右のチャンネルのステレオ信号）の音量（距離感）やパンニング(音量バランス)を制御することにより、利用者の移動や顔向きの変化に関わらず、元々の所定の位置に音像を定位させ、ヘッドホン９１を装着する利用者または指導者が電子楽器１０の元々の位置を感じられるような第１音源信号を生成する構成としても良い。
【００６９】
図３は、電子楽器１０からヘッドホン９１までの距離と、電子楽器１０から見たヘッドホン９１の向きとに基づいて左右のチャンネルの第１音源信号を補正する構成を説明する図である。なお、図３においては、ヘッドホン９１の装着者Ｈを破線で示している。同図３においては、図１に示す電子楽器１０に追加される構成と処理の流れを模式的に示している。図３に示す電子楽器１０は、長手方向の中央に超音波送信機１０ａを備えている。ヘッドホン９１の左右のパッドには超音波受信機９８ａ，９８ｂが備えられており、ヘッドホン９１のヘッドパッドの中央には超音波受信機９８ｃが備えられている。なお、超音波受信機９８ａ，９８ｂは、種々の方向からの超音波を受信可能であるが、超音波受信機９８ｃは、狭い範囲（図３に示す右側）からの超音波のみを受信可能である。
【００７０】
第１音源信号取得部２０ａは、上述の機能に加え、入出力部６０およびＤＳＰ８２と協働して第１音源信号の補正を行う機能を備えている。ＤＳＰ８２は、左右のチャンネルの第１音源信号の音量を制御する音量制御部８２ａと、左右のチャンネルの第１音源信号のバランスを制御するパンニング制御部８２ｂを備えている。また、入出力部６０は、ヘッドホン９１を装着する装着者（利用者や指導者）と電子楽器１０との距離を検出する距離検出部６０ａと、ヘッドホン９１を装着する装着者（利用者や指導者）の顔の向きを検出する向き検出部６０ｂを備えている。
【００７１】
ＣＰＵ２０は、第１音源信号取得部２０ａの処理により、距離検出部６０ａを制御して超音波送信機１０ａから各超音波受信機９８ａ，９８ｂまでの距離ＬL，ＬRを検出させる。すなわち、距離検出部６０ａは、超音波送信機１０ａに超音波を出力させ、出力された超音波を超音波受信機９８ａ，９８ｂに受信させる。さらに、距離検出部６０ａは、超音波送信後、受信されるまでの経過時間に基づいて超音波送信機１０ａから各超音波受信機９８ａ，９８ｂまでの距離ＬL，ＬRを検出する。
【００７２】
さらに、ＣＰＵ２０は、第１音源信号取得部２０ａの処理により、向き検出部６０ｂを制御して、ヘッドホン９１の装着者の角度を検出させる。すなわち、向き検出部６０ｂは、超音波送信機１０ａから出力された超音波を超音波受信機９８ａ，９８ｂ，９８ｃに受信させる。さらに、向き検出部６０ｂは、超音波が超音波受信機９８ｃで受信された場合にヘッドホン９１の装着者が電子楽器１０側を向いていると見なし、超音波が超音波受信機９８ｃで受信されない場合にヘッドホン９１の装着者が電子楽器１０の逆側を向いていると見なす。さらに、向き検出部６０ｂは、超音波送信後、超音波が超音波受信機９８ａ，９８ｂで受信されるまでの経過時間の差に基づいてヘッドホン９１の装着者の角度を検出する。
【００７３】
なお、図３に示す例においては、ヘッドホン９１の装着者が電子楽器１０に正対しており、当該角度が基準角度である０に設定される。角度は正対した状態を基準に計測されれば良く、例えば、図３において時計回りにヘッドホン９１が回転した場合の角度を正、反時計回りにヘッドホン９１が回転した場合の角度を負とする構成等を採用可能である。むろん、電子楽器１０からヘッドホン９１までの距離が、超音波に関するセンサ以外の各種の距離センサ、例えば、光学センサ（カメラ等）で取得されても良いし、電子楽器１０から見たヘッドホン９１の向きが、各種の方向センサ、例えば、ジャイロセンサや加速度センサ、地磁気センサ等で取得されても良い。
【００７４】
さらに、ＣＰＵ２０は、第１音源信号取得部２０ａの処理により、音量制御部８２ａを制御して、電子楽器１０からヘッドホン９１までの距離に基づいて特定される音量となるように第１音源信号を補正する。さらに、ＣＰＵ２０は、第１音源信号取得部２０ａの処理により、パンニング制御部８２ｂを制御して、音量制御部８２ａによる補正後の第１音源信号をヘッドホン９１の装着者の角度に基づいて補正する。
【００７５】
なお、第１音源信号の補正は、種々の手法によって実現可能であり、例えば、基準距離と実際の距離との比に応じた音量の減衰率を予め特定しておくことによって距離による音量の補正が可能である。このためには、例えば、電子楽器１０を基準音量で発音させ、電子楽器１０から見たヘッドホン９１の向きを予め決められた基準方向（本例ではヘッドホン９１の装着者が電子楽器１０に正対している方向）に固定した状態で、電子楽器１０からヘッドホン９１までの距離を複数の距離に設定し、各距離で音量を測定すればよい。すなわち、ある距離を基準距離とし、当該基準距離における音量と他の距離における音量とを比較することにより、基準距離と実際の距離との比に応じた音量の減衰率を予め特定することができる。このように減衰率が予め特定されていれば、音量制御部８２ａは、距離検出部６０ａが取得した電子楽器１０からヘッドホン９１までの実際の距離と、基準距離とに基づいて減衰率を取得し、基準距離における音量に当該減衰率を乗じることで、実際の距離における音量を取得することができる。そこで、音量制御部８２ａは、当該実際の距離における音量で発音するように、トーンジェネレータ８０から出力された第１音源信号を補正することで、距離に応じた音量の補正を行う。
【００７６】
また、電子楽器１０とヘッドホン９１が正対している向き（ヘッドホン９１のバイノーラルマイク９２ａ，９２ｂと電子楽器１０との距離が等距離である場合の向き）である場合に、上述の距離による補正が行われた後の左右の２チャンネルの音量比率を０．５：０．５とすれば、ヘッドホン９１装着者の首の回転角度に応じた比率で左右の２チャンネルの第１音源信号の音量比率を変化させることで、方向に関する補正を行うことができる。回転角度に応じた比率は、複数個の回転角度における比率を規定するとともに、規定されていない回転角度における比率を補間することによって特定可能である。
【００７７】
例えば、ヘッドホン９１の装着者が電子楽器１０に正対している状態を基準としてヘッドホン９１の装着者が首を右に９０度回転させている向き（ヘッドホン９１のバイノーラルマイク９２ａ，９２ｂが電子楽器１０から延びる直線上に存在し、かつ、左用のバイノーラルマイク９２ａが右用のバイノーラルマイク９２ｂよりも電子楽器１０に近い状態）においては、左のスピーカー用のチャンネルの音量比率が１、右のスピーカー用のチャンネルの音量比率が０とされる。さらに、電子楽器１０とヘッドホン９１が正対している状態を基準としてヘッドホン９１装着者が首を左に９０度回転させている向き（ヘッドホン９１のバイノーラルマイク９２ａ，９２ｂが電子楽器１０から延びる直線上に存在し、かつ、右用のバイノーラルマイク９２ａが左用のバイノーラルマイク９２ｂよりも電子楽器１０に近い状態）においては、右のスピーカー用のチャンネルの音量比率が１、左のスピーカー用のチャンネルの音量比率が０とされる。
【００７８】
そして、これらの角度の間の音量比率は、角度による比率の変化が、例えば、リニアであると見なして補間が行われることで特定される。パンニング制御部８２ｂは、以上のようにして音量比率を決定し、上述のような距離に関する補正が行われた第１音源信号に対して、向きに応じた音量比率で発音するように（例えば、配分比率が１の場合、距離に関する補正が行われた後の音量の２倍の音量となり、配分比率が０の場合、音量が０となるように）補正を行う。以上の構成によれば、ヘッドホン９１の装着者は、電子楽器１０と装着者との相対位置関係を把握できるように音像が定位した音を聞くことができるため、より自然な状態で電子楽器１０の音を聞くことができる。さらに、第１の音源以外の音は、第２の音源の信号となり、バイノーラル録音されるため、本実施例によれば、全ての音の音源と利用者または指導者との相対位置関係を把握できる状態で音を聞くことができる。なお、距離および向きに応じた音像の定位を実現するための手法は、上述の手法以外にも種々の手法を採用可能である。例えば、距離および向きに応じた左右の頭部伝達関数の変化を予め特定しておき、電子楽器１０からヘッドホン９１までの距離と、電子楽器１０から見たヘッドホン９１の向きとに基づいて頭部伝達関数を補正し、当該頭部伝達関数に基づいて第１音源信号を生成する構成を採用しても良い。
【００７９】
ＤＳＰ８２による補正としては、さらに、他の要素に応じた補正を想定可能である。例えば、部屋の響きの効果を付与するように補正が行われてもよい。この構成は、使用する部屋の大きさに応じたリバーブを予め特定しておき、ＣＰＵ２０が部屋の大きさの指定を受け付け、指定された部屋の大きさに対応するリバーブを選択し、ＤＳＰ８２に指示することで部屋の大きさに応じたリバーブ効果が与えられるなどによって実現可能である。この構成によれば、より自然な状態で電子楽器１０の音を聞くことができる。
【００８０】
また、バイノーラル信号において各種の補正が行われてもよい。例えば、バイノーラル信号に対して特定の周波数帯域の信号を除去または抽出するフィルタを作用させ、第２の音源からの音として想定される音がより明瞭になるように構成しても良い。むろん、バイノーラル信号において部屋の響きの効果を付与する補正が行われてもよい。
【符号の説明】
【００８１】
１０…電子楽器、２０…ＣＰＵ、２０ａ…音源信号取得部、２０ｂ…バイノーラル信号取得部、２０ｃ…バランス調整部、２０ｄ…混合信号取得部、２０ｅ…再生部、３０…不揮発性メモリ、４０…ＲＡＭ、５０…演奏操作子、６０…入出力部、７０…サンプリング回路、７２…ＡＤＣ、８０…トーンジェネレータ、８２…ＤＳＰ、８４…ミキサー、８６…ＤＡＣ、８８…サウンドシステム、９０ａ，９０ｂ…スピーカー、９１…ヘッドホン、９２ａ，９２ｂ…バイノーラルマイク、９４ａ，９４ｂ…スピーカー、９６…キャリブレーションマイク
【図１】
2015216435.tif 000003
【図２】
2015216435.tif 000004
【図３】
2015216435.tif 000005