(57)【要約】  複数の仮想の音源の位置を固定した状態で、受聴者が指定する音源の音量を簡単に上げたり下げたりすることができるミキシング装置を提供する。方位角度差検出手段２４は、予め定めた基準方位角と、受聴者が操作ユニット７を用いて複数の仮想音源が存在する仮想音源空間内を指すことにより定まる指示方位角との間の方位角度差を検出する。ミキシング手段５は、方位角度差が０度のときには、複数の音響信号チャンネルから供給される複数の音響信号をそのままミキシングして出力する。またミキシング手段５は、方位角度差が０度以外のときには、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作り、しかも指示方位角の方向に位置する１以上の仮想音源の音量が、方位角度差が０度のときの１以上の仮想音源の音量よりも大きくなるようにミキシングする。【特許請求の範囲】
【請求項１】
受聴者の周囲に複数の仮想音源を作り出す音響再生装置に対して、前記複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして出力するミキシング手段を有するミキシング装置であって、
前記受聴者により操作される操作ユニットと、
前記操作ユニットに設けられて、予め定めた基準方位角と前記受聴者が前記操作ユニットを用いて前記複数の仮想音源が存在する仮想音源空間内を指すことにより定まる指示方位角との間の方位角度差を検出する方位角度差検出手段とを備え、
前記ミキシング手段は、
前記方位角度差が０度のときには、前記複数の音響信号チャンネルから供給される前記複数の音響信号をそのままミキシングして出力し、
前記方位角度差が０度以外のときには、前記基準方位角を基準にして前記複数の仮想音源の位置を固定した状態を作り、且つ前記指示方位角の方向に位置する１以上の前記仮想音源の音量が、前記方位角度差が０度のときの前記１以上の仮想音源の音量よりも大きくなるように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整と位相調整とを行ってミキシングした後出力するように構成されているミキシング装置。
【請求項２】
前記指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定手段を更に備え、
前記ミキシング手段は、前記方位角度範囲が設定されると、前記方位角度範囲内にある１以上の前記仮想音源の音量を、前記方位角度差が０度のときの前記１以上の仮想音源の音量よりも大きくし、しかも前記方位角度範囲外の他の前記仮想音源の音量を、前記方位角度範囲内にある前記１以上の仮想音源の音量よりも小さくするように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整を行うように構成されている請求項１に記載のミキシング装置。
【請求項３】
前記ミシング手段は、前記方位角度範囲が設定されると、前記指示方位角と前記複数の仮想音源の方位角との方位角度差を求め、前記方位角度差から前記方位角度範囲内にある１以上の前記仮想音源に対応する１以上の前記音響信号チャンネルを選択するチャンネル選択手段と、
前記チャンネル選択手段により選択された前記１以上の音響信号チャンネルの前記１以上の音響信号の音量を選択されていない他の音響信号チャンネルの前記音響信号の音量よりも大きくするように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整を行うミキシング部とからなることを特徴とする請求項２に記載のミキシング装置。
【請求項４】
前記角度範囲設定手段は、前記操作ユニットに設けた絞り込みスイッチが絞り込み方向に操作されると、前記方位角度範囲を小さくし、前記絞り込みスイッチが開放方向に操作されると、前記方位角度範囲を大きくするように構成されている請求項２に記載のミキシング装置。
【請求項５】
前記基準方位角を定めるときの前記操作ユニットの仰角を基準仰角として、前記基準仰角と前記操作ユニットの仰角との差を仰角角度差として検出し、前記基準方位角を定めたときの姿勢から前記操作ユニットを上方に向けたときに現れる仰角角度差を正の仰角角度差とし且つ前記操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差として出力する仰角角度差検出手段を更に備えており、
前記ミキシング手段は、前記仰角角度差検出手段が前記正の仰角角度差を出力しているときには、前記指示方位角の方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に比例して大きくし、前記仰角角度差検出手段が前記負の仰角角度差を出力しているときには、前記指示方位角の方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に比例して小さくするように、前記指示方位角の方向に並ぶ複数の前記仮想音源に対応する前記複数の音響信号チャンネルの前記複数の音響信号の音量調整を行うように構成されている請求項１に記載のミキシング装置。
【請求項６】
前記操作ユニットは、前記受聴者が頭に装着するヘッドフォンをユニット本体として構成され、
前記ヘッドフォンに前記方位角度差検出手段に用いられる方位角度検出センサと、前記仰角角度差検出手段に用いられる仰角角度検出センサと、前記角度範囲選定手段の操作部とが少なくとも実装されている請求項４に記載のミキシング装置。
【請求項７】
前記絞り込みスイッチは、前記ヘッドフォンの左右のスピーカの少なくとも一方の外側に装着され、前記受聴者の手を前記スピーカに近づける動きをすることにより前記絞り込み方向への操作が行われ、前記受聴者の手を前記スピーカから離なすことにより自動的に前記開放方向への操作が行われる構造を有している請求項６に記載のミキシング装置。
【請求項８】
前記操作ユニットは、前記受聴者が手に持って操作するリモートコントローラをユニット本体として構成され、
前記リモートコントローラに前記方位角度差検出手段に用いられる方位角度検出センサと、前記仰角角度差検出手段に用いられる仰角角度検出センサと、前記角度範囲選定手段の操作部とが少なくとも実装されている請求項２に記載のミキシング装置。
【請求項９】
前記方位角度検出センサ及び前記仰角角度検出センサが、電子コンパスによって構成されている請求項８に記載のミキシング装置。
【請求項１０】
受聴者の周囲に複数の仮想音源を作り出す音響再生装置に、前記複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして出力するミキシング方法であって、
前記受聴者により操作される操作ユニットを用意するステップと、
予め定めた基準方位角と前記受聴者が前記操作ユニットを用いて前記複数の仮想音源が存在する仮想音源空間内を指すことにより定まる指示方位角との間の方位角度差を検出するステップと、
前記方位角度差が０度のときには、前記複数の音響信号チャンネルから供給される前記複数の音響信号をそのままミキシングして出力し、前記方位角度差が０度以外のときには、前記基準方位角を基準にして前記複数の仮想音源の位置を固定した状態を作り、しかも前記指示方位角の方向に位置する１以上の前記仮想音源の音量が、前記方位角度差が０度のときの前記１以上の仮想音源の音量よりも大きくなるように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整と位相調整とを行ってミキシングするステップとからなることを特徴とするミキシング方法。
【請求項１１】
前記指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定ステップを更に備え、
前記ミキシングするステップでは、前記方位角度範囲が設定されると、前記方位角度範囲内にある１以上の前記仮想音源の音量を、前記方位角度差が０度のときの前記１以上の仮想音源の音量よりも大きくし、しかも前記方位角度範囲外にある残りの前記仮想音源の音量を、前記方位角度範囲内にある前記１以上の仮想音源の音量よりも小さくするように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整を行うことを特徴とする請求項１０に記載のミキシング方法。
【請求項１２】
前記基準方位角を定めるときの前記操作ユニットの仰角を基準仰角として、前記基準仰角と前記操作ユニットの仰角との差を仰角角度差として検出し、前記基準方位角を定めたときの姿勢から前記操作ユニットを上方に向けたときに現れる仰角角度差を正の仰角角度差とし且つ前記操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差とする仰角角度差検出ステップを更に備え、
前記ミキシングするステップでは、前記正の仰角角度差が検出されているときには、前記指示方位角の方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に比例して大きくし、前記負の仰角角度差が検出されているときには、前記指示方位角の方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に比例して小さくするように、前記指示方位角の方向に並ぶ複数の前記仮想音源に対応する前記複数の音響信号チャンネルの前記複数の音響信号の音量調整を行うことを特徴とする請求項１０に記載のミキシング方法。
【請求項１３】
受聴者の周囲に複数の仮想音源を作り出す音響再生装置に、前記複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして出力するために、コンピュータに、
予め定めた基準方位角と前記受聴者が操作ユニットを用いて前記複数の仮想音源が存在する仮想音源空間内を指すことにより定まる指示方位角との間の方位角度差を検出するステップと、
前記指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定するステップと、
前記基準方位角を定めるときの前記操作ユニットの仰角を基準仰角として、前記基準仰角と前記操作ユニットの仰角との差を仰角角度差として検出し、前記基準方位角を定めたときの姿勢から前記操作ユニットを上方に向けたときに現れる仰角角度差を正の仰角角度差とし且つ前記操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差とする仰角角度差検出ステップと、
前記方位角度差が０度のときには、前記複数の音響信号チャンネルから供給される前記複数の音響信号をそのままミキシングして出力し；前記方位角度差が０度以外のときには、前記基準方位角を基準にして前記複数の仮想音源の位置を固定した状態を作り、しかも前記指示方位角の方向に位置する１以上の前記仮想音源の音量が、前記方位角度差が０度のときの前記１以上の仮想音源の音量よりも大きくなるように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整と位相調整とを行い；前記方位角度範囲が設定されると、前記方位角度範囲内にある１以上の前記仮想音源の音量を、前記方位角度差が０度のときの前記１以上の仮想音源の音量よりも大きくし、しかも前記方位角度範囲外にある残りの前記仮想音源の音量を、前記方位角度範囲内にある前記１以上の仮想音源の音量よりも小さくするように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整を行い；前記正の仰角角度差が検出されているときには、前記指示方位角の方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に比例して大きくし；前記負の仰角角度差が検出されているときには、前記指示方位角の方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に比例して小さくするように、前記指示方位角の方向に並ぶ複数の前記仮想音源に対応する前記複数の音響信号チャンネルの前記複数の音響信号の音量調整を行うようにミキシングするステップとを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽のミキシング技術に関し、特に受聴者がミキシングを変更することを可能にするミキシング装置及び方法並びにプログラムに関するものである。
【背景技術】
【０００２】
人間は２つの耳を使って、両耳間の音量差、両耳間の時間差、周波数特性の変化など複数の要素をもとに音源の位置を知る能力を持っている。通常、コンパクトディスクなどに録音されている音楽は、音楽用ミキサーで各音源（楽器など）の音量と定位（両耳の音量比率）を調節して、複数の音源がうまく分離し、聴きやすいようにミックスダウンされている。ミックスダウン後の音楽を再生した場合、複数の音源の音量と定位は固定されており、ユーザがある特定の音源の音量を大きくしたいと感じた場合でも、ユーザにより調整することはできなかった。たとえばクラッシック曲で、ユーザが全体の音量を変化させずに第一バイオリンの音量を上げたいと感じた場合でも、その実現は困難であった。【０００３】
ユーザが、音楽用ミキサーを手動で操作しながら音楽を聴くことができれば、対象とする音源の、音量および定位を変更することは可能であったが、実際には音楽用ミキサーの操作は複雑でアマチュアのユーザが直感的に操作することは困難であった。ちなみに特許第３６３３４５９号公報［特許文献１］に示されるようなミキシング録音再生装置は、操作が難しく、一般のユーザ（受聴者）が、自分の聞きたいパートの音量を上げたり、自分の聞きたくないパートの音量を下げることを演奏を聞きながら簡単に行うことができない。【０００４】
たとえば、バイオリンのソロが始まった瞬間に、バイオリンの音量を上げ、定位を中央にもってきて（左右の比率を１：１にして）、さらにその他の楽器の音量を少し下げてその定位を調節するなど、一連の動作を瞬時に行うことは困難である。【０００５】
また特開２０００−６９６００号公報［特許文献２］に示された音楽的臨場感形成装置の制御方法では、音源を空間上に配置し、音源や聴取者の位置を変更できる。しかしながらこの技術では、音量をコントロールするために音源若しくは聴取者の位置を変化させる必要があり、一般のユーザ（受聴者）が自分の聴きたいパートを近くに配置して音量を上げたり、自分の聴きたくないパートを遠くに配置して音量を下げたりする操作を、演奏を聴きながら行うことが困難である。【０００６】
また従来、ヘッドフォンにジャイロセンサ（加速度センサ）を搭載した製品もあったが、それらは、頭の傾きに合わせて音の方向を微調整することにより、頭を振ることによる音場の乱れ（頭をある方向に動かすと、音源も同じ方向に動いたように感じること）を防ぐことが目的であり、センサから得られる情報を用いて各音源の音量、定位を変更しミキシングを行う本発明とは本質的に異なる。例えば、特開平２−２５９００号公報［特許文献３］等には振動ジャイロを受聴者が装着するヘッドフォンに装着して、受聴者の頭部の回転を検出し、検出した回転に伴って左右の音量を調整することにより、受聴者の頭部が回転しても音源が空間の一点に固定されるようにして、臨場感を増大させる技術が示されている。また特開平８−９４９０号公報［特許文献４］等にはヘッドフォン本体に取りつけたマイクロフォンにより頭部の回転角度を検出する技術が開示されている。さらに特開平９−２０５７００号公報［特許文献５］等にはヘッドフォンの頭の向きを検出するセンサをヘッドフォンに搭載する技術が開示されている。さらに特開平８−２３７７９０号公報［特許文献６］には、頭部の回転だけでなく、受聴者の向きや位置の情報を合わせて検出する技術が開示されている。【０００７】
その他、左右の増幅率を独立に調節することの可能がアンプや、中央に定位する音を消す装置（ボーカルキャンセルマシン）では、ミックスダウン後の音楽の音量、定位を部分的に変更することはできても、ある特定の音源の音量、定位を自由に調節するという目的に使用することは困難であった。
【特許文献１】特許第３６３３４５９号公報
【特許文献２】特開２０００−６９６００号公報
【特許文献３】特開平２−２５９００号公報
【特許文献４】特開平８−９４９０号公報
【特許文献５】特開平９−２０５７００号公報
【特許文献６】特開平８−２３７７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来技術では、受聴者が聴きたい音源の音量をリアルタイムで大きくしたり、不要な音源の音量を小さくしたり、また、その音量、定位の変化を連続的に行うことは困難であった。すなわち従来の技術では、複数の仮想の音源の位置を固定した状態で、受聴者が指定する音源（パート）の音量を簡単な操作で上げたり下げたりするミキシングを行うことができなかった。【０００９】
本発明の具体的な目的は、複数の仮想の音源の位置を固定した状態で、受聴者が指定する音源の音量を簡単に上げたり下げたりすることができるミキシング装置及び方法ならびにプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明のミキシング装置は、受聴者の周囲に複数の仮想音源を作り出す音響再生装置に、複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして出力するミキシング手段を有する。また本発明のミキシング装置は、受聴者により操作される操作ユニットと、操作ユニットに設けられる方位角度差検出手段とを備えている。方位角度差検出手段は、予め定めた基準方位角（reference azimuth angle)と受聴者が操作ユニットを用いて複数の仮想音源が存在する仮想音源空間内を指すことにより定まる指示方位角との間の方位角度差(azimuth angle difference)を検出する。そしてミキシング手段は、後述する事項を実現するように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整と位相調整（例えばステレオ・オーディオ音響装置の場合に左右のスピーカから出る音の割合の調整）とを行い、これら信号をミキシングして出力する。まずミキシング手段は、方位角度差が０度のときには、複数の音響信号チャンネルから供給される複数の音響信号をそのままミキシングして出力する。またミキシング手段は、方位角度差が０度以外のときには、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作り、しかも指示方位角の方向に位置する１以上の仮想音源の音量が、方位角度差が０度のときの１以上の仮想音源の音量よりも大きくなるようにする。【００１１】
本発明によれば、受聴者が操作ユニットを用いて、複数の仮想音源が存在する仮想音源空間内を指示すると、方位角度差検出手段が基準方位角に対する指示方位角との方位角度差を検出する。ミキシング手段は、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作る。そしてミキシング手段は、操作ユニットを用いて指示した指示方位角の方向に位置する１以上の仮想音源の音量を、方位角度差が０度のときの該１以上の仮想音源の音量よりも大きくする。このようにすることにより、複数の仮想音源を移動させることなく、受聴者が指示した方位にある仮想音源即ち受聴者が聞きたいパート（楽器）の音量を簡単に大きくすることができる。したがって、複雑なミキシング技術を知らない受聴者でも、操作ユニットで方向を指し示すだけで、所定のパートの音量を増減することができる。音量を下げる場合には、操作ユニットで指し示す指示方位角を別の方向（例えば基準方位角）にすればよい。【００１２】
また操作ユニットが指している指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定手段を更に設けてもよい。この場合には、ミキシング手段を、方位角度範囲が設定されると、方位角度範囲内にある１以上の仮想音源の音量を、方位角度差が０度のときの１以上の仮想音源の音量よりも大きくし、しかも前記方位角度範囲外にある他の仮想音源の音量を、方位角度範囲内にある１以上の仮想音源の音量よりも小さくするように（音量を０にする場合を含む）、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行うように構成する。このようにすると、所定の角度範囲に入る特定の仮想音源の音量だけを増大させて、その周囲の他の仮想音源の音量を小さくすることにより、明瞭に所望の仮想音源の音を聞くことができる。【００１３】
ミシング手段は、チャンネル選択手段とミキシング部とから構成することができる。チャンネル選択手段は、方位角度範囲が設定されると、指示方位角と複数の仮想音源の方位角との方位角度差を求める。そして方位角度差から方位角度範囲内にある１以上の仮想音源に対応する１以上の音響信号チャンネルを、チャンネル選択手段は選択する。またミキシング部は、チャンネル選択手段により選択された１以上の音響信号チャンネルの１以上の音響信号の音量を、選択されていない他の音響信号チャンネルの音響信号の音量よりも大きくするように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行う。ミキシング手段をこのように構成すると、指示方位角を基準にして、方位角度範囲内にある１以上の仮想音源を簡単に選択することができる。【００１４】
なお角度範囲設定手段は、操作ユニットに設けた絞り込みスイッチを備えているのが好ましい。この場合、角度範囲設定手段は、絞り込みスイッチが絞り込み方向に操作されると、方位角度範囲を一緒に小さくし、絞り込みスイッチが開放方向に操作されると、方位角度範囲を大きくするように構成するのが好ましい。このような絞り込みスイッチを設けると、絞り込みスイッチの操作だけで、角度範囲を絞り込んで、特定の仮想音源の音量だけを簡単に調整することができる。なおこの絞り込みスイッチは、ばね機構などにより自動的に開放方向に操作される構造を有していてもい。このようなばね機構が設けられていると、絞り込みスイッチの操作が簡単になる。【００１５】
また基準方位角を定めるときの操作ユニットの仰角を基準仰角（reference elevation angle)として、基準仰角と操作ユニットの仰角(elevation angle)との差を仰角角度差として検出する仰角角度差検出手段を設けることができる。この仰角角度差検出手段は、基準方位角を定めたときの姿勢から操作ユニットを上方に向けたときに現れる仰角角度差を正の仰角角度差とし且つ操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差として出力する。このような仰角角度差検出手段を設けた場合には、指示方位角の方向に並ぶ複数の仮想音源に対応する複数の音響信号チャンネルの複数の音響信号の音量調整を行って、次のことを達成できるようにミキシング手段を構成する。すなわちミキシング手段は、仰角角度差検出手段が正の仰角角度差を出力しているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して大きくする。すなわち、操作ユニットと仮想音源との間の距離に比例して、その仮想音源の音量（増幅率）が大きくなる。またミキシング手段は、仰角角度差検出手段が負の仰角角度差を出力しているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して小さくする。すなわち、操作ユニットと仮想音源との間の距離に比例して、その仮想音源の音量（増幅率）が小さくなる。このようにすると操作ユニットの仰角を変えることによって、指示方位角の方向に並ぶ複数の仮想音源の音量を選択的に大きくしたり、小さくしたりすることができる。このようにしても特定の仮想音源に集中して音を聞くことが可能になる。【００１６】
操作ユニットは、受聴者が頭に装着するヘッドフォンをユニット本体として構成することができる。この場合には、ヘッドフォンに方位角度差検出手段に用いられる方位角度検出センサと、仰角角度差検出手段に用いられる仰角角度検出センサと、角度範囲選定手段の操作部とを少なくとも実装する。ヘッドフォンをユニット本体とすると、受聴者の頭の回転と頭の仰角によって、指定ができるため、受聴者が聞きたいと思う仮想音源に向かって顔を向け、頭を上下に傾ける動作をするだけで、所望の仮想音源の音量を上げたり下げたりすることができる。またヘッドフォンに前述の絞り込みスイッチを設けると、手を耳にかざして音を良く聞こうとする動作と同じ動作をして絞り込みスイッチを操作することにより、音量を上げることができる。したがって自然な動作で音量調整をすることができる。【００１７】
また操作ユニットは、受聴者が手に持って操作するリモートコントローラをユニット本体として構成してもよい。この場合には、リモートコントローラに方位角度差検出手段に用いられる方位角度検出センサと、仰角角度差検出手段に用いられる仰角角度検出センサと、角度範囲選定手段の操作部とを少なくとも実装すればよい。このような操作ユニットを用いると、リモートコントローラで方位角を指示したり、仰角を指示することによりミキシングすることができるので、受聴者は楽な姿勢で頭部の位置を気にせずにミキシングをすることができる。【００１８】
方位角度検出センサ及び仰角角度検出センサとしてどのようなセンサを用いるかは任意である。例えば、電子コンパス、ジャイロセンサ、三軸方向の傾斜を検出することができる傾斜センサまたは加速度センサを用いると、方位角度検出センサ及び仰角角度検出センサを１つのセンサで構成することができて、部品点数を少なくすることができる。【００１９】
本発明のミキシング方法は、次の２つのステップにより構成される。まず最初のステップでは、予め定めた基準方位角と受聴者が操作ユニットを用いて複数の仮想音源が存在する仮想音源空間内を指している指示方位角との間の方位角度差を検出する。そして次のミキシングするステップでは、方位角度差が０度のときには、複数の音響信号チャンネルから供給される複数の音響信号をそのままミキシングして出力する。そして方位角度差が０度以外のときには、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作り、しかも指示方位角の方向に位置する１以上の仮想音源の音量が、方位角度差が０度のときの１以上の仮想音源の音量よりも大きくなるように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整と位相調整とを行う。【００２０】
また指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定ステップを更に実施することもできる。この場合、ミキシングするステップでは、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行って次のことを行う。すなわち、方位角度範囲が設定されると、方位角度範囲内にある１以上の仮想音源の音量を、方位角度差が０度のときの１以上の仮想音源の音量よりも大きくする。そして方位角度範囲外にある残りの仮想音源の音量を、方位角度範囲内にある１以上の仮想音源の音量よりも小さくする。【００２１】
更に、本発明の方法では、仰角角度差検出ステップを加えることができる。このステップでは、基準方位角を定めるときの操作ユニットの仰角を基準仰角として、基準仰角と操作ユニットの仰角との差を仰角角度差として検出する。この場合、基準方位角を定めたときの姿勢から操作ユニットを上方に向けたときに現れる仰角角度差を正の仰角角度差とし且つ操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差とする。そしてミキシングするステップでは、指示方位角の方向に並ぶ複数の仮想音源に対応する複数の音響信号チャンネルの複数の音響信号の音量調整を行って次のことをする。すなわち正の仰角角度差が検出されているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して大きくする。また負の仰角角度差が検出されているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して小さくする。【００２２】
コンピュータにインストールされて本発明を実施するプログラムは、次のように構成される。すなわち、予め定めた基準方位角と受聴者が操作ユニットを用いて複数の仮想音源が存在する仮想音源空間内を指している指示方位角との間の方位角度差を検出するステップと、指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定ステップと、基準方位角を定めるときの操作ユニットの仰角を基準仰角として、基準仰角と操作ユニットの仰角との差を仰角角度差として検出し、基準方位角を定めたときの姿勢から操作ユニットを上方に向けたときに現れる仰角角度差を正の仰角角度差とし且つ操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差とする仰角角度差検出ステップと、以下のミキシングをするステップとをコンピュータで実行させるように構成されている。ミキシングするステップでは、方位角度差が０度のときには、複数の音響信号チャンネルから供給される複数の音響信号をそのままミキシングして出力し、方位角度差が０度以外のときには、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作り、しかも指示方位角の方向に位置する１以上の仮想音源の音量が、方位角度差が０度のときの１以上の仮想音源の音量よりも大きくなるように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整と位相調整とを行い、方位角度範囲が設定されると、方位角度範囲内にある１以上の仮想音源の音量を、方位角度差が０度のときの１以上の仮想音源の音量よりも大きくし、しかも方位角度範囲外にある残りの仮想音源の音量を、方位角度範囲内にある１以上の仮想音源の音量よりも小さくするように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行い、正の仰角角度差が検出されているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して大きくし、負の仰角角度差が検出されているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して小さくするように、指示方位角の方向に並ぶ複数の仮想音源に対応する複数の音響信号チャンネルの複数の音響信号の音量調整を行うようにミキシングする。
【図面の簡単な説明】
【００２３】
【図１】本発明のミキシング方法を実施するミキシング装置の一例の構成の概略構成を示すブロック図である。
【図２】実際に使用するセンサ付きのヘッドフォンを示す図である。
【図３】コンピュータにインストールされて本発明の方法を実施し且つ本発明のミキシング装置を実現するプログラムのアルゴリズムを示すフローチャートである。
【図４】受聴者がクラシックの指揮者の位置にいる状況を作った場合の配置図の一例を示している。
【図５】正規化をイメージで示す図である。
【図６】（Ａ）は、正の仰角角度差が検出されている場合における、３つの仮想音源と受聴者（操作ユニット）との位置関係と増幅率との関係を示す図であり、（Ｂ）は、正の仰角角度差が検出されている場合における距離と増幅率との関係を示すグラフである。
【図７】（Ａ）は、負の仰角角度差が検出されている場合における、３つの仮想音源と受聴者（操作ユニット）との位置関係と増幅率との関係を示す図であり、（Ｂ）は、負の仰角角度差が検出されている場合における距離と増幅率との関係を示すグラフである。
【図８】θ＝30°、δ＝0.5の場合の音が聞こえる状態を示す図である。
【図９】受聴者の周囲に１１個の仮想音源を配置した場合において、絞り込みスイッチを強く押したときの（θ＝30°、δ＝0.９）音が聞こえる領域を示す図である。
【図１０】（３）式により定まる各仮想音源の増幅率の違いを示す図である。
【図１１】（４）式に基づいて求めた各仮想音源の音量比の一例を示す図である。
【図１２】ミキシング手段で実行している増幅率の乗算イメージを示す図である。
【図１３】（Ａ）乃至（Ｃ）は、ミキシング装置を用いてミキシングを行っているときの仮想音源の音量の変化を、ミキシング装置の増幅率決定レバー（各図中の右側の図）の位置に置き換えて概念的に示す図である。
【図１４】音響再生装置のリモートコントローラを操作ユニットとして用いる場合の概念を示す図である。
【図１５】リモートコントローラを用いて仮想音源を指している状態を示す図である。
【図１６】表示画面兼入力画面を備えたＰＤＡ等の携帯端末を操作ユニットの本体として用いる場合の例を示す図である。
【図１７】携帯端末をある仮想音源の方向に向けたときの状態を示す図である。
【発明を実施するための最良の形態】
【００２４】
以下図面を参照して本発明の実施の形態を詳細に説明する。図１は、本発明のミキシング方法を実施するミキシング装置の一例の概略構成を示すブロック図である。本実施の形態のミキシング装置１は、受聴者の周囲に複数の仮想音源を作り出す音響再生装置３に、複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして出力するミキシング手段５を備えている。ここで音響再生装置３は、いわゆるオーディオ機器であって、受聴者の周囲に３次元で複数の仮想音源を作り出す機能を有する公知の装置である。またミキシング装置１は、受聴者により操作される操作ユニット７と、演算ユニット９とを備えている。操作ユニット７には、基準方位決定スイッチ１３と、方位角度検出センサ１５と、仰角角度検出センサ１７と、絞り込みスイッチ１９とが少なくとも設けられている。また演算ユニット９には、前述のミキシング手段５に加えて、仰角角度差演算手段２１と、方位角度差演算手段２３と、角度範囲決定手段２５と、音響信号チャンネル記憶手段２７とが設けられている。ミキシング手段５は、チャンネル選択手段２９とミキシング部３１とから構成される。なお演算ユニット９の主要部はコンピュータによって実現される。そして本実施の形態では、操作ユニット７のユニット本体は、受聴者の頭部に装着されるヘッドフォンである。【００２５】
基準方位決定スイッチ１３は、ヘッドフォンに装着されてミキシングを開始する際に受聴者によって操作されるスイッチである。例えば、音響再生装置３によってある音楽が再生されているときに、基準方位決定スイッチ１３が操作されると、そのときに方位角度検出センサ１５が検出する角度が基準方位における基準方位角として方位角度差演算手段２３の内部メモリに保存される。また基準方位決定スイッチ１３が操作されると、そのときに仰角角度検出センサ１７が検出する仰角φが、基準方位における基準仰角として、仰角角度差演算手段２１の内部メモリに保存される。【００２６】
基準方位決定スイッチ１３が操作された後は、所定のサンプリング周期で方位角度検出センサ１５により検出された指示方位角θは、方位角度差演算手段２３に入力される。方位角度差演算手段２３は、予め定めた基準方位角とヘッドフォンを装着した受聴者の頭部の方位を検出する方位角度検出センサ１５の出力（検出された指示方位角）との差すなわち方位角度差θｄを演算する。本実施の形態では、基準方位決定スイッチ１３、方位角度検出センサ１５及び方位角度差演算手段２３により、方位角度差検出手段２４が構成されている。この方位角度差検出手段２４は、音響再生装置３によって再生されて受聴者の目前に仮想で存在する複数の仮想音源によって構成される仮想音源空間内を指示する操作ユニット７の指示方位角θと基準方位角との間の方位角度差θｄを検出する。【００２７】
また基準方位決定スイッチ１３が操作された後は、所定のサンプリング周期で仰角角度検出センサ１７により検出された仰角φは、仰角角度差演算手段２１に入力される。仰角角度差演算手段２１は、予め定めた基準方位の基準仰角とヘッドフォンを装着した受聴者の頭部の仰角を検出する仰角角度検出センサ１７の出力（検出された仰角）との差すなわち仰角角度差φｄを演算する。本実施の形態では、基準方位決定スイッチ１３、仰角角度検出センサ１７及び仰角角度差演算手段２１により、仰角角度差検出手段２２が構成されている。この仰角角度差検出手段２２は、最初に基準方位角を定めるときの操作ユニット７の仰角を基準仰角として、この基準仰角と操作ユニット７の仰角との差を仰角角度差φｄとして検出する。そしてし仰角角度差検出手段２２は、基準方位角を定めたときの姿勢から操作ユニット７を上方に向けたときに現れる仰角角度差を正の仰角角度差とし、前記操作ユニット７を下方に向けたときに現れる仰角角度差を負の仰角角度差として出力する。【００２８】
仰角角度差演算手段２１の出力φｄと方位角度差演算手段２３の出力θｄは、角度範囲決定手段２５に入力される。角度範囲決定手段２５は、操作ユニット７が指している指示方位角θを中心にして所定の方位角度範囲を設定する。角度範囲決定手段２５は、操作ユニット７に設けられた絞り込みスイッチ１９からの指令に応じて方位角度範囲を設定する。本実施の形態では、角度範囲決定手段２５と絞り込みスイッチ１９とから角度範囲設定手段２６が構成されている。絞り込みスイッチ１９から積極的に絞り込み指令が入力されていない場合、角度範囲設定手段２６は、仰角角度差演算手段２１の出力φと方位角度差演算手段２３の出力θｄを、そのままミキシング手段５のチャンネル選択手段２９に出力する。【００２９】
仰角角度差演算手段２１の出力φと方位角度差演算手段２３の出力θが、そのまま入力された場合、ミキシング手段５は、後述する事項を実現するように、音響信号チャンネル記憶手段２７の複数の音響信号チャンネルから供給される複数の音響信号の音量調整と位相調整とを行い、これら複数の音響信号をミキシングして出力する。例えば、仰角角度差演算手段２１から入力される仰角角度差φｄが０であると仮定して、方位角度差演算手段２３の出力θｄがミキシング手段５に入力されている場合を考える。この場合において、方位角度差が０度のときには、チャンネル選択手段２９は、複数の音響信号チャンネルから供給される複数の音響信号をすべてそのままミキシング部３１へと供給する。【００３０】
また方位角度差θｄが０度以外のときには、ミキシング手段５は、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作る。すなわち操作ユニット７であるヘッドフォンを装着した受聴者が、頭部を回転しても、仮想音源の位置が移動しないように、ヘッドフォンの左右の出力のバランスを調整して、常に複数の仮想音源が仮想空間内の同じ位置に存在するようにする。この固定技術の詳細は、特開平２−２５９００号公報[特許文献３]等の複数の公知文献に記載されているので説明を省略する。またこの場合には、チャンネル選択手段２９は、方位角度差θｄによって特定される指示方位角の方向に位置する１以上の仮想音源を選択して、ミキシング部３１に選択された仮想音源を指定する指令を出力する。具体的には、後述するようにチャンネル選択手段２９は、方位角度範囲が設定されると、指示方位角と複数の仮想音源の方位角θnとの方位角度差θn´を求める。そして方位角度差θn´から方位角度範囲内にある１以上の仮想音源に対応する１以上の音響信号チャンネルを選択する。そしてミキシング部３１は、チャンネル選択手段２９により選択された１以上の音響信号チャンネルの１以上の音響信号の音量を、選択されていない他の音響信号チャンネルの音響信号の音量よりも大きくするように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行う。そしてミキシング部３１は、チャンネル選択手段２９により選択された１以上の仮想音源の音響信号の音量を、方位角度差θｄが０度のときの１以上の仮想音源の音響信号の音量よりも大きくし、他の仮想音源の音量はそのまま維持して（または音量を０にして）ミキシングを行う。仮想音源の音量を大きくするためには、選択されたチャンネルの音響信号の増幅率を大きくすればよい。どの程度増幅率を大きくするかは任意に定めればよい。【００３１】
このようにすると、受聴者が操作ユニット７を用いて、複数の仮想音源が存在する仮想音源空間内を指すと、方位角度差検出手段２４が基準方位角に対する指示方位角θとの間の方位角度差を検出する。そしてミキシング手段５は、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作る。そしてミキシング手段５は、操作ユニット７を用いて指した指示方位角θの方向に位置する１以上の仮想音源の音量を、方位角度差が０度のときの該１以上の仮想音源の音量よりも大きくする。このようにすることにより、複数の仮想音源を移動させることなく、受聴者が指示した指示方位角の方向にある仮想音源即ち受聴者が聞きたいパート（楽器）の音量を簡単に大きくすることが実現できる。したがって複雑なミキシング技術を知らない受聴者でも、操作ユニット７で方向を指し示すだけで、所定のパート（仮想音源）の音量を増減することができる。なお音量を下げる場合には、操作ユニット７で指し示す方向を別の方向（例えば基準方位角）に向ければよい。【００３２】
次に、方位角度差演算手段２３から出力される方位角度差が変動しないと仮定して、角度範囲決定手段２５に入力される仰角角度差演算手段２１が出力する仰角角度差が変動する場合を考える。仰角角度差検出手段２２は、基準方位角を定めたときの姿勢から操作ユニット７を上方に向けたときに（受聴者の頭を上に向けたときに）現れる仰角角度差を正の仰角角度差＋φｄとし且つ操作ユニット７を下方に向けたときに（受聴者の頭を下に向けたときに）現れる仰角角度差を負の仰角角度差−φｄとして出力する。この場合、チャンネル選択手段２９は、前述と同様に、方位角度演算手段２３によって演算された方位角度差θｄにより定まる指示方位角θの方向に並ぶ複数の仮想音源の音響信号チャンネルを選択する。そしてミキシング部３１は、例えば仰角角度差検出手段が正の仰角角度差＋φｄを出力しているときには、指示方位角θの方向に並ぶ複数の仮想音源の音量を、仰角角度差＋φｄに比例して、操作ユニット７から離れる仮想音源ほど大きくなるようにする。またミキシング部３１は、仰角角度差検出手段２２が負の仰角角度差−φｄを出力しているときには、指示方位角θの方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して、操作ユニット７から離れる仮想音源ほど小さくなるようにする。このようにすると操作ユニット７の仰角を変えることによって、指示方位角θの方向に並ぶ複数の仮想音源の音量を選択的に大きくしたり、小さくしたりすることができる。このようにしても特定の仮想音源に集中して音を聞くことが可能になる。【００３３】
通常は、仰角角度差演算手段２１の出力φｄと方位角度差演算手段２３の出力θｄの両方が角度範囲決定手段２５に入力されるため、これら二つの出力によって指示方位角の方向に並ぶ複数の仮想音源の音量を選択的に大きくしたり、小さくしたりする。【００３４】
角度範囲決定手段２５に絞り込みスイッチ１９から角度範囲を設定する指令が入力されると、角度範囲決定手段２５は、仰角角度差演算手段２１の出力φｄと方位角度差演算手段２３の出力θｄを基準にして角度範囲の絞り込みを行う。そしてミキシング手段５は、設定された方位角度範囲内にある１以上の仮想音源の音量を、方位角度差が０度のときの１以上の仮想音源の音量よりも大きくする。また同時に、ミキシング手段５は、方位角度範囲外の他の仮想音源の音量を、方位角度範囲内にある１以上の仮想音源の音量よりも小さくするように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行う。【００３５】
角度範囲決定手段２５は、絞り込みスイッチ１９が絞り込み方向に操作されると、方位角度範囲を小さくし、絞り込みスイッチ１９が開放方向に操作されると、方位角度範囲を大きくするように構成されている。例えば、絞り込みスイッチ１９の操作量に比例して、方位角度差θｄ±αのα値を設定する。絞り込みスイッチ１９が操作されていないときには、特にαは設定されず、指定方位を中心にして全ての仮想音源からの音が聞ける状態になっている。そして絞り込みスイッチ１９が操作されると、全ての仮想音源からの音が聞ける状態から、操作量に比例して（逆比例の関係で）αの値が小さく設定される。そしてこの角度範囲内に入る仮想音源の音響信号の音量だけを大きし、この角度範囲外の仮想音源の音響信号の音量を小さくする。【００３６】
絞り込みスイッチ１９の絞り込み操作量が大きくなるほど、αの値が小さくなって方位角差θ±α及び仰角角度差φｄで決まる絞り込まれた一領域の位置にある仮想音源の音量だけが大きくなり、その周囲の仮想音源の音量は小さくなる。このような絞り込みスイッチ１９を設けると、絞り込みスイッチ１９の操作だけで、角度範囲を絞り込んで、特定の仮想音源の音量だけを簡単に調整することができる。なおこの絞り込みスイッチ１９は、ばね機構などにより自動的に開放方向に操作される構造を有しているのが好ましい。このようなばね機構が設けられていると、絞り込みスイッチ１９を開放状態にする際には、手を離すという動作だけを行えばよく、操作が簡単になる。なおこの種の絞り込みスイッチ１９としては、例えば、操作されるレバーに加わる力δ（操作用に比例する曲げ強さ）を測定する力センサまたは曲げセンサを内蔵したものを用いることができる。また可変抵抗器と操作レバーとが組み合わされて構成され、可変抵抗器のスライダの位置で操作量を測定する構造のセンサを用いたスイッチの検出部に用いることもできる。操作量を測定するためのセンサは、特に限定されるものではなく、種々のセンサを利用することができるのは勿論である。【００３７】
図２は実際に使用するセンサ付きのヘッドフォンである。図２には、絞り込みスイッチ１９、方位角度検出センサ１５及び仰角角度検出センサ１７が取りつけられている部分に符号を付してある。このようにヘッドフォンの本体を用いて操作ユニット７のユニット本体として利用すると、受聴者の頭の回転と頭の仰角によって、音源が指定できるため、受聴者が聞きたいと思う仮想音源に向かって顔を向け、頭を上下に傾ける動作をするだけで、所望の仮想音源の音量を上げたり下げたりすることができる。またヘッドフォンに絞り込みスイッチ１９を設けると、手を耳にかざして音を良く聞こうとする動作と同じ動作をして絞り込みスイッチ１９を操作することにより、音量を上げることができる。したがって自然な動作で音量調整をすることができる。【００３８】
また方位角度検出センサ１５及び仰角角度検出センサ１７としてどのようなセンサを用いるかは任意である。例えば、電子コンパス、ジャイロセンサ、三軸方向の傾斜を検出することができる傾斜センサまたは加速度センサを用いると、方位角度検出センサ１５及び仰角角度検出センサ１７を１つのセンサで構成することができる。【００３９】
次に上記実施の形態をパーソナル・コンピュータを用いて具体的に実現する場合の方法及びプログラムについて説明する。なお以下の説明では、方位角度検出センサ１５及び仰角角度検出センサ１７を電子コンパスにより構成している。以下に説明する具体例では、音源の位置（仮想音源の位置）と受聴者の頭の正面との角度差（方位角の差）を電子コンパスで測定し、その角度差によって、各音源の音量、位相（左右から出る音の割合）を変化させる。また受聴者の頭の仰角を電子コンパスで測定し、仰角が大きいほど、遠くに配置した音源のミキシングの音量を大きく、近くに配置した音源のミキシングの音量を小さくする。そしてヘッドフォンに搭載されている曲げセンサ（絞り込みスイッチ１９に搭載されているセンサ）が耳元に添えた手の動きを測定し、指向性を変化させる。絞り込みスイッチ１９を曲げると、正面に配置した音のミキシングの音量が大きくなり、正面に対して横、後に配置した音のミキシングの音量が小さくなる。【００４０】
図３は、コンピュータにインストールされて本発明の方法を実施し且つ本発明のミキシング装置を実現するプログラムのアルゴリズムを示すフローチャートである。電子コンパスによって構成される方位角度検出センサ１５と仰角角度検出センサ１７の出力（アナログ信号）は、Ａ／ＤコンバータでＡ／Ｄ変換し、コンピュータに入力される。コンピュータは、仮想音源の位置を算出し、音量、位相を決定し、仮想音源の音響信号をミキシングして出力する。【００４１】
使用する電子コンパスは、方位角と、仰角を同時に測定することができるもので、指示方位角θ、指示仰角φの値は、Ａ／Ｄコンバータで０から１２７の数値に置き換えられてコンピュータに取り込まれる。以下の説明では、角度の単位はラジアンを用い、-π≦θ<π、-π≦φ<πとして説明する。ただし以下の説明では、仰角φ、方位角θは受聴者が初期状態で向いている方向を０とするものである。したがって以下の説明では、指示仰角φ及び指示方位角θは、前述の基準方位角との間の仰角角度差φｄ及び方位角度差θｄと一致する。【００４２】
また絞り込みスイッチ１９に用いられる曲げセンサの出力もＡ／Ｄコンバータで０から１２７の数値に置き換えられてコンピュータに取り込まれる。コンピュータ上では、曲げの強さを０から１までの値に正規化して用いる。以下の説明では、曲げ強さを0≦δ≦1（０のとき：レバーが曲げられていない状態、１のとき：レバーが強く曲げられている状態）として説明する。【００４３】
また音源としては、各パートの音を録音して得た複数の音響チャンネルの音響信号を用いるものとする。以下の説明では、クラシックのパートごとの音を録音して音響チャンネルとして使用するものとする。そして事前に、各音源の信号レベルは同じレベルに調節しておくものとする。そして以下の説明では、各音源の信号をＳｎとする。ｎは何番目の信号であるかを示す。【００４４】
視覚により確認できるようにするために、この例ではそれぞれの音源の位置を２次元の仮想空間上に配置する。すなわちこの配置図は何種類か用意して切り替えて使用してもよい。例えば図４は、受聴者がクラシックの指揮者の位置にいる状況を作った場合の配置図の一例を示している。図４において○の記号の中に示された数字は、下記の楽器の仮想音源であることを示している。【００４５】
1： 第一バイオリン、2：  第二バイオリン、3：  チェロ、4：ビオラ、5：  ハープ
6：ホルン、7：クラリネット、8：オーボエ、9：コントラバス、10：パーカッション
11：トランペット、12：トロンボーン、13：チューバ、14：観客の声、拍手
図４において、中心の黒い丸の記号●が自分の位置、そして矢印が現在向いている方向（指示方位角）を示す。各仮想音源から中心（受聴者の位置）までの距離をｌn、各仮想音源が配置されている方位角をθnとする。なおθnの単位は度、ｌnは相対的な値なので単位はない。一番遠くに配置した音源までの距離を１として正規化する（０≦ｌn≦１）。図５は、この正規化をイメージで示す図である。図５において、○の中に数字１，２，３が入った表記が仮想音源の位置を示している。そして中央の丸い図形が受聴者の位置である。【００４６】
実際的には、図４の配置図に示されるように、仮想音源の配置の良し悪しは、ミキシング結果の良し悪しに影響される。なおこの音源の配置は、準備する複数の音響信号チャンネルを作成する際に行われている。図３のフローチャートにおける、ステップＳＴ１の「音源の配置」は、音響再生装置３で音響信号を再生して受聴者の前また周囲に音源を配置することを意味する。【００４７】
図３のステップＳＴ２では、基準方位決定スイッチ１３が押されたか否かが判定される。そして基準方位決定スイッチ１３が押されている場合には、ステップＳＴ３で、操作ユニット７が向いている方位（ヘッドフォンを装着した受聴者が向いている方位）が、正面と設定される（即ち基準方位角及び基準仰角とが決定される）。初期段階では、必ずステップＳＴ３が実行される。なお途中で基準方位角を変更することも可能である。【００４８】
次にステップＳＴ４で、操作ユニット７により指すことにより定まる指示方位角θにおける操作ユニット７の仰角が変わっているか否かが検出される。仰角φが変わっていれば、ステップＳＴ５へと進む。ステップＳＴ５では、基準方位を定めるときの操作ユニット７の仰角を基準仰角として、基準仰角と操作ユニット７の仰角との差を仰角角度差φｄとして検出する。この場合、基準方位角を定めたときの姿勢から操作ユニット７を上方に向けたときに現れる仰角角度差φｄを正の仰角角度差とし且つ操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差φｄとする。そしてステップＳＴ５では仰角による各音源の増幅率ｈnφが算出される。具体的には、電子コンパスから得られる仰角φに応じて、各音源ｎの増幅率即ち増幅比（減衰比）ｈnφ(０≦ｈnφ≦１)を算出する。増幅率ｈnφの計算は、例えば下記の（１）式に従って定めることができる。
【数１】
2006137400.tif 000002
【００４９】
この式は、仰角が正の場合（仰角が基準仰角よりも大きくなる場合）、遠くに配置した音源では増幅率が大きな値を示し、近くに配置した音源では増幅率が小さな値を示す関数となる。また仰角が負の場合（仰角が基準仰角よりも小さい場合）には、遠くに配置した音源では増幅率は小さな値となり、近くに配置した音源では増幅率が大きな値となる。すなわちこれは正の仰角角度差φｄが検出されているときには、指示方位角θの方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して大きくする。すなわち、操作ユニット７と仮想音源との間の距離に比例して、その仮想音源の音量（増幅率）が大きくなる。また、負の仰角角度差φｄが検出されているときには、指示方位角θの方向に並ぶ複数の仮想音源の音量を、仰角角度差φｄに比例して小さくする。すなわち、操作ユニット７と仮想音源との間の距離に比例して、その仮想音源の音量（増幅率）が小さくなる。【００５０】
図６（Ａ）は、正の仰角角度差が検出されている場合における、３つの仮想音源と受聴者（操作ユニット７）との位置関係と増幅率との関係を示している。仮想音源の増幅率ｈnφが操作ユニットから離れる仮想音源ほど大きくなる（０．６３→０．９３→１．３７）ことを示している。図６（Ｂ）は、正の仰角角度差が検出されている場合における距離ｌと増幅率ｈnφとの関係を示すグラフである。図７（Ａ）は、負の仰角角度差が検出されている場合における、３つの仮想音源と受聴者（操作ユニット７）との位置関係と増幅率との関係を示している。仮想音源の増幅率ｈnφが操作ユニット７から離れる仮想音源ほど小さくなる（１．３７→０．９３→０．６３）ことを示している。図７（Ｂ）は、負の仰角角度差が検出されている場合における距離ｌと増幅率ｈnφとの関係を示すグラフである。【００５１】
次にステップＳＴ６では、操作ユニット７で指示している方位が変更されたか否かを判定する。そして方位角が変化している場合にはステップＳＴ８へと進み、方位角が変化していない場合にはステップＳＴ７へと進む。ステップＳＴ７では、絞り込みスイッチ１９が操作されて絞り込み操作が行われたか否かを判定する。ステップＳＴ７では絞り込みスイッチ１９の曲げセンサが操作されたか否かでこの判定を行っている。ステップＳＴ７では、絞り込みの角度範囲を絞り込みスイッチ１９の絞り込み量（曲げセンサの曲げ強さδ）から判定する。【００５２】
ステップＳＴ７で、絞り込みスイッチ１９が操作されて、絞り込み量の調整変更（曲げセンサの曲げ強さδの変更）が行われると、絞り込みスイッチ１９の操作量に比例する曲げセンサの強さδが測定される。ステップＳＴ８では、曲げセンサの強さδを受けて、曲げセンサから得られる、曲げ強さδに応じて各音源の増幅率ｈnδを算出する。増幅率ｈnδは、０または１のいずれかの値をとる関数である。曲げセンサが曲がってない状態では、すべての音源に対して増幅率ｈnδは１を示すものとなる。そして曲げセンサが曲がると、絞り込み量に応じて、角度範囲が絞り込まれ（指向性が変化し）、増幅率ｈnδ＝１を示す部分が次第に少なくなる。そして絞り込みスイッチを最も強く押すと、受聴者が向いて定まる指示方位角の方向に配置した音源でのみ、増幅率ｈnδ＝１を示すようになる。【００５３】
増幅率ｈnδの値は、例えば下記の式（２）で定めることができる。
【数２】
2006137400.tif 000003
【００５４】
ただし、上記式においてθn´（−π≦θn´＜π）は、各音源の方位角θnと指示方位角θとの間の角度差である。【００５５】
たとえば、θ＝30°、δ＝0.5の場合では、図８のように、そのとき受聴者が向いている方向の後ろ半分の領域に配置した音源でｈnδ＝0、前半分に配置した音源でｈnδ＝１となる。これにより不要な音を削除することができる。図９は、受聴者の周囲に１１個の仮想音源を配置した場合において、絞り込みスイッチ１９を強く押したときの（θ＝30°、δ＝0.９）音が聞こえる領域を示している。この状態では、仮想音源６の音だけが聞こえ、その他の仮想音源からの音は不要な音として削除される。【００５６】
次にステップＳＴ９へと進む。ステップＳＴ９では、電子コンパスから得られる指示方位角θに応じて各音源の増幅率ｈnθを算出する。増幅率ｈnθは受聴者が向いている指示方位角θの方向に並んで配置されている音源では大きな値を、そうでない方向に配置されている音源では小さな値を示す関数である。このような関数は、例えば下記の（３）式で定めることができる。
【数３】
2006137400.tif 000004
【００５７】
なお上記式においては、前述の絞り込みスイッチ１９の曲げセンサの曲げ強さδが考慮されており、曲げ強さδが強くなるほど、すなわち絞込み量が多くなるほど（曲げ強さ又は絞り込み量に比例して）、指向性が強まる。その結果、指示方位角θの方向に配置されている音源の音量が大きくなるようになっている。図１０は、上記（３）式により定まる各仮想音源の増幅率ｈnθの違いを図示している。図１０から判るように指示方位角θの方向に並ぶ仮想音源の増幅率が一番大きく、指示方位角θの方向から離れるに従って（指示方位角θと周囲の仮想音源の方位角との間の方位角度差に比例して）、増幅率が小さくなっている。【００５８】
次にステップＳＴ１０へと進み各音源との方位角度差θn´に応じて左右の音量の音量比Ｐｎを算出する。すなわち位相調整が実施される。電子コンパスから得られる指示方位角θに応じて、各音源の定位即ち音量比Ｐｎ（０≦Ｐｎ≦１）を算出する。定位（音量比）Ｐｎが０のとき、その音源の右の音と左の音の比率は０：１、定位（音量比）Ｐｎが０．５のとき、その音源の右の音と左の音の比率は１：１、定位（音量比）Ｐｎが１のときその音源の右の音と左の音の比率は１：０とする。この音量比は、下記の（４）式により定める。
【数４】
2006137400.tif 000005
【００５９】
上記（４）式により各仮想音源の音量比を定めることにより位相調整がなされて、受聴者が頭を回転しても、その回転と一緒に仮想音源が移動することはなくなる。図１１は、上記（４）式に基づいて求めた各仮想音源の音量比の一例を示す図である。図１１に示されるように、指示方位角の方向にある仮想音源２の音量比が０．５となっている。【００６０】
次にステップＳＴ１１に進んで、ヘッドフォンの左右の音量を算出する。すなわちすべての仮想音源の信号を加算しヘッドフォンから出力する。その際に、ステップＳＴ５、ステップＳＴ８及びステップＳＴ９で求めた各増幅率を乗算する。【００６１】
ヘッドフォンの右側の出力は以下のとおりに計算される。
【数５】
2006137400.tif 000006
【００６２】
またヘッドフォンの左側の出力は以下のとおりに計算される。
【数６】
2006137400.tif 000007
【００６３】
上記計算は、ミキシング手段５によって実行される。図１２は、ミキシング手段５で実行している増幅率の乗算イメージを図で示している。図１２において３段階に並ぶ３つの「×ｈ１」は、仮想音源１の上記各ステップＳＴ５、ステップＳＴ８及びステップＳＴ９で求めた増幅率である。そして最終段の「×」及び「×１−」は、上記ステップ１０における左右の音量比をヘッドフォンの左右の出力に乗算することを意味している。そして最後の「Σ」がすべての仮想音源の音響信号に増幅率及び音量比を乗算した乗算信号を加算することを意味している。【００６４】
図１３（Ａ）乃至（Ｃ）は、上記のミキシング装置を用いてミキシングを行っているときの仮想音源１〜１１（各図中の左側の図）の音量の変化を、ミキシング装置の増幅率決定レバー（各図中の右側の図）の位置に置き換えて概念的に示す図である。これらの図において、増幅率決定レバーが上に位置するほど音量が大きいことを示す。図１３（Ａ）に示すように、絞り込みスイッチ１９が押されていないとき（δ＝０）には、すべての仮想音源１〜１１の音が聞こえている。そして図１３（Ｂ）に示すように、絞り込みスイッチ１９を弱く押したとき（δ＝０．６）には、仮想音源３の周辺の仮想音源の音が聞こえている。さらに図１３（Ｃ）に示すように、絞り込みスイッチ１９を強く押すと、仮想音源２と仮想音源３の音だけが聞こえるようになる。これらの図から判るように、本実施の形態によれば、絞り込みスイッチ１９の操作量に応じて、任意の仮想音源の音だけを聞くことが可能になる。【００６５】
上記実施の形態によれば、ヘッドフォンを着けた受聴者が右側を向くと右側に配置した音源の音量が大きく聞こえるようになり、左側を向くと、左側に配置した音源の音量が大きく聞こえるようになる。たとえば、３人のギタリストによる演奏の場合には、通常のヘッドフォンで聞くと、誰がどのパートを演奏しているか判りにくい。しかしながら、上記実施の形態によれば、ヘッドフォンを着けた受聴者の首を左右に振れば、一人のギタリストの演奏を大きく聞こえるようにすることが可能になり、それぞれの演奏者の演奏に注聴することができる。また受聴者がヘッドフォンを着けて上のほうを向くと、遠くに配置した音源の音量が大きく聞こえるようになり、下を向くと、近くに配置した音源の音量が大きく聞こえるようになる。【００６６】
またヘッドフォンに搭載している絞り込みスイッチ１９を操作して操作量を大きくすると、指示方位角の方向に配置された音源の音量が大きくなり、横、後ろに配置された音源の音量が小さくなる。したがって例えば、周囲が煩い場合でも、聴きたい音の方向を向き、絞り込みスイッチ１９を操作するために耳に手をかざすと、その音が良く聞こえるようになる。具体的には、受聴者の周囲に複数の仮想音源を配置した場合には、以下のようなことが可能となる。【００６７】
・絞り込みスイッチ１９（曲げセンサ）を使わない場合には、３６０°すべての音源の音が聞こえる。【００６８】
・絞り込みスイッチ１９（曲げセンサ）を弱く押すと、だんだん後ろの音が聞こえなくなる。たとえば、真横から後ろの音が聞こえなくなる。【００６９】
・曲げセンサを強く押すと、指定方位（受聴者の正面）の音だけが聞こえるようになる。【００７０】
上記実施の形態では、操作ユニット７の本体としてヘッドフォンを用いている。しかしながら、操作ユニット７の本体としては、受聴者によって操作されるものであれば、どのようなものでも利用できる。図１４は、家庭用のステレオ・オーディオ機器等の音響再生装置のリモートコントローラ３３を操作ユニットとして用いる場合の概念を示す図である。リモートコントローラ３３の内部には、方位角度検出センサ及び仰角角度検出センサが配置されており、リモートコントローラ３３の操作スイッチの一部が基準方位決定スイッチと絞り込みスイッチとして用いられる。【００７１】
この場合には、左右のスピーカ３２Ｌ及び３２Ｒから音が出されて、受聴者の前に仮想音源が現れている。例えば図１５に示すように、リモートコントローラ３３を所望の仮想音源（キーボード）に向け、絞り込みスイッチを強く押すことによって指定方位が設定されて、指定方位にある仮想音源の音だけを聞くことが可能になる。【００７２】
また図１６は、表示画面兼入力画面を備えたＰＤＡ等の携帯端末４１を操作ユニット７の本体として用いる場合の例を示している。このような携帯端末４１を用いる場合にも、その内部には方位角度検出センサ１５及び仰角角度検出センサ１７が配置されている。そして携帯端末４１の画面上には、各仮想音源の存在が明示される。図１７に示すように携帯端末４１をある仮想音源の方向に向けると、その指示方位角の方向にある１以上の仮想音源の表示が他の仮想音源の表示とは変わる。例えば、点滅したり、明るく点灯することになる。そして絞り込みスイッチＳＷ２を押す回数によって、スイッチの操作量を変えることにより、特定の仮想音源への絞り込みが行われる。
【産業上の利用可能性】
【００７３】
本発明によれば、複雑なミキシング技術を知らない受聴者でも、操作ユニットで方向を指し示すだけで、所定のパートの音量を増減することができる。
【図１】
2006137400.tif 000008
【図２】
2006137400.tif 000009
【図３】
2006137400.tif 000010
【図１２】
2006137400.tif 000011
【図１４】
2006137400.tif 000012
【図１５】
2006137400.tif 000013
【図１６】
2006137400.tif 000014
【図１７】
2006137400.tif 000015
【図４】
2006137400.tif 000016
【図５】
2006137400.tif 000017
【図６】
2006137400.tif 000018
【図７】
2006137400.tif 000019
【図８】
2006137400.tif 000020
【図９】
2006137400.tif 000021
【図１０】
2006137400.tif 000022
【図１１】
2006137400.tif 000023
【図１３】
2006137400.tif 000024
【手続補正書】
【提出日】平成19年4月20日(2007.4.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
受聴者の周囲に複数の仮想音源を作り出す音響再生装置に対して、前記複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして出力するミキシング手段を有するミキシング装置であって、
前記受聴者が頭に装着するヘッドフォンをユニット本体として構成されて前記受聴者により操作される操作ユニットと、
前記操作ユニットに設けられて、予め定めた基準方位角と前記受聴者が前記操作ユニットを用いて前記複数の仮想音源が存在する仮想音源空間内を指すことにより定まる指示方位角との間の方位角度差を検出する方位角度差検出手段と、
前記指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定手段と、
前記基準方位角を定めるときの前記操作ユニットの仰角を基準仰角として、前記基準仰角と前記操作ユニットの仰角との差を仰角角度差として検出し、前記基準方位角を定めたときの姿勢から前記操作ユニットを上方に向けたときに現れる仰角角度差を正の仰角角度差とし且つ前記操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差として出力する仰角角度差検出手段とを具備し、
前記ヘッドフォンに前記方位角度差検出手段に用いられる方位角度検出センサと、前記仰角角度差検出手段に用いられる仰角角度検出センサと、前記角度範囲選定手段の操作部とが少なくとも実装されており、
前記角度範囲設定手段は、前記ヘッドフォンに設けた前記操作部としての絞り込みスイッチが絞り込み方向に操作されると、前記方位角度範囲を小さくし、前記絞り込みスイッチが開放方向に操作されると、前記方位角度範囲を大きくするように構成され、
前記ミキシング手段は、
前記方位角度差が０度のときには、前記複数の音響信号チャンネルから供給される前記複数の音響信号をそのままミキシングして出力し、
前記方位角度差が０度以外のときには、前記基準方位角を基準にして前記複数の仮想音源の位置を固定した状態を作り、且つ前記指示方位角の方向に位置する１以上の前記仮想音源の音量が、前記方位角度差が０度のときの前記１以上の仮想音源の音量よりも大きくなるように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整と位相調整とを行ってミキシングした後出力し、
前記方位角度範囲が設定されると、前記方位角度範囲内にある１以上の前記仮想音源の音量を、前記方位角度差が０度のときの前記１以上の仮想音源の音量よりも大きくし、しかも前記方位角度範囲外の他の前記仮想音源の音量を、前記方位角度範囲内にある前記１以上の仮想音源の音量よりも小さくするように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整を行い、
前記仰角角度差検出手段が前記正の仰角角度差を出力しているときには、前記指示方位角の方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に比例して大きくし、前記仰角角度差検出手段が前記負の仰角角度差を出力しているときには、前記指示方位角の方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に比例して小さくするように、前記指示方位角の方向に並ぶ複数の前記仮想音源に対応する前記複数の音響信号チャンネルの前記複数の音響信号の音量調整を行うように構成されているミキシング装置。
【請求項２】
（削除）
【請求項３】
前記ミキシング手段は、前記方位角度範囲が設定されると、前記指示方位角と前記複数の仮想音源の方位角との方位角度差を求め、前記方位角度差から前記方位角度範囲内にある１以上の前記仮想音源に対応する１以上の前記音響信号チャンネルを選択するチャンネル選択手段と、
前記チャンネル選択手段により選択された前記１以上の音響信号チャンネルの前記１以上の音響信号の音量を選択されていない他の音響信号チャンネルの前記音響信号の音量よりも大きくするように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整を行うミキシング部とからなることを特徴とする請求項１に記載のミキシング装置。
【請求項４】
（削除）
【請求項５】
（削除）
【請求項６】
（削除）
【請求項７】
前記絞り込みスイッチは、前記ヘッドフォンの左右のスピーカの少なくとも一方の外側に装着され、前記受聴者の手を前記スピーカに近づける動きをすることにより前記絞り込み方向への操作が行われ、前記受聴者の手を前記スピーカから離すことにより自動的に前記開放方向への操作が行われる構造を有している請求項１に記載のミキシング装置。
【請求項８】
（削除）
【請求項９】
前記方位角度検出センサ及び前記仰角角度検出センサが、電子コンパスによって構成されている請求項１に記載のミキシング装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
しながらこの技術では、音量をコントロールするために音源若しくは聴取者の位置を変化させる必要があり、一般のユーザ（受聴者）が自分の聴きたいパートを近くに配置して音量を上げたり、自分の聴きたくないパートを遠くに配置して音量を下げたりする操作を、演奏を聴きながら行うことが困難である。
［０００６］
また従来、ヘッドフォンにジャイロセンサ（加速度センサ）を搭載した製品もあったが、それらは、頭の傾きに合わせて音の方向を微調整することにより、頭を振ることによる音場の乱れ（頭をある方向に動かすと、音源も同じ方向に動いたように感じること）を防ぐことが目的であり、センサから得られる情報を用いて各音源の音量、定位を変更しミキシングを行う本発明とは本質的に異なる。例えば、特開平２−３５９００号公報［特許文献３］等には振動ジャイロを受聴者が装着するヘッドフォンに装着して、受聴者の頭部の回転を検出し、検出した回転に伴って左右の音量を調整することにより、受聴者の頭部が回転しても音源が空間の一点に固定されるようにして、臨場感を増大させる技術が示されている。また特開平８−９４９０号公報［特許文献４］等にはヘッドフォン本体に取りつけたマイクロフォンにより頭部の回転角度を検出する技術が開示されている。さらに特開平９−２０５７００号公報［特許文献５］等にはヘッドフォンの頭の向きを検出するセンサをヘッドフォンに搭載する技術が開示されている。さらに特開平８−２３７７９０号公報［特許文献６］には、頭部の回転だけでなく、受聴者の向きや位置の情報を合わせて検出する技術が開示されている。
［０００７］
その他、左右の増幅率を独立に調節することの可能がアンプや、中央に定位する音を消す装置（ボーカルキャンセルマシン）では、ミックスダウン後の音楽の音量、定位を部分的に変更することはできても、ある特定の音源の音量、定位を自由に調節するという目的に使用することは困難であった。
特許文献１：特許第３６３３４５９号公報
特許文献２：特開２０００−６９６００号公報
特許文献３：特開平２−３５９００号公報
特許文献４：特開平８−９４９０号公報
特許文献５：特開平９−２０５７００号公報
特許文献６：特開平８−２３７７９０号公報
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
想音源空間内を指示すると、方位角度差検出手段が基準方位角に対する指示方位角との方位角度差を検出する。ミキシング手段は、基凖方位角を基準にして複数の仮想音源の位置を固定した状態を作る。そしてミキシング手段は、操作ユニットを用いて指示した指示方位角の方向に位置する１以上の仮想音源の音量を、方位角度差が０度のときの該１以上の仮想音源の音量よりも大きくする。このようにすることにより、複数の仮想音源を移動させることなく、受聴者が指示した方位にある仮想音源即ち受聴者が聞きたいパート（楽器）の音量を簡単に大きくすることができる。したがって、複雑なミキシング技術を知らない受聴者でも、操作ユニットで方向を指し示すだけで、所定のパートの音量を増減することができる。音量を下げる場合には、操作ユニットで指し示す指示方位角を別の方向（例えば基準方位角）にすればよい。
［００１２］
また操作ユニットが指している指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定手段を更に設けてもよい。この場合には、ミキシング手段を、方位角度範囲が設定されると、方位角度範囲内にある１以上の仮想音源の音量を、方位角度差が０度のときの１以上の仮想音源の音量よりも大きくし、しかも前記方位角度範囲外にある他の仮想音源の音量を、方位角度範囲内にある１以上の仮想音源の音量よりも小さくするように（音量を０にする場合を含む）、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行うように構成する。このようにすると、所定の角度範囲に入る特定の仮想音源の音量だけを増大させて、その周囲の他の仮想音源の音量を小さくすることにより、明瞭に所望の仮想音源の音を聞くことができる。
［００１３］
ミキシング手段は、チャンネル選択手段とミキシング部とから構成することができる。チャンネル選択手段は、方位角度範囲が設定されると、指示方位角と複数の仮想音源の方位角との方位角度差を求める。そして方位角度差から方位角度範囲内にある１以上の仮想音源に対応する１以上の音響信号チャンネルを、チャンネル選択手段は選択する。またミキシング部は、チャンネル選択手段により選択された１以上の音響信号チャンネルの１以上の音響信号の音量を、選択されていない他の音響信号チャンネルの音響信号の音量よりも大きくするように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行う。ミキシング手段をこのように構成すると、
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
指示方位角を基準にして、方位角度範囲内にある１以上の仮想音源を簡単に選択することができる。
［００１４］
なお角度範囲設定手段は、操作ユニットに設けた絞り込みスイッチを備えているのが好ましい。この場合、角度範囲設定手段は、絞り込みスイッチが絞り込み方向に操作されると、方位角度範囲を一緒に小さくし、絞り込みスイッチが開放方向に操作されると、方位角度範囲を大きくするように構成するのが好ましい。このような絞り込みスイッチを設けると、絞り込みスイッチの操作だけで、角度範囲を絞り込んで、特定の仮想音源の音量だけを簡単に調整することができる。なおこの絞り込みスイッチは、ばね機構などにより自動的に開放方向に操作される構造を有していてもよい。このようなばね機構が設けられていると、絞り込みスイッチの操作が簡単になる。
［００１５］
また基準方位角を定めるときの操作ユニットの仰角を基準仰角（ｒｅｆｅｒｅｎｃｅ  ｅｌｅｖａｔｉｏｎ  ａｎｇｌｅ）として、基準仰角と操作ユニットの仰角（ｅｌｅｖａｔｉｏｎ  ａｎｇｌｅ）との差を仰角角度差として検出する仰角角度差検出手段を設けることができる。この仰角角度差検出手段は、基準方位角を定めたときの姿勢から操作ユニットを上方に向けたときに現れる仰角角度差を正の仰角角度差とし且つ操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差として出力する。このような仰角角度差検出手段を設けた場合には、指示方位角の方向に並ぶ複数の仮想音源に対応する複数の音響信号チャンネルの複数の音響信号の音量調整を行って、次のことを達成できるようにミキシング手段を構成する。すなわちミキシング手段は、仰角角度差検出手段が正の仰角角度差を出力しているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して大きくする。すなわち、操作ユニットと仮想音源との間の距離に比例して、その仮想音源の音量（増幅率）が大きくなる。またミキシング手段は、仰角角度差検出手段が負の仰角角度差を出力しているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して小さくする。すなわち、操作ユニットと仮想音源との間の距離に比例して、その仮想音源の音量（増幅率）が小さくなる。このようにすると操作ユニットの仰角を変えることによって、指示方位角の方向に並ぶ複数の仮想音源の音量を選択的に大きくしたり、小さくしたりすることができる。このようにしても特定の仮想音源に集中して音を聞くことが可能になる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
［００１６］
操作ユニットは、受聴者が頭に装着するヘッドフォンをユニット本体として構成することができる。この場合には、ヘッドフォンに方位角度差検出手段に用いられる方位角度検出センサと、仰角角度差検出手段に用いられる仰角角度検出センサと、角度範囲設定手段の操作部とを少なくとも実装する。ヘッドフォンをユニット本体とすると、受聴者の頭の回転と頭の仰角によって、指定ができるため、受聴者が聞きたいと思う仮想音源に向かって顔を向け、頭を上下に傾ける動作をするだけで、所望の仮想音源の音量を上げたり下げたりすることができる。またヘッドフォンに前述の絞り込みスイッチを設けると、手を耳にかざして音を良く聞こうとする動作と同じ動作をして絞り込みスイッチを操作することにより、音量を上げることができる。したがって自然な動作で音量調整をすることができる。
［００１７］
また操作ユニットは、受聴者が手に持って操作するリモートコントローラをユニット本体として構成してもよい。この場合には、リモートコントローラに方位角度差検出手段に用いられる方位角度検出センサと、仰角角度差検出手段に用いられる仰角角度検出センサと、角度範囲設定手段の操作部とを少なくとも実装すればよい。このような操作ユニットを用いると、リモートコントローラで方位角を指示したり、仰角を指示することによりミキシングすることができるので、受聴者は楽な姿勢で頭部の位置を気にせずにミキシングをすることができる。
［００１８］
方位角度検出センサ及び仰角角度検出センサとしてどのようなセンサを用いるかは任意である。例えば、電子コンパス、ジャイロセンサ、三軸方向の傾斜を検出することができる傾斜センサまたは加速度センサを用いると、方位角度検出センサ及び仰角角度検出センサを１つのセンサで構成することができて、部品点数を少なくすることができる。
［００１９］
本発明のミキシング方法は、次の２つのステップにより構成される。まず最初のステップでは、予め定めた基準方位角と受聴者が操作ユニットを用いて複数の仮想音源が存在する仮想音源空間内を指している指示方位角との間の方位角度差を検出する。そして次のミキシングするステップでは、方位角度差が０度のときには、複数の音響信号チャンネルから供給される複数の音響信号をそのままミキシングして出力する。そして方位角度差が０度以外のときには、基準方位角を基準にして複数の仮想音
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
間の方位角度差θｄを検出する。
［００２７］
また基準方位決定スイッチ１３が操作された後は、所定のサンプリング周期で仰角角度検出センサ１７により検出された仰角φは、仰角角度差演算手段２１に入力される。仰角角度差演算手段２１は、予め定めた基準方位の基準仰角とヘッドフォンを装着した受聴者の頭部の仰角を検出する仰角角度検出センサ１７の出力（検出された仰角）との差すなわち仰角角度差φｄを演算する。本実施の形態では、基準方位決定スイッチ１３、仰角角度検出センサ１７及び仰角角度差演算手段２１により、仰角角度差検出手段２２が構成されている。この仰角角度差検出手段２２は、最初に基準方位角を定めるときの操作ユニット７の仰角を基準仰角として、この基準仰角と操作ユニット７の仰角との差を仰角角度差φｄとして検出する。そして仰角角度差検出手段２２は、基準方位角を定めたときの姿勢から操作ユニット７を上方に向けたときに現れる仰角角度差を正の仰角角度差とし、前記操作ユニット７を下方に向けたときに現れる仰角角度差を負の仰角角度差として出力する。
［００２８］
仰角角度差演算手段２１の出力φｄと方位角度差演算手段２３の出力θｄは、角度範囲決定手段２５に入力される。角度範囲決定手段２５は、操作ユニット７が指している指示方位角θを中心にして所定の方位角度範囲を設定する。角度範囲決定手段２５は、操作ユニット７に設けられた絞り込みスイッチ１９からの指令に応じて方位角度範囲を設定する。本実施の形態では、角度範囲決定手段２５と絞り込みスイッチ１９とから角度範囲設定手段２６が構成されている。絞り込みスイッチ１９から積極的に絞り込み指令が入力されていない場合、角度範囲設定手段２６は、仰角角度差演算手段２１の出力φと方位角度差演算手段２３の出力θｄを、そのままミキシング手段５のチャンネル選択手段２９に出力する。
［００２９］
仰角角度差演算手段２１の出力φと方位角度差演算手段２３の出力θが、そのまま入力された場合、ミキシング手段５は、後述する事項を実現するように、音響信号チャンネル記憶手段２７の複数の音響信号チャンネルから供給される複数の音響信号の音量調整と位相調整とを行い、これら複数の音響信号をミキシングして出力する。例えば、仰角角度差演算手段２１から入力される仰角角度差φｄが０であると仮定して、方位角度差演算手段２３の出力θｄがミキシング手段５に入力されている場合を考え
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
る。この場合において、方位角度差が０度のときには、チャンネル選択手段２９は、複数の音響信号チャンネルから供給される複数の音響信号をすべてそのままミキシング部３１へと供給する。
［００３０］
また方位角度差θｄが０度以外のときには、ミキシング手段５は、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作る。すなわち操作ユニット７であるヘッドフォンを装着した受聴者が、頭部を回転しても、仮想音源の位置が移動しないように、ヘッドフォンの左右の出力のバランスを調整して、常に複数の仮想音源が仮想空間内の同じ位置に存在するようにする。この固定技術の詳細は、特開平２−３５９００号公報［特許文献３］等の複数の公知文献に記載されているので説明を省略する。またこの場合には、チャンネル選択手段２９は、方位角度差θｄによって特定される指示方位角の方向に位置する１以上の仮想音源を選択して、ミキシング部３１に選択された仮想音源を指定する指令を出力する。具体的には、後述するようにチャンネル選択手段２９は、方位角度範囲が設定されると、指示方位角と複数の仮想音源の方位角θｎとの方位角度差θｎ´を求める。そして方位角度差θｎ´から方位角度範囲内にある１以上の仮想音源に対応する１以上の音響信号チャンネルを選択する。そしてミキシング部３１は、チャンネル選択手段２９により選択された１以上の音響信号チャンネルの１以上の音響信号の音量を、選択されていない他の音響信号チャンネルの音響信号の音量よりも大きくするように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行う。そしてミキシング部３１は、チャンネル選択手段２９により選択された１以上の仮想音源の音響信号の音量を、方位角度差θｄが０度のときの１以上の仮想音源の音響信号の音量よりも大きくし、他の仮想音源の音量はそのまま維持して（または音量を０にして）ミキシングを行う。仮想音源の音量を大きくするためには、選択されたチャンネルの音響信号の増幅率を大きくすればよい。どの程度増幅率を大きくするかは任意に定めればよい。
［００３１］
このようにすると、受聴者が操作ユニット７を用いて、複数の仮想音源が存在する仮想音源空間内を指すと、方位角度差検出手段２４が基準方位角に対する指示方位角θとの間の方位角度差を検出する。そしてミキシング手段５は、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作る。そしてミキシング手段５は、操
【国際調査報告】
2006137400.tif 000025
2006137400.tif 000026
2006137400.tif 000027
2006137400.tif 000028