(57)【要約】【課題】  遠隔地通信における対話において通信者双方の頭部が動作する場合など、口等の音源部や耳等の収音部が動く場合において、その動作の影響を反映した臨場感のある音を再現する方法及び装置を提供すること。【解決手段】  音声を発する音源部と音声を収音する収音部とを備えた通信体同士の通信において、その通信体の少なくとも一方が、収音部を音源部に対して相対的に固定したヘッドセット式の収音形態であっても、収音部を音源部に対して相対的に固定していないオープン式の収音形態での収音に相当する音声を再現する方法であって、話手側の通信体が空間的に動作をしたとき、その話手側通信体の音源部の空間的動作を示す情報を用いて、音源部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める逆頭部伝達関数によって、その話手側通信体の収音部で収音した音声を変換する。【選択図】  図２
2006066939.tif 000002
【特許請求の範囲】
【請求項１】
音声を発する音源部と音声を収音する収音部とを備えた通信体同士の通信において、その通信体の少なくとも一方が、収音部を音源部に対して相対的に固定したヘッドセット式の収音形態であっても、収音部を音源部に対して相対的に固定していないオープン式の収音形態での収音に相当する音声を再現する方法であって、
話手側の通信体が空間的に動作をしたとき、
その話手側通信体の音源部の空間的動作を示す情報を用いて、
音源部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める逆頭部伝達関数によって、
その話手側通信体の収音部で収音した音声を変換する
ことを特徴とする音響再現方法。
【請求項２】
聞手側の通信体が空間的に動作をしたとき、
その聞手側通信体の収音部の空間的動作を示す情報を用いて、
収音部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める頭部伝達関数によって、
話手側通信体から伝達された音声を変換する
請求項１に記載の音響再現方法。
【請求項３】
通信体が、人物であり、
空間的動作を、人物の頭部の略水平回転方位に回転する水平回転角（ヨー角）、前後回転方位に回転する前後回転角（ピッチ角）、左右回転方位に回転する左右回転角（ロール角）とで表現する
請求項１または２に記載の音響再現方法。
【請求項４】
音声を発する音源部と音声を収音する収音部とを備えた通信体同士の通信において、その通信体の少なくとも一方が、収音部を音源部に対して相対的に固定したヘッドセット式の収音形態であっても、収音部を音源部に対して相対的に固定していないオープン式の収音形態での収音に相当する音声を再現する装置であって、
話手側の通信体が空間的に動作をしたとき、
その話手側通信体の音源部の空間的動作を示す情報を計測して出力する音源部動作伝達手段と、
音源部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める逆頭部伝達関数によって、
その話手側通信体の収音部で収音した音声を変換する音声調整手段とを備える
ことを特徴とする音響再現装置。
【請求項５】
聞手側の通信体が空間的に動作をしたとき、
その聞手側通信体の収音部の空間的動作を示す情報を計測して出力する収音部動作伝達手段と、
収音部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める頭部伝達関数によって、
話手側通信体から伝達された音声を変換する音声調整手段とを備える
請求項４に記載の音響再現装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔地通信における対話において通信者双方の頭部が動作する場合など、口等の音源部や耳等の収音部が動く場合において、その動作の影響を反映した臨場感のある音を再現する方法及び装置に関する。
【背景技術】
【０００２】
臨場感のある音を再現する技術が進みつつある。
一般に、音源から発せられた音は、聞手の顔や耳介によって反射や回折された後に受聴される。この顔や耳介での反射や回折の影響は、音源と聞手の耳との位置関係によって特徴づけられる。音源と聞手の方位関係、音源から右耳への伝達特性、音源から左耳への伝達特性、これらを一組にしたもの、すなわち音源から人の外耳道入口までの音響特性を示すものとして、頭部伝達関数(HRTF:Head-Related Transfer Function)が知られている。
例えば、ヘッドホンでステレオ音楽を聴くと、聴手が頭部動作中であっても、それとは無関係に音像が頭の内部に定位してしまい不自然な感じを受ける。これは、頭部伝達関数の影響が考慮されていないためである。音を再生する際、この頭部伝達関数を正確に再現することができれば、任意の位置に音像を定位させることが可能となる。
【０００３】
音源信号と頭部伝達関数を畳み込むことによって、頭外に音像を定位させることが可能となり、立体的な音場を再生することが可能となる。頭外音像定位の評価法には、MOS評価法、一対比較法などが用いられているが、これらの評価法は被験者に大きく依存し、あいまいである。そこで聴覚マスキングを利用し、数値的に頭外音像定位を評価することが検討されている。
【０００４】
また、ステレオソースをヘッドホンで聞くときに、音像が頭の内部に位置してしまうことを抑える手段として、バイノーラル式の録音がある。
バイノーラル録音は、録音するときに人間の頭を模したダミーヘッドを用い、そのダミーヘッドの各耳にマイクを仕込んで録音する方法である。このようにして録音された音声をヘッドホンで再生すると、ダミーヘッドの耳が聴いた音が、左右の音が混ざり合うことなく、そっくりそのまま聞手の耳に届けられるため、臨場感を得ることができる。
【０００５】
しかし、録音に使用されるダミーヘッドと、再生に使用されるヘッドホンの組み合わせによっては、正確な周波数特性の再現ができなくなるという問題がある。また、ダミーヘッドと各聞手の頭や耳は、形状や材質が異なるため、各聞手に固有な聴取環境に適応させるのは困難である。
特に、頭部の回転効果が再現されない難点がある。ダミーヘッドは頭部運動などせず固定されたまま録音されるので、聞手が頭を回転させてもその動作は反映されず、音像も一緒に回転してしまい不自然な音になってしまう。
【０００６】
これを解消するために、聞手のリアルタイムの頭部動作を再現しながら録音する手段が検討されている。しかし、動作させるモータと方位を検知するセンサとを備えたロボットヘッドで録音する際に、ロボットの動作音を収録してしまうことが避けられない。また、この場合も、形状の異なる各聞手の頭に固有な聴取環境に適応させるのは難しい。
このように、非特許文献１をはじめとする従来技術においては、通信者双方の音源及び収音部の動作の影響を反映した臨場感のある音を再現することは困難であった。
【非特許文献１】戸嶋巌樹、植松尚、平原達也。「頭部運動に追従するダミーヘッド」日本音響学会秋季講演会講演論文集、p.439-440、2002年
【発明の開示】
【発明が解決しようとする課題】
【０００７】
そこで、本発明は、遠隔地通信における対話において通信者双方の頭部が動作する場合など、口等の音源部や耳等の収音部が動く場合において、その動作の影響を反映した臨場感のある音を再現する方法及び装置、特に、ヘッドセット式での収音等により収音部を音源部に固定しても、オープン式で収音したのに相当する臨場感に富む音を再現する方法及び装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の音響再現方法は、次の構成を備える。
すなわち、音声を発する音源部と音声を収音する収音部とを備えた通信体同士の通信において、その通信体の少なくとも一方が、収音部を音源部に対して相対的に固定したヘッドセット式の収音形態であっても、収音部を音源部に対して相対的に固定していないオープン式の収音形態での収音に相当する音声を再現する方法であって、話手側の通信体が空間的に動作をしたとき、その話手側通信体の音源部の空間的動作を示す情報を用いて、音源部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める逆頭部伝達関数によって、その話手側通信体の収音部で収音した音声を変換することを特徴とする。
【０００９】
ここで、聞手側の通信体が空間的に動作をしたとき、その聞手側通信体の収音部の空間的動作を示す情報を用いて、収音部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める頭部伝達関数によって、話手側通信体から伝達された音声を変換してもよい。
【００１０】
また、通信体を人物とし、空間的動作を、人物の頭部の略水平回転方位に回転する水平回転角（ヨー角）、前後回転方位に回転する前後回転角（ピッチ角）、左右回転方位に回転する左右回転角（ロール角）とで表現してもよい。
【００１１】
本発明の音響再現装置は、音声を発する音源部と音声を収音する収音部とを備えた通信体同士の通信において、その通信体の少なくとも一方が、収音部を音源部に対して相対的に固定したヘッドセット式の収音形態であっても、収音部を音源部に対して相対的に固定していないオープン式の収音形態での収音に相当する音声を再現する装置であって、話手側の通信体が空間的に動作をしたとき、その話手側通信体の音源部の空間的動作を示す情報を計測して出力する音源部動作伝達手段と、音源部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める逆頭部伝達関数によって、その話手側通信体の収音部で収音した音声を変換する音声調整手段とを備えることを特徴とする。
【００１２】
聞手側の通信体が空間的に動作をしたとき、その聞手側通信体の収音部の空間的動作を示す情報を計測して出力する収音部動作伝達手段と、収音部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める頭部伝達関数によって、話手側通信体から伝達された音声を変換する音声調整手段とを設けてもよい。
【発明の効果】
【００１３】
本発明によると、話手側の通信体が空間的に動作をしたとき、逆頭部伝達関数を用いて音声を変換することによって、収音部を音源部に対して相対的に固定していないオープン式の収音形態での収音に相当する音声を再現することができる。また、聞手側の通信体が空間的に動作をしたときには、頭部伝達関数を用いて音声を適切に変換して再現できる。遠隔地通信における対話等において通信者双方の頭部が動作した場合などに、臨場感に富む音を再現することが可能である。
また、使い方によっては現実世界では不可能な配座、例えば、同じ方向を向きつつ横並びになった状態で相手話者Aが自分Bの左側に居る（Aの左横にBが、同時にBの左横にはAが居る）、などの対話も可能となる。
【発明を実施するための最良の形態】
【００１４】
以下に、図面を基に本発明の実施形態を説明する。
図１は、収音部が音源部に固定されたヘッドセット式（インカム式）での収音形態を示す説明図である。
マイクは、それに連なる略曲線状体を耳や頭部に掛けたり、頭部を左右から挟みこむことで、頭部に装着される。頭部に固定されるので、頭部を動かしても、マイクと音源の口との位置関係は不変であり、特に声量の変化は受けない。
【００１５】
ここで得られた音V0Mを、図２に示すオープン式収音形態で得られたような音声V'0Mにするには、主に声量を話手の頭部動作に従って修正する必要がある。
その修正は、一般的な頭部伝達関数HRTFとは逆の用い方で、頭部の位置の変化から、仮想的な位置に固定された収音装置で収音したかのような音の時間差、音圧、角度による口周辺の組織での遮蔽などによるスペクトル変化、発話中の頭部動作がもたらす周波数の変化等を加味した変化を演算するものである。ここでは、逆頭部伝達関数rHRTFと呼ぶ。
なお、略水平回転方位に回転する水平回転方位をヨー、それに垂直で前後回転方位に回転する前後回転方位をピッチ、更にそれに垂直で左右回転方位に回転する左右回転方位をロールと呼び、以下それぞれ変数ω、χ、ψによって表現する。
【００１６】
逆頭部伝達関数rHRTFは、粗く作成するなら、頭部のヨー・ピッチ・ロールという頭部変数であるωs, χs, ψs、頭部を典型的なサイズの扁平球とし、口の位置を典型的な位置と大きさにすれば実測しなくともシミュレーションとしてある程度は作成することができる。
正確に作成するには、話手となる被験者を用いて、ヨー・ピッチ・ロールを次々と変えながら、体から特定の３次元距離(x, y, z)だけ離れた位置で固定された収音装置に向かって、同じ音量で発話してもらえばよい。実際に同じ音量かどうかの判断には、ヘッドセット式収音装置を併用して装着し、比較すればよい。
また、頭部動作による声帯への影響が無いと仮定するならば、基本的な周波数を同音量で発し続ける小型スピーカを被験者の口腔奥声帯付近に設置して観測する方法も考えられる。
こうして、その被験者用の逆頭部伝達関数が得られる。実際には使用者毎に専用の逆頭部伝達関数rHRTFを作成するのが望ましいが、ある人の逆頭部伝達関数rHRTFを典型的な例として万人に応用することも可能である。
【００１７】
また、話手の体から距離(x, y, z)だけ離れた位置で固定された収音装置の位置も、逆頭部伝達関数rHRTFの変数の１つとするならば、それだけ逆頭部伝達関数rHRTFの測定回数が増すが、利用者は任意の位置を収音地点として選択することも可能となる。
これは、利用者が自分の意志で、顎の先のすぐそばに設置された講演台で話しているかのようなタイプのマイク、相手の耳元で囁いているかのような近接位置で不動のマイク、対面対話をしているかのような前面のマイク、高身長を意識して低い位置に設置されたマイク、低身長を意識して高い位置に設置されたマイク、並んで話し掛けているような横位置に設置されたマイク、など事前に用意してあれば、臨機応変TPOにあわせて色々な収音位置を選ぶことも可能となる。
【００１８】
また、ヘッドセットの音に対する指向性が高く、反射音を拾わないと仮定すると、事前の実験にてマイクを音の反射の無い無響室、反響のある狭い部屋、反響のある広い部屋などで取り分ければ、話手周辺の音の反響環境もこの逆頭部伝達関数に含まれ、高音質な通信装置であればあるほど話手周辺の環境も再現できることになる。
これによって、立ち位置での高身長（床面まで口が遠い）と低身長（床面まで口が近い）の床面や天井や壁による音の反射も再現できる。この事前の収音実験はバイノーラル式で行うことが望ましい。
【００１９】
図２は、音声を変換する流れを示す説明図である。
以上のようにして作成される逆頭部伝達関数rHRTFの第一段階である頭部動作影響フィルターS1は、次のように記述できる。
モノラル入力、モノラル出力:
V1M = S1(V0M, χs, ψs, ωs, t, x0l, y0l, z0l, e)
ここで、x0l, y0l, z0lは、基準点（例えば話手の頭部の中心座標）から仮想的な収音装置までの距離、χs, ψs, ωsは、話手の頭部変数（ピッチ角、ロール角、ヨー角）、tは、時間、eは、話手のいる部屋など環境の特徴を示す変数、V0Mは、話手に装着されたヘッドセットからの音である。
【００２０】
x0l, y0l, z0lには無限の組み合わせがあるが、実際に想定できる何点かで行えば必要に事足りる。また、収録済みのA地点と収録済みのB地点との中間にある未収録のM地点での変換を試みる場合、A地点とB地点での結果から、M地点の結果を合成することも可能である。
以上のように、逆頭部伝達関数rHRTFの第一段階S1とは、話手に装着されたヘッドセットで収音された音V0Mを、話手や話手周囲の情報を駆使し、話手から離れたある位置(x0l, y0l, z0l)にあるマイクにてあたかも収音されたかのような音V1Mに変換する関数である。
なお、現在一般的に利用されている受話器(モノラル収音)とスピーカのセットは、このヘッドセット式に準拠するものに相当する。実際には、頷きの振動を受け難いなど異なる点があるが、受話器専用の逆頭部伝達関数の測定方法などは同様の方法を利用することができる。
【００２１】
異なる２地点で収音されたかのような出力、即ちステレオ化出力の場合の逆頭部伝達関数rHRTFの第二段階である収音位置調整フィルターS2は、例えば次のように既述できる。
モノラル入力、ステレオ出力（右チャネル）:
V2R = S2(V1M, χs, ψs, ωs, t, x0l, y0l, z0l, xr, yr, zr, e)
モノラル入力、ステレオ出力（左チャネル）:
V2L = S2(V1M, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
ここで、(xr, yr, zr)とは右チャネル用の仮想収音装置の位置、(xl, yl, zl)とは、左チャネル用の仮想収音装置の位置である。
右と左の収音装置は聞手にあわせたり、または平均的な人間の左耳からみた右耳の位置が望ましい。そうすれば、聞手が一般的なヘッドホンなどで聞いているとしても、相応の臨場感が得られる。また、このS2の処理は時間的に平行して行われる。
【００２２】
図３は、収音部が音源部と空間を隔てて独立したオープン式での収音形態を示す説明図である。
マイクは、話手の頭の動きに沿って運動することもなく、常にある一点で静止しているので、最も自然な収音が可能といえる。
収音V'0Mがモノラルであるならば、それをS1の出力であるオープン相当音V1Mと同様にみなせば、上述のように逆頭部伝達関数rHRTFの第二段階である収音位置調整フィルターS2の技術を使い、実際の音V'0Mと、それ以外の各変数から、同様に離れた位置で収音されたかのような理想的な音V2R, V2Lを次のように合成することができる。
【００２３】
モノラル入力、モノラル出力:
V2M = S2(V'0M, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
ここで、(x0l, y0l, z0l)は実際に収音された位置、(xl, yl, zl)は、仮想の収音位置である。
以上のように、逆頭部伝達関数rHRTFの第二段階である収音位置調整フィルターS2とは、話手から離れた位置で固定された収音装置で収音された音V'0Mを、話手や話手周囲の情報を駆使し、実際の収音装置位置(x0l, y0l, z0l)とは異なる位置(xl, yl, zl)にあるマイクにてあたかも収音されたかのような音V2Mに変換する関数である。
【００２４】
ステレオ化出力の場合は、前式を前述のように２つ並列させればよい。すなわち、次のように既述できる。
モノラル入力、ステレオ出力（右チャネル）:
V2R = S2(V'0M, χs, ψs, ωs, t, x0l, y0l, z0l, xr, yr, zr, e)
モノラル入力、ステレオ出力（左チャネル）:
V2L = S2(V'0M, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
ここで、(x0l, y0l, z0l)は実際に収音された位置、(xl, yl, zl)は、仮想の左側収音位置、(xr, yr, zr)は、仮想の右側収音位置である。
【００２５】
収音がステレオであるならば、それぞれの音V'0L, V'0Rに対してチャネルで独立して逆頭部伝達関数rHRTFの第二段階である収音位置調整フィルターS2を用いる。
右チャネル:
V2R = S2(V'0R, χs, ψs, ωs, t, x0l, y0r, z0r, xr, yr, zr, e)
左チャネル:
V2L = S2(V'0L, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
ここで、(x0r, y0r, z0r)は右チャネルの実際の収音位置、(x0l, y0l, z0l)は、左チャネルの実際の収音位置、(xr, yr, zr)は、右チャネルの変換後の仮想的な収音位置、(xl, yl, zl)は、左チャネルの変換後の仮想的な収音位置である。
なお再生する場合、聞手から離れた適切な位置にステレオスピーカを設置したときはオープン式ステレオ再生と記述する。
仮想的な左右の収音位置が実際の聞手のスピーカー位置でかつオープン式ステレオ再生式ならば、この段階で既に臨場感のある音の再生が可能となる。
【００２６】
以上をまとめると次のようになる。
ヘッドセット式（モノラル収音）：
モノラル収音 V0M、モノラル出力 V1M、逆頭部伝達関数rHTFの第一段階S1
モノラル収音 V0M、ステレオ出力 V2R, V2L、逆頭部伝達関数第一段階S1と第二段階S2
V1M = S1(V0M, χs, ψs, ωs, t, x0l, y0l, z0l, e)
V2R = S2(V1M, χs, ψs, ωs, t, x0l, y0l, z0l, xr, yr, zr, e)
V2L = S2(V1M, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
展開すると、
V2R = S2(S1(V0M, χs, ψs, ωs, t, x0l, y0l, z0l, e), χs, ψs, ωs, t, x0l, y0l, z0l, xr, yr, zr, e)
V2L = S2(S1(V0M, χs, ψs, ωs, t, x0l, y0l, z0l, e), χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
このように、ヘッドセット音V0Mと話者の頭部動作χs, ψs, ωs、時間t、仮想的な周囲の環境e、仮想的な１次収音位置(x0l,y0l,z0l)、仮想的な左収音位置(xl,yl,zl)と右収音位置(xr,yr,zr)を入力すれば、仮想的な左収音位置(xl,yl,zl)と右収音位置(xr,yr,zr)にて収音したかのようなV2LとV2Rが得られる。
【００２７】
ここで、仮想的な１次収音位置(x0l,y0l,z0l)、と仮想的な左収音位置(xl,yl,zl)が等しいならば、右チャネルで頭部動作補正と位置補正を行ない、左チャネルでは頭部動作補正のみを行うことで、左チャネルはS2フィルターを使う必要がなくなり、
V2R = S2(S1(V0M, χs, ψs, ωs, t, x0l, y0l, z0l, e), χs, ψs, ωs, t, x0l, y0l, z0l, xr, yr, zr, e)
V2L = S1(V0M, χs, ψs, ωs, t, x0l, y0l, z0l, e)
で十分となる。
収音が(x0l, y0l, z0l)の位置や、さらに(x0r, y0r, z0r)の位置で行われたオープン式である場合は、S1の工程を略し、S2の工程だけを用いて演算量を減らすことが可能である。
【００２８】
オープン式（(x0l, y0l, z0l)におけるモノラル収音）：
モノラル収音 V'0M、モノラル出力 V2M(=V2L)、逆頭部伝達関数第二段階S2
V2M = S2(V'0M, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
モノラル収音 V'0M、ステレオ出力 V2R, V2L、逆頭部伝達関数第二段階S2
V2R = S2(V'0M, χs, ψs, ωs, t, x0l, y0l, z0l, xr, yr, zr, e)
V2L = S2(V'0M, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
オープン式（(x0l, y0l, z0l)、(x0r, y0r, z0r)におけるステレオ収音）：
ステレオ収音V'0R, V'0L、ステレオ出力 V2R, V2L、逆頭部伝達関数第二段階S2
V2R = S2(V'0R, χs, ψs, ωs, t, x0r, y0r, z0r, xr, yr, zr, e)
V2L = S2(V'0L, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
このように、収音時のシステムにあわせ適宜S1やS2を組み合わせることにより、
適切な臨場感溢れる音V2R, V2L、またはV2Mが得られる。
【００２９】
図４は、聞手の側の頭部動作を示す説明図である。
対面対話を想定する時、話手が仮に頭部を静止させたまま話をしているとする。その時に聞手が顔を横に振った場合、聞手は頭を静止させているときとは異なる音の変化を受け取ることになる。あたりまえのことではあるが、聞手が右に顔を振れば、聞手の左耳は話手の口に近づくことになり、左耳はより大きな音を拾い、逆に聞手の右耳はより小さな音を拾うことになる。音量のみだけでなく、スペクトルの変化、時間差なども発声する。これについては、一般的に頭部伝達関数HRTFとして知られている。
【００３０】
以上のことを考慮すると、音の臨場感を保ったままの通信を行うには、話手も聞手も複数の収音装置を用いるオープン式（ステレオ収音）で収音された音を、複数の音再生装置（スピーカなど）によるオープン式（ステレオ再生）で再生して相互に話すべきといえる。
しかし、この手法は、どうしてもオープン式であるために空間を占有すること、周りに居る他人に対する音漏れ等の理由から、安易に実装しやすいとは言いがたい。
そこで、話手と聞手のどちらか一方または双方が、オープン式（ステレオ収音）−オープン式（ステレオ再生）の組み合わせでない場合に、話手がヘッドセット式で話してもオープン式で収音したかのような状態に変換する逆頭部伝達関数rHRTFを用いて、安価かつ手軽な手段により、可能な限りの修正を施し、実際の対面対話、即ち話手聞手双方でオープン式（ステレオ収音）−オープン式（ステレオ再生）の組み合わせを用いた状態に近づけるようにした。
【００３１】
図５は、音声を変換する装置の要部構成を示す説明図である。
本実施例では、２段階の音声調整装置を備える。なお、各逆頭部伝達関数rHRTFの測定は、公知技術の方法を適宜用いて行う。また、各話手の頭部動作をリアルタイムで測定し、話手や聞手の頭部のヨー・ピッチ・ロールを電気的磁気的に伝達する方法も、公知技術を適宜用いて行える。音声の通信等についても同様である。以下では、既に相手話手からの音声と頭部状態が、電気的磁気的手段によりリアルタイムに本装置に届いていて、また同時に利用者である聞手の頭部状態も同様にリアルタイムに本装置に届いているとする。
【００３２】
１段階目の音声調整装置S1は、主に話手のヨーωs、ピッチχs、ロールψsに基づき、話手の声である音V0Mの音量音質を変化させる装置であり、ある種の音のエフェクターに相当する。この一段階目では、聞手のヨーωh、ピッチχh、ロールψhは全く独立している。
【００３３】
この音声調整装置S1はコントローラからの指示を受け、利用者は以下の４つの動作状態を選択することができる。１つ目は、話手が入力をV0Mとするヘッドセット式モノラル収音、２つ目は、同様に受話器式モノラル収音、３つ目は、入力をV'0Mとするオープン式モノラル収音、４つ目は入力をV'0R, V'0Lとするオープン式ステレオ収音である。この音声調整装置S1は、ヘッドセット式や受話器式のモノラル音V0Mを、話手のヨーωs、ピッチχs、ロールψsという頭部動作の影響を加味して、リアルタイムに音V1Mを出力するエフェクター機能を備える。
【００３４】
ヘッドセット式モノラル収音、受話器式モノラル収音では、話手のヘッドセット式収音装置で収音されたモノラルの音V0Mは、逆頭部伝達関数rHTFやrHTFrcvの第一段階などの変換によって、収音V0Mを位置(x0l,y0l,z0l)のオープン式相当の音V1M（モノラル）[ポイント1M]や、さらにV1Mを利用してrHRTFの第二段階などの変換によってV2R / V2L（ステレオ）[ポイント2R/ポイント2L]として出力する。  位置(x0l,y0l,z0l)と位置(xl,yl,zl)が等しい場合、S2処理は素通りしてV1M=V2Lとする。
【００３５】
オープン式モノラル収音では、話手のオープン式モノラル収音装置で収音されたモノラルの音V'0Mは、逆頭部伝達関数rHTFの第二段階などの変換を用いて収音V'0Mを位置(xl,yl,zl)のオープン式相当の音V2L（モノラル）[ポイント2L]や、位置(xr,yr,zr)と(xl,yl,zl)のオープン式相当の音V2R / V2L（ステレオ）[ポイント2R/ポイント2L]として出力する。
【００３６】
オープン式ステレオ収音では、話手のオープン式ステレオ収音装置で収音された左右の音V'0R, V'0Lは、逆頭部伝達関数rHRTFの第二段階などを用いて収録V'0R / V'0Lを最適な音V2R / V2L（ステレオ）[ポイント2R/ポイント2L]として出力する。位置(x0l,y0l,z0l)と位置(xl,yl,zl)が等しくかつ位置(x0r,y0r,z0r)と位置(xr,yr,zr)が等しい場合、S2処理は素通りしてV'0R=V2R, V'0L=V2Lとする。収音方法は、バイノーラル録音と同様の手法が望ましい。
【００３７】
HRTF側の音声調整装置Hは、聞手のヨーωh、ピッチχh、ロールψhに基づき、先の装置で変換された話手の声である音V2R / V2Lの音量音質を変化させる装置であり、これもある種の音のエフェクターに相当する。このHRTF側では、話手のヨーωs、ピッチχs、ロールψsは全く独立している。
この音声調整装置Hは、話手の音V2R / V2Lと、聞手のヨーωh、ピッチχh、ロールψhという頭部動作の影響を加味して、リアルタイムに音V3R / V3Lを出力するエフェクター装置といえる。
【００３８】
この音声調整装置Hには、現在でも既に利用されている頭部伝達関数HRTFを用い、ある理想的な場所で発声している音V2R / V2Lを、聞手の頭部情報に基づき変換を行う。聞手固有の頭部伝達関数を用いることも、一般的な人の頭部部伝達関数HRTFを用いることもできる。また、この段階で利用者である聞手は、話手が話している位置を仮想的に任意にリアルタイムで変更することもできる。
【００３９】
この音声調整装置hは、コントローラからの指示を受け、利用者は以下の２つの動作状態を選択することができる。１つ目は聞手の頭部動作の影響を利用せず、聞手への出力を聞手から離れたスピーカなどで再生するオープン式ステレオ再生、もう１つは聞手の頭部動作の影響を考慮し、頭部伝達関数を用いて最も臨場感を高めてヘッドホンなどで再生するヘッドセット式ステレオ再生である。
オープン式ステレオ再生の場合、２者の位置関係を近づけすぎると再生が不自然になり臨場感が乏しくなるので、一般的にはヘッドホン再生が望ましい。
【００４０】
以上の多段階の音声調整装置S1/S2，Hを経て、話者の発した音声は、話手の頭部運動、聞手の頭部運動、話手の収音装置の特性、聞手たる利用者が選んだ二者の位置関係を考慮して、より臨場感を増して聞手に伝わることになる。
【００４１】
図６は、コントローラを例示する説明図である。
コントローラには、各音声調整装置S1/S2, Hが一体的に含まれていて、話手の音（v等）、話手の各頭部動作χs, ψs, ωs、聞手の各頭部動作χh, ψh, ωhを入力する端子があり、また音V3R / V3Lを出力するスピーカやヘッドホン端子などがある。
音V3R / V3Lを出力するスピーカを、この筐体に搭載することも可能である。その場合は音量を調節するスイッチも設ける。また、個人情報や各逆頭部伝達関数、頭部伝達関数を他の装置やPCなどととやりとりする外部入出力端子を設けてもよい。また、非通信時に聞手の各動作の中心位置や左右の耳の位置などの個人情報を、多目的スイッチから、搭載された対話式インタフェースを用いるなどをして、修正をすることも可能である。
【００４２】
通信時にコントロールできるものは、４択スイッチ（１２）による相手話手の収音装置のタイプ（４種）、２択スイッチ（１３）による利用者聞手の再生装置のタイプ（２種）、回転つまみ（１４）による音量、４択スイッチ（１５）による典型的な２者の位置関係などである。
２者の位置関係は、非通信時に、典型的な位置をセットしておくことも可能であり、容易に選択できるようにしてもよい。その位置の例としては、対面で50cmほど離れて同じ高さで話す位置関係、同じベンチなどで２人が並んで腰をかけて話す位置関係、互いに互いの左耳の真近で話す位置関係、互いに背中合わせで話す位置関係などが挙げられる。更に、トポロジカル的に現実にはありえない配座も可能である。
【００４３】
変更された項目は、リアルタイムに各音声調節装置S1/S2, Hにその情報が伝達され反映される。例えば、テンキーを含む１６択スイッチ（１６）によって、通信中に各音声調節装置s,hで行われている処理のタイプを適宜選択する。
なお、ディスプレイ（１１）には、現在の２者の位置関係を図示したり、相手や自分の頭部動作を簡単なエージェントで再現したりする。
【産業上の利用可能性】
【００４４】
本発明の音響再現方法及び装置は、遠隔地で対面対話を行っている時など、ヘッドセット式モノラル収音装置とヘッドセット式ステレオ再生装置を用いても、頭部動作による臨場感を十分に再現できるので、用途が広く産業上非常に有用である。
【図面の簡単な説明】
【００４５】
【図１】収音部が音源部に固定されたヘッドセット式での収音形態を示す説明図
【図２】音声を変換する流れを示す説明図
【図３】収音部が音源部と空間を隔てて独立したオープン式での収音形態を示す説明図
【図４】聞手側の頭部動作を示す説明図
【図５】音声を変換する装置の要部構成を示す説明図
【図６】コントローラを例示する説明図
【符号の説明】
【００４６】
１１    ディスプレイ
１２〜１６    スイッチ
【図１】
2006066939.tif 000003
【図２】
2006066939.tif 000004
【図３】
2006066939.tif 000005
【図４】
2006066939.tif 000006
【図５】
2006066939.tif 000007
【図６】
2006066939.tif 000008
【手続補正書】
【提出日】平成16年10月1日(2004.10.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔地通信における対話において通信者双方の頭部が動作する場合など、口等の音源部や耳等の収音部が動く場合において、その動作の影響を反映した臨場感のある音を再現する方法及び装置に関する。
【背景技術】
【０００２】
臨場感のある音を再現する技術が進みつつある。
一般に、音源から発せられた音は、聞手の顔や耳介によって反射や回折された後に受聴される。この顔や耳介での反射や回折の影響は、音源と聞手の耳との位置関係によって特徴づけられる。音源と聞手の方位関係、音源から右耳への伝達特性、音源から左耳への伝達特性、これらを一組にしたもの、すなわち音源から人の外耳道入口までの音響特性を示すものとして、頭部伝達関数(HRTF:Head-Related Transfer Function)が知られている。
例えば、ヘッドホンでステレオ音楽を聴くと、聴手が頭部動作中であっても、それとは無関係に音像が頭の内部に定位してしまい不自然な感じを受ける。これは、頭部伝達関数の影響が考慮されていないためである。音を再生する際、この頭部伝達関数を正確に再現することができれば、任意の位置に音像を定位させることが可能となる。
【０００３】
音源信号と頭部伝達関数を畳み込むことによって、頭外に音像を定位させることが可能となり、立体的な音場を再生することが可能となる。頭外音像定位の評価法には、MOS評価法、一対比較法などが用いられているが、これらの評価法は被験者に大きく依存し、あいまいである。そこで聴覚マスキングを利用し、数値的に頭外音像定位を評価することが検討されている。
【０００４】
また、ステレオソースをヘッドホンで聞くときに、音像が頭の内部に位置してしまうことを抑える手段として、バイノーラル式の録音がある。
バイノーラル録音は、録音するときに人間の頭を模したダミーヘッドを用い、そのダミーヘッドの各耳にマイクを仕込んで録音する方法である。このようにして録音された音声をヘッドホンで再生すると、ダミーヘッドの耳が聴いた音が、左右の音が混ざり合うことなく、そっくりそのまま聞手の耳に届けられるため、臨場感を得ることができる。
【０００５】
しかし、録音に使用されるダミーヘッドと、再生に使用されるヘッドホンの組み合わせによっては、正確な周波数特性の再現ができなくなるという問題がある。また、ダミーヘッドと各聞手の頭や耳は、形状や材質が異なるため、各聞手に固有な聴取環境に適応させるのは困難である。
特に、頭部の回転効果が再現されない難点がある。ダミーヘッドは頭部運動などせず固定されたまま録音されるので、聞手が頭を回転させてもその動作は反映されず、音像も一緒に回転してしまい不自然な音になってしまう。
【０００６】
これを解消するために、聞手のリアルタイムの頭部動作を再現しながら録音する手段が検討されている。しかし、動作させるモータと方位を検知するセンサとを備えたロボットヘッドで録音する際に、ロボットの動作音を収録してしまうことが避けられない。また、この場合も、形状の異なる各聞手の頭に固有な聴取環境に適応させるのは難しい。
このように、非特許文献１をはじめとする従来技術においては、通信者双方の音源及び収音部の動作の影響を反映した臨場感のある音を再現することは困難であった。
【非特許文献１】戸嶋巌樹、植松尚、平原達也。「頭部運動に追従するダミーヘッド」日本音響学会秋季講演会講演論文集、p.439-440、2002年
【発明の開示】
【発明が解決しようとする課題】
【０００７】
そこで、本発明は、遠隔地通信における対話において通信者双方の頭部が動作する場合など、口等の音源部や耳等の収音部が動く場合において、その動作の影響を反映した臨場感のある音を再現する方法及び装置、特に、ヘッドセット式での収音等により収音部を音源部に固定しても、オープン式で収音したのに相当する臨場感に富む音を再現する方法及び装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の音響再現方法は、次の構成を備える。
すなわち、音声を発する音源部と音声を収音する収音部とを備えた通信体同士の通信において、その通信体の少なくとも一方が、収音部を音源部に対して相対的に固定したヘッドセット式の収音形態であっても、収音部を音源部に対して相対的に固定していないオープン式の収音形態での収音に相当する音声を再現する方法であって、話手側の通信体が空間的に動作をしたとき、その話手側通信体の音源部の空間的動作を示す情報を用いて、音源部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める逆頭部伝達関数によって、その話手側通信体の収音部で収音した音声を変換することを特徴とする。
【０００９】
ここで、聞手側の通信体が空間的に動作をしたとき、その聞手側通信体の収音部の空間的動作を示す情報を用いて、収音部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める頭部伝達関数によって、話手側通信体から伝達された音声を変換してもよい。
【００１０】
また、通信体を人物とし、空間的動作を、人物の頭部の略水平回転方位に回転する水平回転角（ヨー角）、前後回転方位に回転する前後回転角（ピッチ角）、左右回転方位に回転する左右回転角（ロール角）とで表現してもよい。
【００１１】
本発明の音響再現装置は、音声を発する音源部と音声を収音する収音部とを備えた通信体同士の通信において、その通信体の少なくとも一方が、収音部を音源部に対して相対的に固定したヘッドセット式の収音形態であっても、収音部を音源部に対して相対的に固定していないオープン式の収音形態での収音に相当する音声を再現する装置であって、話手側の通信体が空間的に動作をしたとき、その話手側通信体の音源部の空間的動作を示す情報を計測して出力する音源部動作伝達手段と、音源部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める逆頭部伝達関数によって、その話手側通信体の収音部で収音した音声を変換する音声調整手段とを備えることを特徴とする。
【００１２】
聞手側の通信体が空間的に動作をしたとき、その聞手側通信体の収音部の空間的動作を示す情報を計測して出力する収音部動作伝達手段と、収音部の位置の変化から、仮想的な位置に固定された収音部で収音したのに相当する音声の変化を求める頭部伝達関数によって、話手側通信体から伝達された音声を変換する音声調整手段とを設けてもよい。
【発明の効果】
【００１３】
本発明によると、話手側の通信体が空間的に動作をしたとき、逆頭部伝達関数を用いて音声を変換することによって、収音部を音源部に対して相対的に固定していないオープン式の収音形態での収音に相当する音声を再現することができる。また、聞手側の通信体が空間的に動作をしたときには、頭部伝達関数を用いて音声を適切に変換して再現できる。遠隔地通信における対話等において通信者双方の頭部が動作した場合などに、臨場感に富む音を再現することが可能である。
また、使い方によっては現実世界では不可能な配座、例えば、同じ方向を向きつつ横並びになった状態で相手話者Aが自分Bの左側に居る（Aの左横にBが、同時にBの左横にはAが居る）、などの対話も可能となる。
【発明を実施するための最良の形態】
【００１４】
以下に、図面を基に本発明の実施形態を説明する。
図１は、収音部が音源部に固定されたヘッドセット式（インカム式）での収音形態を示す説明図である。
マイクは、それに連なる略曲線状体を耳や頭部に掛けたり、頭部を左右から挟みこむことで、頭部に装着される。頭部に固定されるので、頭部を動かしても、マイクと音源の口との位置関係は不変であり、特に声量の変化は受けない。
【００１５】
ここで得られた音V0Mを、収音部が音源部と空間を隔てて独立したオープン式収音形態で得られたような音声V'0Mにするには、主に声量を話手の頭部動作に従って修正する必要がある。
その修正は、一般的な頭部伝達関数HRTFとは逆の用い方で、頭部の位置の変化から、仮想的な位置に固定された収音装置で収音したかのような音の時間差、音圧、角度による口周辺の組織での遮蔽などによるスペクトル変化、発話中の頭部動作がもたらす周波数の変化等を加味した変化を演算するものである。ここでは、逆頭部伝達関数rHRTFと呼ぶ。
なお、略水平回転方位に回転する水平回転方位をヨー、それに垂直で前後回転方位に回転する前後回転方位をピッチ、更にそれらに垂直で左右回転方位に回転する左右回転方位をロールと呼び、それぞれ変数ω、χ、ψによって表現する。
【００１６】
逆頭部伝達関数rHRTFは、粗く作成するなら、頭部のヨー・ピッチ・ロールという頭部変数であるωs, χs, ψsを利用し、頭部を典型的なサイズの扁平球とし、口の位置を典型的な位置と大きさにすれば、実測しなくともシミュレーションとしてある程度は作成することができる。
正確に作成するには、話手となる被験者を用いて、ヨー・ピッチ・ロールを次々と変えながら、体から特定の３次元距離(x, y, z)だけ離れた位置で固定された収音装置に対して、同じ音量で発話してもらえばよい。実際に同じ音量かどうかの判断には、ヘッドセット式収音装置を併用して装着し、比較すればよい。
また、頭部動作による声帯への影響が無いと仮定するならば、基本的な周波数を同音量で発し続ける小型スピーカを、被験者の口腔奥声帯付近に設置して観測する方法も利用できる。
こうして、その被験者用の逆頭部伝達関数rHRTFが得られる。実際には使用者毎に専用の逆頭部伝達関数rHRTFを作成するのが望ましいが、ある人の逆頭部伝達関数rHRTFを典型的な例として万人に応用することも可能である。
【００１７】
また、話手の体から距離(x, y, z)だけ離れた位置で固定された収音装置の位置も、逆頭部伝達関数rHRTFの変数の１つとするならば、それだけ逆頭部伝達関数rHRTFの測定回数が増すが、利用者は任意の位置を収音地点として選択することも可能となる。
これは、利用者が自分の意志で、電話ボックスのような狭い空間内で、話者のネクタイにつけられたかのようなマイク、壁も天井もない開放された広い空間で、高さ2ｍの位置に設置されたかのようなマイク、1.8m四方の風呂場内にて、話者の口元近くにあるようなマイク、など事前に用意してあれば、臨機応変TPOにあわせて色々な収音位置を選ぶことも可能となる。
【００１８】
また、ヘッドセットの音に対する指向性が高く、反射音を拾わないと仮定すると、事前の実験でマイクを音の反射の無い無響室、反響のある狭い部屋、反響のある広い部屋などで取り分ければ、指向性がやや低いマイクで収音したかのように、話手周辺の音の反響環境もこの逆頭部伝達関数rHRTFに含まれ、高音質な通信装置であればあるほど話手周辺の環境も再現できることになる。
これによって、立ち位置での高身長（床面まで口が遠い）や、低身長（床面まで口が近い）の床面や天井や壁による音の反射も再現できる。この事前の収音実験はバイノーラル式で行うことが望ましい。
【００１９】
なお、各逆頭部伝達関数rHRTFの測定は、公知技術の方法を適宜用いて行える。また、各話手の頭部動作をリアルタイムで測定し、話手や聞手の頭部のヨー・ピッチ・ロールを電気的磁気的に伝達する方法も、公知技術を適宜用いて行える。音声の通信等についても同様である。以下では、既に相手話手からの音声と頭部状態が、電気的磁気的手段によりリアルタイムに本装置に届いていて、また同時に利用者である聞手の頭部状態も同様にリアルタイムに本装置に届いているとする。
【００２０】
図２は、音声を変換する流れを示す説明図であり、図３は、収音部に対して音源部が移動する場合を例示したオープン式での収音形態を示す説明図である。
上述のようにして作成される逆頭部伝達関数rHRTFの第一段階である音声調整装置S1はコントローラからの指示を受け、利用者は次の４つの動作状態を選択することができる。１つ目は、話手が入力をV0Mとするヘッドセット式モノラル収音、２つ目は、同様に受話器式モノラル収音、３つ目は、入力をV'0Mとするオープン式モノラル収音、４つ目は、入力をV'0R, V'0Lとするオープン式ステレオ収音である。この音声調整装置S1は、ヘッドセット式や受話器式のモノラル音V0Mを、話手のヨーωs、ピッチχs、ロールψsという頭部動作の影響を加味して、リアルタイムに音V1Mを出力するエフェクター機能を奏する。
【００２１】
逆頭部伝達関数rHRTFの第一段階である頭部動作調整フィルターS1は、下記のように記述できる。
１つ目及び２つ目のヘッドセット式モノラル収音や受話器式モノラル収音では、話手の収音装置で収音されたモノラルの音V0Mは、逆頭部伝達関数rHRTFの第一段階S1の変換によって、収音V0Mを位置(x0l,y0l,z0l)のオープン式相当の音V1M（モノラル）[ポイント1M]として出力する。
【００２２】
モノラル入力、モノラル出力:
V1M = S1(V0M, χs, ψs, ωs, t, x0l, y0l, z0l, e)
ここで、x0l, y0l, z0lは、基準点（例えば話手の頭部の中心座標）から仮想的な収音装置までの距離、χs, ψs, ωsは、話手の頭部変数（ピッチ角、ロール角、ヨー角）、tは、時間、eは、話手のいる部屋など環境の特徴を示す変数、V0Mは、話手に装着されたヘッドセットからの音である。
【００２３】
x0l, y0l, z0lには無限の組み合わせがあるが、実際に想定できる何点かで行えば必要に事足りる。また、収録済みのA地点と収録済みのB地点との中間等にある未収録のM地点での変換を試みる場合、A地点とB地点での結果から、M地点の結果を合成することも可能である。
以上のように、逆頭部伝達関数rHRTFの第一段階S1とは、話手に装着されたヘッドセット類で収音された音V0Mを、話手や話手周囲の情報を駆使し、話手から離れたある位置(x0l, y0l, z0l)にあるマイクにてあたかも収音されたかのような音V1Mに変換する関数である。
なお、現在一般的に利用されている受話器(モノラル収音)とスピーカのセットは、このヘッドセット式に準拠するものに相当する。実際には、頷きの振動を受け難いなど異なる点があるが、受話器専用の逆頭部伝達関数rHRTFの測定方法などは同様の方法を利用することができる。
【００２４】
逆頭部伝達関数rHRTFの第一段階S1の変換によって得られたオープン式相当の音V1M（モノラル）[ポイント1M]は、逆頭部伝達関数rHRTFの第二段階S2の変換を受けると、V2R / V2L（ステレオ）[ポイント2R/ポイント2L]として出力される。
異なる２地点で収音されたかのような出力、すなわちステレオ化出力の場合の逆頭部伝達関数rHRTFの第二段階である収音位置調整フィルターS2は、例えば次のように記述できる。
モノラル入力、ステレオ出力（右チャネル）:
V2R = S2(V1M, χs, ψs, ωs, t, x0l, y0l, z0l, xr, yr, zr, e)
モノラル入力、ステレオ出力（左チャネル）:
V2L = S2(V1M, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
ここで、(xr, yr, zr)とは、右チャネル用の仮想収音装置の位置、(xl, yl, zl)とは、左チャネル用の仮想収音装置の位置である。
右と左の収音装置は聞手にあわせたり、または平均的な人間の左右の耳の位置が望ましい。そうすれば、聞手が一般的なヘッドホンなどで聞いているとしても、相応の臨場感が得られる。また、この逆頭部伝達関数rHRTFの第二段階S2の処理は時間的に平行して行われる。
なお、位置(x0l,y0l,z0l)と位置(xl,yl,zl)が等しい場合は、収音位置調整フィルターS2による処理は素通りしてV1M=V2Lとする。
【００２５】
図３に例示したオープン式収音形態によると、マイクは、話手の頭の動きに沿って運動することもなく、常にある一点で静止しているので、最も自然な収音が可能といえる。
３つ目のオープン式モノラル収音では、話手のオープン式モノラル収音装置で収音されたモノラルの音V'0Mは、逆頭部伝達関数rHRTFの第二段階S2の変換を用いて、音V'0Mを位置(xl,yl,zl)のオープン式相当の音V2L（モノラル）[ポイント2L]や、位置(xr,yr,zr)と(xl,yl,zl)のオープン式相当の音V2R / V2L（ステレオ）[ポイント2R/ポイント2L]として次のように出力される。
【００２６】
モノラル入力、モノラル出力:
V2M = S2(V'0M, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
ここで、(x0l, y0l, z0l)は、実際に収音された位置、(xl, yl, zl)は、仮想の収音位置である。
このように、逆頭部伝達関数rHRTFの第二段階である収音位置調整フィルターS2とは、話手から離れた位置で固定された収音装置で収音された音V'0Mを、話手や話手周囲の情報を駆使し、実際の収音装置位置(x0l, y0l, z0l)とは異なる位置(xl, yl, zl)にあるマイクにてあたかも収音されたかのような音V2Mに変換する関数である。
【００２７】
ステレオ化出力の場合は、前式を前述と同様の方法で２つ並列させればよい。すなわち、次のように記述できる。
モノラル入力、ステレオ出力（右チャネル）:
V2R = S2(V'0M, χs, ψs, ωs, t, x0l, y0l, z0l, xr, yr, zr, e)
モノラル入力、ステレオ出力（左チャネル）:
V2L = S2(V'0M, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
ここで、(x0l, y0l, z0l)は、実際に収音された位置、(xl, yl, zl)は、仮想の左側収音位置、(xr, yr, zr)は、仮想の右側収音位置である。
【００２８】
４つ目のオープン式ステレオ収音では、話手のオープン式ステレオ収音装置で収音された左右の音V'0R, V'0Lは、逆頭部伝達関数rHRTFの第二段階S2を用いて、音V'0R / V'0Lを最適な音V2R / V2L（ステレオ）[ポイント2R/ポイント2L]として次のように出力される。
右チャネル:
V2R = S2(V'0R, χs, ψs, ωs, t, x0r, y0r, z0r, xr, yr, zr, e)
左チャネル:
V2L = S2(V'0L, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
ここで、(x0r, y0r, z0r)は、右チャネルの実際の収音位置、(x0l, y0l, z0l)は、左チャネルの実際の収音位置、(xr, yr, zr)は、右チャネルの変換後の仮想的な収音位置、(xl, yl, zl)は、左チャネルの変換後の仮想的な収音位置である。
【００２９】
位置(x0l,y0l,z0l)と位置(xl,yl,zl)が等しくかつ位置(x0r,y0r,z0r)と位置(xr,yr,zr)が等しい場合、収音位置調整フィルターS2処理は素通りしてV'0R=V2R, V'0L=V2Lとする。
仮想的な左右の収音位置が実際の聞手のスピーカー位置であり、かつオープン式ステレオ再生式ならば、この段階で既に臨場感のある音の再生が可能となる。
なお、収音方法は、バイノーラル録音と同様の手法が望ましい。
また、再生する場合、聞手から離れた適切な位置にステレオスピーカを設置したときはオープン式ステレオ再生と記述する。
【００３０】
以上をまとめると次のようになる。
ヘッドセット式（モノラル収音）：
モノラル収音 V0M、モノラル出力 V1M、逆頭部伝達関数rHRTFの第一段階S1
モノラル収音 V0M、ステレオ出力 V2R, V2L、逆頭部伝達関数rHRTFの第一段階S1と第二段階S2
V1M = S1(V0M, χs, ψs, ωs, t, x0l, y0l, z0l, e)
V2R = S2(V1M, χs, ψs, ωs, t, x0l, y0l, z0l, xr, yr, zr, e)
V2L = S2(V1M, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
展開すると次のようになる。
V2R = S2(S1(V0M, χs, ψs, ωs, t, x0l, y0l, z0l, e), χs, ψs, ωs, t, x0l, y0l, z0l, xr, yr, zr, e)
V2L = S2(S1(V0M, χs, ψs, ωs, t, x0l, y0l, z0l, e), χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
このように、ヘッドセット音V0Mと話者の頭部動作χs, ψs, ωs、時間t、仮想的な周囲の環境e、仮想的な１次収音位置(x0l,y0l,z0l)、仮想的な左収音位置(xl,yl,zl)と右収音位置(xr,yr,zr)を入力すれば、仮想的な左収音位置(xl,yl,zl)と右収音位置(xr,yr,zr)で収音したかのようなV2LとV2Rが得られる。
【００３１】
ここで、仮想的な１次収音位置(x0l,y0l,z0l)、と仮想的な左収音位置(xl,yl,zl)が等しいならば、右チャネルで頭部動作補正と位置補正を行ない、左チャネルでは頭部動作補正のみを行うことで、左チャネルは収音位置調整フィルターS2を使う必要がなくなり、下式で十分となる。
V2R = S2(S1(V0M, χs, ψs, ωs, t, x0l, y0l, z0l, e), χs, ψs, ωs, t, x0l, y0l, z0l, xr, yr, zr, e)
V2L = S1(V0M, χs, ψs, ωs, t, x0l, y0l, z0l, e)
収音が(x0l, y0l, z0l)の位置と(x0r, y0r, z0r)の位置とのステレオで行われたオープン式である場合は、頭部動作調整フィルターS1の工程を略し、収音位置調整フィルターS2の工程だけを用いて演算量を減らすことが可能である。
【００３２】
オープン式（(x0l, y0l, z0l)におけるモノラル収音）：
モノラル収音 V'0M、モノラル出力 V2M(=V2L)、逆頭部伝達関数rHRTFの第二段階S2
V2M = S2(V'0M, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
モノラル収音 V'0M、ステレオ出力 V2R, V2L、逆頭部伝達関数rHRTFの第二段階S2
V2R = S2(V'0M, χs, ψs, ωs, t, x0l, y0l, z0l, xr, yr, zr, e)
V2L = S2(V'0M, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
オープン式（(x0l, y0l, z0l)、(x0r, y0r, z0r)におけるステレオ収音）：
ステレオ収音V'0R, V'0L、ステレオ出力 V2R, V2L、逆頭部伝達関数rHRTFの第二段階S2
V2R = S2(V'0R, χs, ψs, ωs, t, x0r, y0r, z0r, xr, yr, zr, e)
V2L = S2(V'0L, χs, ψs, ωs, t, x0l, y0l, z0l, xl, yl, zl, e)
このように、収音時のシステムにあわせ適宜、頭部動作調整フィルターS1や収音位置調整フィルターS2を組み合わせることにより、適切な臨場感溢れる音V2R, V2L、またはV2Mが得られる。
【００３３】
図４は、聞手の側の頭部動作を示す説明図である。
対面対話を想定し、話手が仮に頭部を静止させたまま話をしているとする。その時に聞手が顔を横に振った場合、聞手は頭を静止させているときとは異なる音の変化を受け取ることになる。あたりまえのことではあるが、聞手が右に顔を振れば、聞手の左耳は話手の口に近づくことになり、左耳はより大きな音を拾い、逆に聞手の右耳はより小さな音を拾うことになる。音量のみだけでなく、スペクトルの変化、時間差なども発声する。これについては、一般的に頭部伝達関数HRTFとして知られている。
【００３４】
この聞手側の頭部動作に関する頭部伝達関数HRTFの音声調整装置Hは、聞手のヨーωh、ピッチχh、ロールψhという頭部動作の影響を加味して、先の音声調整装置S1/S2で必要に応じて変換された話手の音V2R / V2Lの音量音質を変化させる装置であり、これもある種の音のエフェクターに相当する。なお、この頭部伝達関数HRTFの音声調整装置H側では、話手のヨーωs、ピッチχs、ロールψsは全く独立している。
頭部伝達関数HRTFとしては、前記の逆頭部伝達関数rHRTFの場合と同様、聞手固有の頭部伝達関数HRTFを用いることも、平均的な人の頭部部伝達関数HRTFを用いることもできる。また、この段階で利用者である聞手は、話手が話している位置を仮想的に任意にリアルタイムで変更することもできる。
【００３５】
音声調整装置Hは、コントローラからの指示を受け、利用者は以下の２つの動作状態を選択することができる。１つ目は、聞手の頭部動作の影響を利用せず、聞手への出力を聞手から離れたスピーカなどで再生するオープン式ステレオ再生、２つ目は、聞手の頭部動作の影響を考慮し、頭部伝達関数HRTFを用いて最も臨場感を高めてヘッドホンなどで再生するヘッドセット式ステレオ再生である。
オープン式ステレオ再生の場合、両者の位置関係を近づけすぎると再生が不自然になり臨場感が乏しくなるので、一般的にはヘッドホン再生が望ましい。
【００３６】
以上の多段階の音声調整装置S1/S2，Hを経て、話者の発した音声は、話手及び聞手の諸条件を加味され、より臨場感を増して聞手に伝わることになる。
音の臨場感を保ったままの通信を行うには、話手も聞手も複数の収音装置を用いるオープン式（ステレオ収音）で収音された音を、複数の音再生装置（スピーカなど）によるオープン式（ステレオ再生）で再生して相互に話すべきといえる。しかし、この手法は、どうしてもオープン式であるために空間を占有すること、周りに居る他人に対する音漏れ等の理由から、安易に実装しやすいとは言いがたい。
そこで、話手と聞手のどちらか一方または双方が、オープン式（ステレオ収音）−オープン式（ステレオ再生）の組み合わせでない場合に、話手がヘッドセット式で話してもオープン式で収音したかのような状態に変換する逆頭部伝達関数rHRTFを用いて、安価かつ手軽な手段により、可能な限りの修正を施し、実際の対面対話、即ち話手聞手双方でオープン式（ステレオ収音）−オープン式（ステレオ再生）の組み合わせを用いた状態に近づけるようにしたわけである。
【００３７】
図５は、逆頭部伝達関数rHRTFと頭部伝達関数HRTFを組み合わせた具体的な利用例を示す説明図である。
通常の音声通信では、逆頭部伝達関数rHRTFで変換されていない話手の音声を聞手がただ聞くだけであるが、本装置では、話手のヘッドセットでの音声、話手と聞手の頭部動作、仮想的な位置関係や周囲の環境を、音声調整装置S1/S2（rHRTFの実行手段）及び音声調整装置H（HRTFの実行手段）に与えることにより、臨場感があふれる音声対話を生み出すことができる。実際には図６のようになる。
【００３８】
図６は、コントローラを例示する説明図である。
コントローラには、各音声調整装置S1/S2, Hが一体的に含まれていて、話手の音（V1等）、話手の各頭部動作χs, ψs, ωs、聞手の各頭部動作χh, ψh, ωhを入力する端子があり、また音V3R / V3Lを出力するスピーカやヘッドホン端子などがある。
音V3R / V3Lを出力するスピーカを、この筐体に搭載することも可能である。その場合は音量を調節するスイッチも設ける。また、個人情報や各逆頭部伝達関数rHRTF、頭部伝達関数HRTFを他の装置やPCなどとやりとりする外部入出力端子を設けてもよい。また、非通信時に聞手の各動作の中心位置や左右の耳の位置などの個人情報を、多目的スイッチから、搭載された対話式インタフェースを用いるなどをして、修正をすることも可能である。
【００３９】
通信時にコントロールできるものは、４択スイッチ（１２）による相手話手の収音装置のタイプ（４種）、２択スイッチ（１３）による利用者聞手の再生装置のタイプ（２種）、回転つまみ（１４）による音量、４択スイッチ（１５）による典型的な両者の位置関係などである。
両者の位置関係は、非通信時に、典型的な位置をセットしておくことも可能であり、容易に選択できるようにしてもよい。その位置の例としては、対面で50cmほど離れて同じ高さで話す位置関係、同じベンチなどで２人が並んで腰をかけて話す位置関係、互いに互いの左耳の真近で話す位置関係、互いに背中合わせで話す位置関係などが挙げられる。更に、トポロジカル的に現実にはありえない配座も可能である。
【００４０】
変更された項目は、リアルタイムに各音声調整装置S1/S2, Hにその情報が伝達され反映される。例えば、テンキーを含む１６択スイッチ（１６）によって、通信中に各音声調整装置S1/S2, Hで行われている処理のタイプを適宜選択する。
なお、ディスプレイ（１１）には、現在の両者の位置関係を図示したり、相手や自分の頭部動作を簡単なエージェントで再現したりする。
【産業上の利用可能性】
【００４１】
本発明の音響再現方法及び装置は、遠隔地で対面対話を行っている時など、ヘッドセット式モノラル収音装置とヘッドセット式ステレオ再生装置を用いても、頭部動作による臨場感を十分に再現できるので、用途が広く産業上非常に有用である。
【図面の簡単な説明】
【００４２】
【図１】収音部が音源部に固定されたヘッドセット式での収音形態を示す説明図
【図２】音声を変換する流れを示す説明図
【図３】収音部が音源部と空間を隔てて独立したオープン式での収音形態を示す説明図
【図４】聞手側の頭部動作を示す説明図
【図５】音声を変換する装置の要部構成を示す説明図
【図６】コントローラを例示する説明図
【符号の説明】
【００４３】
１１    ディスプレイ
１２〜１６    スイッチ