(57)【要約】【課題】  各聴取者に応じて適切な音響効果が付与された音響を提供する。【解決手段】  マイクアレイ１１は音声を検知すると、音源（すなわち話者Ａ）の位置を特定する。話者Ａの情報と、マイクアレイ１１にて受信した音声信号とが制御部１０へ供給される。制御部１０は、方向検出部１３に対しＡの顔の向きを判定するように指示する。方向検出部１３は、Ａを撮像して画像解析処理を行い、Ａの顔の向きを決定する。制御部１０は、Ａの顔の向きからＡの話している相手（すなわち聴取者Ｄ）を決定する。制御部１０は、Ｄに対してのみ所定の増幅率で音量が増幅されたＡの音声が届き、且つＤを含む参加者全員に対し音源が話者Ａであると認識させることのできる音響効果を決定する。制御部１０は、計算した音響効果を実現させるためのパラメータを計算してスピーカアレイ１２へ提供する。スピーカアレイ１２は所定の音響波を発生させる。【選択図】図３
2006211156.tif 000002
【特許請求の範囲】
【請求項１】
音声を検出して話者の位置を特定する話者位置特定手段と、
前記話者位置特定手段にて特定された位置にいる話者の顔が向いている方向を特定する話者方向特定手段と、
前記話者位置特定手段にて特定された話者位置と前記話者方向特定手段にて特定された話者方向とに基づいて、前記話者の相手となる聴取者の位置を特定する聴取位置特定手段と、
前記話者位置と、前記聴取位置特定手段にて特定された聴取位置とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、
前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段と、
を備える音響装置。
【請求項２】
聴取位置を指定する聴取位置指定手段と、
前記聴取位置指定手段にて指定された聴取位置にいる聴取者の顔が向いている方向を特定する聴取方向特定手段と、
前記聴取位置と、前記聴取方向特定手段により特定された方向とに基づいて、前記聴取者が聴取を希望する会話に係る話者の位置を特定する話者位置特定手段と、
前記話者位置特定手段にて特定された話者位置と前記聴取位置指定手段にて指定された聴取位置とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、
前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段と、
を備える音響装置。
【請求項３】
聴取位置を指定する聴取位置指定手段と、
前記聴取位置にいる聴取者に所望の聴取方向を指定させるための操作子と、
前記聴取位置指定手段により指定された聴取位置と前記操作子を用いて指定された聴取方向とに基づいて、前記聴取者が聴取を希望する会話に係る話者の位置を特定する話者位置特定手段と、
前記話者位置特定手段にて特定された話者位置と前記聴取位置指定手段にて指定された聴取位置とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、
前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段と、
を備える音響装置。
【請求項４】
音声を検出することにより話者の位置を特定する話者位置特定手段と、
前記話者位置特定手段にて特定された位置にいる話者の顔が向いている方向を特定する話者方向特定手段と、
前記話者位置特定手段にて特定された話者位置と前記話者方向特定手段にて特定された方向とに基づいて、前記話者の相手となる聴取者の位置を特定する聴取位置特定手段と、
前記聴取位置特定手段にて特定された位置にいる聴取者の顔の向いている方向を特定する聴取方向特定手段と、
前記話者位置特定手段にて特定された話者位置と、前記聴取位置特定手段にて特定された聴取位置と、前記聴取方向特定手段にて特定された聴取方向とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、
前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段と、
を備える音響装置。
【請求項５】
前記音響決定手段は、前記話者位置および前記聴取位置に基づいて、それぞれ音像定位位置および音響波の指向特性を決定することを特徴とする請求項１ないし４のいずれか１に記載の音響装置。
【請求項６】
前記音響決定手段は、前記話者位置および前記聴取位置に基づいて、当該聴取者に提供される音響の音量を決定することを特徴とする請求項５に記載の音響装置。
【請求項７】
前記話者位置特定手段は、複数のマイクロフォンユニットから構成されるマイクアレイを含む
ことを特徴とする請求項６に記載の音響装置。
【請求項８】
前記話者方向特定手段は、複数のマイクロフォンユニットから構成されるマイクアレイを含む
ことを特徴とする請求項６に記載の音響装置。
【請求項９】
前記話者方向特定手段は、撮像手段と、前記撮像手段によって得られた映像に対し画像解析処理を行う画像処理手段とを含む
ことを特徴とする請求項６に記載の音響装置。
【請求項１０】
前記聴取方向特定手段は、撮像手段と、前記撮像手段によって得られた映像に対し画像解析処理を行う画像処理手段とを含む
ことを特徴とする請求項６に記載の音響装置。
【請求項１１】
前記音響波発生手段は、複数のスピーカユニットから構成されるスピーカアレイである
ことを特徴とする請求項６に記載の音響装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、聴取者に提供する音響を制御する技術に関する。
【背景技術】
【０００２】
会議等、多数の参加者が一堂に会して会話を行う場において、会話の当事者（話者と聴取者）の距離が離れていると、聴取者は話者の声が聞き取りにくくなるという状況が生じる。通常、このような場合、マイクおよびスピーカから構成される拡声装置を用いて、話者の音声を増幅して放音するということが行われる。ところが、このような拡声装置を用いた場合、話者の近くにいる人やスピーカの近くにいる人には不自然に大きな音量で聞こえてしまうという問題が生じる。すなわち、従来の拡声装置では、各聴取者の位置に応じた適切な音響を提供することはできない。換言すれば、その場にいる全ての聴取者を満足させる音響波を発生させることができない。
【０００３】
関連する技術として、特許文献１には、１対のマイクロフォンを用いて話者の顔の方向を決定する方法が開示されている。しかしながら、単に話者の顔の方向の情報を取得しただけでは、音声を提供すべき聴取者を特定することはできない。従って、各聴取者の位置に応じた音響を提供することもできない。
【特許文献１】特開平１０−２４３４９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、上述した背景に鑑みてなされたものであり、各聴取者に応じて適切な音響効果が付与された音響を提供する方法および装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、音声を検出して話者の位置を特定する話者位置特定手段と、前記話者位置特定手段にて特定された話者の顔が向いている方向を特定する話者方向特定手段と、前記話者位置特定手段にて特定された話者位置と前記話者方向特定手段にて特定された話者方向とに基づいて、前記話者の相手となる聴取者の位置を特定する聴取位置特定手段と、前記話者位置と、前記聴取位置特定手段にて特定された聴取位置とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段とを備える音響装置を提供する。この音響装置によれば、話者が話しかけている相手の聴取者を特定し、当該聴取者に、その位置に応じた音響効果が付与された音響を提供することができるので、当該聴取者の聞き取りを補助することができる。
【０００６】
好ましい態様において、本発明の音響装置は、聴取位置を指定する聴取位置指定手段と、前記聴取位置指定手段にて指定された聴取位置にいる聴取者の顔が向いている方向を特定する聴取方向特定手段と、前記聴取位置と、前記聴取方向特定手段により特定された方向とに基づいて、前記聴取者が聴取を希望する会話に係る話者の位置を特定する話者位置特定手段と、前記話者位置特定手段にて特定された話者位置と前記聴取位置指定手段にて指定された聴取位置とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段とを備えることを特徴とする。本態様によれば、聴取者に対し、その聴取者が所望する会話の音声の聞き取りを補助することができる。
【０００７】
他の好ましい態様において、本発明の音響装置は、聴取位置を指定する聴取位置指定手段と、前記聴取位置にいる聴取者に所望の聴取方向を指定させるための操作子と、前記聴取位置指定手段により指定された聴取位置と前記操作子を用いて指定された聴取方向とに基づいて、前記聴取者が聴取を希望する会話に係る話者の位置を特定する話者位置特定手段と、前記話者位置特定手段にて特定された話者位置と前記聴取位置指定手段にて指定された聴取位置とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段とを備えることを特徴とする。
【０００８】
更に他の好ましい態様において、本発明の音響装置は、音声を検出することにより話者の位置を特定する話者位置特定手段と、前記話者位置特定手段にて特定された位置にいる話者の顔が向いている方向を特定する話者方向特定手段と、前記話者位置特定手段にて特定された話者位置と前記話者方向特定手段にて特定された方向とに基づいて、前記話者の相手となる聴取者の位置を特定する聴取位置特定手段と、前記聴取位置特定手段にて特定された位置にいる聴取者の顔の向いている方向を特定する聴取方向特定手段と、前記話者位置特定手段にて特定された話者位置と、前記聴取位置特定手段にて特定された聴取位置と、前記聴取方向特定手段にて特定された聴取方向とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段とを備えることを特徴とする。
【発明を実施するための最良の形態】
【０００９】
（実施例）
以下、図面を参照して本発明の動作例を説明する。以下の実施例においては、複数の参加者が円卓を囲んで着席した状態で発言を交わす場合を想定する。この際の参加者の配置を示したものが図１である。同図に示すように、参加者（すなわち、話者と聴取者とのいずれにもなり得る者）Ａ〜Ｌの計１２人が会議室に集まり、所定の位置に設けられた椅子に座し、円卓Ｔを囲んで発言を交わす。なお、各参加者は椅子から立ち上がって席を移動したりすることはないものとする。
【００１０】
＜構成＞
図２は、本発明の聴取者支援装置１の機能構成を示すブロック図である。同図に示すように、聴取者支援装置１は、制御部１０、マイクアレイ１１、スピーカアレイ１２、方向検出部１３、記憶部１４、入力部１５および各部を接続するバス１６から構成される。
【００１１】
マイクアレイ１１は、図示せぬ複数のコンデンサマイク等のマイクロフォンユニットおよびＡ／Ｄ変換回路、およびＤＳＰ等のプロセッサ等から構成される音声入力装置である。各マイクロフォンユニットにて音声が入力されると、音圧レベルの差や到達時間差に基づいて当該音声の音源（すなわち、受信した音声が人間の声ならばその話者）の位置を特定する機能を有する。特定した音源位置に関する情報は、音声信号とともに制御部１０へ供給される。
【００１２】
方向検出部１３は、図示せぬ１または複数のビデオカメラと画像処理プロセッサとを備え、制御部１０の指示の下、各参加者を撮像してその映像に所定の画像解析処理を施すことにより、参加者Ａ〜Ｌの各々の顔の向きを決定する装置である。一例としては、図１に示す参加者の座席配置において、各参加者がいる領域Ｒａ〜Ｒｌがそれぞれ撮像されるように計１２台のビデオカメラが設置される。なお、方向検出部１３を話者の顔の向きを特定するためのユニットと、聴取者の顔の向きを特定するためのユニットの２つから構成してもよい。この場合、前者のユニットを複数のマイクと音声信号プロセッサにより構成し、各マイクに入力される音圧レベルの差や遅延量に基づいて話者が発する声の方向を検出することにより話者の顔の向きを決定してもよい。特定した参加者の顔の向きの情報は、制御部１０へ供給される。
【００１３】
記憶部１４は、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶装置であって、制御部１０のワークエリアとして使用される他、円卓Ｔの各座席の位置が記憶される。入力部１５はキーボードやマウス等の入力デバイスであって、上記座席位置の情報や、参加者が会話の非当事者である場合に聴取者支援装置１が当該参加者に対して聞き取り補助を行う必要があるか否かの情報を入力するためのものである。
【００１４】
制御部１０は、方向検出部１３にて検出された話者の位置および顔の向きの情報を受け取ると、記憶部１４を参照し、当該話者が話しかけている相手（以下、この聴取者のことを特に「指定聴取者」という場合がある）を特定する機能を有する。一例を示すと、図３に示すように、音源の位置すなわち話者がＡであり、Ａの顔の向きが同図に示す角度θの方向であると特定されたとすると、制御部１０は記憶部１４を参照して、Ａの顔の向きの方向に位置している参加者（すなわち指定聴取者）はＤであると決定する。制御部１０は、マイクアレイ１１および方向検出部１３から、それぞれ話者の位置および顔の向きに関する情報と聴取者の位置または顔の向きに関する情報とを受け取ると、それらの情報に基づき、所定の音響効果が付与された当該話者の音声を各参加者に提供するために、会議室内に形成すべき音場を計算する。音場の形成方法の一例としては、話者以外の全ての参加者Ｂ〜Ｌに対してＡから音が聞こえるように（すなわち、自分の両耳に届いた音声から、話者がＡであると認識することができるように）、且つ、Ｄに聞こえる音のみが通常の音量よりも所定の割合で増幅されて聞こえるような音響効果が付与されるように計算する。ここで、所定の割合とは、例えばＡ−Ｄ間の距離に応じて決定されるものである。形成される音場の一例としては、Ｄの聴取領域である領域Ｒｄには通常の２倍の音声レベルの音響波が到達し、それ以外の領域Ｒａ〜ＲｃおよびＲｅ〜Ｒｌには通常の音声レベルの音響波が到達されるようにする。この結果、Ｄ以外の参加者にはＡの発した音声が通常の音量で届く一方、Ｄに対しては音量が２倍に増幅されて届く。
【００１５】
音場の形成方法はこれに限らず、例えば、指向性が非常に高いビーム状の音響波をスピーカアレイ１２からＤの方向へ発生させてもよい。この場合、スピーカアレイ１２から放音されてＤ以外の参加者に届く音を非常に小さく又はほぼゼロとすることが可能である。すなわち、Ｄ以外の参加者はＡの肉声のみを聞くことになる。このように、各参加者の位置関係や部屋の大きさや形状等に応じて、各参加者に提供する音響効果を自由に制御することができる。話者あるいは聴取者が複数いる場合、すなわち複数の会話が同時進行している場合については順次説明する。音場が決定されると、制御部１０は、その音場を実現させるために必要となる、各スピーカユニットに供給すべき音声信号の遅延量やゲインといったパラメータを計算して、スピーカアレイ１２へ出力する。
【００１６】
スピーカアレイ１２は、図示せぬ複数のスピーカユニットおよび各スピーカユニットを制御するための制御回路等から構成される音声出力装置である。各スピーカユニットに供給する音声信号の遅延量やゲインを適切に制御することにより、指向性のある音響波を発生させ、図３に示す各領域Ｒａ〜Ｒｌごとに提供する音響を制御する機能を有する。この結果、当該位置において聴取者に認識される音源の方向や位置および音量レベルを自在に制御することができる。具体的には、制御部１０から遅延量およびゲインといったパラメータを受け取ると、このパラメータに従って各スピーカユニットから放音処理を行う。
【００１７】
なお、マイクアレイ１１やスピーカアレイ１２といった聴取者支援装置１の各部の設置場所は任意である。例えば、円卓Ｔ上に設置してもよいし、円卓Ｔが設置された部屋の天井や壁面に設置してもよい。マイクユニットやスピーカユニットの数等のマイクアレイ１１やスピーカアレイ１２の詳細な構成や、マイクアレイ１１やスピーカアレイ１２の設置場所は、室内空間の大きさ・形状や参加者の人数等の環境に応じて好適に選択することができる。
【００１８】
＜動作例１＞
まず、最も単純な例として、図３に示すように、話者１人と聴取者１人で会話が行われている場合を考える。具体的には、同図に示すように、ＡがＤに向かって話している場合を想定する。図４は、聴取者支援装置１の動作の一例を示すフローチャートである。まず、マイクアレイ１１にて音声が検知されると（ステップＳ１０）、マイクアレイ１１は、音源（すなわち話者）の位置を特定する（ステップＳ１２）。これにより、話者がＡであることが特定される。すると、話者がＡであるという情報と、マイクアレイ１１にて受信された音声信号とが制御部１０へ供給される。続いて、制御部１０は、方向検出部１３に対しＡの顔の向きを判定するように指示する。方向検出部１３は、Ａを撮像して画像解析処理を行ってＡの顔の向きを決定し（ステップＳ１４）、この情報を制御部１０へ供給する。制御部１０は、Ａの位置およびＡの顔の向きからＡの話している相手（すなわち指定聴取者）を決定する（ステップＳ１６）。この例では、指定聴取者はＤであると決定されることになる。こうして話者と指定聴取者とが決定されると、制御部１０は、指定聴取者であるＤに対してのみ、所定の増幅率で音量が増幅されたＡの音声が届き、且つＤを含む参加者全員に対し音源がＡにあると認識させるための音場を計算する（ステップＳ１８）。続いて、制御部１０は、計算した音場を実現させるためのパラメータを計算してスピーカアレイ１２へ提供する（ステップＳ２０）。この結果、スピーカアレイ１２から当該音場を実現するための音響波が発生する（ステップＳ２２）。この結果、Ｄの座席位置である領域Ｒｄのみに話者Ａの増幅された音声が届く。
【００１９】
このように、本動作例によれば、話者および聴取者を特定し、指定聴取者に対し話者の増幅した音声を届けることができるから、会話の当事者と考えられる当該聴取者によるＡの話の聞き取りを補助することができる。一方、指定聴取者以外の参加者であって話者と指定聴取者の会話に直接的に関係していないと推定される参加者に対しては、通常の音量で話者の音声が届く。これにより、各参加者に応じた適切な音響を提供することができる。
【００２０】
＜動作例２＞
次に、図５を用いて、複数の話者および聴取者間で会話が行われている場合について考える。同図に示すように、Ａ−Ｄ間およびＢ−Ｇ間で会話が行われているとする（それぞれ会話Ｘ、会話Ｙとする）。この状態で、参加者Ｊに着目する。Ｊは会話の当事者ではないので、上述した通り、会話ＸおよびＹの音声は通常の音量でＪに届く。今、Ｊはとりあえず会話Ａと会話Ｂのどちらかに入っていきたいと考えているが、この状態では２つの会話の音声が混在してＪの耳に届くので、Ｊにとってはどちらの会話も聞き取りづらい状況となっている。
【００２１】
図６は本動作例を示すフローチャートである。ステップＳ１０からＳ１８までは動作例１と同様である。すなわち、話者がＡとＧであり聴取者がＤとＢである場合、会話ＸとＹに対してそれぞれステップＳ１０からＳ１６までの処理を２回行い、聴取者ＤとＢに対してのみ聞き取りを補助するように音場が計算される（ステップＳ１８）。本動作例では、これに加えて音場を更に補正する。具体的には、方向検出部１３によってＪの顔の向きを検出する（ステップＳ１９Ａ）。同図に示すように、Ｊは会話Ｘではなく会話Ｙを聞きたいと考えているので、会話Ｙの話者であるＧの方向に顔を向けている。よって、制御部１０は、Ｊの位置および検出されたＪの顔の向きから、その方向にいる参加者はＧであると決定し、Ｊの聴取領域である領域ＲｊにはＧの音声が所定の増幅率で増幅されて届くように音場を再計算する（ステップＳ１９Ｂ）。以降の処理は第１実施形態と同様なので、説明を省略する。
【００２２】
なお、この例では、説明の便宜上、参加者Ｊに着目したが、会話の非当事者である参加者全員の顔の向きを考慮して音場の補正を行ってもよいことは言うまでもない。また、特定の非当事者の領域についてのみ音場補正の対象とする場合、その非当事者の指定方法は任意である。例えば、方向検出部１３にて撮像された映像の中に参加者が映っていないものがあった場合、その撮像領域に対応する位置には参加者が存在しないことが判るので、当該領域に関する音場を補正する処理を省略することができる。また、非当事者のうち特定の者のみに対して聞き取りの補助を行う場合、すなわち聴取者を指定する場合は、一例としては、参加者が会話の非当事者であった場合に当該参加者に対して聞き取りの補助を行う必要があるか否かの情報について、ユーザが会議が開始される前に予め入力部１５を介して聴取者支援装置１に入力しておき、制御部１０はこの情報に基づき聞き取り補助が必要な非当事者を特定し、当該非当事者に対してのみ上述した聞き取り補助の為の音場補正処理を行う。
このように本動作例によれば、会話の当事者でない参加者の顔が向いている方向に応じて当該参加者に届く音響を調節するので、当該参加者の所望する会話の聞き取りを補助することができる。
【００２３】
＜動作例３＞
次に、複数の話者が１人の参加者（すなわち１人の指定聴取者）に話しかけている場合を考える。この様子を示したのが図７である。同図に示すように、話者はＡ、Ｄ、Ｆの３名であり、いずれもＪの方向に顔を向け、同時にＪに話かけている場合である。ＪにはＡ、Ｄ、Ｆの声が混在して聞こえるので、それぞれの会話を非常に聞き取りにくい状況となっている。以下では、Ｊに届く音声、すなわち領域Ｒｊに形成される音場についてのみ考える。なお、本動作例においては、予め入力部１５を介して聞き取りを補助すべき参加者としてＪのみが指定されているものとする。
【００２４】
図８を用いて本動作例を説明する。動作例２と同様、Ａ−Ｊ、Ｄ−Ｊ、Ｆ−Ｊ間についてそれぞれステップＳ１０〜Ｓ１６の処理を３回行って音場を計算した後（ステップＳ１８）、Ｊの顔の向きを検出して音場を補正する（ステップＳ１９Ａ、１９Ｂ）のは同様である。本動作例においては、更にステップＳ１９Ｃにおいて、Ｊが顔を向けていない話者の発した音声の音量レベルが所定の減衰率で減衰されてＪに届くように音場を再度補正する。本動作例によれば、聴取者Ｊが顔を向けている方向からの話者の声は増幅されてＪに到達する一方、Ｊが顔を向けていない方向からの話者の音声は減衰してＪに届く。すなわち、各話者Ａ、Ｄ、Ｆの顔の向きとは無関係に、聴取者Ｊは話を聞きたいと思う話者を選択して当該話者の方向に顔を向ければ、その話者の声を選択的に聞くことがきる。これにより、聴取者に好適な音響環境を提供することができる。
【００２５】
（変形例）
動作例２および３においては、聴取者を撮像して画像解析を行って当該聴取者の顔の向きを検出することにより、当該聴取者が聞き取りを所望する話者を決定したが、聴取者の所望する話者を決定する方法はこれに限らない。例えば、地磁気センサや重力センサ等が内蔵されたポインティングデバイスを参加者全員に与え、これを用いて各参加者に所望の話者を指定させてもよい。具体的には、参加者がこのポインティングデバイスを所望の話者に向けると、ポインティングデバイスが向けられた方向が内蔵センサで検知され、その向きの情報が無線通信によってポインティングデバイスから方向検出部１３へ送信される。このようにポインティングデバイスを用いれば、聴取者は顔の向きに関係なく話者を指定することができるので、例えば話を聞きながら下方を向いてメモをとったりすることも可能である。
【００２６】
上記実施例では、参加者の位置はおおよそ固定されていると仮定したが、参加者が動く場合にも本発明は適用可能である。この場合は、一例として、参加者全員の衣服等にそれぞれ無線通信機能を有するセンサ装置を取り付けるとともに、聴取者支援装置１に無線通信機能を設ける。センサ装置は、リアルタイムで各参加者全員の現在位置を検出して聴取者支援装置１へ逐次無線送信する。聴取者支援装置１は、各参加者の位置の情報を受信すると当該参加者に係る聴取領域を更新する。このような構成によれば、聴取者支援装置１は参加者全員の位置をリアルタイムで把握することができるので、上述の実施例と同様に、話者の顔の向きから指定聴取者の位置を特定し、話者の音声の音量レベルの増減等の所定の音響効果が付与された音響を提供する対象となる聴取者の聴取領域を特定することができる。
【００２７】
動作例１においては、話者Ａが話しかけている相手ＤはＡと会話を行っているとの仮定の下に、聴取者の顔の向きを検出することを行わなかった。しかし、実際には、例えば、ＡはＤに話しかけているにも関わらずＤはＪに話しかけているということもあり得る。このように、話者の意思と指定聴取者の意思とが合致しない場合、換言すれば、聴取者であると同時に話者でもある２以上の会話の当事者となっている者に対して提供する音響効果については、種々の態様が考えられる。例えば動作例１のように話者の意思を優先したい場合は、領域Ｒｄにおいて、Ｄの顔の向きに関係なくＤに話しかけている者Ａの声を増幅してＤに提供すればよい。逆に聴取者Ｄの意思を優先したい場合は、話者Ａの声を増幅せずに通常の音響でＤに提供すればよい。あるいは、所定の増幅率よりも低い増幅率でＡの声を増幅してＤに提供してもよい。
【００２８】
上記実施例においては、音量の補正を行う際には所定の増幅率を用いた。しかし、話者の声量には個人差があり、例えば、大きな声で話す話者については増幅処理を行う必要がない場合も考えられるし、逆に非常に小さな声で話す話者については、増幅率を通常よりも高く設定したほうがよい場合もある。このような場合、聴取者に届く音量に関して所定の上限値を設定し、増幅後の音声の音量がこの閾値を越えた場合、この上限値を増幅後の音量とすることができる。あるいは、増幅後の音声が所定の下限値を下回る場合は、この下限値を増幅後の音量とすることもできる。このように、所定の上限値または下限値を設定することで、話者の音量に関係なく常に適度に補正された音量の音声を聴取者に提供することができる。
【００２９】
また、上記実施例においては、話者を特定するためおよび特定の聴取者に所望の音声を提供するためにマイクアレイおよびスピーカアレイを用いたが、必ずしもアレー状にマイクやスピーカを配置する必要はない。マイクについては、話者（音源）を特定することができれば、各マイクロフォンユニットの設置位置は任意である。スピーカについては、参加者（聴取者）の位置ごとに異なる音響効果が付与された音響を提供することができれば、各スピーカユニットの設置位置は任意である。また、固定されたスピーカアレイから指向性のある音響波を発生させる替わりに、各スピーカユニットに駆動機能を設けスピーカユニットの向きを適宜変化させてもよい。要は、話者および聴取者の位置および向きの情報に基づいて、当該聴取者の周囲の音場を制御することができればよい。
【００３０】
また、上記実施例においては、ターゲットとなる聴取者に届く音声の音量レベルを増幅または減衰させることによって聴取者の聞き取りを補助したが、聴取者を補助する方法、すなわち聴取者に提供する音響効果は音量レベルの増減に限らない。例えば、聴取者が聞きやすくなるのであれば音声信号の周波数特性を変更してもよい。
【図面の簡単な説明】
【００３１】
【図１】話者および聴取者の配置を示した図である。
【図２】本発明の聴取者支援装置１の機能構成を示した図である。
【図３】話者と聴取者の位置関係を示した図である。
【図４】本発明の動作例を示したフローチャートである。
【図５】話者と聴取者の位置関係を示した図である。
【図６】本発明の動作例を示したフローチャートである。
【図７】話者と聴取者の位置関係を示した図である。
【図８】本発明の動作例を示したフローチャートである。
【符号の説明】
【００３２】
１・・・聴取者支援装置、１０・・・制御部、１１・・・マイクアレイ、１２・・・スピーカアレイ、１３・・・方向検出部、１４・・・記憶部、１５・・・入力部、１６・・・バス。
【図１】
2006211156.tif 000003
【図２】
2006211156.tif 000004
【図３】
2006211156.tif 000005
【図４】
2006211156.tif 000006
【図５】
2006211156.tif 000007
【図６】
2006211156.tif 000008
【図７】
2006211156.tif 000009
【図８】
2006211156.tif 000010