(57)【要約】【課題】遠隔地に居る者同士が行う対話用通信において対話の臨場感を向上させる。【解決手段】対話用通信ユニットが、ディスプレイと、スピーカを複数備えたオーディオデバイスと、ホームサーバとを備え、ホームサーバは、対話相手の映像データを用いてディスプレイに対話相手の顔を含む映像を表示させる映像表示処理と、対話相手の音声データを用いてオーディオデバイスに対話相手の音声を再生させる音声再生処理と、を同期させながら実行する。複数のスピーカの中には、互いに直交する２つの座標軸の双方において互いに異なる位置に配置されたスピーカが含まれている。また、ホームサーバは、音声再生処理を実行するにあたり、表示画面における映像中の対話相手の顔の所定部位の表示位置を、上記２つの座標軸の各々において特定し、音声再生処理では、対話相手の音声を再生した際の音像が特定した表示位置に定位するようにオーディオデバイスを制御する。【選択図】図５
2015192333.tif 000002
【特許請求の範囲】
【請求項１】
対話者が対話相手と対話する際に用いられる対話用通信ユニットであって、
映像を表示画面に表示する映像表示器と、
音を発する発生体を複数備え、該発生体によって音声を再生する音声再生機構と、
前記対話相手側の機器との通信を通じて取得した映像データを用いて前記映像表示器に前記対話相手の顔を含む前記映像を表示させる映像表示処理と、前記通信を通じて取得した音声データを用いて前記音声再生機構に前記対話相手の前記音声を再生させる音声再生処理と、を同期させながら実行する制御装置と、を有し、
複数の前記発生体の中には、互いに直交する２つの座標軸の双方において互いに異なる位置に配置された前記発生体が含まれており、
前記制御装置は、前記音声再生処理を実行するにあたり、前記表示画面における前記映像中の前記顔の所定部位の表示位置を、前記２つの座標軸の各々において特定する位置特定処理を実行し、前記音声再生処理では、前記対話相手の前記音声を再生した際の音像が前記位置特定処理において特定した前記表示位置に定位するように前記音声再生機構を制御することを特徴とする対話用通信ユニット。
【請求項２】
前記制御装置は、前記音声再生処理において、前記対話相手の前記音声を再生するために利用する利用対象発生体を、複数の前記発生体の中から前記表示位置の特定結果に基づいて選択し、選択した前記利用対象発生体によって前記対話相手の前記音声を再生することを特徴とする請求項１に記載の対話用通信ユニット。
【請求項３】
前記制御装置は、前記音声再生処理において、各前記発生体から発する音の音量を、前記表示位置と各前記発生体の配置位置との位置関係に基づいて調整することを特徴とする請求項１又は２に記載の対話用通信ユニット。
【請求項４】
前記制御装置は、前記音声再生処理において、各前記発生体から発する音の位相を、前記表示位置と各前記発生体の配置位置との位置関係に基づいて調整することを特徴とする請求項１又は２に記載の対話用通信ユニット。
【請求項５】
前記制御装置は、前記音声再生処理を実行するにあたり、前記表示画面に前記映像を表示したときの前記顔の面積を算出する面積算出処理を更に実行し、前記音声再生処理では、各前記発生体から発する音の音量を前記面積の算出結果に基づいて調整することを特徴とする請求項３又は４に記載の対話用通信ユニット。
【請求項６】
前記制御装置は、前記音声再生処理において、音の発生条件を示す制御データを前記発生体別に生成して前記発生体に伝送することを特徴とする請求項１乃至５のいずれか１項に記載の対話用通信ユニット。
【請求項７】
前記映像において前記所定部位が移動する場合、前記制御装置は、前記所定部位が移動する都度、前記位置特定処理を実行して前記表示位置を前記２つの座標軸の各々において特定することを特徴とする請求項１乃至６のいずれか一項に記載の対話用通信ユニット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話者が対話相手と対話する際に用いられる対話用通信ユニットに係り、特に、対話相手の顔を含む映像の表示処理と対話相手の音声の再生処理とを同期して行う対話用通信ユニットに関する。
【背景技術】
【０００２】
遠隔地に居る者同士が対話を行うための通信技術については、近年、その臨場感（対話者同士があたかも同じ空間内で対話していると感じること）を向上させることが求められている。かかる要望に応えるための技術としては、特許文献１に記載の技術が挙げられる。
【０００３】
特許文献１は、双方向対話型システムに関するものである。そして、特許文献１には、モニタ画面上に表示された相手側対話者像の表示位置を特定し、該モニタ画面上の表示基準位置からのずれを算出し、その算出結果に応じて相手側対話者音声のステレオ出力する各スピーカから出力される音声を調節することが開示されている。かかる構成によれば、所定の伝送手段を介して行われる遠隔地対話において、より臨場感に富んだ対話環境を実現可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３０４５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、対話用通信技術については、臨場感の更なる向上が望まれており、特許文献１に記載の技術よりも臨場感に富んだ対話環境を実現することが求められている。そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、臨場感を向上することが可能な対話用通信ユニットを提供することである。
【課題を解決するための手段】
【０００６】
前記課題は、本発明の対話用通信ユニットによれば、対話者が対話相手と対話する際に用いられる対話用通信ユニットであって、（Ａ）映像を表示画面に表示する映像表示器と、（Ｂ）音を発する発生体を複数備え、該発生体によって音声を再生する音声再生機構と、（Ｃ）前記対話相手側の機器との通信を通じて取得した映像データを用いて前記映像表示器に前記対話相手の顔を含む前記映像を表示させる映像表示処理と、前記通信を通じて取得した音声データを用いて前記音声再生機構に前記対話相手の前記音声を再生させる音声再生処理と、を同期させながら実行する制御装置と、を有し、（Ｄ）複数の前記発生体の中には、互いに直交する２つの座標軸の双方において互いに異なる位置に配置された前記発生体が含まれており、（Ｅ）前記制御装置は、前記音声再生処理を実行するにあたり、前記表示画面における前記映像中の前記顔の所定部位の表示位置を、前記２つの座標軸の各々において特定する位置特定処理を実行し、前記音声再生処理では、前記対話相手の前記音声を再生した際の音像が前記位置特定処理において特定した前記表示位置に定位するように前記音声再生機構を制御することにより解決される。
【０００７】
上記の構成では、対話相手の音声を再生させる処理において、その音像の位置が表示画面に表示されている映像中の対話相手の顔の所定部位と一致するように音声再生機構を制御する。これにより、表示されている映像中の対話相手の顔の所定部位から音声が聞こえてくるような視聴覚的効果が得られるようになり、以て、臨場感を向上させることが可能となる。
【０００８】
より詳しく説明すると、上述した本発明の構成は、特許文献１に記載された技術とは異なり、対話相手の顔の表示位置（正確には、表示位置と基準位置とのずれ）を一次元的に特定するのではなく、二次元的に特定する。このため、かかる特定結果に基づいて音声再生機構を制御するので、特許文献１に記載された技術よりも細やかな制御が可能となる。これにより、映像中の対話相手の顔の所定部位と音像の位置とをより正確に一致させることが可能となり、結果として、特許文献１に記載された技術よりも臨場感に富む対話環境を実現することが可能となる。
なお、「音像」とは、対話者が知覚することができる音の空間的な像、つまり、対話者の感覚上の音源を意味している。また、「音像の位置」とは、音像の空間的な配置、より具体的には、表示画面を正面から見た場合における音像の二次元的配置、及び、表示画面を貫く方向（以下、奥行方向）における配置を意味している。
【０００９】
また、上記の対話用通信ユニットにおいて、前記制御装置は、前記音声再生処理において、前記対話相手の前記音声を再生するために利用する利用対象発生体を、複数の前記発生体の中から前記表示位置の特定結果に基づいて選択し、選択した前記利用対象発生体によって前記対話相手の前記音声を再生すると好適である。
かかる構成では、特定した対話相手の顔の所定部位の表示位置に基づき、複数の発生体の中から実際に音を発生する発生体を選択することで、音像の位置を調整する。これにより、音像の位置を、表示されている映像中の対話相手の顔の所定部位に良好に一致させることが可能となる。
【００１０】
また、上記の対話用通信ユニットにおいて、前記制御装置は、前記音声再生処理において、各前記発生体から発する音の音量を、前記表示位置と各前記発生体の配置位置との位置関係に基づいて調整してもよい。あるいは、上記の対話用通信ユニットにおいて、前記制御装置は、前記音声再生処理において、各前記発生体から発する音の位相を、前記表示位置と各前記発生体の配置位置との位置関係に基づいて調整してもよい。
以上のように、音像の位置を調整する方法としては、発生体から発する音の音量又は位相を調整する方法が挙げられる。かかる方法を採用することで、音像の位置を、表示されている映像中の対話相手の顔の所定部位に良好に一致させることが可能となる。
【００１１】
また、上記の対話用通信ユニットにおいて、前記制御装置は、前記音声再生処理を実行するにあたり、前記表示画面に前記映像を表示したときの前記顔の面積を算出する面積算出処理を更に実行し、前記音声再生処理では、各前記発生体から発する音の音量を前記面積の算出結果に基づいて調整すると、さらに好適である。
上記の構成では、発生体から発する音の音量を、表示画面に映像を表示したときの対話相手の顔の面積に応じて調整する。これにより、音像の位置を奥行方向において調整することが可能となり、結果として、臨場感をより一層向上させることが可能となる。
【００１２】
また、上記の対話用通信ユニットにおいて、前記制御装置は、前記音声再生処理において、音の発生条件を示す制御データを前記発生体別に生成して前記発生体に伝送すると、より一層好適である。
上記の構成では、音の発生条件を示す制御データを発生体別に生成する。すなわち、上記の構成により、発生体の個別制御が可能となる。この結果、音像の位置をより細やかに調整することが可能となる。
【００１３】
また、上記の対話用通信ユニットにおいて、前記映像において前記所定部位が移動する場合、前記制御装置は、前記所定部位が移動する都度、前記位置特定処理を実行して前記表示位置を前記２つの座標軸の各々において特定すると、一段と好適である。
上記の構成によれば、映像において対話相手の顔の所定部位が移動すると、その都度、位置特定処理を実行して当該所定部位の表示位置（移動後の表示位置）を特定する。これにより、当該所定部位の移動に追従させる形で音像の位置を調整することが可能となる。この結果、臨場感を益々向上させることが可能となる。
【発明の効果】
【００１４】
本発明の対話用通信ユニットによれば、表示されている映像中の対話相手の顔の所定部位から音声が聞こえてくるような視聴覚的効果が得られるため、臨場感に富んだ対話環境を実現することが可能である。また、映像において対話相手の顔の所定部位が移動した場合には、その移動に追従するように音像の位置を調整することが可能である。これにより、臨場感を一段と向上させることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る対話用通信ユニットを用いて対話を行っている様子を示す図である。
【図２】本発明の一実施形態に係る対話用通信ユニットの構成を示すブロック図である。
【図３】本発明の一実施形態に係る映像表示器及び音声再生機構の模式正面図である。
【図４】図３のＡ−Ａ断面を模式的に示す図である。
【図５】映像音声再生フローの流れを示す図である。
【図６】位置特定処理の説明図である。
【図７】面積算出処理の説明図である。
【図８】顔向き特定処理の説明図である。
【図９】音声再生処理の説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態（以下、本実施形態）について図面を参照しながら説明する。
本実施形態に係る対話用通信ユニットは、図１に示すように、互いに離れた場所にいる者同士が互いの映像を見つつ互いの音声を聞きながら対話をするために用いられるものである。対話用通信ユニットは、対話者及び対話相手のそれぞれに用意され、具体的には各人の自宅に備え付けられている。そして、対話者は、自宅中、対話用通信ユニットを構成するデバイスが設置された部屋（以下、対話実施部屋）にて対話をする。
【００１７】
なお、「対話者」とは、自らの発意により対話を開始し、対話相手に対して話し掛ける者である。これに対して、「対話相手」とは、対話者に話し掛けられた際に応答して対話を行う者である。このように「対話者」及び「対話相手」とは、話し掛ける側と話し掛けられる側との立場上の違いであり、ある時点で「対話者」であった者が、他の時点で他の者に話し掛けられた場合には「対話相手」となる。
【００１８】
＜＜対話用通信ユニットの機器構成＞＞
対話用通信ユニットの機器構成について図２を参照しながら説明すると、対話者側にある対話用通信ユニット１００と、対話相手側にある対話用通信ユニット１００とは、同様の構成となっている。ゆえに、以下では、対話者側の対話用通信ユニット１００の構成のみについて説明することとする。
【００１９】
対話用通信ユニット１００は、図２に示すように、対話者自身の映像／音声を取得する入力デバイスとしてのカメラ２及びマイク３、並びに、対話相手の映像／音声を再生する出力デバイスとしてのディスプレイ４及びオーディオデバイス５を備えている。これらのデバイスは、対話者の自宅、より具体的には対話実施部屋内に設置されている。なお、上記のデバイスのうち、カメラ２、マイク３については公知の機器を利用することが可能である。
【００２０】
本実施形態に係るディスプレイ４について説明すると、図１に示すように正面視で矩形状の映像表示器であり、その前面には映像表示用の表示画面４ａが形成されている。かかる表示画面４ａは、対話相手の全身像及びその周辺環境の映像を表示することが可能なサイズとなっている。また、ディスプレイ４は、上記の表示画面４ａの横幅方向が水平方向と平行になり、かつ、高さ方向が鉛直方向と平行になる姿勢にて所定位置に配置されている。なお、本実施形態では、対話実施部屋の壁際にディスプレイ４が配置されているが、配置位置については特に限定されるものではなく、任意に決めることが可能である。
【００２１】
本実施形態に係るオーディオデバイス５について説明すると、オーディオデバイス５は、音声再生機構に相当し、発生体としてのスピーカ６を複数有し、スピーカ６から音を発することで対話相手の音声を再生する。なお、各スピーカ６は、公知のスピーカである。
【００２２】
さらに、オーディオデバイス５は、スピーカ６の数と同数のアンプ７を備えている。各アンプ７は、公知のデジタルアンプであり、後述する制御データが入力されると、当該制御データに所定のフィルタ処理を施した上で、処理後の制御データを対応するスピーカ６に出力する。各スピーカ６は、対応するアンプ７から出力された制御データを受信すると、当該制御データが示す制御条件に従って音を発する。ここで、制御条件とは、スピーカ６が発する音に関して設定される条件であり、具体的には、音量、音質、位相（換言すると、音を発生するタイミングの遅延時間）等に関する設定値である。
【００２３】
ここで、スピーカ６の配置について図３を参照しながら説明すると、ディスプレイ４が備える矩形型のフレームに上下左右対称の配置で複数のスピーカ６が取り付けられている。より詳しく説明すると、上記のフレーム中、横幅方向の両端部にあり高さ方向に沿って延出している部分（すなわち、左端部分及び右端部分）にそれぞれ３つずつ、計６個のスピーカ６が取り付けられている。
【００２４】
左端部分及び右端部分にそれぞれ３つずつ取り付けられているスピーカ６のうち、真ん中に位置するスピーカ６は、ディスプレイ４の高さ方向の中央位置に配置されている。残り２つのスピーカは、それぞれ、真ん中に位置するスピーカ６から等しい距離だけ離れた位置に配置されている。より詳細には、上段のスピーカ６は、表示画面４ａの上端よりやや下方に位置し、下段のスピーカ６は、表示画面４ａの下端よりやや上方に位置している。
【００２５】
以上のように本実施形態では、複数のスピーカ６の中に、互いに直交する２つの座標軸の双方において互いに異なる位置に配置されたスピーカ６が含まれている。ここで、２つの座標軸とは、ディスプレイ４の表示画面４ａの横幅方向に沿う軸（Ｘ軸）、及び、表示画面４ａの高さ方向に沿う軸（Ｙ軸）のことである。
【００２６】
なお、スピーカ６の個数及び配置位置については、図３に図示の内容に限定されず、Ｘ軸及びＹ軸の双方において互いに異なる位置に配置されたスピーカ６が存在している限りにおいては、任意に決めることが可能である。ただし、ディスプレイ４の表示画面４ａの横幅方向中央、及び、高さ方向中央から見て対称となるようにスピーカ６が配置されていることが望ましい。
【００２７】
また、本実施形態において各スピーカ６は、左右方向（ディスプレイ４の横幅方向）に首振り可能な状態でディスプレイ４のフレームに支持されている。すなわち、各スピーカ６は、音を発生する面（前面）の向きが可変となるように構成されている。
【００２８】
音発生面の向きを可変とする構成を実現するための構造については、特に限定されるものではないが、一例を挙げると、図４に図示した構造が利用可能である。図４に図示の構造について説明すると、ディスプレイ４のフレームのうち、スピーカ６が取り付けられる部分に前方に突出した舌状突起が設けられ、かかる舌状突起の先端部から上方に向かって軸６ｔが延出している。一方、スピーカ６のケーシング６ｓの裏面には、後方に突出した舌状突起が設けられ、かかる舌状突起の先端部には貫通孔が形成されている。そして、貫通孔に軸６ｔを挿入することでスピーカ６が軸６ｔ周りに回動自在な状態でディスプレイ４のフレームに取り付けられている。
【００２９】
以上のような構成により、各スピーカ６は、左右方向に首振り可能な状態でディスプレイ４のフレームに支持されている。そして、各スピーカ６の向きについては、スピーカ６に搭載された不図示の駆動機構が駆動することによって調整される。このようにスピーカ６の向きが調整されることで、音の向き（再生音が向かう向き）を調整することが可能となる。
【００３０】
対話用通信ユニット１００の構成について更に説明すると、図２に示すように、ホームサーバ１が備えられている。このホームサーバ１は、いわゆるホームゲートウェイであり、ＣＰＵ、ＲＡＭやＲＯＭからなるメモリ、ハードディスクドライブ、及び通信用インタフェースを有する。また、ホームサーバ１のメモリには、各種プログラムやデータが格納されている。
【００３１】
ホームサーバ１は、対話用通信ユニット１００において、上述した各デバイスを制御する制御装置として機能する。また、ホームサーバ１は、インターネット等の通信網を通じて対話相手側の機器（具体的には、対話相手側のホームサーバ１）とデータの送受信を行う。このようにホームサーバ１は、対話用通信を実現するために各種の処理を実行する。なお、対話用の通信を実現するための処理については、ホームサーバ１のメモリに格納されたプログラムをＣＰＵが読み取ることで実行される。
【００３２】
ホームサーバ１が実行する処理について説明すると、対話者の映像及び音声を示す動画ファイルデータを配信する配信処理が挙げられる。本処理では、ホームサーバ１が対話者を撮影したときの映像信号をカメラ２から取得し、また、対話者の音声を集音したときの音声信号をマイク３から取得する。その後、ホームサーバ１は、取得した映像信号及び音声信号から動画ファイルデータを生成し、同データを対話相手側のホームサーバ１に向けて送信する。ここで、動画ファイルデータは、映像を示す映像データと音声を示す音声データとを併せ持つデータである。
【００３３】
なお、本実施形態において、カメラ２は、顔を含む対話者の全身像をその周辺環境とともに撮影する。したがって、ホームサーバ１が生成する動画ファイルデータの中から映像データを抽出して展開すると、対話者の全身像とその周辺環境とを含む映像が表示されることになる。ここで、「全身像」とは、頭部から足に亘る身体全体の姿であり、起立状態であっても着座状態であってもよく、また、前方に配置された物によって一部が隠れている状態の姿を含む概念である。
【００３４】
ホームサーバ１が実行する処理としては、上記の配信処理の他に、データ受信処理と映像表示処理と音声再生処理とが挙げられる。データ受信処理とは、対話相手側のホームサーバ１から動画ファイルデータを受信する処理である。映像表示処理は、受信した動画ファイルデータから映像データを抽出し、当該映像データを展開して対話相手の映像をディスプレイ４に表示させる処理である。ここで、対話相手側のホームサーバ１から動画ファイルデータに含まれる映像データは、顔を含む対話相手の全身像及びその周辺環境を示すデータとなっている。したがって、映像表示処理においてディスプレイ４の表示画面４ａには対話相手の全身像及びその周辺環境が表示されることになる。
【００３５】
音声再生処理は、受信した動画ファイルデータから音声データを抽出し、当該音声データを展開して対話相手の音声をオーディオデバイス５に再生させる処理である。そして、ホームサーバ１は、映像表示処理と音声再生処理とを同期させながら実行する。なお、映像の表示と音声の再生とを同期させる技術については、対話用通信の分野で既に利用されている公知の技術を利用することが可能であり、その詳細については説明を省略する。
【００３６】
ところで、「発明が解決しようとする課題」の項で説明したように、対話用通信技術については、臨場感の更なる向上が望まれており、より臨場感に富んだ対話環境の実現が求められている。本実施形態に係る対話用通信ユニット１００は、上記の課題を解決するために、ディスプレイ４に表示される映像中の対話相手の顔の所定部位（具体的には口）から音声が聞こえてくるような視聴覚的効果を提供することとしている。そして、かかる視聴覚的効果の提供機能（以下、音像定位機能）がホームサーバ１に搭載されている。
【００３７】
次項では、ホームサーバ１に搭載された音像定位機能について説明することとし、具体的には、音像定位機能を発揮するための処理を含めた対話用通信に係る一連の処理の流れについて説明する。
【００３８】
＜＜映像音声再生フローについて＞＞
次に、対話相手の映像及び音声を再生するためにホームサーバ１が実行する一連の処理（以下、映像音声再生フロー）について説明する。映像音声再生フローは、図５に図示した流れに沿って進行し、対話者のホームサーバ１が対話相手のホームサーバ１から動画ファイルデータを受信するところから始まる（Ｓ００１）。対話者のホームサーバ１は、動画ファイルデータを受信すると、同データから映像データ及び音声データを抽出する（Ｓ００２）。
【００３９】
その後、対話者のホームサーバ１は、抽出した映像データを用いて位置特定処理（Ｓ００３）、面積算出処理（Ｓ００４）及び顔向き特定処理（Ｓ００５）を実行する。
【００４０】
位置特定処理は、表示画面４ａに対話相手の映像を表示したときの対話相手の顔の所定部位（具体的には口）の表示位置を、Ｘ軸及びＹ軸の各々において特定する処理である。具体的に説明すると、図６に示すように、表示画面４ａにおける４つの頂点に対して座標を定め、当該４つの頂点によって囲まれる平面空間における口の表示位置の座標を特定する。ここで、口の表示位置の座標とは、口の中の任意の一点（本実施形態では、口の中央点）に相当する位置の座標のことである。なお、口の表示位置の座標を特定する方法については、特に限定されるものではないが、一例を挙げると、抽出した映像データに対して、映像中の所定部分の位置を特定するための公知の画像処理技術を適用するとよい。
【００４１】
面積算出処理は、表示画面４ａに対話相手の映像を表示したときの対話相手の顔の面積を算出する処理である。本処理は、対話相手の顔の位置（厳密には、口の位置）を奥行方向で特定するために実行される。具体的に説明すると、図７に示すように、ある時点において算出した顔の面積（図７中、左側の顔の面積）については、基準面積と比較され、両面積間の大小関係が評価される。最終的には、その評価結果に基づいて対話相手の顔がより手前側に位置しているか、あるいはより奥側に位置しているかを特定する。
【００４２】
なお、基準面積については、予め登録しておき、その登録内容を示すデータをホームサーバ１のメモリ内に記憶しておくこととしてもよい。あるいは、対話用通信の開始時点で実行した面積算出処理における算出結果（図７中、右側の顔の面積）を基準面積として用いることとしてもよい。また、映像中の顔の面積を算出する方法については、特に限定されるものではないが、一例を挙げると、抽出した映像データに対して、映像中の顔を認識した上で当該顔の面積を算出するための公知の画像処理技術を適用するとよい。
【００４３】
顔向き特定処理は、表示画面４ａに対話相手の映像を表示した時の対話相手の顔が向いている向きを特定する処理である。具体的に説明すると、図８に示すように、対話相手の顔の中心線（図８中、破線にて示す）を基準にして目、耳、鼻孔等が略対称となっているかどうかを判定する。そして、略対象な配置になっている場合（図８中、左側の顔）については、顔の向きが正面向きとなっていると判定し、非対称な配置になっている場合（図８中、右側の顔）については横向きになっている判定する。さらに、横向きと判定したときには、正面向きからずれた分のずれ量を算出する。なお、顔向きを特定する方法については、特に限定されるものでなないが、一例を挙げると、抽出した映像データに対して、映像中の顔を認識した上で当該顔の向きを特定するための公知の画像処理技術を適用するとよい。
【００４４】
以上に述べた３つの処理、すなわち、位置特定処理、面積算出処理及び顔向き特定処理については、ホームサーバ１がその後に音声再生処理を実行するにあたり実行することになっている。換言すると、ホームサーバ１は、上記３つの処理を実行した上で音声再生処理を映像表示処理と同期させて実行する（Ｓ００６）。この際、ホームサーバ１は、図９に示す手順にて音声再生処理を実行する。
【００４５】
具体的に説明すると、ホームサーバ１は、位置特定処理において特定した対話相手の口の表示位置に基づいて、対話相手の音声を再生するために利用する利用対象スピーカ（利用対象発生体に相当）を、複数のスピーカ６の中から選択する（Ｓ０２１）。
【００４６】
次に、ホームサーバ１は、特定した対話相手の口の表示位置と前工程で選択された各利用対象スピーカとの位置関係、及び、面積算出処理において算出した顔の面積と基準面積との大小関係に基づいて、各対象利用スピーカから発する音の音量を設定する（Ｓ０２２）。なお、本実施形態では、選択した利用対象スピーカの各々に対して個別に音量の設定を行うことになっている。
【００４７】
次に、ホームサーバ１は、顔向き特定処理において特定した顔の向きに基づいて、利用対象スピーカの向きを設定する（Ｓ０２３）。なお、本実施形態では、スピーカの向きを全利用対象スピーカに共通のものとして設定することとしているが、利用対象スピーカ毎に個別の設定を行うこととしてもよい。
【００４８】
以上までの工程Ｓ０２１〜Ｓ０２３について具体例を挙げて改めて説明する。なお、以下に説明する具体例は、利用対象スピーカ、音量及びスピーカの向きを決定する手順の一例に過ぎず、これに限定されるものではない。
【００４９】
具体例では、ディスプレイ４の表示画面４ａのうち、下方左側にある頂点を原点（０，０）とし、下方右側の頂点の座標を（Ｓｘ，０）とし、上方左側の頂点の座標を（０，Ｓｙ）とし、上方右側の頂点の座標を（Ｓｘ，Ｓｙ）とする。また、下方左側の頂点と上方左側の頂点の中間の座標を（０，Ｓｍ）とし、下方右側の頂点と上方右側の頂点の中間の座標を（Ｓｘ，Ｓｍ）とする。また、対話相手の口の表示位置の座標を（Ａｘ，Ａｙ）とする。
【００５０】
さらに、６個のスピーカ６のうち、ディスプレイ４のフレームの左端部分に取り付けられているスピーカ６については、上から順に６Ａ，６Ｂ，６Ｃとし、右端部分に取り付けられているスピーカ６については、上から順に６Ｄ，６Ｅ，６Ｆとする。
【００５１】
先ず、利用対象スピーカの選定について説明すると、下記のルール（Ｒ１）〜（Ｒ５）に従って利用対象スピーカを選定する。
（Ｒ１）Ａｙが０より大きく、かつ、Ｚ（ＺはＳｍよりも小さい値）より小さい場合には下段のスピーカ６Ｃ、６Ｆを利用対象スピーカとする。
（Ｒ２）ＡｙがＺ以上で、かつ、Ｓｍ−Ｚよりも小さい場合には中段のスピーカ６Ｂ、６Ｅ及び下段のスピーカ６Ｃ、６Ｆを利用対象スピーカとする。
（Ｒ３）ＡｙがＳｍ−Ｚ以上で、かつ、Ｓｍ＋Ｚよりも小さい場合には中段のスピーカ６Ｂ、６Ｅを利用対象スピーカとする。
（Ｒ４）ＡｙがＳｍ＋Ｚ以上で、かつ、Ｓｙ−Ｚよりも小さい場合には中段のスピーカ６Ｂ、６Ｅ及び上段のスピーカ６Ａ、６Ｄを利用対象スピーカとする。
（Ｒ５）ＡｙがＳｙ−Ｚ以上で、かつ、Ｓｙよりも小さい場合には上段のスピーカ６Ａ、６Ｄを利用対象スピーカとする。
【００５２】
次に、音量の設定について説明すると、音量の設定に際して、各利用対象スピーカに対して分配率Ｘを算出する。分配率Ｘについては、２段階の計算で決定され、１段階目の計算で、右側の利用対象スピーカ用の分配率Ｘｒと左側の利用対象スピーカ用の分配率Ｘｌが下記の式にて決定される。
Ｘｒ＝Ａｘ／Ｓｘ
Ｘｌ＝１−Ｘｒ＝１−Ａｘ／Ｓｘ
【００５３】
その後、２段階目の計算として、上側の利用対象スピーカ用の分配率Ｘｕと下側の利用対象スピーカ用の分配率Ｘｄが決定される。ここで、各分配率Ｘｕ、Ｘｄについては、上記ルール（Ｒ１）〜（Ｒ５）のうち、該当するルールに応じて決定方法が異なっており、具体的には下記の手順にて決定される。
［ルール（Ｒ１）、（Ｒ３）、（Ｒ５）が適用される場合］
Ｘｕ＝Ｘｄ＝１
［ルール（Ｒ２）が適用される場合］
Ｘｕ＝Ａｙ／Ｓｍ
Ｘｄ＝１−Ｘｕ＝１−Ａｙ／Ｓｍ
［ルール（Ｒ４）が適用される場合］
Ｘｕ＝Ａｙ／Ｓｙ
Ｘｄ＝１−Ｘｕ＝１−Ａｙ／Ｓｙ
【００５４】
以上の計算が終了した後、１段階目で計算した分配率と２段階目で計算した分配率との積が最終的な分配率となる。例えば、利用対象スピーカが中段のスピーカ６Ｂ、６Ｅ及び下段のスピーカ６Ｃ、６Ｆである場合、中段左側のスピーカ６Ｂの分配率Ｘは、Ｘｌ＊Ｘｕとなり、中段右側のスピーカ６Ｅの分配率Ｘは、Ｘｒ＊Ｘｕとなり、下段左側のスピーカ６Ｃの分配率Ｘは、Ｘｌ＊Ｘｄとなり、下段右側のスピーカ６Ｄの分配率Ｘは、Ｘｒ＊Ｘｄとなる。
【００５５】
分配率Ｘが決定した後には、面積算出処理において算出した顔の面積と基準面積との大小関係に基づいて補正係数Ｍを算出する。具体的に説明すると、本実施形態では、基準面積に対する算出した面積の比を補正係数Ｍとして用いる。ただし、これに限定されるものではなく、上記の比と補正係数Ｍの対応関係を規定したテーブルデータが予め登録されており、当該テーブルデータを参照して、上記の比と対応する大きさの補正係数Ｍを設定することとしてもよい。
【００５６】
そして、各利用対象スピーカについて分配率Ｘと補正係数Ｍとの積を算出し、当該算出結果と対話相手の音声の元の音量（つまり、対話相手側で集音された音声の音量）とを乗じて得られる値を、その利用対象スピーカに適用する設定音量とする。
【００５７】
次に、スピーカの向きの設定について説明すると、顔向き特定処理において対話相手の顔の向きが正面向きであると判定された場合、各利用対象スピーカの向きを正面向きにする。一方、対話相手の顔の向きが横向きであると判定したときには、正面向きからのずれ量だけ対話相手の顔と同じ向きにずれた向きを、各利用対象スピーカの向きとする。
【００５８】
以上のような手順によって利用対象スピーカ、音量及びスピーカの向きが決定すると、ホームサーバ１は、これらの決定事項に基づいて制御データを生成する（Ｓ０２４）。ここで、制御データとは、スピーカ６が音の発生する際の条件を示すデータであり、具体的には、音量及びスピーカの向きの各々に関する設定値を含むデータとなっている。
【００５９】
ここで、本実施形態の場合、ホームサーバ１は、上記の制御データを各利用対象スピーカ別に生成することになっている。そして、ホームサーバ１は、利用対象スピーカに対応する制御データに向けて伝送する（Ｓ０２５）。一方、制御データは、アンプ７にてフィルタ処理が施された後に、対応するスピーカ６に受信される。制御データを受信したスピーカ（利用対象スピーカ）は、制御データより特定される制御条件に従って音を発生する。
【００６０】
以上までに説明した流れに従って音声再生処理が実行される結果、ディスプレイ４に表示される映像中の対話相手の口から音声が聞こえてくる視聴覚的効果が奏されるようになる。換言すると、音声再生処理において、ホームサーバ１は、対話相手の音声を再生した際の音像が位置特定処理において特定した対話相手の口の表示位置に定位するようにオーディオデバイス５を制御している。
【００６１】
さらに、映像において対話相手の顔に変化が有る場合、ホームサーバ１は、音像の位置が当該変化に追従するように上記処理を繰り返し実行する。具体的に説明すると、図５に示すように、映像において対話相手の口が移動する場合（Ｓ００７）、ホームサーバ１は、対話相手の口が移動する都度、位置特定処理を実行して、変化後の口の表示位置の座標を特定する（Ｓ００８）。その後、上述した手順（すなわち、図９に図示の手順）にて音声再生処理を実行する。これにより、対話相手の口の表示位置が変化する場合でも、当該変化に音像の位置等を追従させることが可能となる。
【００６２】
同様に、対話相手の顔の面積が変化する場合（Ｓ００９）、ホームサーバ１は、対話相手の顔の面積が変化する都度、面積算出処理を実行して、変化後の面積を算出する（Ｓ０１０）。その後、上述した手順（すなわち、図９に図示の手順）にて音声再生処理を実行する。これにより、対話相手の顔の面積が変化する場合でも、当該変化に音像の位置を追従させることが可能となる。
【００６３】
また、同様に、対話相手の顔の向きが変化する場合（Ｓ０１１）、ホームサーバ１は、対話相手の顔の向きが変化する都度、顔向き特定処理を実行して、変化後の顔の向きを特定する（Ｓ０１２）。その後、上述した手順（すなわち、図９に図示の手順）にて音声再生処理を実行する。これにより、対話相手の顔の向きが変化する場合でも、当該変化に追従する形で音の向きを調整することが可能となる。
【００６４】
＜＜その他の実施形態＞＞
上記の実施形態では、本発明の対話用通信ユニットについて一例を挙げて説明した。ただし、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
【００６５】
また、上記の実施形態では、音像の位置を調整するために、各スピーカ６（厳密には、利用対象スピーカ）から発生する音の音量を調整することとした。ただし、音像の位置を調整する方法としては、他にも考えられ、各スピーカ６から発生する音の位相を調整することとしてもよい。すなわち、音声再生処理において、各スピーカ６からの発生音の音量を調整する代わりに、各スピーカ６からの発生音の位相を、対話相手の口の表示位置と各スピーカ６の配置位置との位置関係に基づいて調整することとしてもよい。
【００６６】
また、上記の実施形態では、表示画面４ａにおける対話相手の口の表示位置に基づいて、利用対象スピーカの選別を行うこととした。ただし、利用対象スピーカの選別については行わないこととし、設置されているスピーカ６すべてを利用対象スピーカとすることとしてもよい。
【００６７】
また、上記の実施形態では、スピーカ６がディスプレイ４のフレーム以外に取り付けられていることとしたが、これに限定されるものではない。スピーカ６は、ディスプレイ４よりも外側の位置、すなわちディスプレイ４から離れた状態で設けられていてもよい。
【００６８】
また、上記の実施形態では、ホームサーバ１が音の発生条件を示す制御データをスピーカ６毎（厳密には利用対象スピーカ毎）に個別に生成し、各スピーカ６に向けて対応する制御データを伝送することとした。すなわち、上記の実施形態では、スピーカ６の個別制御が可能となり、この結果、音像の位置をより細やかに調整することが可能となる。ただし、これに限定されるものではなく、スピーカ毎に設定した音の発生条件を一つの制御データにまとめて、かかる一つの制御データをスピーカ間で共通に用いることとしてもよい。あるいは、対話相手の音声の音量と同じ音量を発生条件とする制御データを、利用対象スピーカの個数分だけ生成し、当該制御データを各利用対象スピーカに送信する一方で、上述した分配率Ｘ及び補正係数Ｍを示すデータを利用対象スピーカ別に生成し、生成した当該データを対応する利用対象スピーカに送信することとしてもよい。かかるケースでは、スピーカ側で受信したデータに基づいて発生音の音量を設定することとなる。
【００６９】
また、上記の実施形態では、制御装置としてホームサーバを用いることとしたが、これに限定するものではない。制御装置としての機能を発揮する装置であれば制限なく利用することが可能であり、例えば、ＰＣを制御装置として利用することとしてもよい。
【符号の説明】
【００７０】
１  ホームサーバ
２  カメラ
３  マイク
４  ディスプレイ
４ａ  表示画面
５  オーディオデバイス
６  スピーカ
６ｓ  ケーシング
６ｔ  軸
７  アンプ
１００  対話用通信ユニット
【図１】
2015192333.tif 000003
【図２】
2015192333.tif 000004
【図３】
2015192333.tif 000005
【図４】
2015192333.tif 000006
【図５】
2015192333.tif 000007
【図６】
2015192333.tif 000008
【図７】
2015192333.tif 000009
【図８】
2015192333.tif 000010
【図９】
2015192333.tif 000011