(57)【要約】自車の乗員と所望の車両の乗員との間で円滑なコミュニケーションを図ることができる音声処理装置を得ること。本発明の通信システムでは、第１の通信装置１０は、第１の車両Ｍｃの位置と発話者６０１の音声と発話方向ｄを第１の車両Ｍｃの周辺の不特定多数の第２の車両Ｍｒに送信する。第２の通信装置１０は、複数のスピーカ４１からなるスピーカアレイにより第２の車両Ｍｒ内に形成される音場において、音声の仮想音源が第１の車両Ｍｃの位置の方向に形成されるように音声を加工し、かかる音声を第１の車両Ｍｃの位置と第２の車両Ｍｒの位置と第１の車両Ｍｃの発話者の発話方向ｄに基づいて算出した音量でスピーカアレイにより出力する。
2016072164.tif 000002
【特許請求の範囲】
【請求項１】
自車の位置を取得する自車位置取得部と、
前記自車の発話者の音声を取得する音声取得部と、
前記発話者の発話方向を検出する発話方向検出部と、
前記自車の位置と前記音声と前記発話方向を自車周辺の不特定多数の他車に送信する送信部と、
を有することを特徴とする車載用音声処理装置。
【請求項２】
前記発話方向検出部は、前記自車の車室内で且つ互いに異なる位置に配置された複数のマイクから入力した音声に基づいて前記発話方向を検出することを特徴とする請求項１に記載に記載の車載用音声処理装置。
【請求項３】
前記発話方向検出部は、前記自車の車室内に配置されたカメラで撮像した発話者の顔の画像に基づいて前記発話方向を検出することを特徴とする請求項１に記載の車載用音声処理装置。
【請求項４】
自車の位置を取得する自車位置取得部と、
他車から送信された前記他車の位置と該他車の発話者の音声と前記他車の発話者の発話方向を受信する受信部と、
前記自車の位置と前記他車の位置と前記他車の発話者の発話方向に基づいて前記音声を出力する音量を算出し、複数のスピーカからなるスピーカアレイにより形成される音場において、前記音声の仮想音源が、前記他車の位置の方向に形成されるように音声を加工し、該音声を前記音量で前記スピーカアレイにより出力する音声出力部と、
を有することを特徴とする車載用音声処理装置。
【請求項５】
前記音声出力部は、前記他車から前記自車への相対方向と、前記発話方向との一致度に応じて前記音量を変更することを特徴とする請求項４に記載の車載用音声処理装置。
【請求項６】
第１の車両に搭載される第１の通信装置と、第２の車両に搭載される第２の通信装置とを有する通信システムであって、
前記第１の通信装置は、前記第１の車両の位置を取得する第１車両位置取得部と、前記第１の車両の発話者の音声を取得する音声取得部と、前記第１の車両の発話者の発話方向を検出する発話方向検出部と、前記第１の車両の位置と前記第１の車両の発話者の音声と前記第１の車両の発話者の発話方向を前記第１の車両の周辺の不特定多数の第２の車両に送信する送信部とを有し、
前記第２の通信装置は、前記第２の車両の位置を取得する第２車両位置取得部と、前記送信部から送信された前記第１の車両の位置と前記第１の車両の発話者の音声と前記第１の車両の発話者の発話方向を受信する受信部と、前記第１の車両の位置と前記第２の車両の位置と前記第１の車両の発話者の発話方向に基づいて前記音声を出力する音量を算出し、複数のスピーカからなるスピーカアレイにより前記第２の車両内に形成される音場において、前記音声の仮想音源が、前記第１の車両の位置の方向に形成されるように音声を加工し、該音声を前記音量で前記スピーカアレイにより出力する音声出力部と、
を有することを特徴とする通信システム。
【請求項７】
前記音声出力部は、前記第１の車両から前記第２の車両への相対方向と、前記発話方向との一致度に応じて前記音量を変更することを特徴とする請求項６に記載の通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば自車の乗員と所望の車両の乗員との間でコミュニケーションを図ることができる車載用音声処理装置に関する。
【背景技術】
【０００２】
近年、リアルな音場を実現するサラウンドスピーカ（スピーカアレイ）を用いた音響システムが搭載された車両がある。特許文献１には、自車（A車）位置と自車の発話者の音声を送信し、相手車両（B車）は受信したA車の位置とB車の位置からB車にとってのA車の位置関係を計算し、A車の方向から聞こえるようにサラウンドスピーカから受信した音声を出力する技術が示されている。【０００３】
特許文献１の技術では、音声は自車の発話者が話しかけたい相手車両だけでなく、周辺の不特定多数の車両にも送信される。そして、音量は自車からの離間距離に応じて調整される（離れているほど音量を小さくする）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2009-023486号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、周辺の他の車両のうち、自車の発話者が話しかけたい相手の車両が一番近くにいる車両とは限らない。したがって、相手車両の乗員は自分が話しかけられているとは気がつきにくい場合もあり、相手車両との円滑なコミュニケーションを図ることが困難な状況が発生することが懸念される。【０００６】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、自車の乗員と所望の車両の乗員との間で円滑なコミュニケーションを図ることができる音声処理装置を提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決する本発明の車載用音声処理装置は、自車の位置を取得する自車位置取得部と、前記自車の発話者の音声を取得する音声取得部と、前記発話者の発話方向を検出する発話方向検出部と、前記自車の位置と前記音声と前記発話方向を自車周辺の不特定多数の他車に送信する送信部と、を有することを特徴としている。
また、本発明の他の車載用音声処理装置は、自車の位置を取得する自車位置取得部と、他車から送信された前記他車の位置と該他車の発話者の音声と前記他車の発話者の発話方向を受信する受信部と、前記自車の位置と前記他車の位置と前記他車の発話者の発話方向に基づいて前記音声を出力する音量を算出し、複数のスピーカからなるスピーカアレイにより形成される音場において、前記音声の仮想音源が、前記他車の位置の方向に形成されるように音声を加工し、該音声を前記音量で前記スピーカアレイにより出力する音声出力部と、を有することを特徴としている。
【発明の効果】
【０００８】
本発明によれば、車々間の円滑なコミュニケーションが可能となる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の車載用音声処理装置の構成を示すブロック図。
【図２】実施例１の車載用音声処理装置の車両内配置図。
【図３】実施例１の車載用音声処理装置の送受信データフォーマットの構成を示す図。
【図４】実施例１の車載用音声処理装置の送信時のデータ処理フローを示す図。
【図５】実施例１の車載用音声処理装置の受信時のデータ処理フローを示す図。
【図６】実施例１の自車の乗員の発話方向と相手車両内での音声の方向と音量を説明する図。
【図７】実施例２の車載用音声処理装置の構成を示すブロック図。
【図８】実施例２の車載用音声処理装置の車両内配置図。
【図９】実施例２の自車の乗員の発話方向と相手車両内での音声の方向と音量を説明する図。
【図１０】実施例３の車載用音声処理装置の構成を示すブロック図。
【図１１】実施例３の車載用音声処理装置の構成を示すブロック図。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を挙げて説明する。
【００１１】
＜実施例１＞
図１は、本発明の実施例１の実施形態となる車載用音声処理装置の構成を示すブロック図である。
【００１２】
本発明の通信システムは、少なくとも２台以上の車両の間における無線通信を行うものであり、本実施例では各車両にそれぞれ無線通信装置１０を備えている。無線通信装置１０は、送信部１１と受信部１２を有しており、同じ無線通信装置を搭載する他車と自車との間で音声データを含む情報の通信が可能となっている。送信部１１は、自車の情報を自車周辺の不特定多数の他車が受信できるように送信するブロードキャストを行う。受信部１２は、他車から送信された他車の情報を受信する。
【００１３】
無線通信装置１０には、車載用音声処理装置２０が接続されている。そして、車載用音声処理装置２０の入力側には、マイクアレイを構成する複数のマイク３１と、ＧＰＳ装置３２と、ジャイロセンサ３３が接続され、出力側には、スピーカアレイを構成する複数のスピーカ４１が接続されている。
【００１４】
車載用音声処理装置２０は、自車の位置を取得する自車位置取得部２１と、自車の発話者の音声を取得する音声取得部２２と、自車の発話者の発話方向を検出する発話方向検出部２３と、他車から受信した情報に基づき他車の発話者の音声を再生して出力する再生音声出力部２４を有している。無線通信装置１０の送信部１１は、自車の位置と音声と発話方向の情報を送信する。
【００１５】
自車位置取得部２１は、ＧＰＳ装置３２からの情報と、ジャイロセンサ３３からの情報に基づいて、自車の位置と向きを取得する。自車の位置は、緯度と経度で示され、向きは、自車位置を基準とした方位（東西南北等）で表される。方位は、例えば北を基準に何度と表すこともできる。自車の向きを検出する方法として、ジャイロセンサ３３の代わりに地磁気センサを用いてもよい。音声取得部２２は、マイク３１から入力した自車の発話者の音声を取得する。音声取得部２２では、音声をアナログデータからデジタルデータに変換する。発話方向検出部２３は、マイク３１から入力した音声に基づいて発話者が向いて話している方向である発話方向を検出する。発話方向は、例えばジャイロセンサ３３からの信号に基づいて方位で表される。
【００１６】
再生音声出力部２４は、自車の位置と他車の位置と他車の発話者の発話方向に基づき自車において再生音声を出力する音量を算出し、複数のスピーカからなるスピーカアレイにより形成される音場において、音声の仮想音源が他車の位置の方向に形成されるように音声を加工し、算出した音量で音声をスピーカアレイにより出力する処理を行う。なお、音声の仮想音源が他車の位置の方向に形成されるように音声を加工する方法は、特許文献１に示されている公知の技術を用いることができる。
【００１７】
再生音声出力部２４で出力される再生音声は、他車の発話者が自車の方向を向いて話している場合に音量が最も大きくなるようにされ、他車の発話者の発話方向が自車から離れるに応じて音量が小さくなるようにされる。
【００１８】
再生音声出力部２４は、他車の発話方向と、他車から自車への相対方向との一致度に応じて再生音声の音量を変更する。再生音声の音量Ｖ１は、以下の式（１）によって算出される。
【００１９】
【数１】
2016072164.tif 000003
【００２０】
上記式(１)のＶ０は、他車で発話者により発声される音声の音量（発声音量）であり、本実施例では自車における再生音声の音量Ｖ１が他車における発声音量Ｖ０に比例することを示す。
【００２１】
上記式(１)の方向計算項は、他車の発話者の向いている方向である発話方向（ベクトルｄ）と、発話車両である他車から受話車両である自車への相対方向（ベクトルＰ１）の一致度を示す項である。本実施例では、方向計算項は、上記２つのベクトルの内積を２つのベクトルの大きさで割った値を採用しており、方向が完全に一致している場合には、この項は１となり、90度ずれている場合には、この項は０となる。なお、この値が負になる場合には０とする。そのため、両者の方向の一致度が高ければ高いほど、自車における再生音声の音量Ｖ１が大きくなる。本実施例では、一致度が低くなるに応じて音量を漸次小さくする場合について説明したが、９０度よりも狭い所定角度範囲を設定し、かかる所定角度範囲内では再生音声の音量を一定とし、所定角度範囲から外れた場合には、再生音声の音量を０としてもよい。
【００２２】
上記式(１)の距離減衰項は、発話車両である他車から受話車両である自車までの距離Ｐ１によって音量の減衰を計算する項である。本実施例では、他車から自車への距離の二乗に反比例する値となっており、距離が遠ければ遠いほど自車における再生音声の音量Ｖ１が小さくなる。
【００２３】
図２は、実施例１の車載用音声処理装置の車両内配置図である。
図２では、車両２０１の車室内を模式的に示している。複数のマイク３１と複数のスピーカ４１は、車両２０１の車室内に配置されている。
【００２４】
本実施例では４個のマイク３１と４個のスピーカ４１が、車両２０１の座席の周囲を囲むように配置されている。４個のマイク３１は、自車の発話者がどの方向を向いて話をしているのかがわかるように音声を取得する。４個のスピーカ４１は、自車の車室内に音場を形成し、他車で取得された発話者の音声の仮想音源が他車の位置の方向に形成されるように、すなわち、他車の発話者の音声が他車の方向から聞こえるように再生音声を出力する。
【００２５】
図３は、本発明の実施例１の実施形態となる車載用音声処理装置の送受信データフォーマットの構成を示す図である。
【００２６】
車載用音声処理装置２０の送信部１１は、自車情報をパケットデータとして送信する。パケットデータは、図３に示すパケットフォーマットを有しており、ブロードキャストアドレス（ＢＣアドレス）３０１、発話位置（自車位置）３０２、発話方向３０３、音声データ３０４の各情報を含む。
【００２７】
図４は、本発明の実施例１の実施形態となる車載用音声処理装置の送信時のデータ処理フローを示す図である。
【００２８】
ステップＳ４０１では、自車の発話者の音声をマイク３１で検出し、送信部１１で送信可能なフォーマットに変換する処理が行われる。そして、ステップＳ４０２では、乗員がどこを向いて話しているのか、その方向である発話方向を検出する処理が行われる。本実施例では、マイク３１で検出した音声に基づいて発話方向を検出している。ステップＳ４０３では、発話位置、発話方向、音声データの情報を送信部１１から送信する処理が行われる。送信処理では、自車周辺の所定範囲内に存在する不特定多数の他車に対して送信するブロードキャストが行われる。
【００２９】
図５は、本発明の実施例１の実施形態となる車載用音声処理装置の受信時のデータ処理フローを示す図である。
【００３０】
ステップＳ５０１では、他車からブロードキャストされた他車の情報を受信する無線受信処理が行われる。これにより、他車位置、他車の発話者の発話方向及び他車の発話者の音声データを取得する。ステップＳ５０２では、自車に対する他車の相対的な発話方向と相対距離を算出する方向・距離算出処理が行われる。そして、ステップＳ５０３では、ステップＳ５０２で算出された自車に対する他車の発話者の相対的な発話方向と他車との相対距離に基づいてスピーカ４１から出力される他車の発話者の再生音声の音量を算出する処理が行われる。ステップＳ５０４では、他車の発話者の音声の音源が他車の位置の方向に形成されるように音声を加工し、ステップＳ５０３で算出された音量でスピーカ４１から出力させる再生処理が行われる。
【００３１】
図６は、本発明の実施例１における発話車両の発話者の発話方向と受信車両内での音声の方向と音量を説明する図である。
【００３２】
図６に示す例では、本実施例の通信システムを有する３台の車両が示されている。３台の車両はいずれも停止しており、送信車両Ｍｃ（第１の車両）の前方を２台の受信車両Ｍｒ１、Ｍｒ２（第２の車両）が前後に並んで横切る位置にいる。送信車両Ｍｃに対して後側の受信車両Ｍｒ１の方が前側の受信車両Ｍｒ２よりも離れた位置にある（Ｐ１＞Ｐ２）
。そして、送信車両Ｍｃの乗員である発話者６０１は、例えば後側の受信車両Ｍｒ１の乗員に対して、送信車両Ｍｃを後側の受信車両Ｍｒ１と前側の受信車両Ｍｒ２との間を通過させてほしいと、後側の受信車両Ｍｒ１の方向（ｄ）に向かって話しかけている。
【００３３】
従来の特許文献１の技術では、送信車両Ｍｃに近い前側の受信車両Ｍｒ２に対する音量の方が、送信車両Ｍｃから遠い後側の受信車両Ｍｒ１に対する音量よりも大きくなる。しかしながら、かかる状況では送信車両Ｍｃの発話者は、前側の受信車両Ｍｒ２の乗員ではなく、後側の受信車両Ｍｒ１の乗員と話をしたいのであり、円滑なコミュニケーションが妨げられるおそれがある。
【００３４】
これに対して、本実施例の通信システムによれば、送信車両Ｍｃの発話者６０１の発話方向の情報に応じて受信車両Ｍｒ１、Ｍｒ２における再生音声の音量が調整される。したがって、送信車両Ｍｃの発話者の発話方向（ｄ）にある後側の受信車両Ｍｒ１における再生音声の音量が前側の受信車両Ｍｒ２よりも大きくなる。したがって、後側の受信車両Ｍｒ１の乗員６０２は、送信車両Ｍｃの発話者６０１が自分に向かって話しかけていると認識でき、送信車両Ｍｃの乗員６０１に向かって返事をすることが可能となり、車々間の臨場感のある会話が可能となる。したがって、あたかも歩いている人同士が行っているような円滑なコミュニケーションが可能となる。
【００３５】
そして、前側の受信車両Ｍｒ２の乗員６０３は、送信車両Ｍｃの方向から送信車両Ｍｃの発話者６０１の音声は聞こえるが、その音量は、後側の受信車両Ｍｒ１よりも小さいので、送信車両Ｍｃの発話者６０３は自分ではなく、後側の受信車両Ｍｒ１の乗員６０２に話しかけていると認識できる。
【００３６】
＜実施例２＞
次に、本発明の実施例２について説明する。なお、実施例１と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
【００３７】
図７は、実施例２の車載用音声処理装置の構成を示すブロック図、図８は、実施例２の車載用音声処理装置の車両内配置図、図９は、実施例２における自車の乗員の発話方向と相手車両内での音声の方向と音量を説明する図である。
【００３８】
本実施例において特徴的なことは、カメラで撮像した発話者の顔の画像に基づいて、発話者の発話方向を検知することである。図７に示すように、車載用音声処理装置２０には、カメラ３４が接続されている。そして、図８に示すように、カメラ３４は、発話者となる運転者の顔を撮像できるように運転席の前方に取り付けられている。
【００３９】
車載用音声処理装置２０は、発話者の音声を取得して音声データを生成すると共に、カメラ３４の撮像画像に基づいて発話者の視線を検出し、その視線に基づいて発話方向を検出する。そして、音声データと発話方向の情報と自車位置の情報を有する自車情報を生成して送信部１１から送信させる処理を行う。
【００４０】
車載用音声処理装置２０は、図７に示すように、自車位置取得部２１と、音声取得部２２と、発話方向検出部２３と、再生音声出力部２４と、視線検出部２５を有している。視線検出部２５は、カメラ３４で撮像した画像から発話者の視線を検出する。そして、発話方向検出部２３、視線検出部２５で検出した発話者の視線に基づいて発話者の発話方向を検出する。発話方向は、例えばジャイロセンサ３３からの信号を用いて方位で表される。
【００４１】
発話方向の情報は、自車位置、発話方向、音声データの各情報と共にパケットデータとしてブロードキャストされる。後の処理は、実施例１と同様である。
本実施例によれば、発話者の発話方向を確実に検出することができ、発話者が話しかけたい車両を正確に特定することができる。したがって、車々間の臨場感のある会話が可能となり、従来以上に円滑なコミュニケーションが可能となる。
【００４２】
＜実施例３＞
次に、本発明の実施例３について説明する。なお、実施例１、２と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
【００４３】
図１０と図１１は、実施例３の車載用音声処理装置の構成を示すブロック図である。
本実施例において特徴的なことは、無線通信装置１０が送信部１１のみを有する車両と、受信部１２のみを有する車両の間で音声の通信を可能としたことである。
【００４４】
上述の実施例１、２では、各車両に送信部と受信部の両方が搭載されて、車々間での会話が可能となっている場合を例に説明したが、本発明は、送信部のみを有する車両と、受信部のみを有する車両の間にも適用できるものである。例えば救急車などの緊急車両に送信部のみを搭載し、一般車両に受信部のみを搭載して、緊急車両が通過するので進路上の一般車両は路肩に避けるようにという、緊急車両の発話者の音声を送信してもよい。これに対して、発話方向にある一般車両の乗員は、再生音声の音量の大きさから自分に対して話しかけていると認識でき、速やかに路肩に移動させることができる。
【００４５】
図１０に示す無線通信装置１０（第１の通信装置）は、送信部１１のみを有している。そして、無線通信装置１０に接続された車載用音声処理装置２０は、自車位置取得部２１（第１車両位置取得部）と、音声取得部２２と、発話方向検出部２３を有している。したがって、送信部１１を有する送信車両は、自車の位置と、自車の発話者の音声と、自車の発話者の発話方向を送信することができる。
【００４６】
図１１に示す無線通信装置１０（第２の通信装置）は、受信部１２のみを有している。そして、無線通信装置１０に接続された車載用音声処理装置２０は、自車位置取得部２１（第２車両位置取得部）と、再生音声出力部２４を有している。したがって、受信部１２を有する受信車両は、送信車両の位置と、送信車両の発話者の音声と、送信車両の発話者の発話方向を受信した場合に、自車位置と送信車両の位置と送信車両の発話者の発話方向に基づいて再生音声を出力する音量を算出し、複数のスピーカ４１からなるスピーカアレイにより形成される音場において、音声の仮想音源が送信車両の位置の方向に形成されるように音声を加工して、算出された音量でスピーカアレイにより出力することができる。
【００４７】
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００４８】
１０  無線通信装置
１１  送信部
１２  受信部
２０  車載用音声処理装置
２１  自車位置取得部
２２  音声取得部
２３  発話方向検出部
２４  音声出力部
２５  視線検出部
３１  マイク
３２  ＧＰＳ装置
３３  ジャイロセンサ
３４  カメラ
４１  スピーカ
【図１】
2016072164.tif 000004
【図２】
2016072164.tif 000005
【図３】
2016072164.tif 000006
【図４】
2016072164.tif 000007
【図５】
2016072164.tif 000008
【図６】
2016072164.tif 000009
【図７】
2016072164.tif 000010
【図８】
2016072164.tif 000011
【図９】
2016072164.tif 000012
【図１０】
2016072164.tif 000013
【図１１】
2016072164.tif 000014
【国際調査報告】
2016072164.tif 000015
2016072164.tif 000016