(57)【要約】【課題】自動車の周囲音に基づいた周囲状況通知に関して、その的確性、安全性などについてより充実したものとする。【解決手段】自動車外部の周囲の音（周囲音）を収音して、この収音により得られた音声情報を、車両内にて定位が与えられた音として再生する。つまり、自動車内において、その自動車の周囲音を立体的に再現する。さらに注意方向を決定するようにして、自動車内で再現する周囲音については、決定された注意方向に対応する定位の音が何らかの音響変化により強調されるように制御する。【選択図】図４
2005316704.tif 000002
【特許請求の範囲】
【請求項１】
車両外部の周囲の音である周囲音が収音されるようにして上記車両の所要位置に取り付けられる収音手段と、
上記収音手段により収音して得られる音声情報を、上記車両内において定位感を有する音として再生する再生手段と、
現在の運転者の所定の行動状態及び／又は車両の動作状況に基づいて、上記車両の周囲方向において特に注意度が高いとされる方向である注意方向を決定する決定手段と、
上記決定手段により決定された上記注意方向に対応する定位の音が、上記車両の周囲における上記注意方向以外の方向の定位の音よりも強調されるように上記再生手段を制御する制御手段と、
を備えることを特徴とする周囲状況通知装置。
【請求項２】
上記決定手段は、
上記車両を運転している運転者の顔が撮像されるようにして上記車両に取り付けられる撮像手段と、
上記注意方向として、上記撮像手段により撮像して得られた撮像画像における運転者の顔画像の情報に基づいて、上記車両の周囲において運転者が向いているとされる方向を判定する判定手段と、
を備えることを特徴とする請求項１に記載の周囲状況通知装置。
【請求項３】
上記決定手段は、
上記車両における変速機の状態、方向指示器の状態、及びハンドルの回転角度のうちの少なくとも１つの情報に基づいて、上記注意方向を決定するようにされている、
ことを特徴とする請求項１に記載の周囲状況通知装置。
【請求項４】
上記再生手段は、
上記収音手段により収音して得られる音声情報についての過去の一定時間分の情報と、現在上記収音手段により収音して得られたとされる音声情報との差分を、非定常音の音声情報として得る、非定常音検出手段を備えるとともに、
上記非定常音の音声情報を、上記車両内において定位感を有する音として再生する、
ことを特徴とする請求項１に記載の周囲状況通知装置。
【請求項５】
車両外部の周囲の音である周囲音が収音されるようにして上記車両の所要位置に取り付けられる収音手順と、
上記収音手順により収音して得られる音声情報を、上記車両内において定位感を有する音として再生する再生手順と、
現在の運転者の所定の行動状態及び／又は車両の動作状況に基づいて、上記車両の周囲方向において特に注意度が高いとされる方向である注意方向を決定する方向決定手順と、
上記再生手順により再生される音について、上記決定手順により決定された上記注意方向に対応する定位の音が、上記車両の周囲における上記注意方向以外の方向の定位の音よりも強調されるように制御する制御手順と、
を実行するように構成されることを特徴とする周囲状況通知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば自動車などの車両の外部周囲の状況を運転者に通知するための周囲状況通知装置と、その方法に関するものである。
【背景技術】
【０００２】
自動車などでは、安全のために車外の周囲の状況を運転者に通知する周囲状況通知装置を備えることがしばしば行われるようになってきている。
このような周囲状況通知装置としては、例えば所定数のカメラ装置を自動車の所定部位に取り付けて、このカメラ装置により撮像された自動車の周囲の映像を、自動車内の表示装置に表示させるものが知られている。
また、周囲状況の情報として、車外の周囲の音をマイクロフォンで収音して得られた周囲音を利用するものも提案されている。例えば、収音した周囲音から、他の車両の走行音などについての認識を行い、その認識結果に基づいて、接近車両の有無を自動判定するようにされている。
【０００３】
【特許文献１】特開平８−２０２９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記した周囲状況通知装置として、カメラにより撮像した自動車の周囲の画像を車内の表示装置に表示させるという手法を採るものは、運転者が周囲の状況を視覚的に認識できるという点では大きな利点があるものの、カメラが撮像する方向に障害物があったり、また、夜間などで周囲が非常に暗いような状況では、一転して周囲の様子を認識することが難しくなる。また、運転者が周囲の状況を確認するためには表示装置の表示画面を見なければならないから、そのときには運転者の視線が例えば進行方向から外れることにもなる。
【０００５】
このようなことを考慮すれば、周囲状況の通知を周囲の撮像画像にたよるのではなく、周囲音に基づいた状況通知ができるだけ万全に行われるようにすることが、周囲状況通知装置としてより高い安全性を提供できるようにするための１つの形態であるということがいえる。
このような観点から、例えば上記特許文献１に記載される構成を見てみると、接近車両の有無という周囲状況の把握を、周囲音に基づいて行っており、この点で、上記した障害物や夜間などにおける使用の問題は回避できているといえる。しかしながら、運転者自身による確認は、結局は表示装置に表示される画像を視認する必要があるので視線の移動がどうしても伴う。この点で、周囲音に基づいた状況通知を充分に行っているとは言い難い。
【０００６】
また、特許文献１では、周囲音により接近車両が存在することを判断したのに応じて警告音を出力するようにされているが、警告音は、その音声パターンが固定化されたものとなる。従って、例えば接近車両の存在のみについて警告音を出力しているうちは、警告音も１つのパターンで済むものの、周囲音に基づいた状況通知を充実させるために、状況判断項目の多様化、高精度化などを目指した場合には、いくつものパターンの警告音を用意して出力する必要が出てくることになる。
この場合、運転者は、いくつもの煩雑な警告音を運転中に聞かなければならなくなる。このことは、運転者にとっては煩わしく感じることになり、また、これらの多様なパターンの警告音をその都度注意深く聞いて理解して対応しなければならないという注意力の負担も強いられることになるわけであり、かえって安全運転の妨げになることが容易に想像される。
このようにして現状では、車両の周囲音に基づいた周囲状況通知に関して、その的確性、安全性などについてより充実したものとする余地が残されている。
【課題を解決するための手段】
【０００７】
そこで本発明は上記した課題を考慮して周囲状況通知装置として次のように構成する。
つまり、車両外部の周囲の音である周囲音が収音されるようにして車両の所要位置に取り付けられる収音手段と、この収音手段により収音して得られる音声情報を、車両内において定位感を有する音として再生する再生手段と、現在の運転者の所定の行動状態及び／又は車両の動作状況に基づいて、車両の周囲方向において特に注意度が高いとされる方向である注意方向を決定する決定手段と、この決定手段により決定された注意方向に対応する定位の音が車両の周囲における注意方向以外の方向の定位の音よりも強調されるように再生手段を制御する制御手段とを備えることとした。
【０００８】
また、周囲状況通知方法として、車両外部の周囲の音である周囲音が収音されるようにして上記車両の所要位置に取り付けられる収音手順と、この収音手順により収音して得られる音声情報を、上記車両内において定位感を有する音として再生する再生手順と、現在の運転者の所定の行動状態及び／又は車両の動作状況に基づいて車両の周囲方向において特に注意度が高いとされる方向である注意方向を決定する方向決定手順と、再生手順により再生される音について、上記決定手順により決定された上記注意方向に対応する定位の音が、上記車両の周囲における上記注意方向以外の方向の定位の音よりも強調されるように制御する制御手順とを実行するように構成することとした。
【０００９】
上記各構成によれば、本発明としては車両外部の周囲の音（周囲音）を収音して、この収音により得られた音声情報を、車両内にて定位が与えられた音として再生するようにしている。これは、車両内において、車両の周囲の音を再現可能となることを意味する。これにより、運転者は、車両の周囲の様子について再生音を聴くことにより認識できることになるが、この再生音は、周囲音に対応する定位を有しているから、周囲音に含まれる或る特定の音（例えば他の車両の走行音など）の到来方向なども運転者は認識可能となる。  そのうえで、車両内で再現される周囲音は、決定された注意方向に対応する定位の音が何らかの音響変化により強調されるように制御されるので、運転者にとっては、注意して聴くべき方向の音が聴きやすい環境が得られることになる。
【発明の効果】
【００１０】
このようにして本発明は、車両内に居ながらにして定位感のある周囲音が聞こえるようにされていることで、車両の周囲の状況を的確に認識できることになる。つまり、音により高い信頼性でもって周囲の状況を通知する環境を提供しているものであり、この点で、例えば周囲の様子を撮影した画像の表示により周囲の状況を通知するときのような運転者の視線の移動などは伴わないために、高い安全性が得られることになる。
また、再生される周囲音について、運転者が注意すべき方向の音が聴きやすいように強調されることで、周囲状況通知の的確さはより高まることになる。
このようにして本発明では、周囲音を収音して得られる情報に基づいた周囲状況通知として、運転者に対してこれまでよりも的確に周囲の状況の通知が行われるようにされているものであり、これに伴う安全性の向上も図られているものである。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態（以下、実施の形態という）について説明を行うこととする。本実施の形態では、車両として自動車に搭載される周囲状況通知システムを例に挙げることとする。
【００１２】
本実施の形態の周囲状況通知システムは、自動車の外部の周囲の音（周囲音）をマイクロフォンにより収音して得られる音声情報を利用する。このために、本実施の形態においては、自動車の周囲の音が収音されるように、自動車に対してマイクロフォンを取り付けるようにされる。本実施の形態としてのマイクロフォンの取り付け例を図１及び図２に示す。
【００１３】
先ず、図１から説明する。
図１には、本実施の形態の周囲状況通知システムが搭載される自動車１が平面的に示されている。
図１に示す例としては、自動車１の屋根の縁の周囲に対して、図示するような配置状態により、全部で８つのマイクロフォンＭＲ１〜ＭＲ８を取り付けるようにする。
これらのマイクロフォンＭＲ１〜ＭＲ８の取り付け位置は、収音する周囲音の方向に対応している。
マイクロフォンＭＲ１は、屋根の前方中央に取り付けられていることで、自動車１の前方中央となる方向の周囲音を収音するものとなる。
マイクロフォンＭＲ２は、屋根の右前方に取り付けられていることで、自動車１の右前方となる方向の周囲音を収音する。
マイクロフォンＭＲ３は、屋根の右中央に取り付けられていることで、自動車１の右中央となる方向の周囲音を収音する。
マイクロフォンＭＲ４は、屋根の右後方に取り付けられていることで、自動車１の右後方となる方向の周囲音を収音する。
マイクロフォンＭＲ５は、屋根の後方中央に取り付けられていることで、自動車１の後方中央となる方向の周囲音を収音する。
マイクロフォンＭＲ６は、屋根の左後方に取り付けられていることで、自動車１の左後方となる方向の周囲音を収音する。
マイクロフォンＭＲ７は、屋根の左中央に取り付けられていることで、自動車１の左中央となる方向の周囲音を収音する。
マイクロフォンＭＲ８は、屋根の左前方に取り付けられていることで、自動車１の左前方となる方向の周囲音を収音する。
このようなマイクロフォンＭＲ１〜ＭＲ８の配置によれば、自動車１の周囲３６０°の周囲音を、ほぼ８つの方向（４５°づつ）に区分するようにして収音できることになる。
【００１４】
図２においては、自動車１の屋根に代えてボディ側に対してマイクロフォンを取り付ける例を示している。
この図においても、全部で８つのマイクロフォンＭＢ１〜ＭＢ８が取り付けられている。そして、これらのマイクロフォンＭＢ１〜ＭＢ８の自動車に対する取り付け位置と、収音する周囲音の方向との関係は、それぞれ上記図１のマイクロフォンＭＲ１〜ＭＲ８と同様とされる。
【００１５】
本実施の形態の周囲状況通知システムとしては、図１と図２に示すマイクロフォンの取り付け形態の少なくともいずれか一方を採用するものとされる。図１と図２のいずれを採用しても、自動車１の周囲３６０°の周囲音を、同じ８方向の分解能により収音できる。
また、マイクロフォンの取り付け位置が、図１では自動車１の屋根であり、図２ではボディであることに着目すると、その相違は、高さであることになる。つまり、図１の形態では、周囲音として屋根の高さに対応する比較的高めの位置が重点的に収音され、図２の形態では、ボディの高さに対応する、屋根より低い位置が重点的に収音される。
このような収音位置の高さの違いが在ることを考慮すれば、図１と図２のマイクロフォンの取り付け例を組み合わせることで、高さ方向においても広い収音範囲がカバーできることになるので、周囲音の情報がさらに的確なものとなって好ましいということがいえる。本実施の形態としては、もちろん、図１と図２のマイクロフォンの取り付け例を組み合わせた構成を採ることは可能であるが、以降の説明においては、説明を簡単で分かりやすいものとすることの都合上、図１に示した形態を採用した構成の周囲状況通知システムを前提とする。
また、上記図１又は図２に示したマイクロフォンＭＲ１〜ＭＲ８、ＭＢ１〜ＭＢ８については、その使用用途上、例えば単一指向性などの指向性の強い特性のものが好ましい。
【００１６】
図３は、周囲状況通知システムを主体としてみた場合の自動車１の室内環境を模式的に示している。
この図に示される運転者Ｕは運転席に座っているものとされる。そして、運転席としての座席シートにおいて運転者の頭を後方にて支えるヘッドレスト２には、左スピーカＳＰＬ及び右スピーカＳＰＲが埋め込まれている。左スピーカＳＰＬと右スピーカＳＰＲは、運転者Ｕが運転をするために通常に運転席に座っているとされる状態において、それぞれ、運転者Ｕの左耳と右耳に対応する位置に在るように取り付けられる。
【００１７】
この左スピーカＳＰＬ及び右スピーカＳＰＲは、実施の形態の周囲状況通知システムにおいて、図１に示したようにしてマイクロフォンＭＲ１〜ＭＲ８により周囲音を収音して得られた音声信号を音声として再生出力するために設けられるものである。
この場合、周囲音を収音して得られる音声は、マイクロフォンＭＲ１〜ＭＲ８に対応して独立して８チャンネル分があるのに対して、音声を再生するスピーカは、左スピーカＳＰＬ及び右スピーカＳＰＲの２チャンネル分とされている。
しかしながら、本実施の形態の周囲状況通知システムとしては、後述するようにして音声信号処理系においてバーチャルサラウンド処理を行なうようにされる。このバーチャルサラウンド処理は、運転席をリスニングポジションとしたときに、左スピーカＳＰＬ及び右スピーカＳＰＲから出力される音により形成される音場としては、あたかも、マイクロフォンＭＲ１〜ＭＲ８にて収音された音声を、それぞれ、図３に示す仮想スピーカＳＰＶ１〜ＳＰＶ８から出力させたかのような音として知覚させるようなものとなる。なお、仮想スピーカＳＰＶ１〜ＳＰＶ８の各位置は、マイクロフォンＭＲ１〜ＭＲ８が収音する周囲音の方向に対応する。
このようにして形成される音場としては、例えば実際に自動車１の外側において右前方から到来してくる音は、そのまま、運転者Ｕにとっても、右前方から到来してくる音として聞こえることになる。つまり、左スピーカＳＰＬ及び右スピーカＳＰＲから出力される音により形成される音場は、運転者Ｕにとっては、自動車１の外部３６０°の周囲音の到来方向について、自動車１の室内でほぼ再現されているようにして聞こえるものとなる。
【００１８】
また、自動車１の室内においては、運転者Ｕの顔を撮像するためのカメラ３が備えられる。このカメラ３は例えばＣＣＤなどの撮像素子を備えた撮像装置であり、例えば、運転者Ｕが運転席に座って通常に運転をしている状態において、運転者Ｕの顔が正面側から所要以上の画面内の占有率によって撮像され、かつ、運転の妨げにならないような位置に設けられる。例えば、運転席側のフロントガラスの上側近傍に取り付けるようにされる。
【００１９】
図４のブロック図は、本実施の形態の周囲状況通知システムにおいて、主として音声信号処理系となる部位の構成例を示している。
マイクロフォンＭＲ１にて収音して得られた音声信号は、実際においてはデジタル信号化されたうえで、バンドパスフィルタ（ＢＰＦ）１１−１に対して入力される。バンドパスフィルタ１１−１では、例えば風切り音や自動車１そのものの振動音などの不要雑音とみなしてよいような所定の低域／高域の周波数帯域成分を除去して、入力音声信号を通過させ、非定常音検出部１２−１に入力する。
【００２０】
非定常音検出部１２−１では、入力された音声信号について、例えば一定周期ごとにＦＦＴによる周波数解析処理を行って、時間波形から周波数領域の情報に変換する。また、非定常音検出部１２−１にはメモリ１３−１が接続されている。非定常音検出部１２−１は、過去の一定時間に入力された音声信号について平均化した平均化データを生成し、これをメモリ１３−１に書き込んで保持させるようにしている。そのうえで、非定常音検出部１２−１は、メモリ１３−１に保持されている平均化データに対して、上記のようにして入力されてくる音声信号を、周波数領域で減算を行なう。この減算結果は、メモリ１３−１において平均化して保持している過去の一定時間の周囲音と、現在の周囲音との差分となるものであり、上記メモリ１３−１の過去の一定時間の周囲音を定常音として扱うものとすれば、非定常音の周波数領域成分である、ということになる。具体的には、例えば自動車の周囲音の状態として、他の車両が近づいてきて、この他の車両の走行音が顕著になってきたり、あるいはクラクションなどの警報音が鳴ったとすれば、このような走行音やクラクションの音に対応する周波数領域成分が、上記減算結果として得られるものである。つまり、本実施の形態の非定常音検出部１２−１では、上記減算結果を得ることで非定常音を検出している。また、上記した具体例に依れば、非定常音検出部１２−１により検出される非定常音は、自動車１の周囲音として、運転者が運転を行っているときに注意を払うべき音であるということがいえる。
非定常音検出部１２−１では、上記のようにして検出した非定常音としての周波数領域（帯域）成分について、逆ＦＦＴを行うことで時間波形（音声信号波形）に変換して、後段の方向処理部１４内の遅延処理部１５−１に対して出力する。
【００２１】
同様にして、残る７つのマイクロフォンＭＲ２〜ＭＲ７により収音して得られた音声信号は、それぞれバンドパスフィルタ１１−２〜１１−８を通過して、メモリ１３−２〜１３−８を有する非定常音検出部１２−２〜１２−８に入力されて非定常音としての成分が検出される。そして、この非定常音としての音声信号を方向処理部１４に対して出力する。
【００２２】
方向処理部１４は、後述する方向処理制御部２１の制御に応じてバーチャルサラウンド音声として左スピーカＳＰＬ，右スピーカＳＰＲから再生出力される音声について、注意方向として判定された方向の音声が強調されるようにするための信号処理（方向処理）を実行する部位である。
この方向処理部１４においては、非定常音検出部１２−１〜１２−８から出力される非定常音の音声信号ごとに対応して、［遅延処理部１５−１→符号反転処理部１６−１］〜［遅延処理部１５−８→符号反転処理部１６−８］の信号処理系が備えられる。
これらの信号処理系において、遅延処理部１５−１〜１５−８の各々は、方向処理制御部２１の制御によってそれぞれ個別に遅延時間が設定される。そして、この設定された遅延時間により、入力された音声信号を遅延させて出力する。
符号反転処理部１６−１〜１６−８の各々に対しては、遅延処理部１５−１〜１５−８から出力された、デジタルの音声信号が入力される。符号反転処理部１６−１〜１６−８は、方向処理制御部２１の制御によってそれぞれ個別に、入力された音声信号としてのデジタル値について非反転としてそのまま出力させるのか、あるいは、インバータとして機能することで反転させて出力させるのかが設定される。符号反転処理部１６−１〜１６−８から出力された音声信号は、選択／加算処理部１７に対して入力される。
【００２３】
選択／加算処理部１７は、方向処理制御部２１の制御に応じて、符号反転処理部１６−１〜１６−８から入力されてくる音声信号について、所定のパターンによる信号選択、加算処理を実行する。そして、選択、加算により得られた複数系統の信号のそれぞれを、方向処理部１４の後段に設けられる音像定位処理部１８−１〜１８−８のうちの所要の部位に対して出力するようにされる。
なお、方向処理制御部２１の制御に応じた方向処理部１４の具体的動作例については後述する。
【００２４】
音像定位処理部１８−１〜１８−８の各々は、基本的には、マイクロフォンＭＲ１〜ＭＲ８にて収音された音声信号の系ごとに対応して設けられるものとされる。従って、その動作としては、例えば音像定位処理部１８−１は、マイクロフォンＭＲ１に対応する信号処理系（ＢＰＦ１１−１→非定常音検出部１２−１→遅延処理部１５−１→符号反転処理部１６−１→選択・加算処理部１７）を経て入力されてきたとされる音声信号から、図３のスピーカＳＰＬ，ＳＰＲに供給すべき２チャンネル分の音声信号を生成する。この２チャンネルの音声信号は、図３のスピーカＳＰＬ，ＳＰＲから再生出力したときに、仮想スピーカＳＰＶ１の位置から到来する聞こえ方となるように、所定の伝達関数などに基づい信号処理が施されたことで得られた信号である。
残る音像定位処理部１８−２〜１８−８も同様にして、それぞれ、マイクロフォンＭＲ２〜ＭＲ８に対応する信号処理系を経て入力されてきた音声信号について信号処理を施して、スピーカＳＰＬ，ＳＰＲから再生出力したときに、それぞれ仮想スピーカＳＰＶ２〜ＳＰＶ８の位置から到来する聞こえ方となるような２チャンネルの音声信号を生成して出力する。
【００２５】
上記音像定位処理部１８−１〜１８−８の各々にて生成された２チャンネルの音声信号のうち、左スピーカＳＰＬから出力させるべき左チャンネルの音声信号は加算処理部１９Ｌに対して入力される。
また、音像定位処理部１８−１〜１８−８の各々にて生成された２チャンネルの音声信号のうち、右スピーカＳＰＬから出力させるべき右チャンネルの音声信号は加算処理部１９Ｒに対して入力される。
加算処理部１９Ｌ，１９Ｒでは、それぞれ入力されてきた最大で８つの音声信号について加算合成処理を行う。そして、加算処理部１９Ｌにて加算合成して得られた音声信号は、左スピーカＳＰＬに対してスピーカ駆動信号として入力される。同様に、加算処理部１９Ｒにて加算合成して得られた音声信号は、右スピーカＳＰＲに対してスピーカ駆動信号として入力される。
このような構成であれば、スピーカＳＰＬ，ＳＰＲから再生出力される音の基本としては、先に図３により説明したようにして、マイクロフォンＭＲ１〜ＭＲ８にて収音した音声が、それぞれ仮想スピーカＳＰＶ１〜ＳＰＶ８の位置にて定位するような音像となる音場を形成していることになる。
【００２６】
図４に示されるカメラ３は、先の図３において自動車１の室内に設けられるべきものとされたものであり、前述もしたように、運転者Ｕが運転席に通常に座っている状態では、運転者の顔を撮像するようになっている。
このカメラ３が撮像して得られた撮像信号（映像信号）は、顔画像解析処理部２０に入力される。
【００２７】
顔画像解析処理部２０では、入力された撮像信号のデータを利用して、この撮像信号を画像として表示したときに見える運転者の顔の画像部分について認識を行う。そして、認識した顔の画像部分についての解析処理を行って、この場合には、認識した顔が向いている方向を判定するようにされる。この場合においては、前後左右の４方向による分解能で判定を行うようにされる。つまり、運転者Ｕの顔の向きとして、ほぼ正面を向いていることを認識すれば前方向、左を向いていることを認識すれば左方向、右を向いていることを認識すれば右方向、後ろを向いていることを認識すれば後ろ方向であると判定するようにされる。
なお、このような顔の向きの判定のために採用する顔画像認識の技術としては、これまでに知られている、あるいは将来的に知られることとなる技術を適宜採用することとすれば良く、ここでは特に限定されるべきものではない。
【００２８】
方向処理制御部２１は、上記顔画像解析処理部２０による前後左右の区分での顔の向きの判定結果の情報を取り込むと共に、所定の自動車動作状況情報を自動車１から取り込むようにされる。ここでは、自動車動作状況情報として、変速機の設定状態の情報と、方向指示器の動作状態情報とを取り込むようにされる。
【００２９】
方向処理制御部２１では、上記のようにして取り込んだ（入力した）顔の向きの判定結果の情報と、自動車動作状況情報とに基づいて、そのときに運転者Ｕが特に注意すべき自動車周囲における方向である注意方向を決定するようにされる。そして、その決定結果に基づいて、先に説明した方向処理部１４に対する制御を実行する。以下、この点について説明を行っていくこととする。
【００３０】
図５は、方向処理制御部２１が実行する注意方向決定のための処理の手順を示している。なお、この図に示す処理としては、上記した顔画像解析処理部２０による顔の向きの判定結果を得るための処理手順も含んでいる。
【００３１】
方向処理制御部２１は、先ず、ステップＳ１０１において自動車動作状況情報として変速機の状態情報を取り込み、このときの変速機の状態情報に基づいて変速機がバックの状態にあるか否かについて判別する。ここで、変速機がバックの状態にあるとして肯定の判別結果が得られたのであれば、ステップＳ１１１の処理に進むことになる。ステップＳ１１１によっては、注意方向は後方であると決定する。
これに対して、ステップＳ１０１において変速機はバックの状態にはないとして否定の判別結果が得られた場合にはステップＳ１０２に進む。
【００３２】
ステップＳ１０２においては、自動車動作状況情報として方向指示器の動作状況情報を取り込み、方向指示器が操作されている状態にあるか否かについて判別する。そして、方向指示器が操作されているとして肯定の判別結果が得られたのであればステップＳ１０７に進んで、操作に応じて方向指示器が示している方向が左右の何れであるのかについて判別する。
【００３３】
ステップＳ１０７において方向指示器の指示方向が左であると判別された場合には、ステップＳ１０９の処理に進む。
ステップＳ１０９では、注意方向について左方向であると決定する。
また、ステップＳ１０７において方向指示器の指示方向が右であると判別された場合には、ステップＳ１１０の処理に進む。
ステップＳ１１０では、注意方向について右方向であると決定する。
【００３４】
一方、ステップＳ１０２において方向指示器に対する操作は行われていないとして否定の判別結果を得た場合にはステップＳ１０３以降の処理に進む。ステップＳ１０３〜ステップＳ１０６の処理は、顔画像解析処理部２０としての処理となる。
【００３５】
ステップＳ１０３においては、カメラ３の撮像画像の信号（映像信号）を取り込み、次のステップＳ１０４において、取り込んだ信号を利用して顔画像の解析処理を実行する。この場合には、上記もしたように、先ず、映像信号を画像として表示させたときに顔が表示される画像部分のデータを抜き出して顔画像データを得るようにされる。そして、この顔画像データについて所定のアルゴリズムに従って解析を行うことで、運転者の顔がどちらの方向を向いているのかを認識するようにされる。そして、この認識結果に基づいて、続くステップＳ１０５、Ｓ１０６の処理を実行するようにされる。
【００３６】
ステップＳ１０５においては、予め設定した所定時間以上にわたって特定方向に顔を向けた状態が得られたか否かについて判別している。この場合において、例えば何らかの要因で、運転者が顔を向けている方向を正常に判定できないようなときには、ステップＳ１０５にて否定結果が得られることになる。
ステップＳ１０５にて否定結果が得られた場合には、顔の向きは不定（不明）ということになる。そこで、この場合にはステップＳ１１３の処理に進み、注意方向としては不明であるとして決定するようにされる。
これに対して、ステップＳ１０５において、予め設定した所定時間以上にわたって特定方向に顔を向けた状態が得られたとして肯定の判別結果が得られた場合にはステップＳ１０６に進む。
【００３７】
ステップＳ１０６においては、上記ステップＳ１０５において所定時間以上顔を向けた特定の方向が、前後左右の何れであるのかについて判別するようにしている。そして、顔を向けた方向が前方であるとの判別結果を得た場合には、ステップＳ１０８に進んで、注意方向は前方であると決定することになる。
また、顔を向けた方向が左であるとの判別結果を得た場合には、ステップＳ１０９に進んで、注意方向は左であると決定する。
また、顔を向けた方向が右あるとの判別結果を得た場合には、ステップＳ１１０に進んで、注意方向は右であると決定する。
また、顔を向けた方向が後方であるとの判別結果を得た場合には、ステップＳ１１１に進んで、注意方向は後方であると決定する。
このようにして、本実施の形態では、顔画像解析処理部２０により得られた運転者の顔の向きを示す情報と、自動車動作状況情報（変速機の状態情報、方向指示器の動作状況情報）とを利用することで、前後左右（及び不明）に区分して注意方向を決定可能とされている。
そして、ステップＳ１０８〜Ｓ１１２の何れかの処理を経て、注意方向が決定されたのに応じては、ステップＳ１１３としての処理によって、決定された注意方向に対応した方向処理が実行されるようにして、方向処理部１４に対する制御を実行する。
【００３８】
図６〜図９は、上記ステップＳ１１３としての方向処理制御部２１の制御に応じて、方向処理部１４において設定される方向処理を示している。
先ず、図６には、ステップＳ１０８若しくはステップＳ１１２を経たことで、注意方向について前方若しくは不明として決定された場合に対応する方向処理が示される。
この図において、入力１〜入力８は、それぞれ、非定常音検出部１２−１〜１２−８から出力される非定常音としての音声信号であり、収音源としては、それぞれ、マイクロフォンＭＲ１〜ＭＲ８に対応する。
また、出力１〜８は、それぞれ、音像定位処理部１８−１〜１８−８に対して入力すべき信号となる。
【００３９】
この場合には、先ず遅延処理部１５−１〜１５−８に対しては、遅延時間値ＶＬdについて全てＶＬd＝０を設定する。
また、遅延処理部１５−１〜１５−８の各出力が入力される符号反転処理部１６−１〜１６−８については、全て非反転のモードを設定する。
また、符号反転処理部１６−１〜１６−８の出力が入力される選択／加算処理部１７においても、特に信号選択、加算処理をおこなうことなく、符号反転処理部１６−１〜１６−８からの出力信号をそのままスルーさせるようにして出力する。
このような方向処理部１４における方向処理の設定では、マイクロフォンＭＲ１〜ＭＲ８にて収音された非定常音の音声信号は、そのまま特に処理されることなく、音像定位処理部１８−１〜１８−８に対してそれぞれ入力されることになる。この場合に、スピーカＳＰＬ，ＳＰＲからバーチャルサラウンドにより再生される非定常音としては、音響的に特定の方向の音が強調されたようなものではなく、実際の周囲音のバランスに対応した音場が得られるようにされる。
【００４０】
図７は、ステップＳ１１０を経たことで、注意方向について右と決定した場合に対応する方向処理を示している。
この場合、マイクロフォンＭＲ１〜ＭＲ５に対応する遅延処理部１５−１〜１５−５については、遅延時間値ＶＬｄ＝０を設定する。
これに対して、マイクロフォンＭＲ６に対応する遅延処理部１５−６については、｜a,b｜をa,b間の物理的な距離の絶対値とし、Ｃを音速として、
ＶＬｄ＝｜MR4,MR6｜／Ｃ・・・（式１）
で表される遅延時間値ＶＬｄを設定する。この場合において｜MR4,MR6｜は、左後方のマイクロフォンＭＲ６と、右後方のマイクロフォンＭＲ４との間の物理的な距離の絶対値を示すことから、上記式１による遅延時間値ＶＬｄは、マイクロフォンＭＲ６からマイクロフォンＭＲ４までの音の到達時間を示していることになる。
【００４１】
また、マイクロフォンＭＲ７に対応する遅延処理部１５−７については、
ＶＬｄ＝｜MR3,MR7｜／Ｃ・・・（式２）
で表される遅延時間値ＶＬｄを設定する。つまり、遅延時間値ＶＬｄとして、左中央のマイクロフォンＭＲ７から右中央のマイクロフォンＭＲ３までの音の到達時間が設定される。
【００４２】
また、マイクロフォンＭＲ８に対応する遅延処理部１５−８については、
ＶＬｄ＝｜MR2,MR8｜／Ｃ・・・（式３）
で表される遅延時間値ＶＬｄを設定する。つまり、遅延時間値ＶＬｄとして、左前方のマイクロフォンＭＲ８から右前方のマイクロフォンＭＲ２までの音の到達時間が設定される。
【００４３】
また、遅延時間ＶＬｄ＝０が設定された遅延処理部１５−１〜１５−５に対応する符号反転処理部１６−１〜１６−５は、それぞれ非反転のモードが設定される。
これに対して、上記（式１）〜（式３）で表される遅延時間値ＶＬｄが設定された遅延処理部１５−６〜１５−８に対応する符号反転処理部１６−６〜１６−８には、それぞれ反転のモードが設定される。
【００４４】
また、選択／加算処理部１７においては、入力信号の選択／加算の処理として、図示するようにして、符号反転処理部１６−６の出力を符号反転処理部１６−４の出力である出力４に加算するようにされる。
また、符号反転処理部１６−７の出力を符号反転処理部１６−３の出力である出力３に加算するようにされる。また、符号反転処理部１６−８の出力を符号反転処理部１６−２の出力である出力２に加算するようにされる。
【００４５】
出力４についていえば、本来は、右後方のマイクロフォンＭＲ４を収音源とする非定常音の音声信号である。また、符号反転処理部１６−６の出力は、本来であれば出力６となるマイクロフォンＭＲ６を収音源とする非定常音の音声信号であるが、この音声信号について、マイクロフォンＭＲ６からマイクロフォンＭＲ４までの音の到達時間分の遅延をさせ、さらに値を反転させたうえで、出力４に対して加算している。
このようにして得られる出力４としては、左後方を収音位置とするマイクロフォンＭＲ４により収音して得られた音声信号から、そのちょうど反対の左側に位置するマイクロフォンＭＲ６にて収音して得られたのと同じ音声信号の成分が低減、キャンセルされたものとなる。
【００４６】
これと同様にして、右中央のマイクロフォンＭＲ３を収音源とする出力３としては、マイクロフォンＭＲ３により収音して得られた音声信号から、左右方向においてちょうど反対側に位置する左中央のマイクロフォンＭＲ７にて収音して得られたのと同じ音声信号の成分が低減、キャンセルされたものとなる。
また、右前方のマイクロフォンＭＲ２を収音源とする出力２としては、マイクロフォンＭＲ２により収音して得られた音声信号から、左右方向においてちょうど反対側に位置する左前方のマイクロフォンＭＲ７にて収音して得られたのと同じ音声信号の成分が低減、キャンセルされたものとなる。
【００４７】
また、出力１及び出力５については、入力１及び入力５がそのまま出力されるものとなる。つまり、中央前方と中央後方のマイクロフォンＭＲ１，ＭＲ５を収音源とする音声信号は、方向処理制御部１４において特に処理されることなくそのまま出力される。
また、この場合、出力６〜出力８としては無信号となる。
【００４８】
このようにして出力される出力１〜出力５を利用して、以降の音像定位処理部１８−１〜１８−５、加算処理部１９Ｌ、１９Ｒが処理を実行した結果、スピーカＳＰＬ，ＳＰＲから出力される音としては、左側を収音方向とするマイクロフォンＭＲ６，ＭＲ７，ＭＲ８により収音して得たとされる音声が、その反対方向である右側にてキャンセル若しくは抑制されたものとなる。つまり、再現される周囲音として左方向から到達する音が弱められ、相対的には、注意方向として決定された右方向から到達する音が強調された音響状態が得られることになる。
【００４９】
図８は、ステップＳ１０９を経たことで、注意方向について左と決定した場合に対応する方向処理を示している。
この場合、マイクロフォンＭＲ１と、マイクロフォンＭＲ５〜ＭＲ８に対応する遅延処理部１５−１、１５−５〜１５−８については、遅延時間値ＶＬｄ＝０を設定する。
一方、遅延処理部１５−２については、先の（式３）で表される遅延時間値ＶＬｄ（＝｜MR2,MR8｜／Ｃ）を設定する。つまり、マイクロフォンＭＲ２からマイクロフォンＭＲ８までの音の到達時間を設定する。
また、遅延処理部１５−３については、先の（式２）で表される遅延時間値ＶＬｄ（＝｜MR3,MR7｜／Ｃ）を設定する。つまり、マイクロフォンＭＲ３からマイクロフォンＭＲ７までの音の到達時間を設定する。
また、遅延処理部１５−４については、先の（式１）で表される遅延時間値ＶＬｄ（＝｜MR4,MR6｜／Ｃ）を設定する。つまり、マイクロフォンＭＲ４からマイクロフォンＭＲ６までの音の到達時間を設定する。
【００５０】
また、この場合にも、遅延時間ＶＬｄ＝０が設定された遅延処理部１５−１、及び遅延処理部１５−５〜１５−８に対応する符号反転処理部１６−１，符号反転処理部１６−５〜１６−８は、それぞれ非反転のモードが設定される。
また、上記（式３）（式２）（式１）で表される遅延時間値ＶＬｄが設定された遅延処理部１５−２，１５−３，１５−４に対応する符号反転処理部１６−２、１６−３、１６−４には、それぞれ反転のモードが設定される。
【００５１】
選択／加算処理部１７においては、符号反転処理部１６−１、１６−５の出力については、そのまま出力１，出力５として音像定位処理部１８−１，１８−５に入力させる。
一方、出力６については、符号反転処理部１６−６の出力に対して符号反転処理部１６−４の出力を加算するようにされる。また、出力７については、符号反転処理部１６−７の出力に対して符号反転処理部１６−３の出力を加算する。出力８については、符号反転処理部１６−８の出力に対して符号反転処理部１６−２の出力を加算する。
【００５２】
このような信号加算によっては、出力１，出力５，出力６，出力７，出力８としての信号が得られ、出力２，出力３，出力４は無信号となる。
また、出力１，出力５としては、それぞれマイクロフォンＭＲ１（前方中央），ＭＲ５（後方中央）を収音源とする非定常音の音声信号がそのまま出力されるものとなる。
これに対して、出力６としては、左後方のマイクロフォンＭＲ６により収音して得られた音声信号から、左右方向においてちょうど反対側に位置する右後方のマイクロフォンＭＲ４にて収音して得られたのと同じ音声信号の成分が低減、キャンセルされたものとなる。
また、出力７としては、左中央のマイクロフォンＭＲ７により収音して得られた音声信号から、左右方向においてちょうど反対側に位置する右中央のマイクロフォンＭＲ３にて収音して得られたのと同じ音声信号の成分が低減、キャンセルされたものとなる。
出力８としては、左前方のマイクロフォンＭＲ８により収音して得られた音声信号から、左右方向においてちょうど反対側に位置する右前方のマイクロフォンＭＲ２にて収音して得られたのと同じ音声信号の成分が低減、キャンセルされたものとなる。
【００５３】
このようにして出力される出力１、出力５〜出力８としての音声信号によりスピーカＳＰＬ，ＳＰＲから出力される音としては、右側を収音方向とするマイクロフォンＭＲ２，ＭＲ３，ＭＲ４により収音して得たとされる音声が、その反対方向である左方向にてキャンセル若しくは抑制されたものとなる。つまり、結果として、この場合において注意方向として決定された左方向から到達する音が強調された音響状態が得られる。
【００５４】
図９は、ステップＳ１０９を経たことで、注意方向について左と決定した場合に対応する方向処理を示している。
この場合、マイクロフォンＭＲ３〜ＭＲ７に対応する遅延処理部１５−３〜１５−７については、遅延時間値ＶＬｄ＝０を設定する。
遅延処理部１５−１については、
ＶＬｄ＝｜MR1,MR5｜／Ｃ・・・（式４）
で表される遅延時間値ＶＬｄを設定する。この（式４）は前方中央のマイクロフォンＭＲ１から後方中央のマイクロフォンＭＲ５までの音の到達時間を示す。
また、遅延処理部１５−２については、
ＶＬｄ＝｜MR2,MR4｜／Ｃ・・・（式５）
で表される遅延時間値ＶＬｄを設定する。この（式５）は右前方のマイクロフォンＭＲ２から右後方のマイクロフォンＭＲ４までの音の到達時間を示す。
また、遅延処理部１５−８については、
ＶＬｄ＝｜MR8,MR6｜／Ｃ・・・（式６）
で表される遅延時間値ＶＬｄを設定する。この（式６）は左前方のマイクロフォンＭＲ８から左後方のマイクロフォンＭＲ６までの音の到達時間を示す。
【００５５】
また、この場合において、遅延時間ＶＬｄ＝０が設定された遅延処理部１５−３〜１５−７に対応する符号反転処理部１６−３〜１６−７は、それぞれ非反転のモードが設定される。
また、上記（式４）（式５）（式６）で表される遅延時間値ＶＬｄが設定された遅延処理部１５−１，１５−２，１５−８に対応する符号反転処理部１６−１、１６−２、１６−８には、それぞれ反転のモードが設定される。
【００５６】
選択／加算処理部１７においては、符号反転処理部１６−３、１６−７の出力については、そのまま出力３、出力７として音像定位処理部１８−３、１８−７に入力させる。出力３、出力７は、右中央と左中央のマイクロフォンＭＲ３，ＭＲ７を収音源とする。
一方、出力４については、符号反転処理部１６−２の出力を符号反転処理部１６−４の出力に加算するようにされる。また、出力５については、符号反転処理部１６−１の出力を符号反転処理部１６−５の出力に加算する。出力６については、符号反転処理部１６−８の出力を符号反転処理部１６−６の出力に加算する。
【００５７】
このような信号加算によっては、出力３，出力４，出力５，出力６，出力７としての信号が得られ、出力１，出力２，出力８は無信号となる。
また、信号出力を為す出力３〜出力７のうち、出力３，出力７としては、それぞれマイクロフォンＭＲ３（右中央），ＭＲ５（左中央）を収音源とする非定常音の音声信号がそのまま出力されるものとなる。
これに対して、出力４としては、右後方のマイクロフォンＭＲ４により収音して得られた音声信号から、前後方向においてちょうど反対側に位置する右前方のマイクロフォンＭＲ２にて収音して得られたのと同じ音声信号の成分が低減、キャンセルされたものとなる。
また、出力５としては、後方中央のマイクロフォンＭＲ５により収音して得られた音声信号から、前後方向においてちょうど反対側に位置する前方中央のマイクロフォンＭＲ１にて収音して得られたのと同じ音声信号の成分が低減、キャンセルされたものとなる。
また、出力６としては、左後方のマイクロフォンＭＲ６により収音して得られた音声信号から、前後方向においてちょうど反対側に位置する左前方のマイクロフォンＭＲ８にて収音して得られたのと同じ音声信号の成分が低減、キャンセルされたものとなる。
【００５８】
このようにして出力される出力３〜出力７としての音声信号によりスピーカＳＰＬ，ＳＰＲから出力される音としては、前方を収音方向とするマイクロフォンＭＲ１，ＭＲ２，ＭＲ８により収音して得たとされる音声が、その反対方向である後方においてキャンセル若しくは抑制されたものとなる。つまり、この場合において注意方向として決定された後方向から到達する音が強調された音響状態が得られる。
【００５９】
以上のようにして構成される本実施の形態の周囲状況通知システムとしては、次のようなことがいえる。
先ず、本実施の形態としては、図１（または図２）に示したようにして自動車１の周囲音を収音するマイクロフォンＭＲ１〜ＭＲ８を設け、これらのマイクロフォンＭＲ１〜ＭＲ８を収音源として得られる音声信号を、自動車室内においてサラウンド的に再現して音として出力するようにしている。つまり、実際の周囲音に対応する定位感を与えるようにして自動車室内において再生するようにしている。
これにより、運転者は、自動車室内にて再生される音を聴くことで、例えばどの方向からどのような音がしてくるのかを明確に把握できることになる。つまり、音を頼りとする周囲状況の把握が、これまでよりも的確なものとなっている。音を頼りとする周囲状況の把握が的確なものと成るのに応じては、周囲を撮像した画像の表示による周囲状況の通知の必要性が薄くなってくる。つまり、周囲状況の把握にあたって、周囲が暗かったり、また、障害物などによって周囲の状況を把握する画像が撮像できなくなるような不都合からは解放され、また、周囲状況確認のために視線移動を伴う必要も無くなってくるわけであり、この点で、従来よりも安全性が高まるということがいえる。
【００６０】
そのうえで、実用上の工夫として、本実施の形態では、各マイクロフォンにて収音して得られた音声信号について、非定常音検出を行っていることで、非定常音とみなされる過去の音声信号の平均データに対する差分の音声信号成分のみにより周囲音の音場が形成されるようになっている。
本発明としては、先ず、周囲音の実際に対応する定位感が与えられるようにして車両室内においてマイクロフォンにより収音した周囲音が再生されることが要件であり、従って、マイクロフォンにより収音した音声そのものが再生出力されることを妨げるものではない。
しかしながら、現実的なこととして、運転者が運転をしているときに、スピーカＳＰＬ，ＳＰＲから再生される周囲音として、マイクロフォンにより収音されたそのままの音を聴き続けるのは、実際には運転者にとって相当の負担になる場合のあることも考えられる。そこで、上記のようにして、非定常音の音声信号成分のみにより、自動車室内で周囲音を再現した音場を形成するようにすれば、非定常音が発生したときのみ、この非定常音が、その実際の到来方向から聞こえるようにして再現されることになる。つまり、運転者としては、スピーカから再生される周囲音を聴き続ける必要はない。しかし、非定常音が生じたときには、的確にその音が音場再生されて聞こえるわけであり、充分に有効な周囲状況の通知機能が果たされるようになっている。
【００６１】
そして、さらに本実施の形態においては、運転者が注意すべき方向である注意方向を決定して、この決定された注意方向から到来する音が強調され、逆に、注意方向とは反対側の音は弱められるようにして、その対比を図っている。このことは、運転者Ｕにとってみれば、自身が注意すべき方向の音が常に聞こえやすくなっている環境が得られているということであり、この点でも音を利用した周囲状況通知についての安全性、的確性を高めているものである。
なお、決定された注意方向が前方（不明）である場合においては、前方に定位する音を後方に定位する音よりも強調せずに通常に出力させている。これは、運転中において運転者が注意を向けている方向は通常時においては前方であることが最も多く、従って、前方を強調するよりも、周囲全般の音を均一に聞こえるようにしておくことのほうが安全面から有利と考えられるからである。
【００６２】
ところで、これまでの実施の形態の説明においては、周囲状況通知システムとして図１に示すようにして自動車の屋根部分に対してマイクロフォンＭＲ１〜ＭＲ８を設置した場合を前提としていた。これに代えて、図２に示すようにして、同じ８つのマイクロフォンＭＢ１〜ＭＢ８を設置する構成とした場合においても、図４〜図９により説明したのと同じ信号処理系の構成により、周囲状況通知に関して同等の安全性、的確性が得られるものである。
【００６３】
また、前述もしたように、実施の形態としては図１と図２のマイクロフォン配置を複合して、１つの自動車１に対して屋根側のマイクロフォンＭＲ１〜ＭＲ８と、ボディ側のマイクロフォンＭＢ１〜ＭＢ８を配置する構成を採ってもよいものであり、この場合には、高さ方向について収音範囲をより広く取ることが可能になるという利点が得られる。
この場合の信号処理系の構成としては、例えば１つには、図４に示した屋根側のマイクロフォンＭＲ１〜ＭＲ８に対応する信号処理系及び音声出力系と同様の構成により、ボディ側のマイクロフォンＭＢ１〜ＭＢ８に対応する信号処理系及び音声出力系を設けるようにすることが考えられる。また、この場合においては、ヘッドレスト２において、屋根側のマイクロフォンＭＲ１〜ＭＲ８に対応する左右のスピーカＳＰＬ，ＳＰＲと、ボディ側のマイクロフォンＭＢ１〜ＭＢ８に対応する左右のスピーカＳＰＬ，ＳＰＲとの２対のスピーカを設けるようにする。このときに、屋根側のマイクロフォンＭＲ１〜ＭＲ８に対応する左右のスピーカＳＰＬ，ＳＰＲを上側に配置し、ボディ側のマイクロフォンＭＢ１〜ＭＢ８に対応する左右のスピーカＳＰＬ，ＳＰＲは下側に配置することで、屋根側のマイクロフォンとボディ側のマイクロフォンとの収音位置の高低差に応じた、高さ方向の定位感を再現することができる。
あるいは、ヘッドレスト２に設ける左右のスピーカＳＰＬ，ＳＰＲとしては一対として、屋根側のマイクロフォンＭＲ１〜ＭＲ８と、ボディ側のマイクロフォンＭＢ１〜ＭＢ８に対応する音像定位処理部１８の信号処理として、高低差のある定位感が再現されるような音声信号を生成するように構成することも考えられる。
【００６４】
また、実施の形態では、上記もしたように、非定常音検出部１２により検出した非定常音のみを自動車室内にて再生出力するようにしているが、本発明としては、例えば非定常音検出部１２（及びメモリ１３）を省略して、マイクロフォンにより収音されたそのままの周囲音が自動車室内にて再生されるようにした構成を採ることも含まれるものである。先ずはこのような構成を得ることで、自動車の周囲の状況を音により的確に把握可能になるという、当初の目的は達成される。
また、実際においては、自動車室内にて再生する周囲音として、非定常音検出部１２の動作を有効として、非定常音のみから成る音場を形成するモードと、非定常音検出部１２の動作を無効として、マイクロフォンにより収音したそのままの周囲音から成る音場を形成するモードとで切り換え設定が可能に構成してもよい。
【００６５】
また、上記実施の形態としては、８方向の収音音声を最終的に２つのスピーカＳＰＬ，ＳＰＲによりバーチャルサラウンド再生させる構成を採っているが、例えば、マイクロフォンの数に応じたスピーカを、マイクロフォンの収音方向に対応させて自動車内に配置させるようにしても構わない。この場合には、例えば定位処理部１８−１〜１８−８としての処理を行わなくとも、各マイクロフォンにより収音して得られる各収音音声を、対応するスピーカから出力させることで、先ずは、マイクロフォンにより収音されたそのままの周囲音が自動車室内にて再生されるようにすることができる。そのうえで、上記実施の形態の場合と同様にして、各マイクロフォンの収音音声信号から非定常音の成分のみを抽出したり、また、決定された注意方向が強調されるようにするための信号処理を行うように構成すればよい。
【００６６】
また、上記実施の形態では、決定された注意方向に対応する方向にて定位する音が強調されるようにして、方向処理部１４において方向処理が行われるのであるが、この場合の方向処理は、注意方向とは反対方向となる側にて定位する音の出力を停止させると共に、注意方向に対応して定位する音から、注意方向とは反対方向となる側にて定位する音の成分をキャンセル（抑制）するという手法を採っている。しかしながら、注意方向に対応して定位する再生音を強調する手法としては、これに限定されない。例えば、より単純な音量バランスの変化としても良いし、あるいはイコライジング処理を行うことによって、所要の方向に定位させる音について聞こえやすい、あるいは聞こえにくいようにして音質を変化させるような手法を採ることも考えられる。
【００６７】
また、注意方向の決定のために用いる情報としても、実施の形態により説明したものには限定されない。例えば、自動車の動作状況情報としては、変速機の設定状態情報、及び方向指示器の動作状態情報に加え、例えばハンドルの回転角度の情報なども利用することが考えられる。また、運転者の顔そのものの向きを判定するほか、運転者の視線を検出して注意方向決定に用いるようにすることも考えられる。
【００６８】
また、実施の形態では、自動車の周囲３６０°の方向を８方向に分けるようにしており、これに対応して平面方向においては８本のマイクロフォンにより収音することとしている。つまり、８方向の分解能により収音し、再生音場を再現することとしているが、この分解能としては８方向に限定されるものではなく任意とされてよい。さらに分解能を高くして、例えば１６方向などとすれば、より実際に近いとされる再生音場を形成可能になる。
或いは逆に、８方向以下の任意の分解能が設定されても良い。例えば、前後左右による４方向の分解能としても、充分に安全で的確な周囲状況の通知は可能と考えられる。さらには、例えば前方方向のみの周囲状況の通知を行うようなことを考えた場合には、左右前方の２方向による分解能とすることも考えられるものである。
【００６９】
また、図４に示される本実施の形態の周囲状況通知システムを構成する各部については、ハードウェアにより構成されてもよいし、例えばＣＰＵ(Central Processing Unit)などがプログラムに従って実行するソフトウェア処理として実現されるものであっても良い。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施の形態の周囲状況通知システムとして、自動車に対するマイクロフォンの設置例を示す図である。
【図２】実施の形態の周囲状況通知システムとして、自動車に対するマイクロフォンの設置例を示す図である。
【図３】実施の形態の周囲状況通知システムを主体としてみた場合の自動車の室内環境を模式的に示す図である
【図４】実施の形態の周囲状況通知システムにおける信号処理系の構成例を示すブロック図である。
【図５】実施の形態の周囲状況通知システムにおける、注意方向決定のための処理動作を示すフローチャートである。
【図６】実施の形態の周囲状況通知システムにおいて、決定された注意方向に対応する方向処理部の動作例を示すブロック図である。
【図７】実施の形態の周囲状況通知システムにおいて、決定された注意方向に対応する方向処理部の動作例を示すブロック図である。
【図８】実施の形態の周囲状況通知システムにおいて、決定された注意方向に対応する方向処理部の動作例を示すブロック図である。
【図９】実施の形態の周囲状況通知システムにおいて、決定された注意方向に対応する方向処理部の動作例を示すブロック図である。
【符号の説明】
【００７１】
１  自動車、ＭＲ１〜ＭＲ８，ＭＢ１〜ＭＢ８  マイクロフォン、２  ヘッドレスト、ＳＰＬ，ＳＰＲ  スピーカ、３  カメラ、１１−１〜１１−８  バンドパスフィルタ、１２−１〜１２−８  非定常音検出部、１３−１〜１３−８  メモリ、１４  方向処理部、１５−１〜１５−８  遅延処理部、１６−１〜１６−８  符号反転処理部、１７  選択／加算処理部、１８−１〜１８−８  音像定位処理部、１９Ｌ，１９Ｒ  加算処理部、２０  顔画像解析処理部、２１  方向処理部
【図１】
2005316704.tif 000003
【図２】
2005316704.tif 000004
【図３】
2005316704.tif 000005
【図４】
2005316704.tif 000006
【図５】
2005316704.tif 000007
【図６】
2005316704.tif 000008
【図７】
2005316704.tif 000009
【図８】
2005316704.tif 000010
【図９】
2005316704.tif 000011