(57)【要約】【課題】  音声を聴取する人物の位置及び移動を正確に検出して、人物の位置に応じて的確な音響調整を行うことができる音響調整システムを提供する。【解決手段】  音声の再生開始指示が入力されると、音声再生装置２０により音声の再生が開始されるとともに、音響調整処理部１８により音声再生装置２０の音響調整が開始される。カメラ１２は、音声の再生が開始されると、車内の人物を撮影する。顔検出処理部１４は、カメラ１２によって撮影された画像から人物の顔領域を検出する。顔位置演算部１６は、顔検出処理部１４によって検出された人物の顔の位置を演算する。音響調整処理部１８は、顔位置演算部１６によって求められた顔の位置に基づいて音声の出力のタイミングの調整及び音響調整（例えば、イコライズ）を行う。【選択図】      図１
2008236397.tif 000002
【特許請求の範囲】
【請求項１】
音声を再生出力する音声出力手段と、
前記音声出力手段によって出力される音声の聴取者の画像を撮影する撮影手段と、
前記撮影手段によって撮影された画像から聴取者の顔を検出する顔検出手段と、
前記顔検出手段によって検出された聴取者の顔の位置を演算する顔位置演算手段と、
前記聴取者の顔の位置に応じて前記音声出力手段から出力される音声の音響調整を行う音響調整手段と、
を備えることを特徴とする音響調整システム。
【請求項２】
前記顔検出手段によって検出された顔の画像から前記聴取者の耳を検出する耳検出手段を更に備え、
前記顔位置演算手段は、前記聴取者の耳の位置を演算し、
前記音響調整手段は、前記聴取者の耳の位置に応じて前記音声出力手段から出力される音声の音響調整を行うことを特徴とする請求項１記載の音響調整システム。
【請求項３】
前記聴取者が着席している座席の正面を向いているかどうかを検出する第１の検出手段を更に備え、
前記音響調整手段は、前記聴取者が座席の後方又は横方向を向いたことが検出された場合に、前記音声出力手段から出力される音声の音量を下げるか又は音声の再生を停止することを特徴とする請求項１又は２記載の音響調整システム。
【請求項４】
前記聴取者が前後の座席に分かれて着席している場合に、後ろの座席の聴取者が前の座席側に乗り出してきたかどうかを検出する第２の検出手段を更に備え、
前記音響調整手段は、後ろの座席の聴取者が前の座席側に乗り出してきたことが検出された場合に、前記音声出力手段から出力される音声の音量を下げるか又は音声の再生を停止することを特徴とする請求項１から３のいずれか１項記載の音響調整システム。
【請求項５】
前記顔検出手段によって検出された聴取者が所定時間以上目を閉じているかどうかを検出する第３の検出手段を更に備え、
前記音響調整手段は、前記聴取者が所定時間以上目を閉じていることが検出された場合に、前記音声出力手段から出力される音声の音量を下げるか又は音声の再生を停止することを特徴とする請求項１から４のいずれか１項記載の音響調整システム。
【請求項６】
前記音響調整システムは、自動車に設置されており、
前記聴取者が所定時間以上目を閉じていることが検出された場合に、前記自動車のエンジンがかかっているかどうかを検出する第４の検出手段を更に備え、
前記音響調整手段は、前記聴取者が所定時間以上目を閉じており、且つ、前記自動車のエンジンがかかっていることが検出された場合に、前記音声出力手段から出力される音声の音量を上げることを特徴とする請求項５記載の音響調整システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音響調整システムに係り、特に複数のスピーカを備えた音声再生装置の音響を調整する音響調整システムに関する。
【背景技術】
【０００２】
特許文献１には、車内の人物の声を検出する複数のマイクからの検出信号の時間差を検出して人物の位置を演算し、人物の位置に応じて音響調整を行う車載用音響装置の自動調整装置が開示されている。
【特許文献１】特開平１１−２６８５９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１では、複数のマイクにより検出した音声により人物の位置を演算しているが、車外からのノイズ、車内の再生中の音響等がマイクによって検出された場合に、人物の位置が正確に検出されないという問題があった。また、乗車時又は乗車中に体を動かした場合に、声を発しなければ人物の位置の検出が行われないという問題があった。
【０００４】
本発明はこのような事情に鑑みてなされたもので、音声を聴取する聴取者の位置及び移動を正確に検出して、聴取者の位置に応じて的確な音響調整を行うことができる音響調整システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本願発明１に係る音響調整システムは、音声を再生出力する音声出力手段と、前記音声出力手段によって出力される音声の聴取者の画像を撮影する撮影手段と、前記撮影手段によって撮影された画像から聴取者の顔を検出する顔検出手段と、前記顔検出手段によって検出された聴取者の顔の位置を演算する顔位置演算手段と、前記聴取者の顔の位置に応じて前記音声出力手段から出力される音声の音響調整を行う音響調整手段とを備えることを特徴とする。
【０００６】
本願発明１によれば、聴取者の画像を撮影して顔検出処理を行うことにより、聴取者の顔の位置を正確に検出することができるので、聴取者の顔の位置に応じて的確な音響調整を行うことができる。
【０００７】
本願発明２は、本願発明１の音響調整システムにおいて、前記顔検出手段によって検出された顔の画像から前記聴取者の耳を検出する耳検出手段を更に備え、前記顔位置演算手段は、前記聴取者の耳の位置を演算し、前記音響調整手段は、前記聴取者の耳の位置に応じて前記音声出力手段から出力される音声の音響調整を行うことを特徴とする。
【０００８】
本願発明２によれば、聴取者の顔及び耳の位置に応じて的確な音響調整を行うことができる。
【０００９】
本願発明３は、本願発明１又は２の音響調整システムにおいて、前記聴取者が着席している座席の正面を向いているかどうかを検出する第１の検出手段を更に備え、前記音響調整手段は、前記聴取者が座席の後方又は横方向を向いたことが検出された場合に、前記音声出力手段から出力される音声の音量を下げるか又は音声の再生を停止することを特徴とする。
【００１０】
本願発明４は、本願発明１から３の音響調整システムにおいて、前記聴取者が前後の座席に分かれて着席している場合に、後ろの座席の聴取者が前の座席側に乗り出してきたかどうかを検出する第２の検出手段を更に備え、前記音響調整手段は、後ろの座席の聴取者が前の座席側に乗り出してきたことが検出された場合に、前記音声出力手段から出力される音声の音量を下げるか又は音声の再生を停止することを特徴とする。
【００１１】
本願発明５は、本願発明１から４の音響調整システムにおいて、前記顔検出手段によって検出された聴取者が所定時間以上目を閉じているかどうかを検出する第３の検出手段を更に備え、前記音響調整手段は、前記聴取者が所定時間以上目を閉じていることが検出された場合に、前記音声出力手段から出力される音声の音量を下げるか又は音声の再生を停止することを特徴とする。
【００１２】
本願発明６は、本願発明５の音響調整システムにおいて、前記音響調整システムは、自動車に設置されており、前記聴取者が所定時間以上目を閉じていることが検出された場合に、前記自動車のエンジンがかかっているかどうかを検出する第４の検出手段を更に備え、前記音響調整手段は、前記聴取者が所定時間以上目を閉じており、且つ、前記自動車のエンジンがかかっていることが検出された場合に、前記音声出力手段から出力される音声の音量を上げることを特徴とする。
【００１３】
本願発明３から６によれば、聴取者の状態（例えば、車内の聴取者が会話している場合や、眠っている場合）に応じて的確な音響調整を行うことができる。
【発明の効果】
【００１４】
本発明によれば、聴取者の画像を撮影して顔検出処理を行うことにより、聴取者の顔及び耳の位置を正確に検出することができるので、聴取者の顔及び耳の位置に応じて的確な音響調整を行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面に従って本発明に係る音響調整システムの好ましい実施の形態について説明する。
【００１６】
図１は、本発明の一実施形態に係る音響調整システムの主要構成を示すブロック図である。本実施形態の音響調整システム１０は、カメラ１２、顔検出処理部１４、顔位置演算部１６、音響調整処理部１８、音声再生装置２０、スピーカシステム２２、操作部２４及び状態検出部２６を備えている。本実施形態の音響調整システム１０は、自動車の車内に設置されるカーオーディオシステムの音響調整を行うものである。カメラ１２及びスピーカシステム２２は、自動車の内部の乗車スペースに配置される。
【００１７】
音声再生装置２０は、例えば、カセットテープ、コンパクトディスク（登録商標）、ミニディスク（登録商標）等の記録メディアから音声信号を読み出すスピーカ２２に供給するミュージックプレーヤ、又はラジオ電波を受信して音声信号に変換してスピーカ２２に供給するラジオ受信機を含んでいる。
【００１８】
スピーカシステム２２は、車内の所定の位置に配置された複数のスピーカを含んでおり、音声再生装置２０から供給された音声信号を音声に変換して出力する。
【００１９】
操作部２４は、音声再生装置２０に音声の再生開始指示、再生終了指示、ラジオの受信周波数の調整、音量の調整等の操作入力を行うための手段である。
【００２０】
音声の再生開始指示が入力されると、音声再生装置２０により音声の再生が開始されるとともに、音響調整処理部１８により音声再生装置２０の音響調整が開始される。
【００２１】
カメラ１２は、音声の再生が開始されると、自動車１００の車内の人物（聴取者）の画像を撮影する。顔検出処理部１４は、カメラ１２によって撮影された画像から聴取者の顔領域を検出する。顔位置演算部１６は、顔検出処理部１４によって検出された聴取者の顔の位置を演算する。音響調整処理部１８は、顔位置演算部１６によって求められた顔の位置に基づいて音声の出力のタイミングの調整及び音響調整（例えば、イコライズ）を行う。
【００２２】
上記の顔及び顔の位置の検出は、音声再生装置２０による音声再生が継続している間、所定時間間隔で繰り返される。状態検出部２６は、顔検出処理部１４によって検出された顔の状態及び顔位置演算部１６によって検出された顔の位置を記憶する。そして、状態検出部２６は、最新の顔の状態及び顔の位置と、以前に記憶した顔の状態及び顔の位置に基づいて聴取者の状態を検出し、音響調整処理部１８に伝達する。音響調整処理部１８は、聴取者の状態に応じて音響調整を行う。例えば、後部座席３０に着席している聴取者が前に乗り出した場合（例えば、後部座席３０の聴取者の顔領域が大きくなったことが検出された場合）、又は前部座席２８又は後部座席３０に着席している聴取者が自動車１００の後方又は横を向いたことが検出された場合に、音響調整処理部１８は、音量を下げるか又は音声の再生を停止する。また、音響調整処理部１８は、検出された聴取者のいずれかが所定時間以上目を閉じている場合（即ち、当該聴取者が眠っている場合）に音量を下げるか又は音声の再生を停止する。また、状態検出部２６は、運転席の聴取者が所定時間以上目を閉じている場合（即ち、運転手が眠っている場合）に、自動車１００のエンジンがかかっているかどうかを検出する。そして、音響調整処理部１８は、運転席の聴取者が所定時間以上目を閉じており、且つ、自動車１００のエンジンがかかっている場合に、音量を上げる。これにより、車内の聴取者の状態に応じて適切な音響調整を行うことができる。
【００２３】
次に、聴取者の顔の位置に基づいて音響を制御する方法について具体的に説明する。図２は、車内におけるカメラの配置の第１の実施形態を示す自動車の平面図である。図２に示すように、自動車１００には、複数のスピーカ２２０Ｒから２２６Ｒ、２２０Ｌから２２６Ｌ、前部座席２８Ｒ及び２８Ｌ、後部座席３０が配置されている。
【００２４】
図２に示すように、自動車１００の前部には、カメラ１２０Ｒ及び１２０Ｌが配置されている。また、前部座席２８Ｒ及び２８Ｌの後部には、それぞれカメラ１２２Ｒ及び１２２Ｌが配置されている。カメラ１２０Ｒ及び１２０Ｌは前部座席２８Ｒ及び２８Ｌに着席している聴取者を撮影し、カメラ１２２Ｒ及び１２２Ｌは後部座席３０に着席している聴取者を撮影する。顔検出処理部１４は、カメラ１２０Ｒ及び１２０Ｌによって撮影された画像から前部座席２８Ｒ及び２８Ｌに着席している聴取者の顔領域を検出する。また、顔検出処理部１４は、検出した顔領域から耳の位置を検出する。
【００２５】
ここで、顔検出処理の方式としては、例えば、肌色に予め指定された色と近い色を持つ画素を原画像から取り出し、取り出した領域を顔領域として検出するものがある。この顔検出処理の方式では、例えば、肌色を他の色と区別するための色空間上で、予めサンプリングした肌色の情報から色空間上の肌色の範囲を定め、各画素の色が定めた範囲に入っているか否かを判定することにより行われる。また、耳の検出処理の方式としては、例えば、上記顔検出処理によって検出された肌色の領域の中から左右に２つ並ぶ黒色を含む領域（目の領域）を検出し、こうして検出した目の領域の位置を基準として肌色領域の端部付近を耳の領域として検出するものがある。
【００２６】
顔位置演算部１６は、カメラ１２０Ｒ及び１２０Ｌによって撮影された画像中の耳の領域の位置について三角測量を行って、前部座席２８Ｒ及び２８Ｌに着席している聴取者の左右の耳の位置の座標（Ｘ，Ｙ，Ｚ）を演算する。
【００２７】
同様に、顔検出処理部１４は、カメラ１２２Ｒ及び１２２Ｌによって撮影された画像から後部座席３０に着席している聴取者の耳の領域を検出する。顔位置演算部１６は、カメラ１２２Ｒ及び１２２Ｌによって撮影された画像中の聴取者の耳の領域について三角測量を行って、後部座席３０に着席している聴取者の左右の耳の位置の座標（Ｘ，Ｙ，Ｚ）を演算する。
【００２８】
音響調整処理部１８は、左側のスピーカ２２０Ｌ、…、２２６Ｌから出力された音声が聴取者の左耳に、右側のスピーカ２２０Ｒ、…、２２６Ｒから出力された音声が聴取者の右耳にそれぞれ同時に到達するように、音声の出力のタイミングを調整するとともに、音量の調整を行う。これにより、車内の聴取者は、各スピーカから等距離の位置にいるのと同様の音声を聴取することができる。
【００２９】
なお、検出された聴取者のうちのどの聴取者に音響を最適化するかを選択可能にしてもよい。この場合、例えば、前部座席（運転席、助手席）、後部座席のどの席に音響を最適化するかを選択するための操作手段を設けるようにすればよい。また、カメラ１２によって撮影された聴取者の画像を表示する表示手段と、画像中のどの聴取者に音響を最適化するかを選択するための操作手段を設けるようにしてもよい。
【００３０】
図３は、車内におけるカメラの配置の第２の実施形態を示す自動車の平面図である。図３に示す例では、自動車１００の前部（例えば、ルームミラー）に、カメラ１２４が配置されており、自動車１００の天蓋の中央付近（例えば、ルームライトの近傍）に、カメラ１２６が配置されている。カメラ１２４は、前部座席２８Ｒ、２８Ｌ及び後部座席３０に着席している聴取者を撮影する。カメラ１２６は、広角レンズ又は魚眼レンズを備えた広角撮影が可能なカメラであり、車内の聴取者の頭部を上から撮影する。
【００３１】
顔検出処理部１４は、カメラ１２４によって撮影された画像から聴取者の前部座席２８Ｒ、２８Ｌ及び後部座席３０に着席している聴取者の顔領域及び耳の領域を検出する。なお、顔及び耳の検出方式は上記と同様である。
【００３２】
顔位置演算部１６は、カメラ１２６によって撮影された画像から聴取者の頭部を検出し、その座標（Ｘ，Ｙ）を演算する。そして、顔位置演算部１６は、聴取者の頭部の座標（Ｘ，Ｙ）と、顔検出処理部１４によって求められた耳の領域の位置から、車内の聴取者の耳の位置の座標（Ｘ，Ｙ，Ｚ）を演算する。これにより、車内の聴取者の耳の位置に合わせた音響調整が可能になる。
【００３３】
図４は、車内におけるカメラの配置の第３の実施形態を示す自動車の平面図である。図４に示す例では、自動車１００の前部（例えば、ルームミラー）に、カメラ１３０が配置されている。また、自動車１００左右の天蓋付近には、カメラ１３２Ｒ、１３４Ｒ、１３２Ｌ及び１３４Ｌが配置されている。カメラ１３０は、前部座席２８Ｒ、２８Ｌ及び後部座席３０に着席している聴取者を撮影する。カメラ１３２Ｒ及び１３４Ｒは、それぞれ前部座席２８Ｒ及び後部座席３０の右側に着席している聴取者を撮影する。カメラ１３２Ｌ及び１３４Ｌは、それぞれ前部座席２８Ｌ及び後部座席３０の左側に着席している聴取者を撮影する。
【００３４】
顔検出処理部１４は、カメラ１３０によって撮影された画像から聴取者の前部座席２８Ｒ、２８Ｌ及び後部座席３０に着席している聴取者の顔領域及び耳の領域を検出する。なお、顔及び耳の検出方式は上記と同様である。
【００３５】
顔位置演算部１６は、カメラ１３２Ｒ、１３４Ｒ、１３２Ｌ及び１３４Ｌによって撮影された画像から聴取者の頭部を検出し、その座標（Ｘ，Ｙ，Ｚ）を演算する。そして、顔位置演算部１６は、聴取者の頭部の座標（Ｘ，Ｙ，Ｚ）と、顔検出処理部１４によって求められた耳の領域の位置から、車内の聴取者の耳の位置の座標（Ｘ，Ｙ，Ｚ）を演算する。これにより、車内の聴取者の耳の位置に合わせた音響調整が可能になる。
【００３６】
なお、図４に示す例では、聴取者の頭部の位置を検出するためのカメラが左右に２対配置されているが、１対であってもよい。また、聴取者の頭部の位置を検出するためのカメラ１２６、１３０Ｒ及び１３０Ｌ、１３２Ｒ及び１３２Ｌは、例えば、赤外線カメラであってもよい。また、聴取者の頭部の位置を検出するためのカメラに代えて、測距センサ、赤外線センサを用いてもよい。
【００３７】
また、カメラ１３０を顔までの測距機能を有するカメラ（例えば、ステレオカメラ）として、聴取者の頭部の位置を検出するためのカメラを備えない構成としてもよい。
【００３８】
図５は、音響調整処理の流れを示すフローチャートである。まず、音声再生が開始されると（ステップＳ１０）、車内に配置されたカメラ１２により車内の聴取者の撮影が開始され、撮影された画像に対して顔領域及び耳の領域の検出処理が行われる（ステップＳ１２）。次に、耳の領域の位置の座標（Ｘ，Ｙ，Ｚ）が演算されて、記録される（ステップＳ１４）。そして、耳の位置に合わせた音響調整処理が行われる（ステップＳ１６）。
【００３９】
そして、所定の時間ごとに上記ステップＳ１２からステップＳ１６の工程が繰り返される。ステップＳ１６では、例えば、後部座席３０に着席している聴取者が前に乗り出した場合（例えば、顔領域が大きくなったことが検出された場合）、又は前部座席２８又は後部座席３０に着席している聴取者が自動車１００の後方又は横を向いたことが検出された場合に音量を下げるか又は音声の再生を停止する。また、検出された聴取者のいずれかが所定時間以上目を閉じている場合（即ち、当該聴取者が眠っている場合）に音量を下げるか又は音声の再生を停止する。また、自動車のエンジンがかかっている状態で運転席の聴取者が所定時間以上目を閉じている場合（即ち、運転手が眠っている場合）に音量を上げる。これにより、車内の聴取者が会話している場合や、眠っている場合に応じて的確な音響調整を行うことができる。
【００４０】
本実施形態によれば、聴取者の画像を撮影して顔検出処理を行うことにより、聴取者の顔及び耳の位置を正確に検出することができるので、聴取者の顔及び耳の位置に応じて的確な音響調整を行うことができる。
【００４１】
なお、上記の説明では、本発明の音響調整システムをカーオーディオシステムの音響調整に適用した例について説明したが、例えば、ホームシアターのスピーカシステムの音響調整にも適用可能である。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施形態に係る音響調整システムの主要構成を示すブロック図
【図２】車内におけるカメラの配置の第１の実施形態を示す自動車の平面図
【図３】車内におけるカメラの配置の第２の実施形態を示す自動車の平面図
【図４】車内におけるカメラの配置の第３の実施形態を示す自動車の平面図
【図５】音響調整処理の流れを示すフローチャート
【符号の説明】
【００４３】
１０…音響調整システム、１２…カメラ、１４…顔検出処理部、１６…顔位置演算部、１８…音響調整処理部、２０…音声再生装置、２２…スピーカシステム、２４…操作部、２６…状態検出部
【図１】
2008236397.tif 000003
【図２】
2008236397.tif 000004
【図３】
2008236397.tif 000005
【図４】
2008236397.tif 000006
【図５】
2008236397.tif 000007