(57)【要約】【課題】ユーザーの発話時に通話相手からの受話音声を受信してもその受話音声を聴取することができ、且つ、ユーザーの発話は通話相手に、信号を低減せずに伝えることができるとともに、ユーザーが発話していないときは、ユーザー側から通話相手に伝わるエコーの影響を低減するハンズフリー通話装置を提供する。【解決手段】ユーザーの顔を撮像するカメラ（１）と、カメラの撮像した画像データから前記ユーザーの口の動きを検出するカメラ画像処理部（２）と、増幅率を調整することでユーザーから通話相手へ送信する送信音声信号の信号レベルを調整する信号レベル調整部（３）と、を備え、信号レベル調整部（３）は、カメラ画像処理部（２）で口の動きが検出されていない場合には増幅率を１よりも小さい値に設定し、口の動きが検出された場合には送信音声信号の増幅率を１以上の値とする。【選択図】図１
2014110554.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの顔部分を撮像するカメラ（１）と、
前記カメラの撮像した画像データから前記ユーザーの口の動きを検出するカメラ画像処理部（２）と、
増幅率を調整することでユーザーから通話相手へ送信する送信音声信号の信号レベルを調整する信号レベル調整部（３）と、を備えたハンズフリー通話装置（１００）であって、
前記信号レベル調整部は、前記カメラ画像処理部で口の動きが検出されていない場合には増幅率を１よりも小さい値に設定し、前記カメラ画像処理部で口の動きが検出された場合には送信音声信号の増幅率を１以上の値とすることを特徴とするハンズフリー通話装置。
【請求項２】
請求項１において、
前記信号レベル調整部は、前記カメラ画像処理部で口の動きが検出されていない場合には増幅率を０に設定し、カメラ画像処理部で口の動きが検出された場合には送信音声信号の増幅率を１に設定することを特徴とするハンズフリー通話装置。
【請求項３】
請求項１または２において、
前記ハンズフリー通話装置は、マイクロホン（５）で集音された音に対応する信号が送信音声信号として入力されるハンズフリー通話装置であって、
前記マイクロホンと前記信号レベル調整部との間に、送信音声信号を一定時間蓄積してから前記信号レベル調整部に出力するバッファ部（８）を備えていることを特徴とするハンズフリー通話装置。
【請求項４】
請求項１から３の何れか１項において、
前記ハンズフリー通話装置は、一定時間継続して前記カメラ画像処理部で口の動きが検出されない場合に、前記信号レベル調整部の増幅率を０に設定することを特徴とするハンズフリー通話装置。
【請求項５】
請求項１から４の何れか１項において、
前記ハンズフリー通話装置は、受信音声信号と、送信音声信号に混入された前記受信音声信号のエコー成分とに基づいて、前記受信音声から推定される擬似エコー信号を生成し、前記擬似エコー信号を前記送信音声信号から差し引くことによりエコー成分を打ち消すエコーキャンセル部（１０）を備えることを特徴とするハンズフリー通話装置。
【請求項６】
請求項１から５の何れか１項において、
前記ハンズフリー通話装置は、送信音声信号と、受信音声信号に混入された前記送信音声信号のエコー成分とに基づいて、前記送信音声信号から推定される擬似エコー信号を生成し、前記擬似エコー信号を前記受信音声から差し引くことによりエコー成分を打ち消すエコーキャンセル部（１０）を備えることを特徴とするハンズフリー通話装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハンズフリー通話装置に関する。
【背景技術】
【０００２】
ハンズフリー通話装置において、スピーカからの出力音がマイクに回り込むことで生じるエコーの影響を低減するものが提案されている。
【０００３】
たとえば特許文献１に記載の技術では、送信音声信号（または受信音声信号）の信号レベルに基づいて、送信音声信号、受信音声信号の合計利得が「１」以下になるように、各音声信号の信号レベルを増幅または低減する。たとえば、送信音声信号が入力された際には、送信音声信号の信号レベルを増幅するとともに、受信音声信号の信号レベルを低減する制御を実施する。
【０００４】
また、エコーを除去する公知のエコーキャンセル技術は、一般に受信音声信号および送信音声信号からエコーパスの伝達関数を学習する適応フィルタを用いて構成されている（例えば特許文献２）。すなわち、送信音声信号に対しては、受信音声信号から適応フィルタによって擬似エコーを生成し、送信音声信号からエコー成分を差し引いている。
【０００５】
しかし、伝達関数を学習するときには、ユーザーが発話した音声が外乱となって伝達関数の推定精度を低下させてしまうという問題があった。そこで、特許文献２では、カメラでユーザーの口の動きを検出し、ユーザーの口の動きを検出している場合には、ユーザーが発話しているものと判定し、この適応フィルタの更新を停止する。これにより、擬似エコーの精度を向上させる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−１６２７８６号公報
【特許文献２】特開２０００−２９５３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、送信音声信号が入力されているときに、受信音声信号がノイズレベル程度の小声に対応した信号レベルである場合には、受信音声信号の信号レベルが低減されることによって、スピーカから出力される受話音声を聴取できなくなってしまうことが懸念される。また、逆に、受信音声信号が入力されているときに、送信音声信号がノイズレベル程度の小声に対応した信号レベルである場合には、通話相手はユーザーの発話音声を聴取できなくなってしまう。
【０００８】
また、特許文献２に記載の技術のように、擬似エコーの精度を高めることでエコーが聞こえにくくすることもできるが、常に完全にエコーを取り除くことができるというわけではない。たとえば、ユーザーが運転している場合など伝達関数が動的に変化する状況においては、適応フィルタの更新を停止している間に実際のエコーパスに対応した伝達関数は変化する。そして、適応フィルタの学習した伝達関数と実際の伝達関数との間に相違が生じてしまうため、擬似エコーの精度は低下する。その結果、わずらわしいエコーは通話相手に伝わってしまう。
【０００９】
本発明は、以上の事情を鑑みて成されたものであり、その目的とするところは、ユーザーの発話時に通話相手からの受信音声信号を受信した際に、その受信音声信号の信号レベルが小声に対応する信号レベルであってもユーザーは受信音声信号に含まれる通話相手からの受話音声を聴取することができ、また、ユーザーの発話音声が小声であっても信号レベルを低減せずに通話相手に伝えることができるとともに、ユーザーが発話していないときは、ユーザー側から通話相手に伝わるエコーの影響を低減するハンズフリー通話装置を提供することにある。
【課題を解決するための手段】
【００１０】
その目的を達成するための本発明は、ユーザーの顔部分を撮像するカメラ（１）と、
前記カメラの撮像した画像データから前記ユーザーの口の動きを検出するカメラ画像処理部（２）と、
増幅率を調整することでユーザーから通話相手へ送信する送信音声信号の信号レベルを調整する信号レベル調整部（３）と、を備えたハンズフリー通話装置（１００）であって、
前記信号レベル調整部は、前記カメラ画像処理部で口の動きが検出されていない場合には増幅率を１よりも小さい値に設定し、前記カメラ画像処理部で口の動きが検出された場合には送信音声信号の増幅率を１以上の値とすることを特徴とする。
【００１１】
このような構成によると、ユーザーの口の動きが検出されていない場合には送信音声信号の信号レベルは低減される。よって、エコーパスの伝達関数が動的に変化する状況において、ユーザーの口が動いていないときにエコーがマイクに入力されても、環境の変化に影響を受けずそのエコーの影響を低減できる。
【００１２】
さらに、送信音声信号の信号レベルを調整する構成であり、受信音声信号の信号レベルを低減しないことから、通信相手からの受信音声信号受信時、その信号レベルが低く且つユーザーの発話があっても、通話相手からの受話音声を聴取することが可能である。
【００１３】
また、通話相手からの受信音声信号の入力があっても、カメラ画像処理部でユーザーの口の動きが検出される場合には、信号レベル調整部の増幅率は１以上に設定されるため、発話音声が小声であっても、通話相手に伝えることができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態におけるハンズフリー通話装置の構成を表すブロック図である。
【図２】本実施形態の制御の流れを示すフローチャートである。
【図３】本実施形態の制御における増幅率調整処理の流れを表すフローチャートである。
【図４】本実施形態の作動を説明する概念図である。
【図５】本実施形態の作動を説明する概念図である。
【図６】本実施形態の作動を説明する概念図である。
【図７】本発明の変形例を表すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面に基づいて説明する。図１は本発明のハンズフリー通話装置１００の実施形態の構成を示すブロック図である。図１のハンズフリー通話装置１００は、信号処理部１とカメラ６を備えており、信号処理部１はスピーカ４、マイク５、カメラ６および電話機インターフェース部７と接続されている。なお、電話機インターフェース部７とハンズフリー通話装置１００は有線のほか、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線によって接続されていてもよい。図示しない電話機は、公衆回線などのネットワークを介して受信した受信音声信号を電話機インターフェース部７に出力し、電話機インターフェース部７は、この受信音声信号を信号処理部１に出力する。また、電話機インターフェース部７より電話機に入力された送信音声信号は、ネットワークを介して通話相手に送信される。ここで、受信音声信号には、通話相手からの受話音声に加え、エコー成分やエコー成分以外のノイズを含まれる。また、送信音声信号にも、ユーザーが発話した発話音声に加え、エコー成分やエコー成分以外のノイズが含まれる。
【００１６】
信号処理部１は、カメラ画像処理部２、信号レベル調整部３、エコーキャンセル部１０を備えている。マイク５は、無指向性の小型マイクであり、ユーザーが発話した音声（発話音声Ｓ）や雑音などの周囲の音を集音し、電気的な信号に変換して、信号処理部１に出力する。スピーカ４は、信号処理部１より入力された電気的な受信音声信号を音に変換して出力する。
【００１７】
なお、信号処理部１には、マイク５から信号が入力される入力部と、電話機インターフェース部７に信号を出力する出力部に、受信音声信号または送信音声信号の信号レベルを増幅する増幅器がそれぞれ設けられているが、図示は省略する。また、電話機インターフェース部７から信号が入力される入力部と、スピーカ４に出力する出力部にも同様の増幅器（図示略）がそれぞれ設けられている。なお、これらの増幅器の増幅率は固定されているものである。
【００１８】
ここで、図１を用いてエコーが発生する過程とエコーキャンセル部１０の動作を説明する。まず、電話機インターフェース部７を介して受信する受信音声信号は、スピーカ４で音に変換して放音される。受信音声信号には、通常、通話相手が発話した音声（受話音声Ｒ）に加えてエコー成分やノイズ成分などが重畳しているが、ここでは説明のため、受信音声信号中のエコー成分およびノイズ成分は無視し、受信音声信号と受話音声Ｒが同じものであるとする。なお、受話音声に対応する電気的な信号と、受話音声とは区別せず、同一の記号Ｒを用いて説明する。発話音声Ｓやエコー成分ｒについても同様にそれぞれ同一の記号を付して説明する。
【００１９】
スピーカ４から放音された音（この場合、エコー成分およびノイズ成分を無視するため、受話音声Ｒとなる）の一部が、エコーパスを経てマイク５に回り込み、エコー成分ｒとして集音される。マイク５にはユーザーの発話音声Ｓとエコー成分ｒが入力されるため、マイク５から信号処理部１に入力される送信音声信号はＳ+ｒとなる。このエコー成分ｒがわずらわしい雑音となって通話相手に伝わってしまう。
【００２０】
また、ユーザーから通話相手に送信された送信音声信号Ｓ（厳密にはＳ＋ｒ）も、通話相手側においてスピーカ４からマイク５に回り込んでエコーとなる。このとき、電話機インターフェース部７から信号処理部１に入力される受信音声信号は、受話音声Ｒにエコー成分ｓが重畳したＲ＋ｓとなる。
【００２１】
エコーキャンセル部１０は、受信音声信号（≒受話音声Ｒ）および送信音声信号（≒発話音声Ｓ）を用いて、これらのエコー成分ｒおよびｓを除去する処理を行う。より具体的には、エコーキャンセル部１０は擬似エコー信号を生成するＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１１と、受信側の加算器１２、送信側の加算器１３を備えている。図１に示すように、スピーカ４に出力する受話音声Ｒ（厳密にはエコーキャンセル部１０によって受信音声信号からエコー成分ｒが取り除かれた音声）は、ＤＳＰ１１にも入力される。ＤＳＰ１１は、受話音声Ｒに基づいて擬似エコー信号ｒ’を生成する。ここで擬似エコー信号ｒ’は、先行技術のように、エコーパスの伝達関数を逐次学習する適応フィルタを用いて生成すればよい。そして、加算器１３でマイク５より入力された音声信号Ｓ＋ｒから、ＤＳＰ１１で生成された疑似エコー信号ｒ’を差し引くことで、通話相手に送信する送信音声信号はＳ＋ｒ−ｒ’となる。
【００２２】
ここで、受話音声Ｒから生成した擬似エコー信号ｒ’が完全にｒと一致すれば、エコーは完全に取り除かれ、ユーザーの発話音声Ｓが通話相手に送信される。しかしながら、公知のエコーキャンセル技術を用いても完全な擬似エコー信号（ｒ＝ｒ’）の生成は難しく、一般的にはｒ≒ｒ’である。また、仮に一時的にｒ＝ｒ’ を実現できるとしても、ユーザーが姿勢を変えたり、スピーカ４およびマイク５周辺の環境が変わったりする場合にはエコーパスおよびその伝達関数が変動するため、再び伝達関数を学習している間はｒ≠ｒ’となり、残留エコーが生じてしまう。さらに、より高精度なエコーキャンセル部１０を実現するためには、より複雑な回路が必要となってしまう。
【００２３】
なお、発話音声Ｓによるエコー成分ｓに対しても同様にして公知のエコーキャンセル技術で低減することができる。すなわち、図１に示すように、エコーキャンセル部１０によってエコー成分ｒが取り除かれた送信音声信号（≒発話音声Ｓ）は、ＤＳＰ１１に入力され、ＤＳＰ１１は発話音声Ｓから予測される擬似エコー信号ｓ’を生成する。そして、電話機インターフェース部７より入力された受信音声信号Ｒ＋ｓから、ＤＳＰ１１で生成された疑似エコー信号ｓ’を加算器１３で減算することで、スピーカ４に出力される信号はＲ＋ｓ−ｓ’となる。ここでもｓ＝ｓ’ではないため、残留エコーは生じてしまう。
【００２４】
カメラ６は、ユーザーの顔を逐次撮像し、撮像した画像データを逐次カメラ画像処理部２に出力する。１秒あたりにユーザーの顔を撮像する枚数（フレームレート）は、ユーザーが発話したときの口の動きを検出するために十分であり、かつ、後述するカメラ画像処理部２で処理できる値に設定する。すなわち、フレームレートが小さいと、画像データを撮像する間隔が長くなり、ユーザーの発話に対して口の動きを検出するタイミングが遅れてしまうおそれがある。あるいは、フレーム間での画像データの連続性が低下することで検出精度が低下するおそれがある。一方、フレームレートが大きすぎると、後述する画像処理部２での処理負荷が増大してしまう。一例として、本実施形態では毎秒３０フレームとする。
【００２５】
カメラ画像処理部２は、カメラ６より入力された画像データから、ユーザーの口の動きを検出する。口の動きを検出する方法として、一例としては特許文献２に記載の技術のように、口を中心とした所定範囲（口の領域）で検出された特徴点の動きベクトルあるいは輝度値のフレーム間差分等を用いればよい。口の領域を特定する方法としては、例えば、ユーザーの瞳の位置を検出し、その瞳の位置から統計的に口の範囲を予測し、この範囲内でパターンマッチング法により特定する。
【００２６】
そして、動きベクトルによる口の動き検出方法としては、特定された口の領域を複数のブロックに分け、その領域内でブロック毎に動きベクトルを求め、この動きベクトルの大きさの累計値を求めればよい。そして、この動きベクトルの大きさの累計値が、所定の閾値より大きいかどうかを判定し、所定の閾値より大きければ、口の動きを検出したとする。
【００２７】
動きベクトルの代わりに輝度値のフレーム間差分を用いる場合も、特定された口の領域内でブロック毎に輝度値のフレーム間差分を求め、所定の閾値より大きいかどうかを判定し、所定の閾値より大きければ、所定の閾値より大きければ、口の動きを検出したとする。
【００２８】
以上のようにして、ユーザーの口の動きを検出した場合、カメラ画像処理部２は、増幅率を０から１に設定するように指示するＯＮ信号を信号レベル調整部３に出力する。一方、所定数のフレームにおいて（例えば３フレーム）、連続してユーザーの口の動きがないと判定された場合には、増幅率を１から０に設定するように指示するＯＦＦ信号を信号レベル調整部３に出力する。
【００２９】
信号レベル調整部３は、送信音声信号の信号レベル（たとえば電圧値）の入力値に対する出力値の割合（以降、増幅率）を変更可能に構成されており、この増幅率に基づいて、送信音声信号の信号レベルを調整して電話機インターフェース部７へ出力する。なお、増幅率が０の状態とは、厳密な０に限らず、通話相手が聴取できない信号レベルに低減する状態も含む。また、送信音声信号を伝達する回路を開くことによって増幅率および信号レベルを完全に０にする構成としてもよい。
【００３０】
また、信号レベル調整部３の増幅率は、カメラ画像処理部２より入力される信号に基づいて逐次変更される。本実施形態では、カメラ画像処理部２よりＯＮ信号が入力されている場合は、増幅率を１に設定し、信号レベル調整部３に入力された送信音声信号の信号レベルは変更せずに出力する。一方、カメラ画像処理部２よりＯＦＦ信号が入力されている場合は、増幅率を０に設定して送信音声信号の信号レベルを０にする。すなわち、カメラ画像処理部２よりＯＦＦ信号が入力されている間に信号レベル調整部３に入力された送信音声信号は破棄される。このため、カメラ画像処理部２で口の動きが検出されている場合のみ、送信音声信号は電話機インターフェース部７などを介して通話相手に伝達される。
【００３１】
ここで、図２のフローチャートを用いて本実施形態での作動を説明する。図２（Ａ）がユーザーから通話相手に、送信音声信号を送信する際の処理であり、図２（Ｂ）が相手側からの受信音声信号を受信した際の処理を表している。
【００３２】
図２（Ａ）のフローチャートは、信号処理部１で逐次実行されており、ステップＳ１２より開始される。
【００３３】
ステップＳ１２では、マイク５より信号処理部１に入力された送信音声信号（発話音声Ｓ＋エコー成分ｒ）に対して、エコーキャンセル部１０でエコーキャンセル処理を実施する。ここで、実施するエコーキャンセル処理は、上述したように公知の技術を用いたものである。エコーキャンセル処理によってエコー成分を除去された送信音声信号（Ｓ＋ｒ−ｒ’）を、信号レベル調整部３に出力し、ステップＳ１４に進む。
【００３４】
ステップＳ１４では信号レベル調整部３が、カメラ画像処理部２の指示に基づいて送信音声信号の信号レベルを０または１倍に調整し、ステップＳ１６に進む。この増幅率は、別途図３に示す増幅率調整処理のフローチャートに従って逐次調整されている。信号レベル調整部３で信号レベルを調整された送信音声信号は、電話機インターフェース部７に出力されるとともに、ＤＳＰ１１にも出力される。電話機インターフェース部７に入力された送信音声信号は、ステップＳ１８で電話機よりネットワークを介して通話相手に送信される。
【００３５】
また、図２（Ｂ）のフローチャートは、信号処理部１で逐次実行されており、ステップＳ２２より開始される。ステップＳ２２では、エコーキャンセル部１０で受信音声信号（受話音声Ｒ＋エコー成分ｓ）に対して、送信音声信号を用いて公知のエコーキャンセル処理を実施し、ステップＳ２４に進む。
【００３６】
ステップＳ２４では、前ステップＳ２２のエコーキャンセル処理によってエコーが除去された音声信号（Ｒ＋ｓ−ｓ’）をＤＳＰ１１に出力するとともに、スピーカ４に出力する。そして、ステップＳ２６で、スピーカ４は、信号処理部１より入力された受信音声信号を音に変換して出力する。
【００３７】
図３に示すフローチャートは、増幅率調整処理の流れを示しており、この処理は通話開始に伴って、逐次実行されている。この増幅率調整処理では、まずステップＳ１６０で、上述したように、カメラ６が撮像する画像データからユーザーの口の動きの有無を検出する。そして、口の動きを検出した場合には、ステップＳ１６２をＹＥＳとして、ステップＳ１６４に進む。一方、口の動きを検出していない場合は、ステップＳ１６２をＮＯとしてステップＳ１６６に進む。ステップＳ１６４では、カメラ画像処理部２から信号レベル調整部３に増幅率を１に設定するようにＯＮ信号を出力する。また、ステップＳ１６６では、カメラ画像処理部２から信号レベル調整部３に増幅率を０に設定するようにＯＦＦ信号を出力する。
【００３８】
以降では、ユーザーの口の動きの有無および発話状態、ならびに通話相手の発話状態によって場合分けした各状況において、以上で述べた本実施形態と、比較技術Ａ、比較技術Ｂとの、それぞれの作動を比較したものを、図４を用いて説明する。
【００３９】
ここで、比較技術Ａとは、ユーザーからの送信音声信号の信号レベルおよび通話相手からの受信音声信号の信号レベルに応じて、受信音声信号および送信音声信号の増幅率を調整するものとする。なお、特許文献１には、受信音声信号と送信音声信号の両方の信号レベルを考慮して、それぞれの増幅率を決定する制御については例示されていない。この比較技術Ａは、特許文献１において送信音声信号および受信音声信号の両方が入力された場合の処理を便宜的に決定したものであり、送信音声信号と受信音声信号の信号レベルを比較し、信号レベルがより高いほうの音声を、伝達すべき音声信号と判定する。すなわち、比較技術Ａでは、より信号レベルが小さいほうの信号を低減し、かつ、受信音声信号と送信音声信号の利得の和が１となるように制御するものである。また、送信音声信号と受信音声信号の信号レベルが、同等である場合には、それぞれの利得が０．５となるように調整する。
【００４０】
なお、比較技術Ａに関しては、送信音声信号と受信音声信号の各信号レベルよって増幅率を調整することによる効果と、本実施形態のように、口の動きによって増幅率を調整することによる効果の差異を検証することを目的とする。
【００４１】
また、比較技術Ｂは、一例として特許文献２に記載されるような、公知のエコーキャンセル技術のみを信号処理部１ｂに適用したものである。比較技術Ｂに関しては、公知のエコーキャンセル技術においてエコーが生じない状況と、本実施形態においてエコーを生じない状況とを比較することを目的とする。
【００４２】
なお、本実施形態、比較技術Ａ、および比較技術Ｂのいずれにおいても、信号処理部（１、１ａ、１ｂ）がスピーカ４、マイク５などの外部機器と接続する入出力部には、入力された信号（あるいは出力する信号）の信号レベルを一定量増幅する増幅器が備えられている。しかしながら、特に本実施形態と比較技術Ａにおいて、着目している要素は、それらの増幅率が固定されている増幅器ではなく、増幅率が状況に応じて調整される増幅器（すなわち信号レベル調整部）である。
【００４３】
次に、表１における各パラメータを説明する。まず、「口の動き」欄の有り／無しは、カメラ画像処理部２でユーザーの口の動きを検出できているか否かを示す。また、「発話」欄において、×は発話していない状態、△は発話しているがノイズレベルの小声である状態、○は普通の音声レベル（すなわち音量）で発話している状態である。「マイク」欄においては送信音声信号の信号レベルを、「ＳＰ」（ＳＰ＝スピーカ）欄においては受信音声信号の信号レベルを、それぞれ、そのまま通す状態を１、半減させて通過させる状態を０．５、通さない状態を０とする。すなわち、想定された状況において、各信号に対する増幅率がどのように設定されるかを示している。
【００４４】
「通話」欄の○は、送信音声信号と受信音声信号の少なくとも一方が、増幅率を調整することによって、聴取可能な信号レベルから聴取不可能な信号レベル（＝０）まで低減される場合を×とし、それ以外は○とする。「エコー」欄では、擬似エコー信号が完全にエコー成分を除去するものではないこと、および擬似エコー信号がエコーから外れ得ることを想定し、通話相手またはユーザーにエコーが伝わる状況であれば、有りとする。
【００４５】
なお、比較技術Ａに関しては、送信音声信号および受信音声信号の各信号レベルよって増幅率を調整することによる効果と、本実施形態のように、口の動きによって増幅率を調整することによる効果の差異を検証するための比較対象であるため、比較技術Ａにおいてエコー欄は省略する。また、比較技術Ｂに関しては、公知のエコーキャンセル技術によってエコーが生じない状況と、本実施形態によってエコーが生じない状況とを比較するものであるため、比較技術Ｂにおいてエコー欄以外は省略する。
【表１】
2014110554.tif 000003
【００４６】
以降では、まず本実施形態と比較技術Ａとを比較したときに増幅率を調整することによる通話の可否に差が生じているＮｏ．６および８について説明する。そして、次に本実施形態と比較技術Ｂとを比較したときにエコーの影響について差が生じているＮｏ．１１および１２について説明する。
【００４７】
まず、Ｎｏ．６の状況としては、カメラ画像処理部２でユーザーの口の動きが検出されており、ユーザーはノイズレベルの小声で発話し、かつ、通話相手は普通の音声レベルで発話している状況である。このような状況における、本実施形態と比較技術Ａの作動を、図４を用いて説明する。なお、Ｎｏ．６および８では、増幅率を調整することによる通話の可否を検討するため、従来のエコーキャンセル技術に対応する比較技術Ｂに関しては言及しない。
【００４８】
比較技術Ａでは、受信音声信号Ｒの信号レベルが、送信音声信号Ｓの信号レベルに対して大きく、かつ、その差が大きいため、受信音声信号Ｒを伝達すべき信号と判定する。この場合、図４のように受信側の信号レベル調整部３Ｒの増幅率が１となり、送信側の信号レベル調整部３Ｓの増幅率が０になる。このため、送信音声信号に含まれるユーザーの発話音声は、通話相手に伝わらなくなってしまう。なお、この比較技術Ａにおいて、厳密には増幅率は０にはならない場合も存在するが、ノイズレベルの小声の信号をさらに減衰させることによって聞き手が聴取できなくなるため、便宜上０とする。
【００４９】
一方、本実施形態では、カメラ画像処理部２でユーザーの口の動きを検出しているため、発話側の増幅率は１となる。そして、増幅率が１であることから送信音声信号は低減されず、ユーザーの発話音声を通話相手に伝えることができる。
【００５０】
次にＮｏ．８は、カメラ画像処理部２でユーザーの口の動きが検出されている状況において、ユーザーは普通の音声レベルで発話しており、かつ、通話相手はノイズレベルの小声で発話している状況である。このような状況における、本実施形態と比較技術Ａの作動を、図５を用いて説明する。
【００５１】
比較技術Ａでは、送信音声信号Ｓの信号レベルが、受信音声信号Ｒの信号レベルに対して小さく、かつ、その差が大きいため、送信音声信号Ｓを伝達すべき信号と判定する。この場合、図５のように送信側の信号レベル調整部３Ｓの増幅率が１となり、受信側の信号レベル調整部３Ｒの増幅率が０になる。このため、受信音声信号の信号レベルが０となり、受信音声信号に含まれる通話相手からの受話音声はユーザーに伝わらなくなってしまう。一方、本実施形態では、受信側の増幅率は低減しないため、通話相手からの受話音声は、その音声レベルに関わらず、ユーザーに伝えることができる。
【００５２】
以上で説明したように、送信音声信号および受信音声信号の各信号レベルではなく、ユーザーの口の動きの有無に応じて送信側の増幅率を調整することで、受話音声信号と発話音声信号が同時に入力され、それらの信号レベルに違いがあった場合でも相互の音声を相手に伝えることができる。すなわち、本実施形態は送信音声信号の信号レベルを調整する構成であり、受信音声信号の信号レベルを低減しないことから、通信相手からの音声受信時、その受信音声信号の信号レベルが低く且つユーザーの発話があっても、通話相手からの受話音声を聴取することが可能である。また、受信音声信号の入力があっても、カメラ画像処理部でユーザーの口の動きが検出される場合には、信号レベル調整部の増幅率は１以上に設定されるため、発話音声が小声であっても、通話相手に伝えることができる。
【００５３】
しかしながら、信号レベル調整部３およびカメラ画像処理部２だけでは、増幅率を１にしている場合にはエコーが通話相手に聞こえてしまう可能性がある。そこで、本実施形態のように、増幅率を調整する信号レベル調整部３に加えて、既技術のエコーキャンセル技術を使ってエコーの影響を抑える構成がより好ましい。また、さらに公知のノイズキャンセル技術を使ってノイズの影響を低減する構成を組み合わせても良い。
【００５４】
次に説明するＮｏ．１１および１２は、ユーザーの口の動きが検出されていない状況において、ユーザーは発話しておらず、通話相手は発話している（Ｎｏ．１１ではノイズレベルの小声での発話、Ｎｏ．１２では普通の音声レベルでの発話）状況である。このような状況における、本実施形態と比較技術Ｂの作動を、図６を用いて説明する。なお、ここでは、エコーの影響に関して本実施形態と比較技術Ｂとを比較することを目的とするため、比較技術Ａに関しては言及しない。
【００５５】
比較技術Ｂでは、エコーパスおよびその伝達関数の変化などによって、エコーキャンセル部１０ａで生成した擬似エコー信号が実際のエコー成分から少しでもずれてしまった場合には、エコーが通話相手に伝わってしまうことが懸念される。
【００５６】
一方、本実施形態では、ユーザーの口の動きを検出していないため、増幅率は０となっている。増幅率が０であるため送信音声信号の信号レベルは０となり、擬似エコー信号の精度（または有無）に関わらず、エコーが通話相手に聞こえることはない。
【００５７】
また、比較技術Ｂではマイク５の周囲で発生しているノイズ（エコー以外の雑音）がマイク５に入力されてしまった場合には、エコーキャンセル部１０ではこのノイズが除去されず、相手に伝わってしまう。これに対し、さらに公知のノイズキャンセル技術を用いてノイズを低減することも考えられるが、エコーキャンセル技術と同様、ノイズに打ち消すための擬似ノイズ信号が実際のノイズとずれてしまった場合には、通話相手に聞こえてしまう。しかし、本実施形態のように、ユーザーの口の動きを検出していない場合には増幅率を０にすることで、その間、ノイズも通話相手に伝わらないようにすることができる。
【００５８】
以上の構成によると、本実施形態では受信側の増幅率は調整しないため、通話相手からの受話音声が小さくユーザーの発話音声が大きい場合でも双方の音声を同時に伝えることが可能である。また、通話相手の声が大きくユーザーの声が小さい場合でも、カメラ画像処理部２でユーザーの口の動きが検出される場合には、送信側の増幅率を１とするため、双方の音声を伝えることが可能となる。
【００５９】
さらに、ユーザーの口の動きが無いと判定された場合には、増幅率が０になることによって送信音声信号の信号レベルが０になるため、エコーやノイズがマイク５に入力されてもそれらが通話相手に伝わる可能性を低減できる。
【００６０】
（変形例）
さらに、本発明は例えば図７に示すような構成（変形例）にしてもよい。図７は、図１に対応する図であり、変形例に係るハンズフリー通話装置の構成を示すブロック図である。なお、図１と重複する説明は省略する。
【００６１】
バッファ部８は、エコーキャンセル部１０でエコー成分ｒが除去あるいは低減された送信音声信号を一定の時間（以降、遅延時間とする）蓄積した後に信号レベル調整部３に出力する。ここで、遅延時間は、ユーザーおよび通話相手に違和感を与えない程度（たとえば数１０ｍｓ）とする。また、この遅延時間は、ユーザーが発話した瞬間から、発話に伴った口の動きをカメラ画像処理部２で検出して信号レベル調整部３の増幅率を１に設定するまでに要する時間を考慮したものであってもよい。
【００６２】
口の動きを検出するためには、カメラ６で取り込んだ画像をカメラ画像処理部２で画像解析する必要があるため、ユーザーの話し始めの部分においては、口の動きの検出処理が間に合わずに増幅率が０となっており、話し始め部分が欠けてしまうおそれがあった。
【００６３】
しかしながら、この変形例のようにバッファ部８を備える構成とすることで、発話音声がマイク５で取得されてから信号レベル調整部３に到達するまでかかる時間は、バッファ部８に蓄積されている時間だけ遅延する。そして、バッファ部８で遅延させる分だけ、発話音声から欠落する部分を低減することができ、通話相手に違和感を与える可能性を低減できる。また、話し始め部分がバッファ部８に入ってから出力されるまでの間に、カメラ画像処理部２で口の動きを検出して増幅率が１と設定できる場合には、話し始め部分も欠落することなく通話相手に伝えることができる。
【００６４】
なお、本実施形態では、増幅率を１から０に設定する制御は、カメラ画像処理部２で所定のフレーム数連続して口の動きが無いと判定された場合に実施するとしたがこれに限らない。所定のフレーム数連続して口の動きがないと判定された時点から所定の時間（たとえば数秒程度）後に増幅率を１から０にしてもよい。
【００６５】
このようにすることで、例えばユーザーが発言の内容を考えたりして途切れ途切れに発話している場合に、増幅率が０と１の状態が短い間に変化し、それに伴って話し始め部分が欠落してしまう可能性を低減することができる。
【００６６】
また、以上の構成において、信号レベル調整部３の増幅率０と１の２値としたがこれに限らない。ユーザーの口の動きを検出していない場合の増幅率を１より小さい値に設定し、口の動きが検出された場合の増幅率を１以上の値に設定する構成としても良い。ユーザーの口の動きが検出されていない場合の増幅率を１より小さい値にすることで、口の動きが検出されていない場合は送信音声信号の信号レベルは減衰されて通話相手に伝達される。この場合、マイク５に入力されたノイズやエコーは通話相手に伝わってしまう可能性が残るが、信号レベル調整部３で信号レベルを減衰させている分だけノイズやエコーによる影響を低減することができる。
【００６７】
また、信号レベル調整部３の増幅率は０から１へ（又は１から０へ）、ステップ状ではなく、連続的または階段状に変化させてもよい。さらには、０と１の間に０．４、０．５、０．６など、０と１の間の値を取るような構成としても良い。
【００６８】
さらにテレビ電話など、通話相手の顔画像データを取得できる場合には、その通話相手の顔画像データに対して、本発明のカメラ画像処理部と同様の処理を行う処理部を適用し、その処理部の検出結果に基づいて受信音声信号の信号レベルを調整する構成としてもよい。このような構成すれば、通話相手の口の動きを検出していない場合には、受信側の信号レベルを０とすることで、通話相手側からのエコーやノイズがユーザーに伝わってしまうことを抑制することができる。
【００６９】
また、カメラ画像処理部２で、口および口の周辺の特徴点の動きと、発話する直前の口の動きのパターンから、ユーザーが話し始めようとしていることを検出した時点で信号レベル調整部３にＯＮ信号を出力する構成としてもよい。
【００７０】
なお、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、それぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００７１】
１００…ハンズフリー通話装置、１…信号処理部、２…カメラ画像処理部、３…信号レベル調整部、４…スピーカ、５…マイク、６…カメラ、８…バッファ部、１０…エコーキャンセル部、Ｒ…受話音声（受話音声に対応する信号）、Ｓ…発話音声（発話音声に対応する信号）
【図１】
2014110554.tif 000004
【図２】
2014110554.tif 000005
【図３】
2014110554.tif 000006
【図４】
2014110554.tif 000007
【図５】
2014110554.tif 000008
【図６】
2014110554.tif 000009
【図７】
2014110554.tif 000010