(57)【要約】【課題】音声通話装置のスピーカ等から音声を出力させる場合に、通話相手の音声が周囲に漏れないようにすることである。【解決手段】カメラ等により撮影した画像から顔の輪郭を抽出し、抽出した輪郭から耳位置を推定する。また、顔画像の輪郭から装置から利用者までの距離を推定する。そして、利用者の耳位置と装置から利用者までの距離とに基づいて、通話相手の音声の出力範囲を制御する。これにより、スピーカ等から出力される音声が漏れて周りの人の迷惑になるのを防止できる。【選択図】図１
2011055076.tif 000002
【特許請求の範囲】
【請求項１】
利用者の顔を撮影する撮影手段と、
前記撮影手段により撮影された顔画像から顔の輪郭を抽出する輪郭抽出手段と、
抽出された輪郭から利用者の耳位置を推定する耳位置推定手段と、
抽出された輪郭から利用者までの距離を推定する距離推定手段と、
指向性を持った音声を出力する音声出力手段と、
前記耳位置推定手段により推定される耳位置と、前記距離推定手段により推定される利用者までの距離とに基づいて、前記音声出力手段から出力する音声の出力範囲を制御する制御手段とを備える音声通話装置。
【請求項２】
前記制御手段は、前記耳位置推定手段により推定される耳位置と、前記距離推定手段により推定される利用者までの距離とに基づいて、前記音声出力手段の出力の中心軸に対する利用者の耳位置の角度を算出し、算出した角度に基づいて前記音声出力手段から出力する音声の出力範囲を制御する請求項１記載の音声通話装置。
【請求項３】
前記制御手段は、前記耳位置推定手段により推定される利用者の耳位置と、前記距離推定手段により推定される利用者までの距離とに基づいて、前記音声出力手段の出力の中心軸に対する利用者の耳位置の角度を算出し、算出した角度に基づいて前記音声出力手段から出力する音声の搬送波の周波数を制御する請求項１記載の音声通話装置。
【請求項４】
前記音声出力手段はパラメトリックスピーカであり、前記制御手段は算出した前記角度に基づいて、前記パラメトリックスピーカから出力される超音波の周波数を制御する請求項２又は３記載の音声通話装置。
【請求項５】
利用者の周囲の音を計測する音計測手段を有し、
前記制御手段は、通話相手の音声信号を増幅する増幅手段を有し、前記音計測手段で計測される周囲の音量レベルに応じて前記、前記増幅手段の利得を制御する請求項１〜４の何れか１項に記載の音声通話装置。
【請求項６】
利用者の顔を撮影し、
撮影された顔画像から顔の輪郭を抽出し、
抽出された輪郭から利用者の耳位置を推定し、
抽出された輪郭から利用者までの距離を推定し、
推定された耳位置と利用者までの距離とに基づいて、指向性を持った音声出力手段から出力される音声の出力範囲を制御する音声通話方法。
【請求項７】
推定される耳位置と利用者までの距離とに基づいて、前記音声出力手段の出力の中心軸に対する利用者の耳位置の角度を算出し、算出した角度に基づいて前記音声出力手段から出力する音声の出力範囲を制御する請求項６記載の音声通話方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声通話装置及び音声通話方法に関する。
【背景技術】
【０００２】
ＴＶ電話機能を有する携帯電話機が普及してきている。ＴＶ電話機能を利用した通話では、相手の画像を見ながら通話することになるので通話時の音声はスピーカから出力される。また、最近では、ワンセグ放送の受信機能を有する携帯電話機も製品化されている。この種の携帯電話機でワンセグ放送を見ながら通話するときに、音声がスピーカから出力される場合がある。
【０００３】
スピーカを利用して通話する場合には、音声が本人だけではなく周囲の人にも聞こえるので周囲の人の迷惑になるという問題点がある。
ところで、利用者と電話機の距離を検出する距離センサと、周囲の騒音を検出する騒音検出マイクとを備え、利用者と電話機との距離及び騒音レベルに基づいて、イヤーレシーバやスピーカの音量を最適に制御する技術が知られている（例えば、特許文献１等）。
【０００４】
また、指向性を有するスピーカとして、複数の超音波振動子を有する超音波振動子アレイと、目標位置に超音波が放射されるように複数の超音波振動子を個別に制御する超音波振動子制御手段を有する可聴音指向性制御装置が知られている（例えば、特許文献２等）。
【０００５】
プロジェクタ装置に関する技術において、投影画像の画角に応じて超音波スピーカから出力される音波の放射特性を制御する技術が知られている（例えば、特許文献３など）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２２１８０６号公報
【特許文献２】特開２００８−１１３１９０号公報
【特許文献３】特開２００６−２５１０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の課題は、音声通話装置のスピーカ等から音声を出力させる場合に、通話相手の音声が周囲に漏れないようにすることである。
【課題を解決するための手段】
【０００８】
開示の音声通話装置は、利用者の顔を撮影する撮影手段と、前記撮影手段により撮影された顔画像から顔の輪郭を抽出する輪郭抽出手段と、抽出された輪郭から利用者の耳位置を推定する耳位置推定手段と、抽出された輪郭から利用者までの距離を推定する距離推定手段と、指向性を持った音声を出力する音声出力手段と、前記耳位置推定手段により推定される耳位置と、前記距離推定手段により推定される利用者までの距離とに基づいて、前記音声出力手段から出力する音声の出力範囲を制御する制御手段とを備える。
【発明の効果】
【０００９】
開示の音声通話装置によれば、通話相手の音声が周囲に漏れて周囲の人の迷惑になるのを防止できる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態の音声通話装置の構成を示す図である。
【図２】音声通話装置の動作を示すフローチャートである。
【図３】顔輪郭推定処理のフローチャートである。
【図４】耳位置／利用者距離推定処理のフローチャートである。
【図５】画面上の長さと利用者までの距離との関係を示す図である。
【図６】変調処理のフローチャートである。
【図７】両耳間距離と利用者距離と指向角の関係を示す図である。
【図８】搬送波周波数と指向角の関係を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を説明する。図１は、実施の形態の音声通話装置１１の要部の構成を示す図である。音声通話装置１１は、例えば、携帯電話機、テレビ会議等に使用する装置である。
【００１２】
映像入力部１２はカメラ等の撮像部であり、撮影した顔の画像を輪郭抽出部１３に出力する。
輪郭抽出部１３は顔画像の輪郭を抽出し、抽出した輪郭を利用者距離及び耳位置推定部１４に出力する。
【００１３】
利用者距離及び耳位置推定部１４は、利用者の顔の輪郭と、カメラのズーム倍率と、予め記憶装置に記憶してある顔の輪郭の大きさと利用者までの距離との関係を示すデータ等に基づいて、利用者までの距離（利用者距離と呼ぶ）と耳位置を推定する。顔の大きさと距離との関係を示すデータは、同一の装置で予め測定したデータを、ズームの倍率情報と共にＲＡＭ、ＲＯＭ等に記憶しておく。
【００１４】
耳位置については、例えば、顔輪郭を楕円で近似し、その中心点を通る水平線の輪郭線との交点を耳位置と推定する。あるいは、顔画像から目の位置を推定し、両眼を結ぶ線と輪郭線の交点を耳位置と推定する。
【００１５】
利用者距離及び耳位置推定部１４は、推定した距離を周囲騒音計測部１６及び利得制御部１７に出力すると共に、推定した距離と耳位置を変調処理部１８に出力する。
音声入力部１５は、例えば、マイクなどからなり周囲の騒音を周囲騒音計測部１６に出力する。
【００１６】
周囲騒音計測部１６は、音声信号が入力されていないときの周囲の信号に基づいて周囲音響レベルを求める。
周囲騒音計測部１６は、所定のサンプリング間隔で音声入力部１５から入力するデジタル化された音響信号ｘ（ｉ）の電力を積算し、その平均値を周囲音響レベルｐｏｗとして算出する。周囲音響レベルｐｏｗは、例えば、以下の式で表せる。Ｎは一定時間内のサンプル数である。
ｐｏｗ＝（１／Ｎ）Σｘ（ｉ）２    （ｉ＝０〜Ｎ−１）
【００１７】
利得制御部１７は音声を増幅する増幅部を有し、周囲騒音計測部１６から出力される周囲音響レベルに基づいて、通話相手の音声を増幅する増幅部の利得を制御する。利得制御部１７は、周囲の騒音が大きいときには増幅部の利得を大きくし、周囲の騒音が小さいときには利得を小さく設定する。
【００１８】
利得制御部１７は、周囲音響レベルｐｏｗと利用者距離dist_uを変数とする関数ｇａｉｎにより利得を計算する。関数ｇａｉｎは、以下の式で表せる。
ｇａｉｎ＝ｆ（ｐｏｗ，ｄｉｓｔ_u）
利得制御部１７は、上記の式に基づいて利得を制御して増幅した音声信号を変調処理部１８に出力する。
【００１９】
変調処理部１８は、利用者距離及び耳位置推定部１４から出力される耳位置の推定結果に基づいて、音声出力部１９から利用者の耳の近傍でのみで聞こえるような指向性を持った音声信号を出力させる。変調処理部１８は、例えば、音声出力部１９から外部に出力される音声の出力範囲を制御する制御部等に対応する。
【００２０】
変調処理部１８は、例えば、利用者距離及び耳位置推定部１４で推定される利用者距離と耳位置に基づいて、音声出力部１９の音声出力の中心軸と利用者の耳の位置の角度を計算し、音声がその角度範囲に広がるような搬送波周波数を特定する。そして、特定した周波数の搬送波を音声信号で変調した信号を音声出力部１９に出力する。
【００２１】
音声出力部１９は、指向性を持った音声を出力するスピーカであり、変調処理部１８から出力される受話音声で変調した信号を出力する。
音声出力部１９は、指向性を持った音声を出力するスピーカ等であり、例えば、超音波を放射するパラメトリックスピーカ等で実現できる。パラメトリックスピーカは、搬送波に超音波等を使用することで鋭い指向性を持った音声出力特性を得ることができる。例えば、利用者距離及び耳位置推定部１４により推定された耳位置と利用者距離とに基づいて、変調処理部１８が超音波の周波数を可変制御し、その超音波信号を受話音声で変調して音声出力部１９に出力する。音声出力部１９から超音波信号を音声信号で変調した信号が空中に放射されると、空気の非線形性により、変調に用いた音声信号が自己復調されて利用者に聞こえる。パラメトリックスピーカから放出される超音波信号は鋭い指向性を持っているので、利用者の耳の位置でのみ聞こえるように音声を出力することができる。
【００２２】
図２は、音声通話装置１１の動作を示すフローチャートである。以下の処理は、音声通話装置１１のＣＰＵ等により実行される。
カメラで撮影した利用者の顔画像の輪郭を推定する（図２、Ｓ１１）。輪郭の推定法は、公知の輪郭抽出方法を用いることができる。顔輪郭の抽出方法としては、例えば、「顔輪郭抽出のための動的輪郭モデル」、横山他、電子情報通信学会技術研究報告、ＰＲＭＵ、９７（３８７）、４７〜５３頁、が知られている。また、他方の抽出方法として、例えば、顔画像の画素のエッジ強度に元に初期輪郭を設定し、その初期輪郭上の各点のエッジ強度（又はエッジ強度から得られる評価値）と前回の判定時のエッジ強度（又はその評価値）との差が一定値以下か否かを判定する。さらに、差が一定値以下の状態が所定回数以上続いたか否かにより輪郭線の収束を判定する。
【００２３】
図３は、図２のステップＳ１１の顔輪郭抽出処理の詳細なフローチャートである。カメラ等で撮影された顔の画像データが入力されると（Ｓ２１）、顔の画像データのエッジを抽出する（Ｓ２２）。エッジの抽出は、公知の輪郭抽出のためのエッジ抽出技術を用いることができる。
【００２４】
次に、抽出したエッジに基づいて初期輪郭（閉曲線）を設定する（Ｓ２３）。初期輪郭を設定したなら、初期輪郭上の複数の点のエッジ強度を算出して分析する（Ｓ２４）。次に、各点のエッジ強度に基づいて収束判定を行う（Ｓ２５）。
【００２５】
ステップＳ２５の収束判定は、例えば、輪郭線上の各点のエッジ強度を算出し、前回判定時の値と今回判定時の値の差が一定値以下か、さらに値の差が一定値以下の状態が所定回数以上続いたか否かにより収束状態か否かを判定する。
【００２６】
収束状態ではないと判定されたときには（Ｓ２５、ＮＯ）、ステップＳ２６に進み、輪郭線を移動させ、上述したステップＳ２４及びＳ２５の処理を実行する。収束状態であると判定されたときに（Ｓ２５、ＹＥＳ）、そこで処理を終了する。
【００２７】
上記のステップＳ２４〜Ｓ２６の処理を繰り返し、輪郭線が所定の収束条件を満たしたなら、そのときの輪郭線を顔輪郭と推定する。
次に、図４は、図２のステップＳ１２の利用者距離及び耳位置推定処理の詳細なフローチャートである。
【００２８】
最初に、上述した顔輪郭推定処理により得られた顔輪郭情報を取得する（Ｓ３１）。次に、顔輪郭情報に基づいて両耳間距離（dist_e）を算出する（Ｓ３２）。
上記のステップＳ３２の処理は、例えば、顔輪郭情報から顔輪郭の中心点を算出し、中心点を通る水平線と輪郭線の交点間の距離を両耳間距離として算出する。あるいは、撮影した画像から目の位置を推定し、両目を結んだ線と輪郭線の交点間の距離を両耳間距離として推定しても良い。
【００２９】
次に、予め得られている顔の一般的な大きさに関するデータと、撮影画像から推定された両耳間距離とに基づいて携帯電話機から利用者までの距離を算出する（Ｓ３３）。
人間の頭部の正面の幅（水平方向）は、身長や性別に関係なく、１５．３ｃｍから１６．３ｃｍであるとのデータが得られている。このデータから両耳間距離を約１６ｃｍ程度と考えることができる。
【００３０】
図５は、撮影画像の画面上の長さと利用者までの距離との関係を示す図である。図５は、携帯電話機から利用者までの距離を変化させたときに、１６ｃｍの幅の顔の画像が、携帯電話機の画面に何ｃｍの長さで表示されるかを調べ、その結果をプロットしたものである。図５の横軸は撮影画像の顔の横幅を示し、縦軸は携帯電話機から利用者までの距離を示している。
【００３１】
図５の例では、携帯電話機の画面に顔の横幅が１３ｃｍの長さで表示されたときの携帯電話機から利用者までの距離は約５００ｍｍである。また、顔の横幅が７ｃｍの長さで表示されたときの携帯電話機から利用者までの距離は約１５００ｍｍである。
【００３２】
図５に示すデータから最小二乗法により、撮影画像の顔の横幅から利用者までの距離を算出するための関係式として、例えば、以下の式を求めることができる。
携帯電話機から利用者までの距離をdist_u（ｍｍ）とすると、利用者までの距離は以下の式で表すことができる。
dist_u＝−１７７．４×画面の上の耳間距離（ｍｍ）＋２７６８．２      （１）
【００３３】
上記の式は、携帯電話機で実際に撮影した顔画像と、そのときの利用者までの距離データから求めた関係式である。利用者までの距離を算出する式は、上記の式に限らず、携帯電話機のカメラの性能、倍率等により個別に求めることができる。
【００３４】
次に、図６は、図２のステップＳ１５の変調処理のフローチャートである。図４のステップＳ３２で算出した両耳間距離と、ステップＳ３３で算出した利用者距離情報を入力する（Ｓ４１）。
【００３５】
次に、スピーカの音声出力の指向角（放射角）θを算出する（Ｓ４２）。利用者の耳の位置に音声を到達させ、それ以外の位置で音声が聞こえないようにするためには、指向性を持ったスピーカの指向角を制御する必要がある。
指向角が算出されたなら、算出した指向角と、予め取得してある指向角と搬送波周波数との関係を示すデータに基づいて、搬送波周波数を算出する（Ｓ４３）。
【００３６】
図７は、両耳間距離と利用者距離と、携帯電話機２１のスピーカの指向角θとの関係を示す図である。
両耳間距離disc_e、携帯電話機２１から利用者まで利用者距離dist_uとすると、スピーカの指向角θは、以下の式で表せる。
θ＝arctan｛dist_e／（２・dist_u）｝
【００３７】
ステップＳ４１において両耳間距離dist_eと利用者距離dist_uを取得したなら、ステップＳ４２において、上記の式からスピーカの制御角、つまり指向角θを算出する。指向角θは、スピーカの出力軸に対する利用者の片側の耳位置の角度を示している。この場合、スピーカの中心軸に対する利用者の両耳間の角度は２θとなる。
【００３８】
図７は、パラメトリックスピーカの搬送波周波数と指向角の関係を示す図である。図７に示すように、パラメトリックスピーカの指向角は、搬送波周波数が高くなると大きくなり、搬送波周波数が低くなると小さくなる。
【００３９】
従って、スピーカの指向角θが分かれば、図８の表の指向角θと搬送波周波数との関係を示すデータから、所望の指向角θを得ることができる搬送波周波数を算出することができる。なお、図８の表は、スピーカの中心軸と利用者の一方の耳までの角度θに対する搬送波周波数を示しているが、所望の指向角θとなるような搬送波周波数を選択することで、利用者の両耳の位置で音声が聞こえるようにすることができる。
【００４０】
上述した実施の形態によれば、音声通話装置１１の利用者の顔を撮影し、撮影した顔画像の輪郭から耳位置を推定し、耳間距離と利用者距離を推定する。そして、耳間距離と利用者距離に基づいて、スピーカ等から出力される搬送波の周波数を制御する。これにより、通話相手の音声を利用者の耳の近傍の位置でのみ聞こえるようにすることができる。よって、スピーカ等から出力される音声が利用者の周囲の人に漏れるのを抑制できる。また、周囲への音声の漏れが少なくなるように音声通話装置１１の位置、出力方向等を調整する必要がなくなるので利用者の利便性も高くなる。
【００４１】
また、周囲の騒音に応じて利得を制御することで、利用者の周囲の騒音の状態に応じて最適な音量でスピーカから出力することができる。
上述した実施の形態は、カメラとスピーカを内蔵した携帯電話機を例にとり説明したが、カメラとスピーカは必ずしも一体でなくとも良い。例えば、テレビ会議に利用する場合には、カメラとスピーカを別々に設け、カメラで撮影した顔画像に基づいて、利用者の耳の位置に音声が出力されるようにスピーカの出力範囲を制御しても良い。
【符号の説明】
【００４２】
１１    音声通話装置
１２    映像入力部
１３    輪郭抽出部
１４    利用者距離及び耳位置推定部
１５    音声入力部
１６    周囲騒音計測部１６
１７    利得制御部
１８    変調処理部
１９    音声出力部
【図１】
2011055076.tif 000003
【図２】
2011055076.tif 000004
【図３】
2011055076.tif 000005
【図４】
2011055076.tif 000006
【図５】
2011055076.tif 000007
【図６】
2011055076.tif 000008
【図８】
2011055076.tif 000009
【図７】
2011055076.tif 000010