(57)【要約】【課題】  テレビ電話モードでのハンズフリー通話において、特別の距離センサを必要とせずに、携帯端末と送話者間の距離および左右上下位置が最適な位置になるように、送話者自身が調整したくなる仕組みを持つ携帯端末を提供する。【解決手段】  マイク８とスピーカ６によるハンズフリー通話状態において、音響構造上の送話者の適正な３次元（ＸＹＺ方向）の送話者適性位置Ｐが存在する。送話者適性位置Ｐはカメラ４の視角範囲内の特定部位である。従って、カメラ４の自画像のどの部分が送話者適性位置Ｐ相当かを予め実験などで確認して、その自画像の大きさや位置データを携帯端末１００内部の送話者適性位置記憶メモリ１２に記憶しておく。そして、カメラ４の自画像データが送話者適性位置Ｐから外れた場合に、当該自画像を当該外れた方向へ強調補正して自画像表示５２エリアに表示する。送話者はそれを見て、適正に表示されるように位置を調整したくなる。【選択図】  図１
2008060734.tif 000002
【特許請求の範囲】
【請求項１】
送話者の自画像を撮影するカメラと、
前記自画像を表示する表示手段と、
ハンズフリー通話用のマイクロホンおよびスピーカと、
ハンズフリー通話時の送話者の音響適正位置を前記自画像の画像位置に換算して予め記憶する送話者適性位置記憶手段と、
前記カメラで撮影した自画像の画像位置が前記音響適正位置から外れている場合、当該自画像を当該外れた方向へ強調補正して前記表示手段に表示する制御手段とを
具備することを特徴とする携帯端末。
【請求項２】
送話者の自画像を撮影するカメラと、
前記自画像を表示する表示手段と、
ハンズフリー通話用のマイクロホンおよびスピーカと、
ハンズフリー通話時の送話者の音響適正３次元位置を前記自画像の上下位置適正データ、左右位置適正データ、および顔輪郭大きさ適正データとして予め記憶する送話者適性位置記憶手段と、
前記カメラで撮影した自画像の顔輪郭を抽出する顔輪郭抽出手段と、
前記カメラで撮影した自画像の上下位置と前記上下位置適正データを比較し、前記カメラで撮影した自画像の左右位置と前記左右位置適正データを比較し、顔輪郭抽出手段の顔輪郭と前記顔輪郭大きさ適正データを比較し、適正データから外れている場合、当該自画像を当該外れた方向へ強調補正して前記表示手段に表示する制御手段とを
具備することを特徴とする携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ電話モードでハンズフリー通話中の最適な通話音声を得るための携帯端末に関する。
【背景技術】
【０００２】
（背景技術１）
ハンズフリー通話時に、装置と使用者（送話者）間の距離に応じて受信信号音声や送信信号音声の増幅率を制御する携帯型無線通信装置がある（例えば、特許文献１参照。）。この特許文献１では、超音波距離センサを有して、装置と使用者（送話者）間の距離を測定し、受信信号音声（受話音声）や送信信号音声（送話音声）を制御している。
【０００３】
（背景技術２）
テレビ電話時に、テレビ電話機と話者（送話者）間の距離に応じて、相手側電話機から送られてくる音声信号の増幅率を制御するテレビ電話機がある（例えば、特許文献２参照。）。この特許文献２では、テレビ電話機のカメラで撮影された話者（送話者）の顔の大きさによりテレビ電話機と話者（送話者）間の距離を推定し、音声信号（受話音声）を制御している。
【特許文献１】特開２００４−１６５９６２号公報（第３〜４頁、図１、図２）
【特許文献２】特開平５−６４１８１号公報（第２〜３頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の背景技術１の携帯型無線通信装置では、装置と使用者（送話者）間の距離測定用の専用の超音波距離センサが必要となる。また、装置と使用者（送話者）間の距離に応じてとあるが、例えば、距離が離れ過ぎてしまえば音声の増幅率を高くしたとしても限界がある。また、距離のみを測定しており、装置と使用者（送話者）間の左右上下位置についての記載はない。  
従来の背景技術２のテレビ電話機では、同様に、テレビ電話機と話者（送話者）間の距離が離れ過ぎてしまえば音声信号（受話音声）を大きくしたとしても限界がある。また、距離のみを測定しており、装置と使用者（送話者）間の左右上下位置についての記載はない。
【０００５】
本発明は、上記の問題点を解決するためになされたもので、テレビ電話モードでのハンズフリー通話において、特別の距離センサを必要とせずに、携帯端末と送話者間の距離および左右上下位置が最適な位置になるように、送話者自身が調整したくなる仕組みを持つ携帯端末を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の携帯端末は、送話者の自画像を撮影するカメラと、前記自画像を表示する表示手段と、ハンズフリー通話用のマイクロホンおよびスピーカと、ハンズフリー通話時の送話者の音響適正位置を前記自画像の画像位置に換算して予め記憶する送話者適性位置記憶手段と、前記カメラで撮影した自画像の画像位置が前記音響適正位置から外れている場合、当該自画像を当該外れた方向へ強調補正して前記表示手段に表示する制御手段とを具備することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、特別の距離センサを必要とせずに、携帯端末と送話者間の距離および左右上下位置が最適な位置になるように、送話者自身が調整したくなる仕組みを持つことが可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施例を、図面を参照して説明する。
【実施例】
【０００９】
図１は、本発明の実施例に係る携帯端末の外観図である。（ａ）は正面図、（ｂ）は側面図を示す。携帯端末１００をユーザが手に持ってテレビ電話モードでハンズフリー通話状態の時の位置を基に、Ｘ方向（左右方向）、Ｙ方向（上下方向）、Ｚ方向（厚さ方向）と以下定義する。  
携帯端末１００は、折り畳み式の構造であり、上筐体１と下筐体２がヒンジ３により回動自在に係合している。上筐体１には、カメラ４、表示部５、スピーカ６などが搭載される。下筐体２には、操作キー７、マイク８などが搭載される。
【００１０】
カメラ４は、テレビ電話モードの時は、携帯端末１００のユーザ、すなわち送話者の自画像を撮影する。カメラ４には視角があり、上下方向の視角を視角Ｖで示す。左右方向の視角もあるが、図示を省略する。表示部５は、テレビ電話モードの時は、通信相手の画像が相手画像表示５１のエリアに表示され、送話者の自画像は自画像表示５２のエリアに表示される。
【００１１】
テレビ電話モードでハンズフリー通話状態の時は、送話者は、携帯端末１００から少し離れた位置で表示部５を見ながら会話する。送話者の送話音Ｓは、マイク８でピックアップされる。通信相手からの受話音Ｒは、スピーカ６から出力されて送話者に届く。
【００１２】
マイク８に入力される音声は、送話者の送話音Ｓ以外に、受話音Ｒからの回り込みエコーＥや、周囲の騒音Ｎなどがある。回り込みエコーＥは、通信相手が話す受話音Ｒがマイク８でピックアップされ遅延して通信相手に届いてしまうために、通信相手には通信相手自身が話す言葉がエコーとして聞こえるため聞き苦しい音になってしまう。また、周囲の騒音Ｎも通信相手に届いてしまうために、通信相手にとって聞き苦しい音になってしまう。
【００１３】
その対策として、携帯端末１００の内部には、エコーキャンセラやノイズキャンセラの回路が搭載される。また、音響構造上は、テレビ電話モードでハンズフリー通話状態の時の送話者の通常の位置を基にして、スピーカ８やマイク８の指向性Ｄの構造などが考慮して設計される。逆に言えば、ハンズフリー通話状態において、音響構造上の送話者の適正な３次元位置が存在する。その位置を送話者適性位置Ｐとして一点鎖線内で示す。送話者適性位置Ｐのエリアは、ＸＹＺ方向それぞれの適正位置として定義される。
【００１４】
また、この送話者適性位置Ｐは、カメラ４の視角範囲内の特定部位である。従って、カメラ４の画像のどの部分が送話者適性位置Ｐ相当かを、予め実験などで確認してその画像の位置データを携帯端末１００の内部の送話者適性位置記憶メモリ１２（図２）に記憶しておく。
【００１５】
図２は、本発明の実施例に係る携帯端末の送話者適性位置記憶メモリを説明する図である。（ａ）は、Ｚ方向、すなわち、携帯端末１００から送話者までの適正距離を説明する図である。（ｂ）は、Ｙ方向、すなわち、携帯端末１００に相対する送話者の適正上下位置を説明する図である。（ｃ）は、Ｘ方向、すなわち、携帯端末１００に相対する送話者の適正左右位置を説明する図である。
【００１６】
（ａ）において、太い実線は、カメラ４で撮影した送話者の顔の輪郭を抽出したイメージを表す。この顔の輪郭が大きいということは、携帯端末１００と送話者間の距離が近いことを意味する。顔の輪郭が小さいということは、携帯端末１００と送話者間の距離が遠いことを意味する。従って、送話者適性位置ＰのＺ方向の遠い限界位置に相当するカメラ画像の顔の輪郭の大きさを実験等で確認し、内側の一点鎖線で示した遠限界１２１の大きさで定義し、これを送話者適性位置記憶メモリ１２に予め記憶しておく。
【００１７】
また、送話者適性位置ＰのＺ方向の近い限界位置に相当するカメラ画像の顔の輪郭の大きさを実験等で確認し、外側の一点鎖線で示した近限界１２２の大きさで定義し、これを送話者適性位置記憶メモリ１２に予め記憶しておく。送話者の顔の大きさは人それぞれで異なるので、平均的な大きさで確認しておく。従って、カメラ画像の顔の輪郭の大きさが、遠限界１２１の大きさと近限界１２２の大きさの間であれば、送話者は適正距離の範囲内にいることになる。
【００１８】
（ｂ）において、太い実線は、カメラ４で撮影した送話者の自画像である。送話者の自画像の例えば口元の位置を基準にして、適正上下位置を定義する。口の検出は、自画像から口の特徴を検出してもよいし、顔の輪郭を抽出後に、例えば、顔の輪郭の上下間隔の下側３０パーセントの位置として定義してもよい。そして、送話者適性位置ＰのＹ方向の上側の限界位置に相当するカメラ画像の顔の口の位置を実験等で確認し、上側の一点鎖線で示した上限界１２３で定義し、この位置を送話者適性位置記憶メモリ１２に予め記憶しておく。
【００１９】
また、送話者適性位置ＰのＹ方向の下側の限界位置に相当するカメラ画像の顔の口の位置を実験等で確認し、下側の一点鎖線で示した下限界１２４で定義し、この位置を送話者適性位置記憶メモリ１２に予め記憶しておく。従って、カメラ画像の顔の口の位置が、上限界１２３と下限界１２４の間にあれば、送話者は適正上下の範囲内にいることになる。
【００２０】
（ｃ）において、太い実線は、カメラ４で撮影した送話者の自画像である。送話者の自画像の例えば口元の位置を基準にして、適正左右位置を定義する。そして、送話者適性位置ＰのＸ方向の右側の限界位置に相当するカメラ画像の顔の口の位置を実験等で確認し、右側の一点鎖線で示した右限界１２５で定義し、この位置を送話者適性位置記憶メモリ１２に予め記憶しておく。
【００２１】
また、送話者適性位置ＰのＸ方向の左側の限界位置に相当するカメラ画像の顔の口の位置を実験等で確認し、左側の一点鎖線で示した左限界１２６で定義し、この位置を送話者適性位置記憶メモリ１２に予め記憶しておく。従って、カメラ画像の顔の口の位置が、右限界１２５と左限界１２６の間にあれば、送話者は適正左右の範囲内にいることになる。
【００２２】
なお、適正距離は、顔の輪郭の大きさを基に定義したが、例えば、自画像から両目を検出して、両目の間隔などで定義してもよい。また、適正上下位置や左右位置は、自画像の口の位置を基準にしたが、顔の輪郭内のどの１点であってもよい。
【００２３】
図３は、本発明の実施例に係る携帯端末の関連部分のブロック図である。携帯端末１００は、図１で説明したカメラ４、表示部５、スピーカ６、マイク８などの他に、アンテナ９、通信部１０、画像処理部１１、送話者適性位置記憶メモリ１２、エコーキャンセラ１３、音声処理部１４、制御部１５などにより構成される。制御部１５は、更に、輪郭抽出部１６、ずれ強調制御部１７などを有する。
【００２４】
アンテナ９は、図示しない基地局との間で電波の送信受信を行う。通信部１０は、無線信号処理などを行う。画像処理部１１は、カメラ４で撮影された画像の処理や、携帯端末１００の通信相手から基地局を経由して送られて来る受信画像の表示部５への出力などを行う。送話者適性位置記憶メモリ１２は、図２で説明した送話者適性位置が予め記憶されている。エコーキャンセラ１３は、通信相手から基地局を経由して送られて来る受話音データと、マイク８からの回り込みエコーとを演算して、回り込みエコーを除去する。音声処理部１４は、マイク８からの送話音の処理や、受話音データの処理を行う。
【００２５】
制御部１５は、携帯端末１００の全体の制御を行う。輪郭抽出部１６は、カメラ４が撮影した送話者の自画像から顔の輪郭を抽出し、その大きさを確認する。ずれ強調制御部１７は、自画像の顔の輪郭の大きさやその上下左右位置と、送話者適性位置記憶メモリ１２の送話者適性位置とを比較し、そのずれを強調するように自画像を補正し、画像処理部１１を経由して表示部５へ出力する。
【００２６】
次に、制御部１５の詳細動作について説明する。  
図４は、本発明の実施例に係る携帯端末の制御部のテレビ電話モードでの自画像表示に関する動作フローチャートである。  
図５は、本発明の実施例に係る携帯端末の自画像表示画面を説明する図である。両図を用いて、説明する。制御部１５は、テレビ電話モードになると、カメラ４からの自画像データを基に顔の輪郭を抽出する。顔の輪郭抽出は、自画像データのスペクトルの変化点を捜したり、又は、両目の特徴を抽出して顔の大きさを推定するなどを行う。そして、顔の輪郭の大きさや、顔の口の位置を抽出する（ステップＳ１）。
【００２７】
ステップＳ１でこの抽出ができない場合や、又、送話者が携帯端末１００のカメラ４に対して横を向いている場合などは、カメラ４からの画像をそのまま表示する（ステップＳ７）。ステップＳ１で顔の輪郭抽出ができた場合は、顔の輪郭の大きさや顔の口の位置と、送話者適性位置記憶メモリ１２の送話者適性位置とを比較する（ステップＳ２、Ｓ３）。
【００２８】
ステップＳ３の比較において、顔の輪郭の大きさが、送話者適性位置記憶メモリ１２の遠限界１２１の大きさと近限界１２２の大きさの間（図２（ａ））になければ、適正距離の範囲外として、カメラ４からの画像を、距離のずれた方向へ強調して表示する（ステップＳ４）。例えば、図５（ａ）の点線で示したカメラ画像の顔輪郭である場合、これは、図２（ａ）の遠限界１２１より小さい、すなわち遠すぎると判断して、カメラ４からの画像を更に遠くにあるように小さく強調補正して、実線で示した表示画像として表示する。
【００２９】
送話者は、この自画像の表示画像を見て、小さ過ぎることが認識できるので、一般的な送話者のアクションとして、自画像の表示画像が大きくなるように送話者自身が携帯端末１００に近づくことになる。それにより、テレビ電話モードでのハンズフリー通話の音響的に最適な距離に導かれることになる。
【００３０】
ステップＳ３の比較において、自画像の口の位置が、送話者適性位置記憶メモリ１２の上限界１２３と下限界１２４の間（図２（ｂ））になければ、適正上下の範囲外として、カメラ４からの画像を、上下のずれた方向へ強調して表示する（ステップＳ５）。例えば、図５（ｂ）の点線で示したカメラ画像の場合、これは、図２（ｂ）の上限界１２３より上にある、すなわち上にずれ過ぎと判断して、カメラ４からの画像を更に上にあるように強調補正して、実線で示した表示画像として表示する。
【００３１】
送話者は、この自画像の表示画像を見て、上にずれ過ぎていることが認識できるので、一般的な送話者のアクションとして、自画像の表示画像が下に行くように送話者自身が携帯端末１００に対して下方向になるように動くことになる。それにより、テレビ電話モードでのハンズフリー通話の音響的に最適な上下位置に導かれることになる。
【００３２】
ステップＳ３の比較において、自画像の口の位置が、送話者適性位置記憶メモリ１２の右限界１２５と左限界１２６の間（図２（ｃ））になければ、適正左右の範囲外として、カメラ４からの画像を、左右のずれた方向へ強調して表示する（ステップＳ６）。例えば、図５（ｃ）の点線で示したカメラ画像の場合、これは、図２（ｃ）の右限界１２５より右にある、すなわち右にずれ過ぎと判断して、カメラ４からの画像を更に右にあるように強調補正して、実線で示した表示画像として表示する。
【００３３】
送話者は、この自画像の表示画像を見て、右にずれ過ぎていることが認識できるので、一般的な送話者のアクションとして、自画像の表示画像が左に行くように送話者自身が携帯端末１００に対して左方向になるように動くことになる。それにより、テレビ電話モードでのハンズフリー通話の音響的に最適左右位置に導かれることになる。
【００３４】
ステップＳ３の比較において、いずれも適正範囲内にある場合、カメラ４からの画像を、そのまま表示する（ステップＳ７）。これにより、図５（ｄ）の実線で示した表示画像、すなわちカメラ画像そのままを表示する。
【００３５】
本発明の実施例によれば、特別の距離センサを必要とせずに、携帯端末と送話者間の距離および左右上下位置が最適な位置になるように、送話者自身が調整したくなる仕組みを持つことが可能となる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施例に係る携帯端末の外観図。
【図２】本発明の実施例に係る携帯端末の送話者適性位置記憶メモリを説明する図。
【図３】本発明の実施例に係る携帯端末の関連部分のブロック図。
【図４】本発明の実施例に係る携帯端末の制御部のテレビ電話モードでの自画像表示に関する動作フローチャート。
【図５】本発明の実施例に係る携帯端末の自画像表示画面を説明する図。
【符号の説明】
【００３７】
１  上筐体
２  下筐体
３  ヒンジ
４  カメラ
５  表示部
５１  相手画像表示
５２  自画像表示
６  スピーカ
７  操作キー
８  マイク
９  アンテナ
１０  通信部
１１  画像処理部
１２  送話者適性位置記憶メモリ
１３  エコーキャンセラ
１４  音声処理部
１５  制御部
１６  輪郭抽出部
１７  ずれ強調制御部
携帯端末１００
【図１】
2008060734.tif 000003
【図２】
2008060734.tif 000004
【図３】
2008060734.tif 000005
【図４】
2008060734.tif 000006
【図５】
2008060734.tif 000007