(57)【要約】【課題】騒音環境下で使用でき、装着が煩わしくない携帯端末装置を提供する。【解決手段】携帯端末装置は、外部との情報の送受信を行う通信モジュールと、マイクロフォンと、各種の情報を表示する表示部と、撮像装置と、マイクロフォンに入力される音の大きさがあらかじめ定められた閾値以上である場合には、着信時に読唇通話モードを選択する画面を表示部に表示させ、読唇通話モードが選択されると通話モードを読唇通話モードに切り替える制御部と、読唇通話モードに切り替えられると、撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理部とを備え、通信モジュールは、読唇通話モードに切り替えられると、読唇処理部で変換した音声データまたはテキストデータの少なくとも一方を外部に送信する。【選択図】図１
2015220684.tif 000002
【特許請求の範囲】
【請求項１】
外部との情報の送受信を行う通信モジュールと、
マイクロフォンと、
各種の情報を表示する表示部と、
撮像装置と、
前記マイクロフォンに入力される音の大きさがあらかじめ定められた閾値以上である場合には、着信時に読唇通話モードを選択する画面を前記表示部に表示させ、前記読唇通話モードが選択されると通話モードを読唇通話モードに切り替える制御部と、
前記読唇通話モードに切り替えられると、前記撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理部とを備え、
前記通信モジュールは、前記読唇通話モードに切り替えられると、前記読唇処理部で変換した音声データまたはテキストデータの少なくとも一方を外部に送信する携帯端末装置。
【請求項２】
外部との情報の送受信を行う通信モジュールと、
マイクロフォンと、
イヤホンを接続するイヤホンジャックと、
前記イヤホンジャックにイヤホンが接続されたことを検出するイヤホン挿入検出端子と、
各種の情報を表示する表示部と、
撮像装置と、
前記イヤホン挿入検出端子で前記イヤホンジャックにイヤホンが接続されたことを検出され、かつ、着信があった場合には、読唇通話モードを選択する画面を前記表示部に表示させ、前記読唇通話モードが選択されると通話モードを読唇通話モードに切り替える制御部と、
前記読唇通話モードに切り替えられると、前記撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理部とを備え、
前記通信モジュールは、前記読唇通話モードに切り替えられると、前記読唇処理部で変換した音声データまたはテキストデータの少なくとも一方を外部に送信する携帯端末装置。
【請求項３】
外部との情報の送受信を行う通信モジュールと、
マイクロフォンと、
各種の情報を表示する表示部と、
撮像装置と、
着信音の出力が禁止されるように設定され、かつ、着信があった場合には、読唇通話モードを選択する画面を前記表示部に表示させ、前記読唇通話モードが選択されると通話モードを読唇通話モードに切り替える制御部と、
前記読唇通話モードに切り替えられると、前記撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理部とを備え、
前記通信モジュールは、前記読唇通話モードに切り替えられると、前記読唇処理部で変換した音声データまたはテキストデータの少なくとも一方を外部に送信する携帯端末装置。
【請求項４】
外部との情報の送受信を行う通信モジュールと、
マイクロフォンと、
各種の情報を表示する表示部と、
少なくともユーザの目元を撮像する第１の撮像装置と、
前記第１の撮像装置とは異なる第２の撮像装置と、
前記第１の撮像装置で撮像して得られた第１の画像に基づいて、前記ユーザの視線を検出する第１の視線検出部と、
前記第２の撮像装置で撮像して得られた第２の画像に基づいて、前記第２の画像中の人物の視線を検出する第２の視線検出部と、
前記第１の視線検出部での検出結果、および、前記第２の視線検出部での検出結果に基づいて、前記ユーザと前記第２の画像中の人物とが視線を合わせているか否かを判断する視線判断部と、
前記第２の画像から前記第２の画像中の人物の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理を行う読唇処理部と、
前記視線判断部で前記ユーザと前記第２の画像中の人物とが視線を合わせていると判断されると、前記読唇処理部による前記読唇処理の開始の許可を申請する申請部と、
前記読唇処理の開始の許可が得られたか否かを判断する許可判断部と、
前記許可判断部で前記許可が得られたと判断されると、前記読唇処理部に前記読唇処理を開始させる制御部とを備える携帯端末装置。
【請求項５】
請求項４に記載の携帯端末装置において、
前記申請部は、前記読唇処理の開始の許可を申請する申請信号を前記携帯端末装置の外部に出力する申請信号出力部を有し、
前記携帯端末装置の外部からの前記読唇処理の開始の申請を許可する許可信号を受信する許可信号受信部とをさらに備え、
前記許可判断部は、前記許可信号を前記許可信号受信部で受信すると、前記読唇処理の開始の許可が得られたと判断する携帯端末装置。
【請求項６】
コンピュータに、
マイクロフォンに入力される音の大きさがあらかじめ定められた閾値以上である場合には、着信時に読唇通話モードを選択する画面を表示部に表示させる表示手順と、
前記読唇通話モードが選択されると通話モードを読唇通話モードに切り替える通話モード切替手順と、
前記読唇通話モードに切り替えられると、撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理手順と、
前記読唇通話モードに切り替えられると、前記変換した音声データまたはテキストデータの少なくとも一方を外部に送信する送信手順とを実行させる読唇処理プログラム。
【請求項７】
コンピュータに、
イヤホンジャックにイヤホンが接続されたことを検出され、かつ、着信があった場合には、読唇通話モードを選択する画面を表示部に表示させる表示手順と、
前記読唇通話モードが選択されると通話モードを読唇通話モードに切り替える通話モード切替手順と、
前記読唇通話モードに切り替えられると、撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理手順と、
前記読唇通話モードに切り替えられると、前記変換した音声データまたはテキストデータの少なくとも一方を外部に送信する送信手順とを実行させる読唇処理プログラム。
【請求項８】
コンピュータに、
着信音の出力が禁止されるように設定され、かつ、着信があった場合には、読唇通話モードを選択する画面を表示部に表示させる表示手順と、
前記読唇通話モードが選択されると通話モードを読唇通話モードに切り替える通話モード切替手順と、
前記読唇通話モードに切り替えられると、撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理手順と、
前記読唇通話モードに切り替えられると、前記変換した音声データまたはテキストデータの少なくとも一方を外部に送信する送信手順とを実行させる読唇処理プログラム。
【請求項９】
コンピュータに、
少なくともユーザの目元を撮像する第１の撮像装置で撮像する第１の撮像手順と、
前記第１の撮像装置とは異なる第２の撮像装置で撮像する第２の撮像手順と、
前記第１の撮像装置で撮像して得られた第１の画像に基づいて、前記ユーザの視線を検出する第１の視線検出手順と、
前記第２の撮像装置で撮像して得られた第２の画像に基づいて、前記第２の画像中の人物の視線を検出する第２の視線検出手順と、
前記第１の視線検出手順での検出結果、および、前記第２の視線検出手順での検出結果に基づいて、前記ユーザと前記第２の画像中の人物とが視線を合わせているか否かを判断する視線判断手順と、
前記視線判断手順で前記ユーザと前記第２の画像中の人物とが視線を合わせていると判断されると、読唇処理の開始の許可を申請する申請手順と、
前記読唇処理の開始の許可が得られたか否かを判断する許可判断手順と、
前記許可判断手順で前記許可が得られたと判断されると、前記第２の画像から前記第２の画像中の人物の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理を行う読唇処理手順とを実行させる読唇処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置および読唇処理プログラムに関する。
【背景技術】
【０００２】
携帯電話やスマートフォンのように、ユーザに携帯されて様々な場所で使用される携帯端末装置が知られている。このような携帯端末装置を騒音環境下で用いる場合、ユーザの声を集音するために、たとえば骨伝導マイクが利用される（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２４３５９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、骨伝導マイクは、ユーザに接触させて使用するため、装着が煩わしい。
【課題を解決するための手段】
【０００５】
（１）  請求項１の発明による携帯端末装置は、外部との情報の送受信を行う通信モジュールと、マイクロフォンと、各種の情報を表示する表示部と、撮像装置と、マイクロフォンに入力される音の大きさがあらかじめ定められた閾値以上である場合には、着信時に読唇通話モードを選択する画面を表示部に表示させ、読唇通話モードが選択されると通話モードを読唇通話モードに切り替える制御部と、読唇通話モードに切り替えられると、撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理部とを備え、通信モジュールは、読唇通話モードに切り替えられると、読唇処理部で変換した音声データまたはテキストデータの少なくとも一方を外部に送信する。
（２）  請求項２の発明による携帯端末装置は、外部との情報の送受信を行う通信モジュールと、マイクロフォンと、イヤホンを接続するイヤホンジャックと、イヤホンジャックにイヤホンが接続されたことを検出するイヤホン挿入検出端子と、各種の情報を表示する表示部と、撮像装置と、イヤホン挿入検出端子でイヤホンジャックにイヤホンが接続されたことを検出され、かつ、着信があった場合には、読唇通話モードを選択する画面を表示部に表示させ、読唇通話モードが選択されると通話モードを読唇通話モードに切り替える制御部と、読唇通話モードに切り替えられると、撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理部とを備え、通信モジュールは、読唇通話モードに切り替えられると、読唇処理部で変換した音声データまたはテキストデータの少なくとも一方を外部に送信する。
（３）  請求項３の発明による携帯端末装置は、外部との情報の送受信を行う通信モジュールと、マイクロフォンと、各種の情報を表示する表示部と、撮像装置と、着信音の出力が禁止されるように設定され、かつ、着信があった場合には、読唇通話モードを選択する画面を表示部に表示させ、読唇通話モードが選択されると通話モードを読唇通話モードに切り替える制御部と、読唇通話モードに切り替えられると、撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理部とを備え、通信モジュールは、読唇通話モードに切り替えられると、読唇処理部で変換した音声データまたはテキストデータの少なくとも一方を外部に送信する。
（４）  請求項４の発明による携帯端末装置は、外部との情報の送受信を行う通信モジュールと、マイクロフォンと、各種の情報を表示する表示部と、少なくともユーザの目元を撮像する第１の撮像装置と、第１の撮像装置とは異なる第２の撮像装置と、第１の撮像装置で撮像して得られた第１の画像に基づいて、ユーザの視線を検出する第１の視線検出部と、第２の撮像装置で撮像して得られた第２の画像に基づいて、第２の画像中の人物の視線を検出する第２の視線検出部と、第１の視線検出部での検出結果、および、第２の視線検出部での検出結果に基づいて、ユーザと第２の画像中の人物とが視線を合わせているか否かを判断する視線判断部と、第２の画像から第２の画像中の人物の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理を行う読唇処理部と、視線判断部でユーザと第２の画像中の人物とが視線を合わせていると判断されると、読唇処理部による読唇処理の開始の許可を申請する申請部と、読唇処理の開始の許可が得られたか否かを判断する許可判断部と、許可判断部で許可が得られたと判断されると、読唇処理部に読唇処理を開始させる制御部とを備える。
（５）  請求項６の発明による読唇処理プログラムは、コンピュータに、マイクロフォンに入力される音の大きさがあらかじめ定められた閾値以上である場合には、着信時に読唇通話モードを選択する画面を表示部に表示させる表示手順と、読唇通話モードが選択されると通話モードを読唇通話モードに切り替える通話モード切替手順と、読唇通話モードに切り替えられると、撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理手順と、読唇通話モードに切り替えられると、変換した音声データまたはテキストデータの少なくとも一方を外部に送信する送信手順とを実行させる。
（６）  請求項７の発明による読唇処理プログラムは、コンピュータに、イヤホンジャックにイヤホンが接続されたことを検出され、かつ、着信があった場合には、読唇通話モードを選択する画面を表示部に表示させる表示手順と、読唇通話モードが選択されると通話モードを読唇通話モードに切り替える通話モード切替手順と、読唇通話モードに切り替えられると、撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理手順と、読唇通話モードに切り替えられると、変換した音声データまたはテキストデータの少なくとも一方を外部に送信する送信手順とを実行させる。
（７）  請求項８の発明による読唇処理プログラムは、コンピュータに、着信音の出力が禁止されるように設定され、かつ、着信があった場合には、読唇通話モードを選択する画面を表示部に表示させる表示手順と、読唇通話モードが選択されると通話モードを読唇通話モードに切り替える通話モード切替手順と、読唇通話モードに切り替えられると、撮像装置で撮像して得られた画像から話者の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理手順と、読唇通話モードに切り替えられると、変換した音声データまたはテキストデータの少なくとも一方を外部に送信する送信手順とを実行させる。
（８）  請求項９の発明による読唇処理プログラムは、コンピュータに、少なくともユーザの目元を撮像する第１の撮像装置で撮像する第１の撮像手順と、第１の撮像装置とは異なる第２の撮像装置で撮像する第２の撮像手順と、第１の撮像装置で撮像して得られた第１の画像に基づいて、ユーザの視線を検出する第１の視線検出手順と、第２の撮像装置で撮像して得られた第２の画像に基づいて、第２の画像中の人物の視線を検出する第２の視線検出手順と、第１の視線検出手順での検出結果、および、第２の視線検出手順での検出結果に基づいて、ユーザと第２の画像中の人物とが視線を合わせているか否かを判断する視線判断手順と、視線判断手順でユーザと第２の画像中の人物とが視線を合わせていると判断されると、読唇処理の開始の許可を申請する申請手順と、読唇処理の開始の許可が得られたか否かを判断する許可判断手順と、許可判断手順で許可が得られたと判断されると、第２の画像から第２の画像中の人物の唇の形状を検出して言葉の音声データおよびテキストデータの少なくとも一方に変換する読唇処理を行う読唇処理手順とを実行させる。
【発明の効果】
【０００６】
本発明によれば、煩わしさがない。
【図面の簡単な説明】
【０００７】
【図１】第１の実施の形態の携帯端末装置のブロック構成図である。
【図２】第１の実施の形態の携帯端末装置における着信時の動作についてのフローチャートである。
【図３】図２に示したフローチャートにおけるステップＳ２００のサブルーチンを示すフローチャートである。
【図４】第２の実施の形態の携帯端末装置の外観斜視図である。
【図５】携帯端末装置の全体構成図である。
【図６】第２の実施の形態の読唇処理の動作についてのフローチャートである。
【図７】申請信号を受信した際に、許可または拒否する処理の動作についてのフローチャートである。
【図８】変形例を示す図である。
【図９】変形例を示す図である。
【発明を実施するための形態】
【０００８】
−−−第１の実施の形態−−−
図１〜３を参照して、本発明による携帯端末装置および読唇処理プログラムの第１の実施の形態を説明する。図１は、第１の実施の形態の携帯端末装置のブロック構成図である。図１に例示する携帯端末装置１００は、たとえば携帯電話、スマートフォンなどの携帯可能な情報端末である。携帯端末装置１００は、制御部１０１と、記憶部１０２と、操作部１０３と、送受信部１０４と、呼び出し部１０５と、表示部１０６と、スピーカ１０７と、マイク１０８と、撮像部１１０と、読唇処理部１２０とを備える。
【０００９】
携帯端末装置１００は、たとえばメール機能、ウェブブラウザ機能、音声通話機能、撮影機能などを有する。制御部１０１は、不図示のＣＰＵ、ＲＡＭ、ＲＯＭなどを有し、ＲＯＭに記憶されたプログラムを実行して携帯端末装置１００全体を制御することにより、これらの機能を実現する。
【００１０】
記憶部１０２は、フラッシュメモリなどで構成され、この記憶部１０２には、通話相手の電話番号および名前などが記録される電話帳、送信相手のメールアドレスおよび名前などが記録されるアドレス帳、表示部１０６に文字を表示させるための文字データなどが記憶されている。
【００１１】
操作部１０３は、複数の各種操作キーを有し、電話送信、電話受信、メール送信、メール受信、その他各種機能を実行させるためのキー操作を行うためのものである。
【００１２】
送受信部１０４は、アンテナ（不図示）を介して受信した通信信号（通話信号）を復調して、復調して得られた多重化されたデジタル信号から携帯端末装置１００宛のデジタル信号を抽出してアナログ信号に変換してスピーカ１０７に供給する。また、送受信部１０４は、マイク１０８からの音声信号をデジタル信号に変換して、このデジタル信号を多重化して搬送波を変調して送信する。また、送受信部１０４は、通信信号がメール信号である場合は、所定のメール信号処理により、メール信号の送信およびメール信号の受信を行う。呼び出し部１０５は、着信時の呼び出しを、音声で知らせたり、振動で知らせたり、あるいは光で知らせたりするためのものである。
【００１３】
表示部１０６は、たとえば液晶モニタで構成され、携帯端末装置１００が各種機能を実施する際に各種画面を表示する。たとえば、メール機能を実施するときは、送信メール編集画面、受信メール表示画面などが表示部１０６に表示される。また、ウェブブラウザ機能を実施するときは、ウェブページ閲覧画面などが表示部１０６に表示される。
【００１４】
スピーカ１０７は、音声通話時の音声を出力するスピーカである。マイク１０８は、音声通話時に使用されるマイクロフォンである。撮像部１１０は、撮像素子１１１、撮像光学系および信号処理部を有する撮像部であり、撮像素子１１１で撮像した被写体像の静止画像や動画像の画像データを出力する。
【００１５】
読唇処理部１２０は、撮像部１１０から出力される動画像の画像データ（動画像データ）から、被写体の人物の唇の形状や動きを画像解析することで被写体の人物が発した言葉を認識して、認識結果を出力する処理部である。本実施の形態では、読唇処理部１２０は、被写体の人物が発した言葉の認識結果を音声データとして生成して出力する。なお、読唇処理部１２０は、記憶部１０２に記憶されているプログラムを制御部１０１の不図示のＣＰＵが実行することによって実現される。
【００１６】
このように構成される携帯端末装置１００では、不図示の携帯電話通信網を介して、他の携帯端末装置や固定電話等との音声通話が可能である。また、携帯端末装置１００では、通話中に撮像部１１０で撮像した得られた画像におけるユーザの唇の形や動きに基づいて読唇処理を行うことでユーザの発した言葉を認識して、認識した言葉の音声データを不図示の携帯電話通信網へ出力できる。
【００１７】
本実施の形態の携帯端末装置１００では、音声通話を行う際の設定モードとして、通常通話モードと、読唇通話モードとを備えている。通常通話モードとは、従来の携帯電話やスマートフォンにおける音声通話と同じ動作を行う設定モードである。すなわち、通常通話モードでは、制御部１０１は、ユーザが発する音声をマイク１０８で集音し、送受信部１０４でマイク１０８からの音声信号をデジタル信号に変換して、このデジタル信号を多重化して搬送波を変調して送信するように各部を制御する。
【００１８】
読唇通話モードとは、マイク１０８で集音した音声に代えて、撮像部１１０からの画像データに基づいて読唇処理部１２０が読唇処理を行って出力する音声データを不図示の携帯電話通信網へ出力する設定モードである。すなわち、読唇通話モードでは、制御部１０１は、撮像部１１０から出力される画像データに基づいて、読唇処理部１２０に読唇処理を行わせて、読唇処理部１２０から出力される音声データのデジタル信号を送受信部１０４で多重化して搬送波を変調して送信するように各部を制御する。
【００１９】
なお、いずれの通話モードに設定された場合であっても、制御部１０１は、アンテナ（不図示）を介して受信した通話信号を復調して、復調して得られた多重化されたデジタル信号から携帯端末装置１００宛のデジタル信号を抽出してアナログ信号に変換してスピーカ１０７に供給するように送受信部１０４を制御する。
【００２０】
−−−フローチャート−−−
図２は、本実施の形態の携帯端末装置１００における着信時の動作についてのフローチャートである。本実施の形態の携帯端末装置１００では、着信があると図２に示す処理を行うプログラムが起動されて、制御部１０１で実行される。ステップＳ１０１において、マイク１０８からの信号を入力してステップＳ１０３へ進む。ステップＳ１０３において、ステップＳ１０１で入力したマイク１０８の信号に基づいて、携帯端末装置１００の周囲の騒音の大きさがあらかじめ定められた所定の閾値を超えるか否かを判断する。
【００２１】
ステップＳ１０３が肯定判断されるとステップＳ１０５へ進み、着信がある旨の表示、および、読唇通話モードでの通話を開始するか否かを問い合わせる旨の表示を表示部１０６に表示させてステップＳ１０７へ進む。ステップＳ１０７において、通話開始の操作入力があるまで待機する。
【００２２】
ステップＳ１０７で読唇通話モードでの通話を開始するように操作されるとステップＳ２００のサブルーチンへ進み、通話モードを読唇通話モードに設定し、読唇通話モードでの通話処理を開始してステップＳ１０９ヘ進む。ステップＳ１０９において、終話操作が行われたか否かを判断する。ステップＳ１０９が否定判断されるとステップＳ２００へ戻る。ステップＳ１０９が判断されるとステップＳ１１1へ進み、公知の終話信号を送受信部１０４から出力させて、本プログラムを終了する。
【００２３】
ステップＳ１０３が否定判断されるとステップＳ１１３へ進み、着信がある旨の表示を表示部１０６に表示させてステップＳ１１５へ進む。ステップＳ１１５において、通話開始の操作入力があるまで待機する。ステップＳ１１５で通話を開始するように操作されるとステップＳ３００のサブルーチンへ進み、通話モードを通常通話モードに設定し、通常通話モードでの通話処理を開始してステップＳ１１７ヘ進む。ステップＳ１１７において、終話操作が行われたか否かを判断する。ステップＳ１１７が否定判断されるとステップＳ３００へ戻る。ステップＳ１１７が判断されるとステップＳ１１１へ進む。
【００２４】
ステップＳ１０７で通常通話モードでの通話を開始するように操作されるとステップＳ３００のサブルーチンへ進む。
【００２５】
図３は、図２に示したフローチャートにおけるステップＳ２００のサブルーチンを示す図である。ステップＳ３０１において、撮像素子１１１での被写体像の撮像を開始して動画像を取得するように撮像部１１０を制御してステップＳ３０３へ進む。ステップＳ３０３において、撮像部１１０からの動画像データに基づく読唇処理を開始するよう読唇処理部１２０を制御してステップＳ３０５へ進む。
【００２６】
ステップＳ３０５において、読唇処理部１２０から出力される音声データ、すなわち、被写体の人物が発した言葉の認識結果としての音声データを送受信部１０４で多重化して搬送波を変調して送信するように各部を制御して、メインルーチンのステップＳ１０９へ進む。
【００２７】
このように構成される携帯端末装置１００では、着信があったときにマイク１０８で集音した周囲の音の大きさに基づいて、周囲の騒音が大きいか否かを制御部１０１が判断する（ステップＳ１０１，Ｓ１０３）。そして、周囲の騒音の大きさがあらかじめ定められた所定の閾値を超えると判断されると（ステップＳ１０３肯定判断）、制御部１０１は、着信がある旨の表示、および、読唇通話モードでの通話を開始するか否かを問い合わせる旨の表示を表示部１０６に表示させる（ステップＳ１０５）。
【００２８】
ここで、ステップＳ１０３における所定の閾値は、たとえば８０ｄＢ（Ａ）の音圧レベルである。なお本発明は、この値に限定されない。また、この閾値が聴感補正を考慮した値でなくてもよい。
【００２９】
携帯端末装置１００のユーザが、操作部１０３を操作することで読唇通話モードでの通話を開始すると、通話モードが読唇通話モードに設定される。通話モードが読唇通話モードに設定されると、制御部１０１は、撮像素子１１１での被写体像の撮像を開始して動画像を取得するように撮像部１１０を制御する（ステップＳ３０１）とともに、撮像部１１０からの動画像データに基づく読唇処理が開始されるよう読唇処理部１２０を制御する（ステップＳ３０３）。
【００３０】
このとき、携帯端末装置１００のユーザが、自分（ユーザ）の顔が撮像素子１１１で撮像されるように携帯端末装置１００を顔から前方に離した位置で保持し、声を発せずとも言葉を発するように唇を動かせば、読唇処理部１２０が読唇処理を行って言葉を認識する。読唇処理部１２０は、認識した言葉の音声データのデジタル信号を生成して送受信部１０４に出力する。そして、送受信部１０４は、読唇処理部１２０から出力された音声データのデジタル信号を多重化して搬送波を変調して送信する（ステップＳ３０５）。
【００３１】
これにより、携帯端末装置１００のユーザが、声を発せずとも言葉を発するように唇を動かせば、読唇処理部１２０で言葉が認識されて、音声データとして通話相手に送信される。通話相手側の携帯電話機や固定電話機では、携帯端末装置１００の読唇処理部１２０で生成された音声データが音声としてスピーカから出力される。
【００３２】
なお、通話相手側の携帯電話機や固定電話機からの音声は、携帯端末装置１００のスピーカ１０７から出力される。しかし、上述したように周囲の騒音が大きいことや、ユーザの顔が撮像素子１１１で撮像されるように携帯端末装置１００を顔から前方に離した位置で保持することから、不図示のイヤホンを用いることが望ましい。なお、携帯端末装置１００では、従来の携帯電話機やスマートフォンと同様に、不図示のイヤホンが接続されると、通話相手側の携帯電話機や固定電話機からの音声は、携帯端末装置１００のスピーカ１０７からではなく、接続されたイヤホンから出力される。
【００３３】
第１の実施の形態の携帯端末装置１００では、次の作用効果を奏する。
（１）  着信があったときにマイク１０８で集音した周囲の騒音の大きさがあらかじめ定められた所定の閾値を超えると判断されると、読唇通話モードでの通話を開始するか否かを問い合わせる旨の表示を表示部１０６に表示させるように構成した。そして、読唇通話モードでの通話を開始するように操作されると通話モードを読唇通話モードに設定し、読唇通話モードでの通話処理を開始するように構成した。これにより、周囲の騒音の影響によってユーザの発する音声を明瞭に集音できないような場合に、容易に読唇通話モードでの通話を開始できるので、利便性が高い。また、骨伝導マイクのような集音装置をユーザの身体に装着する必要がないので煩わしさがない。
【００３４】
（２）  読唇処理部１２０で認識した言葉が音声データのデジタル信号として生成されて出力されるように構成した。これにより、読唇処理による認識結果を通話相手に音声で伝えることができる。したがって、たとえば携帯電話網や、通話相手の携帯電話機や固定電話機に特に変更を加える必要がないので、通話相手が限定されず、携帯端末装置１００の利便性が高い。
【００３５】
（３）  読唇処理を行うためのプログラムを記憶部１０２に記憶させて、制御部１０１で読唇処理を行うように構成した。これにより、たとえば、読唇処理機能を備えていない携帯端末装置に読唇処理を行うためのプログラムを記憶させることで、読唇処理を行えるので、携帯端末装置１００の利便性を向上できる。
【００３６】
−−−第２の実施の形態−−−
図４〜７を参照して、本発明による携帯端末装置および読唇処理プログラムの第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、目の前にいる人物が発した言葉を読唇処理によって認識するように構成した点で、第１の実施の形態と異なる。
【００３７】
図４は、本実施の形態の携帯端末装置２００の外観斜視図である。携帯端末装置２００の眼鏡型のウェアラブル端末装置であり、第１撮像部２１０、第２撮像部２２０、投影部２３０、回路部２４０、操作部１０３、マイク１０８、イヤホン２０４を備えている。第１撮像部２１０は、携帯端末装置２００の前方、すなわち、携帯端末装置２００を装着したユーザの前方の被写体を撮像するための撮影装置であり、後述する撮像素子１１１ａと、撮像光学系２１２とを備えている。
【００３８】
第１撮像部２１０は、携帯端末装置２００の前方の被写体からの被写体光が撮像光学系２１２に入射するように、たとえば、メガネ型フレーム２０１のテンプル部分（ツルの部分）の側面に設けられている。
【００３９】
第２撮像部２２０は、携帯端末装置２００のメガネ型フレーム２０１から延在するアーム２０２の先端に取り付けられていて、携帯端末装置２００を装着したユーザの口元および目元を撮影するための撮影装置であり、後述する撮像素子１１１ｂと、不図示の撮像光学系とを備えている。また、第２撮像部２２０には、マイク１０８も設けられている。
【００４０】
投影部２３０は、眼鏡レンズ２０３に設けられたハーフミラー層２０３ａに映像を投影する装置であり、各種情報をハーフミラー層２０３ａに表示する。ユーザは、表示された情報と共に眼鏡レンズ２０３越しに前方を見ることができる。回路部２４０には、制御部１０１が設けられている。
【００４１】
メガネ型フレーム２０１のたとえばテンプル部分の側面には、ユーザが操作するための操作部１０３が設けられている。メガネ型フレーム２０１のテンプル部分には、イヤホン２０４が取り付けられている。
【００４２】
たとえば、第１撮像部２１０が設けられたメガネ型フレーム２０１のテンプル部分側面の部位には、後述する赤外線通信部１３０の赤外線発光部１３１と赤外線受光部１３２とが設けられている。
【００４３】
図５は、携帯端末装置２００の全体構成図である。携帯端末装置２００は、制御部１０１と、記憶部１０２と、操作部１０３と、送受信部１０４と、呼び出し部１０５と、投影部２３０と、イヤホン２０４と、マイク１０８と、撮像部１１０と、読唇処理部１２０と、赤外線通信部１３０と、視線検出部１４０とを備える。携帯端末装置２００では、撮像部１１０に上述した２つの撮像素子１１１ａ，１１１ｂが設けられている。赤外線通信部１３０は、周知の赤外線通信を行う通信部であり、上述した赤外線発光部１３１と赤外線受光部１３２とを有する。
【００４４】
視線検出部１４０は、ユーザから視認し得る距離にいる相手の視線の方向や、ユーザの視線の方向を検出する検出部である。視線検出部１４０は、既知の視線検出手法により、第１撮像部２１０の撮像素子１１１ａで撮像した得られた画像から、第１撮像部２１０の撮像素子１１１ａで撮像した被写体、すなわち、ユーザから視認し得る距離にいる相手の視線の方向を検出する。また、視線検出部１４０は、既知の視線検出手法により、第２撮像部２２０の撮像素子１１１ｂで撮像した得られた画像から、ユーザの視線の方向を検出する。
【００４５】
このように構成される携帯端末装置２００では、上述した第１の実施の形態の携帯端末装置１００と同様に、不図示の携帯電話通信網を介して、他の携帯端末装置や固定電話等との音声通話が可能である。携帯端末装置２００では、上述した第１の実施の形態の携帯端末装置１００と同様に、通話中に第２撮像部２２０の撮像素子１１１ｂで撮像した得られた画像におけるユーザの唇の形や動きに基づいて読唇処理を行うことでユーザの発した言葉を認識して、認識した言葉の音声データを不図示の携帯電話通信網へ出力できる。
【００４６】
また、携帯端末装置２００では、視認し得る距離に存在する相手の発した言葉を認識して、認識した言葉を文字に変換して、眼鏡レンズ２０３のハーフミラー層２０３ａに表示できる。すなわち、本実施の形態の携帯端末装置２００では、携帯端末装置２００をそれぞれ装着した２人のユーザが、騒音が大きい環境下で、互いの視線が合った状態が数秒間続くと、第１撮像部２１０の撮像素子１１１ａで撮像して得られた被写体像に基づく読唇処理が開始される。携帯端末装置２００で行われる処理について、以下に詳細を説明する。
【００４７】
以下の説明では、２人のユーザがそれぞれ携帯端末装置２００を装着し、お互いに視認し得る位置で向かい合っているものとする。説明の便宜上、２人のユーザをそれぞれユーザＡおよびユーザＢとする。ユーザＡが装着する携帯端末装置２００を携帯端末装置２００Ａとし、ユーザＢが装着する携帯端末装置２００を携帯端末装置２００Ｂとする。また、携帯端末装置２００の各部の説明について、携帯端末装置２００Ａと携帯端末装置２００Ｂとで区別をする必要がある場合、携帯端末装置２００Ａについては符号の末尾にＡを付し、携帯端末装置２００Ｂについては符号の末尾にＢを付して説明する。
【００４８】
各携帯端末装置２００Ａ，２００Ｂでは、それぞれの制御部１０１は、マイク１０８で集音した周囲の音の大きさに基づいて、周囲の騒音が大きいか否かを制御部１０１が判断する。そして、周囲の騒音の大きさがあらかじめ定められた所定の閾値を超えると判断されると、それぞれの制御部１０１は、第１撮像部２１０の撮像素子１１１ａで携帯端末装置２００の前方の被写体を撮像するように各部を制御する。また、それぞれの制御部１０１は、第２撮像部２２０の撮像素子１１１ｂでユーザの目元および口元を撮像するように各部を制御する。
【００４９】
携帯端末装置２００Ａの制御部１０１Ａは、撮像素子１１１ａで撮像して得られた画像に基づいて、視線検出部１４０で視線検出処理を行わせる。そして、制御部１０１Ａは、視線検出部１４０での視線検出処理の結果に基づいて、携帯端末装置２００Ａの前方の被写体の中に、ユーザＡ、すなわち、携帯端末装置２００Ａを注視する人物が存在するか否かを判断する。
【００５０】
また、制御部１０１Ａは、撮像素子１１１ｂで撮像して得られた画像に基づいて、視線検出部１４０でユーザＡについての視線検出処理を行わせる。そして、制御部１０１Ａは、視線検出部１４０での視線検出処理の結果、および、撮像素子１１１ａで撮像して得られた画像に基づいて、ユーザＡが携帯端末装置２００の前方の被写体のどの部分を注視しているかを特定する。
【００５１】
そして、制御部１０１Ａは、携帯端末装置２００Ａを注視する人物が存在し、かつ、ユーザＡが当該人物の顔を注視しているか否かを判断する。携帯端末装置２００Ａを注視する人物が存在し、かつ、ユーザＡが当該人物の顔を注視している状態が、たとえば数秒間継続していると判断されると、制御部１０１Ａは、前方の相手に対して読唇処理を開始するかどうかを尋ねる表示、すなわち読唇処理開始問合せ表示画面を眼鏡レンズ２０３のハーフミラー層２０３ａに表示するよう各部を制御する。
【００５２】
たとえば、ユーザＡの操作部１０３の操作によって読唇処理の開始が指示されると、制御部１０１Ａは、赤外線通信を開始して、読唇処理開始の許可を申請する申請信号を送信するように赤外線通信部１３０Ａを制御する。
【００５３】
たとえば、ユーザＢが装着する携帯端末装置２００Ｂでは、携帯端末装置２００Ａからの申請信号を赤外線通信部１３０Ｂで受信すると、制御部１０１Ｂは、携帯端末装置２００Ａからの読唇処理開始の申請を許可するか否かを選択するための選択画面を眼鏡レンズ２０３Ｂのハーフミラー層２０３ａＢに表示するよう各部を制御する。
【００５４】
たとえば、ユーザＢの操作部１０３の操作によって携帯端末装置２００Ａからの読唇処理開始の申請が許可されると、制御部１０１Ｂは、読唇処理開始の申請を許可する許可信号を送信するように赤外線通信部１３０Ａを制御する。また、ユーザＢの操作部１０３の操作によって携帯端末装置２００Ａからの読唇処理開始の申請が拒否されると、制御部１０１Ｂは、読唇処理開始の申請を許可しない不許可信号を送信するように赤外線通信部１３０Ａを制御する。
【００５５】
携帯端末装置２００Ａでは、申請信号を送信後の所定の待機時間以内に、たとえば、申請信号を送信後２０秒以内に携帯端末装置２００Ｂからの許可信号を受信すると、制御部１０１Ａは、読唇処理を開始するよう各部を制御する。すなわち、制御部１０１Ａは、第１撮像部２１０の撮像素子１１１ａで撮像して得られたユーザＢの動画像データに基づく読唇処理を開始するよう読唇処理部１２０を制御する。そして、制御部１０１Ａは、読唇処理によって認識した言葉を文字に変換して、眼鏡レンズ２０３のハーフミラー層２０３ａに表示するよう各部を制御する。
【００５６】
なお、申請信号を送信後、所定の待機時間以内に携帯端末装置２００Ｂからの不許可信号を受信すると、制御部１０１Ａは、読唇処理の開始を中止する。また、申請信号を送信後、所定の待機時間を超えても携帯端末装置２００Ｂからの許可信号または不許可信号を受信できなかった場合、制御部１０１Ａは、読唇処理の開始を中止する。
【００５７】
読唇処理の開始後、たとえば、ユーザＡが顔を大きく動かすなどして撮像素子１１１ａでの撮像範囲からユーザＢの口元が外れてしまった場合、制御部１０１Ａは、撮像素子１１１ａで撮像して得られた画像に基づいて、ユーザＢの口元を再認識する処理を行うよう各部を制御する。そして、たとえば１０秒程度の所定時間内にユーザＢの口元の再認識に成功した場合には、制御部１０１Ａは、読唇処理を継続するよう各部を制御する。
【００５８】
また、所定時間を超えてもユーザＢの口元を再認識できなかった場合には、制御部１０１Ａは、読唇処理を終了するよう各部を制御する。操作部１０３の操作によって読唇処理の開始の中止が指示された場合にも、制御部１０１Ａは、読唇処理を終了するよう各部を制御する。
【００５９】
なお、上述の説明では、ユーザＡが装着する携帯端末装置２００Ａについての動作を主に説明したが、ユーザＢが装着する携帯端末装置２００Ｂについても携帯端末装置２００Ａと同じである。
【００６０】
−−−フローチャート−−−
図６は、携帯端末装置２００における上述した読唇処理の動作についてのフローチャートである。本実施の形態の携帯端末装置２００では、不図示の電源スイッチがオンされると図６に示す処理を行うプログラムが起動されて、制御部１０１で定期的に実行される。ステップＳ１０１およびステップＳ１０３の動作については、第１の実施の形態における図２のフローチャートのステップＳ１０１およびステップ１０３と同じである。
【００６１】
ステップＳ１０３が肯定判断されるとステップＳ１５１へ進み、撮像素子１１１ａ，１１１ｂによる撮像を開始させてステップＳ１５３へ進む。ステップＳ１５３において、撮像素子１１１ａで撮像して得られた画像に基づいて、視線検出部１４０で視線検出処理を行わせてステップＳ１５５へ進む。ステップＳ１５５において、ステップＳ１５３での視線検出処理の結果、携帯端末装置２００を注視する人物が存在するか否かを判断する。
【００６２】
ステップＳ１５５が肯定判断されるとステップＳ１５７へ進み、撮像素子１１１ｂで撮像して得られた画像に基づいて、視線検出部１４０でユーザについての視線検出処理を行わせてステップＳ１５９へ進む。ステップＳ１５９において、ステップＳ１５７での視線検出処理の結果、および、撮像素子１１１ａで撮像した携帯端末装置２００の前方の被写体の画像に基づいて、ユーザが携帯端末装置２００の前方の被写体のどの部分を注視しているかを特定してステップＳ１６１へ進む。
【００６３】
ステップＳ１６１において、ステップＳ１５９での処理結果に基づいて、ステップＳ１５３で存在すると判断した携帯端末装置２００を注視する人物の顔を、ユーザが注視しているか否かを判断する。ステップＳ１６１が肯定判断されるとステップＳ１６３へ進み、携帯端末装置２００を注視する人物が携帯端末装置２００を継続して注視し、かつ、当該人物の顔をユーザが注視する状態が所定時間継続したか否かを判断する。
【００６４】
ステップＳ１６３が肯定判断されるとステップＳ１６５へ進み、前方の相手に対して読唇処理を開始するかどうかを尋ねる読唇処理開始問合せ表示画面をハーフミラー層２０３ａに表示させてステップＳ１６７へ進む。
【００６５】
ステップＳ１６７において、操作部１０３への操作入力があるまで待機する。ステップＳ１６７で、操作部１０３の操作によって読唇処理の開始が指示されたと判断されると、ステップＳ１６９へ進み、読唇処理開始の許可を申請する申請信号を送信するように赤外線通信部１３０を制御してステップＳ１７１へ進む。
【００６６】
ステップＳ１７１において、所定の待機時間内に読唇処理開始の申請を許可する許可信号を受信したか否かを判断する。ステップＳ１７１が肯定判断されるとステップＳ１７３へ進み、撮像素子１１１ａで撮像した携帯端末装置２００の前方の被写体の画像に基づいて、読唇処理を開始するよう読唇処理部１２０を制御してステップＳ１７５へ進む。ステップＳ１７５において、読唇処理部１２０での読唇処理によって認識した言葉を文字に変換して、ハーフミラー層２０３ａに表示するよう各部を制御してステップＳ１７７へ進む。
【００６７】
ステップＳ１７７において、撮像素子１１１ａで撮像した被写体像の画像に基づいて、読唇処理の対象となる人物を引き続き認識できているか否かを判断する。ステップＳ１７７が肯定判断されるとステップＳ１７９へ進み、読唇処理を終了するように操作部１０３への操作入力がなされたか否かを判断する。ステップＳ１７９が否定判断されるとステップＳ１７３へ戻る。
【００６８】
ステップＳ１７９が肯定判断されると、本プログラムを終了する。
ステップＳ１７７が否定判断されるとステップＳ１８１へ進み、撮像素子１１１ａで撮像した被写体像の画像に基づいて、読唇処理の対象となる人物の口元を認識できない状態が所定時間を超えて継続したか否かを判断する。
【００６９】
ステップＳ１８１が否定判断されると、ステップＳ１８３へ進み、撮像素子１１１ａで撮像した被写体像の画像に基づいて、読唇処理の対象となる人物の口元を再認識できたか否かを判断する。ステップＳ１８３が肯定判断されるとステップＳ１７９へ進む。
ステップＳ１８３が否定判断されるとステップＳ１８１へ戻る。
ステップＳ１８１が肯定判断されると本プログラムを終了する。
【００７０】
ステップＳ１７１が否定判断されると、すなわち、許可信号を受信しないまま所定の待機時間が経過したか、または、所定の待機時間内に不許可信号を受信すると、本プログラムを終了する。
ステップＳ１６７において、操作部１０３の操作によって読唇処理の開始の中止が指示されたと判断されると、本プログラムを終了する。
ステップＳ１６３で所定時間が経過していない場合はステップＳ１６１へ戻る。
【００７１】
ステップＳ１６３で所定時間が経過する前に、携帯端末装置２００を注視していた人物が携帯端末装置２００を注視しなくなったか、または、当該人物の顔をユーザが注視しなくなった場合にはステップＳ１０１へ戻る。
ステップＳ１６１が否定判断されると、ステップＳ１０１へ戻る。
ステップＳ１５５が否定判断されると、ステップＳ１０１へ戻る。
ステップＳ１０３が否定判断されると本プログラムを終了する。
【００７２】
図７は、他の携帯端末装置２００からの読唇処理開始の許可を申請する申請信号を受信した際に、許可または拒否する処理の動作についてのフローチャートである。本実施の形態の携帯端末装置２００では、不図示の電源スイッチがオンされると図７に示す処理を行うプログラムが起動されて、制御部１０１で実行される。ステップＳ４０１において、他の携帯端末装置２００からの申請信号を受信するまで待機する。
【００７３】
ステップＳ４０１において、他の携帯端末装置２００からの申請信号を受信するとステップＳ４０３へ進み、他の携帯端末装置２００のユーザからの読唇処理開始の申請を許可するか否かの選択画面をハーフミラー層２０３ａに表示させてステップＳ４０５へ進む。ステップＳ４０５において、操作部１０３への操作入力があるまで待機する。ステップＳ４０５で、操作部１０３の操作によって読唇処理の開始の申請が許可されたと判断されると、ステップＳ４０７へ進み、読唇処理開始の申請を許可する許可信号を送信するように赤外線通信部１３０を制御して本プログラムを終了する。
【００７４】
ステップＳ４０５で、操作部１０３の操作によって読唇処理の開始の申請が拒否されたと判断されると、ステップＳ４０９へ進み、読唇処理開始の申請を許可しない不許可信号を送信するように赤外線通信部１３０を制御して本プログラムを終了する。
【００７５】
第２の実施の形態の携帯端末装置２００では、第１の実施の形態の作用効果に加えて、次の作用効果を奏する。
（１）  騒音が大きい環境下で、携帯端末装置２００をそれぞれ装着した２人のユーザ同士の視線が合った状態が数秒間続くと、読唇処理開始の許可を申請する申請信号を出力するように構成した。そして、相手側からの許可信号を受信すると、読唇処理を開始するように構成した。これにより、お互いに視認し得る位置で向かい合っているが周囲の騒音の影響によって相手の発する音声を明瞭に聞き取れないような場合に、容易に読唇処理を開始できるので、利便性が高い。また、相手側の携帯端末装置２００からの許可信号の受信をもって読唇処理を開始するように構成しているので、他人のプライバシーを保護できる。
【００７６】
（２）  読唇処理開始の許可を申請する申請信号を受信すると、読唇処理開始の申請を許可するか否かを選択するための選択画面を眼鏡レンズ２０３のハーフミラー層２０３ａに表示するように構成した。これにより、読唇されることに対してユーザの意志を反映できるので、ユーザのプライバシーを保護できる。
【００７７】
（３）  撮像して取得した画像に基づいて視線検出処理を行うことで、携帯端末装置２００Ａを注視する人物が存在し、かつ、ユーザＡが当該人物の顔を注視している状態が所定時間継続すると、読唇処理開始問合せ画面を眼鏡レンズ２０３のハーフミラー層２０３ａに表示するように構成した。これにより、簡単な装置構成によって、読唇処理を開始させたいと考えるユーザの意志を検出できるので、コスト増を抑制できる。
【００７８】
−−−変形例−−−
（１）  上述した第１の実施の形態では、読唇処理部１２０で認識した言葉が音声データとして生成されて出力されるように構成したが、本発明はこれに限定されない。たとえば、読唇処理部１２０で認識した言葉が音声データに代えて、または、音声データとともに、テキストデータとして生成されて出力されるように構成してもよく、上述した作用効果と同様の作用効果を奏する。なお、この場合には、携帯端末装置１００からのテキストデータが、携帯端末装置１００との通話相手の端末装置の表示部へ通話中に表示されるように、通話相手の端末装置が構成されていることが望ましい。または、携帯端末装置１００からのテキストデータに基づいて音声読み上げを行うことで、通話相手の端末装置のユーザに音声で通知するように、通話相手の端末装置が構成されていることが望ましい。
【００７９】
または、携帯端末装置１００からのテキストデータを携帯電話通信網側で音声データに変換して、変換した音声データを通話相手の端末装置に送信するようにしてもよい。
【００８０】
（２）  上述した第１の実施の形態では、着信があったときにマイク１０８で集音した周囲の騒音の大きさがあらかじめ定められた所定の閾値を超える場合に、読唇通話モードでの通話を選択できるように構成しているが、本発明はこれに限定されない。たとえば、携帯端末装置１００で着信音の出力が禁止される周知のマナーモードに設定されている場合に着信があると、読唇通話モードでの通話を選択できるように構成してもよい。すなわち、携帯端末装置１００でマナーモード設定時に着信があった場合にも、周囲の騒音が大きかった場合と同様の着信動作を行って、読唇通話モードを選択できるようにしてもよい。このように構成することで、たとえば大きな音や声を出すことが憚られる公共の場などでも、発声することなく通話できるので、マナーの面からも好ましい。
【００８１】
また、たとえば、図８に示す携帯端末装置１００のイヤホンジャック１５１に不図示のイヤホンが差し込まれていることが検出されているときに着信があった場合にも、周囲の騒音が大きかった場合と同様の着信動作を行って、読唇通話モードを選択できるようにしてもよい。なお、制御部１０１は、イヤホンジャック１５１に不図示のイヤホンが差し込まれているか否かを、イヤホンジャック１５１に設けられたイヤホン挿入検出端子１５１ａからの出力に基づいて判断する。
【００８２】
大きな騒音環境下では、イヤホンを用いないと音声の聞き取りが困難であることが考えられる。したがって、上述のように構成することで、読唇通話モードでの通話を行うことが望ましいシチュエーションで、読唇通話モードでの通話を開始するか否かを問い合わせる旨の表示を適切に表示できる。これにより、携帯端末装置１００の利便性を向上できる。
【００８３】
また、たとえば、図９に示す携帯端末装置１００のＧＰＳ受信機１５２からの現在位置に関する情報に基づいて、たとえば、電車の路線に沿って移動しているなど、公共交通機関による移動中であるか否かを判断するようにしてもよい。そして、公共交通機関による移動中であると判断される場合に着信があったときにも、周囲の騒音が大きかった場合と同様の着信動作を行って、読唇通話モードを選択できるようにしてもよい。このように構成することで、たとえば公共交通機関の利用時に着信があっても、公共交通機関の利用中であって後に電話をかけ直す旨を発声することなく通話相手に音声で通知できる。これにより、あらかじめ設定されているメッセージによる応答のような画一的な返答でなく、着信時の状況に応じてユーザが適切に応答できるため、利便性が高い。
【００８４】
（３）  上述した第１の実施の形態では、記憶部１０２に記憶されているプログラムを制御部１０１の不図示のＣＰＵが実行することによって読唇処理部１２０を構成しているが、本発明はこれに限定されない。たとえば、上述した読唇処理を行う回路を設けてもよい。
【００８５】
（４）  上述した第２の実施の形態では、ユーザの操作入力を操作部１０３で受け付けるように構成しているが、本発明はこれに限定されない。たとえば、マイク１０８で集音したユーザの音声コマンドに基づいて、制御部１０１で操作入力の内容を判定し、判定結果に応じて各部を制御するように構成してもよい。
【００８６】
（５）  上述した第２の実施の形態では、申請信号を送信後の所定の待機時間以内に他の携帯端末装置２００からの許可信号を受信すると、制御部１０１が読唇処理を開始するよう各部を制御するように構成しているが、本発明はこれに限定されない。たとえば、申請信号を送信後の所定の待機時間以内に他の携帯端末装置２００からの許可信号を受信すると、制御部１０１が、前方の相手から読唇処理の開始が許可された旨の表示を眼鏡レンズ２０３のハーフミラー層２０３ａに表示するよう各部を制御するように構成してもよい。
【００８７】
（６）  上述した第２の実施の形態では、読唇処理によって認識した言葉を文字に変換して、眼鏡レンズ２０３のハーフミラー層２０３ａに表示するように構成しているが、本発明はこれに限定されない。たとえば、読唇処理によって認識した言葉を音声データに変換して、イヤホン２０４から音声として出力するように構成してもよい。すなわち、読唇処理部１２０での読唇処理によって認識した言葉を制御部１０１が音声に変換して音声信号を生成し、生成した音声信号をイヤホン２０４に出力するように各部を制御するように構成してもよい。
【００８８】
（７）  上述した第２の実施の形態の携帯端末装置２００において、ユーザの読唇処理を行う際の認識精度向上のために、たとえば、音声通話を行っている際に、撮像素子１１１ｂで撮像して得られた画像と、マイク１０８からの音声信号とに基づく学習をするように構成してもよい。すなわち、撮像素子１１１ｂで撮像して得られた画像に基づく画像解析によって検出したユーザの唇の形や動きと、マイク１０８からの音声信号に基づく音声認識の結果とに基づいて、制御部１０１で学習するように構成してもよい。
（８）  上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
【００８９】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【符号の説明】
【００９０】
１００，２００  携帯端末装置、１０１  制御部、１０４  送受信部、１０６  表示部、１０８  マイク、１１０  撮像部、１１１，１１１ａ，１１１ｂ  撮像素子、１２０  読唇処理部、１３０  赤外線通信部、１３１  赤外線発光部、１３２  赤外線受光部、１４０  視線検出部、１５１  イヤホンジャック、１５１ａ  イヤホン挿入検出端子、２０３  眼鏡レンズ、２０３ａ  ハーフミラー層、２１０  第１撮像部、２２０  第２撮像部、２３０  投影部
【図１】
2015220684.tif 000003
【図２】
2015220684.tif 000004
【図３】
2015220684.tif 000005
【図４】
2015220684.tif 000006
【図５】
2015220684.tif 000007
【図６】
2015220684.tif 000008
【図７】
2015220684.tif 000009
【図８】
2015220684.tif 000010
【図９】
2015220684.tif 000011