(57)【要約】【課題】口の動きから抽出された発話内容を通信相手に伝えるのに好適な技術の提供を目的とする。【解決手段】  携帯端末装置であって、口の動きの画像を取得する画像取得部と、前記画像取得部により取得された前記画像に基づいて、前記口の動きに対応する文字を抽出する文字抽出部と、前記文字抽出部により抽出された前記文字を用いて音声を生成する音声生成部と、前記音声生成部により生成された前記音声を第１の通信先に送信する通信部と、を備えることを特徴とする。【選択図】  図１
2015115926.tif 000002
【特許請求の範囲】
【請求項１】
口の動きの画像を取得する画像取得部と、
前記画像取得部により取得された前記画像に基づいて、前記口の動きに対応する文字を抽出する文字抽出部と、
前記文字抽出部により抽出された前記文字を用いて音声を生成する音声生成部と、
前記音声生成部により生成された前記音声を第１の通信先に送信する通信部と、
を備えることを特徴とする携帯端末装置。
【請求項２】
請求項１に記載の携帯端末装置であって、
前記画像取得部により取得された前記画像と、前記文字抽出部により抽出された前記文
字とを表示する表示部を備えることを特徴とする携帯端末装置。
【請求項３】
請求項２に記載の携帯端末装置であって、
前記表示部により表示された前記文字の訂正を受け付ける入力部を備え、
前記音声生成部は、前記入力部が受け付けた訂正後の前記文字を用いて前記音声を生成することを特徴とする携帯端末装置。
【請求項４】
請求項２又は３に記載の携帯端末装置であって、
メッセージと第２の通信先とを関連付けた通信先情報を記憶する記憶部を備え、
前記通信部は、前記文字抽出部が抽出した前記文字に前記メッセージが含まれる場合に、前記通信先情報において該メッセージと関連付けられた前記第２の通信先に発信を行うことを特徴とする携帯端末装置。
【請求項５】
請求項４に記載の携帯端末装置であって、
前記第２の通信先への発信であるＳＯＳ発信の指示を受け付けるＳＯＳ発信指示受付部を備え、
前記通信部は、前記第１の通信先との通信中に前記ＳＯＳ発信指示受付部が前記ＳＯＳ発信の指示を受け付け、さらに前記文字抽出部が前記メッセージを含む前記文字を抽出した場合に、前記第１の通信先との通信を切断して前記第２の通信先に発信を行うことを特徴とする携帯端末装置。
【請求項６】
請求項５に記載の携帯端末装置であって、
前記通信部は、さらに前記画像取得部が所定の形の口の前記画像を所定時間分取得した場合に、前記第２の通信先に発信を行うことを特徴とする携帯端末装置。
【請求項７】
請求項２から６のいずれか一項に記載の携帯端末装置であって、
前記表示部は、連続通話モードか単発発信モードかの選択を受け付けるためのホーム画面をさらに表示し、
前記通信部は、前記連続通話モード選択時には前記第１の通信先との通信が確立した後に前記画像取得部が取得した前記画像に基づいて生成された前記音声を該第１の通信先に送信し、前記単発発信モード選択時には前記画像取得部が前記画像を取得した後に通信が確立した前記第１の通信先に前記音声を送信することを特徴とする携帯端末装置。
【請求項８】
請求項２から７のいずれか一項に記載の携帯端末装置であって、
当該携帯端末装置周辺の周辺音声を取得する音声取得部を備え、
前記通信部は、前記音声生成部により生成された前記音声に加えて前記音声取得部により取得された前記周辺音声を前記第１の通信先に送信することを特徴とする携帯端末装置。
【請求項９】
請求項８に記載の携帯端末装置であって、
前記通信部は、前記音声取得部により取得された前記周辺音声が所定の音量以上である場合に、当該周辺音声を送信することを特徴とする携帯端末装置。
【請求項１０】
携帯端末装置を用いた読唇通信方法であって、
口の動きの画像を取得する画像取得手順と、
前記画像取得手順において取得された前記画像に基づいて、前記口の動きに対応する文字を抽出する文字抽出手順と、
前記文字抽出手順において抽出された前記文字を用いて音声を生成する音声生成手順と、
前記音声生成手順において生成された前記音声を第１の通信先に送信する通信手順と、
を備えることを特徴とする読唇通信方法。
【請求項１１】
コンピューターを携帯端末装置として機能させるプログラムであって、
口の動きの画像を取得する画像取得手順と、
前記画像取得手順において取得された前記画像に基づいて、前記口の動きに対応する文字を抽出する文字抽出手順と、
前記文字抽出手順において抽出された前記文字を用いて音声を生成する音声生成手順と、
前記音声生成手順において生成された前記音声を第１の通信先に送信する通信手順と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置、読唇通信方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、口の動きから発話の内容を読み取る技術に関する研究が進んでいる。
【０００３】
特許文献１には、「少なくとも口唇領域を含む顔画像を取得する撮像手段と、取得画像から口唇領域を抽出する領域抽出手段と、抽出された口唇領域より形状特徴量を計測する特徴量計測手段と、登録モードにおいて計測されたキーワード発話シーンの特徴量を登録するキーワードDBと、認識モードにおいて、前記登録されているキーワードの特徴量と、文章の発話シーンを対象として計測された特徴量とを比較することにより口唇の発話内容を認識する認識処理を行って、文章の中からキーワードを認識するワードスポッティング読唇を行う判断手段と、前記判断手段が行った認識結果を表示する表示手段とを備える」ワードスポッティング読唇装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−５９０１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、電話による会話を行う際、話者の状況によっては発声が困難な場合がある。例えば話者の身体的状況により発声が難しい場合や、発声することで周囲に迷惑を及ぼす場所（例えば電車内等）に話者が存在している場合等がこれにあたる。また、騒音が著しい場所で会話を行う際、話者の発した声が騒音に紛れて相手に伝わらない場合がある。
【０００６】
特に、携帯電話を使用して通話を行う場合には、周囲の状況が変化するため、このような状況に陥りやすい。
【０００７】
特許文献１に開示された技術は、口の動きから抽出された発話内容を通信相手に伝えることを考慮していない。
【０００８】
本発明は、上記の点に鑑みてなされたものであって、口の動きから抽出された発話内容を通信相手に伝えるのに好適な技術の提供を目的とする。
【課題を解決するための手段】
【０００９】
本願は、上記課題を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。
【００１０】
上記課題を解決するため、本発明の携帯端末装置は、口の動きの画像を取得する画像取得部と、前記画像取得部により取得された前記画像に基づいて、前記口の動きに対応する文字を抽出する文字抽出部と、前記文字抽出部により抽出された前記文字を用いて音声を生成する音声生成部と、前記音声生成部により生成された前記音声を第１の通信先に送信する通信部と、を備えることを特徴とする。
【００１１】
また、上記課題を解決するため、本発明の携帯端末装置は、前記画像取得部により取得された前記画像と、前記文字抽出部により抽出された前記文字とを表示する表示部を備えることを特徴としてもよい。
【００１２】
また、上記課題を解決するため、本発明の携帯端末装置は、前記表示部により表示された前記文字の訂正を受け付ける入力部を備え、前記音声生成部は、前記入力部が受け付けた訂正後の前記文字を用いて前記音声を生成することを特徴としてもよい。
【００１３】
また、上記課題を解決するため、本発明の携帯端末装置は、メッセージと第２の通信先とを関連付けた通信先情報を記憶する記憶部を備え、前記通信部は、前記文字抽出部が抽出した前記文字に前記メッセージが含まれる場合に、前記通信先情報において該メッセージと関連付けられた前記第２の通信先に発信を行うことを特徴としてもよい。
【００１４】
また、上記課題を解決するため、本発明の携帯端末装置は、前記通信先情報に基づいた発信であるＳＯＳ発信の指示を受け付けるＳＯＳ発信指示受付部を備え、前記通信部は、前記第１の通信先との通信中に前記ＳＯＳ発信指示受付部が前記ＳＯＳ発信の指示を受け付け、さらに前記文字抽出部が前記メッセージを含む前記文字を抽出した場合に、前記第１の通信先との接続を切断して前記第２の通信先に発信を行うことを特徴としてもよい。
【００１５】
また、上記課題を解決するため、前記通信部は、さらに前記画像取得部が所定の形の口の前記画像を所定時間分取得した場合に、前記第２の通信先に発信を行うことを特徴としてもよい。
【００１６】
また、上記課題を解決するため、前記表示部は、連続通話モードか単発発信モードかの選択を受け付けるためのホーム画面をさらに表示し、前記通信部は、前記連続通話モード選択時には前記第１の通信先との通信が確立した後に前記画像取得部が取得した前記画像に基づいて生成された前記音声を該第１の通信先に送信し、前記単発発信モード選択時には前記画像取得部が前記画像を取得した後に通信が確立した前記第１の通信先に前記音声を送信することを特徴としてもよい。
【００１７】
また、上記課題を解決するため、本発明の携帯端末装置は、当該携帯端末装置周辺の周辺音声を取得する音声取得部を備え、前記通信部は、前記音声生成部により生成された前記音声に加えて前記音声取得部により取得された前記周辺音声を前記第１の通信先に送信することを特徴としてもよい。
【００１８】
また、上記課題を解決するため、前記通信部は、前記音声取得部により取得された前記周辺音声が所定の音量以上である場合に、当該周辺音声を送信することを特徴としてもよい。
【００１９】
また、上記課題を解決するため、本発明の読唇通信方法は、口の動きの画像を取得する画像取得手順と、前記画像取得手順において取得された前記画像に基づいて、前記口の動きに対応する文字を抽出する文字抽出手順と、前記文字抽出手順において抽出された前記文字を用いて音声を生成する音声生成手順と、前記音声生成手順において生成された前記音声を第１の通信先に送信する通信手順と、を備えることを特徴とする。
【００２０】
また、上記課題を解決するため、本発明のプログラムは、コンピューターを携帯端末装置として機能させるプログラムであって、口の動きの画像を取得する画像取得手順と、前記画像取得手順において取得された前記画像に基づいて、前記口の動きに対応する文字を抽出する文字抽出手順と、前記文字抽出手順において抽出された前記文字を用いて音声を生成する音声生成手順と、前記音声生成手順において生成された前記音声を第１の通信先に送信する通信手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、口の動きから抽出された発話内容を通信相手に伝えるのに好適な技術を提供することができる。
【００２２】
上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００２３】
【図１】携帯端末装置の機能ブロック図である。
【図２】ＳＯＳ設定情報の一例を示す図である。
【図３】携帯端末装置の機能を実現するコンピューターのハードウェア構成例を示す図である。
【図４】連続通話処理の流れを示すフローチャートである。
【図５】単発通話処理の流れを示すフローチャート（その１）である。
【図６】単発通話処理の流れを示すフローチャート（その２）である。
【図７】連続通話モード中のＳＯＳ通信処理の流れを示すフローチャートである。
【図８】単発通話モード中のＳＯＳ通信処理の流れを示すフローチャートである。
【図９】ホーム画面の一例を示す図である。
【図１０】発信画面の一例を示す図である。
【図１１】読唇画面Ａの一例を示す図である。
【図１２】読唇画面Ｂの一例を示す図である。
【図１３】読唇通信設定画面の一例を示す図である。
【図１４】ＳＯＳ設定画面の一例を示す図である。
【図１５】読唇履歴表示画面の一例を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面に基づいて本発明の実施形態の例を説明する。
【００２５】
図１は、携帯端末装置１０の機能ブロック図である。携帯端末装置１０は、可搬性のある情報処理装置であって、例えばＰＣ、ＰＤＡ（Personal Digital Assistant）、又はスマートフォンである。携帯端末装置１０は、唇の動きに応じて発話内容を読み取る、いわゆる読唇機能を有する。
【００２６】
携帯端末装置１０は、制御部１１０と、記憶部１２０とを備える。制御部１１０は、本携帯端末装置１０における読唇機能に基づく通信を制御する。記憶部１２０は、読唇機能に基づく通信に必要な情報を記憶する。
【００２７】
制御部１１０は、画像取得部１１１と、文字抽出部１１２と、音声生成部１１３と、表示部１１４と、通信部１１５と、入力部１１６と、ＳＯＳ発信指示受付部１１７と、音声取得部１１８とを備える。
【００２８】
画像取得部１１１は、後述するカメラユニットを用いて画像を取得する。取得する画像は、話者の口元の画像であって、話者が発話のために唇を動かす様子を撮影した画像である。取得する画像は、実際に声を発した状態の画像であっても、声を発せずに口だけを動かした画像であってもよい。以下、発話とは、発声の有無に関わらず口を動かした状態を示す。
【００２９】
文字抽出部１１２は、発話している画像から文字を抽出する。唇の動きから文字を抽出する処理には、例えば唇の所定の部分に座標を付し、移動量に基づいて文字を判定するなど、公知の方法が用いられる。なお、唇の動きから文字を抽出する技術については、例えば「齊藤剛史、小西亮介、「唇および口内領域形状に基づくトラジェクトリ特徴量による読唇」、情報科学技術フォーラム一般講演論文集6(3)、39-40、2007-08-22」を用いる。この際、必要に応じて、予め記憶部１２０の図示しない領域に記憶させた、話者の唇の動きの基本モデルを用いてもよい。
【００３０】
音声生成部１１３は、文字から音声データを生成する。文字から音声データを生成する処理については、公知の技術を用いるため、ここでは詳述しない。表示部１１４は、後述するホーム画面１４０や、読唇画面等の表示画面を、表示装置に対して表示させる。表示画面には、画像取得部１１１により取得された画像や、文字抽出部１１２により抽出された文字を示すテキストが含まれる。
【００３１】
通信部１１５は、携帯端末装置１０と他の電話との通信及び通話を制御する。具体的には、通信部１１５は、入力操作に基づいて他の電話に対して発信を行う。また、通信部１１５は、他の電話からの通信を着信する。また、詳しくは後述するが、通信部１１５は、所定の場合にＳＯＳ設定情報に記憶されたＳＯＳ通信先に発信を行う。
【００３２】
入力部１１６は、タッチパネル等の入力装置を用いた入力処理を制御する。例えば入力部１１６は、文字抽出部１１２により抽出された文字の訂正の入力を受け付ける。
【００３３】
ＳＯＳ発信指示受付部１１７は、読唇による通信を行う際に話者に生じた事情等による、ＳＯＳの発信の指示を受け付ける。ＳＯＳ発信指示は、通信先との通話中に受け付けてもよいし、通話中でないタイミングで受け付けてもよい。
【００３４】
音声取得部１１８は、本携帯端末装置１０が備える図示しないマイクロフォンを介して入力された話者の声を含む周辺音声を取得する。音声取得部１１８により取得された音声が所定の音量以上である場合、通信部１１５は周辺音声を通信先に送信する。
【００３５】
記憶部１２０は、ＳＯＳ設定情報１２１を記憶する。ＳＯＳ設定情報１２１は、文字抽出部１１２により抽出された文字が所定のメッセージを含む場合に、発信するＳＯＳ通信先を記憶させた情報である。
【００３６】
本実施形態では、画像取得部１１１が保持者の口元の画像を取得し、文字抽出部１１２により口元の画像から文字が抽出され、音声生成部１１３により文字から音声が生成される。通信部１１５は生成された音声を通信先に送信する。これにより、例え話者が発声しなくとも、話者が口の動きで示した文字を通信先に伝えることができる。また、騒音等で話者の声が相手に伝わらない場合であっても、音声生成部１１３により生成された音声を通信先に伝えるとともに、周囲の音の送信を制御することにより、話者の話した内容をより明りょうに通信先に伝えることができる。
【００３７】
図２は、ＳＯＳ設定情報１２１の一例を示す図である。ＳＯＳ設定情報１２１は、読唇パターンと、ＳＯＳ通信先とを関連付けた情報である。
【００３８】
読唇パターンは、文字の組み合わせにより構成されるパターンを示す情報である。ＳＯＳ通信先は、話者により読唇パターンが発話された場合の通信先を示す情報である。ＳＯＳ通信先には、例えば警察機関や消防機関への緊急通報用電話番号のほか、通院している病院の電話番号等、任意の発信先が予め登録される。
【００３９】
次に、携帯端末装置１０のハードウェア構成例について説明する。
【００４０】
図３は、携帯端末装置１０の機能を実現するコンピューターのハードウェア構成例を示す図である。携帯端末装置１０は、ＣＰＵ（Central Processing Unit）１３０、補助記憶装置１３１、ネットワークＩ／Ｆ（Interface）１３２、メモリ１３３、入力Ｉ／Ｆ１３４、出力Ｉ／Ｆ１３５を備える。入力Ｉ／Ｆ１３４にはカメラユニット１３７が接続され、出力Ｉ／Ｆ１３５にはタッチパネル１３８が接続される。各構成要素はバスにより接続されている。
【００４１】
ＣＰＵ１３０は、メモリ１３３又は補助記憶装置１３１に記録されたプログラムに従って処理を実行する。制御部１１０を構成する各部は、ＣＰＵ１３０がプログラムを実行することにより各々の機能が実現される。
【００４２】
補助記憶装置１３１は、例えばＨＤＤ（Hard Disk Drive）や、ＣＤ-Ｒ（Compact Disc- Recordable）、ＤＶＤ-ＲＡＭ（Digital Versatile Disk-Random Access Memory）等の書き込み及び読み出し可能な記憶メディア及び記憶メディア駆動装置等である。ネットワークＩ／Ｆ１３２は、携帯端末装置１０をネットワークに接続するためのインターフェイスである。
【００４３】
メモリ１３３は、ＲＡＭ（Random Access Memory）又はフラッシュメモリ等の記憶装置であり、プログラムやデータが一時的に読み出される記憶エリアとして機能する。入力Ｉ／Ｆ１３４は、各入力装置を携帯端末装置１０に接続するためのインターフェイスである。出力Ｉ／Ｆ１３５は、表示装置等の各出力装置を携帯端末装置１０に接続するためのインターフェイスである。
【００４４】
カメラユニット１３７は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のセンサを用いた撮像素子で撮像した映像をデジタルデータとして取得し、メモリ１３３又は補助記憶装置１３１に記録する撮影装置である。カメラユニット１３７は、動画の撮影が可能である。タッチパネル１３８は、入力装置と出力装置とを兼ね備えた装置であって、入力Ｉ／Ｆ１３４と出力Ｉ／Ｆ１３５とに接続される。タッチパネル１３８は、例えば静電容量方式のセンサーと、ＧＵＩ（Graphical User Interface）等を表示する液晶ディスプレイとからなる装置である。
【００４５】
記憶部１２０は、メモリ１３３又は補助記憶装置１３１によりその機能が実現される。また、記憶部１２０は、ネットワーク上の記憶装置（図示しない）によってその機能が実現されてもよい。
【００４６】
なお、携帯端末装置１０の各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、携帯端末装置１０の各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
【００４７】
図９は、ホーム画面１４０の一例を示す図である。本携帯端末装置１０では、読唇機能を用いた通話として、連続通話モードと、単発通話モードとを有している。詳しくは後述するが、連続通話モードは、通話相手との会話を行うモードであって、単発通話モードは読唇により生成したメッセージを相手に送信し、通信先からの返答を想定しないモードである。
【００４８】
ホーム画面１４０は、連続通話モード又は単発通話モードによる通話の開始を受け付けるための画面である。ホーム画面１４０は、通話モード選択領域１４１と、設定ボタン１４２とを有する。通話モード選択領域１４１は、連続通話モードか単発通話モードかを選択可能に表示する。設定ボタン１４２は、連続通話モードと単発通話モードとの設定項目を表示するためのボタンである。設定項目については後に詳述する。
【００４９】
図４は、連続通話処理の流れを示すフローチャートである。ホーム画面１４０の通話モード選択領域１４１において、連続通話モードの選択を受け付けると、本フローチャートによる処理が開始される。
【００５０】
まず、表示部１１４は、タッチパネル１３８に対して発信画面１５０を表示する（ステップＳ１１）。
【００５１】
図１０は、発信画面１５０の一例を示す図である。発信画面１５０は、通話モード表示領域１５１と、番号選択領域１５２と、発信ボタン１５３とを備える。
【００５２】
通話モード表示領域１５１には、連続通話モードであることを示す情報が表示される。番号選択領域１５２には、通信先の電話番号を選択することができるよう、番号が選択可能に表示される。発信ボタン１５３は、選択された電話番号に対して発信を行う際に選択を受け付ける。
【００５３】
説明を図４に戻す。次に、入力部１１６は、発信画面１５０に対する電話番号の入力と発信ボタン１５３の選択を受け付ける（ステップＳ１２）。
【００５４】
次に、通信部１１５は、選択された電話番号の通信先に対して発信する（ステップＳ１３）。
【００５５】
次に、通信部１１５は、通信先との通話を開始する（ステップＳ１４）。なお、通話を開始するのは、通信先が発信に対して応答し、通信が確立した場合である。通信先が応答しない場合、表示部１１４はタッチパネル１３８に、通信先が応答しないことを示す情報を表示し、処理を終了する。
【００５６】
次に、画像取得部１１１は、画像の取得を開始する（ステップＳ１５）。画像取得部１１１は、通信先との通話が終了するまで画像の取得を継続する。
【００５７】
次に、表示部１１４は、タッチパネル１３８に読唇画面Ａ１６０を表示する（ステップＳ１６）。なお、ステップＳ１５及びステップＳ１６の処理は、本フローチャートの順序に限定されない。
【００５８】
図１１は、読唇画面Ａ１６０の一例を示す図である。読唇画面Ａ１６０は、通話種別表示領域１６１と、画像表示領域１６２と、テキスト表示領域１６３と、終了ボタン１６４とを含む。
【００５９】
通話種別表示領域１６１は、現在の通話モードを表示する領域である。通話種別表示領域１６１には、連続通話モードであることを示す情報が表示される。本実施形態では、読唇により生成される音声が通信先に送信され、周辺音声の通信先への送信が制限されるが、所定の条件を満たす場合には、生成される音声と周辺音声とが併せて送信される。通話種別表示領域１６１には、読唇により生成される音声を通信先に送信し、周辺音声の送信を制限するか、又は生成された音声と併せて周辺音声を送信するかの種別を示す情報が表示されてもよい。所定の条件に関しては、後に詳述する。
【００６０】
なお、図１１では、通話種別表示領域１６１に、「連続通話モード（読唇のみ）」と表示されている。これは、連続通話モードであって、周辺音声の送信が制限され、読唇により生成された音声のみが通信先に送信される種別であることを示す。
【００６１】
画像表示領域１６２には、画像取得部１１１がステップＳ１５で取得を開始した画像がリアルタイムに表示される。
【００６２】
テキスト表示領域１６３には、文字抽出部１１２が抽出した文字が表示される。テキスト表示領域１６３は選択可能に表示され、後述するＳＯＳ通信処理を開始する際に選択を受け付ける。終了ボタン１６４は、通話を終了する際に選択を受け付けるボタンである。
【００６３】
説明を図４に戻す。次に、通信部１１５は、接続の切断指示を受け付けたか否かを判定する（ステップＳ１７）。読唇画面Ａ１６０の終了ボタン１６４が選択されると、通信部１１５は接続の切断指示を受け付けたと判定する。
【００６４】
通信部１１５が、接続の切断指示を受け付けたと判定しない場合（ステップＳ１７で「ＮＯ」の場合）、文字抽出部１１２は、画像取得部１１１により取得された画像を参照し、話者の唇の動きを検出したか否かを判定する（ステップＳ１８）。
【００６５】
文字抽出部１１２が、話者の唇の動きを検出した場合（ステップＳ１７で「ＹＥＳ」の場合）、文字抽出部１１２は、画像から文字を抽出し、テキストデータを生成する（ステップＳ１９）。
【００６６】
次に、表示部１１４は、文字抽出部１１２が生成したテキストデータを読唇画面Ａ１６０に表示する（ステップＳ２０）。テキストデータは、読唇画面Ａ１６０のテキスト表示領域１６３に表示される。
【００６７】
次に、文字抽出部１１２は、生成したテキストデータを保存する（ステップＳ２１）。テキストデータは、記憶部１２０の中の図示しないテキストデータ記憶領域に記憶される。
【００６８】
次に、音声生成部１１３は、文字抽出部１１２が生成したテキストデータに基づいて音声を生成する（ステップＳ２２）。なお、ステップＳ２０〜ステップＳ２２の処理については、本フローチャートの順序に限定されない。
【００６９】
次に、通信部１１５は、ステップＳ２２で生成された音声を通信先に送信する（ステップＳ２３）。なお、前述したように、通信部１１５は周辺音声の通信先への送信を制限している。
【００７０】
次に、文字抽出部１１２は、所定時間以上唇の動きが停止したか否かを判定する（ステップＳ２４）。
【００７１】
文字抽出部１１２が、所定時間以上唇の動きが停止したと判定した場合（ステップＳ２４で「ＹＥＳ」の場合）、文字抽出部１１２は処理をステップＳ１７に戻す。文字抽出部１１２が、所定時間以上唇の動きが停止したと判定しない場合（ステップＳ２４で「ＮＯ」の場合）、文字抽出部１１２は処理をステップＳ１９に戻し、再度文字抽出処理を行う。
【００７２】
通信部１１５が、接続の切断指示を受け付けたと判定した場合（ステップＳ１７で「ＹＥＳ」の場合）、通信部１１５は、接続を切断する（ステップＳ２５）。通信部１１５は、その後本フローチャートの処理を終了する。
【００７３】
なお、通信先との通話中に、音声取得部１１８は話者の声を含む周辺音声を取得している。周辺音声の音量が予め定められた一定量以上になると、音声取得部１１８は通信部１１５に通知を行う。通信部１１５は、音声取得部１１８からの通知に基づいて、音声生成部１１３により生成された音声に加え、音声取得部１１８が取得した周辺音声を通信先に送信する。同様に、周辺音声が所定の音量以下になった場合、通信部１１５は周辺音声の送信を制限し、音声生成部１１３により生成された音声のみを通信先に送信する。これにより、話者が発声の有無等によって音声の送信又は非送信を切り替えることができ、利便性が向上する。
【００７４】
付言すれば、周辺音声の通信先への送信を制限するか否かは、話者の入力に依るものであってもよい。例えば、入力部１１６が、読唇画面Ａ１６０の通話種別表示領域１６１の選択を受け付けることで、周辺音声の送信又は非送信を切り替えてもよい。さらに、読唇により生成された音声を通信先に送信せず、通常の電話と同様に周辺音声のみを通信先に送信するよう、選択を受け付けるものであってもよい。
【００７５】
上述の実施形態では、携帯端末装置１０から通信先に発信を行うことにより連続通話処理を開始しているが、通信先が携帯端末装置１０に発信を行い、携帯端末装置１０で発信を着信することにより通話が開始される場合についても、同様の処理が行われる。
【００７６】
本実施形態では、口の動きから発話内容を抽出し、音声にして通信先に送信する。これにより、発声が困難な場合であっても会話を行うことができる。この際、自分の口の動きが撮影された画像を参照し、どのような文字が抽出されたかを確認することができる。これにより、話者は口の動かし方によりどのように文字が抽出されるかを認識することができ、読唇による発話内容の抽出の精度が向上する。
【００７７】
図５は、単発通話処理の流れを示すフローチャート（その１）である。ホーム画面１４０の通話モード選択領域１４１において、単発通話モードの選択を受け付けると、本フローチャートによる処理が開始される。
【００７８】
まず、表示部１１４は、発信画面１５０を表示する（ステップＳ３１）。
【００７９】
次に、通信部１１５は、電話番号の入力と発信ボタン１５３の選択を受け付ける（ステップＳ３２）。ステップＳ３１及びステップＳ３２で行われる処理は、ステップＳ１１及びステップＳ１２で行われる処理と同様であるため、説明を省略する。
【００８０】
次に、画像取得部１１１は、カメラユニット１３７を用いた画像の取得を開始する（ステップＳ３３）。画像取得部１１１は、後に説明するテキスト表示領域の選択を受け付けるまで、画像の取得を継続する。
【００８１】
次に、表示部１１４は、読唇画面Ｂ１７０を表示する。
【００８２】
図１２は、読唇画面Ｂ１７０の一例を示す図である。読唇画面Ｂ１７０は、通話種別表示領域１７１と、画像表示領域１７２と、テキスト表示領域１７３と、入力終了ボタン１７４と、キャンセルボタン１７５とを含む。通話種別表示領域１７１と、画像表示領域１７２とに表示される対象は、読唇画面Ａ１６０と同様であるため、説明を省略する。
【００８３】
テキスト表示領域１７３には、文字抽出部１１２が画像から抽出した文字をテキスト化したものが表示される。テキスト表示領域１７３は、選択可能に表示される。テキスト表示領域１７３は、その選択方法によって処理が異なる。例えば、読唇によるテキストデータの生成中にテキスト表示領域が選択された場合には、テキストデータの生成を終了する。テキストデータの生成終了後に、テキスト表示領域１７３がタップなど短い継続時間で選択された場合には、図示しないテキスト訂正画面が表示され、テキストの修正が可能となる。選択が長押しなど所定の長さを超える継続時間で行われた場合には、後述するＳＯＳ通信処理が開始される。
【００８４】
なお、テキストデータの生成の終了や、テキスト訂正画面への画面遷移、又はＳＯＳ通信処理の開始は、上述の実施形態に限定されるものではない。例えば、読唇画面Ｂ１７０に、テキスト訂正専用のボタンや、ＳＯＳ通信処理開始専用のボタンを設けてもよい。
【００８５】
入力終了ボタン１７４は、読唇による文字の入力の終了を受け付けるためのボタンである。キャンセルボタン１７５は、入力をキャンセルする場合に選択を受け付けるボタンである。キャンセルボタン１７５が選択されると、表示画面は読唇画面Ｂ１７０からホーム画面１４０に遷移する。
【００８６】
説明を図５に戻す。次に、文字抽出部１１２は、画像取得部１１１により取得された画像に基づいて、唇の動きを検出したか否かを判定する（ステップＳ３５）。文字抽出部１１２が、唇の動きを検出しない場合（ステップＳ３５で「ＮＯ」の場合）、文字抽出部１１２は、処理をステップＳ３５に戻し、唇の動きを検出するまで画像を監視する。
【００８７】
文字抽出部１１２が、唇の動きを検出した場合（ステップＳ３５で「ＹＥＳ」の場合）、文字抽出部１１２は、取得画像からテキストデータを生成する（ステップＳ３６）。ステップＳ３６及びステップＳ３７で行われる処理については、ステップＳ１９及びステップＳ２０の処理と同様であるため、説明を省略する。
【００８８】
次に、文字抽出部１１２は、表示している読唇画面Ｂ１７０に含まれるテキスト表示領域１７３の選択を受け付けたか否かを判定する（ステップＳ３８）。テキスト表示領域１７３には、話者の唇の動きから抽出された文字が表示されているが、読唇による文字の抽出を終了させる場合に、テキスト表示領域１７３の選択を受け付ける。
【００８９】
文字抽出部１１２が、テキスト表示領域１７３の選択を受け付けたと判定した場合（ステップＳ３８で「ＹＥＳ」の場合）、文字抽出部１１２は、テキストデータの生成を終了する（ステップＳ３９）。
【００９０】
文字抽出部１１２が、テキスト表示領域１７３の選択を受け付けたと判定しない場合（ステップＳ３８で「ＮＯ」の場合）、文字抽出部１１２は、処理をステップＳ３５に戻す。
【００９１】
次に、文字抽出部１１２は、テキスト表示領域１７３の選択をさらに受け付けたか否かを判定する（ステップＳ４０）。
【００９２】
文字抽出部１１２が、テキスト表示領域１７３の選択を受け付けたと判定した場合（ステップＳ３８で「ＹＥＳ」の場合）、文字抽出部１１２は、テキストデータの訂正を受け付ける（ステップＳ４１）。具体的には、文字抽出部１１２は、テキスト表示領域１７３の選択を受け付けると、図示しないテキスト訂正画面を表示する。テキスト訂正画面は、表示された文字の訂正を受け付けるための画面であって、例えばキーボード等の入力画面である。文字抽出部１１２は、テキスト訂正画面への入力を受け付ける。
【００９３】
文字抽出部１１２が、テキスト表示領域１７３の選択を受け付けたと判定しない場合（ステップＳ３８で「ＮＯ」の場合）、文字抽出部１１２は、処理をステップＳ４２に進める。
【００９４】
次に、文字抽出部１１２は、読唇画面Ｂ１７０に表示された入力終了ボタン１７４の選択を受け付ける（ステップＳ４２）。
【００９５】
次に、文字抽出部１１２は、テキストデータを記憶部１２０のテキストデータ記憶領域に保存する（ステップＳ４３）。
【００９６】
図６は、単発通話処理の流れを示すフローチャート（その２）である。
【００９７】
次に、通信部１１５は、通信先に対して発信する（ステップＳ４４）。通信部１１５は、ステップＳ３２で入力を受け付けた電話番号に対して発信する。
【００９８】
次に、通信部１１５は、通信先から応答があるか否かを判定する（ステップＳ４５）。
【００９９】
通信部１１５が、通信先から応答があると判定した場合（ステップＳ４５で「ＹＥＳ」の場合）、通信部１１５は、通信先との通信を確立し、通話を開始する（ステップＳ４６）。
【０１００】
次に、音声生成部１１３は、ステップＳ４３でテキストデータ記憶領域に保存されたテキストデータから音声データを生成する（ステップＳ４７）。なお、ステップＳ４５の処理は、通信先との通話開始前に行われてもよい。ステップＳ４３のテキストデータ保存後に行われるものであればよい。
【０１０１】
次に、通信部１１５は、ステップＳ４７で生成した音声データを通信先に送信する。
【０１０２】
次に、通信部１１５は、接続を切断する（ステップＳ４９）。その後、通信部１１５は本フローチャートの処理を終了する。
【０１０３】
通信部１１５が、通信先から応答があると判定しない場合（ステップＳ４５で「ＮＯ」の場合）、通信部１１５は、発信回数が所定数に達したか否かを判定する（ステップＳ５０）。
【０１０４】
通信部１１５が、発信回数が所定数に達したと判定した場合（ステップＳ５０で「ＹＥＳ」の場合）、通信部１１５は本フローチャートの処理を終了する。
【０１０５】
通信部１１５が、発信回数が所定数に達したと判定しない場合（ステップＳ５０で「ＮＯ」の場合）、通信部１１５は、再度通信先に対して発信する（ステップＳ５１）。その後、通信部１１５は処理をステップＳ４５に戻す。
【０１０６】
本実施形態では、単発通話モードの際には読唇に基づいて生成された音声を通信先に送信し、通話を終了する。その際に、読唇に基づいて生成された文字を訂正することができる。これにより、例えば発声できない状況にある話者が応答を必要としないメッセージを送信したい場合等、話者の都合に応じた読唇による通信を実現することができる。
【０１０７】
図７は、連続通話モード中のＳＯＳ通信処理の流れを示すフローチャートである。ＳＯＳ通信とは、読唇により抽出した文字が、ＳＯＳ設定情報１２１に予め設定されたメッセージと対応する場合に、所定の連絡先に通知することを示す。本フローチャートによる処理は、後述する読唇通信設定画面においてＳＯＳ通信がＯＮに設定されており、かつ連続通話モードにおいて通信先との通話が行われている状態で実行される。なお、連続通話モードにおいて通信先との通話が行われていない場合は、後述する単発通話モード中のＳＯＳ通信処理と同様の処理が行われる。タッチパネル１３８には、読唇画面Ａ１６０が表示されている。
【０１０８】
まず、ＳＯＳ発信指示受付部１１７が、読唇画面Ａ１６０のテキスト表示領域１６３の選択を受け付ける（ステップＳ６１）。
【０１０９】
次に、文字抽出部１１２は、画像取得部１１１が取得した画像に基づいて、予め定められた一定時間以上話者が口を閉じた状態であるか否かを判定する（ステップＳ６２）。この判定は、仮にテキスト表示領域１６３の選択が話者の意図しないものであった場合に、予測しないＳＯＳ通信が発信されることを防ぐために行われる。なお、判定に用いられる口の形は閉じた状態に限られず、予め定められた所定の形であればよい。
【０１１０】
文字抽出部１１２が、一定時間以上話者が口を閉じた状態であると判定しない場合（ステップＳ６２で「ＮＯ」の場合）、文字抽出部１１２は、本フローチャートの処理を終了する。具体的には、文字抽出部１１２が、テキスト表示領域１６３選択後所定時間内に、一定時間口を閉じた状態であることを検出しない場合に、本フローチャートの処理を終了する。テキスト表示領域１６３の選択は、ＳＯＳ通信が意図されて行われたものではなく、例えば頬が当たるなどして偶然選択されたものと考えられるので、携帯端末装置１０では連続通話モードによる通話が引き続き行われる。
【０１１１】
文字抽出部１１２が、一定時間以上話者が口を閉じた状態であると判定した場合（ステップＳ６２で「ＹＥＳ」の場合）、文字抽出部１１２は、画像取得部１１１が取得した画像に基づいて、唇の動きを検出したか否かを判定する（ステップＳ６３）。文字抽出部１１２が、唇の動きを検出したと判定しない場合（ステップＳ６３で「ＮＯ」の場合）、文字抽出部１１２は処理を再度ステップＳ６３の処理を行い、唇の動きを検出するまで画像を監視する。
【０１１２】
文字抽出部１１２が、唇の動きを検出したと判定した場合（ステップＳ６３で「ＹＥＳ」の場合）、文字抽出部１１２は、取得画像からテキストデータを作成する（ステップＳ６４）。
【０１１３】
次に、文字抽出部１１２は、ＳＯＳ設定情報１２１の読唇パターンを検出したか否かを判定する（ステップＳ６５）。具体的には、文字抽出部１１２は、ステップＳ６４で作成したテキストデータを用いてＳＯＳ設定情報１２１を参照し、ＳＯＳ設定情報１２１の読唇パターンのいずれかがテキストデータに含まれるか否かを判定する。例えば、作成したテキストデータに、「たすけて」という文字が含まれる場合、文字抽出部１１２は、図２に示すＳＯＳ設定情報１２１の読唇パターンの一つがテキストデータに含まれると判定する。
【０１１４】
文字抽出部１１２が、ＳＯＳ設定情報１２１の読唇パターンを検出したと判定しない場合（ステップＳ６５で「ＮＯ」の場合）、文字抽出部１１２は本フローチャートの処理を終了する。
【０１１５】
文字抽出部１１２が、ＳＯＳ設定情報１２１の読唇パターンを検出したと判定した場合（ステップＳ６５で「ＹＥＳ」の場合）、通信部１１５は、継続している接続を切断する。（ステップＳ６６）。
【０１１６】
次に、通信部１１５は、ＳＯＳ設定情報１２１のＳＯＳ通信先に発信する（ステップＳ６７）。具体的には、通信部１１５は、ステップＳ６４で作成したテキストデータに含まれる読唇パターンとＳＯＳ設定情報１２１において関連付けられたＳＯＳ通信先に対して発信する。上述の例で説明すると、テキストデータに「たすけて」という文字が含まれるため、通信部１１５は図２のＳＯＳ設定情報１２１において読唇データ「たすけて」と関連付けられたＳＯＳ通信先である「000-0000-****」に対して発信を行う。
【０１１７】
次に、通信部１１５は、発信番号との通話を開始する（ステップＳ６８）。その後、通信部１１５は本フローチャートの処理を終了する。なお、通話は通信先の応答があった場合に開始され、通信先の応答がない場合は、通信部１１５は通話を行わずに本フローチャートの処理を終了する。ＳＯＳ通信先への発信は一度に限定されるものではなく、予め定められた一定数、ＳＯＳ通信先への発信を行うものであってもよい。
【０１１８】
本実施形態により、通信先との会話中に緊急な事情が発生した場合に、直ちに接続を切断してＳＯＳの通信先に発信を行う。この際、話者は発声する必要がないため、周囲に気づかれずにＳＯＳ通信先に発信することができる。
【０１１９】
図８は、単発通話モード中のＳＯＳ通信処理の流れを示すフローチャートである。本フローチャートによる処理は、後述する読唇通信設定画面１８０においてＳＯＳ通信がＯＮに設定されており、かつ単発通話モードであって、通信先との通話が行われていない状態で実行される。タッチパネル１３８には、読唇画面Ｂ１７０が表示されている。なお、単発通話モードであって通信先との間で通話が行われている場合は、図７に示す連続通話モード中のＳＯＳ通信処理と同様の処理が行われる。
【０１２０】
まず、ＳＯＳ発信指示受付部１１７は、読唇画面Ｂ１７０のテキスト表示領域１７３（長押し）の選択を受け付ける（ステップＳ７１）。ＳＯＳ発信指示受付部１１７は、予め定められた一定時間以上継続してテキスト表示領域１７３が選択された場合に、ＳＯＳ発信指示を受け付ける。
【０１２１】
次に、文字抽出部１１２は、画像取得部１１１が取得した画像に基づいて、一定時間以上口を閉じた状態であるか否かを判定する（ステップＳ７２）。ステップＳ７２からステップＳ７５までの間で行われる処理は、ステップＳ６２からステップＳ６５までの間で行われる処理と同様であるため、説明を省略する。
【０１２２】
次に、通信部１１５は、ＳＯＳ設定情報１２１のＳＯＳ通信先に発信する（ステップＳ７６）。ステップＳ７６及びステップＳ７７で行われる処理については、ステップＳ６７及びステップＳ６８で行われる処理と同様であるため、説明を省略する。
【０１２３】
本実施形態では、単発通話モードであっても、所定のメッセージが読唇されることによって登録された通信先に対して発信が行われる。例えば単発通話モードで読唇を行っている最中に緊急の事情が発生した場合等に、至急予め登録された通信先に発信することができ、利便性が向上する。
【０１２４】
図１３は、読唇通信設定画面１８０の一例を示す図である。図９に示すホーム画面１４０において、設定ボタン１４２が選択された場合に、本図の読唇通信設定画面１８０に表示画面が遷移する。
【０１２５】
読唇通信設定画面１８０は、設定項目として、リトライ設定ボタン１８１と、ＳＯＳ設定ボタン１８２と、読唇履歴表示ボタン１８３とを含む。
【０１２６】
リトライ設定ボタン１８１は、単発通話モードにおいて通信先に発信が行われたにも関わらず、通信先からの応答がない場合に、再発信を行う回数の上限を設定するためのボタンである。リトライ設定ボタン１８１を選択することにより、図示しないリトライ回数入力画面が表示され、リトライ回数の上限の設定が可能となる。
【０１２７】
ＳＯＳ設定ボタン１８２は、ＳＯＳ設定情報１２１を生成する場合に選択を受け付けるボタンである。ＳＯＳ設定ボタン１８２が選択されると、後述するＳＯＳ設定画面１９０へと表示画面が遷移する。
【０１２８】
読唇履歴表示ボタン１８３は、文字抽出部１１２により抽出された文字の履歴を表示するためのボタンである。読唇履歴表示ボタン１８３が選択されると、後述する読唇履歴表示画面へと表示画面が遷移する。
【０１２９】
図１４は、ＳＯＳ設定画面１９０の一例を示す図である。ＳＯＳ設定画面１９０は、ＯＮ／ＯＦＦボタン１９１と、ＳＯＳ設定表示領域１９２とを含む。
【０１３０】
ＯＮ／ＯＦＦボタン１９１は、ＳＯＳ通信処理を行うか否かの選択を受け付けるボタンである。ＯＮ／ＯＦＦボタン１９１がＯＦＦに設定されている場合は、図７及び図８に示すＳＯＳ通信処理は開始されない。
【０１３１】
ＳＯＳ設定表示領域１９２は、ＳＯＳ設定情報１２１を表示する領域である。ＳＯＳ設定画面１９０では、ＳＯＳ設定情報１２１の生成及び編集が可能である。例えば、ＳＯＳ設定画面１９０において新規登録ボタンを選択することで、新たな読唇パターンとＳＯＳ通信先との組み合わせが入力可能となる。変更ボタンを選択することで、現在表示されているＳＯＳ設定情報１２１の編集が可能となる。入力部１１６は、新規登録又は編集された情報を用いてＳＯＳ設定情報１２１を生成する。
【０１３２】
図１５は、読唇履歴表示画面２００の一例を示す図である。読唇履歴表示画面２００には、記憶部１２０のテキストデータ記憶領域に格納された文字の履歴情報が表示される。なお、テキストデータが訂正された場合は、訂正された文字が表示される。
【０１３３】
読唇履歴表示画面２００は、項番と、モード表示領域（図１５において「Ｍ」と表示）、日付と、時刻と、リトライ回数と、テキストと、削除入力受付領域とを含む。
【０１３４】
項番は、履歴情報を識別するための識別情報である。モード表示領域は、読唇又はテキスト訂正画面により入力された文字が連続通話モードにおいて入力されたのか、又は単発通話モードで入力されたのかを示す情報が表示される。日付及び時刻は、文字が入力された日付及び時刻が表示される。リトライ回数は、入力された文字について通信先に発信された回数が表示される。例えば図１５の項番「１」の履歴情報において、リトライ回数は「３／５」と格納されているが、これは上述の読唇通信設定画面１８０において設定されたリトライ回数の上限が「５」であるのに対し、「３」回発信された後に通信先に送信されたか、又は発信がキャンセルされたことを示す。
【０１３５】
テキストには、入力された文字が表示される。削除入力受付領域は、表示された履歴情報の削除指示を受け付けるための領域であって、例えば削除するテキストの選択を受け付けるチェックボックスが表示される。削除入力受付領域において削除するテキストが選択され、実行ボタンが選択されると、チェックのついた履歴情報が削除される。
【０１３６】
以上、本実施形態では、発話の画像に基づいて文字の抽出が行われ、抽出された文字を用いて生成された音声を通信先に送信することにより、発声をせずとも意図した内容を相手に伝えることができる。また、通話中に緊急の事情が生じた場合であっても、予め登録された通信先に直ちに連絡することができ、利便性が向上する。
【０１３７】
以上、本発明に係る実施形態の説明を行ってきたが、本発明は、上記した実施形態の一例に限定されるものではなく、様々な変形例が含まれる。
【０１３８】
例えば、本携帯端末装置１０は、読唇により抽出した文字に基づいてＥメールを生成し、通信先に送信するものであってもよい。
【０１３９】
また例えば、文字抽出部１１２は、画像取得部１１１が取得した画像に基づいて文字を抽出するものであったが、例えばさらに音声取得部１１８が取得した音声を補助的に用いて、文字を抽出するものであってもよい。これにより、発話画像のみに基づいて文字を抽出する場合に比べて、さらに抽出の精度が向上する。
【０１４０】
また例えば、上記した実施形態の一例は、本発明を分かり易くするために詳細に説明したものであり、本発明は、ここで説明した全ての構成を備えるものに限定されない。また、ある実施形態の一例の構成の一部を他の一例の構成に置き換えることが可能である。また、ある実施形態の一例の構成に他の一例の構成を加えることも可能である。また、各実施形態の一例の構成の一部について、他の構成の追加・削除・置換をすることもできる。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、図中の制御線や情報線は、説明上必要と考えられるものを示しており、全てを示しているとは限らない。ほとんど全ての構成が相互に接続されていると考えてもよい。
【０１４１】
また、上記の携帯端末装置１０の機能構成は、理解を容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。携帯端末装置１０の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
【符号の説明】
【０１４２】
１０：携帯端末装置、１１０：制御部、１１１：画像取得部、１１２：文字抽出部、１１３：音声生成部、１１４：表示部、１１５：通信部、１１６：入力部、１１７：ＳＯＳ発信指示受付部、１１８：音声取得部、１２０：記憶部、１２１：ＳＯＳ設定情報、１３０：ＣＰＵ、１３１：補助記憶装置、１３２：ネットワークＩ／Ｆ、１３３：メモリ、１３４：入力Ｉ／Ｆ、１３５：出力Ｉ／Ｆ、 １３６：タッチパネル、１３７：カメラユニット、１３８：ディスプレイ、１４０：ホーム画面、１４１：通話モード選択領域、１４２：設定ボタン、１５０：発信画面、１５１：通話モード表示領域、１５２：番号選択領域、１５３：発信ボタン、１６０：読唇画面Ａ、１６１：通話種別表示領域、１６２：画像表示領域、１６３：テキスト表示領域、１６４：終了ボタン、１７０：読唇画面Ｂ、１７１：通話種別表示領域、１７２：画像表示領域、１７３：テキスト表示領域、１７４：入力終了ボタン、１７５：キャンセルボタン、１８０：読唇通信設定画面、１８１：リトライ設定ボタン、１８２：ＳＯＳ設定ボタン、１８３：読唇履歴表示ボタン、１９０：ＳＯＳ設定画面、１９１：ＯＮ／ＯＦＦボタン、１９２：ＳＯＳ設定表示領域、２００：読唇履歴表示画面
【図１】
2015115926.tif 000003
【図２】
2015115926.tif 000004
【図３】
2015115926.tif 000005
【図４】
2015115926.tif 000006
【図５】
2015115926.tif 000007
【図６】
2015115926.tif 000008
【図７】
2015115926.tif 000009
【図８】
2015115926.tif 000010
【図９】
2015115926.tif 000011
【図１０】
2015115926.tif 000012
【図１１】
2015115926.tif 000013
【図１２】
2015115926.tif 000014
【図１３】
2015115926.tif 000015
【図１４】
2015115926.tif 000016
【図１５】
2015115926.tif 000017