(57)【要約】【課題】  会話及び手の不自由な人であっても、その人の意思の疎通が正しくできるように支援ができるようにする。【解決手段】  人の顔を撮像し、人の顔画像信号を得、その顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかの識別結果を表している口唇パターン識別結果表示情報を得、その口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文を表示する。【選択図】図１
2005148959.tif 000002
【特許請求の範囲】
【請求項１】
人の顔を撮像し、人の顔画像信号を得る撮像手段と、
上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、
上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文を表示する会話文表示手段とを有することを特徴とする意思疎通支援装置。
【請求項２】
人の顔を撮像し、人の顔画像信号を得る撮像手段と、
上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、
上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文に対する選択表示を伴っている会話文列を視覚表示し、その会話文列中の選択表示されている会話文を音声表示する会話文表示手段とを有することを特徴とする意思疎通支援装置。
【請求項３】
人の顔を撮像し、人の顔画像信号を得る撮像手段と、
上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、
上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文に対する選択表示を伴っている会話文列を、その会話文列中の選択表示されている会話文を是認するか否かを表している確認文とともに視覚表示し、（ｉ）その視覚表示が得られてから、上記口唇パターン識別結果表示情報がいままでの内容を上記視覚表示開始時点から予定の時間を経過する時点まで持続すれば、人が上記会話文列中の選択表示されている会話文を是認しているとして、上記選択表示されている会話文を音声表示し、（ｉｉ）上記視覚表示が得られてから、上記口唇パターン識別結果表示情報の内容が上記予定の時間を経過する前の時点から変われば、人が上記会話文列中の選択表示されている会話文を是認していないとして、上記会話文列と同様の新たな会話文を、上記確認文とともに視覚表示する会話文表示手段とを有することを特徴とする意思疎通支援装置。
【請求項４】
人の顔を撮像し、人の顔画像信号を得る撮像手段と、
上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、
上記顔画像信号から、その画像表示画面上でみた明度ヒストグラムを表している明度ヒストグラム表示情報を生成する明度ヒストグラム表示情報生成手段と、
上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報と上記明度ヒストグラム表示情報生成手段から得られる明度ヒストグラム表示情報とを用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文に対する選択表示を伴っている会話文列を、その会話文列中の選択表示されている会話文を是認するか否かを表している確認文とともに視覚表示し、（ｉ）その視覚表示が得られてから、上記口唇パターン識別結果表示情報がいままでの内容を上記視覚表示開始辞典から予定の時間を経過する時点まで持続すれば、人が上記会話文列中の選択表示されている会話文を是認しているとして、上記選択表示されている会話文を音声表示し、（ｉｉ）上記視覚表示が得られてから、上記明度ヒストグラム表示情報の内容が予定の閾値以上に変化すれば、人が上記会話文列中の選択表示されている会話文を是認していないとして、上記会話文列と同様の新たな会話文を、上記確認文とともに視覚表示する会話文表示手段とを有することを特徴とする意思疎通支援装置。
【請求項５】
請求項１、請求項２または請求項３記載の意思疎通支援装置において、
上記口唇パターン識別手段が、
上記顔画像信号から、その画像表示画面上でみた明度ヒストグラムを表している明度ヒストグラム表示情報を生成する明度ヒストグラム表示情報生成手段と、
上記明度ヒストグラム表示情報を用い、上記顔画像信号の画像表示画面上でみた明度特徴を解析し、その解析された明度特徴を表している明度特徴表示情報を生成する明度特徴解析手段と、
上記顔画像信号の明度特徴に対する複数の参照用明度特徴をそれぞれ表している複数の参照用明度特徴表示情報を記憶している参照用明度特徴表示情報記憶手段と、
上記明度特徴表示情報と上記複数の参照用明度特徴表示情報とを用い、上記顔画像信号の明度特徴が上記複数の参照用明度特徴中のいずれの内容を一致してまたは最も近いとして満足しているかを識別し、その識別結果を上記口唇パターン識別結果表示情報として生成する明度特徴識別手段とを有することを特徴とする意思疎通支援装置。
【請求項６】
請求項４記載の意思疎通支援装置において、
上記口唇パターン識別手段が、
上記明度ヒストグラム表示情報生成手段から得られる明度ヒストグラム表示情報を用い、上記顔画像信号の画像表示画面上でみた明度特徴を解析し、その解析された明度特徴を表している明度特徴表示情報を生成する明度特徴解析手段と、
上記顔画像信号の明度特徴に対する複数の参照用明度特徴をそれぞれ表している複数の参照用明度特徴表示情報を記憶している参照用明度特徴表示情報記憶手段と、
上記明度特徴表示情報と上記複数の参照用明度特徴表示情報とを用い、上記顔画像信号の明度特徴が上記複数の参照用明度特徴中のいずれの内容を一致してまたは最も近いとして満足しているかを識別し、その識別結果を上記口唇パターン識別結果表示情報として生成する明度特徴識別手段とを有することを特徴とする意思疎通支援装置。
【請求項７】
請求項５または請求項６記載の意思疎通支援装置において、
上記明度特徴解析手段における顔画像信号の明度特徴の解析を、上記明度ヒストグラム表示情報が表している明度ヒストグラム上でみた予定の明度範囲での画素数の総和がどのような値をとるのかの解析を以って行うことを特徴とする意思疎通支援装置。
【請求項８】
請求項１、請求項２、請求項３または請求項４記載の意思疎通支援装置において、
上記撮像手段から得られる顔画像信号から、人の口唇領域の画像信号を口唇領域画像信号として抽出する口唇領域画像信号抽出手段を有し、
上記口唇パターン識別手段において用いる上記撮像手段から得られる顔画像信号を、上記口唇領域画像信号抽出手段で抽出された口唇領域画像信号とすることを特徴とする意思疎通支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、身体の自由な動きのとれず且つ会話及び手の不自由な人であっても、その人の意思の疎通ができるように支援することができる意思疎通支援装置に関する。
【背景技術】
【０００２】
従来、互いに異なる疎通せんとする人の意思をそれぞれ表している複数の会話文が、人に対して、順次視覚表示されるようになされ、そして、人が意図する疎通せんとする意思を表している会話文が視覚表示されるとき、人が、その人の身体上に予め装着されているセンサに対して、それから予定のセンサ出力が出力されるように操作することによって、そのセンサからセンサ出力が出力されるようになされ、それによって、いま人が意図する疎通せんとする意思を表している会話文が視覚または音声表示されるようになされている、という意思疎通支援装置（これを第１の意思疎通支援装置と称す）が提案されている。
また、従来、人の視線を検出し、そして、その検出出力に応じた、予め用意された互いに異なる疎通せんとする人の意思を表している複数の会話文中の人が意図する意思を表している会話文が、視覚または音声表示されるようになされている、という意思疎通支援装置（これを第２の意思疎通支援装置と称す）も提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した従来の第１の意思疎通支援装置の場合、人が意図する疎通せんとする人の意思を表している会話文を視覚または音声表示するにつき、人に、その人の身体にセンサを予め装着させることを要するとともに、そのように人の身体に装着されたセンサを操作させることを要し、そこに、人に負担をかけさせるとともに、人の操作誤りが生じたりして、人が意図する意思を正しく疎通させることができなかったりする、という欠点を有していた。
また、上述した従来の第２の意思疎通支援装置の場合、人の視線の検出が、人の意図的な視線以外に人の非意図的な視線まで検出されるのを余儀なくされるため、人が意図する意思を表している会話文を正しく視覚または音声表示させることができなかったりし、よって人が意図する意思を正しく疎通させることができなかったりし、また、それを回避せんとすれば、人に非意図的な視線をとることのないように強いたりして、人に負担をかけたりする、という欠点を有していた。
よって、本発明は、上述した欠点のない新規な意思疎通支援装置を提案せんとするものである。
【課題を解決するための手段】
【０００４】
本願第１番目の発明による意思疎通支援装置は、（ａ）  人の顔を撮像し、人の顔画像信号を得る撮像手段と、（ｂ）上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、（ｃ）上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文を表示する会話文表示手段とを有する。
【０００５】
本願第２番目の発明による意思疎通支援装置は、（ａ）人の顔を撮像し、人の顔画像信号を得る撮像手段と、（ｂ）上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、（ｃ）上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文に対する選択表示を伴っている会話文列を視覚表示し、その会話文列中の選択表示されている会話文を音声表示する会話文表示手段とを有する。
【０００６】
本願第３番目の発明による意思疎通支援装置は、（ａ）人の顔を撮像し、人の顔画像信号を得る撮像手段と、（ｂ）上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、（ｃ）上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文に対する選択表示を伴っている会話文列を、その会話文列中の選択表示されている会話文を是認するか否かを表している確認文とともに視覚表示し、（ｉ）その視覚表示が得られてから、上記口唇パターン識別結果表示情報がいままでの内容を上記視覚表示開始時点から予定の時間を経過する時点まで持続すれば、人が上記会話文列中の選択表示されている会話文を是認しているとして、上記選択表示されている会話文を音声表示し、（ｉｉ）上記視覚表示が得られてから、上記口唇パターン識別結果表示情報の内容が上記予定の時間を経過する前の時点から変われば、人が上記会話文列中の選択表示されている会話文を是認していないとして、上記会話文列と同様の新たな会話文を、上記確認文とともに視覚表示する会話文表示手段とを有する。
【０００７】
本願第４番目の発明による意思疎通支援装置は、（ａ）人の顔を撮像し、人の顔画像信号を得る撮像手段と、（ｂ）上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、（ｃ）上記顔画像信号から、その画像表示画面上でみた明度ヒストグラムを表している明度ヒストグラム表示情報を生成する明度ヒストグラム表示情報生成手段と、（ｄ）上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報と上記明度ヒストグラム表示情報生成手段から得られる明度ヒストグラム表示情報とを用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文に対する選択表示を伴っている会話文列を、その会話文列中の選択表示されている会話文を是認するか否かを表している確認文とともに視覚表示し、（ｉ）その視覚表示が得られてから、上記口唇パターン識別結果表示情報がいままでの内容を上記視覚表示開始辞典から予定の時間を経過する時点まで持続すれば、人が上記会話文列中の選択表示されている会話文を是認しているとして、上記選択表示されている会話文を音声表示し、（ｉｉ）上記視覚表示が得られてから、上記明度ヒストグラム表示情報の内容が予定の閾値以上に変化すれば、人が上記会話文列中の選択表示されている会話文を是認していないとして、上記会話文列と同様の新たな会話文を、上記確認文とともに視覚表示する会話文表示手段とを有する。
【０００８】
なお、本願第１、第２または第３番目の発明による意思疎通支援装置において、上記口唇パターン識別手段が、（ａ）上記顔画像信号から、その画像表示画面上でみた明度ヒストグラムを表している明度ヒストグラム表示情報を生成する明度ヒストグラム表示情報生成手段と、（ｂ）上記明度ヒストグラム表示情報を用い、上記顔画像信号の画像表示画面上でみた明度特徴を解析し、その解析された明度特徴を表している明度特徴表示情報を生成する明度特徴解析手段と、（ｃ）上記顔画像信号の明度特徴に対する複数の参照用明度特徴をそれぞれ表している複数の参照用明度特徴表示情報を記憶している参照用明度特徴表示情報記憶手段と、（ｄ）上記明度特徴表示情報と上記複数の参照用明度特徴表示情報とを用い、上記顔画像信号の明度特徴が上記複数の参照用明度特徴中のいずれの内容を一致してまたは最も近いとして満足しているかを識別し、その識別結果を上記口唇パターン識別結果表示情報として生成する明度特徴識別手段とを有し、上記明度特徴解析手段における顔画像信号の明度特徴の解析を、上記明度ヒストグラム表示情報が表している明度ヒストグラム上でみた予定の明度範囲での画素数の総和がどのような値をとるのかの解析を以って行うようにするのを可とする。
【０００９】
また、本願第４番目の発明による意思疎通支援装置において、上記口唇パターン識別手段が、（ａ）上記明度ヒストグラム表示情報生成手段から得られる明度ヒストグラム表示情報を用い、上記顔画像信号の画像表示画面上でみた明度特徴を解析し、その解析された明度特徴を表している明度特徴表示情報を生成する明度特徴解析手段と、（ｂ）上記顔画像信号の明度特徴に対する複数の参照用明度特徴をそれぞれ表している複数の参照用明度特徴表示情報を記憶している参照用明度特徴表示情報記憶手段と、（ｃ）上記明度特徴表示情報と上記複数の参照用明度特徴表示情報とを用い、上記顔画像信号の明度特徴が上記複数の参照用明度特徴中のいずれの内容を一致してまたは最も近いとして満足しているかを識別し、その識別結果を上記口唇パターン識別結果表示情報として生成する明度特徴識別手段とを有し、上記明度特徴解析手段における顔画像信号の明度特徴の解析を、上記明度ヒストグラム表示情報が表している明度ヒストグラム上でみた予定の明度範囲での画素数の総和がどのような値をとるのかの解析を以って行うようにするのを可とする。
さらに、本願第１、第２、第３または第４番目の発明による意思疎通支援装置において、上記口唇パターン識別手段において用いる上記撮像手段から得られる顔画像信号を、上記撮像手段から得られる顔画像信号から、人の口唇領域の画像信号を口唇領域画像信号として抽出する口唇領域画像信号抽出手段で抽出された口唇領域画像信号とするようにするのを可とする。
【発明の効果】
【００１０】
本願第１番目の発明による意思疎通支援装置によれば、撮像手段と口唇パターン識別手段と会話文表示手段とを有する構成で、人が意図的にとる口唇パターンに応じた会話文を、人が意図する意思として、正しく表示することができ、そこに、人に、意図的な口唇パターンをとらせる負担をかけさせるとしても、人にそれ以上の負担をかけさせなくてすみ、よって、人が意図する意思を、容易に、正しく疎通させることができる。
【００１１】
また、本願第２番目の発明による意思疎通支援装置によれば、撮像手段と口唇パターン識別手段と会話文表示手段とを有する構成で、視覚表示された複数の会話文を有する会話文列中の人が意図的にとる口唇パターンに応じて選択された会話文を、人が意図する意思として、正しく表示することができ、そこに、人に、意図的な口唇パターンをとらせる負担をかけさせるとしても、人にそれ以上の負担をかけさせなくてすみ、よって、人が意図する意思を、容易に、正しく疎通させることができる。
【００１２】
また、本願第３番目の発明による意思疎通支援装置によれば、撮像手段と口唇パターン識別手段と会話文表示手段とを有する構成で、視覚表示された複数の会話文を有する会話文列中の人が意図的にとる口唇パターンに応じて選択された会話文を、視覚表示された確認文による是認の下で、人が意図する意思として、正しく表示することができ、そこに、人に、意図的な口唇パターンをとらせる負担をかけさせるとしても、人にそれ以上の負担をかけさせなくてすみ、よって、人が意図する意思を、容易に、正しく疎通させることができる。
【００１３】
さらに、本願第４番目の発明による意思疎通支援装置によれば、撮像手段と口唇パターン識別手段と明度ヒストグラム表示情報生成手段と会話文表示手段とを有する構成で、視覚表示された複数の会話文を有する会話文列中の人が意図的にとる口唇パターンに応じて選択された会話文を、視覚表示された確認文による是認の下で、人が意図する意思として、正しく表示することができ、そこに、人に、意図的な口唇パターンをとらせる負担をかけさせるとしても、人にそれ以上の負担をかけさせなくてすみ、よって、人が意図する意思を、容易に、正しく疎通させることができる。
【実施例１】
【００１４】
次に、図を伴って、本発明による意思疎通支援装置の第１の実施例を述べよう。
本発明による意思疎通支援装置の第１の実施例においては、スタートボタンＳＢを操作することによって得られるスタート信号ＳＴに基づき、動作を開始し、次で、終了ボタンＥＢを操作することによって得られる終了信号ＥＤに基づき動作を終了する、コンピュータを用いて構成された意思疎通支援手段Ｇを有する。
【００１５】
［撮像手段］
この意思疎通支援手段Ｇは、図１に示すように、人Ｍの顔Ｆを撮像し、人Ｍの顔画像信号Ｓ１を得る撮像手段Ｑ１を有する。この撮像手段Ｑ１としては、いわゆるビデオカメラ、テレビカメラと称されているようなそれ自体公知の種々の撮像手段を用い得る。
【００１６】
［口唇領域画像抽出手段］
また、意思疎通支援手段Ｇは、図１に示すように、上述した撮像手段Ｑ１から得られる顔画像信号Ｓ１から、人Ｍの口唇のパターン（これを一般に口唇パターンＤＰとする）を含む領域（これを一般に口唇領域ＥＬとする）の画像を表している口唇領域画像信号Ｓ２を抽出する口唇領域画像抽出手段Ｑ２を有する。
【００１７】
ここで、口唇パターンＤＰは、人Ｍが、口を開けたり、歯をみせたり、口をつぼめたり、舌を出したりする、ということをせずに、自然の口の状態を保っている場合に得られる、図９に示すような、「自然状態のときの口唇パターンＤＰ−Ａ」をとる外、例えば、
（１）人Ｍに、例えば（ｉ）「あいさつ」、（ｉｉ−１）「おはよう」、（ｉｉ−２）「飲み物が欲しい」、（ｉｉ−３）「トイレに行きたい」、（ｉｉ−４）「外へ行きたい」の表示を看取すれば、「歯を見せずに口を開ける」ということをしなさいと予め言い聞かせておくことによって、人Ｍがそうする場合に得られる、図５Ａに示すような、「歯を見せずに口を開けているときの口唇パターンＤＰ−１」とか、
（２）人Ｍに、例えば（ｉ）「飲食関係」、（ｉｉ−１）「こんにちは」、（ｉｉ−２）「お腹が空いた」、（ｉｉ−３）「あつい」、（ｉｉ−４）「テレビを見たい」の表示を看取すれば、「歯を見せる」ということをしなさいと予め聞かせておくことによって、人Ｍがそうする場合に得られる、図６Ａに示すような、「歯を見せているときの口唇パターンＤＰ−２」とか、
（３）人Ｍに、例えば（ｉ）「訴え」、（ｉｉ−１）「こんばんは」、（ｉｉ−２）「お菓子が欲しい」、（ｉｉ−２）「さむい」、（ｉｉ−４）「音楽が聴きたい」の表示を看取すれば、「口をつぼめる」ということをしなさいと予め聞かせておくことによって、人Ｍがそうする場合に得られる、図７Ａに示すような、「口をつぼめているときの口唇パターンＤＰ−３」とか、
（４）人Ｍに、例えば（ｉ）「他の要望」、（ｉｉ−１）「ありがとう」、（ｉｉ−２）「何も食べたくない」、（ｉｉ−３）「痛い」、（ｉｉ−４）「眠りたい」の表示を看取すれば、「舌を出す」ということをしなさいと予め聞かせておくことによって、人Ｍがそうする場合に得られる、図８Ａに示すような、「舌を出しているときの口唇パターンＤＰ−４」とか、
の口唇の輪郭形状からみてもまた口唇の輪郭内の模様からみても互いに異なるパターンをとり得ることは注意すべきである。
【００１８】
口唇領域画像抽出手段Ｑ２としては、図２に示すような、
（イ）画像信号Ｖ１０を用い、その画像表示画面でみて、その画像表示画面内に表されているエッジを検出し、その検出されたエッジを表しているエッジ表示情報Ｈ２１を得るエッジ検出手段Ｋ２１と、
（ロ）画像信号Ｖ１０及びエッジ検出手段Ｋ２１から得られるエッジ表示情報Ｈ２１を用い、画像信号Ｖ１０の表示画面でみて、エッジ表示情報Ｈ２１が表しているエッジ中から、抽出画像信号Ｈ２０の画像表示画面上で予定の面積範囲内の面積を有する閉領域を画成することができるエッジ群を選択し、その選択されたエッジ群を表している選択エッジ群表示情報Ｈ２２を得るエッジ群選択手段Ｋ２２と、
（ハ）画像信号Ｖ１０とエッジ群選択手段Ｋ２２から得られる選択エッジ群表示情報Ｈ２２とを用い、画像信号Ｖ１０の画像表示画面でみて、その画像表示画面内でのエッジ群選択手段Ｋ２２から得られる選択エッジ群表示情報Ｈ２２が表しているエッジ群が画成する閉領域に輪郭が外接する長方形またはそれより一回り大きな長方形を生成し、その長方形を表している長方形表示情報Ｈ２３を生成する長方形生成手段Ｋ２３と、
（ニ）画像信号Ｖ１０と長方形生成手段Ｋ２３で生成される長方形表示情報Ｈ２３とを用い、画像信号Ｖ１０から、その画像表示画面でみて、その画像表示画面内の長方形生成手段Ｋ２３で生成された長方形表示情報Ｈ２３が表している長方形の領域の画像を抽出し、その抽出された長方形の領域の画像を表している長方形領域画像信号Ｈ２４を抽出画像信号Ｖ２０として生成する長方形領域抽出手段Ｋ２４とを有する、それ自体公知のコンピュータを用いた画像抽出手段Ｋ２０を用い得る。
ただし、この場合、
（イ）′上記（イ）で用いる画像信号Ｖ１０を、撮像手段Ｑ１から得られる顔画像信号Ｓ１とし、
（ロ）′上記（ロ）での予定の面積範囲内の面積を、顔画像信号Ｓ１の画像表示画面でみて、その画像表示画面が表わしている口唇パターンＤＰがとる口唇パターン中の最小口唇パターンまたはそれよりも一周り小さな口唇パターンの面積から、口唇パターンＤＰがとる口唇パターン中の最大口唇パターンまたはそれよりも一周り大きな口唇パターンの面積までの面積が含まれる面積範囲の面積として、用いる。
【００１９】
口唇領域画像抽出手段Ｑ２として上述した画像抽出手段Ｋ２０を用いれば、
（イ）エッジ検出手段Ｋ２１によって、顔画像信号Ｓ１の画像表示画面でみてその画像表示画面内の人Ｍの口唇の輪郭線上においてエッジを検出することができ、よって、そのように検出されるエッジを表わしているエッジ表示情報Ｈ２１′を、エッジ表示情報Ｈ２１として得ることができ、また、
（ロ）エッジ群選択手段Ｋ２２によって、顔画像信号Ｓ１の画像表示画面でみて、エッジ検出手段Ｋ２１からエッジ表示情報Ｈ２１として得られるエッジ表示情報Ｈ２１′が表しているエッジ中から、顔画像信号Ｓ１の画像表示画面内で、口唇パターンＤＰがとる口唇パターンの面積を有する閉領域を画成することができる、というエッジ群を選択することができ、よって、そのように選択されるエッジ群を表わしている選択エッジ群表示情報Ｈ２２′を、選択エッジ群表示情報Ｈ２２として得ることができ、さらに、
（ハ）長方形生成手段Ｋ２３によって、顔画像信号Ｓ１の画像表示画面でみて、その画像表示画面上で、エッジ群選択手段Ｋ２２から選択エッジ群表示情報Ｈ２２として得られる選択エッジ群表示情報Ｈ２２′が表しているエッジ群が画成する閉領域に外接する長方形またはそれより一回り大きな長方形を生成することができ、そして、そのように生成される長方形の領域内に口唇パターンＤＰがとる口唇パターンが含まれ、よって、そのように生成される口唇パターンＤＰがとる口唇パターンが含まれる長方形を表わしている長方形表示情報Ｈ２３′を、長方形表示情報Ｈ２３として得ることができ、また、
（ニ）長方形領域抽出手段Ｋ２４によって、顔画像信号Ｓ１から、その画像表示画面でみて、その画像表示画面内の長方形生成手段Ｋ２３から長方形表示情報Ｈ２３として得られる長方形表示情報Ｈ２３′が表している口唇パターンＤＰがとる口唇パターンが含まれる長方形の領域の画像、従って口唇領域ＥＬの画像を抽出して得ることができ、よって、そのように抽出される口唇領域ＥＬの画像を表わしている口唇領域画像信号Ｓ２を、長方形領域画像信号Ｈ２４または抽出画像信号Ｖ２０として得ることができる、ということは明らかである。
【００２０】
［口唇パターン識別手段］
さらに、意思疎通支援手段Ｇは、図１に示すように、上述した口唇領域画像抽出手段Ｑ２から得られる口唇領域画像信号Ｓ２を用い、それが表わしている口唇パターンＤＰが、複数の参照用口唇パターンＲＰ−１、ＲＰ−２、……中のいずれの参照用口唇パターン（これを一般にＲＰとする）に一致するかまたは最も近いかを識別し、その識別結果を表わしている口唇パターン識別結果表示情報Ｓ３を得る口唇パターン識別手段Ｑ３を有する。
【００２１】
ここで、複数の参照用口唇パターンＲＰ−１、ＲＰ−２……は、人Ｍの口唇の輪郭形状からみてもまた口唇の輪郭内の模様からみても互いに異なる標準的な複数の口唇パターンであるが、いま、複数の参照用口唇パターンＲＰ−１、ＲＰ−２……を４つの参照用口唇パターンＲＰ−１、ＲＰ−２、ＲＰ−３及びＲＰ−４とするとき、それら４つの参照用口唇パターンＲＰ−１、ＲＰ−２、ＲＰ−３及びＲＰ−４としては、それぞれ顔画像信号Ｓ１が表わしている口唇パターンＤＰがとり得るとして［口唇領域画像抽出手段］の項で上述した、図５Ａ、図６Ａ、図７Ａ及び図８Ａにそれぞれ示すような４つの口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４の標準的な口唇パターンとし得る。
【００２２】
以下、口唇パターン識別手段Ｑ３における、複数の参照用口唇パターンＲＰ−１、ＲＰ−２……が、４つの参照用口唇パターンＲＰ−１、ＲＰ−２、ＲＰ−３及びＲＰ−４であるとし、そして、それら４つの参照用口唇パターンＲＰ−１、ＲＰ−２、ＲＰ−３及びＲＰ−４が、上述した、図５Ａ、図６Ａ、図７Ａ及び図８Ａにそれぞれ示すような４つの口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４の標準的な口唇パターンであるとして述べる。
【００２３】
口唇パターン識別手段Ｑ３としては、図３に示すような、
（イ）画像信号Ｖ２０を用い、その画像信号Ｖ２０から、その画像表示画面上でみたその画像表示画面の明度ヒストグラム（明度値に対する画素数を表わしている）ＬＨを表わしている明度ヒストグラム表示情報Ｈ３１を生成する明度ヒストグラム表示情報生成手段Ｋ３１と、
（ロ）その明度ヒストグラム表示情報生成手段Ｋ３１で生成される明度ヒストグラム表示情報Ｈ３１を用い、画像信号Ｖ２０の画像表示画面でみたその画像表示画面の明度特徴ＤＬを解析し、その解析された明度特徴ＤＬを表わしている明度特徴表示情報Ｈ３２を生成する明度特徴解析手段Ｋ３２と、
（ハ）複数の参照用明度特徴ＲＬ−１、ＲＬ−２……をそれぞれ表示している複数の参照用明度特徴表示情報Ｈ３３−１、Ｈ３３−２……を記憶している参照用明度特徴表示情報記憶手段Ｋ３３と、
（ニ）明度特徴解析手段Ｋ３２から得られる明度特徴表示情報Ｈ３２と参照用明度特徴表示情報記憶手段Ｋ３３に記憶されている複数の参照用明度特徴表示情報Ｈ３３−１、Ｈ３３−２……とを用い、明度特徴表示情報Ｈ３２が表わしている明度特徴ＤＬが、複数の参照用明度特徴表示情報Ｈ３３−１、Ｈ３３−２……中のいずれの参照用明度特徴表示情報Ｈ３３が表している参照用明度特徴の内容を一致してまたは最も近いとして満足しているかを識別し、その識別結果を表わしている明度特徴識別結果表示情報Ｈ３４を画像識別結果表示情報Ｈ３０として生成する明度特徴識別手段Ｋ３４とを有する、それ自体公知のコンピュータを用いた画像識別手段Ｋ３０を用い得る。
【００２４】
ただし、この場合、
（イ）′上記（イ）における画像信号Ｖ２０を、上述した口唇領域画像抽出手段Ｑ２から得られる口唇領域画像信号Ｓ２とする。また、
（ロ）′上記（ロ）における、画像信号Ｖ２０の画像表示画面でみたその画像表示画面の明度特徴ＤＬの解析を、次に述べるように行う。
【００２５】
すなわち、画像信号Ｖ２０を上述した口唇領域画像信号Ｓ２としている場合、口唇領域画像信号Ｓ２から生成される明度ヒストグラム表示情報Ｈ３１が表わしている明度ヒストグラムLHは、口唇領域画像信号Ｓ２が、（１）図５Ａに示すような口唇パターンＤＰ−１を表わしているか、（２）図６Ａに示すような口唇パターンＤＰ−２を表わしているか、（３）図７Ａに示すような口唇パターンＤＰ−３を表わしているか、（４）図８Ａに示すような口唇パターンＤＰ−４を表わしているかで、互いに異なる明度特徴ＤＬ−１、ＤＬ−２、ＤＬ−３及びＤＬ−４をそれぞれ表わしていることは明らかであるが、いま、明度ヒストグラムLHを、横軸に明度値ＬＶを、縦軸に画素数Nをとって表わし、そして、口唇領域画像信号Ｓ２が、口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４の標準としての参照用口唇パターンRＰ−１、RＰ−２、RＰ−３及びRＰ−４だけを各別に表しているとした場合、明度ヒストグラム表示情報Ｈ３１が表わしている明度ヒストグラムＬＨは、
（１）口唇領域画像信号Ｓ２が参照用口唇パターンＲＰ−１を表わしている場合のみ、図５Ｂに示すような、（ｉ）明度ヒストグラムＬＨ上の、明度値Ｌα（ただし、明度値ＬＶの最小値を０に、最大値を２５５に規定した場合でみて、明度値Lαは、０≦Lα≦５を可とし、望ましくは例えばLα＝０）から、明度値Ｌαよりも大きな明度値Ｌβ（ただし、明度値ＬＶの最小値を同じ０に、最大値を同じ２５５に規定した場合でみて、明度値Lβは、４０≦Lβ≦６０を可とし、望ましくはLβ＝５０）までの明度値範囲Ａでの画素数Nの総和ＳＡ（明度値Lαに対する画素数Nα、明度値L（α＋1）に対する画素数N（α＋１）……明度値Ｌ（β−１）に対する画素数N（β−１）、明度値Ｌβに対する画素数Nβの総和）が、値ＲＳＡＶ−１以下でない、または、（ｉｉ）明度ヒストグラムＬＨ上の、（ア）明度値Ｌαを通る縦線と（イ）明度値Ｌβを通る縦線と（ウ）明度値Ｌαから明度値Ｌβまでの間での各明度値に対する画素数をそれぞれ表わしている多数の点を結んだ包絡線と（エ）横軸線とで囲まれた領域の面積ＧＡが、値ＲＧＡＶ−１以下でない、という参照用明度特徴ＲＬ−１を表わして得られ、
（２）口唇領域画像信号Ｓ２が参照用口唇パターンＲＰ−２を表わしている場合のみ、図６Ｂに示すような、（ａ）（ｉ）上述した画素数の総和ＳＡが、上述した値ＲＳＡＶ−１よりも小さな値ＲＳＡＶ−２以下であり、または、（ｉｉ）上述した面積ＧＡが、上述した値ＲＧＡＶ−１よりも小さな値ＲＧＡＢ−２以下であり、且つ（ｂ）（ｉ）明度ヒストグラムＬＨ上の上述した明度値Ｌβと同じまたはそれに近い明度値Ｌγ（ただし、明度値ＬＶの最小値を同じ０に、最大値を同じ２５５に規定した場合でみて、明度値Ｌγは、２０≦Lγ≦４０を可とし、望ましくは例えばLγ＝３０）から明度値Ｌγよりも大きな明度値Ｌδ（ただし、明度値ＬＶの最小値を同じ０に、最大値を同じ２５５に規定した場合でみて、明度値Ｌδは、８０≦Lδ≦１００を可とし、望ましくは例えばLδ＝９０）までの明度値範囲Ｂでの画素数の総和ＳＢが、値ＲＳＢＶ以下でなく、または、（ｉｉ） 明度ヒストグラムＬＨ上の、（ア）明度値Ｌγを通る縦線と（イ）明度値Ｌδを通る縦線と（ウ）明度値Ｌγから明度値Ｌδまでの間での各明度値に対する画素数をそれぞれ表わしている多数の点を結んだ包絡線と（エ）横軸線とで囲まれた領域の面積ＧＢが、値ＲＧＢＶ以下でない、という参照用明度特徴ＲＬ−２を表わして得られ、
（３）口唇領域画像信号Ｓ２が参照用口唇パターンＲＰ−３を表わしている場合のみ、図７Ｂに示すような、（ａ）（ｉ）上述した画素数の総和ＳＡが、上述した値ＲＳＡＶ−２以下であり、または、（ｉｉ）上述した面積ＧＡが、上述した値ＲＧＡＶ−２以下であり、且つ（ｂ）（ｉ）上述した画素数の総和ＳＢが、値ＲＳＢＶ以下であり、または、（ｉｉ）上述した面積ＧＢが、上述した値ＲＧＢＶ以下である、という参照用明度特徴ＲＬ−３を表わして得られ、
（４）口唇領域画像信号Ｓ２が参照用口唇パターンＲＰ−４を表わしている場合のみ、図８Ｂに示すような、（ｉ）上述した画素数の総和ＳＡが、値ＲＳＡＶ−１以下であって且つ値ＲＳＡＶ−２以下でない、または（ｉｉ）上述した面積ＧＡが、上述した値ＲＧＡＶ−１以下であって且つ値ＲＧＡＶ−２以下でない、という参照用明度特徴ＲＬ−４を表わして得られる、
ということを確認したことから、画像信号Ｖ２０の画像表示画面上でみたその画像表示画面の明度特徴DLの解析を、明度ヒストグラム表示情報Ｈ３１が表わしている明度ヒストグラムＬＨ上でみた上述した画素数の総和ＳＡ及びＳＢ、または面積ＧＡ及びＧＢが、どのような値をとるかの解析を以って行う。
【００２６】
さらに、
（ハ）′上記（ハ）における複数の参照用明度特徴ＲＬ−１、ＲＬ−２……をそれぞれ表している複数の参照用明度特徴表示情報Ｈ３３−１、Ｈ３３−２………を、複数４つの参照用明度特徴ＲＬ−１、ＲＬ−２、ＲＬ−３及びＲＬ−４をそれぞれ表している参照用明度特徴表示情報Ｈ３３−１、Ｈ３３−２、Ｈ３３−３及びＨ３３−４とする。また、
（ニ）′上記（ニ）における複数の参照用明度特徴表示情報Ｈ３３−１、Ｈ３３−２………を、複数４つの参照用明度特徴表示情報Ｈ３３−１、Ｈ３３−２、Ｈ３３−３及びＨ３３−４とする。
【００２７】
口唇パターン識別手段Ｑ３として上述した画像識別手段Ｋ３０を用いれば、
（イ）明度ヒストグラム表示情報生成手段Ｋ３１によって、口唇領域画像抽出手段Ｑ２から得られる口唇領域画像信号Ｓ２から、その画像表示画面でみたその画像表示画面の明度ヒストグラムＬＨを表わしている明度ヒストグラム表示情報Ｈ３１′を生成することができ、よって、そのように生成される明度ヒストグラム表示情報Ｈ３１′を、明度ヒストグラム表示情報Ｈ３１として得ることができ、また、
（ロ）明度特徴解析手段Ｋ３２によって、明度ヒストグラム表示情報生成手段Ｋ３１で明度ヒストグラム表示情報Ｈ３１として生成される明度ヒストグラム表示情報Ｈ３１′を用い、その明度ヒストグラム表示情報Ｈ３１′が表わしている明度ヒストグラムＬＨ上の、上述した画素数Ｎの総和ＳＡ及びＳＢまたは面積ＧＡ及びＧＢが、それぞれどのような値をとるかの解析を以って、口唇領域画像信号Ｓ２の画像表示画面上でみたその画像表示画面の明度特徴ＤＬの解析とし、その解析された明度特徴ＤＬを表わしている明度特徴表示情報Ｈ３２′を生成することができ、よって、そのように生成された明度特徴表示情報Ｈ３２′を明度特徴表示情報Ｈ３２として得ることができ、さらに、
（ハ）明度特徴識別手段Ｋ３４によって、明度特徴解析手段Ｋ３２で明度特徴表示情報Ｈ３２として生成される明度特徴表示情報Ｈ３２′が表わしている明度特徴ＤＬ（上述した画素数Ｎの総和ＳＡ及びＳＢまたは面積ＧＡ及びＧＢがどのような値をとっているかを表している）が、４つの参照用明度特徴表示情報Ｈ３３−１、Ｈ３３−２、Ｈ３３−３及びＨ３３−４中のいずれの参照用明度特徴表示情報Ｈ３３の参照用明度特徴ＲＬを一致してまたは最も近いとして満足しているかを識別することができ、そして、その識別結果を表わしている情報を口唇パターン識別結果表示情報Ｓ３として生成することができ、よって、その口唇パターン識別結果表示情報Ｓ３を明度特徴識別結果表示情報Ｈ３４従って画像識別結果表示情報Ｈ３０として生成することができる、ということは明らかである。
【００２８】
ここで、明度特徴識別手段Ｋ３４によって、明度特徴表示情報Ｈ３２′が表している明度特徴ＤＬが、４つの参照用明度特徴表示情報Ｈ３３−１、Ｈ３３−２、Ｈ３３−３及びＨ３３−４中のいずれの参照用明度特徴表示情報Ｈ３３の参照用明度特徴ＲＬを一致してまたは最も近いとして満足しているかの識別結果を表している情報を口唇パターン識別結果表示情報Ｓ３として生成することができ、よって、その口唇パターン識別結果表示情報Ｓ３を明度特徴識別結果表示情報Ｈ３４従って画像識別結果表示情報Ｈ３０として生成することができる、と上述したことの詳細について述べれば次のとおりである。
【００２９】
すなわち、
（１）明度特徴識別手段Ｋ３４によって、いま、明度特徴表示情報Ｈ３２′が表している明度特徴ＤＬが参照用明度特徴表示情報Ｈ３３−１が表している参照用明度特徴ＲＬ−１の内容を一致してまたは最も近いとして満足しているとすれば、すなわち、明度特徴ＤＬに係る上述した画素数Ｎの総和ＳＡまたは面積ＧＡの値が、参照用明度特徴ＲＬ−１が「画素数Ｎの総和ＳＡが値ＲＳＡＶ−１以下でないまたは面積ＧＡが値ＲＧＡＶ−１以下でない」と上述した、その値ＲＳＡＶ−１または値ＲＧＡＶ−１と一致するまたはそれに近い値以下でない、とすれば、そのことを以って、明度特徴ＤＬが参照用明度特徴ＲＬ−１の内容を一致してまたは最も近いとして満足している、従って、人Ｍの口唇パターンＤＰが参照用口唇パターンＲＰ−１と一致しているまたはそれに最も近い口唇パターンＤＰ−１である、と識別し、そして、その識別結果を表している情報を口唇パターン識別結果表示情報Ｓ３−１として生成することができ、よって、その口唇パターン識別結果表示情報Ｓ３−１を、口唇パターン識別結果表示情報Ｓ３として、且つ明度特徴識別結果表示情報Ｈ３４従って画像識別結果表示情報Ｈ３０として生成することができ、また、
（２）明度特徴識別手段Ｋ３４によって、いま、明度特徴表示情報Ｈ３２′が表している明度特徴ＤＬが参照用明度特徴表示情報Ｈ３３−２が表している参照用明度特徴ＲＬ−２の内容を一致してまたは最も近いとして満足しているとすれば、すなわち、明度特徴ＤＬに係る上述した画素数Ｎの総和ＳＡまたは面積ＧＡの値が、参照用明度特徴ＲＬ−２が「画素数Ｎの総和ＳＡが値ＲＳＡＶ−２以下でありまたは面積ＧＡが値ＲＧＡＶ−２以下であり、且つ画素数Ｎの総和ＳＢが値ＲＳＢＶ以下でなくまたは面積ＧＢが値ＲＧＢＶ以下でない」と上述した、その値ＲＳＡＶ−２または値ＲＧＡＶ−２と一致するまたはそれに近い値以下でなり、且つ値ＲＳＢＶまたは値ＲＧＢＶと一致するまたはそれに近い値でないとすれば、そのことを以って、明度特徴ＤＬが参照用明度特徴ＲＬ−２の内容を一致してまたは最も近いとして満足している、従って、人Ｍの口唇パターンＤＰが参照用口唇パターンＲＰ−２と一致しているまたはそれに最も近い口唇パターンＤＰ−２である、と識別し、そして、その識別結果を表している情報を口唇パターン識別結果表示情報Ｓ３−２として生成することができ、よって、その口唇パターン識別結果表示情報Ｓ３−２を、口唇パターン識別結果表示情報Ｓ３として、且つ明度特徴識別結果表示情報Ｈ３４従って画像識別結果表示情報Ｈ３０として生成することができ、さらに、
（３）明度特徴識別手段Ｋ３４によって、いま、明度特徴表示情報Ｈ３２′が表している明度特徴ＤＬが参照用明度特徴表示情報Ｈ３３−３が表している参照用明度特徴ＲＬ−３の内容を一致してまたは最も近いとして満足しているとすれば、すなわち、明度特徴ＤＬに係る画素数Ｎの総和ＳＡまたは面積ＧＡの値が、上述した値ＲＳＡＶ−２または上述した値ＲＧＡＶ−２と一致するまたはそれに近い値以下であり、且つ上述した値ＲＳＢＶまたは値ＲＧＢＶと一致するまたはそれに近い値以下であるとすれば、そのことを以って、明度特徴ＤＬが参照用明度特徴ＲＬ−３の内容を一致してまたは最も近いとして満足している、従って、人Ｍの口唇パターンＤＰが参照用口唇パターンＲＰ−３と一致しているまたはそれに最も近い口唇パターンＤＰ−３であると識別し、そして、その識別結果を表している情報を口唇パターン識別結果表示情報Ｓ３−３として生成することができ、よって、その口唇パターン識別結果表示情報Ｓ３−３を、口唇パターン識別結果表示情報Ｓ３として、且つ明度特徴識別結果表示情報Ｈ３４従って画像識別結果表示情報Ｈ３０として生成することができ、また、
（４）明度特徴識別手段Ｋ３４によって、いま、明度特徴表示情報Ｈ３２′が表している明度特徴ＤＬが参照用明度特徴表示情報Ｈ３３−４が表している参照用明度特徴ＲＬ−４の内容を一致してまたは最も近いとして満足しているとすれば、すなわち、明度特徴ＤＬに係る画素数Ｎの総和ＳＡまたは面積ＧＡの値が、上述した値ＲＳＡＶ−１または上述した値ＲＧＡＶ−１と一致するまたはそれに近い値以下であり、且つ上述した値ＲＳＡＶ−２または値ＲＧＡＶ−２と一致するまたはそれに近い値以下であるとすれば、そのことを以って、明度特徴ＤＬが参照用明度特徴ＲＬ−４の内容を一致してまたは最も近いとして満足している、従って、人Ｍの口唇パターンＤＰが参照用口唇パターンＲＰ−４と一致しているまたはそれに最も近い口唇パターンＤＰ−３である、と識別し、そして、その識別結果を表している情報を口唇パターン識別結果表示情報Ｓ３−４として生成することができ、よって、その口唇パターン識別結果表示情報Ｓ３−４を、口唇パターン識別結果表示情報Ｓ３として、且つ明度特徴識別結果表示情報Ｈ３４従って画像識別結果表示情報Ｈ３０として生成することができる。
【００３０】
［会話文等表示手段］
また、意思疎通支援手段Ｇは、図１に示すように、口唇パターン識別手段Ｑ３から得られる口唇パターン識別結果表示情報Ｓ３及び明度ヒストグラム表示情報Ｈ３１′を用いる会話文等表示手段Ｑ４を有する。
【００３１】
この会話文等表示手段Ｑ４は、図４に示すように、会話文等情報出力・表示手段Ｋ４１と制御手段Ｋ４２とを有する。
【００３２】
［会話文等情報出力・表示手段］
会話文等情報出力・表示手段Ｋ４１は、会話文等視覚表示情報出力手段Ｍ１と会話文等視覚表示手段Ｍ２と会話文音声表示情報出力手段Ｍ３と会話文音声表示手段Ｍ４とを有する。
【００３３】
［会話文等視覚表示情報出力手段］
会話文等視覚表示情報出力手段Ｍ１は、短文視覚表示情報出力手段Ｍ１１と会話文視覚表示情報出力手段Ｍ１２と確認文視覚表示情報出力手段Ｍ１３とを有する。
【００３４】
［短文視覚表示情報出力手段］
短文視覚表示情報出力手段Ｍ１１は、短文視覚表示情報Ｂ１１を記憶する短文記憶手段（図示せず）を有し、後述する制御手段Ｋ４２によって後述するように制御されることによって、短文記憶手段に記憶されている短文視覚表示情報Ｂ１１を、会話文等情報出力・表示手段Ｋ４１の出力として出力するようになされている。
ここで、短文視覚表示情報Ｂ１１は、［口唇パターン識別手段］の項で上述した参照用口唇パターンＲＰ−１、ＲＰ−２、ＲＰ−３及びＲＰ−４、または口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４にそれぞれ対応している短文Ｃ１−１、Ｃ１−２、Ｃ１−３及びＣ１−４が、例えば表形式に、配列されている短文列Ｃ１が、会話文等視覚表示手段Ｍ２の表示面上において、短文列Ｃ１を構成している短文Ｃ１−１〜Ｃ１−４中の選択された１つの短文に対する例えば枠付けによる選択表示ｍを伴って、図１０に示すように、視覚表示され得る、という内容を表している。
【００３５】
この場合、短文列Ｃ１を構成している短文Ｃ１−１、Ｃ１−２、Ｃ１−３及びＣ１−４の内容としては、図１０に示すような、それぞれ、［口唇領域画像抽出手段］において上述した、「あいさつ」、「飲食関係」、「訴え」及び「他への要望」とし得る。
また、いま述べた「あいさつ」、「飲食関係」、「訴え」及び「他への要望」に、それぞれ［口唇領域画像抽出手段］の項で上述した、口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４を得るときの人Ｍの口唇状態をそれぞれ表している短文「（口を開ける）」、「（歯を見せる）」、「（口をつぼめる）」及び「（舌を出す）」を添えて置くのを可とする。
以下、簡単のため、短文Ｃ１−１、Ｃ１−２、Ｃ１−３及びＣ１−４が、それぞれ短文「（口を開ける）」、「（歯を見せる）」、「（口をつぼめる）」及び「（舌を出す）」のそれぞれ添えられた「あいさつ」、「飲食関係」、「訴え」及び「他への要望」の内容を有するとして述べる。
【００３６】
［会話文視覚表示情報出力手段］
また、会話文等視覚表示情報出力手段Ｍ１が有する会話文視覚表示情報出力手段Ｍ１２は、会話文視覚表示情報Ｂ１２−１、Ｂ１２−２、Ｂ１２−３及びＢ１２−４を記憶する会話文記憶手段（図示せず）を有し、後述する制御手段Ｋ４２によって後述するように制御されることによって、会話文記憶手段に記憶されている会話文視覚表示情報Ｂ１２−１、Ｂ１２−２、Ｂ１２−３及びＢ１２−４を、各別に、会話文視覚表示情報出力手段Ｍ１２の出力として出力するようになされている。
【００３７】
（１）ここで、会話文視覚表示情報Ｂ１２−１は、上述した参照用口唇パターンＲＰ−１、ＲＰ−２、ＲＰ−３及びＲＰ−４、または口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４にそれぞれ対応している会話文Ｃ２１−１、Ｃ２１−２、Ｃ２１−３及びＣ２１−４が、例えば表形式に、配列されている会話文列Ｃ２１が、会話文等視覚表示手段Ｍ２の表示面上において、会話文列Ｃ２１を構成している会話文Ｃ２１−１〜Ｃ２１−４中の選択された１つの会話文に対する例えば枠付けによる選択表示ｍを伴って、図１１に示すように視覚表示され得る、という内容を表している。
この場合、会話文列Ｃ２１を構成している会話文Ｃ２１−１、Ｃ２１−２、Ｃ２１−３及びＣ２１−４の内容としては、図１１に示すように、それぞれ、［口唇領域画像抽出手段］において上述した、「おはよう」、「こんにちは」、「こんばんは」及び「ありがとう」とし得る。
また、いま述べた「おはよう」、「こんにちは」、「こんばんは」及び「ありがとう」に、それぞれ［口唇領域画像抽出手段］の項で上述した、口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４を得るときの人Ｍの口唇状態をそれぞれ表している短文「（口を開ける）」、「（歯を見せる）」、「（口をつぼめる）」及び「（舌を出す）」を添えて置くのを可とする。
【００３８】
以下、簡単のため、会話文Ｃ２１−１、Ｃ２１−２、Ｃ２１−３及びＣ２１−４が、それぞれ短文「（口を開ける）」、「（歯を見せる）」、「（口をつぼめる）」及び「（舌を出す）」の添えられた「おはよう」、「こんにちは」、「こんばんは」及び「ありがとう」の内容を有するとして述べる。
【００３９】
（２）また、上述した会話文視覚表示情報Ｂ１２−２は、上述した参照用口唇パターンＲＰ−１、ＲＰ−２、ＲＰ−３及びＲＰ−４、または口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４にそれぞれ対応している会話文Ｃ２２−１、Ｃ２２−２、Ｃ２２−３及びＣ２２−４が、例えば表形式に、配列されている会話文列Ｃ２２が、会話文等視覚表示手段Ｍ２の表示面上において、会話文列Ｃ２２を構成している会話文Ｃ２２−１〜Ｃ２２−４中の選択された１つの会話文に対する例えば枠付けによる選択表示ｍを伴って、図１２に示すように視覚表示され得る、という内容を表している。
【００４０】
この場合、会話文列Ｃ２２を構成している会話文Ｃ２２−１、Ｃ２２−２、Ｃ２２−３及びＣ２２−４の内容としては、図１２に示すように、それぞれ、［口唇領域画像抽出手段］において上述した、「飲み物が欲しい」、「お腹が空いている」、「お菓子が欲しい」及び「何も食べたくない」とし得る。
また、いま述べた「飲み物が欲しい」、「お腹が空いている」、「お菓子が欲しい」及び「何も食べたくない」に、それぞれ［口唇領域画像抽出手段］の項で上述した、口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４を得るときの人Ｍの口唇状態をそれぞれ表している短文「（口を開ける）」、「（歯を見せる）」、「（口をつぼめる）」及び「（舌を出す）」を添えて置くのを可とする。
【００４１】
以下、簡単のため、会話文Ｃ２２−１、Ｃ２２−２、Ｃ２２−３及びＣ２２−４が、それぞれ会話文「（口を開ける）」、「（歯を見せる）」、「（口をつぼめる）」及び「（舌を出す）」の添えられた「飲み物が欲しい」、「お腹が空いている」、「お菓子が欲しい」及び「何も食べたくない」の内容を有するとして述べる。
【００４２】
（３）さらに、上述した会話文視覚表示情報Ｂ１２−３は、上述した参照用口唇パターンＲＰ−１、ＲＰ−２、ＲＰ−３及びＲＰ−４、または口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４にそれぞれ対応している会話文Ｃ２３−１、Ｃ２３−２、Ｃ２３−３及びＣ２３−４が、例えば表形式に、配列されている会話文列Ｃ２３が、会話文等視覚表示手段Ｍ２の表示面上において、会話文列Ｃ２３を構成している会話文Ｃ２３−１〜Ｃ２３−４中の選択された１つの会話文に対する例えば枠付けによる選択表示ｍを伴って、図１２に示すように視覚表示され得る、という内容を表している。
【００４３】
この場合、会話文Ｃ２３を構成している会話文Ｃ２３−１、Ｃ２３−２、Ｃ２３−３及びＣ２３−４の内容としては、図１３に示すように、それぞれ、［口唇領域画像抽出手段］において上述した、「トイレに行きたい」、「あつい」、「さむい」及び「痛い」とし得る。
また、いま述べた「トイレに行きたい」、「あつい」、「さむい」及び「痛い」に、それぞれ［口唇領域画像抽出手段］の項で上述した、口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４を得るときの人Ｍの口唇状態をそれぞれ表している短文「（口を開ける）」、「（歯を見せる）」、「（口をつぼめる）」及び「（舌を出す）」を添えて置くのを可とする。
【００４４】
以下、簡単のため、会話文Ｃ２３−１、Ｃ２３−２、Ｃ２３−３及びＣ２３−４が、それぞれ短文「（口を開ける）」、「（歯を見せる）」、「（口をつぼめる）」及び「（舌を出す）」の添えられた「トイレに行きたい」、「あつい」、「さむい」及び「痛い」の内容を有するとして述べる。
【００４５】
（４）また、会話文視覚表示情報Ｂ１２−４は、上述した参照用口唇パターンＲＰ−１、ＲＰ−２、ＲＰ−３及びＲＰ−４、または口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４にそれぞれ対応している会話文Ｃ２４−１、Ｃ２４−２、Ｃ２４−３及びＣ２４−４が、例えば表形式に、配列されている会話文列Ｃ２４が、会話文等視覚表示手段Ｍ２の表示面上において、会話文列Ｃ２４を構成している会話文Ｃ２４−１〜Ｃ２４−４中の選択された１つの会話文に対する例えば枠付けによる選択表示ｍを伴って、図１４に示すように視覚表示され得る、という内容を表している。
【００４６】
この場合、会話文列Ｃ２４を構成している会話文Ｃ２４−１、Ｃ２４−２、Ｃ２４−３及Ｃ２４−４の内容としては、図１４に示すように、それぞれ、［口唇領域画像抽出手段］において上述した、「外へ行きたい」、「テレビを見たい」、「音楽が聴きたい」及び「眠りたい」とし得る。
また、いま述べた「外へ行きたい」、「テレビを見たい」、「音楽が聴きたい」及び「眠りたい」に、それぞれ［口唇領域画像抽出手段］の項で上述した口唇パターンＤＰ−１、ＤＰ−２、ＤＰ−３及びＤＰ−４を得るときの人Ｍの口唇状態をそれぞれ表している短文「（口を開ける）」、「（歯を見せる）」、「（口をつぼめる）」及び「（舌を出す）」を添えて置くのを可とする。
【００４７】
以下、簡単のため、会話文Ｃ２４−１、Ｃ２４−２、Ｃ２４−３及びＣ２４−４が、それぞれ短文「（口を開ける）」、「（歯を見せる）」、「（口をつぼめる）」及び「（舌を出す）」の添えられた「外へ行きたい」、「テレビを見たい」、「音楽が聴きたい」及び「眠りたい」の内容を有するとして述べる。
【００４８】
［確認文視覚表示情報出力手段］
さらに、上述した会話文等視覚表示情報出力手段Ｍ１が有する確認文視覚表示情報出力手段Ｍ１３は、確認文視覚表示情報Ｂ１３を記憶する確認文記憶手段（図示せず）を有し、後述する制御手段Ｋ４２によって後述するように制御されることによって、確認文記憶手段に記憶されている確認文視覚表示情報Ｂ１３を、会話文等視覚表示情報出力手段Ｍ１の出力として出力するようになされている。
ここで、確認文視覚表示情報Ｂ１３は、確認文Ｃ３が、会話文等視覚表示手段Ｍ２の表示面上において、上述した短文列Ｃ１；会話文Ｃ２１、Ｃ２２、Ｃ２３、Ｃ２４の各別の視覚表示に添えられている態様で、視覚表示される、という内容を表している。
確認文Ｃ３の内容としては、「これでいいですか？」とし得る。
以下、簡単のため、確認文Ｃ３が「これでいいですか？」の内容を有するとして述べる。
【００４９】
［会話文等視覚表示手段］
また、上述した会話文等情報出力・表示手段Ｋ４１が有する会話文等視覚表示手段Ｍ２は、それ自体公知の種々の画像表示手段を用い得、後述する制御手段Ｋ４２によって後述するように制御されることによって、会話文等視覚表示情報出力手段Ｍ１の短文視覚表示情報出力手段Ｍ１１及び会話文視覚表示情報出力手段Ｍ１２から各別に出力される短文視覚表示情報Ｂ１１、及び会話文視覚表示情報Ｂ１２−１、Ｂ１２−２、Ｂ１２−３及びＢ１２−４を各別に用いて、それに、会話文等視覚表示情報出力手段Ｍ１の確認文視覚表示情報出力手段Ｍ１３から出力される確認文視覚表示情報Ｂ１３を添わせた状態で、または添わせていない状態で、視覚表示するようになされている。
【００５０】
［会話文音声表示情報出力手段］
さらに、上述した会話文等情報出力・表示手段Ｋ４１が有する会話文音声表示情報出力手段Ｍ３は、会話文音声表示情報Ｂ３１−１、Ｂ３１−２、Ｂ３１−３、Ｂ３１−４、Ｂ３２−１、Ｂ３２−２、Ｂ３２−３、Ｂ３２−４；Ｂ３３−１、Ｂ３３−２、Ｂ３３−３、Ｂ３３−４；Ｂ３４−１、Ｂ３４−２、Ｂ３４−３、Ｂ３４−４を記憶する音声会話文記憶手段（図示せず）を有し、後述する制御手段Ｋ４２によって後述するように制御されることによって、音声会話文記憶手段に記憶されている会話文音声表示情報Ｂ３１−１、Ｂ３１−２、Ｂ３１−３、Ｂ３１−４、Ｂ３２−１、Ｂ３２−２、Ｂ３２−３、Ｂ３２−４；Ｂ３３−１、Ｂ３３−２、Ｂ３３−３、Ｂ３３−４；Ｂ３４−１、Ｂ３４−２、Ｂ３４−３、Ｂ３４−４を各別に出力するようになされている。
【００５１】
（１）ここで、会話文音声表示情報Ｂ３１−１、Ｂ３１−２、Ｂ３１−３及びＢ３１−４は、上述した会話文Ｃ２１−１、Ｃ２１−２、Ｃ２１−３、Ｃ２１−４にそれぞれ対応している会話文Ｃ２１−１′、Ｃ２１−２′、Ｃ２１−３′、Ｃ２１−４′が、会話文音声表示手段Ｍ４によって音声表示（放声）され得る、という内容をそれぞれ表している。
この場合、会話文Ｃ２１−１′、Ｃ２１−２′、Ｃ２１−３′及びＣ２１−４′の内容としては、それぞれ上述した会話文Ｃ２１−１、Ｃ２１−２、Ｃ２１−３及びＣ２１−４の内容である「おはよう」、「こんにちは」、「こんばんは」及び「ありがとう」の内容、またはそれらとそれぞれ同旨の４つの内容とそれぞれし得る。
以下、簡単のため、会話文Ｃ２１−１′、Ｃ２１−２′、Ｃ２１−３′及びＣ２１−４′が、「おはよう」、「こんにちは」、「こんばんは」及び「ありがとう」の内容をそれぞれ有するとして述べる。
【００５２】
（２）また、会話文音声表示情報Ｂ３２−１、Ｂ３２−２、Ｂ３２−３及びＢ３２−４は、上述した会話文Ｃ２２−１、Ｃ２２−２、Ｃ２２−３、Ｃ２２−４にそれぞれ対応している会話文Ｃ２２−１′、Ｃ２２−２′、Ｃ２２−３′、Ｃ２２−４′が、会話文音声表示手段Ｍ４によって音声表示（放声）され得る、という内容をそれぞれ表している。
この場合、会話文Ｃ２２−１′、Ｃ２２−２′、Ｃ２２−３′及びＣ２２−４′の内容としては、それぞれ上述した会話文Ｃ２２−１、Ｃ２２−２、Ｃ２２−３及びＣ２２−４の内容である「飲み物が欲しい」、「お腹が空いた」、「お菓子が欲しい」及び「何も食べたくない」の内容、またはそれらとそれぞれ同旨の４つの内容とそれぞれし得る。
以下、簡単のため、会話文Ｃ２２−１′、Ｃ２２−２′、Ｃ２２−３′及びＣ２２−４′が、「飲み物が欲しい」、「お腹が空いた」、「お菓子が欲しい」及び「何も食べたくない」の内容をそれぞれ有するとして述べる。
（３）さらに、会話文音声表示情報Ｂ３３−１、Ｂ３３−２、Ｂ３３−３及びＢ３３−４は、上述した会話文Ｃ２３−１、Ｃ２３−２、Ｃ２３−３、Ｃ２３−４にそれぞれ対応している会話文Ｃ２３−１′、Ｃ２３−２′、Ｃ２３−３′、Ｃ２３−４′が、会話文音声表示手段Ｍ４によって音声表示（放声）され得る、という内容をそれぞれ表している。
この場合、会話文Ｃ２３−１′、Ｃ２３−２′、Ｃ２３−３′及びＣ２３−４′の内容としては、それぞれ上述した会話文Ｃ２３−１、Ｃ２３−２、Ｃ２３−３及びＣ２３−４の内容である「トイレに行きたい」、「あつい」、「さむい」及び「痛い」の内容、またはそれらとそれぞれ同旨の４つの内容とそれぞれし得る。
以下、簡単のため、会話文Ｃ２３−１′、Ｃ２３−２′、Ｃ２３−３′及びＣ２３−４′が、「トイレに行きたい」、「あつい」、「さむい」及び「痛い」の内容をそれぞれ有するとして述べる。
（４）また、会話文音声表示情報Ｂ３４−１、Ｂ３４−２、Ｂ３４−３及びＢ３４−４は、上述した会話文Ｃ２４−１、Ｃ２４−２、Ｃ２４−３、Ｃ２４−４にそれぞれ対応している会話文Ｃ２４−１′、Ｃ２４−２′、Ｃ２４−３′、Ｃ２４−４′が、会話文音声表示手段Ｍ４によって音声表示（放声）され得る、という内容をそれぞれ表している。
この場合、会話文Ｃ２４−１′、Ｃ２４−２′、Ｃ２４−３′及びＣ２４−４′の内容としては、それぞれ上述した会話文Ｃ２４−１、Ｃ２４−２、Ｃ２４−３及びＣ２４−４の内容である「外に行きたい」、「テレビを見たい」、「音楽が聴きたい」及び「眠りたい」の内容、またはそれらとそれぞれ同旨の４つの内容とそれぞれし得る。
以下、簡単のため、会話文Ｃ２４−１′、Ｃ２４−２′、Ｃ２４−３′及びＣ２４−４′が、「外に行きたい」、「テレビを見たい」、「音楽が聴きたい」及び「眠りたい」の内容をそれぞれ有するとして述べる。
【００５３】
［会話文音声表示手段］
また、上述した会話文等情報出力・表示手段Ｋ４１が有する会話文音声表示手段Ｍ４は、それ自体公知のスピーカなどでなり、後述する制御手段Ｋ４２によって後述するように制御されることによって、会話文音声表示情報出力手段Ｍ３から出力される会話文音声表示情報Ｂ３１−１、Ｂ３１−２、Ｂ３１−３、Ｂ３１−４；Ｂ３２−１、Ｂ３２−２、Ｂ３２−３、Ｂ３２−４；Ｂ３３−１、Ｂ３３−２、Ｂ３３−３、Ｂ３３−４；Ｂ３４−１、Ｂ３４−２、Ｂ３４−３、Ｂ３４−４；を各別に用いて、会話文を音声表示（放声）する。
【００５４】
［制御手段］
また、会話文等表示手段Ｑ４が有する制御手段Ｋ４２は、支援者がスタートボタンＳＢを操作することによってそのタートボタンＳＢから得られるスタート信号ＳＴに基づき、意思疎通支援手段Ｇが起動することによって、口唇パターン識別手段Ｑ３で生成される口唇パターン識別結果表示情報Ｓ３及び明度ヒストグラム表示情報Ｈ３１′を入力する、という初期制御モードをとり、その初期制御モードをとってから、その初期制御モードをとっている状態で、会話文等情報出力・表示手段Ｋ４１を、口唇パターン識別結果表示情報Ｓ３及び明度ヒストグラム表示情報Ｈ３１′の内容に応じて、次のように制御するようになされている。
【００５５】
［第１の短文視覚表示制御モード］
制御手段Ｋ４２は、上述した初期制御モードをとってから、その初期制御モードをとっている状態で、制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３が口唇パターン識別結果表示情報Ｓ３−ａ（ａ＝１、２、３、４）であるとすれば、（ａ）会話文等情報出力・表示手段Ｋ４１が有する会話文等視覚表示情報出力手段Ｍ１の短文視覚表示情報出力手段Ｍ１１を、その短文視覚表示情報出力手段Ｍ１１から、短文視覚表示情報Ｂ１１が、会話文等視覚表示手段Ｍ２の表示面上で短文Ｃ１−ａに対する選択表示ｍを伴っている短文列Ｃ１が視覚表示され得る内容を表して、会話文等視覚表示手段Ｍ２に出力されるように、制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２が、いま短文視覚表示情報出力手段Ｍ１１が出力している短文視覚表示情報Ｂ１１を入力し、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第１段に示すように、いま会話文等視覚表示手段Ｍ２が入力している短文視覚表示情報Ｂ１１が表している、短文Ｃ１−ａに対する選択表示ｍを伴っている短文列Ｃ１を視覚表示するように、制御する、という第１の短文視覚表示制御モードをとるようになされている。
【００５６】
［第１の短文視覚表示制御モードに続く第２の短文視覚表示制御モード］
また、制御手段Ｋ４２は、（ｉ）上述した第１の短文視覚表示制御モードの開始時点から計時を開始するタイマ（図示せず）と、（ｉｉ）制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３が、いままでの口唇パターン識別結果表示情報Ｓ３−ａであるという状態から口唇パターン識別結果表示情報Ｓ３−ｂ（ｂ＝１、２、３、４）であるという状態になることを検出する状態検出手段（図示せず）と、（ｉｉｉ）その状態検出手段の検出出力が、タイマで計時する予定の時間Ｔ１（例えば３秒）前の時点で得られれば、そのことを表すトリガ信号を出力するトリガ信号出力手段（図示せず）とを有する第１の状態判知手段（図示せず）を有し、そして、その第１の状態判知手段を用いることで、上述した第１の短文視覚表示制御モードをとってから、制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３が、第１の短文視覚表示制御モードの開始時点から予定の時間Ｔ１（例えば３秒）を経過する前の時点から、いままで口唇パターン識別結果表示情報Ｓ３−ａであるという状態から口唇パターン識別結果表示情報Ｓ３−ｂ（ｂ＝１、２、３、４）であるという状態になることが判知されれば、（ａ）短文視覚表示情報出力手段Ｍ１１を、その短文視覚表示情報出力手段Ｍ１１から、短文視覚表示情報Ｂ１１が、会話文等視覚表示手段Ｍ２の表示面上で短文Ｃ１−ｂに対する選択表示ｍを伴っている短文列Ｃ１が視覚表示され得る内容を表して、会話文等視覚表示手段Ｍ２に出力されるように制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２の表示面上に、図１５の第２の段に示すように、いま会話文等視覚表示手段Ｍ２が入力している短文視覚表示情報Ｂ１１が表している、短文Ｃ１−ｂに対する選択表示ｍを伴っている短文列Ｃ１を視覚表示するように、制御する、という第２の短文視覚表示制御モードをとるようになされている。
【００５７】
［第１の短文視覚表示制御モードに続く第３の短文視覚表示制御モード］
さらに、制御手段Ｋ４２は、制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３が、いままでの口唇パターン識別結果表示情報Ｓ３−ａであるという状態が、上述したタイマで計時する上述した予定の時間Ｔ１を経過すれば、そのことを表すトリガ信号を出力するトリガ信号出力手段（図示せず）を有する第２の状態判知手段（図示せず）を有し、そして、その第２の状態判知手段を用いることで、上述した第１の短文視覚表示制御モードをとってから、制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報Ｓ３−ａであるという状態が、第１の短文視覚表示制御モードの開始時点から予定の時間Ｔ１を経過する時点まで持続することが判知されれば、第１の短文視覚表示モードをとっている状態で、（ａ）会話文等視覚表示情報出力手段Ｍ１が有する確認文視覚表示情報出力手段Ｍ１３を、その確認文視覚表示情報出力手段Ｍ１３から確認文視覚表示情報Ｂ１３が出力されるように、制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２が、いま確認文視覚表示情報Ｂ１３が出力している確認文視覚表示情報Ｂ１３を入力し、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第３段に示すように、いま会話文等視覚表示手段Ｍ２が入力している確認文視覚表示情報Ｂ１３が表している確認文（「これでいいですか？」）を視覚表示するように、制御する、という第３の短文視覚表示制御モードをとるようになされている。
【００５８】
［第２の短文視覚表示制御モードに続く新たな第２の短文視覚表示制御モード］
また、制御手段Ｋ４２は、［第１の短文視覚表示制御モードに続く第２の短文視覚表示制御モード］の項で上述した第１の状態判知手段に準じた第１の状態判知手段を用いることで、上述した第２の短文視覚表示制御モードをとってから、制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３が、第２の短文視覚表示制御モードの開始時点から予定の時間Ｔ１を経過する前の時点から、いままで口唇パターン識別結果表示情報Ｓ３−ｂであるという状態から口唇パターン識別結果表示情報Ｓ３−ｃ（ｃ＝１、２、３、４）であるという状態になることが判知されれば、（ａ）短文視覚表示情報出力手段Ｍ１１を、その短文視覚表示情報出力手段Ｍ１１から、短文視覚表示情報Ｂ１１が、会話文等視覚表示手段Ｍ２の表示面上で短文Ｃ１−ｃに対する選択表示ｍを伴っている短文列Ｃ１が視覚表示され得る内容を表して、会話文等視覚表示手段Ｍ２に出力されるように、制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２の表示面上に、図１５の第２段に示すように、いま会話文等視覚表示手段Ｍ２が入力している短文視覚表示情報Ｂ１１が表している、短文Ｃ１−ｃに対する選択表示ｍを伴っている短文列Ｃ１を視覚表示するように、制御する、という短文視覚表示制御モードを、新たな第２の短文視覚表示モードとして、とるようになされている。
【００５９】
［第２の短文視覚表示制御モードに続く第３の短文視覚表示制御モード］
さらに、制御手段Ｋ４２は、［第１の短文視覚表示制御モードに続く第３の短文視覚表示制御モード］の項で上述した第２の状態判知手段に準じた第２の状態判知手段を用いることで、上述した第２の短文視覚表示制御モードをとってから、制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報（これをＳ３−ｄ；ｄ＝１、２、３、４とする）であるという状態が、第２の短文視覚表示制御モードの開始時点から予定の時間Ｔ１を経過する時点まで持続することが判知されれば、上述した第２の短文視覚表示モードをとっている状態で、（ａ）確認文視覚表示情報出力手段Ｍ１３を、その確認文視覚表示情報出力手段Ｍ１３から、確認文視覚表示情報Ｂ１３が、会話文等視覚表示手段Ｍ２に出力されるように、制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２が、いま確認文視覚表示情報Ｂ１３が出力している確認文視覚表示情報Ｂ１３を入力し、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第３段に示すように、いま会話文等視覚表示手段Ｍ２が入力している確認文視覚表示情報Ｂ１３が表している確認文ＹＮ（「これでいいですか？」）を視覚表示するように、制御する、という第３の短文視覚表示制御モードをとるようになされている。
【００６０】
［第３の短文視覚表示制御モードに続く新たな第２の短文視覚表示制御モード］
また、制御手段Ｋ４２は、いま、上述した第３の短文視覚表示制御モードの実行開始時点から予定の時間Ｔ１を経過する時点までの期間内で順次とるクロック時点をｔｉ、そのクロック時点ｔｉの直前のクロック時点をｔ（ｉ−１）とし、また、制御手段Ｋ４２が入力している明度ヒストグラム表示情報Ｈ３１′が表している、明度ヒストグラム上の全明度範囲または一部明度範囲に亘る、時点ｔｉ及びｔ（ｉ−１）での画素数を、それぞれＮｉ及びＮ（ｉ−１）とするとき、制御手段Ｋ４２は、上述した第３の短文視覚表示制御モードをとってから、その制御手段Ｋ４２が入力している明度ヒストグラム表示情報Ｈ３１′が、上述したクロック時点ｔｉで、上述したクロック時点ｔｉでの画素数Ｎｉと、上述したクロック時点ｔ（ｉ−１）での画素数Ｎ（ｉ−１）との差が予定の閾値ＴＨ以上で得られれば、そのことを表すトリガ信号を出力するトリガ信号出力手段（図示せず）を有し、そして、そのトリガ信号出力手段からトリガ信号が出力されれば、（ａ）確認文視覚表示情報出力手段Ｍ１３を、その確認文視覚表示出力手段Ｍ１３から確認文視覚表示情報Ｂ１３を出力しないように制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２が、確認文視覚表示情報Ｂ１３が表している確認文を視覚表示しないように制御し、且つ（ｃ）短文視覚表示情報出力手段Ｍ１１を、いま口唇パターン識別結果表示情報Ｓ３が口唇パターン識別結果表示情報Ｓ３−ｅ（ｅ＝１、２、３、４）であるとすれば、短文視覚表示情報出力手段Ｍ１１から、短文視覚表示情報Ｂ１１が、会話文等視覚表示手段Ｍ２の表示面上で短文Ｃ１−ｅに対する選択表示ｍを伴っている短文列Ｃ１が視覚表示され得る内容を表して、会話文等視覚表示手段Ｍ２に出力されるように、制御するとともに、（ｄ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２が、いま短文視覚表示情報出力手段Ｍ１１が出力している短文視覚表示情報Ｂ１１を入力し、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第２段に示すように、いま会話文等視覚表示手段Ｍ２が入力している短文視覚表示情報Ｂ１１が表している、短文Ｃ１−ｅに対する選択表示ｍを伴っている短文列Ｃ１を視覚表示するように、制御する、という短文視覚表示制御モードを、新たな第２の短文視覚表示制御モードとしてとるようになされている。
【００６１】
［第３の短文視覚表示制御モードに続く第１の会話文視覚表示制御モード］
また、制御手段Ｋ４２は、［第１の短文視覚表示制御モードに続く第３の短文視覚表示制御モード］の項で上述した第２の状態判知手段に準じた第２の状態判知手段を用いることで、上述した第３の短文視覚表示制御モードをとってから、制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３が、いままでの口唇パターン識別結果表示情報（これをＳ３−ｆ；ｆ＝１、２、３、４とする）であるという状態が、第３の短文視覚表示制御モードの開始時点から予定の時間Ｔ１を持続することが判知されれば、（ａ）会話文等視覚表示情報出力手段Ｍ１が有する会話文視覚表示情報出力手段Ｍ１２を、その会話文視覚表示情報出力手段Ｍ１２から、会話文視覚表示情報Ｂ１２が、会話文等視覚表示手段Ｍ２の表示面上で会話文Ｃ２ｆ−ｆに対する選択表示ｍを伴っている会話文列Ｃ２ｆが視覚表示され得る内容を表して、会話文等視覚表示手段Ｍ２に出力されるように制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２の表示面上に、図１５の第４段に示すように、いま会話文等視覚表示手段Ｍ２が入力している会話文視覚表示情報Ｂ１ｆ−ｆが表している、会話文Ｃ２ｆ−ｆに対する選択表示ｍを伴っている会話文列Ｃ２ｆを視覚表示するように、制御する、という第１の会話文視覚表示制御モードをとるようになされている。
【００６２】
［第１の会話文視覚表示制御モードに続く第２の会話文視覚表示制御モード］
また、制御手段Ｋ４２は、［第１の短文視覚表示制御モードに続く第２の短文視覚表示制御モード］の項で上述した第１の状態判知手段に準じた第１の状態判知手段を用いることで、上述した第１の会話文視覚表示制御モードをとってから、制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３が、第１の会話文視覚表示制御モードの開始時点から予定の時間Ｔ１を経過する前の時点から、いままで口唇パターン識別結果表示情報Ｓ３−ｆであった状態から口唇パターン識別結果表示情報Ｓ３−ｇ（ｇ＝１、２、３、４）である状態になることが判知されれば、（ａ）会話文視覚表示情報出力手段Ｍ１２を、その会話文視覚表示情報出力手段Ｍ１２から、会話文視覚表示情報Ｂ１ｆ−ｇが、会話文等視覚表示手段Ｍ２の表示面上で会話文Ｃ２ｆ−ｇに対する選択表示ｍを伴っている会話文列Ｃ２ｆが視覚表示され得る内容を表して、会話文等視覚表示手段Ｍ２に出力されるように制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２の表示面上に、図１５の第５段に示すように、いま会話文等視覚表示手段Ｍ２が入力している会話文視覚表示情報Ｂ１ｆ−ｇが表している、会話文Ｃ２ｆ−ｇに対する選択表示ｍを伴っている会話文列Ｃ２ｆを視覚表示するように、制御する、という第２の会話文視覚表示制御モードをとるようになされている。
【００６３】
［第１の会話文視覚表示制御モードに続く第３の会話文視覚表示制御モード］
さらに、制御手段Ｋ４２は、［第１の短文視覚表示制御モードに続く第３の短文視覚表示制御モード］の項で上述した第２の状態判知手段に準じた第２の状態判知手段を用いることで、上述した第１の会話文視覚表示制御モードをとってから、制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報Ｓ３−ｆであるという状態が、第１の会話文視覚表示制御モードの開始時点から予定の時間Ｔ１を経過する時点まで持続することが判知されれば、第１の会話文視覚表示モードをとっている状態で、（ａ）確認文視覚表示情報出力手段Ｍ１３を、その確認文視覚表示情報出力手段Ｍ１３から確認文視覚表示情報Ｂ１３が出力されるように、制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２が、いま確認文視覚表示情報Ｂ１３が出力している確認文視覚表示情報Ｂ１３を入力し、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第６段に示すように、いま会話文等視覚表示手段Ｍ２が入力している確認文視覚表示情報Ｂ１３が表している確認文ＹＮ（「これでいいですか？」）を視覚表示するように、制御する、という第３の会話文視覚表示制御モードをとるようになされている。
【００６４】
［第２の会話文視覚表示制御モードに続く新たな第２の会話文視覚表示制御モード］
また、制御手段Ｋ４２は、［第１の短文視覚表示制御モードに続く第２の短文視覚表示制御モード］の項で上述した第１の状態判知手段に準じた第１の状態判知手段を用いることで、上述した第２の会話文視覚表示制御モードをとってから、制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３が、第２の会話文視覚表示制御モードの開始時点から予定の時間Ｔ１を経過する前の時点から、いままで口唇パターン識別結果表示情報Ｓ３−ｇであった状態から口唇パターン識別結果表示情報Ｓ３−ｈ（ｈ＝１、２、３、４）である状態になることが判知されれば、（ａ）会話文視覚表示情報出力手段Ｍ１２を、その会話文視覚表示情報出力手段Ｍ１２から、会話文視覚表示情報Ｂ１ｆ−ｈが、会話文等視覚表示手段Ｍ２の表示面上で会話文Ｃ２ｆ−ｈに対する選択表示ｍを伴っている会話文列Ｃ２ｆが視覚表示され得る内容を表して、会話文等視覚表示手段Ｍ２に出力されるように、制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２の表示面上に、図１５の第５段に示すように、いま会話文等視覚表示手段Ｍ２が入力している会話文視覚表示情報Ｂ１ｆ−ｈが表している、会話文Ｃ２ｆ−ｈに対する選択表示ｍを伴っている会話文列Ｃ２ｆを視覚表示するように、制御する、という会話文視覚表示制御モードを、新たな第２の会話文視覚表示モードとして、とるようになされている。
【００６５】
［第２の会話文視覚表示制御モードに続く第３の会話文視覚表示制御モード］
さらに、制御手段Ｋ４２は、［第１の短文視覚表示制御モードに続く第３の短文視覚表示制御モード］の項で上述した第２の状態判知手段に準じた第２の状態判知手段を用いることで、上述した第２の会話文視覚表示制御モードをとってから、制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報（これをＳ３−ｊとする）であるという状態が、第２の会話文視覚表示制御モードの開始時点から予定の時間Ｔ１を経過する時点まで持続することが判知されれば、上述した第２の会話文視覚表示モードをとっている状態で、（ａ）確認文視覚表示情報出力手段Ｍ１３を、その確認文視覚表示情報出力手段Ｍ１３から確認文視覚表示情報Ｂ１３が出力されるように、制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２が、いま確認文視覚表示情報Ｂ１３が出力している確認文視覚表示情報Ｂ１３を入力し、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第６段に示すように、いま会話文等視覚表示手段Ｍ２が入力している確認文視覚表示情報Ｂ１３が表している確認文（「これでいいですか？」）を視覚表示するように、制御する、という第３の会話文視覚表示制御モードをとるようになされている。
【００６６】
［第３の会話文視覚表示制御モードに続く新たな第２の会話文視覚表示制御モード］
また、制御手段Ｋ４２は、上述した第３の会話文視覚表示制御モードをとってから、その制御手段Ｋ４２が入力している明度ヒストグラム表示情報Ｈ３１′が、［第３の短文視覚表示モードに続く新たな第２の短文視覚表示モード］の項で上述したクロック時点ｔｉに準じたクロック時点ｔｉ′で、［第３の短文視覚表示モードに続く新たな第２の短文視覚表示モード］の項で上述したクロック時点ｔｉでの画素数Ｎｉに準じたクロック時点ｔｉ′での画素数Ｎｉ′と、［第３の短文視覚表示モードに続く新たな第２の短文視覚表示モード］の項で上述したクロック時点ｔ（ｉ−１）での画素数Ｎ（ｉ−１）に準じたクック時点ｔ（ｉ−１）′での画素数Ｎ（ｉ−１）′との差が予定の閾値ＴＨ以上で得られれば、そのことを表すトリガ信号を出力するトリガ信号出力手段（図示せず）を有し、そして、そのトリガ信号出力手段からトリガ信号が出力されれば、（ａ）確認文視覚表示情報出力手段Ｍ１３を、その確認文視覚表示出力手段Ｍ１３から確認文視覚表示情報Ｂ１３を出力しないように制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２が、確認文視覚表示情報Ｂ１３が表している確認文を視覚表示しないように制御し、且つ（ｃ）会話文視覚表示情報出力手段Ｍ１２を、いま口唇パターン識別結果表示情報Ｓ３が口唇パターン識別結果表示情報Ｓ３−ｋ（ｋ＝１、２、３、４）であるとすれば、会話文視覚表示情報出力手段Ｍ１２から、会話文視覚表示情報Ｂ１ｆ−ｋが、会話文等視覚表示手段Ｍ２の表示面上で会話文Ｃ２ｆ−ｋに対する選択表示ｍを伴っている会話文列Ｃ２ｆが視覚表示され得る内容を表して、会話文等視覚表示手段Ｍ２に出力されるように、制御するとともに、（ｄ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２が、いま会話文視覚表示情報出力手段Ｍ１２が出力している会話文視覚表示情報Ｂ１ｆ−ｋを入力し、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第５段に示すように、いま会話文等視覚表示手段Ｍ２が入力している会話文視覚表示情報Ｂ１ｆ−ｋが表している、会話文Ｃ２ｆ−ｋに対する選択表示ｍを伴っている会話文列Ｃ２ｆを視覚表示するように、制御する、という会話文視覚表示制御モードを、新たな第２の会話文視覚表示制御モードとしてとるようになされている。
【００６７】
［第３の会話文視覚表示制御モードに続く新たな第２の短文視覚表示制御モード］
また、制御手段Ｋ４２は、例えば、上述した第３の会話文視覚表示制御モードをとってから、上述した［第３の会話文視覚表示制御モードに続く新たな第２の会話文視覚表示制御モード］をとり、次で上述した［第２の会話文視覚表示制御モードに続く第３の会話文視覚表示制御モード］をとることを検知する手段と、その検知出力に基づき、上述した［第３の会話文視覚表示制御モードに続く新たな第２の会話文視覚表示制御モード］をとり、次で上述した［第２の会話文視覚表示制御モードに続く第３の会話文視覚表示制御モード］をとることの繰返しをカウントするカウンタとを有する手段を有し、そして、その手段を用いることで、上述した第３の会話文視覚表示制御モードをとってから、予定の時間Ｔ２内で、上述した［第３の会話文視覚表示制御モードに続く新たな第２の会話文視覚表示制御モード］をとり、次で上述した［第２の会話文視覚表示制御モードに続く第３の会話文視覚表示制御モード］をとることが予定の複数回繰返されることが判知されれば、（ａ）会話文等視覚表示情報出力手段Ｍ１２を、その会話文等視覚表示情報出力手段Ｍ１２からいままでの会話文等視覚表示情報を出力しないように制御し、且つ確認文視覚表示情報出力手段Ｍ１３を、その確認文視覚表示出力手段Ｍ１３から確認文視覚表示情報Ｂ１３を出力しないように制御するとともに、（ｂ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２が、確認文視覚表示情報Ｂ１３が表している確認文を視覚表示しないように制御し、且つ（ｃ）短文視覚表示情報出力手段Ｍ１１を、いま口唇パターン識別結果表示情報Ｓ３が口唇パターン識別結果表示情報Ｓ３−ｅ（ｅ＝１、２、３、４）であるとすれば、短文視覚表示情報出力手段Ｍ１１から、短文視覚表示情報Ｂ１１が、会話文等視覚表示手段Ｍ２の表示面上で短文Ｃ１−ｅに対する選択表示ｍを伴っている短文列Ｃ１が視覚表示され得る内容を表して、会話文等視覚表示手段Ｍ２に出力されるように、制御するとともに、（ｄ）会話文等視覚表示手段Ｍ２を、その会話文等視覚表示手段Ｍ２が、いま短文視覚表示情報出力手段Ｍ１１が出力している短文視覚表示情報Ｂ１１を入力し、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第２段に示すように、いま短文等視覚表示手段Ｍ２が入力している短文視覚表示情報Ｂ１１が表している、短文Ｃ１−ｅに対する選択表示ｍを伴っている会話文列Ｃ１を視覚表示するように、制御する、という短文視覚表示制御モードを、新たな第２の短文視覚表示制御モードとしてとるようになされている。
【００６８】
［第３の会話文視覚表示制御モードに続く会話文音声表示制御モード］
また、制御手段Ｋ４２は、［第１の短文視覚表示制御モードに続く第３の短文視覚表示制御モード］の項で上述した第２の状態判知手段に準じた第２の状態判知手段を用いることで、上述した第３の会話文視覚表示制御モードをとってから、制御手段Ｋ４２に入力されている口唇パターン識別結果表示情報Ｓ３が、いままでの口唇パターン識別結果表示情報（これをＳ３−ｐとする）であるという状態が、第３の会話文視覚表示制御モードの開始時点から予定の時間Ｔ１を持続すれば、（ａ）会話文等情報出力・表示手段Ｋ４１が有する会話文音声表示情報出力手段Ｍ３を、その会話文音声表示情報出力手段Ｍ３から、会話文視覚表示情報Ｂ３ｆ−ｐが、会話文音声表示手段Ｍ４で会話文Ｃ２ｆ−ｐが音声表示され得る内容を表して、会話文音声表示手段Ｍ４に出力されるように制御するとともに、（ｂ）会話文音声表示手段Ｍ４を、その会話文音声表示手段Ｍ４で、いま会話文音声表示手段Ｍ４が入力している会話文音声表示情報Ｂ３ｆ−ｐが表している、会話文Ｃ２ｆ−ｐ′を音声表示するように、制御する、という会話文音声表示制御モードをとるようになされている。
【００６９】
以上で、本発明による意思疎通支援装置の第１の実施例の構成が明らかとなった。
このような構成を有する本発明による意思疎通支援装置の第１の実施例によれば、撮像手段Ｑ１によって顔が撮像されることを意識している、意思疎通支援を必要とする人Ｍの顔Ｆが、撮像手段Ｑ１によって撮像され得る状態から、支援者がスタートボタンＳＢを操作すれば、そのスタートボタンＳＢからスタート信号ＳＴが出力され、それに基づき、意思疎通支援手段Ｇが全体として起動し、撮像手段Ｑ１から人Ｍの顔画像信号Ｓ１が出力され、その顔画像信号Ｓ１が口唇領域画像抽出手段Ｑ２に入力され、それに基づき、その口唇領域画像抽出手段Ｑ２から、［口唇領域画像抽出手段］の項で上述した口唇領域画像信号Ｓ2が出力され、その口唇領域画像信号Ｓが口唇パターン識別手段Ｑ３に入力され、それに基づき、その口唇パターン識別手段Ｑ３から、[口唇パターン識別手段] の項で上述した口唇パターン識別結果表示情報Ｓ３及び明度ヒストグラム表示情報Ｍ３１′が出力され、それら口唇パターン識別結果表示情報Ｓ３及び明度ヒストグラム表示情報Ｍ３１′が会話文等表示手段Ｑ４に入力され、それに基づき、会話文等表示手段Ｑ４において、次に述べる表示モードが得られる。
【００７０】
［第１の短文視覚表示モード］
会話文等表示手段Ｑ４に入力される口唇パターン識別結果表示情報Ｓ３及び明度ヒストグラム表示情報Ｍ３１′が会話文等表示手段Ｑ４に入力されるとき、制御手段Ｋ４２は、口唇パターン識別結果表示情報Ｓ３及び明度ヒストグラム表示情報Ｍ３１′を入力する、という［制御手段］の項で上述した初期制御モードをとっており、そして、制御手段Ｋ４２が、その初期制御モードをとってから、［第１の短文視覚表示制御モード］の項で上述した第１の短文視覚表示制御モードをとるようになされているため、いま、口唇パターン識別結果表示情報Ｓ３が口唇パターン識別結果表示情報Ｓ３−ａ（ａ＝１、２、３、４）であるとすれば、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第1段に示すように、短文Ｃ１−aに対する選択表示ｍを伴っている短文列Ｃ１の視覚表示が得られている、という第１の短文視覚表示モードが得られる。
【００７１】
ところで、口唇パターン識別結果表示情報Ｓ３が口唇パターン識別結果表示情報Ｓ３−aであるのは、［口唇パターン識別手段］の項で上述したところから明らかなように、口唇パターン識別手段Ｑ３において、いま人Ｍがとっている口唇パターンＤＰが参照用口唇パターンＲＰ−aと一致しているまたはそれに最も近い、と識別した結果によるものであるが、いま述べた第１の短文視覚表示モードが得られるとき、人Ｍは、口唇パターンＤＰとして、４つの参照用口唇パターンＲＰ−１〜ＲＰ−４中のいずれかに一致しているまたはそれに最も近い口唇パターンをとる、ということを意識せずに、図9に示すような「自然状態のときの口唇パターンＤＰ−Ａ」をとっているのを普通とする。
【００７２】
このため、人Ｍが、口唇パターンＤＰとして、そのような口唇パターンＤＰ−Ａをとっているとすれば、その口唇パターンＤＰ−Ａは、参照用口唇パターンＲＰ−２（歯をみせる）に最も近い口唇パターンであるので、口唇パターン識別結果表示情報Ｓ３は口唇パターン識別結果表示情報Ｓ３−2で得られている。
【００７３】
従って、上述した第１の短文視覚表示モードが得られる場合、その第１の短文視覚表示モードは、人Ｍが口唇パターンＤＰとして「自然状態のときの口唇パターンＤＰ−Ａ」をとっているのを普通とすることから、図１５の第1段に示すように、短文Ｃ１−２（「飲食関係」）に対する選択表示mを伴っている短文列C1の視覚表示で得られている。
【００７４】
［第１の短文視覚表示モードに続く第２の短文視覚表示モード］
また、上述した第１の短文視覚表示モードが得られた状態から、人Ｍが、いままでの口唇パターンＤＰ−ａから、４つの口唇パターンＤＰ−１（「口を開ける」）、ＤＰ−２（「歯をみせる」）、ＤＰ−３（「口をつぼめる」）及びＤＰ−４（「舌を出す」）中の１つの口唇パターン（これを口唇パターンＤＰ−b ( b=1、2、3、4)とする）を、第１の短文視覚表示モードの開始時点から予定の時間T1を経過する前の時点から、意識的にとれば、その時点から、口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報Ｓ３−ａであるという状態から口唇パターン識別結果表示情報Ｓ３−ｂであるという状態になり、そして、そのような状態になれば、制御手段Ｋ４２が、［第１の短文視覚表示制御モードに続く第2の短文視覚表示制御モード］の項で上述したように、第１の短文視覚表示制御モードから第2の短文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第2段に示すように、短文Ｃ１−bに対する選択表示ｍを伴っている短文列Ｃ１の視覚表示が得られている、という第2の短文視覚表示モードが得られる。
なお、図１５の第２段には、第２の短文視覚表示モートが、人Ｍが口唇パターンＤＰ−ｂとして口唇パターンＤＰ−３（「口をつぼめる」）をとったことにより、短文Ｃ１−3（「訴え」）に対する選択表示mを伴っている短文列C1の視覚表示で得られている、という場合が示されている。
【００７５】
［第１の短文視覚表示モードに続く第３の短文視覚表示モード］
さらに、上述した第１の短文視覚表示モードが得られた状態から、人Ｍが、いままでの口唇パターンＤＰ−ａの状態を、第１の短文視覚表示モードの開始時点から予定の時間T1を経過する時点まで、意識的に持続すれば、口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報Ｓ３−ａであるという状態を、第１の短文視覚表示モードの開始時点から予定の時間T1を経過する時点まで接続した状態になり、そして、そのような状態になれば、制御手段Ｋ４２が、［第１の短文視覚表示制御モードに続く第３の短文視覚表示制御モード］の項で上述したように、第１の短文視覚表示制御モードから、第３の短文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第３段に示すように、上述した第１の短文視覚表示モードをとっている状態で、確認文ＹＮ（「これでいいですか？」）の視覚表示が得られている、という第３の短文視覚表示モードが得られる。
なお、図１５の第３段には、第３の短文視覚表示モートが、人Ｍのいままでの口唇パターンＤＰ−ａが［第１の短文視覚表示モード］の項で例示した口唇パターンＤＰ−Ａ（「自然状態」）であれば、短文Ｃ−２（「飲食関係」）に対する選択表示ｍを伴っている短文列Ｃ１の視覚表示と、確認文ＹＮ（「これでいいですか？」）の視覚表示とで得られるが、人Ｍが、口唇パターンＤＰ−ａとして、口唇パターンＤＰ−３（「口をつぼめる」）をとったとして、短文Ｃ１−3（「訴え」）に対する選択表示mを伴っている短文列C1の視覚表示と、確認文ＹＮ（「これでいいですか？」）の視覚表示とで得られている、という場合が示されている。
【００７６】
［第2の短文視覚表示モードに続く新たな第２の短文視覚表示モード］
また、上述した第２の短文視覚表示モードが得られた状態から、人Ｍが、いままでの口唇パターンＤＰ−ｂの状態から、４つの口唇パターンＤＰ−１〜ＤＰ−４中の１つの口唇パターン（これを口唇パターンＤＰ−ｃ (ｃ=1、2、3、4)とする）の状態を、第２の短文視覚表示モードの開始時点から予定の時間T1を経過する前の時点から、意識的にとれば、その時点から、口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報Ｓ３−ｂであるという状態から口唇パターン識別結果表示情報Ｓ３−ｃであるという状態になり、そして、そのような状態になれば、制御手段Ｋ４２が、［第２の短文視覚表示制御モードに続く新たな第2の短文視覚表示制御モード］の項で上述したように、第２の短文視覚表示制御モードから新たな第2の短文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第２段に示すように、短文Ｃ１−ｃに対する選択表示ｍを伴っている短文列Ｃ１の視覚表示が得られている、という新たな第2の短文視覚表示モードが得られる。
なお、図１５の第２段には、新たな第２の短文視覚表示モートが、人Ｍが口唇パターンＤＰ−ｃとして口唇パターンＤＰ−３（「口をつぼめる」）をとったことにより、短文Ｃ１−３（「訴え」）に対する選択表示mを伴っている短文列C１の視覚表示で得られている、という場合が示されている。
【００７７】
［第２の短文視覚表示モードに続く第3の短文視覚表示モード］
さらに、上述した第２の短文視覚表示モードが得られた状態から、人Ｍが、いままでの口唇パターン（これをＤＰ−ｄ（ｄ＝１、２、３、４）とする）の状態を、第２の短文視覚表示モードの開始時点から予定の時間T1を経過する時点まで、意識的に持続すれば、口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報Ｓ３−ｄであるという状態を、第１の短文視覚表示モードの開始時点から予定の時間T1を経過する時点まで接続した状態になり、そして、そのような状態になれば、制御手段Ｋ４２が、［第２の短文視覚表示制御モードに続く第３の短文視覚表示制御モード］の項で上述したように、第２の短文視覚表示制御モードから、第３の短文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第３段に示すように、上述した第２の短文視覚表示モードをとっている状態で、確認文ＹＮ（「これでいいですか？」）の視覚表示が得られている、という第３の短文視覚表示モードが得られる。
なお、図１５の第３段には、第３の短文視覚表示モートが、人Ｍのいままでの口唇パターンＤＰ−ｄが口唇パターンＤＰ−３（「口をつぼめる」）であるとして、短文Ｃ１−3（「訴え」）に対する選択表示mを伴っている短文列C1の視覚表示と、確認文ＹＮ（「これでいいですか？」）の視覚表示とで得られている、という場合で示されている。
【００７８】
［第３の短文視覚表示モードに続く新たな第２の短文視覚表示モード］
さらに、上述した第３の短文視覚表示モードが得られた状態から、人Ｍが、上述したいままでの口唇パターンＤＰ−ｄの状態から、口唇パターンＤＰ−ｄとは、［第３の短文視覚表示制御モードに続く新たな第２の短文視覚表示制御モード］の項で上述したように明度ヒストグラム表示情報Ｈ３１′がクロック時点ｔｉでの画素数Ｎｉとクロック時点ｔ（ｉ−１）との差が予定の閾値ＴＨで得られることを表すのに十分なだけ異なる、口唇パターンＤＰ−１〜ＤＰ−４中の他の口唇パターンを含めた他の口唇パターンの状態を、繰り返しまたは繰返すことなしに、第３の短文視覚表示モードの開始時点から予定の時間T1を経過する前の時点から、意識的にとれば、［第３の短文視覚表示制御モードに続く新たな第２の短文視覚表示制御モード］の項で上述したように明度ヒストグラム表示情報Ｈ３１′がクロック時点ｔｉでの画素数Ｎｉとクロック時点ｔ（ｉ−１）との差が予定の閾値ＴＨで得られることを表す、という状態になり、そして、そのような状態になれば、制御手段Ｋ４２が、［第３の短文視覚表示制御モードに続く新たな第２の短文視覚表示制御モード］の項で上述したように、第３の短文視覚表示制御モードから、新たな第３の短文視覚表示制御モードをとるようになされているため、いま、人Ｍの口唇パターンが口唇パターンＤＰ−ｅ（ｅ＝１、２、３、４）であるとすれば、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第２段に示すように、いままでの確認文ＹＮ（「これでいいですか？」）の視覚表示は得られていないが、短文Ｃ１−ｅに対する選択表示mを伴っている短文列C1の視覚表示が得られている、という新たな第２の短文視覚表示モードが得られる。
なお、図１５の第２段には、新たな第２の短文視覚表示モートが、人Ｍのいままでの口唇パターンＤＰ−ｅが口唇パターンＤＰ−３（「口をつぼめる」）であるとして、短文Ｃ１−3（「訴え」）に対する選択表示mを伴っている短文列C1の視覚表示と確認文ＹＮ（「これでいいですか？」）の視覚表示とで得られている、という場合で示されている。
【００７９】
［第３の短文視覚表示モードに続く第１の会話文視覚表示モード］
さらに、上述した第３の短文視覚表示モードが得られた状態から、人Ｍが、いままでの口唇パターン（これをＤＰ−ｆ（ｆ＝１、２、３、４）とする）の状態を、第２の短文視覚表示モードの開始時点から予定の時間T1を経過する時点まで、意識的に持続すれば、口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報Ｓ３−ｄであるという状態を、第１の短文視覚表示モードの開始時点から予定の時間T1を経過する時点まで接続した状態になり、そして、そのような状態になれば、制御手段Ｋ４２が、［第３の短文視覚表示制御モードに続く第１の会話文視覚表示制御モード］の項で上述したように、第３の短文視覚表示制御モードから、第１の会話文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第４段に示すように、会話文Ｃ２ｆ−ｆに対する選択表示ｍを伴っている会話文列Ｃ２ｆの視覚表示が得られている、という第１の短文視覚表示モードが得られる。
なお、図１５の第４段には、第１の会話文視覚表示モートが、人Ｍの口唇パターンＤＰ−ｆが口唇パターンＤＰ−３（「口をつぼめる」）であるとして、短文Ｃ２３−3（「さむい」）に対する選択表示mを伴っている会話文列C２３の視覚表示で得られている、という場合が示されている。
【００８０】
［第１の会話文視覚表示モードに続く第２の会話文視覚表示モード］
また、上述した第１の会話文視覚表示モードが得られた状態から、人Ｍが、いままでの口唇パターンＤＰ−ｆから、口唇パターンＤＰ−ｇ (ｇ=1、2、3、4)とする）を、第１の会話文視覚表示モードの開始時点から予定の時間T1を経過する前の時点から、意識的にとれば、その時点から、口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報Ｓ３−ｆであるという状態から口唇パターン識別結果表示情報Ｓ３−ｇであるという状態になり、そして、そのような状態になれば、制御手段Ｋ４２が、［第１の会話文視覚表示制御モードに続く第2の会話文視覚表示制御モード］の項で上述したように、第１の会話文視覚表示制御モードから第2の会話文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第５段に示すように、会話文Ｃ２ｆ−ｇに対する選択表示ｍを伴っている会話文列Ｃ２ｆの視覚表示が得られている、という第2の会話文視覚表示モードが得られる。
なお、図１５の第５段には、第2の会話文視覚表示モートが、人Ｍが口唇パターンＤＰ−ｆとして口唇パターンＤＰ−２（「歯をみせる」）をとったことにより、会話文Ｃ２３−２（「あつい」）に対する選択表示mを伴っている会話文列C２３の視覚表示で得られている、という場合が示されている。
【００８１】
［第１の会話文視覚表示モードに続く第3の会話文視覚表示モード］
さらに、上述した第１の会話文視覚表示モードが得られた状態から、人Ｍが、いままでの口唇パターンＤＰ−ｆの状態を、第１の会話文視覚表示モードの開始時点から予定の時間T1を経過する時点まで、意識的に持続すれば、口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報Ｓ３−ｆであるという状態を、第１の会話文視覚表示モードの開始時点から予定の時間T1を経過する時点まで接続した状態になり、そして、そのような状態になれば、制御手段Ｋ４２が、［第１の会話文視覚表示制御モードに続く第３の会話文視覚表示制御モード］の項で上述したように、第１の会話文視覚表示制御モードから、第３の会話文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第６段に示すように、上述した第１の会話文視覚表示モードをとっている状態で、確認文ＹＮ（「これでいいですか？」）の視覚表示が得られている、という第３の会話文視覚表示モードが得られる。
なお、図１５の第６段には、第３の会話文視覚表示モートが、人Ｍのいままでの口唇パターンＤＰ−ｆが［第１の会話文視覚表示モード］の項で例示した口唇パターンＤＰ−２（「歯をみせる」）であるとして、会話文Ｃ２３−２（「あつい」）に対する選択表示mを伴っている会話文列C1の視覚表示と、確認文ＹＮ（「これでいいですか？」）の視覚表示とで得られている、という場合が示されている。
【００８２】
［第2の会話文視覚表示モードに続く新たな第２の会話文視覚表示モード］
また、上述した第２の会話文視覚表示モードが得られた状態から、人Ｍが、いままでの口唇パターンＤＰ−ｇの状態から、４つの口唇パターンＤＰ−１〜ＤＰ−４中の１つの口唇パターン（これを口唇パターンＤＰ−ｈ (ｈ=1、2、3、4)とする）の状態を、第２の会話文視覚表示モードの開始時点から予定の時間T1を経過する前の時点から、意識的にとれば、その時点から、口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報Ｓ３−ｇであるという状態から口唇パターン識別結果表示情報Ｓ３−ｈであるという状態になり、そして、そのような状態になれば、制御手段Ｋ４２が、［第２の会話文視覚表示制御モードに続く新たな第2の会話文視覚表示制御モード］の項で上述したように、第２の会話文視覚表示制御モードから新たな第2の会話文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第５段に示すように、会話文Ｃ２ｆ−ｈに対する選択表示ｍを伴っている会話文列Ｃ２ｆの視覚表示が得られている、という新たな第2の会話文視覚表示モードが得られる。
なお、図１５の第５段には、新たな第２の会話文視覚表示モートが、人Ｍが口唇パターンＤＰ−ｈとして口唇パターンＤＰ−２（「歯をみせる」）をとったことにより、会話文Ｃ２３−２（「あつい」）に対する選択表示mを伴っている会話文列C２３の視覚表示で得られている、という場合が示されている。
【００８３】
［第２の会話文視覚表示モードに続く第3の会話文視覚表示モード］
さらに、上述した第２の会話文視覚表示モードが得られた状態から、人Ｍが、いままでの口唇パターン（これをＤＰ−ｊ（ｊ＝１、２、３、４）とする）の状態を、第２の会話文視覚表示モードの開始時点から予定の時間T1を経過する時点まで、意識的に持続すれば、口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報Ｓ３−ｊであるという状態を、第１の会話文視覚表示モードの開始時点から予定の時間T1を経過する時点まで接続した状態になり、そして、そのような状態になれば、制御手段Ｋ４２が、［第２の会話文視覚表示制御モードに続く第３の会話文視覚表示制御モード］の項で上述したように、第２の会話文視覚表示制御モードから、第３の会話文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第６段に示すように、上述した第２の会話文視覚表示モードをとっている状態で、確認文ＹＮ（「これでいいですか？」）の視覚表示が得られている、という第３の会話文視覚表示モードが得られる。
なお、図１５の第６段には、第３の会話文視覚表示モートが、人Ｍのいままでの口唇パターンＤＰ−ｆが口唇パターンＤＰ−３（「歯をみせる」）であるとして、会話文Ｃ２３−２（「あつい」）に対する選択表示mを伴っている会話文列C２３の視覚表示と、確認文ＹＮ（「これでいいですか？」）の視覚表示とで得られている、という場合で示されている。
【００８４】
［第３の会話文視覚表示モードに続く新たな第２の会話文視覚表示モード］
さらに、上述した第３の会話文視覚表示モードが得られた状態から、人Ｍが、上述したいままでの口唇パターンＤＰ−ｊの状態から、口唇パターンＤＰ−ｊとは、［第３の会話文視覚表示制御モードに続く新たな第２の会話文視覚表示制御モード］の項で上述したように明度ヒストグラム表示情報Ｈ３１′がクロック時点ｔｉ′での画素数Ｎｉ′とクロック時点ｔ（ｉ−１）′との差が予定の閾値ＴＨで得られることを表すのに十分なだけ異なる、口唇パターンＤＰ−１〜ＤＰ−４中の他の口唇パターンを含めた他の口唇パターンの状態を、繰り返しまたは繰返すことなしに、第３の会話文視覚表示モードの開始時点から予定の時間T1を経過する前の時点から、意識的にとれば、［第３の会話文視覚表示制御モードに続く新たな第２の会話文視覚表示制御モード］の項で上述したように明度ヒストグラム表示情報Ｈ３１′がクロック時点ｔｉでの画素数Ｎｉとクロック時点ｔ（ｉ−１）との差が予定の閾値ＴＨで得られることを表す、という状態になり、そして、そのような状態になれば、制御手段Ｋ４２が、［第３の会話文視覚表示制御モードに続く新たな第２の会話文視覚表示制御モード］の項で上述したように、第３の会話文視覚表示制御モードから、新たな第２の会話文視覚表示制御モードをとるようになされているため、いま、人Ｍの口唇パターンが口唇パターンＤＰ−ｋ（ｋ＝１、２、３、４）であるとすれば、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第５段に示すように、いままでの確認文ＹＮ（「これでいいですか？」）の視覚表示は得られていないが、会話文Ｃ２ｆ−ｋに対する選択表示mを伴っている会話文列C２ｆの視覚表示が得られている、という新たな第２の会話文視覚表示モードが得られる。
なお、図１５の第５段には、新たな第２の会話文視覚表示モートが、人Ｍのいままでの口唇パターンＤＰ−ｋが口唇パターンＤＰ−２（「歯をみせる」）であるとして、会話文Ｃ２ｆ−２（「訴え」）に対する選択表示mを伴っている会話文列C1の視覚表示と確認文ＹＮ（「これでいいですか？」）の視覚表示とで得られている、という場合で示されている。
【００８５】
［第３の会話文視覚表示モードに続く新たな第２の短文視覚表示モード］
さらに、上述した第３の会話文視覚表示モードが得られた状態から、人Ｍが、口唇パターンＤＰを、［第３の会話文視覚表示制御モードに続く新たな第２の短文視覚表示制御モード］の項で述べた予定の時間Ｔ２内で、上述した［第３の会話文視覚表示モードに続く新たな第２の会話文視覚表示モード］をとり、次で上述した［第２の会話文視覚表示モードに続く第３の会話文視覚表示モード］をとることが予定の複数回繰返されるようにとれば、制御手段Ｋ４２が、第３の会話文視覚表示制御モードから、新たな第２の短文視覚表示制御モードをとるようになされているため、いま、人Ｍの口唇パターンが口唇パターンＤＰ−３であるとすれば、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第２段に示すように、短文Ｃ１−３に対する選択表示mを伴っている会話文列C１の視覚表示が得られている、という新たな第２の会話文視覚表示モードが得られる。
【００８６】
［第３の会話文視覚表示モードに続く会話文音声表示モード］
さらに、上述した第３の会話文視覚表示モードが得られた状態から、人Ｍが、いままでの口唇パターン（これをＤＰ−ｐ（ｐ＝１、２、３、４）とする）の状態を、第２の会話文視覚表示モードの開始時点から予定の時間T1を経過する時点まで、意識的に持続すれば、口唇パターン識別結果表示情報Ｓ３がいままでの口唇パターン識別結果表示情報Ｓ３−ｐであるという状態を、第１の会話文視覚表示モードの開始時点から予定の時間T1を経過する時点まで接続した状態になり、そして、そのような状態になれば、制御手段Ｋ４２が、［第３の会話文視覚表示制御モードに続く会話文音声表示制御モード］の項で上述したように、第３の会話文視覚表示制御モードから、会話文音声表示制御モードをとるようになされているため、会話文等視覚表示手段Ｍ２の表示面上に、図１５の第７段に示すように、会話文Ｃ２ｆ−ｐの音声表示が得られている、という会話文音声表示モードが得られる。
なお、図１５の第７段には、会話文音声表示モートが、人Ｍの口唇パターンＤＰ−ｐが口唇パターンＤＰ−２（「歯をみせる」）であるとして、会話文Ｃ２３−２（「あつい」）に対する選択表示mを伴っている会話文列C２３の音声表示で得られている、という場合が示されている。
【００８７】
上述したところから、本発明による意思疎通支援装置の第１の実施例によれば、上述した撮像手段Ｑ１と、上述した口唇領域画像抽出手段Ｑ２と、上述した明度ヒストグラム表示情報生成手段Ｋ３１を有する口唇パターン識別手段Ｑ３と、上述した会話文等表示手段Ｑ４とを有する構成で、会話文等表示手段Ｑ４の会話文等視覚表示手段Ｍ２の表示面上で図１５の第１段に示すような第１の短文視覚表示モードをとってから、図１５の第２段に示すような第２の短文視覚表示モードをとってまたはとることなしに、図１５の第３段に示すような第３の短文視覚表示モードをとり、次で、図１５の第４段に示すような第１の会話文視覚表示モードをとり、その第１の会話文視覚表示モードをとってから、図１５の第５段に示すような第２の会話文視覚表示モードをとりまたはとることなしに、図１５の第６段に示すような第３の会話文視覚表示モードをとり、次で、図１５の第７段の会話文音声表示モードをとり、結局、会話文等視覚表示手段Ｍ２の表示面上に視覚表示された、４つの会話文列Ｃ２１〜Ｃ２４中の人Ｍが意図的にとる４つの口唇パターン（ＤＰ−１〜ＤＰ−４）中の１つの口唇パターン（例えばＤＰ−３（「口をつぼめる」））に応じて選択された会話文列（例えばＣ２３）における４つの会話文（例えばＣ２３−１〜Ｃ２３−４）中の、人が意図的にとる口唇パターン（例えばＤＰ−２（「歯をみせる」））に応じて選択された会話文（例えばＣ２３−２（「あつい」））を、会話文等視覚表示手段Ｍ２の表示面上に視覚表示された確認文ＹＮ（「これでいいですか？」）による是認の下で、人Ｍが意図する意思として、正しく音声表示することができ、そこに、人Ｍに、意図的な口唇パターンをとらせる負担をかけさせるとしても、人Ｍにそれ以上の負担をかけさせなくてすみ、よって、人Ｍが意図する意思を、容易に、正しく疎通させることができる。
【変型変更】
【００８８】
上述においては、口唇パターン識別手段Ｑ３において、口唇パターン識別結果表示情報Ｓ３を生成するにつき、撮像手段Ｑ１から得られる顔画像信号Ｓ１を用いた場合を述べたが、撮像手段Ｑ１から得られる顔画像信号Ｓ１を直接的に用いて、上述したと同様の作用・効果を得るようにすることもできることは明らかであろう。
【００８９】
また、上述においては、人Ｍが、口唇パターンＤＰとして、互いに異なる４つの口唇パターンＤＰ−ａ、ＤＰ−ｂ、ＤＰ−ｃ及びＤＰ−ｄをとるものとし、また、これに応じ参照用口唇パターンＲＰを４つの参照用口唇パターンＲＰ−ａ、ＲＰ−ｂ、ＲＰ−ｃ及びＲＰ−ｄとした場合を述べたが、人Ｍが、口唇パターンＤＰとして、互いに異なる４つの口唇パターンＤＰ−ａ、ＤＰ−ｂ、ＤＰ−ｃ及びＤＰ−ｄ中の任意の２つまたは３つの口唇パターンをとるものとし、また、これに応じ、参照用口唇パターンＲＰを参照用口唇パターンＲＰ−ａ、ＲＰ−ｂ、ＲＰ−ｃ及びＲＰ−ｄ中の１つまたは３つの参照用口唇パターンとして、上述したのに準じた作用・効果を得るようにすることもできることは明らかであろう。
【００９０】
さらに、上述においては、４つの会話文を有する４つの会話文列Ｃ２１〜Ｃ２４を用い、それら中の１つの会話文列中の１つの会話文を音声表示する、従って、１６個の会話文中の１つの会話文を音声表示する場合につき述べたが、複数の会話文を有する１つの会話文列を用い、これに応じ、短文列Ｃ１を省略し、そして、１つの会話文列が有する複数の会話文中の１つの会話文を音声表示するようにして、上述したと同様の作用・効果を得るようにすることもできることは明らかであろう。
【００９１】
また、上述においては、会話文等表示手段Ｑ４において、確認文ＹＮの視覚表示に応じ、第３の短文または会話文視覚表示モードに続く新たな第２の短文または会話文視覚表示モードを得るようにするにつき、明度ヒストグラム表示情報Ｈ３１′を用いた場合を述べたが、その明度ヒストグラム表示情報Ｈ３１′に代え、口唇パターン識別結果表示情報Ｓ３を用いて、上述したと同様の作用・効果を得るようにすることもできることも明らかであろう。
【００９２】
また、上述においては、第１の短文または会話文視覚表示モードをとってから、人Ｍが、いままでの口唇パターンの状態を、予定の時間Ｔ１を経過する前の時点から意識的に他の口唇パターンの状態にとれば、第２の短文または会話文視覚表示モードが得られ、人Ｍが、いままでの口唇パターンの状態を、予定の時間Ｔ１を経過する時点まで意識的に持続すれば、第３の短文または会話文視覚表示モードが得られることで、選択された会話文の表示が得られるようになされている場合につき述べたが、第１の短文または会話文視覚表示モードをとってから、人Ｍが、いままでの口唇パターンの状態を、意識的に他の口唇パターンの状態に変更しさえすれば、上述した時間Ｔ１に関係なしに、直接的に、第２の短文または会話文視覚表示モードまたは第３の短文または会話文視覚表示モードが得られるようにして、上述したと同様の作用・効果を得るようにすることもできることは明らかであろう。
【００９３】
さらに、上述においては、第２の短文または会話文視覚表示モードをとってから、人Ｍが、いままでの口唇パターンの状態を、予定の時間Ｔ１を経過する前の時点から意識的に他の口唇パターンの状態にとれば、新たな第２の短文または会話文視覚表示モードが得られ、人Ｍが、いままでの口唇パターンの状態を、予定の時間Ｔ１を経過する時点まで意識的に持続すれば、第３の短文または会話文視覚表示モードが得られることで、選択された会話文の表示が得られるようになされている場合につき述べたが、第２の短文または会話文視覚表示モードをとってから、人Ｍが、いままでの口唇パターンの状態を、意識的に他の口唇パターンの状態に変更しさえすれば、上述した時間Ｔ１に関係なしに、直接的に、第３の短文または会話文視覚表示モードが得られるようにして、上述したと同様の作用・効果を得るようにすることもできることは明らかであろう。
【００９４】
また、上述においては、選択された会話文に選択表示ｍを伴っている会話文列の視覚表示に続いて、その選択表示ｍの伴った会話文の音声表示をすることで、選択された会話文の表示が得られるようになされている場合につき述べたが、選択された会話文に選択表示ｍを伴っている会話文列の視覚表示だけでも、人が意図する意思が何であるかが解るので、選択表示ｍの伴った会話文の音声表示のための手段を省略することもできることも明らかであろう。
【００９５】
その他、本発明の精神を脱することなしに、種々の変型、変更をなし得ることは明らかであろう．
【産業上の利用可能性】
【００９６】
本発明による意思疎通支援装置は、身体の自由な動きがとれず且つ会話及び手の不自由な人の意思の疎通の支援に用いて好適である。
【図面の簡単な説明】
【００９７】
【図１】本発明による意思疎通支援装置の第１の実施例を示す略線的系統図である。
【図２】図１に示す本発明による意思疎通支援装置の第１の実施例に用い得る画像抽出手段を示す略線的系統図である。
【図３】図１に示す本発明による意思疎通支援装置の第１の実施例に用い得る画像識別手段を示す略線的系統図である。
【図４】図１に示す本発明による意思疎通支援装置の第１の実施例における会話文等表示手段を示す略線的系統図である。
【図５Ａ】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、人が口を開けているときの口唇パターンＤＰ−１を示す図である。
【図５Ｂ】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、人が口唇パターンとして図５Ａに示す口唇パターンＤＰ−１に対応する参照用口唇パターンＲＰ−１をとったときの明度ヒストグラム表示情報が表している明度ヒストグラムＬＨ−１を示す図である。
【図６Ａ】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、人が歯を見せているときの口唇パターンＤＰ−２を示す図である。
【図６Ｂ】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、人が口唇パターンとして図６Ａに示す口唇パターンＤＰ−２に対応する参照用口唇パターンＲＰ−２をとったときの明度ヒストグラム表示情報が表している明度ヒストグラムＬＨ−２を示す図である。
【図７Ａ】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、人が口をつぼめているときの口唇パターンＤＰ−３を示す図である。
【図７Ｂ】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、人が口唇パターンとして図７Ａに示す口唇パターンＤＰ−３に対応する参照用口唇パターンＲＰ−３をとったときの明度ヒストグラム表示情報が表している明度ヒストグラムＬＨ−３を示す図である。
【図８Ａ】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、人が舌を出しているときの口唇パターンＤＰ−４を示す図である。
【図８Ｂ】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、人が口唇パターンとして図８Ａに示す口唇パターンＤＰ−４に対応する参照用口唇パターンＲＰ−４をとったときの明度ヒストグラム表示情報が表している明度ヒストグラムＬＨ−４を示す図である。
【図９】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、人が口を自然状態にしているときの口唇パターンＤＰ−Ａを示す図である。
【図１０】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、会話文等表示手段の表示面上に表示される短文列Ｃ１の視覚表示を示す図である。
【図１１】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、会話文等表示手段の表示面上に表示される会話文列Ｃ２１の視覚表示を示す図である。
【図１２】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、会話文等表示手段の表示面上に表示される会話文列Ｃ２２の視覚表示を示す図である。
【図１３】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、会話文等表示手段の表示面上に表示される会話文列Ｃ２３の視覚表示を示す図である。
【図１４】図１に示す本発明による意思疎通支援装置の第１の実施例の説明に供する、会話文等表示手段の表示面上に表示される会話文列Ｃ２４の視覚表示を示す図である。
【図１５】図１に示す本発明による意思疎通支援装置の第１の実施例の動作の説明に供する、順次の短文視覚表示モード、会話文視覚表示モード及び会話文音声表示モードを示す図である。
【符号の説明】
【００９８】
Ｇ        意思疎通支援手段
Ｋ２０    画像抽出手段
Ｋ２１    エッジ検出手段
Ｋ２２    エッジ群選択手段
Ｋ２３    長方形生成手段
Ｋ２４    長方形領域抽出手段
Ｋ３０    画像識別手段
Ｋ３１    明度ヒストグラム表示情報生成手段
Ｋ３２    明度特徴解析手段
Ｋ３３    参照用明度特徴表示情報記憶手段
Ｋ３４    明度特徴識別手段
Ｋ４１    会話文等情報出力・表示手段
Ｋ４２    制御手段
Ｍ        人
Ｍ１      会話文等視覚表示情報出力手段
Ｍ１１    短文視覚表示情報出力手段
Ｍ１２    会話文視覚表示情報出力手段
Ｍ１３    確認文視覚表示情報出力手段
Ｍ２      会話文等視覚表示手段
Ｍ３      会話文音声表示情報出力手段
Ｍ４      会話文音声表示手段
Ｑ１      撮像手段
Ｑ２      口唇領域画像抽出手段
Ｑ３      口唇パターン識別手段
Ｑ４      会話文等表示手段
【図１】
2005148959.tif 000003
【図２】
2005148959.tif 000004
【図３】
2005148959.tif 000005
【図４】
2005148959.tif 000006
【図５Ａ】
2005148959.tif 000007
【図５Ｂ】
2005148959.tif 000008
【図６Ａ】
2005148959.tif 000009
【図６Ｂ】
2005148959.tif 000010
【図７Ａ】
2005148959.tif 000011
【図７Ｂ】
2005148959.tif 000012
【図８Ａ】
2005148959.tif 000013
【図８Ｂ】
2005148959.tif 000014
【図９】
2005148959.tif 000015
【図１０】
2005148959.tif 000016
【図１１】
2005148959.tif 000017
【図１２】
2005148959.tif 000018
【図１３】
2005148959.tif 000019
【図１４】
2005148959.tif 000020
【図１５】
2005148959.tif 000021