聴覚障がい者が触れて使用する聴覚障がい者装置とともに使用される聴覚障がい者支援装置であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、当該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、映像トラックと音声トラックを備えるストリームを受信するストリーム受信部と、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす1以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する音声解析部と、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成する温度指示情報生成部と、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する温度制御情報送信部とを備えることを特徴とする聴覚障がい者支援装置。聴覚障がい者が触れて使用する聴覚障がい者装置ならびに前記聴覚障がい者が見て使用する表示装置とともに使用される聴覚障がい者支援装置であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記表示装置は、複数種類の表示制御情報のそれぞれにつき、当該表示制御情報を受信したら、当該表示制御情報に応じた表示内容を表示するようになっており、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、前記各表示制御情報につき、当該表示制御情報と当該表示制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する表示制御情報記憶部と、映像トラックと音声トラックを備えるストリームを受信するストリーム受信部と、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす1以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する音声解析部と、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成する温度指示情報生成部と、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記表示制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから表示制御情報を読み出し、当該表示制御情報と当該フレーム群情報とを含む表示指示情報を生成する表示指示情報生成部と、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する温度制御情報送信部と、前記各表示指示情報につき、当該表示指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該表示指示情報内の表示制御情報を前記表示装置に送信する表示制御情報送信部とを備えることを特徴とする聴覚障がい者支援装置。聴覚障がい者が触れて使用する聴覚障がい者装置とともに使用される聴覚障がい者支援装置の動作方法であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、当該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部を備え、前記動作方法は、前記聴覚障がい者支援装置のストリーム受信部が、映像トラックと音声トラックを備えるストリームを受信し、前記聴覚障がい者支援装置の音声解析部が、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす1以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成し、前記聴覚障がい者支援装置の温度指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成し、前記聴覚障がい者支援装置の温度制御情報送信部が、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信することを特徴とする聴覚障がい者支援装置の動作方法。聴覚障がい者が触れて使用する聴覚障がい者装置ならびに前記聴覚障がい者が見て使用する表示装置とともに使用される聴覚障がい者支援装置の動作方法であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記表示装置は、複数種類の表示制御情報のそれぞれにつき、当該表示制御情報を受信したら、当該表示制御情報に応じた表示内容を表示するようになっており、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、前記各表示制御情報につき、当該表示制御情報と当該表示制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する表示制御情報記憶部とを備え、前記動作方法は、前記聴覚障がい者支援装置のストリーム受信部が、映像トラックと音声トラックを備えるストリームを受信し、前記聴覚障がい者支援装置の音声解析部が、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす1以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成し、前記聴覚障がい者支援装置の温度指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成し、前記聴覚障がい者支援装置の表示指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記表示制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから表示制御情報を読み出し、当該表示制御情報と当該フレーム群情報とを含む表示指示情報を生成し、前記聴覚障がい者支援装置の温度制御情報送信部が、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信し、前記聴覚障がい者支援装置の表示制御情報送信部が、前記各表示指示情報につき、当該表示指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該表示指示情報内の表示制御情報を前記表示装置に送信することを特徴とする聴覚障がい者支援装置の動作方法。請求項1または2記載の聴覚障がい者支援装置としてコンピュータを機能させるためのコンピュータプログラム。各非特許文献の技術はどちらも、非言語音声情報を伝えることで、聴覚障がい者自身の映像視聴の質を高めようとするものであり、聴覚障がい者と共に映像を視聴する聴者のことは考慮されていない。そのため、非言語音声情報を伝える手段は字幕に付随する情報として画面上に視覚的に表出されるものに限られている。これは聴覚障がい者にとっては有効な手段であるが、聴者にとっては映像を覆い隠す情報が増え煩わしく感じられる。しかし、聴覚障がい者と聴者が共に生活する家庭の多くにおいて、非言語音声情報がない状態で映像を視聴する聴覚障がい者と、非言語音声情報をもって映像を視聴する聴者との間で、映像コンテンツに対する印象や理解の相違がコミュニケーションギャップにつながり、家族団らんの阻害要因となっている現状があることからも、非言語音声情報を聴覚障がい者に伝える技術は、聴覚障がい者と聴者が共に映像を視聴するシーンにこそ必要とされているといえる。さらに非特許文献2においては、映像の雰囲気や登場人物の心情を表すアイコンや色つきのフレームを表示するための処理をコンテンツ制作者などの人手により行う必要がある。これには多大なコストがかかり、実際の映像コンテンツ制作の現場を考えると現実的でない。本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、視覚によらないで聴覚障がい者に非言語音声情報がもたらす感情的状態を伝えられる聴覚障がい者支援装置およびその動作方法を提供することにある。上記の課題を解決するために、第1の本発明の聴覚障がい者支援装置は、聴覚障がい者が触れて使用する聴覚障がい者装置とともに使用される聴覚障がい者支援装置であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、当該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、映像トラックと音声トラックを備えるストリームを受信するストリーム受信部と、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす1以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する音声解析部と、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成する温度指示情報生成部と、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する温度制御情報送信部とを備えることを特徴とする。第2の本実施の形態の聴覚障がい者支援装置は、聴覚障がい者が触れて使用する聴覚障がい者装置ならびに前記聴覚障がい者が見て使用する表示装置とともに使用される聴覚障がい者支援装置であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記表示装置は、複数種類の表示制御情報のそれぞれにつき、当該表示制御情報を受信したら、当該表示制御情報に応じた表示内容を表示するようになっており、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、前記各表示制御情報につき、当該表示制御情報と当該表示制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する表示制御情報記憶部と、映像トラックと音声トラックを備えるストリームを受信するストリーム受信部と、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす1以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する音声解析部と、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成する温度指示情報生成部と、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記表示制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから表示制御情報を読み出し、当該表示制御情報と当該フレーム群情報とを含む表示指示情報を生成する表示指示情報生成部と、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する温度制御情報送信部と、前記各表示指示情報につき、当該表示指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該表示指示情報内の表示制御情報を前記表示装置に送信する表示制御情報送信部とを備えることを特徴とする。第3の本発明の聴覚障がい者支援装置の動作方法は、聴覚障がい者が触れて使用する聴覚障がい者装置とともに使用される聴覚障がい者支援装置の動作方法であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、当該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部を備え、前記動作方法は、前記聴覚障がい者支援装置のストリーム受信部が、映像トラックと音声トラックを備えるストリームを受信し、前記聴覚障がい者支援装置の音声解析部が、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす1以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成し、前記聴覚障がい者支援装置の温度指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成し、前記聴覚障がい者支援装置の温度制御情報送信部が、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信することを特徴とする。第4の本発明の聴覚障がい者支援装置の動作方法は、聴覚障がい者が触れて使用する聴覚障がい者装置ならびに前記聴覚障がい者が見て使用する表示装置とともに使用される聴覚障がい者支援装置の動作方法であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記表示装置は、複数種類の表示制御情報のそれぞれにつき、当該表示制御情報を受信したら、当該表示制御情報に応じた表示内容を表示するようになっており、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、前記各表示制御情報につき、当該表示制御情報と当該表示制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する表示制御情報記憶部とを備え、前記動作方法は、前記聴覚障がい者支援装置のストリーム受信部が、映像トラックと音声トラックを備えるストリームを受信し、前記聴覚障がい者支援装置の音声解析部が、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす1以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成し、前記聴覚障がい者支援装置の温度指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成し、前記聴覚障がい者支援装置の表示指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記表示制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから表示制御情報を読み出し、当該表示制御情報と当該フレーム群情報とを含む表示指示情報を生成し、前記聴覚障がい者支援装置の温度制御情報送信部が、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信し、前記聴覚障がい者支援装置の表示制御情報送信部が、前記各表示指示情報につき、当該表示指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該表示指示情報内の表示制御情報を前記表示装置に送信することを特徴とする。本発明の聴覚障がい者支援装置およびその動作方法によれば、視覚によらないで聴覚障がい者に非言語音声情報がもたらす感情的状態を伝えることができる。以下、本発明の実施の形態について図面を参照して説明する。図1は、本実施の形態に係る聴覚障がい者支援装置を含む聴覚障がい者支援システムの構成図である。聴覚障がい者支援システムは、聴覚障がい者支援装置1、聴覚障がい者装置2、表示装置3およびスピーカ4を含む構成である。聴覚障がい者装置2は、聴覚障がい者が触れて使用するものであり、表示装置3は、聴覚障がい者が見て使用するものであり、スピーカ4は、聴覚障がい者とともに映像を見る聴覚に障がいのない人聴者に音声を聞かせるためのものである。聴覚障がい者装置2は、温度を変化させることが可能な温度可変体21と、複数種類の温度制御情報のそれぞれにつき、温度制御情報を受信したら、温度可変体21の温度が温度制御情報に応じた温度に等しくなるように温度可変体21を制御する温度制御部22とを備える。温度可変体21としては、例えば、ニクロム線などが考えられる。表示装置3は、映像トラックと音声トラックを備えるストリームから取り出された映像トラックにより映像を表示し、さらに、複数種類の表示制御情報のそれぞれにつき、表示制御情報を受信したら、表示制御情報に応じた表示内容を表示するようになっている。スピーカ4は、音声トラックから変換された音声信号により音声を再生するようになっている。聴覚障がい者支援装置1は、聴覚障がい者装置2に送信する温度制御情報が予め記憶される温度制御情報記憶部11と、表示装置3に送信する表示制御情報が予め記憶される表示制御情報記憶部12と、映像トラックと音声トラックを備えるストリームを受信するストリーム受信部13と、ストリームの音声トラックを解析する音声解析部14と、聴覚障がい者装置2に送信する温度制御情報を含む温度指示情報を生成する温度指示情報生成部15と、表示装置3に送信する表示制御情報を含む表示指示情報を生成する表示指示情報生成部16と、温度指示情報内の温度制御情報を聴覚障がい者装置2に送信する温度制御情報送信部17と、表示指示情報内の表示制御情報を表示装置3に送信する表示制御情報送信部18と、映像トラックを表示装置3に送信する映像送信部19と、音声トラックを音声信号を変換してスピーカ4に送信する音声送信部101とを備える。図2は、温度制御情報記憶部11の構成の一例を示す図である。温度制御情報記憶部11には、各温度制御情報につき、温度制御情報と温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードが記憶されている。同図では、温度制御情報は、例えば、目標の温度を示す引数を含むプログラム名例えば、Pwarmであるが、ここでは便宜的にあたたかいのように表現している。以降も便宜的にこのような表現を用いる。温度制御情報あたたかいを含むレコードは、ラベル1つまり、ここでは感情的状態喜びを示すラベルを含んでいる。温度制御情報熱いを含むレコードは、ラベル2つまり、ここでは感情的状態怒りを示すラベルを含んでいる。温度制御情報冷たいを含むレコードは、ラベル3つまり、ここでは感情的状態哀しみを示すラベルを含んでいる。温度制御情報ふつうを含むレコードは、ラベル8つまり、ここでは感情的状態平静を示すラベルを含んでいる。図示しないが、その他のレコードは、感情的状態恐怖、驚き、焦りなどを示すラベルとラベル対応する温度制御情報とを含んでいる。図3は、表示制御情報記憶部12の構成の一例を示す図である。表示制御情報記憶部12には、各表示制御情報につき、表示制御情報と表示制御情報に対応する表示内容に応じた感情的状態を示すラベルとを含むレコードが記憶されている。同図では、表示制御情報は、例えば、表示すべきアイコン人間の顔に似せた画像のファイル名Smilegifなどを含むものであるが、ここでは便宜的に笑顔のように表現している。以降も便宜的にこのような表現を用いる。表示制御情報笑顔を含むレコードは、ラベル1つまり、ここでは感情的状態喜びを示すラベルを含んでいる。表示制御情報怒っている顔を含むレコードは、ラベル2つまり、ここでは感情的状態怒りを示すラベルを含んでいる。表示制御情報泣き顔を含むレコードは、ラベル3つまり、ここでは感情的状態哀しみを示すラベルを含んでいる。表示制御情報ふつうの顔を含むレコードは、ラベル8つまり、ここでは感情的状態平静を示すラベルを含んでいる。図示しないが、その他のレコードは、感情的状態恐怖、驚き、焦りなどを示すラベルとラベル対応する表示制御情報とを含んでいる。聴覚障がい者支援システムの動作次に、聴覚障がい者支援システムの動作について詳しくを説明する。まず、ストリーム受信部13は、映像トラックと音声トラックを備えるストリームを受信する。音声解析部14は、ストリーム受信部13から音声トラックを受信する。映像送信部19は、ストリーム受信部13から映像トラックを受信し、表示装置3へ送信する。音声送信部101は、ストリーム受信部13から音声トラックを受信し、音声信号に変換し、スピーカ4へ送信する。表示装置3は、映像トラックを受信し、映像トラックにより映像を表示する。スピーカ4は、音声信号を受信し、音声信号により音声を再生する。音声解析部14は、映像トラックを構成する各フレームにつき、フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出し、同一の感情的状態が継続するフレーム区間に、その感情的状態のラベルを割り当てる。感情的状態の検出は、例えば、国際公開番号WO2008032787の技術によって行うことが可能である。音声解析部14は、まず、フレームを再生するときに再生される音声トラックの部分とフレームを対応づける情報をストリームから取得し、これにより、音声トラックのどの部分がどのフレームに対応するかを認識する。図4は、音声解析部14が感情的状態を検出する仕組みを示す図であり、図5は、音声解析部14により生成される音声解析結果の一例を示す図である。音声解析部14は、各フレームにつき、フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態喜びの大きさを示す値を求め、その他の感情的状態怒り、哀しみ等についても同様に値を求める。音声解析部14は、次に、各フレームにつき、各感情的状態の大きさを示す値の最大値を求める。つまり、音声解析部14は、各フレームにつき、フレームに対応する音声は、最大値に対応する感情的状態をもたらすと判定する。音声解析部14は、次に、同じ感情的状態をもたらす1以上の連続するフレームからなるフレーム群のそれぞれにつき、フレーム群を示すフレーム群情報ならびにフレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する。音声解析部14は、例えば、連続するフレーム1~351の中の各フレームにつき、感情的状態喜びを示す値が最大値だったなら、フレーム1~351を示すフレーム群情報ならびに感情的状態喜びを示すラベル1とを含む音声解析結果を生成する。音声解析部14は、例えば、連続するフレーム352~911の中の各フレームにつき、感情的状態怒りを示す値が最大値だったなら、フレーム352~911を示すフレーム群情報ならびに感情的状態怒りを示すラベル2とを含む音声解析結果を生成する。温度指示情報生成部15は、音声解析部14から各音声解析結果を受信し、音声解析結果からフレーム群情報とラベルを読み出し、温度制御情報記憶部11からこのラベルを含むレコードを検索し、レコードから温度制御情報を読み出し、温度制御情報とこのフレーム群情報とを含む温度指示情報を生成する。図6は、温度指示情報生成部15により生成される温度指示情報の一例を示す図である。温度指示情報生成部15は、例えば、フレーム1~351を示すフレーム群情報ならびに感情的状態喜びを示すラベル1とを含む音声解析結果からフレーム群情報とラベル1を読み出し、温度制御情報記憶部11からラベル1を含むレコードを検索し、レコードから温度制御情報あたたかいを読み出し、温度制御情報あたたかいとフレーム1~351を示すフレーム群情報とを含む温度指示情報を生成する。温度指示情報生成部15は、例えば、フレーム352~911を示すフレーム群情報ならびに感情的状態怒りを示すラベル2とを含む音声解析結果からフレーム群情報とラベル2を読み出し、温度制御情報記憶部11からラベル2を含むレコードを検索し、レコードから温度制御情報熱いを読み出し、温度制御情報熱いとフレーム352~911を示すフレーム群情報とを含む温度指示情報を生成する。一方、表示指示情報生成部16は、音声解析部14から各音声解析結果を受信し、音声解析結果からフレーム群情報とラベルを読み出し、表示制御情報記憶部12からこのラベルを含むレコードを検索し、レコードから表示制御情報を読み出し、表示制御情報とこのフレーム群情報とを含む表示指示情報を生成する。図7は、表示指示情報生成部16により生成される表示指示情報の一例を示す図である。表示指示情報生成部16は、例えば、フレーム1~351を示すフレーム群情報ならびに感情的状態喜びを示すラベル1とを含む音声解析結果からフレーム群情報とラベル1を読み出し、表示制御情報記憶部12からラベル1を含むレコードを検索し、レコードから表示制御情報笑顔を読み出し、表示制御情報笑顔とフレーム1~351を示すフレーム群情報とを含む表示指示情報を生成する。表示指示情報生成部16は、例えば、フレーム352~911を示すフレーム群情報ならびに感情的状態怒りを示すラベル2とを含む音声解析結果からフレーム群情報とラベル2を読み出し、表示制御情報記憶部12からラベル2を含むレコードを検索し、レコードから表示制御情報怒っている顔を読み出し、表示制御情報怒っている顔とフレーム352~911を示すフレーム群情報とを含む表示指示情報を生成する。温度制御情報送信部17は、温度指示情報生成部15から各温度指示情報を受信し、温度指示情報からフレーム群情報を読み出し、例えば、映像送信部19から送信される映像トラックを監視し、フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、温度指示情報内の温度制御情報を聴覚障がい者装置2に送信する。図8は、温度制御情報送信部17の動作の流れを示すフローチャートである。温度制御情報送信部17は、映像トラックの先頭フレームを含むフレーム群を示すフレーム群情報を含む温度指示情報を選択し、フレーム群情報を読み出すS1。温度制御情報送信部17は、読み出したフレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったか否かを判定するS3。温度制御情報送信部17は、このタイミングになったならS3:YES、選択した温度指示情報内の温度制御情報を聴覚障がい者装置2に送信するS5。温度制御情報送信部17は、次に、このフレーム群を除く映像トラックの先頭フレームを含むフレーム群を示すフレーム群情報を含む温度指示情報を選択し、フレーム群情報を読み出すS1。以降、温度制御情報送信部17は、同様に処理を行う。聴覚障がい者装置2の温度制御部22は、温度制御情報送信部17から温度制御情報を受信したら、温度可変体21の温度が温度制御情報に応じた温度に等しくなるように温度可変体21を制御する。一方、表示制御情報送信部18は、表示指示情報生成部16から各表示指示情報を受信し、表示指示情報からフレーム群情報を読み出し、例えば、映像送信部19から送信される映像トラックを監視し、フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、表示指示情報内の表示制御情報を表示装置3に送信する。図9は、表示制御情報送信部18の動作の流れを示すフローチャートである。表示制御情報送信部18は、映像トラックの先頭フレームを含むフレーム群を示すフレーム群情報を含む表示指示情報を選択し、フレーム群情報を読み出すS11。表示制御情報送信部18は、読み出したフレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったか否かを判定するS13。表示制御情報送信部18は、このタイミングになったならS13:YES1、選択した表示指示情報内の表示制御情報を聴覚障がい者装置2に送信するS15。表示制御情報送信部18は、次に、このフレーム群を除く映像トラックの先頭フレームを含むフレーム群を示すフレーム群情報を含む表示指示情報を選択し、フレーム群情報を読み出すS11。以降、表示制御情報送信部18は、同様に処理を行う。表示装置3は、表示制御情報送信部18から表示制御情報を受信したら、表示されている映像に重ねて、表示制御情報に応じた表示内容例えばアイコンを表示する。図10は、表示制御情報により表示されるアイコンを含む映像、音声信号により再生される音声、および聴覚障がい者装置2温度可変体21の温度推移の一例を示す図である。フレーム1~351の期間では、映像には、例えば、風景が表示される。また、フレーム352~911の期間でも、同様に、映像には風景が表示される。また、フレーム1~351の期間では、音声は、鳥のさえずりである。ところが、フレーム352~911の期間では、音声は、雷鳴になる。聴覚障がい者とともに映像を見る聴者は、音声の変化を認識し、フレーム352~911の期間では、なにかが起こるかもしれないのように感じる。一方、聴覚障がい者は、このような映像のみでは、音声の変化を認識できず、フレーム1~351の期間と同様に、フレーム352~911の期間でも、のどかな風景だなのように感じてしまう。しかし、本実施の形態では、フレーム1~351の期間では、聴覚障がい者装置2温度可変体21の温度は、例えば、38°Cに制御され、フレーム352~911の期間では、温度は、例えば、42°Cに制御される。よって、聴覚障がい者は、フレーム352~911の期間において、例えば、聴者と同様に、なにかが起こるかもしれないのように感じることができる。また、本実施の形態では、フレーム1~351の期間では、笑顔のアイコンが表示され、フレーム352~911の期間では、怒っている顔のアイコンが表示される。よって、聴覚障がい者は、フレーム352~911の期間において、例えば、聴者と同様な感情を、より強く感じることができる。したがって、本実施の形態によれば、鳥のさえずり、雷鳴のような字幕を表示させることなく、聴覚障がい者に対し、このような非言語音声情報がもたらす感情的状態をリアルタイムに伝えることができる。一方、聴者に対しては、このような非言語音声情報が音声によりリアルタイムに伝わる。非言語音声情報は、聴覚障がい者にも聴者にもリアルタイムに伝わるので、両者は、同じタイミングで同じ感情をもつことができ、よって、いわゆる両者のコミュニケーションギャップを埋め、コミュニケーションを円滑にすることができる。なお、本実施の形態では、アイコンを表示するようにしたが、これは必須でなく、聴覚障がい者装置2の温度制御のみを行ってもよい。この場合、表示指示情報生成部16および表示制御情報送信部18は不要である。また、本実施の形態では、聴覚障がい者とともに映像を見る聴者を想定して、音声を再生したが、聴覚障がい者だけの場合などにおいては、音声を再生しなくてもよい。この場合、スピーカ4、音声送信部101は不要である。また、聴覚障がい者支援装置1としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。