(57)【要約】【課題】  映像情報または音声情報の消失が検出された場合、テキスト情報を再送することにより、伝送誤り耐性が高く、効率的なコンテンツ通信システム、コンテンツ送信装置及びコンテンツ送信方法を提供する。【解決手段】  コンテンツ通信システムは、コンテンツ送信装置とそのコンテンツを受信する装置からなり、コンテンツ送信装置はコンテンツを映像情報パケットと、音声情報パケットと、テキスト情報パケットとして送信する。そして、コンテンツ送信装置は、パケットの再生要求を上記受信装置から受信した場合、要求されたパケットを再送し（ステップＳ２３ｓ）、更に、そのパケットが映像情報パケットまたは音声情報パケットである場合（ステップＳ２３ｔの「映像または音声」）、そのパケットが送信された時刻の近くの時刻に送信されたテキスト情報パケットを再送する（ステップＳ２３ｖ）。【選択図】  図８
2006262108.tif 000002
【特許請求の範囲】
【請求項１】
第１の種類の情報と第２の種類の情報とからなるコンテンツを送信するコンテンツ送信装置と、前記コンテンツ送信装置から送信されたコンテンツを受信するコンテンツ受信装置とが通信回線を介して接続されたコンテンツ通信システムであって、
前記コンテンツ送信装置は、
前記第１の種類の情報と第２の種類の情報とのそれぞれをパケットとし、そのパケットを再生される順に前記コンテンツ受信装置に送信するパケット送信手段と、
前記コンテンツ受信装置から送信された前記パケットの再送要求を受信すると、該再送要求のパケットが第１の種類の情報のパケットであるかを確認し、第１の種類のパケットである場合は、そのパケットが前記パケット送信手段によって送信された時刻に基づいて求めた時刻に前記パケット送信手段によって送信された第２の種類の情報のパケットを再送するパケット再送手段とを有し、
前記コンテンツ受信装置は、
前記コンテンツ送信装置から送信された第１の種類の情報と第２の種類の情報とのそれぞれのパケットを受信し、消失が検出された前記パケットの再送要求を前記コンテンツ送信装置に送信するパケット受信手段を有する
ことを特徴とするコンテンツ通信システム。
【請求項２】
第１の種類の情報と第２の種類の情報とからなるコンテンツをパケットとして送信するコンテンツ送信装置と、前記コンテンツ送信装置から送信されたコンテンツのパケットを受信し、消失が検出された前記パケットの再送要求を前記コンテンツ送信装置に送信するコンテンツ受信装置とが通信回線を介して接続されたコンテンツ通信システムのコンテンツ送信装置であって、
前記第１の種類の情報と第２の種類の情報とのそれぞれをパケットとし、そのパケットを再生される順に前記コンテンツ受信装置に送信するパケット送信手段と、
前記コンテンツ受信装置から送信された前記パケットの再送要求を受信すると、該再送要求のパケットが第１の種類の情報のパケットであるかを確認し、第１の種類のパケットである場合は、そのパケットが前記パケット送信手段によって送信された時刻に基づいて求めた時刻に前記パケット送信手段によって送信された第２の種類の情報のパケットを再送するパケット再送手段と
を有することを特徴とするコンテンツ送信装置。
【請求項３】
前記第１の種類の情報は映像情報及び／または音声情報であり、前記第２の種類の情報はテキスト情報である
ことを特徴とする請求項２に記載のコンテンツ送信装置。
【請求項４】
前記求められた時刻に前記パケット送信手段によって送信された第２の種類の情報のパケットは、前記パケット送信手段によって再生要求が受信されたパケットの前後に隣接して送信された前記第２の種類の情報のパケットである
ことを特徴とする請求項２に記載のコンテンツ送信装置。
【請求項５】
前記求められた時刻に前記パケット送信手段によって送信された第２の種類の情報のパケットは、前記パケット送信手段によって再生要求が受信されたパケットの前後の直近に送信された前記第１の種類の情報のパケットの間に送信された前記第２の種類の情報のパケットである
ことを特徴とする請求項２に記載のコンテンツ送信装置。
【請求項６】
第１の種類の情報と第２の種類の情報とからなるコンテンツをパケットとして送信するコンテンツ送信方法であって、
前記第１の種類の情報と第２の種類の情報とのそれぞれをパケットとし、そのパケットを再生される順に送信し、
再送要求が受信されると、該再送要求のパケットが第１の種類の情報のパケットであるかを判断し、第１の種類のパケットである場合は、そのパケットが送信された時刻に基づいて求めた時刻に送信された前記第２の情報のパケットを再送する
ことを特徴とするコンテンツ送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ通信システム、コンテンツ送信装置及びコンテンツ送信方法に係り、特に、コンテンツを再送して伝送誤り耐性を高める処理に関する。
【背景技術】
【０００２】
ＭＰ４方式などによって符号化された映像情報及び音声情報、更に、テキスト情報からなるコンテンツを、通信回線を介して実時間に送受信するコンテンツ通信システムにおいて、これらの情報はほぼ再生される時刻順にコンテンツ送信装置からコンテンツ受信装置に送られる。
【０００３】
ここで、例えば、移動通信端末装置をコンテンツ受信装置として用いるコンテンツ通信システムでは、コンテンツの伝送中に伝送誤りが混入することによって、情報の消失（情報の内容が伝送中に変化した場合を含む。）が生じる可能性がある。なぜなら、移動通信端末装置を用いて構成される、情報を実時間に通信するシステムでは、再送を行わない、例えば、ＲＴＰ（Real-time Transport Protocol）プロトコルを用いているため、インターネットで用いられているＴＣＰ（Transmission Control Protocol）プロトコルの再送機能を用いることができないためである。
【０００４】
そこで、コンテンツ受信装置は、受信された情報に消失があった場合、ＲＴＣＰ（RTP Control Protocol）プロトコルを用いて消失した情報の再送をコンテンツ送信装置に要求し、コンテンツ送信装置は、その再送が要求された情報を再送する処理が知られている。また、コンテンツ送信装置は、コンテンツ受信装置から再送の要求を受信することなく情報を再送する処理が知られており、例えば、音声情報など、コンテンツ受信装置で情報消失を使用者に隠蔽することが困難な種類の情報に限って、コンテンツ受信装置から再送の要求を受信することなく情報を再送する処理が知られている（例えば、特許文献１参照。）。
【特許文献１】特開２００４−２８２５３８号公報（第２−４、２２頁、図１５）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、テキスト情報は、長い時間間隔をおいて送信されることがあり、その情報の消失の発生からコンテンツ受信装置がその情報の消失を検出するまでに長時間を要することがある。そのため、コンテンツ受信装置が消失した情報の再送を要求しても、その情報を再生すべき時刻迄に再送された情報を受信することができず、情報の消失の隠蔽ができない問題点があった。
【０００６】
また、上述した特許文献１に開示されている方法では、たとえ、コンテンツ受信装置で情報の消失を使用者に隠蔽することが困難な種類の情報に限っても、その種類の情報の全てを再送することはコンテンツ送信装置からコンテンツ受信装置に送信される情報量の増大を招き、効率的でない問題点があった。
【０００７】
本発明は、上記問題点を解決するためになされたもので、映像情報または音声情報の消失が検出された場合、テキスト情報を再送することにより、伝送誤り耐性が高く、効率的なコンテンツ通信システム、コンテンツ送信装置及びコンテンツ送信方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明のコンテンツ通信システムは、第１の種類の情報と第２の種類の情報とからなるコンテンツを送信するコンテンツ送信装置と、前記コンテンツ送信装置から送信されたコンテンツを受信するコンテンツ受信装置とが通信回線を介して接続されたコンテンツ通信システムであって、前記コンテンツ送信装置は、前記第１の種類の情報と第２の種類の情報とのそれぞれをパケットとし、そのパケットを再生される順に前記コンテンツ受信装置に送信するパケット送信手段と、前記コンテンツ受信装置から送信された前記パケットの再送要求を受信すると、該再送要求のパケットが第１の種類の情報のパケットであるかを確認し、第１の種類のパケットである場合は、そのパケットが前記パケット送信手段によって送信された時刻に基づいて求めた時刻に前記パケット送信手段によって送信された第２の種類の情報のパケットを再送するパケット再送手段とを有し、前記コンテンツ受信装置は、前記コンテンツ送信装置から送信された第１の種類の情報と第２の種類の情報とのそれぞれのパケットを受信し、消失が検出された前記パケットの再送要求を前記コンテンツ送信装置に送信するパケット受信手段を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、映像情報または音声情報の消失が検出された場合、テキスト情報を再送することにより、伝送誤り耐性が高く、効率的なコンテンツ通信システム、コンテンツ送信装置及びコンテンツ送信方法を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下に、本発明によるコンテンツ通信システム、コンテンツ送信装置及びコンテンツ送信方法の実施の形態を、図面を参照して説明する。図１は、本発明の実施の形態に係るコンテンツ通信システムの構成を示すブロック図である。
【００１１】
このコンテンツ通信システムは、本発明の実施の形態に係るコンテンツ通信システムのコンテンツ受信装置である移動通信端末装置１と、本発明の実施の形態に係るコンテンツ送信装置及びコンテンツ送信方法が適用されたサーバ装置２と、移動通信端末装置１とサーバ装置２とを接続する通信網３とからなる。通信網３は、移動通信端末装置１から送信された情報を送信された順にサーバ装置２に伝送する。更に、サーバ装置２から送信された情報を送信された順に移動通信端末装置１に伝送する。移動通信端末装置１は、１台であっても良く、また、複数台であっても良い。
【００１２】
図２は、移動通信端末装置１の構成を示すブロック図である。この移動通信端末装置１は、装置全体の制御を行う制御部１１と、通信網３に接続されるアンテナ１２ａと、通信部１２ｂと、送受信部１３と、受話用のスピーカ１４ａと、マイクロフォン１４ｂと、通話部１４ｃと、表示部１５と、入力装置１６と、復号化部１７と、コンテンツの音声情報再生用のスピーカ１７ａとからなる。
【００１３】
図３は、送受信部１３の詳細な構成を示すブロック図である。送受信部１３は、制御部１１と通信部１２ｂと通話部１４ｃとに接続される送信部１３ａと、制御部１１と通信部１２ｂと通話部１４ｃと復号化部１７とに接続される受信部１３ｂとからなる。そして、送信部１３ａは、制御部１１と通信部１２ｂと通話部１４ｃと受信部１３ｂとに接続される変調部１３ｃからなる。受信部１３ｂは、制御部１１と通信部１２ｂと通話部１４ｃとに接続される復調部１３ｄと、復号化部１７と送信部１３ａとに接続されるＲＴＰ受信部１３ｅとからなる。
【００１４】
図４は、サーバ装置２の構成を示すブロック図である。このサーバ装置２は、装置全体の制御を行う制御部２１と、通信網３に接続される通信部２２と、送受信部２３と、表示部２４と、入力装置２５と、コンテンツ記憶部２６と、符号化部２７と、カメラ２７ａと、マイクロフォン２７ｂとからなる。
【００１５】
コンテンツ記憶部２６には、コンテンツ２６ａが記憶される。コンテンツ２６ａは、映像から所定の時間間隔、例えば、６６ミリ秒間隔で連続する静止画を作成し、作成された静止画が符号化された映像情報と、音声信号を所定の時間幅、例えば、２０ミリ秒で分割し、分割された音声信号が符号化された音声情報と、テキスト情報とからなる情報である。
【００１６】
ここで、これらの情報は、その情報が再生される時刻が付加され、その時刻順に、即ち、再生が早い情報が前に、再生が遅い情報が後に連なっている。そのため、上記の３種類の情報が混在して連なっている。なお、これらの情報は、その再生される時刻順に連なっているが、後述する様に、その順は、これらの情報が再生される装置に依存した所定の範囲の異同があっても良い。
【００１７】
図５は、送受信部２３の詳細な構成を示すブロック図である。送受信部２３は、制御部２１と通信部２２とコンテンツ記憶部２６と符号化部２７とに接続される送信部２３ａと、制御部２１と通信部２２とに接続される受信部２３ｂと、送信済パケット記憶部２３ｃとからなる。送信部２３ａは、コンテンツ記憶部２６と符号化部２７と送信済パケット記憶部２３ｃとに接続されるＲＴＰ送信部２３ｄと、制御部２１と通信部２２と受信部２３ｂとに接続される変調部２３ｅとからなる。受信部２３ｂは、制御部２１と通信部２２とに接続される復調部２３ｆと、送信部２３ａと送信済パケット記憶部２３ｃとに接続されるＲＴＣＰ受信部２３ｇとからなる。
【００１８】
送信済パケット記憶部２３ｃには、送信済パケット２３ｈが記憶される。送信済パケット２３ｈは、後述する様に、ＲＴＰ送信部２３ｄによって作成され、変調部２３ｅに送信されたＲＴＰパケットである。図６は、ＲＴＰパケットの構成の一例を示す。ＲＴＰパケット２３ｊは、ストリーム識別子２３ｋと、パケット番号２３ｍと、再生時刻２３ｎと、ストリームデータ２３ｏとからなる。ストリーム識別子２３ｋは、「映像」か、「音声」か、「テキスト」かのいずれかであって、それぞれストリームデータ２３ｏが、映像情報であるか、音声情報であるか、テキスト情報であるかを示す。
【００１９】
パケット番号２３ｍは、ストリーム識別子２３ｋが「映像」であるＲＴＰパケット２３ｊと、ストリーム識別子２３ｋが「音声」であるＲＴＰパケット２３ｊと、ストリーム識別子２３ｋが「テキスト」であるＲＴＰパケット２３ｊとに、それぞれ独立して付加された自然数からなる一連番号である。再生時刻２３ｎは、そのＲＴＰパケット２３ｊのストリームデータ２３ｏが再生される時刻を示す情報であり、コンテンツ２６ａの最初に再生されるストリームデータ２３ｏが含まれているＲＴＰパケット２３ｊの再生時刻２３ｎとの差によって、再生される時刻が識別される。なお、最初に再生されるストリームデータ２３ｏが含まれているＲＴＰパケット２３ｊの再生時刻２３ｎは、任意の数であって良く、０に限るものではない。
【００２０】
ストリームデータ２３ｏは、ストリーム識別子２３ｋが「映像」であるか、「音声」であるか、「テキスト」であるかに対応して、映像情報か、音声情報か、テキスト情報かのいずれかであって、所定の大きさ以下の情報である。即ち、１つの情報が１つのストリームデータ２３ｏの最大の大きさを超える場合（例えば、映像情報であって、フレーム内符号化された情報である場合。）、その情報は複数のストリームデータ２３ｏに分割され、言い換えると、複数のＲＴＰパケット２３ｊに分割される。
【００２１】
これらの複数のＲＴＰパケット２３ｊのパケット番号２３ｍには連続した一連番号が格納され、また、再生時刻２３ｎには同じ時刻が格納される。なお、これらの複数のＲＴＰパケット２３ｊの間に、上記情報とは異なる種類の情報（例えば、音声情報。）のＲＴＰパケット２３ｊが混在していても良い。
【００２２】
上記のように構成された、本発明の実施形態に係るコンテンツ通信システムの各部の動作を、まず、移動通信端末装置１の各部の動作から、図２を参照して説明する。通信部１２ｂは、アンテナ１２ａが受信した高周波信号を順次送受信部１３へ出力し、また、送受信部１３から出力される高周波信号を順次アンテナ１２ａより送信する。
【００２３】
送受信部１３は、通信部１２ｂからの高周波信号を増幅、周波数変換及び復調し、それによって得られたディジタル音声信号を通話部１４ｃに、制御信号を制御部１１に、また、ＲＴＰパケット２３ｊを復号化部１７に順次送る。更には、通話部１４ｃから出力されるディジタル音声信号、及び制御部１１から出力される制御信号を順次変調、周波数変換及び増幅し、高周波信号を得て、それを通信部１２ｂに送る。送受信部１３の動作の詳細は、後述する。
【００２４】
次に、通話部１４ｃは、送受信部１３から出力されるディジタル音声信号をアナログ音声信号に変換し、それを増幅してスピーカ１４ａに送る。また、マイクロフォン１４ｂから出力されるアナログ音声信号を増幅し、それをディジタル音声信号に変換して送受信部１３に送信する。
【００２５】
次に、表示部１５の動作を説明する。表示部１５は、制御部１１に制御されることで、文字・数字や画像データの表示動作を行い、表示されているデータは、入力装置１６からの入力操作や着信信号に応答して制御部１１からの指示を受けることで切換わる。
【００２６】
入力装置１６は、通信相手の電話番号などを指定するための数字キーと複数の機能キーを含むキーからなる。そして、入力装置１６のキーが操作されると、そのキーの識別子が制御部１１に通知され、制御部１１によって、表示部１５に文字として表示され、または、制御が行われる。
【００２７】
復号化部１７は、送受信部１３から送信された映像情報と、音声情報と、テキスト情報とからなるコンテンツ２６ａを受信する。コンテンツ２６ａには、その情報が再生される時刻が付加されている。復号化部１７は、受信されたコンテンツ２６ａをその種類によって分類し、即ち、映像情報と、音声情報と、テキスト情報とに分類し、映像情報と音声情報とは復号して、３種類の情報を復号化部１７内のバッファ記憶部（図示せず）に記憶する。
【００２８】
そして、復号化部１７は、再生される時刻とクロック（図示せず）が示す時刻とによって、上記映像情報、音声情報、または、テキスト情報を再生する時刻になったか否かを判断し、再生する時刻になった映像情報を表示部１５に表示する。また、再生する時刻になった音声情報をスピーカ１７ａから発生させる。更に、再生する時刻になったテキスト情報を表示部１５に表示する。
【００２９】
なお、コンテンツ２６ａの情報は、その情報が再生される時刻の順に受信されることが原則である。しかし、その情報は、一旦復号化部１７内のバッファ記憶部に記憶されるため、受信される順は、そのバッファ記憶部の記憶容量に依存する、所定範囲の異同があっても良い。
【００３０】
既に説明したように、静止画は、例えば、６６ミリ秒毎に表示し直され、音声は、例えば、２０ミリ秒毎に発生が開始される。また、テキスト情報は、次にテキスト情報が表示されるまで引き続いて表示される。空のテキスト情報（文字数が０のテキストからなる情報。）からなるストリームデータ２３ｏを表示させることによって、テキスト情報の表示が消去される。
【００３１】
なお、テキスト情報に、その情報がハイパーリンクデータであるとの識別子が付されていた場合、そのテキスト情報はＵＲＬ（Uniform Resource Locator）であって、復号化部１７は、表示部１５に、例えばボタン（選択肢）を表示する。そして、入力装置１６の所定の機能キーの操作によって、そのボタンが選択されると、復号化部１７は、ブラウザ部（図示せず）を制御して、そのＵＲＬへアクセスさせる。
【００３２】
次に、送受信部１３の動作の詳細を、図３及び図７を参照して説明する。変調部１３ｃは、制御部１１から出力される制御信号と、通話部１４ｃから出力されるディジタル音声信号と、ＲＴＰ受信部１３ｅから送信されたＲＴＣＰパケットとを変調、周波数変換及び増幅し、順次高周波信号を得て、それを通信部１２ｂに送る。
【００３３】
ここで、ＲＴＣＰパケットの説明をする。図７は、ＲＴＣＰパケットの構成の一例を示す。ＲＴＣＰパケット１３ｇは、ストリーム識別子１３ｈと、パケット番号１３ｉとからなる。ストリーム識別子１３ｈは、ＲＴＰパケット２３ｊのストリーム識別子２３ｋと同一であり、また、パケット番号１３ｉは、ＲＴＰパケット２３ｊのパケット番号２３ｍと同一である。後述するように、ＲＴＣＰパケット１３ｇは、サーバ装置２に対してＲＴＰパケット２３ｊの再送を要求するために送信される。
【００３４】
復調部１３ｄは、通信部１２ｂからの高周波信号を順次増幅、周波数変換及び復調し、それによって得られたディジタル音声信号を通話部１４ｃに、制御信号を制御部１１に、また、ＲＴＰパケット２３ｊをＲＴＰ受信部１３ｅに送信する。
【００３５】
ＲＴＰ受信部１３ｅは、復調部１３ｄから送信されたＲＴＰパケット２３ｊを受信し、受信されたＲＴＰパケット２３ｊを、まず、ストリーム識別子２３ｋによって映像情報と、音声情報と、テキスト情報とに分類する。そして、これらの３種類の情報毎に、パケット番号２３ｍが連続したＲＴＰパケット２３ｊが受信されたか否かを調べる。
【００３６】
そして、ある種類のＲＴＰパケット２３ｊで、あるパケット番号２３ｍが付加されたＲＴＰパケット２３ｊが消失したことが検出された場合、ＲＴＰ受信部１３ｅは、ＲＴＣＰパケット１３ｇをサーバ装置２に送信することによって、消失したＲＴＰパケット２３ｊの再送をサーバ装置２に要求する。
【００３７】
ここで、ＲＴＰパケット２３ｊが消失したことは、あるパケット番号２３ｍが付加されたＲＴＰパケット２３ｊが受信されていないのに、そのパケット番号２３ｍに１を加えた値のパケット番号２３ｍが付加されたＲＴＰパケット２３ｊを受信したことによって、及び、ＲＴＰパケット２３ｊに含まれる冗長な情報を用いて情報に矛盾があることによって検出される。再送を要求するＲＴＰパケット２３ｊは、上記ＲＴＣＰパケット１３ｇのストリーム識別子１３ｈと、パケット番号１３ｉとに、それぞれ、再送を要求するＲＴＰパケット２３ｊのストリーム識別子２３ｋと、パケット番号２３ｍとを格納することによって識別される。
【００３８】
一方、ストリーム識別子２３ｋと、パケット番号２３ｍとのいずれもが同一の複数のＲＴＰパケット２３ｊが受信された場合、ＲＴＰ受信部１３ｅは、それらのＲＴＰパケット２３ｊの中で、２回目以降に受信されたＲＴＰパケット２３ｊを廃棄する。
【００３９】
そして、ＲＴＰ受信部１３ｅは、映像情報と、音声情報と、テキスト情報と毎に、ＲＴＰパケット２３ｊから再生時刻２３ｎとストリームデータ２３ｏとを読み出して、再生時刻２３ｎとストリームデータ２３ｏとからなるコンテンツ２６ａ、即ち、映像情報と、音声情報と、テキスト情報とを、復号化部１７に送信する。ここで、既に説明した通り、ストリーム識別子２３ｋと再生時刻２３ｎとが同一であり、パケット番号２３ｍが異なる複数ＲＴＰパケット２３ｊが受信された場合、１つの情報が上記複数のＲＴＰパケット２３ｊに分割されているので、それらのＲＴＰパケット２３ｊのストリームデータ２３ｏを結合して復号化部１７に送信する。
【００４０】
次に、サーバ装置２の各部の動作を、図４を参照して説明する。まず、通信部２２は、通信網３から受信された信号を順次送受信部２３に出力し、また、送受信部２３から出力される信号を順次通信網３に送信する。送受信部２３は、通信部２２から出力された信号を復調し、それによって得られた制御信号を制御部２１に送る。更には、制御部２１から出力される信号、及びコンテンツ記憶部２６または符号化部２７から出力されるコンテンツ２６ａを順次変調し、通信部２２に送る。送受信部２３の動作の詳細は、後述する。
【００４１】
次に、表示部２４の動作を説明する。表示部２４は、制御部２１に制御されることで、文字・数字や画像データの表示動作を行い、表示されているデータは、入力装置２５からの入力操作や着信信号に応答して制御部２１からの指示を受けることで切換わる。
【００４２】
入力装置２５は、文字キーと数字キーと複数の機能キーを含むキーからなる。そして、入力装置２５のキーが操作されると、そのキーの識別子が制御部２１に通知され、制御部２１によって、表示部２４に文字として表示され、テキスト情報として符号化部２７に送信され、または、制御が行われる。
【００４３】
次に、符号化部２７の動作を説明する。符号化部２７は、コンテンツ２６ａを作成する装置であり、制御部２１の起動により動作を開始する。そして、カメラ２７ａから出力された映像を受信して、その映像から所定の間隔、例えば、６６ミリ秒間隔で連続する静止画を作成し、作成された静止画が符号化された映像情報に、その情報が再生される時刻を付加して送受信部２３に送信する。また、符号化部２７は、マイクロフォン２７ｂから出力された音声信号を受信して、その音声信号を所定の間隔、例えば、２０ミリ秒間隔で分割し、分割された音声信号を符号化して、符号化された音声情報にその情報が再生される時刻を付加して送受信部２３に送信する。
【００４４】
更に、符号化部２７は、入力装置２５のキーが操作されることによって得られたテキスト情報を制御部２１から受信して、そのテキストからなる情報にその情報が再生される時刻を付加して送受信部２３に送信する。なお、符号化部２７は、空テキストを受信した場合、空テキストからなる情報にその情報が再生される時刻を付加して送受信部２３に送信する。
【００４５】
ここで、符号化部２７が映像情報、音声情報、またはテキスト情報に付加する情報が再生される時刻は、クロック（図示せず）が示す、符号化部２７が情報を作成している際の時刻を用いても良い。また、これらの情報は、その情報が再生される時刻順に送信する。そのため、３種類の情報が混在して送信される。なお、符号化部２７は、作成されたコンテンツ２６ａをコンテンツ記憶部２６に格納しても良い。
【００４６】
次に、送受信部２３の動作の詳細を図５、図８及び図９を参照して説明する。ＲＴＰ送信部２３ｄは、コンテンツ記憶部２６に記憶されたコンテンツ２６ａを読み出して、または、符号化部２７から送信されたコンテンツ２６ａを受信して、いずれかのコンテンツ２６ａの情報を読み出し、または、受信する毎に、順次ＲＴＰパケット２３ｊを作成する。ＲＴＰパケット２３ｊについては、既に説明した通りである。そして、ＲＴＰ送信部２３ｄは、作成されたＲＴＰパケット２３ｊを変調部２３ｅに送信し、また、そのＲＴＰパケット２３ｊを送信済パケット記憶部２３ｃに送信済パケット２３ｈとして格納する。この格納に際して、ＲＴＰパケット２３ｊが変調部２３ｅに送信された順が保持されるように格納する。
【００４７】
なお、後述する様に、送信済パケット記憶部２３ｃに記憶された送信済パケット２３ｈは、再送のために用いられる。そのため、ＲＴＰ送信部２３ｄは、送信済パケット記憶部２３ｃに格納されてから所定時間経過して、再送が要求されることがない送信済パケット２３ｈを送信済パケット記憶部２３ｃから削除しても良い。
【００４８】
変調部２３ｅは、ＲＴＰ送信部２３ｄによって送信されたＲＴＰパケット２３ｊと、後述する様に、ＲＴＣＰ受信部２３ｇによって送信されたＲＴＰパケット２３ｊと、制御部２１によって送信された制御信号とを順次変調して、通信部２２に送る。
【００４９】
復調部２３ｆは、通信部２２から出力された信号を受信して、順次復調し、得られた制御信号を制御部２１に送り、また、ＲＴＣＰパケット１３ｇをＲＴＣＰ受信部２３ｇに送る。ＲＴＣＰパケット１３ｇについては、既に説明した通りである。
【００５０】
ＲＴＣＰ受信部２３ｇは、復調部２３ｆから送信されたＲＴＣＰパケット１３ｇを受信し、受信されたＲＴＣＰパケット１３ｇのストリーム識別子１３ｈと、パケット番号１３ｉとを検索キーに送信済パケット記憶部２３ｃに記憶された送信済パケット２３ｈを検索し、この検索によって得られたＲＴＰパケット２３ｊを含む１つ、または、複数のＲＴＰパケット２３ｊを変調部２３ｅに送信することによって、情報の再送を行う装置である。
【００５１】
図８は、ＲＴＣＰ受信部２３ｇの動作のフローチャートを示す。ＲＴＣＰ受信部２３ｇは、復調部２３ｆがＲＴＣＰパケット１３ｇを受信した際に、復調部２３ｆによって、そのＲＴＣＰパケット１３ｇを引数に起動されて動作を開始する（ステップＳ２３ｒ）。そして、ＲＴＣＰ受信部２３ｇは、引数のＲＴＣＰパケット１３ｇのストリーム識別子１３ｈがストリーム識別子２３ｋに等しく、かつ、そのＲＴＣＰパケット１３ｇのパケット番号１３ｉがパケット番号２３ｍに等しいＲＴＰパケット２３ｊを送信済パケット記憶部２３ｃに記憶された送信済パケット２３ｈから検索する。そして、検索されたＲＴＰパケット２３ｊを変調部２３ｅに送信して再送する（ステップＳ２３ｓ）。
【００５２】
次に、ＲＴＣＰ受信部２３ｇは、上記ＲＴＣＰパケット１３ｇのストリーム識別子１３ｈによって、再送が要求されたＲＴＰパケット２３ｊの種類を調べる（ステップＳ２３ｔ）。そして、そのＲＴＰパケット２３ｊがテキスト情報である場合、動作を終了する（ステップＳ２３ｕ）。
【００５３】
一方、上記ＲＴＰパケット２３ｊが映像情報、または、音声情報である場合、ＲＴＣＰ受信部２３ｇは、上記再送が要求されたＲＴＰパケット２３ｊがＲＴＰ送信部２３ｄによって変調部２３ｅに送信された時刻に近い時刻に、ＲＴＰ送信部２３ｄによって変調部２３ｅに送信されたテキスト情報からなるＲＴＰパケット２３ｊを、送信済パケット記憶部２３ｃに記憶された送信済パケット２３ｈから検索する。そして、検索された０個を含む任意個のＲＴＰパケット２３ｊを変調部２３ｅに送信し、再送して（ステップＳ２３ｖ）動作を終了する（ステップＳ２３ｕ）。
【００５４】
ＲＴＣＰ受信部２３ｇは、ステップＳ２３ｖで送信するテキスト情報からなるＲＴＰパケット２３ｊを、以下に説明するいくつかの判断基準のいずれかによって決定する。第１の判断基準として、ＲＴＣＰ受信部２３ｇは、上記再送が要求されたＲＴＰパケット２３ｊの前後に隣接してＲＴＰ送信部２３ｄによって変調部２３ｅに送信されたＲＴＰパケット２３ｊ、即ち、送信済パケット記憶部２３ｃに、上記再送が要求されたＲＴＰパケット２３ｊの前後に隣接して記憶されたＲＴＰパケット２３ｊのストリーム識別子２３ｋが「テキスト」である場合、そのＲＴＰパケット２３ｊを送信する。なぜなら、再送が要求されたＲＴＰパケット２３ｊ、即ち、消失したＲＴＰパケット２３ｊの前後に隣接して送信されたＲＴＰパケット２３ｊは消失した可能性があるからである。
【００５５】
第２の判断基準を、図９を参照して説明する。ＲＴＣＰ受信部２３ｇは、再送が要求されたＲＴＰパケット２３ｊのストリーム識別子２３ｋが「音声」である場合、そのＲＴＰパケット２３ｊ（ＲＴＰ送信部２３ｄによって送信された送信順をＸ３とする。）の前後の直近に送信されたストリーム識別子２３ｋが「音声」であるＲＴＰパケット２３ｊを検索する。検索の結果、前の直近に送信されたストリーム識別子２３ｋが「音声」であるＲＴＰパケット２３ｊの送信順がＸ１であり、後の直近に送信されたストリーム識別子２３ｋが「音声」であるＲＴＰパケット２３ｊの送信順がＸ５であるとする。ここで、Ｘ１＜Ｘ３＜Ｘ５である。
【００５６】
次に、ＲＴＣＰ受信部２３ｇは、送信順がＸ１からＸ５（Ｘ１＜送信順＜Ｘ５）であって、ストリーム識別子２３ｋが「テキスト」であるＲＴＰパケット２３ｊを検索する。図９は、送信順Ｘ２と、送信順Ｘ４とにストリーム識別子２３ｋが「テキスト」であるＲＴＰパケット２３ｊが検索された例を示す。ここで、Ｘ１＜Ｘ２＜Ｘ３＜Ｘ４＜Ｘ５である。そして、ＲＴＣＰ受信部２３ｇは、これらの検索されたストリーム識別子２３ｋが「テキスト」であるＲＴＰパケット２３ｊを送信する。
【００５７】
なお、上記説明は、送信順を用いて行ったが、検索は、送信順を用いることを必ずしも要しない。例えば、再送が要求されたＲＴＰパケット２３ｊを送信済パケット記憶部２３ｃから検索し、その検索されたＲＴＰパケット２３ｊから前方向と後方向とに送信済パケット記憶部２３ｃを逐次アクセスすれば良い。
【００５８】
ここで、送信順がＸ３であるＲＴＰパケット２３ｊの再送が要求されたことは、送信順がＸ１であるＲＴＰパケット２３ｊは、移動通信端末装置１によって正常に受信され、そして、送信順がＸ５であるＲＴＰパケット２３ｊは、移動通信端末装置１によって正常に受信された、または、受信されるとみなすことができることを意味する。そこで、第２の判断基準では、送信順がＸ１未満のＲＴＰパケット２３ｊと、送信順がＸ５を超えるＲＴＰパケット２３ｊは、上記再送が要求された時点では正常に受信された、または、受信されるとみなして、送信しない。しかし、送信順がＸ１とＸ５の間には少なくとも１つのＲＴＰパケット２３ｊの消失があったことを意味するので、その間のストリーム識別子２３ｋが「テキスト」であるＲＴＰパケット２３ｊは消失した可能性があるので、送信する。
【００５９】
上記再送が要求されたＲＴＰパケット２３ｊのストリーム識別子２３ｋが「映像」である場合、ＲＴＣＰ受信部２３ｇは、その再送が要求されたＲＴＰパケット２３ｊの前後の直近に送信されたストリーム識別子２３ｋが「映像」であるＲＴＰパケット２３ｊの間に送信された、ストリーム識別子２３ｋが「テキスト」であるＲＴＰパケット２３ｊを送信する。この動作は、上記の再送が要求されたＲＴＰパケット２３ｊのストリーム識別子２３ｋが「音声」である場合と同様であり、詳細な説明を省略する。
【００６０】
第３の判断基準として、ＲＴＣＰ受信部２３ｇは、再送が要求されたＲＴＰパケット２３ｊの送信順から前後所定範囲の送信順のＲＴＰパケット２３ｊの中で、ストリーム識別子２３ｋが「テキスト」であるＲＴＰパケット２３ｊを送信する。第４の判断基準として、ＲＴＣＰ受信部２３ｇは、再送が要求されたＲＴＰパケット２３ｊの再生時刻２３ｎから前後所定範囲の再生時刻２３ｎが記憶されたＲＴＰパケット２３ｊの中で、ストリーム識別子２３ｋが「テキスト」であるＲＴＰパケット２３ｊを送信する。
【００６１】
上記の複数の判断基準は、組み合わせて用いても良い。例えば、再送が要求されたＲＴＰパケット２３ｊの前に送信されたストリーム識別子２３ｋが「テキスト」であるＲＴＰパケット２３ｊを再送するか否かを判断する際の判断基準と、再送が要求されたＲＴＰパケット２３ｊの後に送信されたストリーム識別子２３ｋが「テキスト」であるＲＴＰパケット２３ｊを再送するか否かを判断する際の判断基準とを異なる判断基準によっても良い。
【００６２】
以上の説明は、ＲＴＣＰ受信部２３ｇは、ステップＳ２３ｓで再送を要求されたＲＴＰパケット２３ｊを再送した後、ステップＳ２３ｖでそのＲＴＰパケット２３ｊが送信された時刻に近い時刻に送信されたテキスト情報からなるＲＴＰパケット２３ｊを再送するとしたが、これに限るものではない。例えば、ステップＳ２３ｓで再送を要求されたＲＴＰパケット２３ｊを検索してＲＴＣＰ受信部２３ｇ内に記憶し、ステップＳ２３ｖで再送されるテキスト情報からなるＲＴＰパケット２３ｊを検索してＲＴＣＰ受信部２３ｇ内に記憶し、そして、これらの記憶されたＲＴＰパケット２３ｊをその再生時刻２３ｎが小さい、即ち、早く再生される情報から再送しても良い。
【００６３】
また、以上の説明は、送信済パケット記憶部２３ｃに送信済パケット２３ｈが記憶されているとしたが、これに限るものではない。送信済パケット２３ｈが記憶されていない場合、ＲＴＣＰ受信部２３ｇは、再送する情報をコンテンツ記憶部２６から読み出して、ＲＴＰ送信部２３ｄを制御して読み出された情報からＲＴＰパケット２３ｊを作成させ、そして、送信させても良い。
【００６４】
以上の説明は、サーバ装置２が移動通信端末装置１に送信するコンテンツ２６ａは、サーバ装置２のコンテンツ記憶部２６に記憶されているか、サーバ装置２のカメラ２７ａなどから入力された信号がサーバ装置２の符号化部２７で符号化されるとしたが、これに限るものではない。例えば、コンテンツ記憶部２６は、着脱可能な記憶媒体であっても良い。
【００６５】
また、サーバ装置２以外の装置（図示せず）から送信されたコンテンツ２６ａを受信して、移動通信端末装置１に送信しても良い。更に、サーバ装置２以外の装置のカメラなどから送信された信号を受信して、その信号を符号化部２７で符号化して、移動通信端末装置１に送信しても良い。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施形態に係るコンテンツ通信システムの構成を示すブロック図。
【図２】本発明の実施形態に係る移動通信端末装置の構成を示すブロック図。
【図３】本発明の実施形態に係る移動通信端末装置の送受信部の構成を示すブロック図。
【図４】本発明の実施形態に係るサーバ装置の構成を示すブロック図。
【図５】本発明の実施形態に係るサーバ装置の送受信部の構成を示すブロック図。
【図６】本発明の実施形態に係るＲＴＰパケットのデータ構造を示す図。
【図７】本発明の実施形態に係るＲＴＣＰパケットのデータ構造を示す図。
【図８】本発明の実施形態に係るサーバ装置のＲＴＣＰ受信部の動作を示すフローチャート。
【図９】本発明の実施形態に係るＲＴＰパケットの送信順の一例を示す図。
【符号の説明】
【００６７】
１  移動通信端末装置
２  サーバ装置
３  通信網
１３  送受信部
１３ａ  送信部
１３ｂ  受信部
１３ｃ  変調部
１３ｄ  復調部
１３ｅ  ＲＴＰ受信部
１３ｇ  ＲＴＣＰパケット
１３ｈ  ストリーム識別子
１３ｉ  パケット番号
１７  復号化部
２３  送受信部
２３ａ  送信部
２３ｂ  受信部
２３ｃ  送信済パケット記憶部
２３ｄ  ＲＴＰ送信部
２３ｅ  変調部
２３ｆ  復調部
２３ｇ  ＲＴＣＰ受信部
２３ｈ  送信済パケット
２３ｊ  ＲＴＰパケット
２３ｋ  ストリーム識別子
２３ｍ  パケット番号
２３ｎ  再生時刻
２３ｏ  ストリームデータ
２６  コンテンツ記憶部
２６ａ  コンテンツ
２７  符号化部
【図１】
2006262108.tif 000003
【図２】
2006262108.tif 000004
【図３】
2006262108.tif 000005
【図４】
2006262108.tif 000006
【図５】
2006262108.tif 000007
【図６】
2006262108.tif 000008
【図７】
2006262108.tif 000009
【図８】
2006262108.tif 000010
【図９】
2006262108.tif 000011