(57)【要約】【課題】ストリーミング配信中であっても、ネットワークにかかる負荷を低減しつつ、他のデータを送信することが可能なストリーミング配信装置、ストリーミング中継装置、ストリーミング配信方法、ストリーミング中継方法及びプログラムを提供する。【解決手段】フレーム間予測符号化方法により符号化された第１の配信動画データをクライアント装置に送信する送信手段を有し、第１の配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、送信手段は、フレーム間予測を用いず符号化されるフレームの送信要求と同時に、他の情報の送信要求を受けたときは、当該他の情報の送信を優先する。【選択図】図１０
2011176442.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間予測符号化方法により符号化された第１の配信動画データをクライアント装置に送信する送信手段を有し、
前記第１の配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、
前記送信手段は、前記フレーム間予測を用いず符号化されるフレームの送信要求と同時に、他の情報の送信要求を受けたときは、当該他の情報の送信を優先することを特徴とするストリーミング配信装置。
【請求項２】
前記送信手段は、複数の前記前後方予測フレームが連続している場合、当該複数の連続している前後方予測フレームのうち、時間的に最も前方の前後方予測フレーム以外の前後方予測フレームの送信要求と同時に、他の情報の送信要求を受けたときは、当該他の情報の送信を優先することを特徴とする請求項１に記載のストリーミング配信装置。
【請求項３】
前記送信手段は、前記フレーム間予測符号化方法により符号化された第２の配信動画データも送信し、
前記第２の配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームの２種類のフレームにより構成されており、
前記送信手段は、前記第１の配信動画データの前記フレーム間予測を用いず符号化されるフレームの送信要求と同時に、前記第２の配信動画データの前記フレーム間予測を用いず符号化されるフレームの送信要求を受けたときは、当該第２の配信動画データの前記フレーム間予測を用いず符号化されるフレームの送信を優先することを特徴とする請求項１または２に記載のストリーミング配信装置。
【請求項４】
前記送信手段は、前記第１の配信動画データにおいて複数の前記前後方予測フレームが連続している場合、当該連続している複数の前後方予測フレームのうち、時間的に最も前方の前後方予測フレーム以外の前後方予測フレームの送信要求と同時に、前記第２の配信動画データのフレーム間予測を用いず符号化されるフレームの送信要求を受けたときは、当該第２の配信動画データのフレーム間予測を用いず符号化されるフレームの送信を優先することを特徴とする請求項１から３のいずれか１項に記載のストリーミング配信装置。
【請求項５】
サーバ装置から送信された、フレーム間予測符号化方法により符号化された配信動画データをクライアント装置に中継する中継手段を有し
前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、
前記送信手段は、前記フレーム間予測を用いず符号化されるフレームの中継と他の情報の中継とが重なったときは、当該他の情報の中継を優先することを特徴とするストリーミング中継装置。
【請求項６】
前記中継手段は、複数の前記前後方予測フレームが連続している場合、当該連続している複数の前後方予測フレームのうち、時間的に最も前方の前後方予測フレーム以外の前後方予測フレームの中継と他の情報の中継が重なったときは、当該他の情報の中継を優先することを特徴とする請求項５に記載のストリーミング中継装置。
【請求項７】
前記中継手段は、前記フレーム間予測符号化方法により符号化された第２の配信動画データも中継し、
前記第２の配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームの２種類のフレームにより構成されており、
前記中継手段は、前記第１の配信動画データの前記フレーム間予測を用いず符号化されるフレームの中継と、前記第２の配信動画データの前記フレーム間予測を用いず符号化されるフレームの中継と、が重なったときは、当該第２の配信動画データの前記フレーム間予測を用いず符号化されるフレームの中継を優先することを特徴とする請求項５または６に記載のストリーミング中継装置。
【請求項８】
前記中継手段は、前記第１の配信動画データにおいて複数の前記前後方予測フレームが連続している場合、当該連続している複数の前後方予測フレームのうち、時間的に最も前方の前後方予測フレーム以外の前後方予測フレームの中継と、前記第２の配信動画データのフレーム間予測を用いず符号化されるフレームの中継と、が重なったときは、当該第２の配信動画データのフレーム間予測を用いず符号化されるフレームの中継を優先することを特徴とする請求項５から７のいずれか１項に記載のストリーミング中継装置。
【請求項９】
フレーム間予測符号化方法により符号化された第１の配信動画データをクライアント装置に送信する送信ステップを有し、
前記第１の配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、
前記送信ステップは、前記フレーム間予測を用いず符号化されるフレームの送信要求と同時に、他の情報の送信要求を受けたときは、当該他の情報の送信を優先することを特徴とするストリーミング配信方法。
【請求項１０】
サーバ装置から送信された、フレーム間予測符号化方法により符号化された配信動画データをクライアント装置に中継する中継ステップを有し
前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、
前記送信ステップは、前記フレーム間予測を用いず符号化されるフレームの中継と他の情報の中継とが重なったときは、当該他の情報の中継を優先することを特徴とするストリーミング中継方法。
【請求項１１】
ストリーミング配信装置を、
フレーム間予測符号化方法により符号化された第１の配信動画データをクライアント装置に送信する送信手段として機能させ、
前記第１の配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、
前記送信手段は、前記フレーム間予測を用いず符号化されるフレームの送信要求と同時に、他の情報の送信要求を受けたときは、当該他の情報の送信を優先することを特徴とするプログラム。
【請求項１２】
ストリーミング中継装置を、
サーバ装置から送信された、フレーム間予測符号化方法により符号化された配信動画データをクライアント装置に中継する中継手段として機能させ、
前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、
前記送信手段は、前記フレーム間予測を用いず符号化されるフレームの中継と他の情報の中継とが重なったときは、当該他の情報の中継を優先することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストリーミング配信装置、中継装置、ストリーミング配信方法、中継方法及びプログラムに関する。
【背景技術】
【０００２】
インターネットなどのネットワークを介して音声や動画を配信する方法の一つとして、ストリーミング配信と呼ばれる配信方法がある。ストリーミング配信は、受信側で配信データをダウンロードしつつ、同時に再生を行うことができるように配信データの配信を行う。このストリーミング配信の方法を用いることにより、テレビ電話の映像や監視カメラの映像などを、ネットワークを介してリアルタイムに配信することが可能になる。
【０００３】
しかしながら、音声や動画はデータサイズが大きいため、音声や動画のストリーミング配信は、ネットワークに負荷をかけることになり、他のデータの送信に影響を与える。例えば、２本の動画データを同時に配信する際などは、ネットワークの通信容量を越えるなどし、どちらかの動画データにデータ損失などが生じることもある。
【０００４】
そこで、例えば、特許文献１では、テレビ放送などのリアルタイムに送る必要のあるストリーミング配信と録画映像のストリーミング配信を同時に行う場合には、リアルタイムに送る必要のあるストリーミング配信を録画映像のストリーミング配信に優先して行う方法が開示されている。テレビ放送などのリアルタイムに送る必要のあるストリーミング配信のデータを通信中に損失した場合には、その損失したデータは再び見ることができなくなる。このため、特許文献１では、通信中にデータを損失しても送信し直すことが可能な録画映像の配信に優先してリアルタイムに送る必要のあるストリーミング配信の配信を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２２２０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された方法は、リアルタイムに送る必要のあるストリーミング配信を２本同時に配信することについては考慮されていない。特許文献１に開示された方法では、２本のリアルタイムに送る必要のあるストリーミング配信を同時に送信した際に、２本のうちの１本のストリーミング配信に関してはデータ損失を起こしてしまう可能性がある。
【０００７】
例えば、複数のアングルから撮影した動画を同時にリアルタイムにストリーミング配信するようなことがある。このようなとき、特許文献１に開示された方法では、その複数のストリーミング配信を配信する際や、中継する際に、この複数のストリーミング配信のうちのいずれかのストリーミング配信に関してはデータ損失が生じる可能性がある。
【０００８】
そこで本発明は、上記問題点に鑑みてなされたもので、ストリーミング配信中であっても、ネットワークにかかる負荷を低減しつつ、他のデータを送信することが可能なストリーミング配信装置、中継装置、ストリーミング配信方法、中継方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明におけるストリーミング配信装置は、フレーム間予測符号化方法により符号化された第１の配信動画データをクライアント装置に送信する送信手段を有し、前記第１の配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、前記送信手段は、前記フレーム間予測を用いず符号化されるフレームの送信要求と同時に、他の情報の送信要求を受けたときは、当該他の情報の送信を優先することを特徴とする。
【００１０】
また、本発明におけるストリーミング中継装置は、サーバ装置から送信された、フレーム間予測符号化方法により符号化された配信動画データをクライアント装置に中継する中継手段を有し前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、前記送信手段は、前記フレーム間予測を用いず符号化されるフレームの中継と他の情報の中継とが重なったときは、当該他の情報の中継を優先することを特徴とする。
【００１１】
また、本発明におけるストリーミング配信方法は、フレーム間予測符号化方法により符号化された第１の配信動画データをクライアント装置に送信する送信ステップを有し、前記第１の配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、前記送信ステップは、前記フレーム間予測を用いず符号化されるフレームの送信要求と同時に、他の情報の送信要求を受けたときは、当該他の情報の送信を優先することを特徴とする。
【００１２】
また、本発明におけるストリーミング中継方法は、サーバ装置から送信された、フレーム間予測符号化方法により符号化された配信動画データをクライアント装置に中継する中継ステップを有し前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、前記送信ステップは、前記フレーム間予測を用いず符号化されるフレームの中継と他の情報の中継とが重なったときは、当該他の情報の中継を優先することを特徴とする。
【００１３】
また、本発明におけるプログラムは、ストリーミング配信装置を、フレーム間予測符号化方法により符号化された第１の配信動画データをクライアント装置に送信する送信手段として機能させ、前記第１の配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、前記送信手段は、前記フレーム間予測を用いず符号化されるフレームの送信要求と同時に、他の情報の送信要求を受けたときは、当該他の情報の送信を優先することを特徴とする。
【００１４】
また、本発明におけるプログラムは、ストリーミング中継装置を、サーバ装置から送信された、フレーム間予測符号化方法により符号化された配信動画データをクライアント装置に中継する中継手段として機能させ、前記配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームと前後方予測フレームの３種類のフレームにより構成されており、前記送信手段は、前記フレーム間予測を用いず符号化されるフレームの中継と他の情報の中継とが重なったときは、当該他の情報の中継を優先することを特徴とする。
【発明の効果】
【００１５】
本発明により、ストリーミング配信中であっても、ネットワークにかかる負荷を低減しつつ、他のデータを送信することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係るストリーミング配信システムを示す図である。
【図２】フレーム間予測符号化方式による符号化を説明する図である。
【図３】ＩＰストリーミングのＧＯＰ構造を示す図である。
【図４】ＩＰＢストリーミングのＧＯＰ構造を示す図である。
【図５】本発明の実施形態に係るサーバ装置において行われる処理動作を示す図である。
【図６】ＩＰストリーミングを説明する図である。
【図７】本発明の実施形態に係るサーバ装置において行われる処理動作を示す図である。
【図８】ＩＢＰストリーミングを説明する図である。
【図９】ＩＰストリーミングとＩＰＢストリーミングが同時に行われる状況を説明する図である。
【図１０】ＩＰストリーミングとＩＰＢストリーミングが同時に行われる際に、本発明の実施形態における処理動作を説明する図である。
【図１１】ＩＰストリーミングとＩＰＢストリーミングが同時に行われる際に、本発明の実施形態における処理動作を説明する図である。
【発明を実施するための形態】
【００１７】
次に、本発明を実施するための形態について図面を参照して詳細に説明する。
【００１８】
図１は、本発明の実施形態に係るストリーミング配信システムの構成の一例を示す図である。ストリーミング配信システムは、ネットワークにより接続されたサーバ装置１００とクライアント装置２００により構成される。図１において、クライアント装置２００は、１台であるが、複数台のクライアント装置２００を備えた構成であっても良い。
【００１９】
サーバ装置１００は、記憶手段１０１と、符号化手段１０２と、送信手段１０３と、を備えている。サーバ装置１００には、撮像装置３００が接続されている。記憶手段１０１は、撮像装置３００により取得されてデジタル化された撮像データを記憶する。符号化手段１０２は、この記憶手段１０１に記憶された撮像データを取り出し、符号化し、配信動画データを生成する。送信手段１０３は、符号化手段１０２により生成された配信動画データを、ネットワークを介し、クライアント装置２００に送信する。図１では、サーバ装置１００に接続された撮像装置３００は一台であるが、サーバ装置１００に複数台の撮像装置３００が接続されるようにしても良い。このようにすることにより、サーバ装置１００から複数のリアルタイムストリーミング配信を行うことが可能になる。
【００２０】
クライアント装置２００は、受信手段２０１と、記憶手段２０２と、復号化手段２０３と、を備えている。クライアント装置２００には、表示装置４００が接続されている。受信手段２０１は、サーバ装置１００からネットワークを介して送信されてきた配信動画データを受信する。記憶手段２０２は、受信手段２０１により受信された配信動画データを記憶する。復号化手段２０３は、記憶手段２０２により記憶された配信動画データを復号化し、再生動画データを生成する。この再生動画データは表示装置４００に出力される。表示装置４００は再生手段を備えており、このクライアント装置２００から出力された再生動画データを再生する。
【００２１】
サーバ装置１００において、生成された配信動画データを、送信手段１０３により送信する前に、記憶手段により一時的に記憶するようにしても良い。このとき、生成された配信動画データを一時記憶する記憶手段は、撮像データを記憶する記憶手段１０２でも良いし、別の記憶手段を用意しても良い。また、クライアント装置２００において、再生動画データを、表示装置４００に出力する前に、記憶手段により一時的に記憶するようにしても良い。このとき、再生動画データを一時記憶する記憶手段は、受信した配信動画データを記憶する記憶手段２０２でも良いし、別の記憶手段を用意しても良い。
【００２２】
符号化手段１０１による符号化は、いろいろと考えられる。本発明では、フレーム間予測符号化方法を使った符号化を用いる。動画データは、複数の静止画のフレームにより構成することができるが、すべてのフレームを静止画により構成すると動画のデータサイズが大きくなってしまう。動画を構成するフレームにおいて、通常、連続するフレーム間では変化が少ない。そこで、フレーム間予測符号化方式では、図２に示すように、異なる時刻の静止画のフレームに基づき、この静止画のフレーム間の予測画像を生成し、静止画のフレーム間のフレームについては、この予測画像と予測に用いた静止画との差分のデータを用いる。そして、この静止画と差分データを圧縮符号化し、配信する動画データを生成する。よって、すべてのフレームに静止画を用い、単純にこれらの静止画を圧縮して配信動画データを生成するのに比べて、フレーム間予測符号化方法を用いて配信動画データを生成することにより、高い圧縮効率を得ることが可能になり、ネットワークにかかる負荷を低減することが可能になる。
【００２３】
予測画像が生成されるフレームには２種類ある。時間的に前方のフレームだけに基づき予測画像が生成されるフレームは、前方予測フレーム、または、Ｐフレーム（Predicted Frame）と呼ばれる。時間的に前方のフレームと時間的に後方のフレームとに基づき予測画像が生成されるフレームは、前後方予測フレーム、または、Ｂフレーム（Bi-directional Predicted Frame）と呼ばれる。Ｂフレームは、時間的に前方のフレームだけに基づき予測画像を生成することも、時間的に後方のフレームだけに基づき予測画像を生成することも選択できる。このとき、静止画をそのまま使用するフレーム、つまり、フレーム間予測を用いず符号化されるフレームは、Ｉフレーム（Intra Frame）と呼ばれる。
【００２４】
ＭＰＥＧ（Moving Picture Expert Group）では、配信動画データがＧＯＰ（Group of Pictures）単位で編集されており、配信データを受信した装置では、このＧＯＰ単位で再生が行われる。この１ＧＯＰに含まれるフレームの数は、１〜１８フレームであるが、典型的には１５フレームである。この１５フレームにより0.5秒分の動画データが構成される。つまり、ＭＰＥＧでは、通常、（0.5／15）秒に１つのフレームが使われる。１ＧＯＰは、例えば、図３に示すように、１個のＩフレーム（Ｉａ１）と、１４個のＰフレーム（Ｐａ１〜Ｐａ１４）とにより構成される。このように、ＩフレームとＰフレームの２種類のフレームにより構成されたＧＯＰ構造を用いて行うストリーミング配信を、以下では、ＩＰストリーミングと呼ぶことにする。また、１ＧＯＰは、例えば、図４に示すように、１個のＩフレーム（Ｉｂ１）と、５個のＰフレーム（Ｐｂ１〜Ｐｂ５）と、９個のＢフレーム（Ｂｂ１〜Ｂｂ９）とにより構成される。このように、ＩフレームとＰフレームとＢフレームの３種類のフレームにより構成されたＧＯＰ構造を用いて行うストリーミング配信を、以下では、ＩＢＰストリーミングと呼ぶことにする。
【００２５】
１ＧＯＰがＩフレームで始まり、Ｐフレームで終わるようなＧＯＰ構造は、closed ＧＯＰ構造と呼ばれる。Ｐフレームの符号化、復号化は、前方のフレームを参照するだけで行うため、closed ＧＯＰ構造をしている場合、あるＧＯＰに含まれるフレームは、前後のＧＯＰを参照せずに、所属しているＧＯＰのフレームだけを参照することにより符号化、復号化を行うことが可能になる。このため、closed ＧＯＰ構造である配信動画データはカットなどの編集をしても画質の劣化が起きない。
【００２６】
ＩＰストリーミングは、ＧＯＰがＩフレームとＰフレームのみで構成されるため、常に、closed ＧＯＰ構造をしている。一方、ＩＢＰストリーミングの場合は、Ｉフレーム、Ｐフレーム、Ｂフレームの並び順として、いろいろなものが考えられる。よって、ＩＢＰストリーミングは、常に、closed ＧＯＰ構造をしているわけではない。例えば、図４に示すように、ＧＯＰ構造をＩＢＢＰＢＢＰＢＢＰＢＢＰＢＰとすれば、closed ＧＯＰ構造をしたＩＰＢストリーミングを行うことができる。このような構造にしておくと、Ｂフレームは、前後のＧＯＰを参照せずに、所属しているＧＯＰのフレームだけを参照することにより符号化、復号化を行うことが可能になる。
【００２７】
図５は、ストリーミングによりリアルタイム配信が行われる際に、本発明の実施形態に係るサーバ装置において行われる処理動作を示す図である。まず、撮像装置４００により取得されたデータをデジタル化して撮像データを生成する（Ｓ１０１）。サーバ装置１００は、撮像データを記憶手段１０２により記憶し、この記憶手段１０２により記憶された撮像データを符号化手段１０１によりＧＯＰ単位で符号化し、配信動画データを生成する（Ｓ１０２）。サーバ装置１００は、この配信動画データを、送信手段１０３により、ネットワークを介し、クライアント装置２００に送信し（Ｓ１０３）、クライアント装置２００は、この配信動画データを受信手段２０３により受信する（Ｓ１０４）。クライアント装置２００は、この受信した配信動画データを記憶手段２０２により記憶し、この記憶手段２０２により記憶された配信動画データを復号化手段２０１により復号化し、再生動画データを生成する（Ｓ１０５）。クライアント装置２００は、この生成された再生動画データを表示装置４００に出力し、表示装置４００は、この再生動画データを再生する（Ｓ１０６）。
【００２８】
図６は、図３のＧＯＰ構造を持った配信動画データを配信するＩＰストリーミングを行う際に、撮像データが生成されてから、再生動画データが生成されるまでの流れを示す図である。ＩＰストリーミングにおける配信動画データは、時間的に後方のフレームを参照して符号化を行うＢフレームが含まないため、サーバ装置１００は、図６に示すように、各フレームを撮影された順番で符号化し、配信動画データを生成することができる。また、同様に、ＩＰストリーミングにおける配信動画データは、時間的に後方のフレームを参照して復号化をする必要のあるＢフレームを含まないため、クライアント装置２００は、図６に示すように、受信したフレームを受信した順に復号化し、再生動画データを生成することが可能である。また、復号化されたフレームは復号化されるごとに表示装置４００に出力が可能である。
【００２９】
一方、ＩＢＰストリーミングにおける配信動画データは、時間的に後方のフレームを参照して符号化を行うＢフレームが含むため、サーバ装置１００は、各フレームを撮影された順番で符号化し、配信動画データを生成することができない。図７は、１ＧＯＰ分の撮像データを符号化して、ＩＢＰストリーミングにおける配信動画データを生成するときの処理動作を示す図である。ここでは、１ＧＯＰは、図４に示すＧＯＰ構造であるとする。また、図８は、撮像データが生成されてから、再生動画データが生成される流れを示す図である。図８では、Ｉｂ１フレームの符号化が、符号化する時間は考慮されていないが、実際は、符号化には時間がかかる。しかし、この符号化にかかる時間は、１フレーム分の時間の半分、つまり、0.5／30秒よりは短い。つまり、１フレーム分の時間で、２フレーム分の撮像データを符号化することが可能になる。そこで、図８では、簡単化のために、符号化にかかる時間はゼロとしている。
【００３０】
ＩＢＰストリーミングにおける配信動画データを生成するには、まず、Ｉｂ１フレームの符号化を行う（Ｓ２０１）。Ｉｂ１フレームはこのフレームに対応する撮像データをそのまま符号化するため、他のフレームの情報を必要としない。このため、撮像装置３００により撮像されたデータは撮像後すぐに符号化することが可能である。しかし、Ｂｂ１フレーム、Ｂｂ２フレームは、時間的に前方後方両方のフレーム、つまり、Ｉｂ１フレームとＰｂ１フレームの両方を参照し、予測を行った予測画像を使用し、符号化されるので、Ｐｂ１フレームの撮像が終わるまで符号化することができない。そして、Ｐｂ１フレームは時間的に前方のフレームだけを参照し、予測画像を生成することができる。このため、Ｐｂ１フレームの撮像データが取得された後に、Ｂｂ１フレーム、Ｂｂ２フレーム、Ｐｂ１フレームが符号化される（Ｓ２０２）。Ｂｂ１フレーム、Ｂｂ２フレーム、Ｐｂ１フレームの符号化される順番は、どの順番でも良い。復号化する際も、同様に、Ｂｂ１フレームはＰｂ１フレームの情報が必要であるため、例えば、図８の示すように、Ｐｂ１フレームが符号化された後に、Ｂｂ１フレーム、Ｂｂ２フレームが符号化すると良い。同様に、Ｂｂ３フレーム、Ｂｂ４フレームは、Ｐｂ２フレームが撮像されてからでないと符号化できないため、Ｐｂ２フレームの撮像データが取得された後に、Ｂｂ３フレーム、Ｂｂ４フレーム、Ｐｂ２フレームが符号化される（Ｓ２０３）。次に、同様に、Ｐｂ３フレームの撮像データが取得された後に、Ｂｂ５フレーム、Ｂｂ６フレーム、Ｐｂ３フレームが符号化される（Ｓ２０４）。そして、同様に、Ｐｂ４フレームの撮像データが取得された後に、Ｂｂ７フレーム、Ｂｂ８フレーム、Ｐｂ４フレームが符号化される（Ｓ２０５）。そして、最後に、Ｐｂ５フレームの撮像データが取得された後に、Ｂｂ９フレームとＰｂ５フレームが符号化されて（Ｓ２０６）、１ＧＯＰ分の符号化が終了する。各ＧＯＰにおいて、このような処理動作により、符号化が行われる。
【００３１】
クライアント装置２００において、ＩＢＰストリーミングにより配信された配信動画データを受信し、復号化して再生動画データを生成する際、Ｉｂ１フレームは単独で復号化できるため、図８に示すように、Ｉｂ１フレームは、受信されるとすぐに復号化することができる。しかし、Ｂｂ１フレーム、Ｂｂ２フレームは、時間的に前方後方両方のフレーム、つまり、Ｉｂ１フレームとＰｂ１フレームの両方を参照し、予測を行った予測画像を使用し、符号化されるので、Ｐｂ１フレームを受信するまで復号化することができない。そこで、図８に示すように、サーバ装置１００は、Ｂｂ１フレーム、Ｂｂ２フレームより先に、Ｐｂ１フレームを符号化して配信動画データを生成し、このＰｂ１フレームの配信動画データをＢｂ１フレーム、Ｂｂ２フレームの配信動画データより先にクライアント装置２００に送信するようにすると良い。同様に、図８に示すように、サーバ装置１００は、Ｂｂ３フレーム、Ｂｂ４フレームより先にＰｂ２フレームを符号化して配信動画データを生成し、このＰｂ２フレームの配信動画データをＢｂ３フレーム、Ｂｂ４フレームの配信動画データより先にクライアント装置２００に送信し、Ｂｂ５フレーム、Ｂｂ６フレームより先にＰｂ３フレームを符号化して配信動画データを生成し、このＰｂ３フレームの配信動画データをＢｂ５フレーム、Ｂｂ６フレームの配信動画データより先にクライアント装置２００に送信し、Ｂｂ７フレーム、Ｂｂ８フレームより先にＰｂ４フレームを符号化して配信動画データを生成し、このＰｂ４フレームの配信動画データをＢｂ７フレーム、Ｂｂ８フレームの配信動画データより先にクライアント装置２００に送信し、Ｂｂ９フレームより先にＰｂ５フレームを符号化して配信動画データを生成し、このＰｂ５フレームの配信動画データをＢｂ９フレームの配信動画データより先にクライアント装置２００に送信するようにすると良い。図８では、各フレームの復号化が、復号化する時間は考慮されていないが、実際は、復号化には時間がかかる。しかし、この復号化にかかる時間は、１フレーム分の時間の半分、つまり、0.5／30秒よりは短い。つまり、１フレーム分の時間で、２フレーム分の撮像データを復号化することが可能になる。そこで、図８では、簡単化のために、復号化にかかる時間はゼロとしている。
【００３２】
このようにすることにより、クライアント装置２００は、Ｂｂ１フレームを受信後すぐに復号化して再生動画データを生成し、表示装置４００により再生することが可能になる。このとき、再生動画データを撮像順に連続に再生するには、図８に示すように、クライアント装置２００は、Ｉｂ１フレームを受信して復号化し、再生動画データを生成した後にすぐ再生を開始することはできない。再生動画データを撮像順に連続に再生するには、クライアント装置２００は、Ｉｂ１フレームをＢｂ１フレームが再生可能になる１フレーム前からしか再生することができない。つまり、ＩＢＰストリーミングでは、図８に示すように、撮像データがクライアント装置２００において再生可能になるまでにどうしても遅延を生じる。
【００３３】
上述したように、配信動画データが、図４に示したようなＧＯＰ構成をしている場合、クライアント装置２００は、Ｐｂ１フレームを受信しない限り、Ｂｂ１フレームを復号化できず、Ｂｂ１フレームを再生できない。Ｐｂ１フレーム、Ｂｂ１フレームの送受信をゼロ秒で行え、Ｐｂ１フレーム、Ｂｂ１フレームの符号化、復号化もゼロ秒で行えるとすると、Ｂｂ１フレームの再生は、Ｐｂ１フレームの撮像データが取得できた時間、つまり、Ｉｂ１フレームを撮像し始めから３フレーム後に再生できることになる。このように、送受信等の時間を考慮しなくても、図３に示したようなＧＯＰ構成をしている場合、撮像データの撮像開始時刻から再生を行うには、最低３フレームの時間は絶対に必要なことになる。また、例えば、図４と違い、ＩフレームとＰフレームの間に入るＢフレームが１つだけであるＧＯＰ構造であるときは、撮像データの撮像開始時刻から再生を行うには、最低２フレームの時間は絶対に必要なことになる。また、逆に、例えば、図４と違い、ＩフレームとＰフレームの間に入るＢフレームがＮ個（ここで、Ｎは３以上の整数）であるＧＯＰ構造であるときは、撮像データの撮像開始時刻から再生を行うには、最低Ｎ＋１フレームの時間は絶対に必要なことになる。つまり、ＩＢＰストリーミングでは、送受信による遅延、符号化復号化による遅延等を考慮しなくても、撮像データの撮像開始時刻から再生を行うには、最低２フレームの時間は絶対に必要なことになる。
【００３４】
一方、ＩＰストリーミングでは、撮像された順に符号化して配信動画データを生成することができるため、撮像された順に配信動画データを送信することができる。よって、クライアント装置２００は、図６に示すように、配信動画データを受信した順番に復号化して再生動画データを生成することができる。このため、送受信により遅延、符号化復号化による遅延等を考慮しなければ、撮像データが撮像終了した時刻、つまり、撮像データの撮像開始時刻から１フレーム後には再生することが可能になる。つまり、ＩＰストリーミングはＩＢＰストリーミングよりは小さな遅延で再生することが可能である。
【００３５】
しかし、上述したように、時間的に前方のフレームにのみに基づいて予測画像を生成するＰフレームより、時間的に前方のフレームと後方のフレームの両方に基づいて予測画像を生成するＢフレームの方が、一般的に、データサイズは小さくなる。このため、ＩＢＰストリーミングにより配信動画データを配信するほうが、ＩＰストリーミングにより配信動画データを配信するよりもネットワークに負荷をかけない。よって、ネットワークになるべく負荷をかけないようにするためには、ＩＢＰストリーミングにより配信動画データを配信するのが良く、なるべく遅延なく再生を行いときには、ＩＰストリーミングにより配信動画データを配信するのが良い。
【００３６】
ここで、ＩＢＰストリーミングにより配信動画データを配信しているときに、同時に、ＩＰストリーミングにより配信動画データを配信する場合を考える。このとき、例えば、図９に示すように、ＩＢＰストリーミングの配信動画データであるＩｂ１フレームと、ＩＰストリーミングの配信動画データであるＩａ１フレームとが同時にサーバ装置１００から送信手段１０３により送信されるときを考える。図９（ａ）は、ＩＰＢストリーミングを示す図であり、図９（ｂ）は、ＩＰストリーミングを示す図である。Ｉフレームは予測画像ではなく、静止画をそのまま圧縮したフレームであるため、データサイズが大きい。このため、図９（ｃ）に示すように、Ｉフレームを同時に送信すると、ネットワークに負荷がかかってしまい、送信に支障が生じる可能性もある。よって、Ｉフレームを同時に送信することを避ける必要がある。
【００３７】
そこで、本発明では、図９のように、ＩＢＰストリーミングの配信動画データであるＩｂ１フレームと、ＩＰストリーミングの配信動画データであるＩａ１フレームの送信要求が同時にあったときは、２つのＩフレームが同時に送信されないようにする。ＩＢＰストリーミングの配信動画データであるＩｂ１フレームと、ＩＰストリーミングの配信動画データであるＩａ１フレームとが同時に送信要求があったとき、例えば、図１０（ｃ）に示すように、Ｉａ１フレームの送信を優先し、Ｉａ１フレームをＩｂ１フレームより先に送信するようにする。上述したように、ＩＢＰストリーミングでは、図８に示すように、クライアント装置２００はＩｂ１フレームを受信して復号化し、再生動画データを生成しても、少なくとも１フレーム以上は再生を行うことができない。このため、図１０（ｃ）に示すように、Ｉａ１フレームをＩｂ１フレームより先に送信するようにしても、ＩＢＰストリーミングにおける再生をより遅延させることはない。しかし、ＩＰストリーミングにおいて、図６に示すように、クライアント装置２００はＩａ１フレームを受信して復号化し、再生動画データを生成するとすぐに再生することが可能である。よって、Ｉｂ１フレームとＩａ１フレームの送信要求が同時にあったとき、Ｉａ１フレームの送信を優先し、Ｉａ１フレームをＩｂ１フレームより先に送信するようにすることにより、どちらのストリーミングも遅延を増加させることなく、２つのＩフレームが同時に送信されることを防ぐことができる。このため、ストリーミング配信に影響を与えず、ネットワークに負荷がかからないように、同時に２本のストリーミングを配信することが可能になる。
【００３８】
上述したように、ＩＢＰストリーミングにおいて、クライアント装置２００はＩｂ１フレームを受信して復号化し、再生動画データを生成しても、少なくとも１フレーム以上は再生を行うことができない。よって、上記のように、Ｉｂ１フレームの送信は少なくとも１フレーム分は遅らせても、ＩＢＰストリーミングは影響を受けない。よって、上記のように、ストミーミング配信が重なった場合でなく、Ｉｂ１フレームと他のデータの送信要求が同時にあったときに、この他のデータの送信を優先し、この他のデータをＩｂ１フレームより先に送信したとしても、ＩＢＰストリーミングは影響を受けない。よって、このように、ＩＢＰストリーミングを行っている際に、Ｉフレームの送信要求と他のデータの送信要求が同時にあった場合に、この他のデータの送信を優先し、この他のデータをＩフレームより先に送信するようにすることにより、ＩＢＰストリーミングに影響を与えずに、ネットワークに負荷がかからないように、他のデータを送信することが可能になる。
【００３９】
ＩＢＰストリーミングにおいて、クライアント装置２００はＩｂ１フレームを受信して復号化し、再生動画データを生成しても、少なくとも１フレーム以上は再生を行うことができないのは、Ｉｂ１フレームが撮像される時刻とＢｂ１フレームが撮像される時刻との間のフレーム数は１フレームであるにかかわらず、Ｉｂ１フレームの再生動画データが生成される時刻とＢｂ１フレームの再生動画データが生成される時刻との間のフレーム数が２フレーム以上あるためである。つまり、ＩＢＰフレームにおける再生開始時間は、Ｂｂ１フレームの再生が可能になる時刻が決めることになる。
【００４０】
Ｂｂ１フレームの再生が可能になる時刻は、Ｂｂ１フレームが復号化されて再生動画データになる時刻である。ここで、復号化にかかる時間がゼロであると考えると、Ｂｂ１フレームの再生が可能になる時刻は、Ｂｂ１フレームを復号化することが可能になる時刻、つまり、Ｂｂ１フレームとＰｂ１フレームのうち、クライアント装置２００に到着するのが遅かった方の到着時刻である。例えば、図８では、Ｐｂ１フレームをＢｂ１フレームより先に送信するため、Ｂｂ１フレームの再生が可能になる時刻は、Ｂｂ１フレームの到着時刻である。つまり、ＩＢＰストリーミングでは、遅延を小さくするためには、Ｐｂ１フレームとＢｂ１フレームをできる限り早く送信する必要がある。このため、Ｉｂ１フレームと違い、他のデータとＰｂ１フレーム（Ｂｂ１フレーム）の送信要求が同時にあったときに、この他のデータの送信を優先し、この他のデータをＰｂ１フレーム（Ｂｂ１フレーム）より先に送信することにすると、ＩＢＰストリーミングの遅延が増大することになる。つまり、ＩＢＰストリーミングに影響がでる。図４のＧＯＰ構造のときは、同様に、Ｐｂ２フレーム、Ｂｂ３フレーム、Ｐｂ３フレーム、Ｂｂ５フレーム、Ｐｂ４フレーム、Ｂｂ７フレームより、他のデータを優先して送信すると、ＩＢＰストリーミングの遅延が増大することになる。つまり、ＩＢＰストリーミングに影響がでる。
【００４１】
逆に、Ｐｂ１フレーム、Ｂｂ１フレーム、Ｐｂ２フレーム、Ｂｂ３フレーム、Ｐｂ３フレーム、Ｂｂ５フレーム、Ｐｂ４フレーム、Ｂｂ７フレーム以外のフレームであれば、他のデータの送信を優先するようにしても、ＩＢＰストリーミングの遅延は増大しない。つまり、Ｉｂ１フレームの他に、連続するＢフレームの時間的に後方のＢフレーム（Ｂｂ２、Ｂｂ４、Ｂｂ６、Ｂｂ８）であれば、他のデータの送信を優先するようにしても、ＩＢＰストリーミングは影響を受けない。例えば、図１１に示すように、Ｂｂ２フレームの送信要求（図１１（ａ））とＩａ１フレームの送信要求（図１１（ｂ））が同時にあったときには、図１１（ｃ）に示すように、Ｂｂ２フレームの送信開始時間を遅らし、Ｉａ１フレームを優先して送信するようにすれば良い。このようにすることにより、ＩＢＰストリーミングに影響を与えずに、ネットワークに負荷ができる限りかからないように、２本のストリーミングを同時に送信することが可能になる。
【００４２】
なお、ＩＢＰストリーミングで配信される配信動画データのＧＯＰ構造が、図４に示した構造と違い、例えば、ＩフレームとＰフレームとの間、または、２つのＰフレームの間に、Ｂフレームが３つ以上連続して含まれている場合は、連続するＢフレームのうち、時間的に最も前方のＢフレーム以外のＢフレームの送信要求と他のデータの送信要求とが同時にあったときに、この他のデータの送信を優先し、この他のデータを連続するＢフレームのうち、時間的に最も前方のＢフレーム以外のＢフレームより先に送信するようにすると良い。このようにすることにより、ＩＢＰストリーミングに影響を与えずに、ネットワークに負荷ができる限りかからないように、２本のストリーミングを同時に送信することが可能になる。
【００４３】
上記では、撮像装置３００により撮像された撮像データを符号化して生成した配信動画データをクライアント装置２００に送信する構成を例に説明してきたが、クライアント装置２００に送信する配信動画データは、撮像データを符号化したデータに限るものではない。例えば、フレーム間予測符号化方法により符号化された配信動画データをサーバ装置１００の記憶手段１０１に記憶しておき、この記憶手段１０１に記憶された配信動画データをクライアント装置２００に送信するようにしても良い。このとき、ＩＰストリーミングであれば、例えば、図３に示したような順序で、ＩＢＰストリーミングであれば、例えば、図４に示したような順序で、各フレームを送信するようにすれば良い。このようにすることにより、ＩＢＰストリーミングに影響を与えずに、ネットワークに負荷がかからないように、他のデータを送信することが可能になる。そして、ＩＢＰストリーミングとＩＰストリーミングを同時に配信する際には、上述した方法を用いることにより、ＩＢＰストリーミングに影響を与えずに、ネットワークに負荷ができる限りかからないように、２本のストリーミングを同時に送信することができるようになる。
【００４４】
また、上記の送信方法は、サーバ装置１００とクライアント装置２００の間に設置され、サーバ装置１００からクライアント装置２００への配信動画データの送信を中継する中継装置の中継方法としても適用できる。つまり、上記と同様の理由により、中継装置においてＩＢＰストリーミングを中継中に、Ｉｂ１フレームの中継と他のデータの中継が重なったときに、この他のデータの送信を優先し、この他のデータをＩｂ１フレームより先に中継したとしても、ＩＢＰストリーミングは影響を受けない。よって、このように、中継装置においてＩＢＰストリーミングを中継中に、Ｉｂ１フレームの中継と他のデータの中継が重なったときに、この他のデータの送信を優先し、この他のデータをＩｂ１フレームより先に中継することにより、ＩＢＰストリーミングに影響を与えずに、ネットワークに負荷がかからないように、他のデータを送信することが可能になる。また、上記と同様の理由により、中継装置においてＩＢＰストリーミングを中継中に、連続するＢフレームのうち、時間的に最も前方のＢフレーム以外のＢフレームの中継と他のデータの中継とが重なったときに、この他のデータの送信を優先し、この他のデータを連続するＢフレームのうち、時間的に最も前方のＢフレーム以外のＢフレームより先に中継したとしても、ＩＢＰストリーミングは影響を受けない。よって、このように、中継装置においてＩＢＰストリーミングを中継中に、連続するＢフレームのうち、時間的に最も前方のＢフレーム以外のＢフレームの中継と他のデータの中継とが重なったときに、この他のデータの送信を優先し、この他のデータを連続するＢフレームのうち、時間的に最も前方のＢフレーム以外のＢフレームより先に中継することにより、ＩＢＰストリーミングに影響を与えずに、ネットワークに負荷がかからないように、他のデータを送信することが可能になる。
【００４５】
上述した実施形態における処理動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。
【００４６】
なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムが格納されているＲＯＭ（Read Only Memory）から、専用のハードウェアに組み込まれているコンピュータ内のメモリ（ＲＡＭ）にプログラムを読み込んで実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００４７】
例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭに予め記録しておくことが可能である。あるいは、プログラムは、フロッピー（登録商標）ディスク等の磁気ディスク、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)等の光ディスク、ＭＯ（Magneto Optical）ディスク等の光磁気ディスクなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。
【００４８】
このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することが可能である。
【００４９】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。
【００５０】
また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。
【００５１】
また、上記実施形態で説明したシステムは、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。
【００５２】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。
【００５３】
また、本発明におけるストリーミング配信装置は、前記送信手段は、複数の前記前後方予測フレームが連続している場合、当該複数の連続している前後方予測フレームのうち、時間的に最も前方の前後方予測フレーム以外の前後方予測フレームの送信要求と同時に、他の情報の送信要求を受けたときは、当該他の情報の送信を優先するようにしても良い。
【００５４】
また、本発明におけるストリーミング配信装置は、前記送信手段は、前記フレーム間予測符号化方法により符号化された第２の配信動画データも送信し、前記第２の配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームの２種類のフレームにより構成されており、前記送信手段は、前記第１の配信動画データの前記フレーム間予測を用いず符号化されるフレームの送信要求と同時に、前記第２の配信動画データの前記フレーム間予測を用いず符号化されるフレームの送信要求を受けたときは、当該第２の配信動画データの前記フレーム間予測を用いず符号化されるフレームの送信を優先するようにしても良い。
【００５５】
また、本発明におけるストリーミング配信装置は、前記送信手段は、前記第１の配信動画データにおいて複数の前記前後方予測フレームが連続している場合、当該連続している複数の前後方予測フレームのうち、時間的に最も前方の前後方予測フレーム以外の前後方予測フレームの送信要求と同時に、前記第２の配信動画データのフレーム間予測を用いず符号化されるフレームの送信要求を受けたときは、当該第２の配信動画データのフレーム間予測を用いず符号化されるフレームの送信を優先するようにしても良い。
【００５６】
また、本発明におけるストリーミング中継装置は、前記中継手段は、複数の前記前後方予測フレームが連続している場合、当該連続している複数の前後方予測フレームのうち、時間的に最も前方の前後方予測フレーム以外の前後方予測フレームの中継と他の情報の中継が重なったときは、当該他の情報の中継を優先するようにしても良い。
【００５７】
また、本発明におけるストリーミング中継装置は、前記中継手段は、前記フレーム間予測符号化方法により符号化された第２の配信動画データも中継し、
前記第２の配信動画データは、フレーム間予測を用いず符号化されるフレームと前方予測フレームの２種類のフレームにより構成されており、
前記中継手段は、前記第１の配信動画データの前記フレーム間予測を用いず符号化されるフレームの中継と、前記第２の配信動画データの前記フレーム間予測を用いず符号化されるフレームの中継と、が重なったときは、当該第２の配信動画データの前記フレーム間予測を用いず符号化されるフレームの中継を優先するようにしても良い。
【００５８】
また、本発明におけるストリーミング中継装置は、前記中継手段は、前記第１の配信動画データにおいて複数の前記前後方予測フレームが連続している場合、当該連続している複数の前後方予測フレームのうち、時間的に最も前方の前後方予測フレーム以外の前後方予測フレームの中継と、前記第２の配信動画データのフレーム間予測を用いず符号化されるフレームの中継と、が重なったときは、当該第２の配信動画データのフレーム間予測を用いず符号化されるフレームの中継を優先するようにしても良い。
【符号の説明】
【００５９】
１００    サーバ装置
１０１    記憶手段
１０２    符号化手段
１０３    送信手段
２００    クライアント装置
２０１    受信手段
２０２    記憶手段
２０３    復号化手段
３００    撮像装置
４００    表示装置
【図１】
2011176442.tif 000003
【図２】
2011176442.tif 000004
【図３】
2011176442.tif 000005
【図４】
2011176442.tif 000006
【図５】
2011176442.tif 000007
【図６】
2011176442.tif 000008
【図７】
2011176442.tif 000009
【図８】
2011176442.tif 000010
【図９】
2011176442.tif 000011
【図１０】
2011176442.tif 000012
【図１１】
2011176442.tif 000013