(57)【要約】　【課題】　送受信システムにおいて、圧縮符号化された映像データの送受信を何らかの理由で中断した後に再開する場合、送信再開直後の部分（ＧＯＰの途中）からでも映像データを受信側が正しく復号、画面表示できる、という送受信システムを提供する。　【解決手段】　配信サーバ１７からユーザ端末１８に放送映像データを送信中に、オンデマンド映像データの送信が割込み的に行われた場合、配信サーバ１７は、オンデマンド映像データの送信完了後に放送映像データの送信を再開するのに先立って、補間用Ｉフレームデータをユーザ端末１８に送信しておく。ユーザ端末１８は、先ず補間用Ｉフレームを復号、表示し、放送映像データのうち送信再開直後の数フレームについては、この補間用Ｉフレームを参照フレームとして復号し、表示する。　【選択図】　図１
2004056819.tif 000002
【特許請求の範囲】
【請求項１】
動き補償フレーム間予測を用いて圧縮符号化した映像データを送信する送信側装置と前記映像データを受信し復号する複数の受信端末とから成る映像データ送受信システムであって、
　前記送信側装置は、
　動画データを構成する複数フレームの各々についてフレーム内符号化処理又はフレーム間符号化処理を施すことで前記映像データを生成する第１符号化手段と、
　第１符号化手段による符号化処理と平行して、前記動画データを構成するフレームをフレーム内符号化処理して補間用Ｉフレームデータを生成する第２符号化手段と、
　前記映像データを前記複数の受信端末に送信する送信手段と、を有し、
　前記送信手段は、前記複数の受信端末のうちいずれかに対する前記映像データの送信をいったん中断した後に再開する場合、前記映像データの送信再開に先立って前記補間用Ｉフレームデータを少なくとも１フレーム分、前記受信端末に送信しておき、
　前記受信端末は、前記送信手段によっていったん中断された前記映像データの送信が再開された場合、先ず前記送信手段から送信されてきた前記補間用Ｉフレームデータを受信して復号し、その復号結果データを参照フレームデータとして、再開後の前記映像データを復号すること、
を特徴とする映像データ送受信システム。
【請求項２】
動き補償フレーム間予測を用いて圧縮符号化した映像データを複数の受信端末に対して送信する映像データ送信装置であって、
　動画データを構成する複数フレームの各々についてフレーム内符号化処理又はフレーム間符号化処理を施すことで前記映像データを生成する第１符号化手段と、
　第１符号化手段による符号化処理と平行して、前記動画データを構成するフレームをフレーム内符号化処理して補間用Ｉフレームデータを生成する第２符号化手段と、
　前記映像データを前記複数の受信端末に送信し、前記複数の受信端末のうちいずれかに対する前記映像データの送信をいったん中断した後に再開する場合、前記映像データの送信再開に先立って少なくとも１フレーム分の前記補間用Ｉフレームデータを前記受信端末に送信しておく送信手段と、を有すること
　を特徴とする映像データ送信装置。
【請求項３】
前記映像データの送信と平行して、前記複数の受信端末のいずれかに対してオプション映像データを送信するオプションデータ送信手段を更に有し、
　前記送信手段から前記複数の受信端末のうちいずれかに対する前記映像データの送信中断は、前記いずれかの受信端末に対する前記オプションデータ送信手段によるオプション映像データ送信が割込み的に実行されることで発生すること、
　を特徴とする請求項２に記載の映像データ送信装置。
【請求項４】
前記オプションデータ送信手段は、前記複数の受信端末の少なくとも一部から予めユーザの嗜好に関する情報を収集しておく情報収集手段を有し、
　前記情報収集手段が収集した情報に基づいて送信すべきオプション映像データの内容を選択すること、
　を特徴とする請求項３に記載の映像データ送信装置。
【請求項５】
前記送信手段は、複数の送信先に同一のデータを同報送信する同報送信手段と、個別の送信先に個別のデータを送信する個別送信手段とを有し、前記映像データの送信には前記同報送信手段を、前記補間用Ｉフレームデータには前記個別送信手段を用い、
　前記オプションデータ送信手段は前記オプション映像データを個別送信すること、
　を特徴とする請求項３又は４に記載の映像データ送信装置。
【請求項６】
前記送信手段は、前記補間用Ｉフレームデータ又は前記オプション映像データが送信されている受信端末を、前記同報送信手段による前記映像データの送信の対象外とする切替手段を有すること、
　を特徴とする請求項５に記載の映像データ送信装置。
【請求項７】
前記オプションデータ送信手段は、
　第１のオプションデータの送信途中に第２のオプションデータを挿入する形で送信する挿入手段と、
　前記第２のオプションデータの送信が終わって第１のオプションデータの送信が再開される前に、前記第１のオプションデータの送信再開位置からの少なくとも１フレームについて、対応するオプションデータ補間用Ｉフレームデータを生成する第３符号化手段と、を有し、
　前記第２のオプションデータの送信が終わって第１のオプションデータの送信が再開される場合に、前記オプションデータ送信手段は、前記第１のオプションデータの送信再開に先立って、前記オプションデータ補間用Ｉフレームデータを前記受信端末に送信しておくこと、
　を特徴とする請求項３乃至６のいずれかに記載の映像データ送信装置。
【請求項８】
前記第１符号化手段及び前記第２符号化手段は、別個のエンコーダで実現されていること、
　を特徴とする請求項２乃至７のいずれかに記載の映像データ送信装置。
【請求項９】
前記送信手段は前記映像データの送信再開前に前記受信端末に送信する補間用Ｉフレームデータのフレーム数を、前記映像データのＧＯＰ構成、特に、Ｉ属性又はＰ属性のフレームの出現頻度に基づいて決定すること、
　を特徴とする請求項２乃至８のいずれかに記載の映像データ送信装置。
【請求項１０】
動き補償フレーム間予測を用いて圧縮符号化した映像データを複数の受信端末に対して送信する映像データ送信装置であって、
　動画データを構成するフレームにフレーム内符号化処理を施してフレーム内符号化映像データを生成する第１符号化手段と、
　動画データを構成するフレームにフレーム間符号化処理を施すことでフレーム間符号化映像データを生成する第２符号化手段と、
　前記第１符号化手段が生成したフレーム内符号化映像データと前記第２符号化手段が生成したフレーム間符号化映像データとから前記映像データを生成する映像データ生成手段と、
　前記映像データを前記複数の受信端末に送信する送信手段と、を有し、
　前記送信手段は、前記複数の受信端末のうちいずれかに対する前記映像データの送信をいったん中断した後に再開する場合、前記映像データの送信再開に先立って、前記第１符号化手段が生成したフレーム内符号化映像データのうち少なくとも１フレーム分を補間用Ｉフレームデータとして前記受信端末に送信しておくこと、
を特徴とする映像データ送信装置。
【請求項１１】
動き補償フレーム間予測を用いて圧縮符号化した映像データを送信する複数の映像データ提供装置と前記複数の映像データ提供装置のいずれかから映像データを受信し復号する複数の受信端末と、前記複数の映像データ提供装置と前記複数の受信端末との間にあって映像データを中継する配信サーバとから成る映像データ送受信システムであって、
　前記映像データ提供装置は、それぞれ、
　動画データを構成する複数フレームの各々についてフレーム内符号化処理又はフレーム間符号化処理を施すことで映像データを生成する第１符号化手段と、
　第１符号化手段による符号化処理と平行して、前記動画データを構成する複数フレームの各々をフレーム内符号化処理して補間用Ｉフレームデータを生成する第２符号化手段と、を有し、
　前記配信サーバは、
　前記複数の受信端末のいずれかから、受信対象の映像データの切替を求める切替要求を受け付ける切替要求受付手段と、
　前記切替要求受付手段が切替要求を受け付けると、切替要求元の受信端末に対する切替前の映像データの送信を停止し、次いで、切替後の映像データの提供元である映像データ提供装置から得た補間用Ｉフレームデータを前記切替要求元の受信端末に送信した上で、前記切替後の映像データを前記切替要求元の受信端末に送信する切替送信手段と、を有すること、
を特徴とする映像データ送受信システム。
【請求項１２】
動き補償フレーム間予測を用いて圧縮符号化した映像データを送信する複数の映像データ提供装置と前記複数の映像データ提供装置のいずれかから映像データを受信し復号する複数の受信端末と、前記複数の映像データ提供装置と前記複数の受信端末との間にあって映像データを中継する配信サーバとから成る映像データ送受信システムにおける前記配信サーバであって、
　前記複数の受信端末のいずれかから、受信対象の映像データの切替を求める切替要求を受け付ける切替要求受付手段と、
　前記切替要求受付手段が切替要求を受け付けると、切替要求元の受信端末に対する切替前の映像データの送信を停止し、切替後の映像データの提供元である映像データ提供装置から得た補間用Ｉフレームデータを前記切替要求元の受信端末に送信した上で、前記切替後の映像データを前記切替要求元の受信端末に送信する切替送信手段と、を有すること、
を特徴とする配信サーバ。
【請求項１３】
動き補償フレーム間予測を用いて圧縮符号化した映像データを送信する複数の映像データ提供装置と前記複数の映像データ提供装置のいずれかから映像データを受信し復号する複数の受信端末と、前記複数の映像データ提供装置と前記複数の受信端末との間にあって映像データを中継する配信サーバとから成る映像データ送受信システムにおける、前記映像データ提供装置であって、
　動画データを構成する複数フレームの各々についてフレーム内符号化処理又はフレーム間符号化処理を施すことで映像データを生成する第１符号化手段と、
　第１符号化手段による符号化処理と平行して、前記動画データを構成する複数フレームの各々をフレーム内符号化処理して補間用Ｉフレームデータを生成する第２符号化手段と、
　前記映像データを前記配信サーバに送信し、前記複数の受信端末のいずれかが、受信対象の映像データを前記映像データに切り替えるよう要求した場合は、前記補間用Ｉフレームデータを少なくとも１フレーム分、切替前に、前記配信サーバ経由で前期要求元の受信装置に送信する送信手段と、を有すること、
を特徴とする映像データ提供装置。
【請求項１４】
動き補償フレーム間予測を用いて動画データを圧縮符号化するエンコーダであって、
　動画データを構成する複数フレームの各々についてフレーム内符号化処理又はフレーム間符号化処理を施すことで符号化映像データを生成する第１符号化手段と、
　第１符号化手段による符号化処理と平行して、前記動画データを構成する複数フレームの各々をフレーム内符号化処理して補間用Ｉフレームデータを生成する第２符号化手段と、を有すること、
を特徴とするエンコーダ。
【請求項１５】
動き補償フレーム間予測を用いて動画データを圧縮符号化するエンコーダであって、
　動画データを構成するフレームにフレーム内符号化処理を施してフレーム内符号化映像データを生成する第１符号化手段と、
　動画データを構成するフレームにフレーム間符号化処理を施すことでフレーム間符号化映像データを生成する第２符号化手段と、
　前記第１符号化手段が生成したフレーム内符号化映像データと前記第２符号化手段が生成したフレーム間符号化映像データとから符号化映像データを生成する符号化映像データ生成手段と、
　前記第１符号化手段が生成したフレーム内符号化映像データから補間用Ｉフレームデータを生成する補間用データ生成手段と、を有すること、
を特徴とするエンコーダ。
【請求項１６】
動き補償フレーム間予測を用いて圧縮符号化した映像データを送信する送信側装置と前記映像データを受信し復号する複数の受信端末とから成る映像データ送受信システムにおける、前記送信側装置と前記複数の受信端末のうち１つとの映像データ送受信方法であって、
　送信側装置において、動画データを構成する複数フレームの各々についてフレーム内符号化処理又はフレーム間符号化処理を施すことで前記映像データを生成する第１符号化ステップと、
　前記送信側装置において、前記第１符号化ステップと平行して、前記動画データを構成する複数フレームの各々をフレーム内符号化処理して補間用Ｉフレームデータを生成する第２符号化ステップと、
　前記送信側装置において、前記映像データを受信端末に送信する映像データ送信ステップと、
　前記送信側装置において、前記映像データの前記受信端末への送信を中断する送信中断ステップと、
　前記送信側装置において、前記補間用Ｉフレームデータを少なくとも１フレーム分、前記受信端末に送信する補間用データ送信ステップと、
　前記受信端末において、前記補正用Ｉフレームデータを復号する補間用データ復号ステップと、
　前記送信側装置において、前記映像データの前記受信端末への送信を再開する映像データ再送信ステップと、
　前記受信端末において、前記補間用データ復号ステップ実行の結果得られるデータを参照フレームデータとして、再開後の前記映像データを復号する映像データ復号ステップと、を有すること、
を特徴とする映像データ送受信方法。
【請求項１７】
動き補償フレーム間予測を用いて圧縮符号化した映像データを送信する送信側装置と前記映像データを受信し復号する複数の受信端末とから成る映像データ送受信システムにおける前記送信側装置の映像データ送信方法をコンピュータに実行させるためのプログラムであって、前記映像データ送信方法が、
　動画データを構成する複数フレームの各々についてフレーム内符号化処理又はフレーム間符号化処理を施すことで前記映像データを生成する第１符号化ステップと、
　前記第１符号化ステップと平行して、前記動画データを構成する複数フレームの各々をフレーム内符号化処理して補間用Ｉフレームデータを生成する第２符号化ステップと、
　前記映像データを受信端末に送信する映像データ送信ステップと、
　前記映像データの前記受信端末への送信を中断する送信中断ステップと、
　前記補間用Ｉフレームデータを少なくとも１フレーム分、前記受信端末に送信する補間用データ送信ステップと、
　前記映像データの前記受信端末への送信を再開する映像データ再送信ステップと、を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、送信側と受信側とから成る映像データ送受信システムであって、送信側が受信側に対して、動き補償フレーム間予測を用いて圧縮符号化された映像データを送信し、受信側は当該映像データを復号して画面表示する、という映像データ送受信システムに関する。
【背景技術】
【０００２】
　近年、ＡＤＳＬやＦＴＴＨ等の広帯域ネットワークの普及により、インターネットを介してユーザ端末に映像データを提供するサービスが普及しつつある。提供される映像データは、データ量を小さくするために圧縮符号化されているが、圧縮符号化の方式としては、ＭＰＥＧ−４などの規格で定められた方式が一般的である。この方式では、フレーム内符号化／フレーム間符号化と動き補償予測とを組み合わせて符号化することでデータ量を圧縮する。
【０００３】
　こうした映像データ提供サービスの形態の一つとして放送型サービス（送信側装置が所定のタイムテーブルに従って複数のユーザ端末に対し、同じ時間帯に同じ映像データ（放送映像データ）を配信するもの）がある。放送型サービスにおけるデータ配信は、１対多通信でいうところのブロードキャストまたはマルチキャストで行われる。この方式では、ユーザ別に個別処理を行う必要がないので、送信側装置の負荷を重くすることなしに送信先ユーザ端末の数を増やすことができる。
【０００４】
　しかるに、サービス多様化の一つとして、単に送信側装置からユーザ端末に一方的に放送映像データを配信するだけでなく、個々のユーザ端末からの固有の要求に応じて別の映像データを配信するサービス（オンデマンド型データ配信）も行われるようになっている。
【０００５】
　例えば、放送映像データとしてスポーツ番組を送信中に、ある特定の選手に関する過去のデータをユーザ端末からの要求に応じて適宜送信する、というサービスが考えられる。
【０００６】
　上記のように、放送映像データを送信している最中に、特定ユーザ端末にオンデマンド映像データを送信する場合、放送映像データの扱いにはいくつか方式がある。
【０００７】
　１つに、オンデマンド映像データを送信中ユーザ端末に対しても放送映像データを送信し続ける、というものである。この方式の場合、ユーザ端末では２種類の映像データを同時に受信できるだけの通信帯域が必要であるうえ、受信した映像データの復号処理についても、選択的に復号再生するなど追加の処理が発生して負荷が重くなる。そこで、オンデマンド映像データを送信中は、ユーザ端末に対する放送映像データの送信を中断し、オンデマンド映像データのみ送信するという方式が採られることが多い。
【特許文献１】特開平０９−０１８８８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
　しかしながら、上記のオンデマンド映像データ送信などの理由で一時的に送信が中断された放送映像データについては、送信が再開された直後に以下のような問題が生じる場合がある。すなわち、再開直後の放送映像データをユーザ端末が復号できず、映像が画面表示されない時間帯が発生する。これは、映像データの圧縮符号化方式（動き補償フレーム間予測）に起因するものである。以下、こうした問題がどのように発生するか図面を参照しながら説明する。
【０００９】
　図１２は、インターネット放送による放送映像データ送信が中断されてオンデマンド映像データが送信される場合、これら映像データがどのようにユーザ端末に受信されるかを示す模式図である。ここでは、放送映像データ１１１の受信は時刻ｔ０で中断され、時刻ｔ１までは代わりにオンデマンド型映像データ１１２が受信される。そして、時刻ｔ１からは放送映像データの受信が再開される。放送映像データ１１１は、３０フレーム／秒の映像を５秒に１枚のＩフレーム（フレーム内符号化フレーム）を設ける方式で圧縮符号化したものである。よって１つのＩフレームを中心にした１５０フレームで１つの単位（ＧＯＰ：Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）が構成される。インターネット放送は、デジタル放送（３０フレーム／秒で１秒に２枚のＩフレーム）に比べてＩフレームの割合が小さくなっている。
【００１０】
　図１２におけるＧＯＰ１１１０は、放送映像データ１１１のうち、時刻ｔ１をはさんで受信されるＧＯＰである。ＧＯＰ１１１０は、他のＧＯＰと同様に１つのＩフレームと複数のＰ、Ｂフレームとから構成される。各Ｐフレームは直前のＩ又はＰフレームを参照フレームとして、各Ｂフレームは前後のＩ又はＰフレームを参照フレームとしてフレーム間符号化されている。
【００１１】
　ＧＯＰ１１１０のうち、Ｉフレームを含む先頭３フレームは、オンデマンド映像データに送信タイミングが重複しているため、ユーザ端末には受信されない。そのため、先頭のＩフレームを参照フレームとして符号化された４フレーム目のＰフレームは復号できない。さらに、この４フレーム目のＰフレーム以降にあってこれを参照するＰ、Ｂフレームについても、やはり復号ができない。その結果、４フレーム目以降のＰ、Ｂフレームに相当する部分の映像は正しく画面表示されない。この状態は、３０フレーム／秒で５秒に１枚のＩフレームを設ける方式で符号化された放送映像データの場合、最大で１４９フレーム分（５秒弱）続くことになる（１秒に２枚のＩフレームで符号化された映像データでは１４フレーム分（０．５秒弱）にとどまる）。
【００１２】
　これを防ぐには、（１）オンデマンド映像データ送信中も放送映像データの送信を続け、ユーザ端末では両方の映像データを平行して復号する、又は、（２）送信側装置の側で、当該ユーザ端末に対してのみ放送映像データの送信タイミングをずらしたり、再開直後のフレームをＩフレームにする形でＧＯＰの再編成及び再符号化を行ったりして、送信再開時に必ずＩフレームデータから受信されるようにする、などのやり方も考えられるが、（１）では帯域の拡大が必要なうえにユーザ端末の処理負荷が倍増し、（２）では送信側装置がオンデマンド映像データを受信したユーザ端末を他のユーザ端末と区別して別処理する必要が生じて送信側装置の負荷が重くなる。この負荷増は、同時にオンデマンド映像データを受信するユーザ端末が多くなるほど重くなるので、同時放送できるユーザ数が抑制される事態を招くおそれもある。
【００１３】
　本発明は上記課題に鑑み、上記のような原因で、動き補償予測を用いて符号化された映像データをＧＯＰの途中から復号しなければならない事態が起こった時、送信側、受信側のいずれに対しても処理負荷を大幅に増大させることなしに、送信再開直後の部分（ＧＯＰの途中）からでも、放送映像データを受信側ユーザ端末が正しく復号、画面表示できるような映像データ送受信システムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
　上記の目的を達成するために、本発明の映像データ送受信システムは、動き補償フレーム間予測を用いて圧縮符号化した映像データを送信する送信側装置と前記映像データを受信し復号する複数の受信端末とから成る映像データ送受信システムであって、前記送信側装置は、動画データを構成する複数フレームの各々についてフレーム内符号化処理又はフレーム間符号化処理を施すことで前記映像データを生成する第１符号化手段と、第１符号化手段による符号化処理と平行して、前記動画データを構成するフレームをフレーム内符号化処理して補間用Ｉフレームデータを生成する第２符号化手段と、前記映像データを前記複数の受信端末に送信する送信手段と、を有し、前記送信手段は、前記複数の受信端末のうちいずれかに対する前記映像データの送信をいったん中断した後に再開する場合、前記映像データの送信再開に先立って前記補間用Ｉフレームデータを少なくとも１フレーム分、前記受信端末に送信しておき、前記受信端末は、前記送信手段によっていったん中断された前記映像データの送信が再開された場合、先ず前記送信手段から送信されてきた前記補間用Ｉフレームデータを受信して復号し、その復号結果データを参照フレームデータとして、再開後の前記映像データを復号すること、を特徴とする。
【００１５】
　こうした映像データ送受信システムでは、いったん送信が中止された映像データの送信再開に当たって、再開直後のフレームデータがフレーム間符号化されたフレーム（Ｐフレーム又はＢフレーム）のものであった場合は、当該フレームデータに代えて、同じフレームを別途フレーム内符号化して生成しておいた補間用Ｉフレームデータをユーザ端末側に送信する。そして、ユーザ端末側は、先ず補間用Ｉフレームデータを復号、さらに後に続くフレームデータについては、補間用Ｉフレームデータの復号結果を参照フレームデータとして参照する形で復号する。よって、再開直後（ＧＯＰの途中）からの復号も正しく行えるので、映像データ表示が中断することがない。さらに、ユーザ端末装置の処理負荷が重くなることはなく、送信側装置についても、補間用Ｉフレームデータを生成、数フレーム分保存する負荷が生じるのみである。映像データの中断、再開が頻繁に発生するシステムにおいても、そのための処理負荷によって同時放送可能なユーザ数が抑制されるような事態につながることはない。
【００１６】
　なお、上記の効果は、こうしたシステムにおける送信側装置、すなわち、映像データ送信装置単独でも実現できる。また、上記効果は、上記の構成のシステムにおいて実行される映像データ送信方法、又は、こうした構成を持つ装置としての動作をコンピュータに実行させるプログラムによっても実現できる。
【発明の効果】
【００１７】
　以上の説明から明らかなように、本発明の映像データ送受信システムは、動き補償フレーム間予測を用いて圧縮符号化した映像データを送信する送信側装置と前記映像データを受信し復号する複数の受信端末とから成る映像データ送受信システムである。前記送信側装置は、動画データを構成する複数フレームの各々についてフレーム内符号化処理又はフレーム間符号化処理を施すことで前記映像データを生成する第１符号化手段と、第１符号化手段による符号化処理と平行して、前記動画データを構成するフレームをフレーム内符号化処理して補間用Ｉフレームデータを生成する第２符号化手段と、前記映像データを前記複数の受信端末に送信する送信手段と、を有し、前記送信手段は、前記複数の受信端末のうちいずれかに対する前記映像データの送信をいったん中断した後に再開する場合、前記映像データの送信再開に先立って前記補間用Ｉフレームデータを少なくとも１フレーム分、前記受信端末に送信しておき、前記受信端末は、前記送信手段によっていったん中断された前記映像データの送信が再開された場合、先ず前記送信手段から送信されてきた前記補間用Ｉフレームデータを受信して復号し、その復号結果データを参照フレームデータとして、再開後の前記映像データを復号すること、を特徴とする。
【００１８】
　こうした映像データ送受信システムでは、いったん送信が中止された映像データの送信再開に当たって、再開直後のフレームデータがフレーム間符号化されたフレーム（Ｐフレーム又はＢフレーム）のものであった場合は、当該フレームデータに代えて、同じフレームを別途フレーム内符号化して生成しておいた補間用Ｉフレームデータをユーザ端末側に送信する。そして、ユーザ端末側は、先ず補間用Ｉフレームデータを復号、さらに後に続くフレームデータについては、補間用Ｉフレームデータの復号結果を参照フレームデータとして参照する形で復号する。よって、再開直後（ＧＯＰの途中）からの復号も正しく行えるので、映像データ表示が中断することがない。さらに、ユーザ端末装置の処理負荷が重くなることはなく、送信側装置についても、補間用Ｉフレームデータを生成、数フレーム分保存する負荷が生じるのみである。映像データの送信中断、再開が頻繁に発生するシステムにおいても、そのための処理負荷によって同時放送可能なユーザ数が抑制されるような事態につながることはない。
【００１９】
　なお、上記の効果は、こうしたシステムにおける送信側装置、すなわち、映像データ送信装置単独でも実現できる。
【００２０】
　そうした送信装置については、前記映像データの送信と平行して、前記複数の受信端末のいずれかに対してオプション映像データを送信するオプションデータ送信手段を更に有し、前記送信手段から前記複数の受信端末のうちいずれかに対する前記映像データの送信中断は、前記いずれかの受信端末に対する前記オプションデータ送信手段によるオプション映像データ送信が割込み的に実行されることで発生すること、という構成もありうる。
【００２１】
　この構成の場合、放送イメージで多数の受信端末に同一の映像データを同時送信しつつ、特定の受信端末に対して別映像データ（オプション映像データ）を割込み的に送信する、というサービスを行っている映像データ送受信システムにおいても上記の効果を実現することができる。なお、オプション映像データの例としては、オンデマンド映像データ、ＣＭ映像データなどがある。
【００２２】
　また、前記オプションデータ送信手段は、前記複数の受信端末の少なくとも一部から予めユーザの嗜好に関する情報を収集しておく情報収集手段を有し、
　前記情報収集手段が収集した情報に基づいて送信すべきオプション映像データの内容を選択すること、としてもよい。
【００２３】
　この構成によれば、映像データを提供する側の構成が主導してオプション映像データを送信する、というサービスを行っている映像データ送受信システムにおいても上記の効果を実現することができる。
【００２４】
　また、前記送信手段は、複数の送信先に同一のデータを同報送信する同報送信手段と、個別の送信先に個別のデータを送信する個別送信手段とを有し、前記映像データの送信には前記同報送信手段を、前記補間用Ｉフレームデータには前記個別送信手段を用い、前記オプションデータ送信手段は前記オプション映像データを個別送信すること、という構成とすることもできる。この場合、映像データを同報送信するため、受信端末数が増えても送信側装置の処理負荷は重くならない。さらに、前記送信手段は、前記補間用Ｉフレームデータ又は前記オプション映像データが送信されている受信端末を、前記同報送信手段による前記映像データの送信の対象外とする切替手段を有すること、とすれば、受信端末が放送映像データとオプション映像データ又は補間用Ｉフレームデータを同時に受信することがないので、ネットワーク負荷及び受信端末の処理負荷の増大を抑制できる。さらに、前記オプションデータ送信手段は、第１のオプションデータの送信途中に第２のオプションデータを挿入する形で送信する挿入手段と、前記第２のオプションデータの送信が終わって第１のオプションデータの送信が再開される前に、前記第１のオプションデータの送信再開位置からの少なくとも１フレームについて、対応するオプションデータ補間用Ｉフレームデータを生成する第３符号化手段と、を有し、前記第２のオプションデータの送信が終わって第１のオプションデータの送信が再開される場合に、前記オプションデータ送信手段は、前記第１のオプションデータの送信再開に先立って、前記オプションデータ補間用Ｉフレームデータを前記受信端末に送信しておくこと、という構成にすれば、映像データにオプション映像データを挿入するパターンだけでなく、あるオプション映像データに別のオプション映像データを挿入するパターンにおいても、送信再開直後に第1のオプション映像データの表示が途切れることはない。
【００２５】
　また、前記第１符号化手段及び前記第２符号化手段は、別個のエンコーダで実現されていること、としてもよい。
【００２６】
　この構成によれば、通常の動き補償フレーム間予測による符号化処理と全フレームをフレーム内符号化処理とを平行で実行する、という特殊なエンコーダを設ける必要はなく、従来型のエンコーダを２つ設けて、それぞれに上記いずれかの処理を行わせればよく、従来型のエンコーダを用いて上記効果を実現することができる。
【００２７】
　なお、上記効果を得るために、補間用Ｉフレームを具体的に何フレーム分送信するかの決定については、前記送信手段は前記映像データの送信再開前に前記受信端末に送信する補間用Ｉフレームデータのフレーム数を、前記映像データのＧＯＰ構成、特に、Ｉ属性又はＰ属性のフレームの出現頻度に基づいて決定すること、とすればよい。
【００２８】
　また、動き補償フレーム間予測を用いて圧縮符号化した映像データを複数の受信端末に対して送信する映像データ送信装置であって、動画データを構成するフレームにフレーム内符号化処理を施してフレーム内符号化映像データを生成する第１符号化手段と、動画データを構成するフレームにフレーム間符号化処理を施すことでフレーム間符号化映像データを生成する第２符号化手段と、前記第１符号化手段が生成したフレーム内符号化映像データと前記第２符号化手段が生成したフレーム間符号化映像データとから前記映像データを生成する映像データ生成手段と、前記映像データを前記複数の受信端末に送信する送信手段と、を有し、前記送信手段は、前記複数の受信端末のうちいずれかに対する前記映像データの送信をいったん中断した後に再開する場合、前記映像データの送信再開に先立って、前記第１符号化手段が生成したフレーム内符号化映像データのうち少なくとも１フレーム分を補間用Ｉフレームデータとして前記受信端末に送信しておくことを特徴とする映像データ送信装置によっても、上記と同様の効果が得られる。その場合、第１符号化手段が生成するフレーム内符号化データが補間用Ｉフレームデータとして利用される。
【００２９】
　また、本発明の映像データ送受信システムは、動き補償フレーム間予測を用いて圧縮符号化した映像データを送信する複数の映像データ提供装置と前記複数の映像データ提供装置のいずれかから映像データを受信し復号する複数の受信端末と、前記複数の映像データ提供装置と前記複数の受信端末との間にあって映像データを中継する配信サーバとから成る映像データ送受信システムである。そして、前記映像データ提供装置は、それぞれ、動画データを構成する複数フレームの各々についてフレーム内符号化処理又はフレーム間符号化処理を施すことで映像データを生成する第１符号化手段と、第１符号化手段による符号化処理と平行して、前記動画データを構成する複数フレームの各々をフレーム内符号化処理して補間用Ｉフレームデータを生成する第２符号化手段と、を有し、前記配信サーバは、前記複数の受信端末のいずれかから、受信対象の映像データの切替を求める切替要求を受け付ける切替要求受付手段と、前記切替要求受付手段が切替要求を受け付けると、切替要求元の受信端末に対する切替前の映像データの送信を停止し、次いで、切替後の映像データの提供元である映像データ提供装置から得た補間用Ｉフレームデータを前記切替要求元の受信端末に送信した上で、前記切替後の映像データを前記切替要求元の受信端末に送信する切替送信手段とを有すること、を特徴とする構成によっても実現できる。
【００３０】
　こうした映像データ送受信システムによれば、放送イメージで、多数の受信端末に選択可能な形で複数種類の放送映像データを送信する、というサービスを行っている映像データ送受信システムにおいて、受信端末側は、放送映像データの切り替え直後（ＧＯＰの途中）からでも放送映像データを正しく復号することができ、しかも、送信側装置、受信端末のいずれについても処理負荷が大幅に増大することはない。
【００３１】
　また、動き補償フレーム間予測を用いて動画データを圧縮符号化するエンコーダであって、動画データを構成する複数フレームの各々についてフレーム内符号化処理又はフレーム間符号化処理を施すことで符号化映像データを生成する第１符号化手段と、第１符号化手段による符号化処理と平行して、前記動画データを構成する複数フレームの各々をフレーム内符号化処理して補間用Ｉフレームデータを生成する第２符号化手段と、を有することを特徴とするエンコーダによれば、復号を行う側の装置に参照フレームに当たるＩフレームの符号化データが正しく送られなかった場合全般について、正しく送られなかったＩフレームデータの代わりに補間用Ｉフレームデータを用いることで、当該Ｉフレーム及びこれを参照フレームとする後続フレームも正しく復号できる。そして、このエンコーダを放送イメージでの映像データ送受信を行うシステムに適用すれば、上記の効果が実現できる。
【００３２】
　また、上記の効果は、動き補償フレーム間予測を用いて動画データを圧縮符号化するエンコーダであって、動画データを構成するフレームにフレーム内符号化処理を施してフレーム内符号化映像データを生成する第１符号化手段と、動画データを構成するフレームにフレーム間符号化処理を施すことでフレーム間符号化映像データを生成する第２符号化手段と、前記第１符号化手段が生成したフレーム内符号化映像データと前記第２符号化手段が生成したフレーム間符号化映像データとから符号化映像データを生成する符号化映像データ生成手段と、前記第１符号化手段が生成したフレーム内符号化映像データから補間用Ｉフレームデータを生成する補間用データ生成手段と、を有することを特徴とするエンコーダによっても実現できる。
【００３３】
　また、これまでに述べた効果は、上記の構成のシステムが実行する映像データ送受信方法、又は、こうした構成を持つ装置としての動作をコンピュータに実行させるプログラム、によっても実現できる。
【発明を実施するための最良の形態】
【００３４】
　以下、本発明の映像データ送受信システムに関する実施の形態を、図面を参照しながら説明する。
【００３５】
　（概要）
　図１は、本実施の形態における映像データ送受信システム１の構成を示す図である。映像データ送受信システム１は、映像データの受信を希望するユーザ端末１８に対し、映像データ送信元からインターネットＮを介して放送形式で映像データを送信するものである。放送形式での送信とは、予め定めてユーザに通知したタイムテーブルに従って、受信を希望する全てのユーザ端末に同じ映像データを同時に送信する、というものである。この放送形式で送信される映像データを、以下、「放送映像データ」と言う。すなわち、ここでの放送映像データにおける「放送」は、放送波によって送受信されることを意味するものではない。
【００３６】
　更に、映像データ送受信システム１で送受信される映像データには、放送映像データとは別に、要求を出した特定のユーザ端末に対して要求発行時にのみ送信されるものがあり、これを「オンデマンド映像データ」と言う。オンデマンド映像データの送信中、当該ユーザ端末への放送映像データの送信は中断される（他のユーザ端末には放送映像データが送信され続ける）。そして、オンデマンド映像データの送受信が完了した時点で、当該ユーザ端末への放送映像データ送信が再開される。
【００３７】
　映像データ送受信システム１は、上記のように放送映像データの送信再開時点で、ユーザ端末が再開直後から正しく放送映像データを復号再生できるようにするものであり、そのために、再開直後のＰフレーム又はＢフレームのフレームデータについては、同フレームを別途フレーム内符号化しておいたＩフレームデータ（補間用Ｉフレーム）に差し替えてユーザ端末に送信することを特徴としている。
【００３８】
　以下、この補間用Ｉフレームデータを含む映像データの送受信の具体例を、図面を参照しながら説明する。
【００３９】
　図２において、ユーザ端末は放送映像データ２０を構成する２つのＧＯＰ２１、２２にまたがるタイミングでオンデマンド映像データ２３を受信する。オンデマンド映像データ２３の最終フレームはＧＯＰ２２における２番目のフレーム２２２に重なる。放送映像データ２０のうち再開直後の位置にあるのはフレーム２２３、２２４である。フレーム２２３はＢフレームであり、復号時の参照フレームは、ＧＯＰ２２の先頭のＩフレーム２２１と後続のＰフレーム２２４となっている。また、フレーム２２４はＰフレームであり、復号時の参照フレームはＩフレーム２２１である。
【００４０】
　フレーム２２３、２２４を復号するには、Ｉフレーム２２１を参照する必要があり、フレーム２２４が正しく復号できなければ、後続のフレーム２２５以降も復号できないのであるが、ユーザ端末１８はＩフレーム２２１を受信していない。そこで、素材選択装置１５はユーザ端末１８に放送映像データ２０送信を再開するに当たって、正しく復号できない先頭の２フレーム２２３、２２４については送信せず、代わりに、対応する補間用Ｉフレームデータ２３１、２３２を送信する。
【００４１】
　ユーザ端末１８は、フレーム２２３、２２４に対応する補間用Ｉフレームデータ２３１、２３２を復号、画面表示する。そして、フレーム２２５以降については、フレーム２３２の復号結果などを参照して復号できるので、補間用Ｉフレームに差し替える必要はない。
（各部の構成）
　次いで、上記のような処理を行う映像データ送受信システム１の構成について説明する。
【００４２】
　映像データ送受信システム１は、図１に示すように、受信側の構成部である複数のユーザ端末１８と送信側の構成とがインターネットＮを介して接続された構成であり、送信側構成は、ビデオカメラ１１、編集・放送用素材サーバ１２、スイッチャ１３、エンコーダ１４、素材選択装置１５、オンデマンド素材サーバ１６、配信サーバ１７を有する。
【００４３】
　ビデオカメラ１１は、映像データの一種である中継映像データを提供するものである。これは、光学レンズに入射した光学像を電気信号に変換する装置であり、映像データについては、非圧縮又はＤＶＣＰＲＯや民生ＤＶ等の形式で圧縮して、ＳＤＩ、ＳＤＴＩ、ＩＥＥＥ１３９４等の信号線を通してスイッチャ１３に出力する。
【００４４】
　編集・放送用素材サーバ１２は、放送映像データの一種として放送局で編集された「番組」の映像データを提供するものであり、編集済みの番組の他に、素材となる映像データや音声データを保持している。これらデータはハードディスクや磁気テープ等に蓄積され、必要に応じてスイッチャ１３に出力される。
【００４５】
　スイッチャ１３は放送センター内にあって、ビデオカメラ１１及び編集・放送用素材サーバ１２から取得する映像データを編集して放送データとし、これを予め与えられたタイムテーブルに従ったタイミングで、放送のためにエンコーダ１４に出力する。
【００４６】
　エンコーダ１４は、スイッチャ１３から出力されてくる放送データをインターネットでの送信に適したフォーマット（ここでは「ＭＰＥＧ−４」）で圧縮符号化して放送映像データとしたうえで素材選択装置１５に出力する。なお、スイッチャ１３から出力された時点で放送データがすでに符号化されており、そのままではエンコーダ１４に入力できない場合は、図外のデコーダによっていったん復号してからエンコーダ１４に入力される。さらに、エンコーダ１４は、放送データの各フレームを別途フレーム内符号化し、その結果を補間用Ｉフレームデータとして素材選択装置１５に出力する。
【００４７】
　すなわち、エンコーダ１４は、入力されてくる放送データに２種類の異なる符号化処理を施して、それぞれの結果を、放送映像データ、補間用Ｉフレームデータとして出力する。
【００４８】
　図３にエンコーダ１４の構成を示す。一般的なエンコーダとの差異は、ＤＣＴ処理部と量子化処理部との組み合わせを２系統有する点である。第１系統のＤＣＴ部１４１及び量子化部１４２は、入力されてくる放送データの全フレームをフレーム内符号化して補間用Ｉフレームデータとして出力する。第２系統のＤＣＴ部１４３及び量子化部１４４は、入力されてくる放送データのフレームをフレーム内符号化又はフレーム間符号化して放送映像データとして出力するもので、通常のエンコーダのＤＣＴ部及び量子化部と同じ処理を行う。第１系統、第２系統それぞれから出力される符号化データは、フレーム単位で同期を取りながら素材選択装置１５に出力される。
【００４９】
　オンデマンド素材サーバ１６は、オンデマンド映像データを保持し、これをユーザ要求に応じて素材選択装置１５に提供する。オンデマンド映像データは、放送映像データと同様にＭＰＥＧ−４の形式で圧縮符号化されて蓄積されている。
【００５０】
　素材選択装置１５は、エンコーダ１４から放送映像データ及び補間用Ｉフレームデータを、オンデマンド素材サーバ１６からオンデマンド映像データをそれぞれ受け取り、配信サーバ１７に送る。このうち補間用Ｉフレームデータについては、必要なタイミングで必要なフレームのものについてのみ出力する。素材選択装置１５による補間用Ｉフレームデータ関連の処理については後で更に詳しく述べる。
【００５１】
　配信サーバ１７は、素材選択装置１５から出力されてくる３種類の映像データ（放送映像データ、オンデマンド映像データ、補間用Ｉフレームデータ）を、それぞれインターネットＮ経由でユーザ端末１８に送信する。
【００５２】
　放送映像データの場合、配信サーバ１７は、タイムテーブルに従ったタイミングで「放送対象」の全ユーザ端末に同時に送信する。放送対象のユーザ端末とは、それ以前に、放送映像データの送信を求める要求を配信サーバ１７に対して発行していたユーザ端末である。
【００５３】
　オンデマンド映像データの場合、配信サーバ１７は、素材選択装置１５からオンデマンド映像データを受け取ると、要求元ユーザ端末への放送映像データの送信を中断してオンデマンド映像データを送信する。
【００５４】
　補間用Ｉフレームデータについては、上記のオンデマンド映像データの送信完了時に、当該オンデマンド映像データ要求元のユーザ端末に送信する。そして、補間用Ｉフレームデータの送信完了後に、当該ユーザ端末への放送映像データの送信を再開する。
【００５５】
　ユーザ端末１８は、ユーザの要求を配信サーバ１７に送信し、要求に応じて配信サーバ１７から送られてくる映像データを復号、画面表示する装置である。特に、オンデマンド映像データ受信後、放送映像データの受信を再開する際は、補間用Ｉフレームデータを受信してこれを復号、画面表示した後、復号後の補間用Ｉフレームデータを参照フレームデータとして、その後受信する放送映像データのフレームを復号していく。
（主要構成部の説明）
　以下、上述した映像データ送受信システム１の主要構成部（素材選択装置１５、配信サーバ１７、ユーザ端末１８）について更に詳しく説明する。
（詳細な構成）
　以下、同図を参照しながら、本実施の形態における映像データ送受信システム１における上記３つの主要構成部に関して更に詳細な説明を行う。特に補間用Ｉフレームデータに関する処理について説明する。
【００５６】
　図４は、３つの主要構成部の構成を示すブロック図である。
【００５７】
　（配信サーバ１７）
　配信サーバ１７は、要求受信部１７１、ユーザ管理部１７２、映像要求部１７３、映像受信部１７４、映像送信部１７５を有する。各構成部の処理内容を説明する。
【００５８】
　要求受信部１７１は、インターネットＮを介してユーザ端末１８からの映像データ送信に関する要求（放送映像データの送信開始／終了要求、オンデマンド映像データ送信要求）を受信し、ユーザ管理部１７２に出力する。要求には、要求元ユーザ端末の識別情報（ＩＰアドレスなど）、要求対象の映像データの識別情報が含まれる。
【００５９】
　ユーザ管理部１７２は、映像データ送信先のユーザ端末に関する情報を管理する。データを送信すべきユーザ端末の識別情報と、それらユーザ端末のそれぞれに送信すべきデータの種別及び識別情報（オンデマンド映像データの場合）とを示す管理情報を保持し、これを要求受信部１７１経由で送られてくるユーザからの要求の内容に応じて更新する。また、オンデマンド映像データの送信要求を受け取った場合には、その内容を映像要求部１７３に出力する。
【００６０】
　映像要求部１７３は、ユーザ管理部１７２からオンデマンド映像データに関する送信要求を受け取ると、これを素材選択装置１５に送ってオンデマンド映像データの読み出しを指示する。
【００６１】
　映像受信部１７４は、各種映像データを素材選択装置１５から受信して映像送信部１７５に送る。なお、素材選択装置１５から送られてくる映像データのうちオンデマンド映像データ及び補間用Ｉフレームデータには、上記の要求に含まれていた要求元ユーザ端末の識別情報が付加されている。
【００６２】
　映像送信部１７５は、映像受信部１７４から送られてくる各種映像データを、ユーザ管理部１７２が保持する管理情報に従ってユーザ端末１８に送信する。そして、オンデマンド映像データ及び補間用Ｉフレームデータの送信完了時には、送信先ユーザ端末の識別情報をユーザ管理部１７２に送って、当該ユーザ端末用の管理情報の内容を「オンデマンド映像送信」を示すものから「放送映像データ送信」を示すものに更新させる。
【００６３】
　（素材選択装置１５）
　素材選択装置１５は、送受信部１５１、素材判定部１５２、補間用Ｉフレームバッファ１５３、フレーム判定部１５４、オンデマンドデータ読出部１５５を有する。
【００６４】
　送受信部１５１は、配信サーバ１７からオンデマンド映像データに関する送信要求を受信し、その内容（映像データの識別情報、要求元ユーザ端末の識別情報）を素材判定部１５２に出力する。また、素材判定部１５２経由で出力されてくる各種映像データを配信サーバ１７に送信する。
【００６５】
　オンデマンドデータ読出部１５５は、要求されたオンデマンド映像データをオンデマンド素材サーバ１６から読み出して素材判定部１５２に出力する。また、オンデマンド映像データの最終フレームを出力する際は、終端である旨の情報を付加しておく。
【００６６】
　フレーム判定部１５４は、エンコーダ１４から出力される放送映像データを受信して素材判定部１５２に出力する。その際、映像データを構成するフレームデータの各々について、属性情報を解析するなどしてフレーム種別（Ｉ、Ｐ、Ｂ）及び当該フレームの通番（映像データ全体における順番、又は、属するＧＯＰにおける順番）を得ると、これを当該フレームデータと共に素材判定部１５２に出力する。これらの情報は、後述する補間用Ｉフレームデータ出力の要否判定や出力すべき補間用Ｉフレームデータの特定のために参照される。なお、フレームの通番については、フレーム判定部１５４が自身でカウントすることとしてもよい。
【００６７】
　補間用Ｉフレームバッファ１５３は、エンコーダ１４から出力されてくる補間用Ｉフレームデータを数フレーム分保持しておく。また、カウンタを保持して各補間用Ｉフレームデータの通番をカウントし、各データに付加しておく（フレーム判定部１５４が得る通番に対応する方式でカウントする）。そして、素材判定部１５２から補間用Ｉフレームデータの出力要求を受け付けると、要求に付加された通番に対応する補間用Ｉフレームデータを素材判定部１５２に出力する。なお、所定数を超えた補間用Ｉフレームデータは古い順から消去していく。
【００６８】
　素材判定部１５２は、放送映像データ、オンデマンド映像データ、補間用Ｉフレームデータを取得し、適宜、送受信部１５１に出力して配信サーバ１７へ送信させるものである。オンデマンド映像データの送信時、及び、オンデマンド映像データの送信が完了して放送映像データ送信を再開する際の素材判定部１５２の処理について、以下に図面を参照しながら説明する。
【００６９】
　図５は、素材判定部１５２による処理の流れを示すフローチャートである。
【００７０】
　オンデマンド映像データの送信時、素材判定部１５２は、要求対象のオンデマンド映像データがオンデマンドデータ読出部１５５から出力されてくると、これを放送映像データと平行して配信サーバ１７に出力する（Ｓ５０１）。
【００７１】
　そして、オンデマンドデータ読出部１５５から当該オンデマンド映像データの終端フレームが出力されてくると（Ｓ５０２：Yes）、素材判定部１５２は放送映像データのフレームのうち、オンデマンド映像データの最終フレームに続いて送信されることになる所定数フレームについて、通番や属性情報などを取得し（Ｓ５０３）、これらを元に補間用Ｉフレームデータとの差し替え要否を判定する。何フレーム分のデータについて判定を行うかは、放送映像データ符号化時のフレーム構成による。図２に示したように、本システム１が扱う放送映像データの構成は、「Ｉ又はＰフレームが３枚に１枚の割合で出現する」というものなので、３フレームについて差し替え要否を判定する。あるいは、次のＩフレームデータの出現（次のＧＯＰの開始）までのフレームを判定対象とする。フレーム構造（参照関係）が不規則な場合は、次ＧＯＰのＩフレーム出現まで繰り返すのがよい。
【００７２】
　判定対象のフレームのタイプが「Ｉ」であれば（Ｓ５０４：Yes）、当該フレーム及びその後続フレームは、ユーザ端末１８においても正しく復号できるので、補間用Ｉフレームデータとの差し替えは不要であるから、配信サーバ１７にその旨通知して、放送映像データをユーザ端末１８に送信させる（Ｓ５０８）。さらに、補間用Ｉフレームデータとの差し替え要否判定を打ち切る。
【００７３】
　判定対象のフレームがＰ、Ｂフレームであった場合（Ｓ５０４：No）、素材判定部１５２は、当該フレームの参照フレームがユーザ端末１８に送信されているかどうかチェックする（Ｂフレームの場合は、２つある参照フレームのうち、先行するほうの参照フレーム）（Ｓ５０５）。具体的には、当該フレームの参照フレームの通番と、放送映像データのフレームデータのうちオンデマンド映像データにおける最終フレームに対応するものの通番とを比べ、前者の値が後者の値より大きければ、当該参照フレームはユーザ端末１８に届いていることになる。参照フレームがユーザ端末１８に受信されていれば（Ｓ５０５：Yes）、当該放送映像データフレームの復号は可能なので、補間用Ｉフレームデータとの差し替えはせず、当該フレームデータをそのままユーザ端末１８に送信するよう配信サーバ１７に指示する（Ｓ５０７）。
【００７４】
　なお、参照フレームの通番は、判定対象フレーム自身の通番と放送映像データのフレーム構造とから求めることもできる。図２に示すフレーム構造を持つ本例の放送映像データの場合、Ｐフレームの参照フレームは、自身より通番で３つ前のＩ又はＰフレームとなる。Ｂフレームのうち、自身の通番が３の倍数になっているもの（図２ではフレーム２２３）の場合、参照フレームは通番で２つ前のＩ又はＰフレーム（図２ではフレーム２２１）と通番で１つ後のＰフレーム（図２ではフレーム２２４）となり、自身の通番が「３の倍数−１」になっているもの（図２ではフレーム２２２）の参照フレームは、通番で１つ前のＩ又はＰフレーム（図２でフレーム２２１）と通番で２つ後のＰフレーム（図２でフレーム２２４）となる。
【００７５】
　一方、参照フレームが送信済みでなかった場合（Ｓ５０５：No）、当該放送映像データフレームのデータをユーザ端末１８に送っても復号は不可能であるため、対応する（同じ通番を有する）補間用Ｉフレームデータを補間用Ｉフレームバッファ１５３から読み出して配信サーバ１７に送り、ユーザ端末１８に送信させる（Ｓ５０６）。なお、補間用Ｉフレームデータがユーザ端末１８に送信されている間も、他のユーザ端末には放送映像データを送信する必要があるので、素材選択装置１５から配信サーバ１７へは、補間用Ｉフレームデータと平行して放送映像データも送信される。
【００７６】
　ステップＳ５０３〜Ｓ５０７の処理は、再開後の所定数分のフレームについて判定が行われるか、次ＧＯＰのＩフレームデータが出現されるまで繰り返される（Ｓ５０９）。そして、この図に示す処理が終了した後は、チェック対象フレーム以降の放送映像データが無条件に送信される。
【００７７】
　なお、上の説明では、素材判定部１５２は放送映像データとオンデマンド映像データとを１フレームずつ平行して配信サーバ１７に出力することを前提として、放送映像データ１フレームずつ補間用Ｉフレームに差し替えるか否かを判定することとしたが、符号化時のフレーム構成やオンデマンド映像データのフレーム数などの情報に基づいて、オンデマンド映像データの送信開始の段階で、「差し替えの要否」、「差し替えるべきフレームの枚数及び通番」を予め判定しておくこともできる。具体的には、オンデマンド映像データの送信開始時に、オンデマンド映像データの先頭フレームに対応する放送映像データのフレームの通番を得て、これにオンデマンド映像データのフレーム数を加えれば、送信再開時の放送映像データのフレーム通番が算出できる。そして、放送映像データのフレーム構造は、図２に示すように予め決まっており、上で述べたように通番の値が３ｎ＋１（ｎは０以上の整数）であるフレームは、Ｉ又はＰフレームとなり（ＩかＰかの判定は１ＧＯＰのフレーム数によって行う）、それ以外の通番を持つフレームはＢフレームとなるので、送信再開時の放送映像データのフレームの通番が分かれば当該フレームのタイプは容易に判定できる。
【００７８】
　なお、このように補間用Ｉフレームデータに差し替えるべきフレームの通番が予め予想できる場合は、その差し替え予想フレームに関してのみ補間用Ｉフレームデータを生成することにしてもよい（上記の説明では全フレームについて生成していた）。そうすれば、補間用Ｉフレームデータ生成のための処理負荷を軽くできる。これは、オンデマンド映像データの送信要求があまり発生しないシステムにおいて特に効果的である。
【００７９】
　また、「再開直後からのｎフレームは補間用Ｉフレームに無条件に（判定処理なしで）差し替える（ｎはＩ又はＰフレームの出現頻度）」という形で固定的に差し替えを行うことにしてもよい。そうした場合、差し替え要否判定の負荷がなくなる。図２に示すように、本実施の形態における放送映像データのフレーム構成が、「Ｉ又はＰタイプのフレームデータが３フレーム毎に出現し（Ｉ又はＰフレームの出現頻度＝３）、Ｐフレームは直前のＩ又はＰフレームを、Ｂフレームは前後のＩ又はＰフレームを参照フレームとする」という形になっている。つまり、再開直後の放送映像データがどの種類のフレームであれ、最大３フレーム（＝Ｉ又はＰフレームの出現頻度）を補間用Ｉフレームに差し替えれば、その後のフレームは全て問題なく復号できることになる。
【００８０】
　また、Ｉ又はＰフレームの出現頻度に関わらず、再開後最初のＰフレームデータまでは補間用Ｉフレームデータに差し替える、という方式にすれば、差し替え要否の判定はフレームのタイプをチェックするだけでよいので、判定処理の負荷を軽くできる。すなわち、再開直後のフレームがＰタイプであれば、このＰタイプフレームのみ補間用Ｉフレームに差し替え、再開直後がＢフレームならば、当該Ｂフレームを含めて、後続の最初のＰフレームまで補間用Ｉフレームに差し替える。
【００８１】
　（ユーザ端末１８）
　ユーザ端末１８は、配信サーバ１７から各種映像データを受信して復号、画面表示する。ユーザ端末１８は、ユーザから要求を受け付ける要求受付部１８１、この要求を配信サーバ１７に送る要求送信部１８２、要求に応じて配信サーバ１７から送られてくる映像データを受信する映像受信部１８３、映像データを復号するデコーダ１８４、復号結果の映像を画面表示する映像表示部１８５、を有する。
（映像データ送受信処理の流れ）
　次いで、本映像データ送受信システム１における映像データの送受信処理について、上述した主要構成部間での各種データのやり取りと各部の処理の流れとを以下に説明する。
【００８２】
　図６は、本実施の形態の映像データ送受信システム１において、あるユーザ端末１８が放送映像データの受信を中断してオンデマンド映像データを受信し、その後放送映像データの受信を再開する、という処理を行った場合の、当該ユーザ端末１８、配信サーバ１７、そして素材選択装置１５の処理の流れとデータのやり取りとを示すシーケンス図である。
【００８３】
　先ず、放送映像データ受信中のユーザ端末１８から、配信サーバ１７に対しオンデマンド映像データ送信要求が送られることで、処理が開始される（Ｓ６０１）。なお、図には示さないが、この時点で配信サーバ１７からは、他のユーザ端末にも放送映像データが送信されている。
【００８４】
　要求は更に配信サーバ１７から素材選択装置１５に送られる。
【００８５】
　配信サーバ１７経由で要求を受け付けた素材選択装置１５は、オンデマンド素材サーバ１６から要求対象のオンデマンド映像データを読み出して配信サーバ１７に送る。配信サーバ１７は、ユーザ端末１８への放送映像データの送信を中断してオンデマンド映像データを送信する（Ｓ６０２）。ただし、この間も、配信サーバ１７は、他のユーザ端末に対し放送映像データを送信し続けている。
【００８６】
　オンデマンド映像データの終端を検出すると（Ｓ６０３）、素材選択装置１５は、他ユーザ端末へ送信中の放送映像データのうち、オンデマンド映像データ送信完了直後にユーザ端末１８に送信されることになる数フレームについて属性と参照フレームとをチェックして補間用Ｉフレームデータ送信の要否を判定する（Ｓ６０４）。フレームのタイプがＰ又はＢで、しかも、当該フレームの参照フレームはオンデマンド映像データと重複してユーザ端末１８に受信されない、という場合、素材選択装置１５は、保持している補間用Ｉフレームの中から当該フレームに対応するものを選択して配信サーバ１７に送り、配信サーバ１７は、オンデマンド映像データの終端データに続けて当該補間用Ｉフレームデータをユーザ端末１８に送信する（Ｓ６０５）。
【００８７】
　ユーザ端末１８は、補間用Ｉフレームデータを復号、画面表示する（Ｓ６０６）。
【００８８】
　補間用Ｉフレームの送信後（あるいは、補間用Ｉフレームの送信が不要であった場合）、配信サーバ１７からのユーザ端末１８に対する放送型映像データの送信が再開され（Ｓ６０７）、ユーザ端末１８は、先に受信した補間用Ｉフレームデータの復号結果を参照フレームデータとして、再開後の放送映像データの復号を開始する（Ｓ６０８）。
（まとめ）
　以上の説明で明らかなように、本実施の形態における映像データ送受信システム１では、送信側装置からユーザ端末に放送映像データを送信中に、オンデマンド映像データの送信が割込み的に行われた場合、オンデマンド映像データの送信完了後に放送映像データの送信を再開するのに先立って、補間用Ｉフレームデータをユーザ端末に送信する。ユーザ端末は、先ず補間用Ｉフレームを復号、表示し、再開直後の放送映像データの数フレームについては補間用Ｉフレームを参照フレームとして復号し、画面表示する。
【００８９】
　これによって、ユーザ端末はオンデマンド映像データの終了直後から放送映像データを正しく復号、画面表示することができる。
【００９０】
　なお、本実施の形態では、素材選択装置１５と配信サーバ１７とを別装置として説明しているが、これら２つの装置を併せて単一の装置として本発明を実施することも可能である。
【００９１】
　また、本実施の形態は、図２に示すように、「Ｉ又はＰフレームの出現頻度が３であり、Ｐフレームは直前のＩ又はＰフレームを、Ｂフレームは前後のＩ又はＰフレームを参照フレームとする」という構造及び参照ルールを持った符号化データを例に説明しているが、本発明の適用できる符号化データの構造及び参照ルールはこれに限定されない。どのような構造及び参照ルールを持った符号化データであっても、放送映像データの各フレームについて参照フレームが特定できさえすれば、送信再開時の差し替えの要否判定は可能であり、本発明は効果を発揮する。
【００９２】
　また、本実施の形態におけるエンコーダ１４は、２系統の「ＤＣＴ〜量子化処理機構」を有して、一方は従来型の処理（フレーム内符号化とフレーム間符号化との混在）を行い、他方はフレーム内符号化のみを行うという特殊なエンコーダとなっているが、従来型のエンコーダを２つ用意して、一方には補間用Ｉフレームデータ生成を、他方には放送映像データの生成をそれぞれ行わせる、という形でシステムを構成してもよい。この構成であれば、エンコーダが２つ必要となって構成が大きくなるが、その代わり従来型のエンコーダだけを用いて本発明を実施することができる。
【００９３】
　また、本実施の形態におけるエンコーダは、第１系統、第２系統のＤＣＴ部及び量子化部に分かれ、第１系統が補間用Ｉフレームデータを生成し、第２系統が放送映像データを生成するという分担になっているが、データ生成はこうした形に限定されない。例えば、第１系統が生成するＩフレームデータの一部を放送映像データにも流用し、第２系統はＰ、Ｂフレームデータのみ生成するという形もありうる。すなわち、ＧＯＰの先頭のフレームについては、第１系統がフレーム内符号化する一方、第２系統は符号化処理をパスし、第１系統が出力するフレーム内符号化データは、当該フレーム用の補間用Ｉフレームデータとしてだけでなく、放送映像データの一部としても素材選択装置に出力され、さらには、逆量子化部へも出力されて、後続フレームの参照フレームデータとして利用される。その他のフレームについては、本実施の形態と同様にそれぞれの系統で符号化される。この場合、Ｉフレームデータに限って、第１系統から出力された符号化データを放送映像データとして出力する、という処理がＳＷにおいて新たに必要となる。この方式では、ＧＯＰの先頭フレームについて両系統がそれぞれフレーム内符号化するという処理の重複が解消されて負荷がそのぶん軽くなる。
【００９４】
　また、実施の形態に示したシステムでは、配信サーバからユーザ端末へのデータ送信については、単にインターネット経由で行うとしているが、データ送信の形態は様々なものが考えられる。
【００９５】
　図７は、その一例として、配信サーバ７１７からユーザ端末７１８（端末７１８ａ、７１８ｂ、７１８ｃ、７１８ｄの総称）への映像データ送信がルータを介して行われる、という映像データ送受信システムを示す図である。ここでのルータ７０１〜７０３はマルチキャストルータである。
【００９６】
　図７（ａ）は、配信サーバ７１７からユーザ端末７１８に放送映像データ（黒矢印で示す）が送信されている状況を示す。図７（ｂ）は、ユーザ端末のうち端末７１８ａがオンデマンド映像データの送信要求を出し、それに応じて配信サーバ７１７からルータ７０１、７０２経由でユーザ端末７１８ａにオンデマンド映像データが送信されている状況を示す。その後、オンデマンド映像データ送信が終了すると、図７（ｂ）でオンデマンド映像データが送信されたのと同じ経路を通って補間用Ｉフレームデータ（白矢印で示す）がユーザ端末７１８ａに送信された後、図７（ａ）に示すように、再び放送映像データが送信される。
【００９７】
　なお、このシステムにおいて、素材選択装置１５、配信サーバ１７などが補間用Ｉフレーム送信に関連して行う処理の内容は、実施の形態におけるシステム１の場合と同じである。
【００９８】
　また、本実施の形態は、放送映像データの送信途中にオンデマンド映像データを割込み的に送信する、という形の映像データ送受信システムであったが、本発明の対象となるシステムの構成や映像データの種類は、本実施の形態に示したものに限定されない。本発明の対象となるのは、フレーム間動き補償予測を用いて圧縮符号化されたメインの映像データが送信元装置から受信側装置に送信されるシステムであって、受信側装置においてメイン映像データの受信が中断される場合がある、というシステムである。ただし、単なる中断ではなく、受信側装置の復号部に残る参照フレームの内容が、送信再開時のメイン映像データのフレームに対応しなくなってしまう、という形での中断が対象となる。
【００９９】
　そうした中断のパターンとしては、実施の形態で述べたような「他のデータがメイン映像データの一部に差し替えられる形で送信される」というものの他に、「他のデータがメイン映像データの途中に挿入される形で送信される」というもの、あるいは「通信障害でメイン映像データの一部（特にＩフレームデータ）が受信されなかった場合」も考えられる。
【０１００】
　また、タイムテーブル通りに放送イメージで映像データを送信するシステムで中断が生じると、送信再開の際に、中断した箇所から再開するのではなく、中断時間分のフレームをスキップした箇所から送信を再開することになるが、この場合は、中断期間中に受信側装置が他データの復号を行わなくても、再開時点での参照フレームの内容とメイン映像データのフレームとが対応しなくなる。この場合、中断の原因になるのは、通信不良、映像データ以外のデータ（文字データや静止画像データ）の送受信などが考えられる。
【０１０１】
　また、本実施の形態におけるシステムは、ユーザ端末からの要求に応じてオンデマンド映像データが配信サーバから要求元ユーザ端末に送信され、それによって放送映像データが中断する、というものであったが、送信側が主体となって、放送映像データの途中に他の映像データを挿入する、という映像データ送受信システムもありうる。
【０１０２】
　図８に示すシステムは、送信側が主体となって、放送映像データの途中に他の映像データを挿入する、という映像データ送受信システム８である。配信サーバ８１７は、ユーザ端末１８への放送映像データ送信中、個々のユーザ端末に対し、適宜、他の映像データ（ここでは各ユーザの趣味嗜好にあわせたＣＭの映像データ）を送信する。そこで、システム８は、ユーザ毎に嗜好に合わせたＣＭ映像データを選択する配信用素材選択装置８０１を有する。配信用素材選択装置８０１は、選択の基準となるユーザ毎の趣味嗜好に関する情報（ユーザの年齢や性別、興味のある製品等）をアンケートなどの手段を用いてユーザ端末１８からインターネットＮ経由で取得する。
【０１０３】
　この配信用素材選択装置８０１は、例えば放送型で送信される有料放送映像データの提供業者とスポンサーとの間で結ばれた契約に基づいたＣＭの映像データを素材選択装置８１５に出力して、送信先のユーザ端末に送信するよう促す。これに対し、素材選択装置８１５は、当該ＣＭ送信先ユーザ端末に対するＣＭ映像データを配信サーバ８１７に出力し、ユーザ端末１８に送信させる。そして、ＣＭ映像データの終端が検知されると、素材選択装置８１５は、実施の形態１で示したのと同じ手順で、必要な補間用Ｉフレームデータをユーザ端末１８に送信させた上で放送映像データの送信を再開させる。
【０１０４】
　このように、送信側装置が主導して放送映像データの中断、再開を行うシステムにおいても、実施の形態のシステム１と同様の効果は得られる。なお、送信側装置が送信する映像データの種類はＣＭ映像データに限定されず、他の映像素材であってもよい。
（変形例）
　上記の実施の形態におけるシステム１は、オンデマンド映像データの割込みによって放送映像データの送信の中断／再開が生じた場合に、放送映像データを正しく復号できるようにするものであるが、以下に示す変形例は、複数の放送映像データの受信が可能なユーザ端末において、放送映像データの切替を行った場合、放送映像データにおける切替直後のフレームのタイプによっては、次のＧＯＰ開始まで切り替え後の放送映像データが正しく復号できない、という問題を解決するものである。
【０１０５】
　以下、その変形例のシステムに関して述べる。実施の形態におけるシステムと共通する構成が多いので、特に異なる部分について説明する。
【０１０６】
　図９に示すシステム９では、ユーザ端末への映像データ送信を行う配信サーバ９１７に対して、複数の放送映像データ提供装置９１ａ、９１ｂ（カメラ及び／又は素材サーバ、スイッチャ、エンコーダ、素材選択装置の集合）から放送映像データが提供される。２つの提供装置のそれぞれから、配信サーバ９１７に対して予め定められたタイムテーブルに従って別々の放送映像データが提供される。配信サーバ９１７はユーザ端末からの要求に応じていずれかの放送映像データを送信する。これは、複数の放送映像データ提供装置がそれぞれ１つのチャンネルに相当し、ユーザはチャンネルを切り替えるように放送映像データを切り替えることができる、ということである。そして、チャンネル（放送映像データ）の切り替え時、切り替え後の放送映像データの送信開始に先立って、補間用Ｉフレームデータがユーザ端末に送信される。これによって、切り替え時にも、切り替え後放送映像データは直ちにユーザ端末によって正しく再生・表示される。
【０１０７】
　（構成）
　システム９において、放送映像データ切替時の補間用Ｉフレームデータ送信に関する処理を行うのは、配信サーバ９１７、そして、第１及び第２映像データ提供装置９１ａ、９１ｂにおける素材選択装置９１５ａ、９１５ｂである。以下、これらの構成部の処理について説明する。システム１と共通する処理については説明を省略する。
【０１０８】
　配信サーバ９１７は、第１及び第２映像データ提供装置９１ａ、９１ｂのそれぞれから放送映像データを受信し、それぞれを希望するユーザ端末に送信している。そして、第１映像データ提供装置９１ａが提供する映像データを受信していたユーザ端末９１８から放送映像データ切替要求を受信すると、これを切り替え後の放送映像データを提供する第２映像データ提供装置９１ｂ側の素材選択装置９１５ｂに通知する。そして、素材選択装置９１５ｂから補間用Ｉフレームデータが出力されてきた場合は、当該ユーザ端末９１８への第１映像データの送信を停止した上で補間用Ｉフレームデータを送信し、その後、第２放送映像データの送信を開始する。一方、素材選択装置９１５ｂから「補間用Ｉフレームデータ不要」の通知が送られてきた場合は、そのまま当該ユーザ端末９１８への第１映像データの送信を停止し、第２放送映像データの送信を開始する。
【０１０９】
　素材選択装置９１５ｂは、切替要求のあった旨の通知を受けると、この時点で切替を行った場合に、切替直後にユーザ端末９１８に受信されることになるフレームを特定する。このフレームを検出してから後の処理は、映像データ送受信システム１における処理と同じである。すなわち、検出したフレーム、そして、必要な場合はそれに続く数フレームについて、補間用Ｉフレームデータとの差し替えが必要か否か判定し、必要ならＩフレームバッファから補間用Ｉフレームデータを読み出してフレーム通番と共に配信サーバ９１７に出力する。そして、補間用Ｉフレームとの差し替えが不要なフレームを検出した場合は「補間用Ｉフレーム不要」の通知を配信サーバ９１７に送る。この場合、差し替え不要と判定されたフレームの通番も配信サーバ９１７に送って、第２放送映像データのうち当該通番に対応するフレームのデータからユーザ端末への第２放送映像データの送信を開始するように促すこととする。また、配信サーバ９１７は、素材選択装置９１５ａ、９１５ｂと同じ方式でフレームの通番を把握することとする。
【０１１０】
　（処理の流れ）
　以下、本映像データ送受信システム４における放送映像データの送信切替処理の流れについて、主要構成部間の制御の変遷及びデータの流れを示すシーケンス図を用いて説明する。
【０１１１】
　図１０は、放送映像データの送信切替処理における２つの放送映像データ提供装置９１ａ、９１ｂ、配信サーバ９１７、そしてユーザ端末９１８の間の制御遷移及びデータの流れを示すシーケンス図である。ここに示すのは、送受信対象の映像データが、第１の放送映像データから第２の放送映像データへ切り替えられた場合のシーケンスである。
【０１１２】
　先ず、ユーザ端末９１８が、供給元である第１提供装置９１５ａから配信サーバ９１７経由で第１の放送映像データが送信されている状態（Ｓ１００１）で、ユーザの指示を受けたユーザ端末９１８が、第２放送映像データへの切替要求を配信サーバ９１７に対して送信する（Ｓ１００２）。
【０１１３】
　これに対し、配信サーバ９１７は、第２放送映像データの供給元である第２放送映像データ提供装置９１ｂに対し切り替え要求の発生を通知する。これに対し、第２放送映像データ提供装置９１ｂは、切り替えた直後にユーザ端末９１８が受信することになるフレームに関して補間用Ｉフレームデータとの差し替え要否を判定し（Ｓ１００３）、必要と判定した場合は補間用Ｉフレームデータを配信サーバ９１７に送信する（Ｓ１００４）。配信サーバ９１７はユーザ端末９１８への第１放送映像データの送信を停止して、受け取った補間用Ｉフレームデータを送信する。ユーザ端末９１８は、補間用Ｉフレームデータを受信して、復号、画面表示する（Ｓ１００５）。その後、配信サーバ９１７は、補間用Ｉフレームへの差し替えが不要な部分から、第２放送映像データをユーザ端末９１８へ送信し、ユーザ端末９１８はステップＳ１００５で復号した補間用Ｉフレームデータを参照フレームとして、第２放送映像データの復号を開始する（Ｓ１００６）。
【０１１４】
　以上のように、本システム９では、配信サーバ９１７に複数の映像データ提供装置９１ａ、９１ｂが接続されてそれぞれから異なる放送映像データが提供される。そして、ユーザ端末９１８から映像データ切替要求があった場合、切り替え後の映像データにおける切替直後のフレームについて、補間用Ｉフレームがユーザ端末９１８に提供される。これにより、ユーザ端末で受信する放送映像データを切り替えた場合も、切り替え後の放送映像データを中断なしに復号、画面表示することができる。
【０１１５】
　なお、図９に示す本変形例においては、オンデマンド映像データ送受信のための構成が含まれていないが、図１に示した実施の形態におけるシステムと本変形例とを組み合わせて、オンデマンド映像データの送受信後、放送映像データの切替時のいずれにおいても補間用Ｉフレームデータの送受信を行うようなシステムを実現することも可能である。
（変形例２）
　また、サービスの形態として、あるオンデマンドデータ（第１オンデマンドデータ）の送信途中に別のオンデマンドデータ（第２オンデマンドデータ）を割り込み的に送信し、その後、第１オンデマンドデータの送信を再開する、というものも考えられる。その場合、第２オンデマンドデータから第１オンデマンドデータへの切り替え直後に、上記実施の形態と同じ問題が生じうる。そこで、本変形例は、こうした形の切り替えに対応するシステムを示す。
【０１１６】
　図１１は、本変形例における映像データ送受信システムのうち、素材選択装置１５Ａを示す。本変形例において特徴と成る構成部は素材選択装置１５Ａ内のオンデマンドデータ読出部１５５Ａである。オンデマンドデータ読出部１５５Ａは、あるユーザ端末に対して出力するオンデマンドデータの切り替えを行うと共に、切り替え後の第２オンデマンドデータから切り替え前の第１オンデマンドデータへの再切り替えの際には、第１オンデマンドデータの送信に先立って、補間用Ｉフレームを出力する。
【０１１７】
　補間用Ｉフレームデータについては、オンデマンドデータの全てについて補間用Ｉフレームデータを予め生成してオンデマンド素材サーバ１６に保持しておくことも考えられるが、データ量が大きくなり現実的でない。そこで、第１オンデマンドデータの出力再開前に、そのうちの再開直後の数フレームから補間用Ｉフレームデータを生成し、これを出力する。
【０１１８】
　オンデマンドデータ読出部１５５Ａは、そのための構成として、切り替え部１５５１、補助デコーダ１５５２、補助エンコーダ１５５３を有する。また、オンデマンドデータ読出部１５５Ａは、実施の形態におけるオンデマンドデータ読出部１５５と同じ処理も行うが、その説明は省略する。
【０１１９】
　切替部１５５１は、切り替え時点の第１オンデマンドデータのフレーム通番と第２オンデマンドデータの総フレーム数とから、送信再開直後に送信される第１オンデマンドデータのフレームについて、通番やフレームタイプを判定する。そして先ず、フレームタイプをもとに補間用Ｉフレームデータ生成の要否を判定する（Ｉフレームなら不要、それ以外なら必要）。必要であれば、さらに、補間用Ｉフレームに差し替えるべきフレームの数を求め、補助デコーダ１５５２に第１オンデマンドデータの識別情報、送信再開直後のフレームの通番、上記フレーム数の情報を送り、デコード処理実行を指示する。補間用Ｉフレームの要否判定および差し替えの必要なフレームの判定については、実施の形態において素材判定部１５２が行ったのと同じ手順で行えばよい。
【０１２０】
　そして、切替部１５５１は、上記指示に応じて補助デコーダ１５５２、補助エンコーダ１５５３が処理を行った結果として得られる補間用Ｉフレームデータを、送信再開直後の第１オンデマンドデータのフレームに差し替えて出力する。
【０１２１】
　補助デコーダ１５５２は、切り替え部１５５１から指示を受けると、上記フレーム通番情報をもとに、第１オンデマンドデータのうち、デコードの対象とすべきＧＯＰ（送信再開直後のフレームを含むＧＯＰ）を判定し、当該ＧＯＰだけをオンデマンド素材サーバ１６から読み出す（このとき、上記識別情報を参照）。判定の方法としては、例えば、上記通番の値を１ＧＯＰ当たりのフレーム数で割り、小数切り上げで商を求める。その商をｎとすれば、第１オンデマンドデータの先頭からｎ番目のＧＯＰが求めるものとなる。
【０１２２】
　ついで、補助デコーダ１５５２は、読み出したＧＯＰを先頭から送信再開後の数フレーム目（補間用Ｉフレームに差し替えられるフレーム）まで復号すると、差し替え対象フレームの復号結果データを、それぞれの通番を付加した上で、補助エンコーダ１５５３に出力し、これらフレームから補間用Ｉフレームデータを生成するよう指示する。
【０１２３】
　補助エンコーダ１５５３は、補助デコーダ１５５２から受け取った３フレームを全てフレーム内符号化処理して、その結果をそれぞれのフレーム通番と共に切り替え部１５５１に出力する。
（その他）
　なお、上記の実施の形態及びその変形例では、映像データをエンコーダで符号化してＩＳＰ（Internet Service Provider）等の配信サーバ経由で配信する際の通信経路としてインターネットを挙げているが、本発明が適用できる送受信経路はこれに限定されるわけではなく、それ以外の通信手段として放送電波やＣＡＴＶを用いてもよい。例えば、主要な放送番組データは放送電波で送受信され、オプション的なオンデマンドデータはインターネットなどの通信回線を介して送受信される、という形も考えられる。
【０１２４】
　また、上記の実施の形態およびその変形例では、本発明は映像データ送受信システムとなっているが、本発明は、コンピュータでプログラムを実行する形でも実現可能であり、その場合、プログラムは記録媒体に記録されていること、としてもよい。
【０１２５】
　また、上記の実施の形態およびその変形例では、映像データの圧縮符号化の規格をＭＰＥＧ−４として説明したが、本発明は、フレーム間符号化と動き補償フレーム間予測とを用いて符号化されるデータ全般に関して効果を発揮するものである。例えば、ＭＰＥＧ−2など他の圧縮符号化方式で圧縮された映像データについても本発明の対象となる。
【０１２６】
　また、上記の実施の形態およびその変形例では、オンデマンド映像データが必ず終端まで送信されるものとして説明したが、オンデマンド映像データの送信がユーザからの要求により、途中で打ち切られる場合もありうる。本発明は、こうした途中での打ち切りの場合にも対応可能である。具体的には、上記実施の形態において、「オンデマンド映像データの終端が検出された場合」に実行されていた処理を、「オンデマンド映像データの途中打ち切り要求が受信装置側から発行された場合」にも行うようにすればよい。
【産業上の利用可能性】
【０１２７】
　本発明にかかる映像データ送受信システム、映像データ送信装置及びその方法は、動き補償フレーム間予測を用いて圧縮符号化された映像データを、中断等の原因により、ＧＯＰの途中から再生する場合でも、映像データを正しく復号、画面表示できるという効果を有し、上記のような映像データを送信側装置が送信し、受信側装置が復号して画面表示する、という映像送受信システム等として有用である。
【図面の簡単な説明】
【０１２８】
【図１】本発明に関わる映像データ送受信システムの実施の形態を示す構成図である。
【図２】同実施の形態における各種映像データの受信状態を示す模式図である。
【図３】同実施の形態におけるエンコーダの構成を示すブロック図である。
【図４】同実施の形態における素材選択装置、配信サーバ、ユーザ端末の詳細な構成を示すブロック図である。
【図５】同実施の形態における差し替え要否判定処理の流れを示すフローチャートである。
【図６】同実施の形態における映像データ送受信処理の流れを示すシーケンス図である。
【図７】本実施の形態に関して送受信にルータを用いた場合の構成を示す図である。
【図８】本実施の形態に関してオンデマンド映像データの送受信を送信側が主体となって行う場合の構成を示す図である。
【図９】同実施の形態に関する変形例の構成を示すブロック図である。
【図１０】同変形例における映像データ送受信処理の流れを示すシーケンス図である
【図１１】同実施の形態に関する別の変形例における映像データ送受信システムのうち、素材選択装置の構成を示すブロック図である。
【図１２】従来技術における各種映像データの受信状態を示す模式図である。
【符号の説明】
【０１２９】
１，８，９　映像データ送受信システム
１４１　第１ＤＣＴ部
１４２　第１量子化部
１４３　第２ＤＣＴ部
１４４　第２量子化部
１５，１５Ａ　素材選択装置
１５２　素材判定部
１５３　補間用Ｉフレームバッファ
１５４　フレーム判定部
１５５，１５５Ａ　オンデマンドデータ読出部
１６　オンデマンド素材サーバ
１７　配信サーバ
１８　ユーザ端末
【図１】
2004056819.tif 000003
【図２】
2004056819.tif 000004
【図３】
2004056819.tif 000005
【図４】
2004056819.tif 000006
【図５】
2004056819.tif 000007
【図６】
2004056819.tif 000008
【図７】
2004056819.tif 000009
【図８】
2004056819.tif 000010
【図９】
2004056819.tif 000011
【図１０】
2004056819.tif 000012
【図１１】
2004056819.tif 000013
【図１２】
2004056819.tif 000014