(57)【要約】【課題】サイズが大きい符号化画像データを複数の部分データに分割して送信する際、受信された一部の部分データから直ちに動画像データを再生可能とする。【解決手段】フレームタイプ識別部１０４により識別された符号化画像データの各符号化フレームのフレームタイプに基づいて、分割処理部１０５にて、フレーム内符号化のみのＩピクチャを小容量部分データ１０１ａに、フレーム間符号化のＰ，Ｂピクチャを大容量部分データ１０１ｂに分割し、小容量部分データ１０１ａに課金処理部１０２や暗号化処理部１０３にて課金処理や暗号化処理を施して送信する。また、フレームタイプ変換部１０７により、内部変化検出部１０６にてデータ内容の変化を検出したＰ，ＢピクチャはＩピクチャに、データ内容の変化がないＩピクチャはＰ又はＢピクチャに変換する。データ内容の変化は、各符号化フレームのコード量、フレーム内符号化マクロブロック数などにより判定する。【選択図】        図６
2004274216.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを符号化して送信を行なう動画像符号化送信装置に備えられて、符号化された符号化画像データを分割する動画像データ分割装置において、前記符号化画像データを複数の部分データに分割するデータ分割手段と、分割した複数の前記部分データのうち、少なくとも１つの前記部分データに対して課金処理を行なうための課金処理手段とを備えることを特徴とする動画像データ分割装置。
【請求項２】
動画像データを符号化して送信を行なう動画像符号化送信装置に備えられて、符号化された符号化画像データを分割する動画像データ分割装置において、前記符号化画像データを複数の部分データに分割するデータ分割手段と、分割した複数の前記部分データのうち、少なくとも１つの前記部分データに対して暗号化処理を行なうための暗号化処理手段とを備えることを特徴とする動画像データ分割装置。
【請求項３】
請求項１又は２に記載の動画像データ分割装置において、前記符号化画像データに含まれる符号化フレームのフレームタイプを検出するフレームタイプ識別手段を備え、前記データ分割手段が、前記フレームタイプ識別手段により検出されたフレームタイプに基づいて、前記符号化画像データを複数の前記部分データに分割することを特徴とする動画像データ分割装置。
【請求項４】
請求項３に記載の動画像データ分割装置において、前記データ分割手段が、前記フレームタイプ識別手段により検出された各前記符号化フレームのフレームタイプに基づいて、フレーム内符号化のみが用いられた符号化フレームを第１の部分データとし、フレーム間符号化が用いられた符号化フレームを第２の部分データとして分割することを特徴とする動画像データ分割装置。
【請求項５】
請求項３に記載の動画像データ分割装置において、前記データ分割手段が、前記フレームタイプ識別手段により検出された各前記符号化フレームのフレームタイプに基づいて、フレーム内符号化のみが用いられた符号化フレームと該符号化フレームに続く予め定められた所定フレーム数分のフレーム間符号化が用いられた符号化フレームとを同一のグループに属する第１の部分データとし、残りのフレーム間符号化が用いられた符号化フレームを第２の部分データとして分割することを特徴とする動画像データ分割装置。
【請求項６】
請求項４又は５に記載の動画像データ分割装置において、少なくとも前記第１の部分データに対して、前記課金処理手段により課金処理を行なう、及び／又は、前記暗号化処理手段により暗号化処理を行なうことを特徴とする動画像データ分割装置。
【請求項７】
請求項１又は２に記載の動画像データ分割装置において、前記符号化画像データに含まれる符号化フレームのフレームタイプを検出するフレームタイプ識別手段と、前記フレームタイプ識別手段により検出された各前記符号化フレームのフレームタイプに応じて当該符号化フレームのデータ内容の変化の有無を検出する内容変化検出手段と、前記内容変化検出手段により検出された検出結果に基づいて当該符号化フレームのフレームタイプを変換するフレームタイプ変換手段とを備え、前記データ分割手段が、前記フレームタイプ識別手段により検出されたフレームタイプ及び／又は前記フレームタイプ変換手段により変換されたフレームタイプに基づいて、前記符号化画像データを複数の部分データに分割することを特徴とする動画像データ分割装置。
【請求項８】
請求項７に記載の動画像データ分割装置において、前記内容変化検出手段が、各前記符号化フレームのフレーム内符号化されたマクロブロックの個数が予め定められた所定個数以上か否かに基づいて、当該符号化フレームのデータ内容の変化の有無を検出することを特徴とする動画像データ分割装置。
【請求項９】
請求項７に記載の動画像データ分割装置において、前記内容変化検出手段が、各前記符号化フレームのコード量が予め定められた所定コード量以上か否かに基づいて、当該符号化フレームのデータ内容の変化の有無を検出することを特徴とする動画像データ分割装置。
【請求項１０】
請求項７に記載の動画像データ分割装置において、前記内容変化検出手段が、オブジェクト符号化された各前記符号化フレームのオブジェクトの個数又は種類の変化の有無に基づいて、当該符号化フレームのデータ内容の変化の有無を検出することを特徴とする動画像データ分割装置。
【請求項１１】
請求項７に記載の動画像データ分割装置において、前記内容変化検出手段が、各前記符号化フレームを示すビデオ符号化データそれぞれに対して同期しているオーディオ符号化データの音声が無音から有音に変化しているか否かを検出することにより、当該符号化フレームのデータ内容の変化の有無を検出することを特徴とする動画像データ分割装置。
【請求項１２】
請求項７に記載の動画像データ分割装置において、前記内容変化検出手段が、各前記符号化フレームの中の字幕データの変化の有無に基づいて、当該符号化フレームのデータ内容の変化の有無を検出することを特徴とする動画像データ分割装置。
【請求項１３】
請求項７乃至１２のいずれかに記載の動画像データ分割装置において、前記フレームタイプ変換手段が、前記内容変化検出手段によりフレーム間符号化が用いられた符号化フレームにデータ内容の変化が検出された場合、当該符号化フレームのフレームタイプを、フレーム内符号化が用いられる符号化フレームに変換することを特徴とする動画像データ分割装置。
【請求項１４】
請求項７乃至１２のいずれかに記載の動画像データ分割装置において、前記フレームタイプ変換手段が、前記内容変化検出手段によりフレーム内符号化が用いられた符号化フレームにデータ内容の変化が検出されなかった場合、当該符号化フレームのフレームタイプを、フレーム間符号化が用いられる符号化フレームに変換することを特徴とする動画像データ分割装置。
【請求項１５】
請求項７乃至１４のいずれかに記載の動画像データ分割装置において、前記フレームタイプ変換手段が、前記内容変化検出手段により検出された検出結果に基づいて前記符号化フレームのフレームタイプを変換した場合、動画像データを符号化した際の符号化ビットレートが予め定められた所定符号化ビットレートよりも遅い場合には、フレームタイプを変換した当該符号化フレームと後続するフレーム内符号化が用いられた符号化フレームとの間に存在しているフレーム間符号化が用いられた前記符号化フレームを再符号化することを特徴とする動画像データ分割装置。
【請求項１６】
請求項７乃至１５のいずれかに記載の動画像データ分割装置において、前記データ分割手段が、前記フレームタイプ識別手段により検出されたフレームタイプ及び／又は前記フレームタイプ変換手段により変換されたフレームタイプに基づいて、フレーム内符号化のみが用いられた符号化フレームを第１の部分データとし、フレーム間符号化が用いられた符号化フレームを第２の部分データとして分割することを特徴とする動画像データ分割装置。
【請求項１７】
請求項７乃至１５のいずれかに記載の動画像データ分割装置において、前記データ分割手段が、前記フレームタイプ識別手段により検出されたフレームタイプ及び／又は前記フレームタイプ変換手段により変換されたフレームタイプに基づいて、フレーム内符号化のみが用いられた符号化フレームと該符号化フレームに続く予め定められたフレーム数分のフレーム間符号化が用いられた符号化フレームとを同一のグループに属する第１の部分データとし、残りのフレーム間符号化が用いられた符号化フレームを第２の部分データとして分割することを特徴とする動画像データ分割装置。
【請求項１８】
請求項１６又は１７に記載の動画像データ分割装置において、少なくとも前記第１の部分データに対して、前記第１の部分データに対して、前記課金処理手段により課金処理を行なう、及び／又は、前記暗号化処理手段により暗号化処理を行なうことを特徴とする動画像データ分割装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像データ分割装置に関し、特に、通信回線や記録メディアを伝送媒体として、符号化された符号化画像データを複数の部分データに分割してそれぞれ適合する伝送媒体を介して別々に送信を行なう際に用いる動画像データ分割装置に関する。
【０００２】
【従来の技術】
近年、様々な動画像圧縮技術の進歩により、動画像を介してコミュニケーションを行なうテレビ電話やテレビ会議などの映像通信サービスや、ＰＣや携帯端末などに動符号化画像データを配信するコンテンツ配信サービスなどが提供されている。動画像圧縮技術としては、国際標準化機関により、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などの符号化方式が規格化されている。一般に、動画像を送信する場合、これらのいずれかの符号化方式を用いて動画像データを符号化圧縮し、符号化画像データとして受信端末側に送信する。
【０００３】
例えば、非特許文献１に示すＭＰＥＧ−４規格に準拠する従来の符号化方式においては、動画像データの各フレームは１６×１６画素で構成されるマクロブロック単位で符号化され、符号化対象のフレーム内の情報だけを用いて符号化するフレーム内符号化と、符号化対象のフレームと時間的に隣接する別のフレームの情報から符号化対象のフレームの情報を予測符号化するフレーム間符号化とを組み合わせて符合化が行なわれる。また、フレーム内符号化されたマクロブロックのみで構成される符号化フレームのフレームタイプをＩピクチャと、フレーム内符号化されたマクロブロックと過去の符号化フレームの情報からフレーム間符号化されたマクロブロックとで構成される符号化フレームのフレームタイプをＰピクチャと、フレーム内符号化されたマクロブロックと過去の符号化フレームの情報と未来の符号化フレームの情報との片方または両方からフレーム間符号化されたマクロブロックで構成される符号化画像フレームのフレームタイプをＢピクチャと称している。
【０００４】
図１８に、従来の動画像符号化装置の全体のブロック構成例を示す。
まず、図１８に示す動画像符号化装置２００におけるフレーム内符号化の動作を説明する。フレーム内符号化の場合、スイッチ２０３とスイッチ２０４とが共に上側にセットされて符号化が開始される。動画像符号化装置２００に入力された入力画像フレーム２００ａは、スイッチ２０３を通った後に画像符号化部２０５に入力される。画像符号化部２０５は、入力画像フレーム２００ａに対して離散コサイン変換（ＤＣＴ）を施した後に量子化を行なう。量子化されたＤＣＴ係数及び量子化幅は可変長符号化部２０９で可変長符号化され、符号化画像データ２００ｂとして出力される。同時に、量子化されたＤＣＴ係数及び量子化幅は画像復号化部２０７でローカルに復号され、加算部２０８に出力される。フレーム内符号化の場合、スイッチ２０４は上側にセットされているので、加算部２０８は加算処理を行なわずに、ローカルに復号された画像情報がそのままフレームメモリ部２０６に出力され、フレーム間符号化の際に用いられる参照画像フレームとして記憶される。
【０００５】
次に、フレーム間符号化の動作について説明する。フレーム間符号化の場合、スイッチ２０３とスイッチ２０４とが下側にセットされて符号化が開始される。ここで、フレーム間符号化が行なわれている場合の定常状態として、フレームメモリ部２０６には予測画像フレームを作成する際に使用される参照画像フレームが記憶されているものとする。入力画像フレーム２００ａが、動画像符号化装置２００の減算部２０１及び動き補償フレーム間予測部２０２に入力される。動き補償フレーム間予測部２０２は、入力画像フレーム２００ａとフレームメモリ部２０６に記憶されている参照画像フレームとから動き予測を行ない、予測画像フレームとして減算部２０１に出力する。また、動き予測を行なった際に計算される動きベクトルを可変長符号化部２０９に出力する。減算部２０１は、入力画像フレームから動き補償フレーム間予測部２０２より入力される予測画像フレームを減算し、減算した結果の予測誤差情報をスイッチ２０３を介して画像符号化部２０５に出力する。
【０００６】
画像符号化部２０５は、入力された予測誤差情報に対して離散コサイン変換（ＤＣＴ）を施した後に量子化を行なう。画像符号化部２０５から出力された量子化されたＤＣＴ係数及び量子化幅と、動き補償フレーム間予測部２０２から出力された動きベクトルとは、可変長符号化部２０９で可変長符号化され、符号化画像データ２００ｂとして出力される。同時に、量子化されたＤＣＴ係数及び量子化幅は画像復号化部２０７でローカルに復号され、加算部２０８に出力される。加算部２０８では、動き補償フレーム間予測部２０２から出力された予測画像フレームと画像復号化部２０７から出力された予測誤差情報とを加算し、新たな参照画像フレームを生成し、フレームメモリ部２０６に出力する。
【０００７】
図１９は、図１８に示す動画像符号化装置２００を用いた動画像データの符号化例を示す模式図である。入力画像フレーム２００ａが動画像符号化装置２００に入力されると、動画像符号化装置２００はフレームごとに符号化を行ない、前述したＩピクチャ、Ｐピクチャ、Ｂピクチャからなる符号化画像データ２００ｂに符号化して出力する。ここで、動画像符号化装置２００が入力画像フレーム２００ａをＩピクチャ、Ｐピクチャ、Ｂピクチャにそれぞれ符号化する周期は、符号化を行なう際のパラメータとして動画像符号化装置２００に予め与えられて設定されている。
このように、動画像符号化装置２００により符号化された符号化画像データ２００ｂは、送信端末から伝送回線を介して受信端末側に送信される。
【０００８】
【非特許文献１】
ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  Ｎ３４４４；
「Ｏｖｅｒｖｉｅｗ  ｏｆ  ｔｈｅ    ＭＰＥＧ−４    Ｓｔａｎｄａｒｄ」（Ｍａｙ／Ｊｕｎｅ  ２０００）
【０００９】
【発明が解決しようとする課題】
しかしながら、データサイズが大きい動画像データ即ち符号化画像データを送信する場合、伝送回線の伝送速度が遅いと、符号化画像データの送信に長時間を要するという問題がある。
また、符号化画像データをいくつかの部分データに分割し、複数の伝送回線を介して送信する方法もあるが、分割された全ての部分データが受信側で揃わない限り、符号化画像データから動画像データを再生することができないという問題もある。
【００１０】
本発明に係る動画像データ分割装置の目的は、データサイズが大きい符号化画像データを複数の部分データに分割して送信する場合に、分割された全ての部分データが受信側で揃わなくても、受信された一部の部分データから動画像データを再生することができ、受信された一部の部分データだけでも、動画像データの内容が識別できるようなデータ分割方法を備えた動画像データ分割装置を提供することにある。
【００１１】
【課題を解決するための手段】
前述したような課題を解決するために、本発明に係る動画像データ分割装置は、以下に示す各技術手段のいずれかから構成されるものである。
第１の技術手段は、動画像データを符号化して送信を行なう動画像符号化送信装置に備えられて、符号化された符号化画像データを分割する動画像データ分割装置において、前記符号化画像データを複数の部分データに分割するデータ分割手段と、分割した複数の前記部分データのうち、少なくとも１つの前記部分データに対して課金処理を行なうための課金処理手段とを備えることを特徴とする動画像データ分割装置とすることを特徴とするものである。
【００１２】
第２の技術手段は、動画像データを符号化して送信を行なう動画像符号化送信装置に備えられて、符号化された符号化画像データを分割する動画像データ分割装置において、前記符号化画像データを複数の部分データに分割するデータ分割手段と、分割した複数の前記部分データのうち、少なくとも１つの前記部分データに対して暗号化処理を行なうための暗号化処理手段とを備える動画像データ分割装置とすることを特徴とするものである。
【００１３】
第３の技術手段は、前記第１又は第２の技術手段に記載の動画像データ分割装置において、前記符号化画像データに含まれる符号化フレームのフレームタイプを検出するフレームタイプ識別手段を備え、前記データ分割手段が、前記フレームタイプ識別手段により検出されたフレームタイプに基づいて、前記符号化画像データを複数の前記部分データに分割する動画像データ分割装置とすることを特徴とするものである。
【００１４】
第４の技術手段は、前記第３の技術手段に記載の動画像データ分割装置において、前記データ分割手段が、前記フレームタイプ識別手段により検出された各前記符号化フレームのフレームタイプに基づいて、フレーム内符号化のみが用いられた符号化フレームを第１の部分データとし、フレーム間符号化が用いられた符号化フレームを第２の部分データとして分割する動画像データ分割装置とすることを特徴とするものである。
【００１５】
第５の技術手段は、前記第３の技術手段に記載の動画像データ分割装置において、前記データ分割手段が、前記フレームタイプ識別手段により検出された各前記符号化フレームのフレームタイプに基づいて、フレーム内符号化のみが用いられた符号化フレームと該符号化フレームに続く予め定められた所定フレーム数分のフレーム間符号化が用いられた符号化フレームとを同一のグループに属する第１の部分データとし、残りのフレーム間符号化が用いられた符号化フレームを第２の部分データとして分割する動画像データ分割装置とすることを特徴とするものである。
【００１６】
第６の技術手段は、前記第４又は第５の技術手段に記載の動画像データ分割装置において、少なくとも前記第１の部分データに対して、前記課金処理手段により課金処理を行なう、及び／又は、前記暗号化処理手段により暗号化処理を行なう動画像データ分割装置とすることを特徴とするものである。
【００１７】
第７の技術手段は、前記第１又は第２の技術手段に記載の動画像データ分割装置において、前記符号化画像データに含まれる符号化フレームのフレームタイプを検出するフレームタイプ識別手段と、前記フレームタイプ識別手段により検出された各前記符号化フレームのフレームタイプに応じて当該符号化フレームのデータ内容の変化の有無を検出する内容変化検出手段と、前記内容変化検出手段により検出された検出結果に基づいて当該符号化フレームのフレームタイプを変換するフレームタイプ変換手段とを備え、前記データ分割手段が、前記フレームタイプ識別手段により検出されたフレームタイプ及び／又は前記フレームタイプ変換手段により変換されたフレームタイプに基づいて、前記符号化画像データを複数の部分データに分割する動画像データ分割装置とすることを特徴とするものである。
【００１８】
第８の技術手段は、前記第７の技術手段に記載の動画像データ分割装置において、前記内容変化検出手段が、各前記符号化フレームのフレーム内符号化されたマクロブロックの個数が予め定められた所定個数以上か否かに基づいて、当該符号化フレームのデータ内容の変化の有無を検出する動画像データ分割装置とすることを特徴とするものである。
【００１９】
第９の技術手段は、前記第７の技術手段に記載の動画像データ分割装置において、前記内容変化検出手段が、各前記符号化フレームのコード量が予め定められた所定コード量以上か否かに基づいて、当該符号化フレームのデータ内容の変化の有無を検出する動画像データ分割装置とすることを特徴とするものである。
【００２０】
第１０の技術手段は、前記第７の技術手段に記載の動画像データ分割装置において、前記内容変化検出手段が、オブジェクト符号化された各前記符号化フレームのオブジェクトの個数又は種類の変化の有無に基づいて、当該符号化フレームのデータ内容の変化の有無を検出する動画像データ分割装置とすることを特徴とするものである。
【００２１】
第１１の技術手段は、前記第７の技術手段に記載の動画像データ分割装置において、前記内容変化検出手段が、各前記符号化フレームを示すビデオ符号化データそれぞれに対して同期しているオーディオ符号化データの音声が無音から有音に変化しているか否かを検出することにより、当該符号化フレームのデータ内容の変化の有無を検出する動画像データ分割装置とすることを特徴とするものである。
【００２２】
第１２の技術手段は、前記第７の技術手段に記載の動画像データ分割装置において、前記内容変化検出手段が、各前記符号化フレームの中の字幕データの変化の有無に基づいて、当該符号化フレームのデータ内容の変化の有無を検出する動画像データ分割装置とすることを特徴とするものである。
【００２３】
第１３の技術手段は、前記第７乃至１２の技術手段のいずれかに記載の動画像データ分割装置において、前記フレームタイプ変換手段が、前記内容変化検出手段によりフレーム間符号化が用いられた符号化フレームにデータ内容の変化が検出された場合、当該符号化フレームのフレームタイプを、フレーム内符号化が用いられる符号化フレームに変換する動画像データ分割装置とすることを特徴とするものである。
【００２４】
第１４の技術手段は、前記第７乃至１２の技術手段のいずれかに記載の動画像データ分割装置において、前記フレームタイプ変換手段が、前記内容変化検出手段によりフレーム内符号化が用いられた符号化フレームにデータ内容の変化が検出されなかった場合、当該符号化フレームのフレームタイプを、フレーム間符号化が用いられる符号化フレームに変換する動画像データ分割装置とすることを特徴とするものである。
【００２５】
第１５の技術手段は、前記第７乃至１４の技術手段のいずれかに記載の動画像データ分割装置において、前記フレームタイプ変換手段が、前記内容変化検出手段により検出された検出結果に基づいて前記符号化フレームのフレームタイプを変換した場合、動画像データを符号化した際の符号化ビットレートが予め定められた所定符号化ビットレートよりも遅い場合には、フレームタイプを変換した当該符号化フレームと後続するフレーム内符号化が用いられた符号化フレームとの間に存在しているフレーム間符号化が用いられた前記符号化フレームを再符号化する動画像データ分割装置とすることを特徴とするものである。
【００２６】
第１６の技術手段は、前記第７乃至１５の技術手段のいずれかに記載の動画像データ分割装置において、前記データ分割手段が、前記フレームタイプ識別手段により検出されたフレームタイプ及び／又は前記フレームタイプ変換手段により変換されたフレームタイプに基づいて、フレーム内符号化のみが用いられた符号化フレームを第１の部分データとし、フレーム間符号化が用いられた符号化フレームを第２の部分データとして分割する動画像データ分割装置とすることを特徴とするものである。
【００２７】
第１７の技術手段は、前記第７乃至１５の技術手段のいずれかに記載の動画像データ分割装置において、前記データ分割手段が、前記フレームタイプ識別手段により検出されたフレームタイプ及び／又は前記フレームタイプ変換手段により変換されたフレームタイプに基づいて、フレーム内符号化のみが用いられた符号化フレームと該符号化フレームに続く予め定められたフレーム数分のフレーム間符号化が用いられた符号化フレームとを同一のグループに属する第１の部分データとし、残りのフレーム間符号化が用いられた符号化フレームを第２の部分データとして分割する動画像データ分割装置とすることを特徴とするものである。
【００２８】
第１８の技術手段は、前記第１６又は第１７の技術手段に記載の動画像データ分割装置において、少なくとも前記第１の部分データに対して、前記第１の部分データに対して、前記課金処理手段により課金処理を行なう、及び／又は、前記暗号化処理手段により暗号化処理を行なう動画像データ分割装置とすることを特徴とするものである。
【００２９】
【発明の実施の形態】
以下、本発明に係る画像データ分割装置の実施形態について、図面を参照しながらその一例を詳細に説明する。なお、本発明に係る動画像データ分割装置は、動画像データを符号化して送信する動画像符号化装置に備えられていて、伝送回線又は記憶メディアなどの複数の伝送媒体を介して送信して、受信側で動画像として迅速に再生することを可能とするために、符号化された符号化画像データを複数の部分データに分割するものである。
＜第１の実施形態＞
まず、本発明に係る動画像データ分割装置の第１の実施形態であるブロック構成例を、図１に示す。
本実施形態における動画像データ分割装置１００は、データ分割部１０１と課金処理部１０２とを備えている。入力された符号化画像データ１００ａは、データ分割部１０１に入力されて１つの小容量部分データ１０１ａと１つ又は複数の大容量部分データ１０１ｂとに分割される。分割された小容量部分データ１０１ａは課金処理部１０２から低速回線を介して受信端末側に伝送され、大容量部分データ１０１ｂは、高速回線又は記録媒体を介して小容量部分データ１０１ａとは別に伝送される。
【００３０】
ここで、受信端末においては、受信された小容量部分データ１０１ａ単独でも動画像データに再生可能であるが、大容量部分データ１０１ｂについては単独では動画像データに再生不可能である。即ち、大容量部分データ１０１ｂはデータ分割部１０１で分割された小容量部分データ１０１ａと併合することにより初めて動画像データに再生可能となる。また、符号化画像データ１００ａを動画像データに再生するためには、小容量部分データ１０１ａを最低限必要としているので、小容量部分データ１０１ａは課金処理部１０１に送られて、課金処理部１０１において小容量部分データ１０１ａに対して課金処理が施されて、課金処理小容量部分データ１０２ａとして低速回線に出力される。
【００３１】
＜第２の実施形態＞
次に、本発明に係る動画像データ分割装置の第２の実施形態であるブロック構成例を、図２に示す。本実施形態の動画像データ分割装置１００′は、図１に示すデータ分割部１０１と、課金処理部１０２の代わりに暗号化処理部１０３とを備えている。図２に示す動画像データ分割装置１００′においては、データ分割部１０１で分割された小容量部分データ１０１ａは、暗号化処理部１０３から低速回線を介して受信端末側に暗号化小容量部分データ１０３ａとして伝送され、大容量部分データ１０１ｂは、高速回線又は記録媒体を介して小容量部分データ１０１ａとは別に伝送される。即ち、小容量部分データ１０１ａは、暗号化処理部１０３において、厳重な暗号化処理が施されて、暗号化された暗号化小容量部分データ１０３ａに変換されて、低速回線に出力される。ここで、本実施形態において、暗号化小容量部分データ１０３ａに対して更に図１に示す課金処理部１０２により課金処理を施して低速回線に出力することももちろん可能である。
【００３２】
＜第３の実施形態＞
次に、本発明に係る動画像データ分割装置の第３の実施形態について、図３と図４とを用いて説明する。ここに、図３は、本発明に係る動画像データ分割装置の第３の実施形態として、図１又は図２に示した動画像データ分割装置のデータ分割部のブロック構成例を示すブロック構成図であり、図４は、図３に示す動画像データ分割装置のデータ分割部１０１′を用いた符号化画像データの部分データへの分割例を示す模式図である。本実施形態の動画像データ分割装置のデータ分割部１０１′は、図１又は図２に示す動画像データ分割装置１００，１００′のデータ分割部１０１を拡張したものであり、図１又は図２に示す動画像データ分割装置１００，１００′に用いるデータ分割部１０１として、フレームタイプ識別部１０４と分割処理部１０５とを備えている場合を示している。
【００３３】
フレームタイプ識別部１０４は、入力されてきた符号化画像データ１００ａに含まれている各符号化フレームが、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのいずれの符号化フレームであるかを検出して、検出されたフレームタイプを符号化画像データ１００ａに付してフレームタイプ付き符号化画像データ１０４ａとして分割処理部１０５に出力する。
【００３４】
ここに、フレームタイプは、入力されてきた符号化画像データ１００ａの各符号化フレームのヘッダに記載されているので、容易に検出することができる。分割処理部１０５は、フレームタイプ識別部１０４からのフレームタイプ付き符号化画像データ１０４ａに付されているフレームタイプに基づいて、フレームタイプ付き符号化画像データ１０４ａを小容量部分データ１０１ａと大容量部分データ１０１ｂとに分割する。図４に、本実施形態におけるデータ分割部１０１′の分割処理部１０５により、入力されてくるフレームタイプ付き符号化画像データ１０４ａを小容量部分データ１０１ａと大容量部分データ１０１ｂとに分割する場合の一例を示している。
【００３５】
即ち、図３に示す分割処理部１０５は、図４に一例を示すように、入力された符号化画像データ１００ａの各符号化フレーム毎にフレームタイプ識別部１０４によりフレームタイプが付与されて渡されてくるフレームタイプ付き符号化画像データ１０４ａをＩピクチャとＰピクチャとＢピクチャとに分割し、フレーム内符号化のみを用いているＩピクチャを小容量部分データ１０１ａの部分データとして分割し、フレーム間符号化を用いているＰピクチャ、Ｂピクチャを大容量部分データ１０２ｂの部分データとして分割している。ここで、フレーム内符号化のＩピクチャのみで構成される小容量部分データ１０１ａは単独でも元の動画像データに再生可能であるが、フレーム間符号化のＰピクチャ、Ｂピクチャで構成される大容量部分データ１０１ｂは単独では元の動画像データに再生することができず、フレーム内符号化のＩピクチャからなる小容量部分データ１０１ａと併合することで初めて再生することが可能となる。
【００３６】
＜第４の実施形態＞
次に、本発明に係る動画像データ分割装置の第４の実施形態について、図５を用いて説明する。ここに、図５は、図３に示す動画像データ分割装置のデータ分割部１０１′を用いた符号化画像データの部分データへの分割の他の例を実施形態４として示す模式図である。即ち、本実施形態の動画像データ分割装置のデータ分割部１０１′においても、図１又は図２に示す動画像データ分割装置１００，１００′に用いるデータ分割部１０１′として、フレームタイプ識別部１０４と分割処理部１０５とを備えているが、本実施形態のデータ分割部１０１′の分割処理部１０５は、前記第３の実施形態に示す図４の模式図とは異なる別の方法により部分データに分割している。
【００３７】
即ち、図５の模式図に示すように、分割処理部１０５は、フレームタイプ識別部１０４から渡されてくるフレームタイプ付き符号化画像データ１０４ａをＩピクチャ及び該Ｉピクチャに続く予め定められた所定フレーム数（図５に示す例では３フレーム）分のＰピクチャ、Ｂピクチャと、残りのＰピクチャ、Ｂピクチャとに分割し、Ｉピクチャ及び該Ｉピクチャに続く前記所定フレーム数分のＰピクチャ、Ｂピクチャを小容量部分データ１０１ａとして分割し、残りのＰピクチャ、Ｂピクチャを大容量部分データ１０１ｂとして分割している。Ｉピクチャ及び該Ｉピクチャに続く前記所定フレーム数分のＰピクチャ、Ｂピクチャで構成される小容量部分データ１０１ａは単独でも元の動画像データに再生可能であるが、残りのＰピクチャ、Ｂピクチャで構成される大容量部分データ１０１ｂは単独では元の動画像データに再生することができず、小容量部分データ１０１ａと併合することにより初めて元の動画像データに再生することが可能となる。
【００３８】
＜第５の実施形態＞
次に、本発明に係る動画像データ分割装置の第５の実施形態について、図６乃至図９を用いて説明する。ここに、図６は、本発明に係る動画像データ分割装置の第５の実施形態として動画像データ分割装置のデータ分割部のブロック構成例を示すブロック構成図であり、図７は、図６に示す動画像データ分割装置のデータ分割部１０１″を用いた符号化画像データの部分データへの分割例を示す模式図である。図８及び図９に示す動作フローチャートについては後述する。図６に示した本実施形態の動画像データ分割装置のデータ分割部１０１″は、第３の実施形態及び第４の実施形態における図３に示す動画像データ分割装置に用いるデータ分割部１００′を更に拡張したものであり、図６に示すように、動画像データ分割装置１００，１００′に用いるデータ分割部１０１″として、フレームタイプ識別部１０４と分割処理部１０５とに加えて、更に、内容変化検出部１０６とフレームタイプ変換部１０７とを備えている場合を示している。
【００３９】
内容変化検出部１０６とフレームタイプ変換部１０７との動作を、図７の模式図を用いて説明する。
内容変化検出部１０６は、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａの各符号化フレームの中で、シーンチェンジや字幕の変化などのような動画像の内容が変化したシーンを含むＰピクチャやＢピクチャの符号化フレームや、逆に、変化があるシーンを含んでいないＩピクチャの符号化フレームを検出して、変化有無情報が付された変化有無情報付き符号化画像データ１０６ａとして出力する。なお、内容変化検出部１０６においては、フレームタイプ付き符号化画像データ１０４ａの中から、画像を示す符号化ビデオデータあるいは音声を示す符号化オーディオデータのうちの少なくとも一方を用いるものとする。図７に示す例の場合には、第７番目の符号化フレームであるＰピクチャには変化があるシーンが含まれていることを検出し、第１３番目の符号化フレームであるＩピクチャには変化があるシーンが含まれていないことを検出している場合を例示している。
【００４０】
フレームタイプ変換部１０７は、内容変化検出部１０６により検出されたシーンの変化の有無情報に基づいて、内容変化検出部１０６から入力されてくる変化有無情報付き符号化画像データ１０６ａの符号化フレームのフレームタイプを変換する。ここで、小容量部分データ１０１ａのみを用いて元の動画像データを再生する場合には、小容量部分データ１０１ａに動画像の内容が変化した符号化フレームを含んでいる方がより自然に見える。
【００４１】
よって、動画像の内容が変化した符号化フレームは、小容量部分データ１０１ａには必ず含まれることになるＩピクチャとすることが望ましいので、内容変化検出部１０６により検出された動画像の内容が変化したシーンを含む符号化フレームのフレームタイプが、Ｐピクチャ又はＢピクチャの符号化フレームであった場合には、フレームタイプ変換部１０７において、動画像の内容が変化したシーンを含むＰピクチャ又はＢピクチャの符号化フレームをＩピクチャに変換する。図７に示す例においては、フレームタイプ変換部１０７に入力されてくる変化有無情報付き符号化画像データ１０６ａの第７番目にあるＰピクチャの符号化フレームをＩピクチャの符号化フレームにフレームタイプを変換して、フレームタイプ変換符号化画像データ１０７ａとして分割処理部１０５に出力している。
【００４２】
しかし、一般的にＩピクチャの１符号化フレーム当たりのコード量（即ちデータ量）は、Ｐピクチャ又はＢピクチャの１符号化フレーム当たりのコード量よりも大きいので、Ｐピクチャ又はＢピクチャをＩピクチャの符号化フレームに変換するだけでは、送信する符号化画像データ全体のコード量が増加してしまう。そこで、動画像の内容が変化しなかった符号化フレームで、フレームタイプがＩピクチャの符号化フレームが内容変化検出部１０６により検出されていた場合は、フレームタイプ変換部１０７において、逆に、Ｐピクチャ又はＢピクチャに変換する。
【００４３】
これにより、フレームタイプ変換部１０７におけるフレームタイプ変換処理後の符号化画像データ全体のコード量をフレームタイプ変換処理前の符号化画像データ全体のコード量とほぼ同じ程度になるように調整することが可能となる。図７に示す例においては、フレームタイプ変換部１０７に入力されてくる変化有無情報付き符号化画像データ１０６ａの７番目の符号化フレームのＩピクチャへの変換に対応して、第１３番目にあるＩピクチャ（変化のシーンを含んでいないＩピクチャ）の符号化フレームを、Ｐピクチャの符号化フレームにフレームタイプを変換して、フレームタイプ変換符号化画像データ１０７ａとして分割処理部１０５に出力している。
【００４４】
次に、内容変化検出部１０６とフレームタイプ変換部１０７との動作の一例について更に説明する。図６に示す内容変化検出部１０６においては、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａの各符号化フレーム中のフレーム内符号化されたマクロブロックの個数を基にして、シーンチェンジを含む符号化フレームか否かを検出する。Ｐピクチャ及びＢピクチャに関しては、シーンチェンジを含まない符号化フレーム中のフレーム間符号化されたマクロブロックは、フレーム内符号化されたマクロブロックよりもコード量が小さくなるが、逆に、シーンチェンジを含む符号化フレーム中のフレーム間符号化されたマクロブロックは、フレーム内符号化されたマクロブロックよりもコード量が大きくなってしまう。
【００４５】
従って、動画像符号化装置においては、シーンチェンジを含む符号化フレームをＰピクチャに符号化する際には、符号化フレームのコード量を小さく抑えるために、符号化フレームのコード量がより少ないフレーム内符号化されたマクロブロックの数を多くなるように符号化を行なっている。よって、Ｐピクチャの符号化フレーム中でフレーム内符号化されたマクロブロックの個数が多ければ、当該Ｐピクチャはシーンチェンジを含んでいる符号化フレームであると考えることができる。ここで、マクロブロックがフレーム内符号化されているかどうかは、各マクロブロックのヘッダに記載されているので、符号化フレーム中のフレーム内符号化されたマクロブロックの個数は容易に検出することができる。
【００４６】
また、フレームタイプ変換部１０７においては、前述のごとく、シーンチェンジを含むＰピクチャ又はＢピクチャをＩピクチャに変換し、逆に、シーンチェンジを含まないＩピクチャをＰピクチャまたはＢピクチャに変換する。フレームタイプ変換部１０７のフレームタイプ変換処理は、符号化されている符号化フレームを一旦復号し、復号したフレームを再び所望のフレームタイプに符号化し直すことによって容易に行なうことができる。
【００４７】
しかしながら、例えば、Ｐピクチャ又はＢピクチャをＩピクチャにフレームタイプを変換した場合、Ｉピクチャへのフレームタイプ変換後の符号化フレームから次のＩピクチャまでの間に存在しているＰピクチャやＢピクチャは、最初に符号化した時に参照していた参照画像フレームの内容から変化してしまい、結果として、Ｉピクチャへのフレームタイプ変換後の符号化フレームから次のＩピクチャまでの間に存在しているＰピクチャとＢピクチャをそのまま復号すると、画像の劣化が起こってしまう。よって、Ｉピクチャへのフレームタイプ変換後の符号化フレームから次のＩピクチャまでの間に存在しているＰピクチャとＢピクチャについては再符号化することが必要である。
【００４８】
符号化ビットレートが低い場合であれば、前述のごとく、Ｉピクチャへのフレームタイプ変換後の符号化フレームから次のＩピクチャまでの間に存在しているＰピクチャとＢピクチャについては再符号化する必要がある。しかしながら、動画像データを符号化した際の符号化ビットレートが高い場合であれば、Ｉピクチャへのフレームタイプ変換処理をした場合であっても、Ｉピクチャへのフレームタイプ変換後の符号化フレームから次のＩピクチャまでの間に存在しているＰピクチャやＢピクチャが参照する参照画像フレームの内容が余り変化しておらず、当該ＰピクチャやＢピクチャをそのまま復号したとしても画像劣化は目立たないので、再符号化する必要性は少ない。逆に、ＩピクチャをＰピクチャ又はＢピクチャに変換する場合でも、Ｐピクチャ又はＢピクチャへのフレームタイプ変換後の符号化フレームから次のＩピクチャまでの間に存在しているＰピクチャやＢピクチャに対して前述と同様の処理を行なうこととしても、符号化ビットレートが高い場合であれば、画質の劣化は目立たない。
【００４９】
次に、ＰピクチャからＩピクチャへの変換処理を図８に示す動作フローチャートを用いて説明する。ここに、図８は、本発明に係る動画像データ分割装置の第５の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、変化があるＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａからＰピクチャを１フレームだけ読み込む（ステップＳ１）。ここで、Ｐピクチャが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ２のＹＥＳ）、本変換処理を終了する。
【００５０】
ステップＳ１で読み込んだＰピクチャに含まれているフレーム内符号化されたマクロブロックの個数を計算し（ステップＳ３）、フレーム内符号化されたマクロブロックの個数が、予め定められた所定個数（閾値）よりも少なければ（ステップＳ４のＮＯ）、該Ｐピクチャのフレームにはシーンチェンジは含まれていないものとして、現在読み込んでいる該Ｐピクチャのフレームに対しては、何ら変換処理は行なわず、次のＰピクチャを読み込むためにステップＳ１に戻る。一方、フレーム内符号化されたマクロブロックの個数が、前記所定個数以上であれば（ステップＳ４のＹＥＳ）、シーンチェンジを含むＰピクチャのフレームであるものとみなして、当該ＰピクチャをＩピクチャに変換する（ステップＳ５）。
【００５１】
次に、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ６のＮＯ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ７）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ６のＹＥＳ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、次のＰピクチャを読み込むためにステップＳ１に戻る。
【００５２】
次に、逆にＩピクチャからＰピクチャへの変換処理を図９に示す動作フローチャートを用いて説明する。ここに、図９は、本発明に係る動画像データ分割装置の第５の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、変化が含まれていないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａからＩピクチャを１フレームだけ読み込む（ステップＳ１１）。ここで、Ｉピクチャが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ１２）、本変換処理を終了する。
【００５３】
ステップＳ１１で読み込んだＩピクチャをＰピクチャに変換した時に符号化フレームに含まれているフレーム内符号化されたマクロブロックの個数を計算し（ステップＳ１３）、フレーム内符号化されたマクロブロックの個数が、予め定められた所定個数（閾値）以上であれば（ステップＳ１４のＹＥＳ）、元の該Ｉピクチャのフレームにはシーンチェンジを含んでいるフレームであるものとして、現在読み込んでいる該Ｉピクチャのフレームに対しては、何ら変換処理は行なわず、次のＩピクチャを読み込むためにステップＳ１１に戻る。一方、フレーム内符号化されたマクロブロックの個数が、前記所定個数未満であれば（ステップＳ１４のＮＯ）、該Ｉピクチャのフレームにはシーンチェンジは含まれていないものとして、当該ＩピクチャをＰピクチャに変換する（ステップＳ１５）。
【００５４】
次に、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ１６のＮＯ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ１７）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ１６のＹＥＳ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、次のＩピクチャを読み込むためにステップＳ１１に戻る。
なお、ＢピクチャからＩピクチャへの変換処理、逆に、ＩピクチャからＢピクチャへの変換処理も、図８及び図９に示すＰピクチャの場合の動作と全く同様に行なうことになる。
【００５５】
＜第６の実施形態＞
次に、本発明に係る動画像データ分割装置の第６の実施形態について、図１０及び図１１の動作フローチャートを用いて説明する。ここに、本実施形態は、第５の実施形態に示した内容変化検出部１０６の更に異なる動作を示すものである。
本実施形態は、動画像データの符号化時において符号化ビットレートの変更制御がなされていない場合に有効となるものであり、内容変化検出部１０６においては、符号化フレームのコード量（即ち、データ量）の大きさに基づいてシーンチェンジを含む符号化フレームを検出する。即ち、符号化ビットレートの変更制御がなされていない場合であれば、シーンチェンジを含むフレームをＰピクチャ又はＢピクチャに符号化すると、符号化フレームのコード量が大きくなってしまう特徴がある。よって、Ｐピクチャ又はＢピクチャの符号化フレームのコード量が大きければ、当該符号化フレームはシーンチェンジを含んでいるものと考えられる。なお、符号化フレームのコード量は、各符号化フレームのヘッダには記載されていないが、各符号化フレームのコード量を直接計数することにより、容易に計算することができる。
【００５６】
最初に、ＰピクチャからＩピクチャへの変換処理を図１０のフローチャートを用いて説明する。ここに、図１０は、本発明に係る動画像データ分割装置の第６の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、コード量が大きいＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、ステップＳ２１、Ｓ２２はそれぞれ図８のステップＳ１、Ｓ２と同様の処理を行なう。即ち、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａからＰピクチャを１フレームだけ読み込む（ステップＳ２１）。ここで、Ｐピクチャが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ２２のＹＥＳ）、本変換処理を終了する。
【００５７】
ステップＳ２１で読み込んだＰピクチャのコード量を計算し（ステップＳ２３）、Ｐピクチャのコード量が、予め定められた所定コード量（閾値）よりも少なければ（ステップＳ２４のＮＯ）、該Ｐピクチャのフレームにはシーンチェンジは含まれていないものとして、現在読み込んでいる該Ｐピクチャのフレームに対しては、何ら変換処理は行なわず、次のＰピクチャを読み込むためにステップＳ２１に戻る。一方、Ｐピクチャのコード量が、前記所定コード量以上であれば（ステップＳ２４のＹＥＳ）、シーンチェンジを含むＰピクチャのフレームであるものとして、当該ＰピクチャをＩピクチャに変換する（ステップＳ２５）。
【００５８】
次のＳ２６、Ｓ２７はそれぞれ図８のステップＳ６、Ｓ７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ２６のＮＯ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ２７）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ２６のＹＥＳ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、次のＰピクチャを読み込むためにステップＳ２１に戻る。
【００５９】
次に、逆にＩピクチャからＰピクチャへの変換処理を図１１に示す動作フローチャートを用いて説明する。ここに、図１１は、本発明に係る動画像データ分割装置の第６の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、コード量が少ないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、ステップＳ３１、Ｓ３２はそれぞれ図９のステップＳ１１、Ｓ１２と同様の処理を行なう。即ち、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａからＩピクチャを１フレームだけ読み込む（ステップＳ３１）。ここで、Ｉピクチャが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ３２のＹＥＳ）、本変換処理を終了する。
【００６０】
ステップＳ３１で読み込んだＩピクチャをＰピクチャに変換した時のＰピクチャのコード量を計算し（ステップＳ３３）、Ｐピクチャのコード量が、予め定められた所定コード量（閾値）以上であれば（ステップＳ３４のＹＥＳ）、元の該Ｉピクチャのフレームにはシーンチェンジを含んでいるフレームであるものとして、現在読み込んでいる該Ｉピクチャのフレームに対しては、何ら変換処理は行なわず、次のＩピクチャを読み込むためにステップＳ３１に戻る。一方、Ｐピクチャのコード量が、前記所定コード量未満であれば（ステップＳ３４のＮＯ）、該Ｉピクチャのフレームにはシーンチェンジは含まれていないものとして、当該ＩピクチャをＰピクチャに変換する（ステップＳ３５）。
【００６１】
次のステップＳ３６、Ｓ３７はそれぞれ図９のステップＳ１６、Ｓ１７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ３６のＮＯ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ３７）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ３６のＹＥＳ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、次のＩピクチャを読み込むためにステップＳ３１に戻る。
なお、ＢピクチャからＩピクチャへの変換処理、逆に、ＩピクチャからＢピクチャへの変換処理も、図１０及び図１１に示すＰピクチャの場合の動作と全く同様に行なうことになる。
【００６２】
＜第７の実施形態＞
次に、本発明に係る動画像データ分割装置の第７の実施形態について、図１２及び図１３の動作フローチャートを用いて説明する。ここに、本実施形態は、第５の実施形態に示した内容変化検出部１０６の更に異なる動作を示すものである。
本実施形態は、オブジェクト符号化された符号化画像データを前提としており、内容変化検出部１０６においては、符号化画像データ中のオブジェクトの個数又は種類に変化がある符号化フレームを検出する。即ち、例えば、符号化画像データが映画コンテンツである場合、オブジェクトの１つである登場人物が増えたり、減ったり、登場人物が変わったりする場面は映画コンテンツの内容が変化した場面であり、登場人物がオブジェクト符号化されていれば、かくのごときオブジェクトの個数や種類が変化している場面を検出することが可能である。ここで、符号化画像データの各符号化フレーム中に登場するオブジェクトの個数と種類とは、オブジェクト符号化の際に作成されるオブジェクト符号化サイド情報に記載されており、該オブジェクト符号化サイド情報を参照することによりオブジェクトの個数又は種類に変化がある符号化フレームを検出することができる。
【００６３】
最初に、ＰピクチャからＩピクチャへの変換処理を図１２のフローチャートを用いて説明する。ここに、図１２は、本発明に係る動画像データ分割装置の第７の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、オブジェクトの個数又は種類に変化があるＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａから１フレーム分の符号化フレームのオブジェクト符号化サイド情報を読み込む（ステップＳ４１）。ここで、オブジェクト符号化サイド情報が存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ４２のＹＥＳ）、本変換処理を終了する。
【００６４】
ステップＳ４１で読み込んだオブジェクト符号化サイド情報がＰピクチャのものか否かを判定し（ステップＳ４３）、Ｐピクチャでなければ（ステップＳ４３のＮＯ）、現在読み込んでいる当該符号化フレームに対しては、何ら変換処理は行なわず、当該符号化フレームのオブジェクト符号化サイド情報にあるオブジェクトの個数と種類とを記憶した（ステップＳ４４）後、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ４１に戻る。一方、Ｐピクチャであれば（ステップＳ４３のＹＥＳ）、次に、１つ前の符号化フレームと現在読み込んでいる符号化フレームとの間でオブジェクトの個数と種類が同じかどうかを判定する（ステップＳ４５）。
【００６５】
両者が同じであれば（ステップＳ４５のＹＥＳ）、現在読み込んでいる符号化フレーム中のオブジェクトは、１つ前の符号化フレームから変化がないので、現在読み込んでいる符号化フレームに対しては、何ら変換処理は行なわず、当該符号化フレームのオブジェクト符号化サイド情報にあるオブジェクトの個数と種類とを記憶した（ステップＳ４４）後、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ４１に戻る。一方、両者が同じでなければ（ステップＳ４５のＮＯ）、現在読み込んでいる符号化フレーム中のオブジェクトは、１つ前の符号化フレームから変化があるので、当該Ｐピクチャの符号化フレームをＩピクチャに変換する（ステップＳ４６）。
【００６６】
次のステップＳ４７、Ｓ４８はそれぞれ図８のステップＳ６、Ｓ７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ４７のＮＯ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ４８）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ４７のＹＥＳ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、当該符号化フレームのオブジェクト符号化サイド情報にあるオブジェクトの個数と種類とを記憶した（ステップＳ４４）後、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ４１に戻る。
【００６７】
ステップＳ４４に示すように、各符号化フレームのオブジェクト符号化サイド情報が読み込まれる都度、次に読み込まれる符号化フレームのオブジェクト符号化サイド情報と比較するために、オブジェクト符号化サイド情報にあるオブジェクトの個数と種類とが記憶されている。
【００６８】
次に、逆にＩピクチャからＰピクチャへの変換処理を図１３に示す動作フローチャートを用いて説明する。ここに、図１３は、本発明に係る動画像データ分割装置の第７の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、オブジェクトの個数又は種類に変化がないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａから１フレーム分の符号化フレームのオブジェクト符号化サイド情報を読み込む（ステップＳ５１）。ここで、オブジェクト符号化サイド情報が存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ５２のＹＥＳ）、本変換処理を終了する。
【００６９】
ステップＳ５１で読み込んだオブジェクト符号化サイド情報がＩピクチャのものか否かを判定し（ステップＳ５３）、Ｉピクチャでなければ（ステップＳ５３のＮＯ）、現在読み込んでいる当該符号化フレームに対しては、何ら変換処理は行なわず、当該符号化フレームのオブジェクト符号化サイド情報にあるオブジェクトの個数と種類とを記憶した（ステップＳ５４）後、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ５１に戻る。一方、Ｉピクチャであれば（ステップＳ５３のＹＥＳ）、次に、１つ前の符号化フレームと現在読み込んでいる符号化フレームとの間でオブジェクトの個数と種類が同じかどうかを判定する（ステップＳ５５）。
【００７０】
両者が同じでなければ（ステップＳ５５のＮＯ）、現在読み込んでいる符号化フレーム中のオブジェクトは、１つ前の符号化フレームから変化があるので、現在読み込んでいる符号化フレームに対しては、何ら変換処理は行なわず、当該符号化フレームのオブジェクト符号化サイド情報にあるオブジェクトの個数と種類とを記憶した（ステップＳ５４）後、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ５１に戻る。一方、両者が同じであれば（ステップＳ５５のＮＯ）、現在読み込んでいる符号化フレーム中のオブジェクトは、１つ前の符号化フレームから変化がないので、当該Ｉピクチャの符号化フレームをＰピクチャに変換する（ステップＳ５６）。
【００７１】
次のステップＳ５７、Ｓ５８はそれぞれ図９のステップＳ１６、Ｓ１７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ５７のＮＯ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ５８）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ５７のＹＥＳ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、当該符号化フレームのオブジェクト符号化サイド情報にあるオブジェクトの個数と種類とを記憶した（ステップＳ５４）後、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ５１に戻る。
【００７２】
ステップＳ５４に示すように、各符号化フレームのオブジェクト符号化サイド情報が読み込まれる都度、次に読み込まれる符号化フレームのオブジェクト符号化サイド情報と比較するために、オブジェクト符号化サイド情報にあるオブジェクトの個数と種類とが記憶されている。
なお、ＢピクチャからＩピクチャへの変換処理、逆に、ＩピクチャからＢピクチャへの変換処理も、図１２及び図１３に示すＰピクチャの場合の動作と全く同様に行なうことになる。
【００７３】
＜第８の実施形態＞
次に、本発明に係る動画像データ分割装置の第８の実施形態について、図１４及び図１５の動作フローチャートを用いて説明する。ここに、本実施形態は、第５の実施形態に示した内容変化検出部１０６の更に異なる動作を示すものである。
本実施形態は、符号化画像データのビデオ符号化フレームにオーディオ符号化フレームを伴っている場合を前提としており、内容変化検出部１０６においては、該オーディオ符号化データの情報の変化を基にして、該オーディオ符号化データに同期しているビデオ符号化データの内容が変化した符号化フレームとみなして検出している。即ち、符号化画像データが、例えば、スポーツ番組コンテンツの場合、実況をしているアナウンサーが声を出す発声部分は動画像の内容に変化がある場面である。
【００７４】
而して、音声が無音から有音に変化する部分を見つけ出すことにより、動画像の内容が変化している場面を検出することができる。本実施形態の内容変化検出部１０６においては、符号化画像データの各符号化フレームのヘッダに記載されているタイムコードを参照して、ビデオ符号化フレームと同期しているオーディオ符号化フレームを見つけ出し、該オーディオ符号化フレームの中で音声が無音から有音に変化しているオーディオ符号化フレームがあれば、該オーディオ符号化フレームに同期しているビデオ符号化フレームを動画像の内容が変化している場面を含むビデオ符号化フレームであるものとみなしている。
【００７５】
最初に、ＰピクチャからＩピクチャへの変換処理を図１４のフローチャートを用いて説明する。ここに、図１４は、本発明に係る動画像データ分割装置の第８の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、無音から有音に変化しているオーディオ符号化フレームに同期しているＰピクチャのビデオ符号化フレームをＩピクチャのビデオ符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａから１フレーム分のビデオ符号化データを読み込む（ステップＳ６１）。ここで、ビデオ符号化データが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ６２のＹＥＳ）、本変換処理を終了する。
【００７６】
ステップＳ６１で読み込んだオブジェクト符号化サイド情報がＰピクチャのものか否かを判定し（ステップＳ６３）、Ｐピクチャでなければ（ステップＳ４３のＮＯ）、現在読み込んでいる当該符号化フレームに対しては、何ら変換処理は行なわず、次のビデオ符号化フレームを読み込むためにステップＳ６１に戻る。一方、Ｐピクチャであれば（ステップＳ６３のＹＥＳ）、次に、現在読み込んでいる符号化フレームと次に読み込む符号化フレームとのタイムコードをそれぞれ取得し（ステップＳ６４）、取得した２つのタイムコードの間にあるオーディオ符号化データを取得する（ステップＳ６５）。
【００７７】
取得したオーディオ符号化データ中で無音から有音に変化している部分があるか否かを検出し（ステップＳ６６）、無音から有音に変化している部分がなければ（ステップＳ６７のＮＯ）、何ら変換処理は行なわず、次のビデオ符号化フレームを読み込むためにステップＳ６１に戻る。一方、無音から有音に変化している部分があれば（ステップＳ６７のＹＥＳ）、ＰピクチャをＩピクチャに変換する（ステップＳ６８）。
【００７８】
次のステップＳ６９、Ｓ７０はそれぞれ図８のステップＳ６、Ｓ７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ６９のＮＯ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ７０）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ６９のＹＥＳ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ６１に戻る。
【００７９】
次に、逆にＩピクチャからＰピクチャへの変換処理を図１５に示す動作フローチャートを用いて説明する。ここに、図１５は、本発明に係る動画像データ分割装置の第８の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、無音から有音に変化していないオーディオ符号化フレームに同期しているＩピクチャのビデオ符号化フレームをＰピクチャのビデオ符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａから１フレーム分のビデオ符号化データを読み込む（ステップＳ７１）。ここで、ビデオ符号化データが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ７２のＹＥＳ）、本変換処理を終了する。
【００８０】
ステップＳ７１で読み込んだオブジェクト符号化サイド情報がＩピクチャのものか否かを判定し（ステップＳ７３）、Ｉピクチャでなければ（ステップＳ７３のＮＯ）、現在読み込んでいる当該符号化フレームに対しては、何ら変換処理は行なわず、次のビデオ符号化フレームを読み込むためにステップＳ７１に戻る。一方、Ｉピクチャであれば（ステップＳ７３のＹＥＳ）、次に、現在読み込んでいる符号化フレームと次に読み込む符号化フレームとのタイムコードをそれぞれ取得し（ステップＳ７４）、取得した２つのタイムコードの間にあるオーディオ符号化データを取得する（ステップＳ７５）。
【００８１】
取得したオーディオ符号化データ中で無音から有音に変化している部分があるか否かを検出し（ステップＳ７６）、無音から有音に変化している部分があれば（ステップＳ７７のＹＥＳ）、何ら変換処理は行なわず、次のビデオ符号化フレームを読み込むためにステップＳ７１に戻る。一方、無音から有音に変化している部分がなければ（ステップＳ７７のＮＯ）、ＩピクチャをＰピクチャに変換する（ステップＳ７８）。
【００８２】
次のステップＳ７９、Ｓ８０はそれぞれ図９のステップＳ１６、Ｓ１７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ７９のＮＯ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ８０）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ７９のＹＥＳ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ７１に戻る。
なお、ＢピクチャからＩピクチャへの変換処理、逆に、ＩピクチャからＢピクチャへの変換処理も、図１４及び図１５に示すＰピクチャの場合の動作と全く同様に行なうことになる。
【００８３】
＜第９の実施形態＞
次に、本発明に係る動画像データ分割装置の第９の実施形態について、図１６及び図１７の動作フローチャートを用いて説明する。ここに、本実施形態は、第５の実施形態に示した内容変化検出部１０６の更に異なる動作を示すものである。
本実施形態は、符号化画像データに字幕を伴っている場合を前提としており、内容変化検出部１０６においては、符号化画像データの字幕の変化の有無を基にして、動画像の内容が変化しているビデオ符号化フレームを検出している。即ち、符号化画像データが、例えば、文字放送コンテンツの場合、字幕が変化する場面は動画像の内容に変化がある場面である。
【００８４】
ここで、字幕が変化したかどうかを示す字幕情報は、字幕だけ個別に符号化されている場合であれば、字幕符号化データのヘッダより容易に検出することができるが、字幕が動画像データに埋め込まれて符号化されている場合は、動画像データの中の字幕部分を抜き取って、別途、字幕情報を予め作成しなければならない。
最初に、ＰピクチャからＩピクチャへの変換処理を図１６のフローチャートを用いて説明する。ここに、図１６は、本発明に係る動画像データ分割装置の第９の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、字幕に変化があるＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａから１フレーム分のビデオ符号化フレームを読み込む（ステップＳ８１）。ここで、ビデオ符号化フレームが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ８２のＹＥＳ）、本変換処理を終了する。
【００８５】
ステップＳ８１で読み込んだビデオ符号化フレームの字幕情報を取得する（ステップＳ８３）。次に、読み込んだビデオ符号化フレームがＰピクチャか否かを判定し（ステップＳ８４）、Ｐピクチャでなければ（ステップＳ８４のＮＯ）、現在読み込んでいる当該ビデオ符号化フレームに対しては、何ら変換処理は行なわず、当該ビデオ符号化フレームの字幕情報を記憶した（ステップＳ８５）後、次のビデオ符号化フレームを読み込むためにステップＳ８１に戻る。一方、Ｐピクチャであれば（ステップＳ８４のＹＥＳ）、次に、１つ前のビデオ符号化フレームと現在読み込んでいるビデオ符号化フレームとの間で字幕情報が同じかどうかを判定する（ステップＳ８６）。
【００８６】
両者が同じであれば（ステップＳ８６のＹＥＳ）、現在読み込んでいるビデオ符号化フレームの字幕は、１つ前のビデオ符号化フレームから変化がないものであり、現在のビデオ符号化フレームが１つ前のビデオ符号化フレームから変化がないものとみなして、現在読み込んでいるビデオ符号化フレームに対しては、何ら変換処理は行なわず、当該ビデオ符号化フレームの字幕情報を記憶した（ステップＳ８５）後、次のビデオ符号化フレームを読み込むためにステップＳ８１に戻る。一方、両者が同じでなければ（ステップＳ８６のＮＯ）、現在読み込んでいるビデオ符号化フレームの字幕は、１つ前のビデオ符号化フレームから変化があるものであり、現在のビデオ符号化フレームが１つ前のビデオ符号化フレームから変化があるものとみなして、Ｐピクチャの当該ビデオ符号化フレームをＩピクチャに変換する（ステップＳ８７）。
【００８７】
次のステップＳ８８、Ｓ８９はそれぞれ図８のステップＳ６、Ｓ７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ８８のＮＯ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ８９）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ８８のＹＥＳ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、当該ビデオ符号化フレームの字幕情報を記憶した（ステップＳ８５）後、次のビデオ符号化フレームを読み込むためにステップＳ８１に戻る。
【００８８】
ステップＳ８５に示すように、各ビデオ符号化フレームの字幕情報が読み込まれる都度、次に読み込まれるビデオ符号化フレームの字幕情報と比較するために、読み込まれた字幕情報が記憶されている。
【００８９】
次に、逆にＩピクチャからＰピクチャへの変換処理を図１７に示す動作フローチャートを用いて説明する。ここに、図１７は、本発明に係る動画像データ分割装置の第９の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、字幕に変化がないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａから１フレーム分のビデオ符号化フレームを読み込む（ステップＳ９１）。ここで、ビデオ符号化フレームが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ９２のＹＥＳ）、本変換処理を終了する。
【００９０】
ステップＳ９１で読み込んだビデオ符号化フレームの字幕情報を取得する（ステップＳ９３）。次に、読み込んだビデオ符号化フレームがＩピクチャか否かを判定し（ステップＳ９４）、Ｉピクチャでなければ（ステップＳ９４のＮＯ）、現在読み込んでいる当該ビデオ符号化フレームに対しては、何ら変換処理は行なわず、当該ビデオ符号化フレームの字幕情報を記憶した（ステップＳ９５）後、次のビデオ符号化フレームを読み込むためにステップＳ９１に戻る。一方、Ｉピクチャであれば（ステップＳ９４のＹＥＳ）、次に、１つ前のビデオ符号化フレームと現在読み込んでいるビデオ符号化フレームとの間で字幕情報が同じかどうかを判定する（ステップＳ９６）。
【００９１】
両者が同じでなければ（ステップＳ９６のＹＥＳ）、現在読み込んでいるビデオ符号化フレームの字幕は、１つ前のビデオ符号化フレームから変化があるものであり、現在のビデオ符号化フレームが１つ前のビデオ符号化フレームから変化があるものとみなして、現在読み込んでいるビデオ符号化フレームに対しては、何ら変換処理は行なわず、当該ビデオ符号化フレームの字幕情報を記憶した（ステップＳ９５）後、次のビデオ符号化フレームを読み込むためにステップＳ９１に戻る。一方、両者が同じであれば（ステップＳ９６のＹＥＳ）、現在読み込んでいるビデオ符号化フレームの字幕は、１つ前のビデオ符号化フレームから変化がないものであり、現在のビデオ符号化フレームが１つ前のビデオ符号化フレームから変化がないものとみなして、Ｉピクチャの当該ビデオ符号化フレームをＰピクチャに変換する（ステップＳ９７）。
【００９２】
次のステップＳ９８、Ｓ９９はそれぞれ図９のステップＳ１６、Ｓ１７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ９８のＮＯ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ９９）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ９８のＹＥＳ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、当該符号化フレームの字幕情報を記憶した（ステップＳ９５）後、次のビデオ符号化フレームを読み込むためにステップＳ９１に戻る。
【００９３】
ステップＳ９５に示すように、各ビデオ符号化フレームの字幕情報が読み込まれる都度、次に読み込まれるビデオ符号化フレームの字幕情報と比較するために、読み込まれた字幕情報が記憶されている。
なお、ＢピクチャからＩピクチャへの変換処理、逆に、ＩピクチャからＢピクチャへの変換処理も、図１６及び図１７に示すＰピクチャの場合の動作と全く同様に行なうことになる。
【００９４】
【発明の効果】
以上説明したように、本発明に係る動画像データ分割装置によれば、データ圧縮をしても低速回線では伝送するのに時間がかかってしまうような符号化画像データの場合にも、受信側で再生に時間を要しないように、送信すべき符号化画像データを、受信側で単独でも再生することができる１つの小容量部分データと単独では再生することができない１つまたは複数の大容量部分データとの２種類の部分データに分割し、低速回線であっても小容量からなる小容量部分データを受信側に送信することによって、当該符号化画像データに関する大容量部分データも含む全ての部分データが受信側で揃わなくても、迅速に動画像データを再生することができ、また、１つの小容量部分データを送信した後に、１つ又は複数の大容量部分データを高速回線又は記録媒体を介して別途送信して、先に低速回線を介して送信してある小容量部分データと併合することによって、分割した全ての部分データに基づいた、より精細な動画像データを再生することが可能である。
【００９５】
また、本発明に係る動画像データ分割装置によれば、符号化画像データを複数の部分データに分割する単位を符号化フレーム単位とし、小容量部分データをＩピクチャとし、大容量部分データをＰピクチャ及びＢピクチャとするか、あるいは、小容量データ部をＩピクチャと該Ｉピクチャに続く予め定められた所定フレーム数分のＰピクチャ及び／又はＢピクチャとし、大容量部分データを残りのＰピクチャ及び／又はＢピクチャとすることによって、データ分割を容易に行なうことができる。
【００９６】
また、本発明に係る動画像データ分割装置によれば、シーンチェンジや字幕の変化などのように、動画像の内容が変化したＰピクチャ又はＢピクチャの符号化フレームを検出して、該符号化フレームをＩピクチャにフレームタイプを変換し、逆に、動画像の内容が変化していないＩピクチャの符号化フレームを検出して、該符号化フレームをＰピクチャ又はＢピクチャにフレームタイプを変換し、動画像符号化装置から入力されてきた各符号化フレームのフレームタイプのみではなく、前述のごとく変換されたフレームタイプをも用いて、小容量部分データと大容量部分データとに分割することにより、低速回線を介して送信される小容量部分データの動画像データだけでも受信すれば、動画像データ全体の内容がより容易に識別することできるようなデータ分割を行なうことが可能となる。
【図面の簡単な説明】
【図１】本発明に係る動画像データ分割装置の第１の実施形態であるブロック構成例を示すブロック構成図である。
【図２】本発明に係る動画像データ分割装置の第２の実施形態であるブロック構成例を示すブロック構成図である。
【図３】本発明に係る動画像データ分割装置の第３の実施形態として動画像データ分割装置のデータ分割部のブロック構成例を示すブロック構成図である。
【図４】図３に示す動画像データ分割装置のデータ分割部を用いた符号化画像データの部分データへの分割例を示す模式図である。
【図５】図３に示す動画像データ分割装置のデータ分割部を用いた符号化画像データの部分データへの分割の他の例を実施形態４として示す模式図である。
【図６】本発明に係る動画像データ分割装置の第５の実施形態として動画像データ分割装置のデータ分割部のブロック構成例を示すブロック構成図である。
【図７】図６に示す動画像データ分割装置のデータ分割部を用いた符号化画像データの部分データへの分割例を示す模式図である。
【図８】本発明に係る動画像データ分割装置の第５の実施形態として、内容変化検出部とフレームタイプ変換部とが、変化があるＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図９】本発明に係る動画像データ分割装置の第５の実施形態として、内容変化検出部とフレームタイプ変換部とが、変化が含まれていないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１０】本発明に係る動画像データ分割装置の第６の実施形態として、内容変化検出部とフレームタイプ変換部とが、コード量が大きいＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１１】本発明に係る動画像データ分割装置の第６の実施形態として、内容変化検出部とフレームタイプ変換部とが、コード量が少ないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１２】本発明に係る動画像データ分割装置の第７の実施形態として、内容変化検出部とフレームタイプ変換部とが、オブジェクトの個数又は種類に変化があるＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１３】本発明に係る動画像データ分割装置の第７の実施形態として、内容変化検出部とフレームタイプ変換部とが、オブジェクトの個数又は種類に変化がないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１４】本発明に係る動画像データ分割装置の第８の実施形態として、内容変化検出部とフレームタイプ変換部とが、無音から有音に変化しているオーディオ符号化フレームに同期しているＰピクチャのビデオ符号化フレームをＩピクチャのビデオ符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１５】本発明に係る動画像データ分割装置の第８の実施形態として、内容変化検出部とフレームタイプ変換部とが、無音から有音に変化していないオーディオ符号化フレームに同期しているＩピクチャのビデオ符号化フレームをＰピクチャのビデオ符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１６】本発明に係る動画像データ分割装置の第９の実施形態として、内容変化検出部とフレームタイプ変換部とが、字幕に変化があるＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１７】本発明に係る動画像データ分割装置の第９の実施形態として、内容変化検出部とフレームタイプ変換部とが、字幕に変化がないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１８】従来の動画像符号化装置の全体のブロック構成例を示すブロック構成図である。
【図１９】
図１８に示す動画像符号化装置を用いた動画像データの符号化例を示す模式図である。
【符号の説明】
１００，１００′…動画像データ分割装置、１０１，１０１′，１０１″…データ分割部、１０１ａ…小容量部分データ、１０１ｂ…大容量部分データ、１０２…課金処理部、１０２ａ…課金処理小容量部分データ、１０３…暗号化処理部、１０３ａ…暗号化小容量部分データ、１０４…フレームタイプ識別部、１０４ａ…フレームタイプ付き符号化画像データ、１０５…分割処理部、１０６…内容変化検出部、１０６ａ…変化有無情報付き符号化画像データ、１０７…フレームタイプ変換部、１０７ａ…フレームタイプ変換符号化画像データ、２００…動画像符号化装置、２００ａ…入力画像フレーム、２００ｂ…符号化画像データ、２０１…減算部、２０２…動き補償フレーム間予測部、２０３…スイッチ、２０４…スイッチ、２０５…画像符号化部、２０６…フレームメモリ部、２０７…画像復号化部、２０８…加算部、２０９…可変長符号化部。
【図１】
2004274216.tif 000003
【図２】
2004274216.tif 000004
【図３】
2004274216.tif 000005
【図４】
2004274216.tif 000006
【図５】
2004274216.tif 000007
【図６】
2004274216.tif 000008
【図７】
2004274216.tif 000009
【図８】
2004274216.tif 000010
【図９】
2004274216.tif 000011
【図１０】
2004274216.tif 000012
【図１１】
2004274216.tif 000013
【図１２】
2004274216.tif 000014
【図１３】
2004274216.tif 000015
【図１４】
2004274216.tif 000016
【図１５】
2004274216.tif 000017
【図１６】
2004274216.tif 000018
【図１７】
2004274216.tif 000019
【図１８】
2004274216.tif 000020
【図１９】
2004274216.tif 000021