(57)【要約】【課題】フレームレートが高い（例えば３０ｆｐｓ）ＭＰＥＧ−２方式の符号化ストリームを、フレームレートが低い（例えば１０ｆｐｓ）ＭＰＥＧ−４方式の符号化ストリームに変換する場合における処理コストを低減する。【解決手段】ストリーム変換装置４は、コンテンツサーバ２から３０ｆｐｓのＭＰＥＧ−２方式の符号化ストリームが入力され、その符号化ストリームのフレームレート及び符号化方式を変換して、１０ｆｐｓのＭＰＥＧ−４方式の符号化ストリームをネットワーク３を介して送出する。その際に、ストリーム変換装置４は、ＭＰＥＧ４−４方式の符号化ストリーム中に符号化されないフレームを、ＭＰＥＧ−２方式の符号化ストリームから復号しない。【選択図】　図１
2004120415.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレームレートの動画像信号を第１の符号化方式を用いて符号化した第１のデータストリームが入力され、入力された第１のデータストリームから上記動画像信号を復号する復号手段と、
上記復号手段により復号された上記動画像信号を上記第１のフレームレートより低い第２のフレームレートで第２の符号化方式を用いて符号化して第２のデータストリームを生成し、生成した第２のデータストリームを出力する符号化手段とを備え、
上記復号手段は、上記符号化手段により符号化されないフレームを復号しないこと
を特徴とする動画像データストリームの変換装置。
【請求項２】
第１のフレームレートの動画像信号を第１の符号化方式を用いて符号化した第１のデータストリームが入力され、入力された第１のデータストリームから上
記動画像信号を復号する復号手段と、
上記復号手段により復号された動画像信号を上記第１のフレームレートより高い第２のフレームレートで第２の符号化方式を用いて符号化して第２のデータストリームを生成し、生成した第２のデータストリームを出力する符号化手段とを備え、
上記符号化手段は、同一のフレーム画像を繰り返し挿入することによりフレームレートを高くする場合には、挿入されるフレーム画像に対して、前画像からの繰り返し画像であることを示す符号化処理を行うこと
を特徴とする動画像データストリームの変換装置。
【請求項３】
第１のフレームレートの動画像信号を第１の符号化方式を用いて符号化した第１のデータストリームから、上記第１のフレームレートより低い第２のフレームレートの上記動画像信号を第２の符号化方式を用いて符号化した第２のデータストリームを生成する動画像データストリームの変換方法において、
上記第２のデータストリーム中に符号化されないフレームを復号せずに上記第１のデータストリームから上記動画像信号を復号し、
復号された上記動画像信号を第２の符号化方式を用いて符号化して第２のデータストリームを生成すること
を特徴とする動画像データストリームの変換方法。
【請求項４】
第１のフレームレートの動画像信号を第１の符号化方式を用いて符号化した第１のデータストリームから、上記第１のフレームレートより高い第２のフレームレートの上記動画像信号を第２の符号化方式を用いて符号化した第２のデータストリームを生成する動画像データストリームの変換方法において、
上記第１のデータストリームから上記動画像信号を復号し、
復号された上記動画像信号を第２の符号化方式を用いて符号化して第２のデータストリームを生成するとともに、同一のフレーム画像を繰り返し挿入することによりフレームレートを高くする場合には、挿入されるフレーム画像に対して、前画像からの繰り返し画像であることを示す符号化処理を行うこと
を特徴とする動画像データストリームの変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像データのフレームレートの変換処理並びに動画像データの符号化方式の変換処理を行う動画像データストリームの変換装置及び方法に関するものである。
【０００２】
【従来の技術】
インターネット等のネットワークを介した動画像データのリアルタイム配信が行われ始めている。動画像データのリアルタイム配信を行う場合、通常、ソースとなる動画像データをコンテンツサーバに記録しておき、そのコンテンツサーバからネットワークを介してクライアントに送出する。また、コンテンツサーバに記録されている動画像データは、リアルタイム配信に用いられるのみならず、ネットワークを介さずに直接表示されたり、或いは、他のコンテンツの素材映像として用いられたりもする。
【０００３】
ところで、ネットワークを介して動画像データのリアルタイム配信を行う場合、そのネットワークの伝送容量に制限があるので、通常の動画像の表示レート（例えば３０フレーム毎秒（ｆｐｓ））よりも、低いフレームレート（例えば１０ｆｐｓ程度）で送信されるのが一般的である。しかしながら、コンテンツサーバに記録されている動画像データは、ネットワークを介さずに直接表示したり、他のコンテンツの素材映像等として用いられたりすることを考慮して、通常の動画像の表示レートの３０ｆｐｓで記録されている場合がある。このようにフレームレートが３０ｆｐｓの動画像データがコンテンツサーバに記録されている場合、この動画像データをネットワークを介して送出するには、フレームレートをリアルタイム処理でダウンコンバートしながら配信をしなければならない。
【０００４】
また、ネットワークを介して配信されてきた動画像データを例えばハードディスク等の記録メディアに記録する場合、そのままのフレームレートで記録するよりも、通常の動画像の表示レート（３０ｆｐｓ）で記録する方が、再生処理等を考慮すると望ましいことがある。このような場合、受信した動画像データのフレームレートをリアルタイム処理でアップコンバートしながら記録しなければならない。
【０００５】
また、近年、ネットワーク配信に適した動画像圧縮方式として、ＭＰＥＧ−４と呼ばれる規格が提案されている。しかしながら、これまでの映像資産はＭＰＥＧ−２方式のデータが多く、また、記録メディアからネットワークを介さずに直接に映像を再生することを考慮すると、ＭＰＥＧ−４方式で符号化された動画像データを記録メディアに記録するよりも、ＭＰＥＧ−２方式で符号化された動画像データを記録メディアに記録した方が都合がよい場合もある。そのため、ＭＰＥＧ−４方式の動画像データをネットワークを介して配信する場合であっても、コンテンツサーバにＭＰＥＧ−２方式の動画像データを記録しておき、適宜符号化方式の変換を行って、配信することも多いと考えられる。
【０００６】
以上のような実状を鑑みると、ネットワーク配信を行う場合には、フレームレートの変換処理並びにＭＰＥＧ−２とＭＰＥＧ−４との間の符号化方式の変換処理を行うことができるストリーム変換装置が必要になってくると考えられる。
【０００７】
図８に、従来から提案されているストリーム変換装置の構成図を示す。
【０００８】
図８に示すストリーム変換装置１１０は、ＭＰＥＧ−２方式の符号化ストリームの符号化及び復号を行うＭＰＥＧ−２符号化／復号部１１１と、ＭＰＥＧ−４方式の符号化ストリームの符号化及び復号を行うＭＰＥＧ−４符号化／復号部１１２と、フレームメモリ１１３とを備えている。
【０００９】
ストリーム変換装置１１０では、コンテンツサーバ１０１に格納されているフレームレートが３０ｆｐｓのＭＰＥＧ−２方式の符号化ストリームを、フレームレートが１０ｆｐｓのＭＰＥＧ−４方式の符号化ストリームに変換して、ネットワーク１０２を介して送出する場合には、図９に示すような動作を行う。
【００１０】
ストリーム変換装置１１０は、図９のＡに示すような３０ｆｐｓのＭＰＥＧ−２方式の符号化ストリームをコンテンツサーバ１０１から読み出して、ＭＰＥＧ−２符号化／復号部１１１により復号し、図９のＢに示すような３０ｆｐｓのベースバンドの動画像データを生成する。生成された３０ｆｐｓのベースバンドの動画像データは、一旦フレームメモリ１１３に格納される。続いて、ストリーム変換装置１１０は、図９のＣに示すようにフレームメモリ１１３上で任意のフレームの間引き処理を行い、図９のＤに示すようなフレームレートが１０ｆｐｓのベースバンドの動画像データを生成する。そして、ストリーム変換装置１１０は、図９のＤに示すフレームレートが１０ｆｐｓのベースバンドの動画像データをフレームメモリ１１０から読み出して、ＭＰＥＧ−４符号化／復号部１１２により符号化し、図９のＥに示すようなＭＰＥＧ−４方式の符号化ストリームを生成し、ネットワーク１０２へ配信する。
【００１１】
また、ストリーム変換装置１１０では、ネットワーク１０２を介して受信したフレームレートが１０ｆｐｓのＭＰＥＧ−４方式の符号化ストリームを、フレームレートが３０ｆｐｓのＭＰＥＧ−２方式の符号化ストリームに変換して、コンテンツサーバ１０１に格納する場合には、図１０に示すような動作を行う。
【００１２】
ストリーム変換装置１１０は、図１０のＡに示すようなフレームレートが１０ｆｐｓのＭＰＥＧ−４方式の符号化ストリームをネットワーク１０２から受信して、ＭＰＥＧ−４符号化／復号部１１２により復号し、図１０のＢに示すような１０ｆｐｓのベースバンドの動画像データを生成する。生成された１０ｆｐｓのベースバンドの動画像データは、一旦フレームメモリ１１３に格納される。続いて、ストリーム変換装置１１０は、図１０のＣに示すようにフレームメモリ１１３上でフレームコピー処理を行い、図１０のＤに示すようなフレームレートが３０ｆｐｓのベースバンドの動画像データを生成する。そして、ストリーム変換装置１１０は、図１０のＤに示すフレームレートが３０ｆｐｓのベースバンドの動画像データをフレームメモリ１１０から読み出して、ＭＰＥＧ−２符号化／復号部１１１により符号化し、図１０のＥに示すようなＭＰＥＧ−４方式の符号化ストリームを生成し、コンテンツサーバ１０１へ格納する。
【００１３】
【発明が解決しようとする課題】
しかしながら、以上のようなストリーム変換装置１１０によりフレームレートの変換を行った場合、３０ｆｐｓから１０ｆｐｓへのダウンコンバート時には、３０ｆｐｓの復号処理及び１０ｆｐｓの符号化処理とを合算した処理量が、処理コストとして費やされてしまう。また、１０ｆｐｓから３０ｆｐｓへのアップコンバート時には、１０ｆｐｓの復号処理及び３０ｆｐｓの符号化処理とを合算した処理量が、処理コストとして費やされてしまう。
【００１４】
本発明は、このような実状を鑑みて提案されたものであり、第１のフレームレートの動画像信号を第１の符号化方式を用いて符号化した第１のデータストリームから、上記第１のフレームレートより低い第２のフレームレートの上記動画像信号を第２の符号化方式を用いて符号化した第２のデータストリームを生成する動画像データストリームの変換を行う際に、処理コストを低減させるストリーム変換装置及び方法を提供することを目的とする。
【００１５】
また、第１のフレームレートの動画像信号を第１の符号化方式を用いて符号化した第１のデータストリームから、上記第１のフレームレートより高い第２のフレームレートの上記動画像信号を第２の符号化方式を用いて符号化した第２のデータストリームを生成する動画像データストリームの変換を行う際に、処理コストを低減させるストリーム変換装置及び方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明にかかるストリーム変換装置及び方法は、第１のフレームレートの動画像信号を第１の符号化方式を用いて符号化した第１のデータストリームから、上記第１のフレームレートより低い第２のフレームレートの上記動画像信号を第２の符号化方式を用いて符号化した第２のデータストリームを生成する。この発明では、上記第２のデータストリーム中に符号化されないフレームを復号せずに上記第１のデータストリームから上記動画像信号を復号し、復号された上記動画像信号を第２の符号化方式を用いて符号化して第２のデータストリームを生成することを特徴としている。
【００１７】
また、本発明にかかるストリーム変換装置及び方法は、第１のフレームレートの動画像信号を第１の符号化方式を用いて符号化した第１のデータストリームから、上記第１のフレームレートより高い第２のフレームレートの上記動画像信号を第２の符号化方式を用いて符号化した第２のデータストリームを生成する。この発明では、上記第１のデータストリームから上記動画像信号を復号し、復号された上記動画像信号を第２の符号化方式を用いて符号化して第２のデータストリームを生成するとともに、同一のフレーム画像を繰り返し挿入することによりフレームレートを高くする場合には、挿入されるフレーム画像に対して、前画像からの繰り返し画像であることを示す符号化処理を行うことを特徴としている。
【００１８】
【発明の実施の形態】
本発明の実施の形態として本発明を適用したストリーム変換装置について説明をする。本発明の実施の形態のストリーム変換装置は、ＭＰＥＧ−２方式で符号化された動画像の符号化ストリームから、ＭＰＥＧ−４方式で符号化された動画像の符号化ストリームへの変換、並びに、その逆変換を行う符号化方式変換処理が可能となっている。また、本実施の形態のストリーム変換装置は、動画像の符号化ストリームのフレームレートの変換を行うことが可能となっている。
【００１９】
本発明の実施の形態のストリーム変換装置は、例えば、図１に示すように、コンテンツサーバ２から第１のフレームレート（例えば３０ｆｐｓ）のＭＰＥＧ−２方式の符号化ストリームが入力ストリームＳ１として入力され、その入力ストリームＳ１の符号化方式及びフレームレートを変換することによって、第１のフレームレートより低い第２のフレームレート（例えば１０ｆｐｓ）のＭＰＥＧ−４方式の符号化ストリームを生成し、生成した符号化ストリームを出力ストリームＳ２としてネットワーク３を介して配信するストリーム変換装置１に適用される。
【００２０】
また、本発明の実施の形態のストリーム変換装置は、例えば、図２に示すように、ネットワーク３から上記第２のフレームレート（例えば１０ｆｐｓ）のＭＰＥＧ−４方式の符号化ストリームが入力ストリームＳ１として入力され、その入力された入力ストリームＳ１の符号化方式及びフレームレートを変換することによって、上記第１のフレームレート（例えば３０ｆｐｓ）のＭＰＥＧ−２方式の符号化ストリームを生成し、生成した符号化ストリームを出力ストリームＳ２としてコンテンツサーバ２に格納するストリーム変換装置１に適用される。
【００２１】
図３に、上記のストリーム変換装置１の内部構成図を示す。
【００２２】
ストリーム変換装置１は、コンテンツサーバ２又はネットワーク３から入力される入力ストリームＳ１に対する入力処理を行う入力部１１と、コンテンツサーバ２又はネットワーク３へ出力する出力ストリームＳ２に対する出力を行う出力部１２と、ベースバンドの動画像データの入出力処理を行う画像入出力部１３と、符号化ストリームの符号化及び復号を行う符号化／復号部１４と、ベースバンドの動画像データを記憶するフレームメモリ１５と、フレームメモリ１５のインターフェースとなるメモリインタフェース１６とを備えている。
【００２３】
このストリーム変換装置１には、入力ストリームＳ１及び出力ストリームＳ２として、ＭＰＥＧ−２方式の符号化ストリーム又はＭＰＥＧ−４方式の符号化ストリームが入出力される。
【００２４】
入力部１１は、ＭＰＥＧ−２又はＭＰＥＧ−４の符号化ストリームをコンテンツサーバ２又はネットワーク３から受信して、符号化／復号部１４に供給する。
【００２５】
出力部１２は、符号化／復号部１４から出力されたＭＰＥＧ−２又はＭＰＥＧ−４の符号化ストリームを、コンテンツサーバ２又はネットワーク３へ送信する。
【００２６】
画像入出力部１３は、外部装置との間でベースバンドの動画像データの送受信を行う。
【００２７】
符号化／復号部１４は、ＭＥＰＧ−２及びＭＰＥＧ−４の両者に対する符号化及び復号処理を行うことができる共用回路となっている。また、符号化／復号部１４は、外部コントローラ等からの制御に基づき例えば時分割処理等が行われ、符号化処理及び復号処理を同時平行的に行うことができ、また、ＭＰＥＧ−２及びＭＰＥＧ−４の異なる方式同士のストリームに対する処理も同時平行的に行うことができる。また、例えば、複数本の符号化ストリームに対する複数の符号化処理及び復号処理も行うことができる。
【００２８】
フレームメモリ１５は、ベースバンドの動画像データを格納する。フレームメモリ１５は、メモリインタフェース１６を介して動画像データの読み出し及び書き込みが行われる。符号化／復号部１４は、符号化ストリームを復号して生成された動画像データを、フレーム単位でフレームメモリ１５に格納する。また、符号化／復号部１４は、フレームメモリ１５に格納されている動画像データをフレーム単位で読み出して、符号化処理を行う。また、画像入出力部１３は、フレームメモリ１５に格納されているベースバンドの動画像データを読み出して外部装置に出力し、また、外部装置から入力されたベースバンドの動画像データをフレームメモリ１５に格納する。
【００２９】
つぎに、符号化／復号部１４の構成について説明をする。
【００３０】
符号化／復号部１４は、可変長符号化／復号部２１と、量子化／逆量子化部２２と、ＤＣＴ／ＩＤＣＴ処理部２３と、動き補償部２４と、減算器２５と、加算器２６と、動き検出部２７と、コントローラ２８とを備えている。
【００３１】
可変長符号化／復号部２１は、可変長符号及び固定長符号の符号化及び復号を行う。可変長符号化／復号部２１は、符号化処理を行う場合には、量子化／逆量子化部２２から量子化後のＤＣＴ係数データが入力されるとともに、コントローラ２８から動きベクトル等の各種シンタックスが入力され、これらに対して可変長符号または固定長符号の符号化処理を行う。可変長符号化／復号部２１は、可変長符号及び固定長符号の符号化処理をしたのち、ＭＰＥＧ−２又はＭＰＥＧ−４の規格に応じたストリームを形成し、形成したストリームを出力部１２に供給する。また、可変長符号化／復号部２１は、復号処理を行う場合には、入力部１１から符号化ストリームが入力され、入力された符号化ストリームの構造を解析してストリームを分割し、それぞれ分割したデータに対して可変長符号の復号処理又は固定長符号の復号処理を行う。可変長符号化／復号部２１は、ＤＣＴ係数は量子化／逆量子化部２２に供給し、動きベクトル等のシンタックスはコントローラ２８に供給する。
【００３２】
量子化／逆量子化部２２は、量子化処理及び逆量子化処理を行う。量子化／逆量子化部２２は、符号化処理を行う場合には、ＤＣＴ／ＩＤＣＴ処理部２３からＤＣＴ係数データが入力され、入力されたＤＣＴ係数データに対して所定の量子化パラメータを用いて量子化処理を行い、量子化処理をしたＤＣＴ係数データを可変長符号化／復号部２１に供給する。また、量子化／逆量子化部２２は、復号処理を行う場合には、可変長符号化／復号部２１からＤＣＴ係数データが入力され、入力されたＤＣＴ係数データに対して所定の量子化パラメータを用いて逆量子化処理を行い、逆量子化処理をしたＤＣＴ係数データをＤＣＴ／ＩＤＣＴ処理部２３に供給する。
【００３３】
ＤＣＴ／ＩＤＣＴ処理部２３は、離散コサイン変換処理及び逆離散コサイン変換処理を行う。ＤＣＴ／ＩＤＣＴ処理部２３は、符号化処理を行う場合には、減算器２５から出力された空間領域に画像データがフレーム単位で入力され、入力された画像データに対して離散コサイン変換処理を行い、ＤＣＴ係数データを生成する。ＤＣＴ／ＩＤＣＴ処理部２３は、符号化処理時には、生成したＤＣＴ係数データを量子化／逆量子化処理部２２に供給する。ＤＣＴ／ＩＤＣＴ処理部２３は、復号処理を行う場合には、量子化／逆量子化部２２からＤＣＴ係数データが入力され、入力されたＤＣＴ係数データに対して逆離散コサイン変換を行い、空間領域の画像データを生成する。ＤＣＴ／ＩＤＣＴ処理部２３は、復号処理を行う場合には、生成した空間領域の画像データを加算器２６に供給する。
【００３４】
動き補償部２４は、フレームメモリ１５に格納されている参照フレームを読み出して、上記参照フレームに対して動きベクトルに応じた動き補償を行い、予測フレームを生成する。
【００３５】
ここで、符号化／復号部１４は、符号化処理を行う場合には、一旦量子化処理がされた後のＤＣＴ係数データに対して逆量子化、ＩＤＣＴ処理及び動き補償といった局所復号処理を行い、局所復号がされた画像データをフレームメモリ１６内に格納する。さらに、動き補償部２４は、その局所復号された画像データを参照フレームとし予測フレームを生成する。また、動き補償部２４は、復号処理を行う場合には、すでに復号された参照フレームをフレームメモリ１５から読み出して、予測フレームを生成する。動き補償部２４は、符号化処理を行う場合には予測フレームを減算器２５に供給し、復号処理を行う場合には予測フレームを加算器２６に供給する。
【００３６】
減算器２５は、符号化処理を行う場合に、フレームメモリ１６から符号化対象となるフレームが入力される。減算器２５は、符号化対象となるフレームから、動き補償部２４から供給された予測フレームを減算する。減算器２５は、減算後のフレームをＤＣＴ／ＩＤＣＴ処理部２３に供給する。
【００３７】
加算器２６は、復号処理を行う場合に、ＤＣＴ／ＩＤＣＴ処理部２３からフレーム単位で画像データが入力され、入力された画像データに動き補償部２４から供給された予測フレームを加算する。加算器２６は、加算後のフレームをフレームメモリ１５に格納する。
【００３８】
動き検出部２７は、フレームメモリ１６内の画像データに基づき、各フレーム間の動きベクトルを、マクロブロック単位で算出する。算出された動きベクトルは、動き補償部２４に供給されるとともに、コントローラ２８に供給する。
【００３９】
コントローラ２８は、符号化ストリームに含まれる画像データ以外のシンタックスを生成するとともに、符号化／復号部１４内の各回路の制御を行う。
【００４０】
つぎに、コンテンツサーバ２に格納されているフレームレートが３０ｆｐｓのＭＰＥＧ−２方式の符号化ストリームを、フレームレートが１０ｆｐｓのＭＰＥＧ−４方式の符号化ストリームに変換して、ネットワーク３を介して送出する場合の、ストリーム変換装置１の動作について図４を参照して説明をする。
【００４１】
ストリーム変換装置１は、図４のＡに示すような３０ｆｐｓのＭＰＥＧ−２方式の符号化ストリームをコンテンツサーバ２から読み出す。読み出されたＭＰＥＧ−２方式の符号化ストリームは、入力部１１を介して符号化／復号部１４に供給される。符号化／復号部１４は、入力されたＭＰＥＧ−２の符号化ストリームを復号して、ベースバンドの動画像データを生成する。生成されたベースバンドの動画像データはフレームメモリ１５に格納される。
【００４２】
この際、符号化／復号部１４は、ＭＰＥＧ−４の符号化時に必要なフレームのみの復号処理を行い、符号化されないフレームに対しては復号をせずに破棄する。破棄するフレームは、例えば、Ｂピクチャのような削除しても他のフレームの復号処理に影響を与えないものが望ましい。例えば、Ｉピクチャ又はＰピクチャの現れる周期が３フレームに１回である一般的なＧＯＰ構成の符号化ストリームであれば、図４のＢに示すように、Ｂピクチャの復号を行わずに破棄し、Ｉ又はＰピクチャのみを復号を行う。このように復号を行うことによって、フレームレートが１０ｆｐｓのベースバンドの動画像データを生成することができる。
【００４３】
そして、符号化／復号部１４は、図４のＢに示すフレームレートが１０ｆｐｓのベースバンドの動画像データをフレームメモリ１５から読み出して、ＭＰＥＧ−４方式で符号化し、図４のＣに示すようなＭＰＥＧ−４方式の符号化ストリームを生成し、ネットワーク３へ配信する。
【００４４】
ストリーム変換装置１は、以上のような処理を行うことによって、復号処理の処理量を削減し、全体の処理コストを少なくすることができる。
【００４５】
つぎに、ネットワーク３を介して受信したフレームレートが１０ｆｐｓのＭＰＥＧ−４方式の符号化ストリームを、フレームレートが３０ｆｐｓのＭＰＥＧ−２方式の符号化ストリームに変換して、コンテンツサーバ２に格納する場合の、ストリーム変換装置１の動作について図５を参照して説明をする。
【００４６】
ストリーム変換装置１は、図５のＡに示すようなフレームレートが１０ｆｐｓのＭＰＥＧ−４方式の符号化ストリームをネットワーク３から受信する。受信されたＭＰＥＧ−４方式の符号化ストリームは、入力部１１を介して符号化／復号部１４に供給される。符号化／復号部１４は、入力されたＭＰＥＧ−４の符号化ストリームを復号して、図５のＢに示すような、１０ｆｐｓのベースバンドの動画像データを生成する。生成されたベースバンドの動画像データはフレームメモリ１５に格納される。続いて、符号化／復号部１４は、フレームメモリ１５に格納されている１０ｆｐｓのベースバンドの動画像データを読み出して符号化し、ＭＰＥＧ−２方式の符号化ストリームの生成を行う。
【００４７】
この際、符号化／復号部１４は、フレームレートを１０ｆｐｓから３０ｆｐｓにするために、任意の位置に新たなフレームを挿入する。挿入する新たなフレームは、過去のフレームをそのまま繰り返して用いる。符号化／復号部１４では、その繰り返して用いられる新たなフレームを、ＭＰＥＧ−２の符号化方式で規定されているスキップドマクロブロックにより構成するように符号化を行う。スキップドマクロブロックは、現在の画像データが時間的に前のマクロブロックのデータと同一である場合、そのマクロブロックをスキップし、実際の画像データを伝送しないマクロブロックである。例えば、図５のＣに示すように、Ｂ０、Ｂ１、Ｂ３、Ｂ４の画像をスキップドマクロブロックで構成されたフレームとする。このようにスキップドマクロブロックで構成されたフレームとすることによって、そのフレームに対するＤＣＴ処理等の演算を行わなくてもよくなり、処理量を削減することができる。そして、符号化／復号部１４は、以上のように生成した図５のＣに示すような３０ｆｐｓのＭＰＥＧ−２の符号化ストリームを、出力部１２を介してコンテンツサーバ２に格納する。
【００４８】
ストリーム変換装置１は、以上のような処理を行うことによって、符号化処理の処理量を削減し、全体の処理コストを少なくすることができる。
【００４９】
以上のように本発明の実施の形態のストリーム変換装置１では、従来のストリーム変換装置に比べて、フレームレートを変換する際の処理量を削減することができる。
【００５０】
なお、本発明の実施の形態のストリーム変換装置１は、図１及び図２に示したアプリケーションのみならず、例えば、図６に示すように、フレームレートが１０ｆｐｓのＭＰＥＧ−４の符号化ストリームをネットワーク３を介して受信し、且つ、フレームレートが３０ｆｐｓのＭＰＥＧ−２の符号化ストリームをコンテンツサーバ２から読み出して、その読み出した符号化ストリームをフレームレートが１０ｆｐｓのＭＰＥＧ−４の符号化ストリームに変換して、ネットワーク３を介して配信することもできる。
【００５１】
また、例えば、図７に示すように、フレームレートが１０ｆｐｓのＭＰＥＧ−４の符号化ストリームをネットワーク３を介して受信し、受信した符号化ストリームを、ＭＰＥＧ−１及びＭＰＥＧ−２の２つの３０ｆｐｓの符号化ストリームに変換し、ＭＰＥＧ−１の符号化ストリームをフラッシュメモリ４等のリムーバブルなメディアに記録し、ＭＰＥＧ−２の符号化ストリームをコンテンツサーバ２に記録するといったこともできる。
【００５２】
【発明の効果】
本発明にかかるストリーム変換装置及び方法では、第１のフレームレートの動画像信号を第１の符号化方式を用いて符号化した第１のデータストリームから、上記第１のフレームレートより低い第２のフレームレートの上記動画像信号を第２の符号化方式を用いて符号化した第２のデータストリームを生成する際に、上記第２のデータストリーム中に符号化されないフレームを復号せずに上記第１のデータストリームから上記動画像信号を復号し、復号された上記動画像信号を第２の符号化方式を用いて符号化して第２のデータストリームを生成する。
【００５３】
このことにより本発明にかかるストリーム変換装置及び方法では、処理コストの低減を図ることができる。
【００５４】
また、本発明にかかるストリーム変換装置及び方法は、第１のフレームレートの動画像信号を第１の符号化方式を用いて符号化した第１のデータストリームから、上記第１のフレームレートより高い第２のフレームレートの上記動画像信号を第２の符号化方式を用いて符号化した第２のデータストリームを生成する際に、同一のフレーム画像を繰り返し挿入することによりフレームレートを高くする場合には、挿入されるフレーム画像に対して、前画像からの繰り返し画像であることを示す符号化処理を行う。
【００５５】
このことにより本発明にかかるストリーム変換装置及び方法では、処理コストの低減を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態のストリーム変換装置の第１の適用例を示す図である。
【図２】本発明の実施の形態のストリーム変換装置の第２の適用例を示す図である。
【図３】本発明の実施の形態のストリーム変換装置のブロック構成図である。
【図４】本発明の実施の形態のストリーム変換装置により、フレームレートが３０ｆｐｓのＭＰＥＧ−２方式の符号化ストリームを、フレームレートが１０ｆｐｓのＭＰＥＧ−４方式の符号化ストリームに変換する際に生成されるデータ等を示す図である。
【図５】本発明の実施の形態のストリーム変換装置により、フレームレートが１０ｆｐｓのＭＰＥＧ−４方式の符号化ストリームを、フレームレートが３０ｆｐｓのＭＰＥＧ−２方式の符号化ストリームに変換する際に生成されるデータ等を示す図である。
【図６】本発明の実施の形態のストリーム変換装置の第１の適用例を示す図である。
【図７】本発明の実施の形態のストリーム変換装置の第２の適用例を示す図である。
【図８】従来のストリーム変換装置のブロック構成図である。
【図９】従来のストリーム変換装置により、フレームレートが３０ｆｐｓのＭＰＥＧ−２方式の符号化ストリームを、フレームレートが１０ｆｐｓのＭＰＥＧ−４方式の符号化ストリームに変換する際に生成されるデータ等を示す図である。
【図１０】従来のストリーム変換装置により、フレームレートが１０ｆｐｓのＭＰＥＧ−４方式の符号化ストリームを、フレームレートが３０ｆｐｓのＭＰＥＧ−２方式の符号化ストリームに変換する際に生成されるデータ等を示す図である。
【符号の説明】
１　ストリーム変換装置、２　コンテンツサーバ、３　ネットワーク、１１　入力部、１２　出力部、１３　画像入出力部、１４　符号化／復号部、１５　フレームメモリ、１６　メモリインタフェース
【図１】
2004120415.tif 000003
【図２】
2004120415.tif 000004
【図３】
2004120415.tif 000005
【図４】
2004120415.tif 000006
【図５】
2004120415.tif 000007
【図６】
2004120415.tif 000008
【図７】
2004120415.tif 000009
【図８】
2004120415.tif 000010
【図９】
2004120415.tif 000011
【図１０】
2004120415.tif 000012