(57)【要約】【課題】複数のビットレートストリームを生成するための処理負荷の軽減と処理時間の削減を行う。【解決手段】動画像生成装置１００は、動画像データに対してデコード処理を行うデコード処理部１０１と、デコード処理されたストリームから、複数のビットレートストリームの生成に共通に用いられる動きベクトル、ＭＢ種別、ブロック形状等を算出する前処理部１０３と、デコード処理されたストリームから、第１〜３のビットレートストリームを、算出された動きベクトル、ＭＢ種別及びブロック形状等を用いて生成する第１〜３ビットレートストリーム生成部１０４〜１０６と、を備える。【選択図】図１
2010041731.tif 000002
【特許請求の範囲】
【請求項１】
符号化された動画像データに対してデコード処理を行うデコード処理部と、
デコード処理された前記動画像データを符号化する際に用いられる符号化パラメータを算出する算出部と、
前記デコード処理された前記動画像データに対して、前記符号化パラメータを用いて、各符号化モードの動画像データの所定の画像領域毎に量子化パラメータを算出し、当該量子化パラメータに基づいて、第１の符号化モードでの符号化処理を行うことで前記動画像データを生成する第１の生成部と、
前記デコード処理された前記動画像データに対して、前記符号化パラメータを用いて、各符号化モードの動画像データの所定の画像領域毎に量子化パラメータを算出し、当該量子化パラメータに基づいて、第２の符号化モードでの符号化処理を行うことで前記動画像データを生成する第２の生成部と、
前記第１の生成部及び前記第２の生成部のそれぞれで、前記画像領域毎に算出された前記量子化パラメータに基づいて、符号化モード毎の動画像データにおいて画質が変化する画面を判定する判定部と、
動画像生成装置が備える記憶部に対して、前記動画像データにおける、画質が変化したと判定された画面を特定可能に記憶する記憶部と、を備え、
前記第１の生成部及び前記第２の生成部は、前記デコード処理された共通の前記動画像データに対して、前記符号化パラメータを共通に使用して、符号化処理を行うこと、
を特徴とする動画像生成装置。
【請求項２】
前記判定部は、前記所定の画像領域毎の量子化パラメータから、画像データの画面単位で量子化パラメータの統計値を算出し、当該統計値が閾値以上か否かに基づいて、当該画面の画質の変化を判定すること、
を特徴とする請求項２に記載の動画像生成装置。
【請求項３】
前記算出部は、前記デコード処理された前記動画像データに含まれる所定の画素領域毎の動きベクトルの探索処理を行い、符号化に用いる動きベクトルを決定する動き探索部と、前記デコード処理された前記動画像データに含まれる所定の画素領域毎に、当該画素領域を含む画面と他の画面との間で動きベクトルの予測が必要な画素領域であるか否か判定する判定部と、を備え、
前記第１の生成部及び前記第２の生成部は、其々前記第１の符号化モード及び前記第２の符号化モードとしてビットレートの異ならせた上で、前記デコード処理部でデコード処理された共通の前記動画像データに対して、前記動き探索部により決定された前記所定の画素領域毎の動きベクトルと、前記判定部による前記画素領域毎の判定結果と、を前記第１の生成部及び前記第２の生成部で共通で用いて、他の画面との間の動きベクトルを用いた予測処理、又は当該画面内の動きベクトルを用いた予測処理を含めた符号化処理を行うこと、
を特徴とする請求項１又は２に記載の動画像生成装置。
【請求項４】
前記生成部は、Ｈ．２６４フォーマットの複数のビットレートの動画像データを生成すること、を特徴とする請求項１乃至３のいずれか一つに記載の動画像生成装置。
【請求項５】
動画像生成装置で実行される動画像生成方法であって、
符号化された動画像データに対してデコード処理を行うデコード処理ステップと、
デコード処理された前記動画像データを符号化する際に用いられる符号化パラメータを算出する算出ステップと、
前記デコード処理された前記動画像データに対して、前記符号化パラメータを用いて、各符号化モードの動画像データの所定の画像領域毎に量子化パラメータを算出し、当該量子化パラメータに基づいて、第１の符号化モードでの符号化処理を行うことで前記動画像データを生成する第１の生成ステップと、
前記デコード処理された前記動画像データに対して、前記符号化パラメータを用いて、各符号化モードの動画像データの所定の画像領域毎に量子化パラメータを算出し、当該量子化パラメータに基づいて、第２の符号化モードでの符号化処理を行うことで前記動画像データを生成する第２の生成ステップと、
前記第１の生成ステップ及び前記第２の生成ステップのそれぞれで、前記画像領域毎に算出された前記量子化パラメータに基づいて、符号化モード毎の動画像データにおいて画質が変化する画面を判定する判定ステップと、
動画像生成装置が備える記憶部に対して、前記動画像データにおける、画質が変化したと判定された画面を特定可能に記憶する記憶ステップと、を備え、
前記第１の生成ステップ及び前記第２の生成ステップとでは、前記デコード処理された共通の前記動画像データに対して、前記符号化パラメータを共通に使用して、符号化処理を行うこと、
を特徴とする動画像生成方法。
【請求項６】
符号化された動画像データに対してデコード処理を行うデコード処理ステップと、
デコード処理された前記動画像データを符号化する際に用いられる符号化パラメータを算出する算出ステップと、
前記デコード処理された前記動画像データに対して、前記符号化パラメータを用いて、各符号化モードの動画像データの所定の画像領域毎に量子化パラメータを算出し、当該量子化パラメータに基づいて、第１の符号化モードでの符号化処理を行うことで前記動画像データを生成する第１の生成ステップと、
前記デコード処理された前記動画像データに対して、前記符号化パラメータを用いて、各符号化モードの動画像データの所定の画像領域毎に量子化パラメータを算出し、当該量子化パラメータに基づいて、第２の符号化モードでの符号化処理を行うことで前記動画像データを生成する第２の生成ステップと、
前記画像領域毎に算出された前記量子化パラメータに基づいて、符号化モード毎の動画像データにおいて画質が変化する画面を判定する判定ステップと、
コンピュータが備える記憶部に対して、前記動画像データにおける、画質が変化したと判定された画面を特定可能に記憶する記憶ステップと、をコンピュータに実行させるための動画像生成プログラムであって、
前記第１の生成ステップ及び前記第２の生成ステップとでは、前記デコード処理された共通の前記動画像データに対して、前記符号化パラメータを共通に使用して、符号化処理を行うこと、
を特徴とする動画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の動画像データを生成する動画像生成装置、方法及びプログラムに関するものである。
【背景技術】
【０００２】
放送されたテレビ番組を家庭内で録画するための録画装置として、従来のビデオテープに録画するビデオデッキに代わり、ＨＤＤレコーダを利用する傾向が強まりつつある。
【０００３】
ＨＤＤディスクレコーダにおいては、テレビ番組を、Ｈ．２６４等のデジタル形式の動画像データとして、ＨＤＤや光磁気ディスクなどの記憶媒体に保存することができる。この場合、録画時間が同じでも、動画像データのビットレートに応じて、記憶媒体に占める容量が異なることになる。
【０００４】
このため、動画像データとして録画する際に選択するビットレートが重要となる。換言すれば利用者が、適切なビットレートを選択することで画質と容量の両立を図ることができる。また、ＨＤＤレコーダでは、一度録画した動画像データであっても、上述したようなＨＤＤの容量の節約や、ポータブル動画像再生装置で再生するための動画像データの生成などの様々な理由により、異なるビットレートにトランスコードすることができる。
【０００５】
異なるビットレートにトランスコードする技術としては、例えば、特許文献１に記載されている技術がある。この特許文献１に記載された技術を用いることで、動画像データを異なるビットレートにトランスコードすることが可能となる。このように、ユーザは、所望したビットレートの動画像データを利用できる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７―１５８９４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の特許文献１などの従来の技術においては、動画像データをトランスコードしようとした場合、録画時間とほぼ同等の時間がかかっていた。
【０００８】
ところで、動画像データにおいては、ビットレートが同じ場合でも、動画像データのソース毎に画質が異なることになる。例えば、所定のビットレートでエンコード又はトランスコードした場合に、動きが少ないドラマであれば良好な画質が得られるし、動きが激しいスポーツ番組では画質の劣化が生じることがある。このため、ユーザが望んだ画質が得られるものとして設定したビットレートでエンコード又はトランスコードした場合であっても、ユーザが期待した画質が得られない場合がある。
【０００９】
そして、現在提供されているＨＤＤレコーダ等においては、１種類のビットレートのみでしか動画像データのトランスコードが行われないのが通常である。
【００１０】
このため、一度トランスコードされた動画像データが、利用者が期待した画質ではなかった場合、ユーザが期待した画質の動画像データを得るためには、異なるビットレートで再度トランスコードする必要がある。このように、再度トランスコードする場合、もう一度録画時間と同等の時間がかかることになる。つまり、従来の技術では、ユーザが所望する画質及び容量の動画像データを得るためにトランスコードの時間がかかり過ぎるという問題がある。
【００１１】
一方、このような事態を回避するために、予め複数のビットレートで動画像データをトランスコードすればよいが、従来の処理で行うと複数分の録画時間と同等の時間が掛かると共に、ＨＤＤレコーダなどの装置において処理負担が大きいという問題点がある。
【００１２】
本発明は、上記に鑑みてなされたものであって、トランスコードの際の処理負荷の軽減や処理時間の削減を行うことができる動画像生成装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した課題を解決し、目的を達成するために、本発明にかかる動画像生成装置は、符号化された動画像データに対してデコード処理を行うデコード処理部と、デコード処理された前記動画像データを符号化する際に用いられる符号化パラメータを算出する算出部と、前記デコード処理された前記動画像データに対して、前記符号化パラメータを用いて、各符号化モードの動画像データの所定の画像領域毎に量子化パラメータを算出し、当該量子化パラメータに基づいて、第１の符号化モードでの符号化処理を行うことで前記動画像データを生成する第１の生成部と、前記デコード処理された前記動画像データに対して、前記符号化パラメータを用いて、各符号化モードの動画像データの所定の画像領域毎に量子化パラメータを算出し、当該量子化パラメータに基づいて、第２の符号化モードでの符号化処理を行うことで前記動画像データを生成する第２の生成部と、前記第１の生成部及び前記第２の生成部のそれぞれで、前記画像領域毎に算出された前記量子化パラメータに基づいて、符号化モード毎の動画像データにおいて画質が変化する画面を判定する判定部と、動画像生成装置が備える記憶部に対して、前記動画像データにおける、画質が変化したと判定された画面を特定可能に記憶する記憶部と、を備え、前記第１の生成部及び前記第２の生成部は、前記デコード処理された共通の前記動画像データに対して、前記符号化パラメータを共通に使用して、符号化処理を行うこと、を特徴とする。
【００１４】
また、本発明にかかる動画像生成方法は、動画像生成装置で実行される動画像生成方法であって、符号化された動画像データに対してデコード処理を行うデコード処理ステップと、デコード処理された前記動画像データを符号化する際に用いられる符号化パラメータを算出する算出ステップと、前記デコード処理された前記動画像データに対して、前記符号化パラメータを用いて、各符号化モードの動画像データの所定の画像領域毎に量子化パラメータを算出し、当該量子化パラメータに基づいて、第１の符号化モードでの符号化処理を行うことで前記動画像データを生成する第１の生成ステップと、前記デコード処理された前記動画像データに対して、前記符号化パラメータを用いて、各符号化モードの動画像データの所定の画像領域毎に量子化パラメータを算出し、当該量子化パラメータに基づいて、第２の符号化モードでの符号化処理を行うことで前記動画像データを生成する第２の生成ステップと、前記第１の生成ステップ及び前記第２の生成ステップのそれぞれで、前記画像領域毎に算出された前記量子化パラメータに基づいて、符号化モード毎の動画像データにおいて画質が変化する画面を判定する判定ステップと、動画像生成装置が備える記憶部に対して、前記動画像データにおける、画質が変化したと判定された画面を特定可能に記憶する記憶ステップと、を備え、前記第１の生成ステップ及び前記第２の生成ステップとでは、前記デコード処理された共通の前記動画像データに対して、前記符号化パラメータを共通に使用して、符号化処理を行うこと、を特徴とする。
【００１５】
また、本発明にかかる動画像生成プログラムは、符号化された動画像データに対してデコード処理を行うデコード処理ステップと、デコード処理された前記動画像データを符号化する際に用いられる符号化パラメータを算出する算出ステップと、前記デコード処理された前記動画像データに対して、前記符号化パラメータを用いて、各符号化モードの動画像データの所定の画像領域毎に量子化パラメータを算出し、当該量子化パラメータに基づいて、第１の符号化モードでの符号化処理を行うことで前記動画像データを生成する第１の生成ステップと、前記デコード処理された前記動画像データに対して、前記符号化パラメータを用いて、各符号化モードの動画像データの所定の画像領域毎に量子化パラメータを算出し、当該量子化パラメータに基づいて、第２の符号化モードでの符号化処理を行うことで前記動画像データを生成する第２の生成ステップと、前記画像領域毎に算出された前記量子化パラメータに基づいて、符号化モード毎の動画像データにおいて画質が変化する画面を判定する判定ステップと、コンピュータが備える記憶部に対して、前記動画像データにおける、画質が変化したと判定された画面を特定可能に記憶する記憶ステップと、をコンピュータに実行させるための動画像生成プログラムであって、前記第１の生成ステップ及び前記第２の生成ステップとでは、前記デコード処理された共通の前記動画像データに対して、前記符号化パラメータを共通に使用して、符号化処理を行うこと、を特徴とする。
【発明の効果】
【００１６】
本発明によれば、トランスコードの際の処理負荷の軽減や処理時間を削減できるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】図１は、第１の実施の形態にかかる動画像生成装置の構成を示すブロック図である。
【図２】図２は、第１の実施の形態にかかる動画像生成装置が行う前処理の共通化の示した概念図である。
【図３】図３は、画質変化位置記憶部が記憶する、ビットレートストリーム毎のフレームのインデックスを示した図である。
【図４】図４は、複数のビットレートストリームのフレームを表示した例を示した図である。
【図５】図５は、動画像生成装置の全体的な処理手順を示したシーケンス図である。
【図６】図６は、動画像生成装置のハードウェア構成を示した図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照して、この発明にかかる動画像生成装置、方法、及びプログラムの最良な実施の形態を詳細に説明する。
【００１９】
（第１の実施の形態）
図１に示すように、動画像生成装置１００は、デコード処理部１０１と、デコード処理結果保持部１０２と、前処理部１０３と、第１ビットレートストリーム生成部１０４と、第２ビットレートストリーム生成部１０５と、第３ビットレートストリーム生成部１０６と、フレーム判定部１０７と、画質変化位置記憶部１０８と、を備える。
【００２０】
本実施の形態にかかる動画像生成装置１００は、入力されたＭＰＥＧ−２ストリームから、複数種類のＨ．２６４ストリームを生成する。そして、生成されたＨ．２６４ストリームは、動画像符号化装置の外に存在する動画像記憶部に格納される。
【００２１】
動画像生成装置１００に入力されるＭＰＥＧ−２ストリームは、予め放送ストリームから、多重分離により取り出されたＭＰＥＧ−２ストリームとする。
【００２２】
この動画像生成装置１００に対して、ユーザは、放送ＭＰＥＧ−２ストリームをＨ．２６４ストリームに同時に変換する録画モードを複数指定したものとする。本実施の形態では、ユーザが録画モードＡ，Ｂ，Ｃの３つのモードを指定したと仮定する。そして、録画モードＡでは第１のビットレート（第１の符号化モード）で符号化を行い、録画モードＢでは第２のビットレート（第２の符号化モード）で符号化を行い、録画モードＣでは第３のビットレート（第３の符号化モード）で符号化を行うものとする。
【００２３】
また、録画モードＡ，Ｂ，Ｃは、ビットレート以外の設定を変更しても良い。つまり、動画像生成装置１００では、設定された録画モードに従って、複数種類のストリームが生成されれば良いものとする。
【００２４】
デコード処理部１０１は、入力されたＭＰＥＧ−２ストリームを解析しデコード処理を行いながら、フレーム種別情報、マクロブロック(Macro  Block、以下ＭＢと称す)種別、Frame/Field種別、動きベクトル等の情報をデコード処理結果保持部１０２に保存する。
【００２５】
デコード処理結果保持部１０２は、メモリなどの記憶手段であり、フレーム種別、ＭＢ種別、Frame/Field種別、動きベクトル等の情報を保持する。
【００２６】
フレーム種別は、動画像データにおける各フレームのタイプを識別する情報とする。ＭＢ種別は、フレーム内に含まれるマクロブロックを識別する情報とする。
【００２７】
Frame/Field種別は、Frame/Fieldのタイプを識別する情報とする。動きベクトルは、複数のフレーム間で、フレーム内の所定のブロックの動きをベクトルとして表現したものとする。
【００２８】
前処理部１０３は、第１動き探索処理部１１１と、第１モード判定処理部１１２と、動き探索点候補保持部１１３と、モード候補保持部１１４と、を備える。
【００２９】
本実施の形態にかかる前処理部１０３は、ＭＰＥＧ−２のデコード時の情報に基づいて、ストリームを生成する際に設定される符号化パラメータを算出する。本実施の形態にかかる前処理部１０３では、基準となる第１ビットレート（第１の録画モード）の符号化を行うための動き探索処理、モード判定処理を行う。前処理部１０３は、これら処理に基づいて、符号化パラメータとしてフレーム内の各ブロックの動きベクトルや、モード判定結果（ＭＢ種別やブロック形状）を算出する。換言すれば、前処理部１０３は、符号化パラメータを算出する算出部としての機能を有する。なお、符号化パラメータは、フレーム内の各ブロックの動きベクトルや、モード判定結果（ＭＢ種別やブロック形状）等に制限するものではない。符号化パラメータは、ストリームの符号化処理に用いるために算出された符号化パラメータのうち、複数のビットレートで共有できる情報であればよい。
【００３０】
そして、前処理部１０３で行われた動き探索処理、及びモード判定結果を、他のビットレート（第２のビットレート、及び第３のビットレート）のストリーム生成（符号化処理）で用いることで、複数ビットレートで利用可能な処理の共通化することができる。
【００３１】
第１動き探索処理部１１１は、デコード処理部１０１によるデコード処理されたストリームから抽出した動きベクトルの情報をもとに、動き探索処理を行う探索点の絞り込みを行なう。絞り込んだ探索点に対して動き探索処理を行い、最適な動きベクトルを決定する。
【００３２】
また、第１動き探索処理部１１１は、決定した動きベクトルの探索点を、動き探索点候補保持部１１３に保存する。
【００３３】
動き探索点候補保持部１１３は、第１動き探索処理部１１１により決定された動きベクトルの探索点を保存する。保存された動きベクトルは、第２ビットレートストリーム生成部１０５及び第３ビットレートストリーム生成部１０６で利用される。
【００３４】
第１モード判定処理部１１２は、デコード処理で抽出したブロック形状、ＭＢ種別、Frame/Field種別などの情報に基づいて、符号化するＭＢ種別、ブロック形状、Frame/Field種別などを判定する。
【００３５】
ＭＢ種別としては、イントラブロック又はインターブロックを識別する種別とする。イントラブロックとは、フレーム間で動きベクトルによる予測処理が不要なブロックを表す。インターブロックとは、フレーム間で動きベクトルによる予測処理が必要なブロックを表す。
【００３６】
Ｈ．２６４フォーマットにおける動き予測に用いるブロック形状は、従来は１種類だったが、高圧縮を実現するために１６×１６、１６×８、８×１６、８×８などの計７種類用意されている。
【００３７】
つまり、第１モード判定処理部１１２で特定されたＭＢ種別や動きベクトルのブロック形状等を、複数のビットレートで共通して用いることで、複数回トランスコードを行う場合と比べて、処理時間及び処理負担を軽減できる。
【００３８】
そして、第１モード判定処理部１１２は、判定結果として、符号化するＭＢ種別、ブロック形状、Frame/Field種別などを、モード候補保持部１１４に保存する。
【００３９】
モード候補保持部１１４は、第１モード判定処理部１１２により判定された、符号化するＭＢ種別、ブロック形状、Frame/Field種別などを保存する。保存された各情報は、第２ビットレートストリーム生成部１０５及び第３ビットレートストリーム生成部１０６で利用される。
【００４０】
つまり、本実施の形態にかかる動画像生成装置１００においては、第１動き探索処理部１１１による動きベクトル（動きベクトルの探索点も含む）の決定、及び第１モード判定処理部１１２によるモード判定処理は、第１ビットレートストリーム生成部１０４による第１ビットレートストリームの生成のために行われたものである。しかしながら、本実施の形態においては、決定された動きベクトルの探索点を動き探索点候補保持部１１３で、モード判定結果をモード候補保持部１１４で保持することとした。そして、保持している情報を、第２ビットレートストリーム生成部１０５及び第３ビットレートストリーム生成部１０６が取得し、利用することで、動きベクトル及びモード判定の結果を、複数種類のビットレートストリームの生成で共有することが可能となった。
【００４１】
つまり、図２に示すように、本実施の形態にかかる動画像生成装置１００においては、ＭＰＥＧ−２ストリームに対して前処理部１０３が処理した結果である、動きベクトル及びインター／イントラ予測の判定結果を、第１〜３のビットレートによるストリームの符号化に共通して用いることを可能とした。
【００４２】
したがって、本実施の形態にかかる動画像生成装置１００においては、動き探索及びモード判定処理以降の符号化処理は、ビットレート毎（各録画モード単位）に行われるが、符号化処理負荷の大半を占めるデコード処理、動き探索処理、モード判定処理を共通化することによって、複数種類のビットレートそれぞれ別々に符号化処理を行った場合に比べて、処理時間の短縮と、処理負荷の軽減を行うことができる。
【００４３】
第１ビットレートストリーム生成部１０４は、第１イントラ／インター予測処理部１２１と、第１ＤＣＴ／量子化処理部１２２と、第１符号化処理部１２３と、第１逆量子化／逆ＤＣＴ処理部１２４と、第１フレームメモリ１２５とを備え、前処理部１０３で算出された符号化パラメータ（例えば、動きベクトル、ＭＢ種別、ブロック形状等）を用いて、第１ビットレートストリームを生成する。
【００４４】
第１イントラ／インター予測処理部１２１は、デコード処理されたストリームと共に入力された、第１モード判定処理部１１２により判定されたＭＢ種別、ブロック形状、及び動きベクトルといった判定結果に従って、第１ビットレートに対応するインター予測処理又はイントラ予測処理を行う。
【００４５】
第１ＤＣＴ／量子化処理部１２２は、デコード処理されたストリームの所定のブロックごとにＤＣＴ（離散コサイン変換）演算を行った後、量子化処理（量子化パラメータの算出、算出された量子化パラメータから量子化ステップの導出含む）を行う。そして、第１ＤＣＴ／量子化処理部１２２は、量子化処理において算出された量子化パラメータを、フレーム判定部１０７に出力する。
【００４６】
そして、第１符号化処理部１２３は、第１ＤＣＴ／量子化処理部１２２から入力された情報（量子化パラメータから導出された量子化ステップ）に基づいて、Ｈ．２６４ストリームを生成する。第１逆量子化／逆ＤＣＴ処理部１２４は、逆量子化処理と、逆ＤＣＴ演算処理を行い、第１フレームメモリ１２５上の参照画像を更新する。
【００４７】
第１フレームメモリ１２５は、参照画像を保持する。保持された参照画像は、第１イントラ／インター予測処理部１２１による予測処理にもちいられる。
【００４８】
第２ビットレートストリーム生成部１０５は、第２イントラ／インター予測処理部１３１と、第２ＤＣＴ／量子化処理部１３２と、第２符号化処理部１３３と、第２逆量子化／逆ＤＣＴ処理部１３４と、第２フレームメモリ１３５とを備え、前処理部１０３で算出された符号化パラメータ（例えば、動きベクトル、ＭＢ種別、ブロック形状等）を用いて、第２ビットレートストリームを生成する。
【００４９】
第２イントラ／インター予測処理部１３１は、第１モード判定処理部１１２からデコード処理されたストリームが入力された場合に、動き探索点候補保持部１１３及びモード候補保持部１１４から取得した動きベクトル（動きベクトルの探索点及び動きベクトルのブロック形状）、及びＭＢ種別の判定結果に従って、第２ビットレートに対応するインター予測処理又はイントラ予測処理を行う。
【００５０】
そして、第２ＤＣＴ／量子化処理部１３２、第２符号化処理部１３３、第２逆量子化／逆ＤＣＴ処理部１３４、及び第２フレームメモリ１３５は、第１ビットレートが第２ビットレートに変更された以外は、第１ＤＣＴ／量子化処理部１２２と、第１符号化処理部１２３と、第１逆量子化／逆ＤＣＴ処理部１２４と、第１フレームメモリ１２５と同様の処理を行うものとして説明を省略する。
【００５１】
第３ビットレートストリーム生成部１０６は、第３イントラ／インター予測処理部１４１と、第３ＤＣＴ／量子化処理部１４２と、第３符号化処理部１４３と、第３逆量子化／逆ＤＣＴ処理部１４４と、第３フレームメモリ１４５とを備え、前処理部１０３で算出された符号化パラメータ（例えば、動きベクトル、ＭＢ種別、ブロック形状等）を用いて、第３ビットレートストリームを生成する。
【００５２】
第３イントラ／インター予測処理部１４１は、第１モード判定処理部１１２からデコード処理されたストリームが入力された場合に、動き探索点候補保持部１１３及びモード候補保持部１１４から取得した動きベクトル（動きベクトルの探索点及び動きベクトルのブロック形状）、及びＭＢ種別の判定結果に従って、第３ビットレートに対応するインター予測処理又はイントラ予測処理を行う。
【００５３】
そして、第３ＤＣＴ／量子化処理部１４２、第３符号化処理部１４３、第３逆量子化／逆ＤＣＴ処理部１４４、及び第３フレームメモリ１４５は、第１ビットレートが第３ビットレートに変更された以外は、第１ＤＣＴ／量子化処理部１２２と、第１符号化処理部１２３と、第１逆量子化／逆ＤＣＴ処理部１２４と、第１フレームメモリ１２５と同様の処理を行うものとして説明を省略する。
【００５４】
このように、本実施の形態にかかる動画像生成装置１００では、第１〜３ビットレートストリーム生成部１０４、１０５、１０６で共通して符号化パラメータを用いて、各ビットレートのストリームの生成を行うこととした。
【００５５】
フレーム判定部１０７は、入力された量子化パラメータに基づいて、画質が変化したフレームを判定する。この画質が変化したフレームの判定手法は、周知の手法を問わず、あらゆる手法を用いて良い。本実施の形態にかかるフレーム判定部１０７は、第１〜３ＤＣＴ／量子化処理部１２２、１３２及び１４２から入力されたマクロブロック毎の量子化パラメータを蓄積し、フレーム単位で量子化パラメータ関係の統計情報を算出する。
【００５６】
そして、フレーム判定部１０７は、算出された統計情報に基づいて、画質が変化したフレームを判定する。この画質が変化したフレームの判定は、ビットレートの異なるフレームの統計情報の比較に基づいて行ってもよいし、当該統計情報を元に量子化パラメータの平均値が所定の閾値を超えた場合に画質が変化したと判定しても良い。
【００５７】
そして、フレーム判定部１０７は、画質が変化したと判定されたフレームのインデックスを生成し、当該インデックスを画質変化位置記憶部１０８に記憶する。
【００５８】
画質変化位置記憶部１０８は、ビットレートが異なるストリーム毎に記憶されたフレームのインデックス（画質が変化したフレームの位置）を保持する。図３に示す例では、第１ビットレートストリームのインデックスでは、Ａ−Ａ’と、Ｂ−Ｂ’と、Ｃ−Ｃ’とで示された区間のフレームの画質が変化していることを示している。また、第２ビットレートストリームのインデックスでは、Ｂ−Ｂ’で示された区間のフレームの画質が変化していることを示している。そして、第３ビットレートストリームのインデックスでは、画質が変化したフレームは検出できなかったことを示している。
【００５９】
そして、動画像生成装置１００は、画質変化位置記憶部１０８に記憶された画質が変化した任意のビットレートの区間（Ａ−Ａ’と、Ｂ−Ｂ’と、Ｃ−Ｃ’）のフレームと、当該区間に対応する他のビットレートストリームのフレームを、図示しない表示部に表示することができる。
【００６０】
例えば、動画像生成装置１００において、ユーザが生成したストリームの画質比較モードを選択した場合に、画質変化位置記憶部１０８に記憶された各ストリームにおけるフレームのインデックスの一覧を表示する。この一覧画面は、図３に示した図を画面として表示しても良い。そして、ユーザが、当該フレームのインデックスで、任意の位置を選択すると、当該位置に対応した異なるビットストリームを同時に再生する。
【００６１】
図４に示に示した画面例では、図３の時間ｔ’からのフレームが、ビットレート毎に表示部に再生された例とする。利用者は、各ビットレートストリームを参照し、基準となるビットレートストリームの画質が劣化したフレーム区間だけ、画質が損なわれていない他のビットレートストリームのフレームと入れ換えて保存することができる。また、ユーザは画質を実際に確認した上で、複数のビットレートストリームから保存するビットレートストリームを選択することができる。このように、複数生成されたストリームについて、画質を確認した上で有効に活用することが可能となる。
【００６２】
次に、本実施の形態にかかる動画像生成装置１００の全体的な処理手順について、図５を用いて説明する。
【００６３】
まず、デコード処理部１０１が、ＭＰＥＧ−２ストリームのデコード処理を行い（ステップＳ３０１）、デコード処理されたストリームを前処理部１０３に送信する（ステップＳ３０２）。
【００６４】
次に、前処理部１０３の第１動き探索処理部１１１が、抽出された動きベクトルの情報をもとに、動き探索処理を行う探索点の絞り込みを行なう（ステップＳ３０３）。絞り込まれた探索点は、動き探索点候補保持部１１３に保持される。
【００６５】
そして、前処理部１０３の第１モード判定処理部１１２が、モード判定処理を行う（ステップＳ３０４）。具体的には、第１モード判定処理部１１２は、符号化するＭＢ種別、ブロック形状、Frame/Field種別などを判定する。
【００６６】
次に、第１モード判定処理部１１２は、動き探索点候補保持部１１３及び第１モード判定処理部１１２の判定結果と、デコード処理されたストリームを、第１ビットレートストリーム生成部１０４の第１イントラ／インター予測処理部１２１に送信する（ステップＳ３０５）。
【００６７】
さらに、第１モード判定処理部１１２は、デコード処理されたストリームを、第２ビットレートストリーム生成部１０５の第２イントラ／インター予測処理部１３１に送信する（ステップＳ３０６）。さらに、第１モード判定処理部１１２は、デコード処理されたストリームを、第３ビットレートストリーム生成部１０６の第３イントラ／インター予測処理部１４１に送信する（ステップＳ３０７）。
【００６８】
そして、第２イントラ／インター予測処理部１３１は、ストリームが入力された場合に、動き探索点候補保持部１１３から探索点を、モード候補保持部１１４からモード判定結果を、取得する（ステップＳ３０８）。また、第３イントラ／インター予測処理部１４１も、ストリームが入力された場合に、動き探索点候補保持部１１３から探索点を、モード候補保持部１１４からモード判定結果を、取得する（ステップＳ３０９）。
【００６９】
一方、第１イントラ／インター予測処理部１２１は、ステップＳ３０５の後、入力された各種判定結果に従って、第１ビットレートに対応するインター予測処理又はイントラ予測処理を行う（ステップＳ３１０）。次に、第１ＤＣＴ／量子化処理部１２２が、ＤＣＴ演算処理及び量子化処理を行う（ステップＳ３１１）。そして、第１ＤＣＴ／量子化処理部１２２は、量子化パラメータを、フレーム判定部１０７に出力する（ステップＳ３１６）。
【００７０】
また、第２イントラ／インター予測処理部１３１は、ステップＳ３０８の後、取得した各種判定結果に従って、第２ビットレートに対応するインター予測処理又はイントラ予測処理を行う（ステップＳ３１２）。次に、第２ＤＣＴ／量子化処理部１３２が、ＤＣＴ演算処理及び量子化処理を行う（ステップＳ３１３）。そして、第２ＤＣＴ／量子化処理部１４２は、量子化パラメータを、フレーム判定部１０７に出力する（ステップＳ３１７）。
【００７１】
そして、第３イントラ／インター予測処理部１４１は、ステップＳ３０９の後、取得した各種判定結果に従って、第３ビットレートに対応するインター予測処理又はイントラ予測処理を行う（ステップＳ３１４）。次に、第３ＤＣＴ／量子化処理部１４２が、ＤＣＴ演算処理及び量子化処理を行う（ステップＳ３１５）。そして、第３ＤＣＴ／量子化処理部１３２は、量子化パラメータを、フレーム判定部１０７に出力する（ステップＳ３１８）。
【００７２】
そして、フレーム判定部１０７は、入力された各ビットレートストリームのマクロブロック毎の量子化パラメータから、フレーム単位の統計情報を算出し、当該統計情報に基づいて画質が変化したフレームの判定を行う（ステップＳ３１９）。そして、判定結果は、画質変化位置記憶部１０８に記憶される。
【００７３】
さらに、ステップＳ３１６の量子化パラメータの送信後、第１ビットレートストリーム生成部１０４の第１符号化処理部１２３が、第１ビットレートのＨ．２６４ストリームを生成する（ステップＳ３２０）。その後、第１逆量子化／逆ＤＣＴ処理部１２４が、逆量子化処理と、逆ＤＣＴ演算処理を行い、第１フレームメモリ１２５上の参照画像を更新する（ステップＳ３２１）。更新された参照画像は、以降のインター予測／イントラ予測で用いられる。
【００７４】
そして、ステップＳ３１７の量子化パラメータの送信後、第２ビットレートストリーム生成部１０５の第２符号化処理部１３３が、第２ビットレートのＨ．２６４ストリームを生成する（ステップＳ３２２）。その後、第２逆量子化／逆ＤＣＴ処理部１３４が、逆量子化処理と、逆ＤＣＴ演算処理を行い、第２フレームメモリ１３５上の参照画像を更新する（ステップＳ３２３）。
【００７５】
さらに、ステップＳ３１８の量子化パラメータの送信後、第３ビットレートストリーム生成部１０６の第３符号化処理部１４３が、第３ビットレートのＨ．２６４ストリームを生成する（ステップＳ３２４）。その後、第３逆量子化／逆ＤＣＴ処理部１４４が、逆量子化処理と、逆ＤＣＴ演算処理を行い、第３フレームメモリ１４５上の参照画像を更新する（ステップＳ３２５）。
【００７６】
上述した処理手順により、複数のビットレートストリームが生成されると共に、各ビットレートストリームの画質が変化したフレームの位置が、画質変化位置記憶部１０８に記憶される。
【００７７】
本実施の形態にかかる動画像生成装置１００においては、処理負荷の比率が高い動き探索処理や、モード判定処理を、複数のビットレートストリームで共有して使用することで、処理負荷の軽減や、処理時間の削減を行うことができる。
【００７８】
本実施の形態にかかる動画像生成装置１００においては、３種類のビットレートのストリームを生成するが、３種類に制限するものではなく、２種類、又は４種類以上であっても良い。
【００７９】
なお、本実施の形態にかかる動画像生成装置１００は、Ｈ．２６４形式の動画像データを使用した例について説明したが、他の形式の動画像データに適用しても良い。
【００８０】
本実施の形態にかかる動画像生成装置１００は、複数のストリーミングを並列して生成する際に、動き探索処理と、モード判定処理とを、共通化、再利用を行うことで、ビットレート毎に行われていた動き探索処理等が不要となり、トランスコードの際の処理負荷の軽減や処理時間の削減を行うことができる。
【００８１】
さらに、画質変化位置記憶部１０８に各ビットレートストリームの画質が変化したフレーム置を特定するためのインデックスを記憶している。これにより、各ビットレートストリームにおいて、ユーザが所望する画質が保持されているか否かの確認が容易になる。さらに、画質が変化したフレームを表示部に表示することで、ユーザの嗜好でビットレートストリームを選択させることを可能とする。
【００８２】
また、動画像生成装置１００が生成した各ビットレートストリームの全部あるいは一部を、ダビング１０のコピーとして、図示しない記憶部に記憶しても良い。
【００８３】
本実施の形態の動画像生成装置１００は、図６に示すように、ＣＰＵ５０１と、ＲＯＭ（Read  Only  Memory）５０２と、ＲＡＭ５０３と、通信Ｉ／Ｆ５０４とを、これらを接続したバス５０５を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００８４】
本実施の形態の形態にかかる動画像生成装置１００に搭載するＣＰＵとして、どのようなＣＰＵを搭載しても良いが、特にマルチコアを搭載したＣＰＵが適している。マルチコアプロセッサのそれぞれのコアに対して、各種ビットレートのストリームの生成処理を、並列して行わせることで、効率よく処理を行うことができる。なお、当然ながら、シングルコアプロセッサを用いて上述した処理を行ってもよい。
【００８５】
本実施の形態の動画像生成装置１００で実行される動画像生成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００８６】
また、本実施の形態の動画像生成装置１００で実行される動画像生成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態の動画像生成装置１００で実行される動画像生成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００８７】
また、本実施の形態の動画像生成プログラムを、ＲＯＭ５０２等に予め組み込んで提供するように構成してもよい。
【００８８】
本実施の形態の動画像生成装置１００で実行される動画像生成プログラムは、上述した各部（デコーダ処理部、前処理部、複数のビットストリーム生成部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５０２が上記記憶媒体から動画像生成プログラムを読み出して実行することにより上記各部が主記憶装置であるＲＡＭ５０３上にロードされ、デコーダ処理部、前処理部、複数のビットストリーム生成部がＲＡＭ５０３上に生成されるようになっている。
【符号の説明】
【００８９】
１００  動画像生成装置
１０１  デコード処理部
１０２  デコード処理結果保持部
１０３  前処理部
１０４  第１ビットレートストリーム生成部
１０５  第２ビットレートストリーム生成部
１０６  第３ビットレートストリーム生成部
１０７  フレーム判定部
１０８  画質変化位置記憶部
１１１  第１動き探索処理部
１１２  第１モード判定処理部
１１３  動き探索点候補保持部
１１４  モード候補保持部
１２１  第１イントラ／インター予測処理部
１２２  第１ＤＣＴ／量子化処理部
１２３  第１符号化処理部
１２４  第１逆量子化／逆ＤＣＴ処理部
１２５  第１フレームメモリ
１３１  第２イントラ／インター予測処理部
１３２  第２ＤＣＴ／量子化処理部
１３３  第２符号化処理部
１３４  第２逆量子化／逆ＤＣＴ処理部
１３５  第２フレームメモリ
１４１  第３イントラ／インター予測処理部
１４２  第３ＤＣＴ／量子化処理部
１４３  第３符号化処理部
１４４  第３逆量子化／逆ＤＣＴ処理部
１４５  第３フレームメモリ
５０１  ＣＰＵ
５０２  ＲＯＭ
５０３  ＲＡＭ
５０４  通信Ｉ／Ｆ
５０５  バス
【図１】
2010041731.tif 000003
【図２】
2010041731.tif 000004
【図３】
2010041731.tif 000005
【図４】
2010041731.tif 000006
【図５】
2010041731.tif 000007
【図６】
2010041731.tif 000008