(57)【要約】【課題】画質の低下を抑制しながら符号化効率の低下も抑制することのできる処理効率の良いトランスコード技術を提供する。【解決手段】１つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード装置において、復号部１００は、第１の符号化ストリームを復号して第１の復号画像を出力する。第１の再符号化部２００は、第１の符号化ストリームに基づいて第１の復号画像を再符号化して、第１の符号化ストリームよりもビットレートが小さい第２の符号化ストリームを生成する。【選択図】図２
2019054335.tif 000002
【特許請求の範囲】
【請求項１】
１つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード装置であって、
第１の符号化ストリームを復号して第１の復号画像を出力する復号部と、
前記第１の符号化ストリームに基づいて前記第１の復号画像を再符号化して、前記第１の符号化ストリームよりもビットレートが小さい第２の符号化ストリームを生成する第１の再符号化部とを備えることを特徴とするトランスコード装置。
【請求項２】
前記第２の符号化ストリームに基づいて前記第１の復号画像を再符号化して、前記第２の符号化ストリームよりもビットレートが小さい第３の符号化ストリームを出力する第２の再符号化部をさらに備えることを特徴とする請求項１に記載のトランスコード装置。
【請求項３】
前記復号部は、前記第２の符号化ストリームを復号して第２の復号画像を出力し、
前記第２の符号化ストリームに基づいて前記第２の復号画像を再符号化して、前記第２の符号化ストリームよりもビットレートが小さい第３の符号化ストリームを出力する第２の再符号化部をさらに備えることを特徴とする請求項１に記載のトランスコード装置。
【請求項４】
前記第ｉ（ここでｉ＝１または２）の再符号化部は、
前記第ｉの符号化ストリームから符号化ブロックサイズ、予測ブロックサイズ、及び予測情報を含む第ｉのストリーム基本情報を生成するストリーム基本情報生成部と、
前記第ｉの符号化ストリームと前記第（ｉ＋１）の符号化ストリームの画像サイズの比に応じて、前記第ｉのストリーム基本情報を第（ｉ＋１）のストリーム基本情報に変換するストリーム基本情報変換部と、
前記第（ｉ＋１）のストリーム基本情報を用いて前記第ｉの復号画像を符号化して第（ｉ＋１）の符号化ストリームを生成する符号化部とを備えることを特徴とする請求項２に記載のトランスコード装置。
【請求項５】
前記第ｉ（ここでｉ＝１または２）の再符号化部は、
前記第ｉの符号化ストリームから符号化ブロックサイズ、予測ブロックサイズ、及び予測情報を含む第ｉのストリーム基本情報を生成するストリーム基本情報生成部と、
前記第ｉの符号化ストリームと前記第（ｉ＋１）の符号化ストリームの画像サイズの比に応じて、前記第ｉのストリーム基本情報を第（ｉ＋１）のストリーム基本情報に変換するストリーム基本情報変換部と、
前記第（ｉ＋１）のストリーム基本情報を用いて前記第（ｉ＋１）の復号画像を符号化して第（ｉ＋１）の符号化ストリームを生成する符号化部とを備えることを特徴とする請求項３に記載のトランスコード装置。
【請求項６】
前記ストリーム基本情報変換部は、前記第ｉのストリーム基本情報においてブロック分割後の各符号化ブロックのサイズが所定サイズ以下であれば、前記第ｉのストリーム基本情報において当該符号化ブロックサイズをもつ符号化ブロックと符号化順で連続する複数の符号化ブロックを前記第（ｉ＋１）のストリーム基本情報では１つの符号化ブロックに変換することを特徴とする請求項４または５に記載のトランスコード装置。
【請求項７】
前記ストリーム基本情報変換部は、前記第ｉのストリーム基本情報の符号化ブロック内の複数の予測ブロックのサイズの組み合わせが所定サイズの組み合わせであれば、前記第ｉのストリーム基本情報の符号化ブロック内の複数の予測ブロックを前記第（ｉ＋１）のストリーム基本情報では１つの予測ブロックに変換することを特徴とする請求項４または５に記載のトランスコード装置。
【請求項８】
前記ストリーム基本情報変換部は、前記第ｉのストリーム基本情報の符号化四分木内の予測ブロックの分割数が所定数以上であれば、前記第（ｉ＋１）のストリーム基本情報の符号化ブロックをイントラモードに設定することを特徴とする請求項４または５に記載のトランスコード装置。
【請求項９】
１つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード方法であって、
第１の符号化ストリームを復号して第１の復号画像を出力する復号ステップと、
前記第１の符号化ストリームに基づいて前記第１の復号画像を再符号化して、前記第１の符号化ストリームよりもビットレートが小さい第２の符号化ストリームを生成する第１の再符号化ステップとを備えることを特徴とするトランスコード方法。
【請求項１０】
１つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコードプログラムであって、
第１の符号化ストリームを復号して第１の復号画像を出力する復号ステップと、
前記第１の符号化ストリームに基づいて前記第１の復号画像を再符号化して、前記第１の符号化ストリームよりもビットレートが小さい第２の符号化ストリームを生成する第１の再符号化ステップとをコンピュータに実行させることを特徴とするトランスコードプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化データのトランスコード技術に関し、特に複数回トランスコードする場合に好適である映像符号化データのトランスコード装置、トランスコード方法及びトランスコードプログラムに関する。
【背景技術】
【０００２】
近年、ＭＰＥＧ−ＤＡＳＨ（ＭＰＥＧ  Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）に代表される適応ストリーミング技術をクラウド上で運用するサービスが盛んになっている。
【０００３】
適応ストリーミング技術ではクラウド上に複数のビットレートの映像符号化データが所定期間で切り替えられるようにあらかじめ用意されている。そのため、ユーザーは視聴環境、たとえばビットレートの影響を受ける視聴条件等の動的な変化に応じて、所定期間の単位で最適なビットレートを選択し、当該ビットレートに対応する映像符号化データをストリーミングして視聴することができる。
【０００４】
ところが、適応ストリーミング技術では１つの映像データに対して複数のビットレートの映像符号化データを用意する必要があり、複数の映像符号化データの生成に要するコストが大きくなる課題があった。
【０００５】
また、最新の映像符号化技術であるＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）では、インター予測サイズが４×８画素から６４×６４画素まで適応的に利用することができることから映像符号化データの生成に要するコストは更に大きくなる課題があった。
【０００６】
１つの映像データに対して複数のビットレートの映像符号化データを生成する技術として第１の符号化ストリームを復号して第２の符号化ストリームに符号化するトランスコードが知られている。
【０００７】
例えば、特許文献１には、第１の符号化ストリームのブロックの動きベクトルを用いて第２の符号化ストリームにトランスコードすることで処理量を削減する技術が記載されている。特許文献２には、第１の符号化ストリームの一部を利用して複数回のトランスコードの処理効率を向上させる構成が記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−３０９８５１号公報
【特許文献２】特表２００４−５３３７４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載の技術では復号画像を入力画像として利用するため、繰り返し再符号化を行う場合に画質が低下する課題がある。特許文献２に記載の技術では全てのビットレートで第１の符号化ストリームの一部を利用して複数回のトランスコードを行うため、符号化効率が低下する課題がある。
【００１０】
本発明はこうした状況に鑑みてなされたものであり、その目的は、画質の低下を抑制しながら符号化効率の低下も抑制することのできる処理効率の良いトランスコード技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある態様のトランスコード装置は、１つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード装置であって、第１の符号化ストリームを復号して第１の復号画像を出力する復号部（１００）と、前記第１の符号化ストリームに基づいて前記第１の復号画像を再符号化して、前記第１の符号化ストリームよりもビットレートが小さい第２の符号化ストリームを生成する第１の再符号化部（２００）とを備える。
【００１２】
本発明の別の態様は、トランスコード方法である。この方法は、１つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード方法であって、第１の符号化ストリームを復号して第１の復号画像を出力する復号ステップと、前記第１の符号化ストリームに基づいて前記第１の復号画像を再符号化して、前記第１の符号化ストリームよりもビットレートが小さい第２の符号化ストリームを生成する第１の再符号化ステップとを備える。
【００１３】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１４】
本発明によれば、画質の低下を抑制しながら符号化効率の低下も抑制することのできる処理効率の良いトランスコード技術を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態１に係るトランスコードシステムを説明する図である。
【図２】図１の多出力再符号化装置の構成を説明する図である。
【図３】図２の再符号化部の構成を説明する図である。
【図４】ストリーム基本情報の変換処理を説明するフローチャートである。
【図５】ＣＵサイズの変更処理を説明するフローチャートである。
【図６】図６（Ａ）はストリーム基本情報Ｎの中のある符号化四分木ＣＱＴのＣＵ分割例を示し、図６（Ｂ）は図６（Ａ）のＣＱＴを変換した後のＣＱＴのＣＵ分割例を示す図である。図６（Ｃ）は図６（Ａ）のＣＱＴのＣＵをＰＵに分割した例を示し、図６（Ｄ）は図６（Ｂ）のＣＱＴのＣＵをＰＵに分割した例を示す図である。
【図７】予測情報の変換処理を説明するフローチャートである。
【図８】実施の形態２に係る多出力再符号化装置の構成を説明する図である。
【図９】図８の再符号化部の構成を説明する図である。
【発明を実施するための形態】
【００１６】
［実施の形態１］
以下、図面とともに本発明の好適な実施の形態に係るトランスコード装置、トランスコード方法、及びトランスコードプログラムの詳細について説明する。なお、図面の説明において同一要素には同一符号を付与して重複する説明を省略する。
【００１７】
図１は、実施の形態１に係るトランスコードシステムを説明する図である。実施の形態１に係るトランスコードシステムは、映像符号化装置１０００、多出力再符号化装置２０００、及び復号装置３０００、３００１、３００２、３００３を含む。映像符号化装置１０００は、例えばＣＰＵ、ＲＡＭ、ＲＯＭ又はこれらが協調してなる装置である。映像符号化装置１０００は、一例としてコンピュータに設置される。多出力再符号化装置２０００は、例えばＣＰＵ、ＲＡＭ、ＲＯＭ又はこれらが協調してなる装置である。多出力再符号化装置２０００は一例としてクラウドサーバに設置され、映像符号化装置１０００及び復号装置３０００、３００１、３００２、３００３はネットワークを介して多出力再符号化装置２０００に接続される。ここでは、多出力再符号化装置２０００はクラウドサーバに設置されるとしたが、ゲートウェイ等の機器内に設置してもよく、映像符号化装置１０００及び復号装置３０００、３００１、３００２、３００３はネットワークを介して多出力再符号化装置２０００に接続されていれば形態を問わない。
【００１８】
映像符号化装置１０００は、端子１０より入力された映像データを一例としてＨＥＶＣで符号化してビットレートＲＡで符号化ストリームＡを出力する。
【００１９】
多出力再符号化装置２０００は、映像符号化装置１０００より入力された符号化ストリームＡを複数のビットレートのＨＥＶＣストリームにトランスコードして、符号化ストリームＡ、ビットレートＲＢの符号化ストリームＢ、ビットレートＲＣの符号化ストリームＣ、及びビットレートＲＤの符号化ストリームＤを出力する。
【００２０】
復号装置３０００は、多出力再符号化装置２０００より入力された符号化ストリームＡを復号して端子２０に復号映像データＡを出力する。
【００２１】
復号装置３００１は、多出力再符号化装置２０００より入力された符号化ストリームＢを復号して端子２１に復号映像データＢを出力する。
【００２２】
復号装置３００２は、多出力再符号化装置２０００より入力された符号化ストリームＣを復号して端子２２に復号映像データＣを出力する。
【００２３】
復号装置３００３は、多出力再符号化装置２０００より入力された符号化ストリームＤを復号して端子２３に復号映像データＤを出力する。
【００２４】
ここで、ビットレート（ｂｐｓ）ＲＡ、ＲＢ、ＲＣ、ＲＤの関係は式１である。
ＲＡ＞ＲＢ＞ＲＣ＞ＲＤ    （式１）
【００２５】
ここでは、符号化ストリームＡ、符号化ストリームＢ、符号化ストリームＣ、及び符号化ストリームＤは、表１に記載の画像サイズとビット数で符号化されるものとして説明する。符号化ストリームＡ、符号化ストリームＢ、符号化ストリームＣ、及び符号化ストリームＤの画像サイズ（ピクセル）、色差形式、フレームレート（ｆｐｓ）、及びビット数の組み合わせは、それぞれ上位の符号化ストリームの画像サイズ、色差形式、フレームレート、及びビット数が下位の符号化ストリームの画像サイズ、色差形式、フレームレート、及びビット数以上であれば、この組み合わせに限定されない。
【００２６】
【表１】
2019054335.tif 000003
【００２７】
一例として、復号映像データＡが出力される端子２０には高解像度ビデオモニタが接続され、復号映像データＢが出力される端子２１にはパーソナルコンピュータが接続され、復号映像データＣが出力される端子２２にはタブレットコンピュータが接続され、復号映像データＤが出力される端子２３にはスマートフォンが接続される。つまり、端子２０に接続される機器から順に、映像データの処理能力が低くなる。
【００２８】
上記の説明では復号装置３０００〜３００３を別個の装置として説明したが、復号装置３０００〜３００３の機能ブロックを備えた一つの装置を設けてもよい。その場合、一つの復号装置がネットワークの輻輳度やプロセッサの使用率に応じて複数の符号化ストリームＡ〜Ｄから適切なビットストリームの符号化ストリームを選択して復号する。また、一つの復号装置の中に１０ビット対応の復号ブロックと、８ビット対応の復号ブロックが設けられ、１０ビット対応の復号ブロックが１０ビットの符号化ストリームＡを復号し、８ビット対応の復号ブロックが８ビットの符号化ストリームＢ〜Ｄを復号するように構成してもよい。
【００２９】
図２は、多出力再符号化装置２０００の構成を説明する図である。多出力再符号化装置２０００は、復号部１００、再符号化部２００、再符号化部２０１、及び再符号化部２０２を含む。
【００３０】
図２を参照しながら、多出力再符号化装置２０００の動作の概要について説明する。ここでは、多出力再符号化装置２０００は、端子３０より入力された符号化ストリームＡをアクセスユニット単位で処理するものとして説明するが、複数のアクセスユニット単位やＧＯＰ単位で処理してもよい。また、アクセスユニットより小さい単位のスライスやＣＴＵ（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）などの単位で処理することで、遅延を小さくすることもできる。
【００３１】
端子３０より入力されたビットレートＲＡの符号化ストリームＡは端子４０に出力される。
【００３２】
復号部１００は、端子３０より入力された符号化ストリームＡを復号して復号画像を出力する。
【００３３】
再符号化部２００は、端子３０より入力された符号化ストリームＡに基づいて復号部１００より入力された復号画像を再符号化してビットレートＲＢの符号化ストリームＢを生成し、端子４１に出力する。
【００３４】
再符号化部２０１は、再符号化部２００より入力された符号化ストリームＢに基づいて復号部１００より入力された復号画像を再符号化してビットレートＲＣの符号化ストリームＣを生成し、端子４２に出力する。
【００３５】
再符号化部２０２は、再符号化部２０１より入力された符号化ストリームＣに基づいて復号部１００より入力された復号画像を再符号化してビットレートＲＤの符号化ストリームＤを生成し、端子４３に出力する。
【００３６】
このように再符号化部２００、２０１、２０２はそれぞれ復号画像を再符号化して符号化ストリームＢ、Ｃ、Ｄを生成する際、符号化条件の近い一つだけ上位の符号化ストリームＡ、Ｂ、Ｃの情報に基づいて符号化するため、符号化効率の低下を抑えることができる。また、再符号化部２００、２０１、２０２は最も品質の良い符号化ストリームＡを復号した復号画像を再符号化するため、画質の低下を抑えることができる。
【００３７】
上記の説明では、再符号化部２００、２０１、２０２を別個のブロックとして説明したが、再符号化部２００、２０１、２０２を一つのブロックで構成してもよい。その場合、一つの再符号化部が符号化ストリームＡに基づいて復号画像を再符号化して符号化ストリームＢを生成し、次に、符号化ストリームＢに基づいて復号画像を再符号化して符号化ストリームＣを生成し、さらに、符号化ストリームＣに基づいて復号画像を再符号化して符号化ストリームＤを生成すればよい。
【００３８】
図３は、再符号化部２００、２０１、２０２の構成を説明する図である。再符号化部２００、２０１、２０２は、ストリーム基本情報生成部５００、ストリーム基本情報変換部６００、復号画像変換部７００、及び符号化部８００を含む。再符号化部２００、再符号化部２０１及び再符号化部２０２は同じ構成である。
【００３９】
図３を参照しながら、再符号化部２００、２０１、２０２の動作の概要について説明する。
【００４０】
ストリーム基本情報生成部５００は、端子５０より入力された符号化ストリームＮからストリーム基本情報ＳＮを生成してストリーム基本情報ＳＮを出力する。ここでＮ＝Ａ、ＢまたはＣである。再符号化部２００の場合、ストリーム基本情報生成部５００は符号化ストリームＡからストリーム基本情報ＳＡを生成し、再符号化部２０１の場合、ストリーム基本情報生成部５００は符号化ストリームＢからストリーム基本情報ＳＢを生成し、再符号化部２０２の場合、ストリーム基本情報生成部５００は符号化ストリームＣからストリーム基本情報ＳＣを生成する。
【００４１】
ここで、ストリーム基本情報ＳＮについて説明する。ストリーム基本情報ＳＮは、符号化ストリームＮを復号して得られる情報であり、ここでは、符号化ブロックサイズ（ＣＵ（Ｃｏｄｉｎｇ  Ｕｎｉｔ）サイズ）、予測ブロックサイズ（ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）サイズ）、予測情報を含むものとする。予測情報には、イントラ予測モード、動きベクトル、動きベクトルが参照する参照画像情報が含まれる。ＰＵサイズは、符号化ブロック（ＣＵ）内の予測ブロック（ＰＵ）の分割パターンを示すパーティションモードで定まる。なお、符号化ブロックサイズとは、符号化ツリーユニットを繰り返して分割する際のブロックのサイズを意味する。また、予測ブロックサイズとは、予測処理する際に符号化ブロックを分割するブロックのサイズを意味する。また、符号化ツリーユニットとは、ピクチャを分割するユニット（単位）を意味する。
【００４２】
ストリーム基本情報変換部６００は、ストリーム基本情報生成部５００より入力された符号化ストリームＮのストリーム基本情報ＳＮを符号化ストリームＭのストリーム基本情報ＳＭに変換してストリーム基本情報ＳＭを出力する。ここでＭ＝Ｂ、ＣまたはＤである。再符号化部２００の場合、ストリーム基本情報変換部６００はストリーム基本情報ＳＡをストリーム基本情報ＳＢに変換し、再符号化部２０１の場合、ストリーム基本情報変換部６００はストリーム基本情報ＳＢをストリーム基本情報ＳＣに変換し、再符号化部２０２の場合、ストリーム基本情報変換部６００はストリーム基本情報ＳＣをストリーム基本情報ＳＤに変換する。ストリーム基本情報の変換の詳細については後述する。
【００４３】
復号画像変換部７００は、表１に示した符号化ストリームＭの各種符号化条件を格納したメモリ（図示せず）を参照して、端子５１より入力された復号画像ＩＡを表１に示した符号化ストリームＭの画像サイズ、色差形式とビット数の組み合わせに適合するように変換して復号画像ＩＭを出力する。例えば、再符号化部２００の場合に符号化ストリームＢを出力するので、再符号化部２００は、再符号化部２００に入力された復号画像ＩＡを、表１に記載した符号化ストリームＢの画面サイズＷ×Ｈピクセル、色差形式４：２：０、フレームレート３０ｆｐｓ、ビット数８ビットに適合するように変換した復号画像ＩＭを出力する。
【００４４】
符号化部８００は、復号画像変換部７００より入力された復号画像ＩＭをストリーム基本情報変換部６００より入力されたストリーム基本情報ＳＭに基づいて符号化して符号化ストリームＭを端子６０に出力する。符号化部８００は、符号化ストリームＭのストリーム基本情報ＳＭに基づいて復号画像ＩＭを符号化するため、符号化処理の処理量の中で比較的重い処理であるＣＵサイズの決定、パーティションモードの決定、イントラ予測モードの決定、及び動きベクトルと動きベクトルが参照する参照画像情報の決定に係る処理を削減することができる。
【００４５】
再符号化部２００、２０１、２０２は、復号画像の中で符号化による画質劣化が最小である符号化ストリームＡの復号画像を入力画像とすることで、画質劣化を最小限に抑制することができる。また、再符号化部２００、２０１、２０２は、ストリーム基本情報として、画像サイズ、色差形式及びビット数が最も近似している符号化済みストリームのストリーム基本情報を用いることで、符号化効率の低下を最小限に抑制することができる。一般的にビットレートと、画像サイズ、色差形式及びビット数とは相関関係があるため、再符号化部２００、２０１、２０２は、ストリーム基本情報として最も近似のビットレートを有する符号化済みストリームのストリーム基本情報を用いることもできる。
【００４６】
図４は、ストリーム基本情報の変換処理を説明するフローチャートである。以下、図４を参照して、ストリーム基本情報の変換の動作について説明する。
【００４７】
最初に、符号化ストリームＮの画像サイズと符号化ストリームＭの画像サイズが同じであるか検査する（Ｓ１００）。
【００４８】
符号化ストリームＮの画像サイズと符号化ストリームＭの画像サイズが同じであれば（Ｓ１００のＹＥＳ）、符号化ストリームＭのストリーム基本情報ＳＭは符号化ストリームＮのストリーム基本情報ＳＮと同じものとして（Ｓ１１０）、処理を終了する。符号化ストリームＮの画像サイズと符号化ストリームＭの画像サイズが同じでなければ（Ｓ１００のＮＯ）、ＣＵサイズを変更する（Ｓ１２０）。次に、パーティションモードを変更する必要があるか検査する（Ｓ１３０）。パーティションモードを変更する必要がなければ（Ｓ１３０のＮＯ）、ステップＳ１５０に進む。パーティションモードを変更する必要があれば（Ｓ１３０のＹＥＳ）、パーティションモードを変更する（Ｓ１４０）。次に、予測情報を変更して（Ｓ１５０）、処理を終了する。
【００４９】
図５は、ステップＳ１２０のＣＵサイズの変更処理を説明するフローチャートである。以下、図５を参照して、ＣＵサイズの変更について説明する。
【００５０】
まず、ストリーム基本情報ＳＮのブロック分割後の各ＣＵサイズが所定サイズ以下であるか検査する（Ｓ２００）。ストリーム基本情報ＳＮのブロック分割後の各ＣＵサイズが所定サイズ以下であれば（Ｓ２００のＹＥＳ）、ストリーム基本情報ＳＮにおいて当該ＣＵサイズをもつＣＵと符号化順で連続する複数のＣＵをストリーム基本情報ＳＭでは１つのＣＵに変換する（Ｓ２１０）。ストリーム基本情報ＳＭのＣＵは１つのＰＵを含むようにパーティションモードを設定する（Ｓ２２０）。ストリーム基本情報ＳＮのブロック分割後の各ＣＵサイズが所定サイズ以下でなければ（Ｓ２００のＮＯ）、ストリーム基本情報ＳＮのＣＵサイズを、符号化ストリームＮの画像サイズと符号化ストリームＭの画像サイズの比に応じて、ストリーム基本情報ＳＭのＣＵサイズに変更する（Ｓ２３０）。
【００５１】
ここで、再符号化部２１０におけるＣＵサイズの変更を伴うストリーム基本情報の変換の例を説明する。図６（Ａ）はストリーム基本情報ＳＮの中のある符号化四分木ＣＱＴ（Ｃｏｄｉｎｇ  Ｑｕａｄ  Ｔｒｅｅ）のＣＵ分割例である。図６（Ｂ）は図６（Ａ）のＣＱＴを変換した後のストリーム基本情ＳＭのＣＱＴのＣＵ分割例である。以下、図６（Ａ）と図６（Ｂ）に基づいて説明する。
【００５２】
再符号化部２１０は、画像サイズがＷ×Ｈ、色差形式が４２０、ビット数が８ビットである符号化ストリームＢを復号して、画像サイズがＷ／２×Ｈ／２、色差形式が４２０、ビット数が８ビットである符号化ストリームＣを生成する。以下、符号化ストリームＢの最大ＣＵサイズは３２×３２、最小ＣＵサイズは８×８であるとして説明する。
【００５３】
符号化ストリームＢの画像サイズと符号化ストリームＣの画像サイズの比に応じて、ストリーム基本情報ＳＢのＣＵサイズをストリーム基本情報ＳＣのＣＵサイズに変更する。ここでは、符号化ストリームＢと符号化ストリームＣの画像サイズの比が２：１であるため、ストリーム基本情報ＳＢのＣＵサイズを水平方向と垂直方向にそれぞれ１／２のサイズに変更してストリーム基本情報ＳＣのＣＵサイズとする。例えば、ＣＵサイズが３２×３２のＣＵ（Ａ０）はＣＵサイズが１６×１６のＣＵ（Ｂ０）に変更される。ここで、ＣＱＴについては、ストリーム基本情報ＳＢの３２×３２からストリーム基本情報ＳＣでは１６×１６に変更されるものとする。
【００５４】
ここで、ＣＵ（Ａ４）、ＣＵ（Ａ５）、ＣＵ（Ａ６）、及びＣＵ（Ａ７）のサイズはＨＥＶＣの最小ＣＵサイズである８×８であるため、水平方向と垂直方向にそれぞれ１／２にサイズを変更すると４×４となり、ＨＥＶＣに存在しないＣＵサイズとなる。そのため、ストリーム基本情報ＳＢのブロック分割後の各ＣＵサイズが所定サイズ（ここでは８×８）以下である場合、ストリーム基本情報ＳＢにおいて当該ＣＵサイズをもつＣＵと符号化順で連続する複数のＣＵをストリーム基本情報ＳＣでは１つのＣＵに変換する。すなわち、４つのＣＵ（Ａ４）、ＣＵ（Ａ５）、ＣＵ（Ａ６）、及びＣＵ（Ａ７）は１つのＣＵ（Ｂ４）に変換される。このように、ストリーム基本情報ＳＢにおいて当該ＣＵサイズをもつＣＵと符号化順で連続する複数のＣＵをストリーム基本情報ＳＣでは１つのＣＵに変換することで、符号化ストリームＣをＨＥＶＣに準拠した符号化ストリームとすることができる。
【００５５】
続いて、ステップＳ１３０とステップＳ１４０のパーティションモードの変更について詳細に説明する。
【００５６】
ステップＳ１３０においてパーティションモードを変更する必要があるか検査することは、ストリーム基本情報ＳＮのあるＣＵ内の複数のＰＵサイズの組み合わせが所定サイズの組み合わせであるか検査することである。ステップ１４０においてパーティションモードを変更することは、ストリーム基本情報ＳＮの複数のＰＵの組み合わせをストリーム基本情報ＳＭでは１つのＰＵからなるパーティションモードに変更することである。
【００５７】
ここでは、パーティションモードによってストリーム基本情報ＳＭのＰＵサイズを決定したが、符号化ストリームＮの画像サイズと符号化ストリームＭの画像サイズの比率と同じ比率になるように、ストリーム基本情報ＳＮのＰＵサイズをストリーム基本情報ＳＭのＰＵサイズに変換してもよい。
【００５８】
図６（Ｃ）は、図６（Ａ）のＣＱＴのＣＵをＰＵに分割した例である。例えば、ＣＵ（Ａ０）はＰＵ（Ｘ０）で構成され、ＣＵ（Ａ１）はＰＵ（Ｘ１）とＰＵ（Ｘ２）で構成され、ＣＵ（Ａ６）はＰＵ（Ｘ８）とＰＵ（Ｘ９）で構成されている。図６（Ｄ）は、ストリーム基本情報を変換した結果得られた図６（Ｂ）のＣＱＴのＣＵをＰＵに分割した例である。以下、図６（Ｃ）と図６（Ｄ）に基づいて説明する。
【００５９】
符号化ストリームＢの画像サイズと符号化ストリームＣの画像サイズの比に応じて、ストリーム基本情報ＳＢのＰＵサイズをストリーム基本情報ＳＣのＰＵサイズに変更する。ここでは、符号化ストリームＢと符号化ストリームＣの画像サイズの比が２：１であるため、ストリーム基本情報ＳＢのＰＵサイズを水平方向と垂直方向にそれぞれ１／２のサイズに変更してストリーム基本情報ＳＣのＰＵサイズとする。例えば、ＰＵサイズが３２×３２のＰＵ（Ｘ０）はＰＵサイズが１６×１６のＰＵ（Ｙ０）に変更され、ＰＵサイズが１６×３２のＰＵ（Ｘ１）はＰＵサイズが８×１６のＰＵ（Ｙ１）に変更される。
【００６０】
ここで、ＰＵ（Ｘ４）のサイズは１６×４、ＰＵ（Ｘ５）のサイズは１６×１２であるため、水平方向と垂直方向にそれぞれ１／２にサイズを変更すると８×２、８×６となり、ＨＥＶＣに存在しないＰＵサイズとなる。そのため、ストリーム基本情報ＳＢのＣＵ内の複数のＰＵサイズの組み合わせが所定サイズの組み合わせ（ここでは１６×４と１６×１２、または４×１６と１２×１６）であれば、ストリーム基本情報ＳＢのＣＵ内の複数のＰＵをストリーム基本情報ＳＣでは１つのＰＵに変換する。すなわち、２つのＰＵ（Ｘ４）とＰＵ（Ｘ５）は１つのＰＵ（Ｙ４）に変換される。ここで、「ＣＵ内の複数のＰＵサイズの組み合わせが所定サイズの組み合わせである」とは、たとえば、あるＣＵ内の複数のＰＵについてサイズ変更すると規格外になる組み合わせ、あるいは、規格内ではあるがデコーダで対応することができないＰＵサイズの組み合わせであることを言う。
【００６１】
また、ストリーム基本情報ＳＢにおいて同一階層の符号化順で連続する複数のＣＵがストリーム基本情報ＳＣでは１つのＣＵに変換される場合、ストリーム基本情報ＳＢにおいて同一階層の符号化順で連続する複数のＣＵに含まれるＰＵはストリーム基本情報ＳＣでは１つのＰＵに変換される。すなわち、ストリーム基本情報ＳＢの４つのＣＵ（Ａ４）からＣＵ（Ａ７）はストリーム基本情報ＳＣでは１つのＣＵ（Ｂ４）に変換されたので、ストリーム基本情報ＳＢの５つのＰＵ（Ｘ６）からＰＵ（Ｘ１０）はストリーム基本情報ＳＣでは１つのＰＵ（Ｙ５）に変換される。このように、ストリーム基本情報ＳＢのＣＵ内の複数のＰＵをストリーム基本情報ＳＣでは１つのＰＵに変換することで、符号化ストリームＣをＨＥＶＣに準拠した符号化ストリームとすることができる。
【００６２】
ここでは、ストリーム基本情報ＳＮの同一階層の複数のＰＵサイズの組み合わせが所定サイズの組み合わせであれば、ストリーム基本情報ＳＮの同一階層の複数のＰＵをストリーム基本情報ＳＭでは１つのＰＵに変換するとしたが、ストリーム基本情報ＳＮの所定サイズ以下のＣＵサイズのＣＵのパーティションモードが所定のパーティションモードであれば、ストリーム基本情報ＳＭのパーティションモードをストリーム基本情報ＳＮのＣＵのパーティションモードとは異なる同じ分割方向を有するパーティションモードに変更することもできる。例えば、ＰＵ（Ｙ４）は、ＣＵ（Ａ３）が水平方向に分割されていたことを考慮して、水平方向に分割可能なパーティションモードである８×４の２つのＰＵに変換することもできる。
【００６３】
また、ストリーム基本情報ＳＮのＣＱＴ内の同一階層のＰＵの数が所定数以上であれば、ストリーム基本情報ＳＮのＣＱＴ内のＰＵの分割方向が多くなる方向に分割するパーティションモードをストリーム基本情報ＳＭのＣＵのパーティションモードに設定することもできる。例えば、ＣＵ（Ａ４）〜ＣＵ（Ａ７）がＰＵに分割されたとき水平方向に２分割、垂直方向に１分割され、水平方向により多く分割されていたことを考慮して、ＰＵ（Ｙ５）を、水平方向に分割可能なパーティションモードである８×４の２つのＰＵに変換することもできる。
【００６４】
また、ストリーム基本情報ＳＮのＣＱＴ内の同一階層のＰＵの数が所定数以上であれば、インター予測の効率は低い可能性があるため、そのＣＱＴをイントラモードのＣＵとすることもできる。例えば、ＣＵ（Ａ４）からＣＵ（Ａ７）を含むＣＱＴは、ＰＵ（Ｘ６）からＰＵ（Ｘ１０）の５つのＰＵを含むため、ＣＵ（Ｂ４）をイントラモードとする。
【００６５】
また、同様に、ストリーム基本情報ＳＮのＣＱＴ内にイントラモードのＣＵが所定数以上であれば、インター予測の効率は低い可能性があるため、そのＣＱＴをイントラモードのＣＵとすることもできる。例えば、ＣＵ（Ａ４）からＣＵ（Ａ７）を含むＣＱＴの中でＣＵ（Ａ５）がイントラモードであれば、ＣＵ（Ｂ４）をイントラモードとする。
【００６６】
また、ステップＳ１２０で変更されたＣＵサイズと同一になるように、ステップＳ１４０でパーティンションモードを決定してもよい。つまり、変換した後のストリーム基本情報ＳＭのＣＱＴのＣＵ分割（図６（Ｂ））と、変換した結果得られたＰＵ分割（図６（Ｄ））とが同一になるようにしてもよい。
【００６７】
図７は、ステップＳ１５０の予測情報の変換処理を説明するフローチャートである。以下、図７を参照して、予測情報の変換について説明する。
【００６８】
まず、予測ブロックがイントラモードであるか検査する（Ｓ４００）。予測ブロックがイントラモードであれば（Ｓ４００のＹＥＳ）、ステップＳ４２０に進む。予測ブロックがイントラモードでなければ（Ｓ４００のＮＯ）、符号化ストリームＮと符号化ストリームＭの画像サイズの比に応じて動きベクトルをスケーリングする（Ｓ４１０）。次に、ストリーム基本情報ＳＮのＣＵ内の複数のＰＵがストリーム基本情報ＳＭで１つのＰＵに変換されたか検査する（Ｓ４２０）。ストリーム基本情報ＳＮのＣＵ内の複数のＰＵがストリーム基本情報ＳＭで１つのＰＵに変換されていれば（Ｓ４２０のＹＥＳ）、ストリーム基本情報ＳＮの複数のＰＵの予測情報を予測情報候補として評価し（Ｓ４３０）、最も符号化効率の良い予測情報候補をストリーム基本情報ＳＭの予測情報として選択する（Ｓ４４０）。ストリーム基本情報ＳＮのＣＵ内の複数のＰＵがストリーム基本情報ＳＭで１つのＰＵに変換されていなければ（Ｓ４２０のＮＯ）、ストリーム基本情報ＳＮの予測情報をストリーム基本情報ＳＭの予測情報とする（Ｓ４５０）。
【００６９】
最も符号化効率の良い予測情報候補を予測情報として選択する手法としては、例えばレート歪評価法を用いればよい。レート歪評価法とは、符号化した際に発生する歪みと符号量とを用いて、歪みが少なくかつ符号量が少ない予測情報候補を評価する手法である。なお、複数のＰＵの予測情報を予測情報候補として評価する予測情報評価部は符号化部８００の中に設置する。ここでは、レート歪評価法を用いて評価精度を向上させるために予測情報評価部は符号化部８００の中に設置したが、処理量削減のためにストリーム基本情報変換部６００の中に設置してもよい。また、予測情報候補の単方向の動き情報（動きベクトルと動きベクトルが参照する参照画像情報）をそれぞれ相互に組み合わせて新たな予測情報を生成して予測情報候補に追加して評価することもできる。例えば、２つのＰＵ（Ｘ４）とＰＵ（Ｘ５）が１つのＰＵ（Ｙ４）に変換される場合、表２のような予測情報候補となる。ＭＶＬ０はＬ０方向の動きベクトル、ＲｅｆＩｄｘＬ０はＬ０方向の参照画像、ＭＶＬ１はＬ１方向の動きベクトル、ＲｅｆＩｄｘＬ１はＬ１方向の参照画像を示す。
【００７０】
【表２】
2019054335.tif 000004
【００７１】
また、ストリーム基本情報ＳＮのフレームレートの方がストリーム基本情報ＳＭのフレームレートより大きいような場合に、動きベクトルが参照する参照画像情報が存在しない可能性があり、予測情報をスケーリングして変換する。このように、動きベクトルが参照する参照画像情報が存在しない場合は予測情報をスケーリングして変換する。
【００７２】
ここでは、複数のＰＵの予測情報を予測情報候補として評価し、最も符号化効率の良い予測情報候補を選択するとしたが、例えば、評価する処理を削減するために、最も面積の広いＰＵの予測情報を利用することもできる。
【００７３】
また、インターモードの予測情報よりもビットレートの影響を受けやすいイントラモードの予測情報の特性を考慮して、符号化ストリームＮのビットレートと符号化ストリームＭのビットレートの比が所定値以上であれば、イントラモードの予測情報がインターモードの予測情報よりも変更されやすくすることもできる。
【００７４】
例えば、ステップＳ１１０やステップＳ４５０の後に予測ブロックがイントラモードであるか否か検査し（Ｓ９００）、予測ブロックがイントラモードであれば（Ｓ９００のＹＥＳ）、イントラモードの予測情報を変更し（Ｓ９１０）、予測ブロックがイントラモードでなければ（Ｓ９００のＮＯ）、終了するステップを追加することもできる。
【００７５】
たとえば、イントラ予測モード特定角度情報を有さないＤＣモードやＰＬＡＮＡＲモードでなければ予測モードを変更し、イントラ予測モード特定角度情報を有さないＤＣモードやＰＬＡＮＡＲモードであれば予測モードを変更しないようなステップを同様に追加することもできる。なお、イントラ予測モード特定角度情報とは、イントラ予測の予測方向を示す角度の情報である。さらに、パーティションモードがＮ×Ｎであれば予測モードを変更し、パーティションモードがＮ×Ｎでなければ予測モードを変更しないようなステップを同様に追加することもできる。さらに、パーティションモードがＮ×Ｎである場合の符号化対象ブロックが符号化済みブロックに隣接していなければ予測モードを変更し、パーティションモードがＮ×Ｎである場合の符号化対象ブロックが符号化済みの隣接ブロックに隣接していれば予測モードを変更しないようなステップを同様に追加することもできる。
【００７６】
上述したように、ストリーム基本情報の変換の動作は様々な形態が考えられるため、ストリーム基本情報の変換の動作であるＣＵサイズの変換規則やＰＵサイズの変換規則などをメタデータで定義して、ストリーム基本情報変換部６００に通知することもできる。このようにストリーム基本情報の変換の動作をメタデータで指定することで、用途に応じた好適なトランスコードを提供することができる。
【００７７】
［実施の形態２］
以下、実施の形態２に係るトランスコードシステムについて説明する。実施の形態２は、実施の形態１とは多出力再符号化装置と再符号化部の構成と動作が異なる。
【００７８】
図８は実施の形態２に係る多出力再符号化装置２０００の構成を説明する図である。実施の形態２に係る多出力再符号化装置２０００は、再符号化部２１０、再符号化部２１１、及び再符号化部２１２を含む。再符号化部２１０、再符号化部２１１、及び再符号化部２１２はそれぞれが相互にネットワークで接続される。
【００７９】
次に、多出力再符号化装置２０００の動作の概要について実施の形態１と異なる動作を説明する。
【００８０】
再符号化部２１０は、端子３０より入力された符号化ストリームＡの情報に基づいてビットレートＲＢの符号化ストリームＢを生成し、端子４１に出力する。
【００８１】
再符号化部２１１は、再符号化部２１０より入力された符号化ストリームＢの情報に基づいてビットレートＲＣの符号化ストリームＣを生成し、端子４２に出力する。
【００８２】
再符号化部２１２は、再符号化部２１１より入力された符号化ストリームＣの情報に基づいてビットレートＲＤの符号化ストリームＤを生成し、端子４３に出力する。
【００８３】
図９は、再符号化部２１０、２１１、２１２の構成を説明する図である。再符号化部２１０、２１１、２１２は、ストリーム基本情報生成部５００、ストリーム基本情報変換部６００、復号画像変換部７００、符号化部８００、及び復号部１００を含む。再符号化部２１０、再符号化部２１１及び再符号化部２１２は同じ構成である。
【００８４】
ストリーム基本情報生成部５００、ストリーム基本情報変換部６００、及び符号化部８００の動作は実施の形態１と同じである。
【００８５】
復号部１００は、端子５０より入力された符号化ストリームＮを復号して復号画像ＩＮを出力する。ここでＮ＝Ａ、ＢまたはＣである。復号画像変換部７００は、表１に示した符号化ストリームＭの各種符号化条件を格納したメモリ（図示せず）を参照して、復号部１００より入力された復号画像ＩＮを表１に示した符号化ストリームＭの画像サイズ、色差形式とビット数の組み合わせに適合するように変換して復号画像ＩＭを出力する。ここでＭ＝Ｂ、ＣまたはＤである。
【００８６】
再符号化部２１０の場合、復号部１００は符号化ストリームＡを復号して復号画像ＩＡを出力し、復号画像変換部７００は復号画像ＩＡを符号化ストリームＢの符号化条件に適合するように変換して復号画像ＩＢを出力する。
【００８７】
再符号化部２１１の場合、復号部１００は符号化ストリームＢを復号して復号画像ＩＢを出力し、復号画像変換部７００は復号画像ＩＢを符号化ストリームＣの符号化条件に適合するように変換して復号画像ＩＣを出力する。
【００８８】
再符号化部２１２の場合、復号部１００は符号化ストリームＣを復号して復号画像ＩＣを出力し、復号画像変換部７００は復号画像ＩＣを符号化ストリームＤの符号化条件に適合するように変換して復号画像ＩＤを出力する。
【００８９】
以上の映像符号化データトランスコードに関する処理は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。
【００９０】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００９１】
１０００  映像符号化装置、  ２０００  多出力再符号化装置、  ３０００、３００１、３００２、３００３  復号装置、  １００  復号部、  ２００、２０１、２０２  再符号化部、  ２１０、２１１、２１２  再符号化部、  ５００  ストリーム基本情報生成部、  ６００  ストリーム基本情報変換部、  ７００  復号画像変換部、  ８００  符号化部。
【図１】
2019054335.tif 000005
【図２】
2019054335.tif 000006
【図３】
2019054335.tif 000007
【図４】
2019054335.tif 000008
【図５】
2019054335.tif 000009
【図６】
2019054335.tif 000010
【図７】
2019054335.tif 000011
【図８】
2019054335.tif 000012
【図９】
2019054335.tif 000013