(57)【特許請求の範囲】
【請求項１】
フレーム内符号化及びフレーム間予測符号化を行う第１の符号化方式で符号化された動画像ストリームをデコードし、第２の符号化方式でエンコードするトランスコーダであって、
入力された動画像ストリームをデコードし、フレーム内符号化で符号化されたのかフレーム間予測符号化で符号化されたのかを示すサブ情報を検出するデコーダと、
前記サブ情報がフレーム内符号化されたことを示す情報である場合と、フレーム間予測符号化されたことを示す情報である場合とで、符号化するときに参照するフレームを変えるエンコーダと、
を有し、
入力された動画像ストリームは、ある入力F0フレームを参照対象としてフレーム間予測符号化かフレーム内符号化を符号化処理単位毎に切り替えながら符号化された第１の入力F1フレームと、前記第１の入力F1フレームを参照対象としてフレーム間予測符号化かフレーム内符号化を符号化処理単位毎に切り替えながら符号化された第２の入力F2フレームと、を有し、
前記エンコーダは、前記第２の入力F2フレームのサブ情報がフレーム間予測符号化されたことを示す情報である場合、前記第１の入力F1フレームに対応する第１の出力F1フレーム画像を参照して、前記第２の入力F2フレームに対応する第２の出力F2フレームをフレーム間予測符号化し、前記第２の入力F2フレームのサブ情報がフレーム内符号化されたことを示す情報である場合、前記入力F0フレームに対応する出力F0フレームを参照して、前記第２の出力F2フレームをフレーム間予測符号化する
ことを特徴とするトランスコーダ。
【請求項２】
請求項１に記載のトランスコーダであって、
前記エンコーダは、前記第２の入力F2フレームのサブ情報がフレーム内符号化されたことを示す情報である場合、前記第１の出力F1フレームを参照せずに前記出力F0フレームを参照して、前記第２の出力F2フレームをフレーム間予測符号化することを特徴とするトランスコーダ。
【請求項３】
請求項１に記載のトランスコーダであって、
前記エンコーダは、前記第２の入力F2フレームのサブ情報がフレーム内符号化されたことを示す情報である場合、前記第１の出力F1フレームを参照せずに既デコードフレームのいずれかを参照する事を特徴とするトランスコーダ。
【請求項４】
請求項１乃至３のいずれかに記載のトランスコーダであって、
前記入力F0フレームは、フレーム内符号化されたIピクチャである入力Iフレームであり、
前記第1の入力F1フレームは、前記入力Iフレームを参照してフレーム間予測符号化されたＰピクチャである第1の入力Ｐフレームであり、
前記第２の入力F2フレームは、前記第１の入力Ｐフレームを参照してフレーム間予測符号化されたＰピクチャである第２の入力Ｐフレームであることを特徴とするトランスコーダ。
【請求項５】
請求項１乃至４のいずれかに記載のトランスコーダであって、
前記サブ情報は、フレーム内のデコード処理単位であるマクロブロック毎に付加されていることを特徴とするトランスコーダ。
【請求項６】
請求項１乃至５のいずれかに記載のトランスコーダであって、
前記第１の符号化方式はＭＰＥＧ方式であり、前記第２の符号化方式はＨ．２６４方式であることを特徴とするトランスコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，動画像ストリームのビットレート変換やフォーマット変換を可能とするトランスコーダに関する。
【背景技術】
【０００２】
トランスコード技術は，変換前の動画像ストリームをデコードし，そのデコード画を入力画像とし，変換後のフォーマットに再エンコードするのが一般的である。このトランスコードにおいて，変換前の動画像ストリームから動き探索結果であるベクトルを，エンコード情報で動き情報として利用する事でエンコード側の処理負荷の低減をする技術が特許文献１に開示されている。
【０００３】
【特許文献１】特開2004-23444号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１には、符号化されたフレームがIntraで符号化されているのかInterで符号化されているのかの情報を用いて、トランスコードすることについての開示がない。
【０００５】
ここで、Interで符号化されている場合には、参照フレームと符号化しようとするフレームには相関性があるため、変換前のストリームの関係と同様の関係で参照フレームを決定することができる。
【０００６】
一方、Intraで符号化されている場合には、変換前のストリームの関係と同様の関係で参照フレームを決定してしまうと、相関性があまりないため、効率的な圧縮を行うことができない。
【０００７】
また、一度、変換前のストリームの関係と同様の関係であるフレームを検索してから、別のフレームを検索してしまうと、余分な処理が必要となってしまい、回路規模の小型化や消費電力を低減に好ましくない。
【０００８】
本発明では、上記課題を解決するため、変換前のストリームに付加されている符号化情報のInterかIntraのどちらのモードで符号化されているかの情報を用いて、使い勝手を向上したトランスコードするトランスコーダ、記録装置及びトランスコード方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的は、特許請求の範囲に記載の発明により解決される。
【発明の効果】
【００１０】
本発明により、使い勝手を向上したトランスコーダ、記録装置及びトランスコード方法を提供できる。
【発明を実施するための最良の形態】
【００１１】
以下の実施例では、MPEG2からH.264に変換するものを例として説明する。しかしながら、これに限らず、フレーム内符号化及びフレーム間予測符号化を行い、フレーム情報として該フレームがフレーム内符号化されているかフレーム間符号化されているかを示す情報を有する符号化方式で圧縮された動画ストリームをトランスコードする場合に適用できる。この符号化方式としては、上記MPEG2やH.264以外に、MPEG4、H.261、H.263，SMPTEのVC1などがある。
【００１２】
なお、H.264（ITE/ISO 14496-10/H.264AVC）などでは，動き補償の際の参照フレームを既に復号済みのフレームから任意に選択できるマルチフレーム動き補償が可能である。
【実施例１】
【００１３】
図１を用いて実施例の構成を説明する。図の上部は，放送や記録媒体等から読み出したデジタル動画像ストリームを供給するストリーム供給部001，デコードのシンタックスを解読するVLD部002，周波数変換領域から画像領域への変換を行う逆周波数変換部003，VLD部でデコードされたベクトル情報で参照画像から動き補償を行い，逆周波数変換部からの出力と足し合わせて復号画像（出力画像）を作成する動き補償部004を備えたデコーダ（デコード装置）005を表している。
【００１４】
図の下部は，デコーダから出力された出力画像を入力画像としてバッファに蓄えるバッファ部006，入力画像と既に符号化済みの複数枚の参照画像との間で動き補償を行う事が可能な動き補償部007，動き補償後の誤差画像を周波数変換する周波数変換部008，規格に準拠したシンタックスで符号化を行うVLC部009, 符号化画像を後の動き補償の参照画像とする参照画像保存部である参照メモリ部010を備えたエンコーダ（エンコード装置）011を示している。
【００１５】
そして，デコーダでは，フレーム毎にフレームヘッダのデコードを行い，マクログロック（MB）と呼ばれる矩形領域毎にデコード処理を行う。その際に，後述するピクチャの符号化タイプや，MB単位毎にデコードしたベクトル情報・Intra/Inter情報は，エンコーダの動き補償部で使用できる様になっている。
【００１６】
本実施例では，例えば上部デコーダを，動画像符号化の国際標準方式MPEG2（ISO/IEC 13813-2, International Standard）に準拠した装置，下部エンコーダをH.264（ISO/IEC 14496-10/ITU H.264 AVC）に準拠したエンコーダとして説明する。
【００１７】
図２に，本実施例の概要を示す。上段はトランスコード変換前となるMPEG2ストリームのデコードを示し，I,B,Pはそれぞれピクチャの符号化タイプ(picture_coding_type)を示し，Iは画面内の情報のみを利用した符号化(intra-coded)，Pは過去の情報も利用可能な符号化(predictive-codec)，Bは過去と未来の情報を利用可能な符号化(bidirectionally-predictive-codec)を行うタイプを表している。
【００１８】
一方，下段はH.264のエンコードを表している。エンコードの入力画像はMPEG2のデコード画像とし，符号化のタイプは変換元のMPEG2と同様にする。
この様な構成にする事で，H.264エンコードでは，MPEG2に付加されているベクトル情報を利用することが可能となる。H.264のエンコード時に符号化対象となるMBに対応するMPEG2のベクトル情報を取得して利用する。この様にする事でH.264のエンコーダでは，計算量の多い動き探索の回路を削減する事ができ，エンコーダの回路規模を削減する事が可能となる。
【００１９】
この際に図３の様にMPEG2のMBがベクトル情報をも持たないIntraで符号化されている場合には，H.264のエンコーダではベクトル情報はMPEG2から取得できない。この様な場合には，H.264のエンコーダ側もIntraとする事もできるが，小回路規模・低消費電力を前提とした構成での画質の向上を考えるとH.264で新たに以下の探索を行う方法が有効である。
【００２０】
MPEG2のストリームにおいてIntraが選らばれているMBでは，MPEG2が本来参照関係にあった参照画像とは相関関係が少なかったと判断し，H.264のエンコーダではその参照フレームは新たに探索を行う対象から除外する。
【００２１】
図８に，参照画像選択の際のフローチャートを示す。H.264でMB毎にエンコードを行う際に，MPEG2のMB毎のIntraかInterかの情報を参照して（S801），IntraであればMPEG2の参照関係にあったであろう参照画像はH.264の動き補償の対象から除外し、MPEG2で参照関係にあった参照画像と異なる参照画像を選択し（S802）、選択した参照画像で動き補償を行う（S804）。Interであれば，MPEG２のデコード情報を利用してMPEG2で参照関係にあった参照画像を選択し（S803）、H.264の動き補償を行う（S804）。
【００２２】
低消費電力のH.264エンコーダLSIにおいて，マルチフレームエンコードを実現する為に複数枚の参照画像に対して実際に探索を試みて，効率の良い参照画像を選択する手法は，回路規模・消費電力の増大を招き実現的ではない。よって、回路規模や消費電力を削減するため、H.264エンコーダであっても動き補償を行う参照フレーム数は既存技術であるMPEG2と同様となる。本実施例では，Intraが選ばれた相関の少ない参照画像は参照の対象から効率の面で除外する事が有効である。
【００２３】
また，MPEG2でIntraが選ばれる場合には，図４の様なアンカバード領域と言われる状況が考えられる。これは，隠れていた領域が表れた時に生じる現象であり，この表れた領域が参照画像には無いので時間的な相関が低下してしまう現象である。図では，星が右上から左下に移動する際に隠れていた顔が表れた際に，ピクチャnがn-1を参照している場合には相関は少なくなる。しかし，更に過去の画像n-2では，相関の高いものが見つかる可能性がある。本実施例では，この効果を期待してMPEG2がIntraの時には更に過去の画像を参照画像として選択する。
【００２４】
この際の参照画像としては，以下の例が考えられる。エンコードでは，図５の様に符号化した画像を後の参照画像として用いる為，参照メモリに蓄えて置く必要がある。MPEG2と同様の参照関係では，参照メモリは２面を用いてそこに保存されている画像を用いてエンコードを行う。本実施例ではこのメモリを一面増やして図６の様に参照画像を増やし，Intraで動き補償情報が得られなかった場合には増やしたことでメモリに記録されることとなったI2フレームから参照を行う。
【００２５】
なお，上記一面増やしたメモリ領域には既にデコードの完了しているフレームであれば，どのフレームであっても保存しておき参照の対象とする事も可能である。この場合は，例えばエンコードを行うある単位の（例えばGOP）の始めのフレームを保存しておき，そちらを参照対象とする使用法が考えられる。  更にこのメモリを増やす事で参照をする候補を増やす事も可能であるが、回路規模の小型の観点からは、図６に示すように参照メモリ部は３面を記憶するように構成した方が良い。
【００２６】
またこの参照画像上の探索の範囲は，アンカバード領域を考慮すると必ずしも広範囲に設定する必要はなく対応する周り数画素を探索の範囲とする事も可能である。
【００２７】
本実施例により相関関係の少ない参照画像を除去する事で低消費電力・小回路規模でマルチエンコードの効果を得る事が可能となる。
【００２８】
次に本実施例を用いた製品実用例をしめす。本実施例は，アナログやデジタルのテレビ放送を，また既に記録してある番組をHDDやDVDなどの記録媒体に符号化フォーマット，符号化レートを変えて保存する場合に有効である。図７にデジタル放送を記録媒体に保存する際のブロック図を示す。チューナ部701で受信したデジタル放送は，復調部702にて復号処理が行われ，デマルチプレクサ部703にて動画像情報，音声情報等に分解される。動画像情報は，デコーダ705でデコード処理が行われ，画像をディスプレイに出力するのであればデコード画像は，表示部710に送られる。デコーダがデコードした再生画像，サブ情報をエンコーダで取得して，符号化を行いストリームの生成を行う。
【００２９】
また、以上の実施例により、動画像のビットレート変換，フォーマット変換の高画質化を実現する事ができる。
【図面の簡単な説明】
【００３０】
【図１】実施例１のブロック図
【図２】実施例１の概念図
【図３】実施例１の概念図
【図４】アンカバードエリアの例
【図５】参照メモリ構成例
【図６】参照メモリ構成例
【図７】実施例１を適用した製品例
【図８】参照画像選択の際のフローチャート
【図１】
0004534935.tif 000002
【図２】
0004534935.tif 000003
【図３】
0004534935.tif 000004
【図４】
0004534935.tif 000005
【図５】
0004534935.tif 000006
【図６】
0004534935.tif 000007
【図７】
0004534935.tif 000008
【図８】
0004534935.tif 000009