(57)【要約】【課題】画像の再符号化処理の負荷を軽減する。【解決手段】復号処理部１０が符号化データを復号し、画像重複発生パターン検出部１１が、重複画像を検出する。符号化手法選択部１３は、重複画像の各画像の参照画像を、該重複画像から選択し、これに従って、符号化処理部１４が復号画像を符号化する。【選択図】図１
2008300997.tif 000002
【特許請求の範囲】
【請求項１】
符号化された画像を再符号化する画像再符号化装置であって、
該符号化された画像において、候補パターンに従って重複が発生しているか否かを判定して、該符号化された画像に含まれる重複画像を検出する重複画像検出手段と、
検出された重複画像に含まれる画像のうち、少なくとも一の画像を、該重複画像に含まれる他の画像を参照画像として符号化する、画像符号化手段とを備えていることを特徴とする画像再符号化装置。
【請求項２】
上記画像符号化手段が、上記一の画像を、上記他の画像と同一の画像として符号化することを特徴とする請求項１に記載の画像再符号化装置。
【請求項３】
上記画像符号化手段が、上記一の画像を、上記他の画像との間の差分が０である画像として符号化することを特徴とする請求項１〜２の何れか１項に記載の画像再符号化装置。
【請求項４】
上記画像符号化手段が、上記一の画像を、上記他の画像に対し、動きベクトルが０である画像として符号化することを特徴とする請求項１〜３の何れか１項に記載の画像再符号化装置。
【請求項５】
上記画像符号化手段が、上記重複画像に画面内符号化画像が含まれていた場合、該重複画像に含まれる画像のうち少なくとも一の画像を、該画面内符号化画像を参照画像として符号化することを特徴とする請求項１〜４の何れか１項に記載の画像再符号化装置。
【請求項６】
上記画像符号化手段が、上記重複画像に画面内符号化画像が含まれていない場合、該重複画像に含まれる画像のうち少なくとも一の画像を、符号化順序が最先の画像を参照画像として符号化することを特徴とする請求項１〜５の何れか１項に記載の画像再符号化装置。
【請求項７】
符号化された画像を再符号化する画像再符号化方法であって、
該符号化された画像に含まれる重複画像を検出する重複画像検出工程と、
検出された重複画像に含まれる画像のうち、少なくとも一の画像を、該重複画像に含まれる他の画像を参照画像として符号化する、画像再符号化工程とを包含することを特徴とする画像再符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を再符号化するための技術に関するものであり、特に、重複画像を含んで符号化されている画像を再符号化するための技術に関するものである。
【背景技術】
【０００２】
近年におけるＡＶ機器の発展に伴い、一つの動画データを様々な規模の装置において再生することが一般に行われるようになった。すなわち、従来であれば、家庭用テレビのみを対象とした放送用の動画について、携帯機器でも再生することが行われている。しかし、家庭用テレビと携帯機器とでは、再生のための能力が異なっており、特に携帯機器においては、動画の容量に関する制限が強い。そのため、携帯機器において再生する動画は、より高圧縮率の符号化方式により符号化されていることが好ましい。このように、再生装置によって、動画の好ましい符号化方式が異なるため、符号化方式間の相互変換を行う技術が強く求められている。
【０００３】
ただし、テレビ用の動画は、３−２プルダウン処理等により、原データに重複している画像が挿入されている場合がある。これを利用して符号化方式間の相互変換の効率を向上させるための技術として特許文献１に記載の技術がある。
【０００４】
特許文献１には、第１の画像圧縮情報に含まれるフラグにより復号時に所定の挿入パターンで繰り返しフィールドが挿入される画像情報復号装置からの画像データを第２の画像圧縮情報に変換する画像情報変換装置において、上記第１の画像圧縮情報の復号時に上記繰り返しフィールドを挿入せず、上記繰り返しフィールドを除いた隣接するフィールドからフレームを形成するフォーマット変換手段を備え、上記フレームに基づいて上記第２の画像圧縮情報に変換することが記載されている。
【特許文献１】特開２００３−１８５９６号公報（平成１５年１月１７日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法は、フラグにより復号時に所定の挿入パターンで繰り返しフィールドが挿入される画像情報復号装置からの画像データにしか適用し得ない。そして、繰り返しフィールドが既に挿入されている画像について、該繰り返しフィールドを除去して、上記繰り返しフィールドを除いた隣接するフィールドからフレームを形成した場合、元データに基づかないフィールドの組換えがなされるので、生成される画像にゆがみが生じる。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、繰り返しフィールドが既に挿入されている画像について、ゆがみを生じさせることなく、効率よく符号化方式間の相互変換を行う技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
（画像再符号化装置）
本発明に係る画像再符号化装置は、上記課題を解決するために、符号化された画像を再符号化する画像再符号化装置であって、該符号化された画像において、候補パターンに従って重複が発生しているか否かを判定して、該符号化された画像に含まれる重複画像を検出する重複画像検出手段と、検出された重複画像に含まれる画像のうち、少なくとも一の画像を、該重複画像に含まれる他の画像を参照画像として符号化する、画像符号化手段とを備えていることを特徴としている。
【０００８】
上記の構成によれば、画像再符号化装置は、まず、例えばＭＰＥＧ２等の符号化方式により符号化された画像を復号する。このとき、元データが３−２プルダウン処理されているものである場合、またはアニメーション画像であった場合等、重複画像が含まれている場合がある。ここで、上記画像再符号化装置には、上記３−２プルダウン処理された画像、アニメーション画像等において発生すべき重複画像のパターンが候補パターンとして予め入力されており、上記画像再符号化装置は、符号化された画像に発生している画像の重複が、該候補パターンに従っているか否かを判定する。これにより、負荷の掛かる処理を行うことなく符号化された画像における重複画像を検出し得る。そして、上記画像再符号化装置は、検出された一の重複画像を符号化する際、他の重複画像を参照画像として特定する。通常、参照画像を定める際には、動きベクトル探索等の複雑な処理が必要であるが、これを省くことができるので、再符号化処理における負荷を低減させることができる。
【０００９】
上記画像再符号化装置では、上記画像符号化手段が、上記一の画像を、上記他の画像と同一の画像として符号化することが好ましい。
【００１０】
上述したように、上記一の画像と、上記他の画像とは重複画像であるので、同一の画像として符号化することにより、符号化におけるゆがみを低減することができる。また、同一の画像として符号化するので、動きベクトルまたは差分等を検出する処理が必要でなく、再符号化の処理をさらに低減させることができる。
【００１１】
上記画像再符号化装置では、上記画像符号化手段が、上記一の画像を、上記他の画像との間の差分が０である画像として符号化するものであってもよい。
【００１２】
上記の構成によれば、差分を０として符号化するので差分を計算する処理が必要なく、さらに、符号量を低減させることができる。
【００１３】
上記画像再符号化装置では、上記画像符号化手段が、上記一の画像を、上記他の画像に対し、動きベクトルが０である画像として符号化するものであってもよい。
【００１４】
上記の構成によれば、動きベクトルおよび差分を０として符号化するので動きベクトルおよび差分を計算する処理が必要なく、さらに、符号量を低減させることができる。
【００１５】
上記画像再符号化装置では、上記画像符号化手段が、上記重複画像に画面内符号化画像が含まれていた場合、該重複画像に含まれる画像のうち少なくとも一の画像を、該画面内符号化画像を参照画像として符号化することが好ましい。
【００１６】
上記の構成によれば、上記一の画像を、上記画面内符号化画像を参照画像として符号化し得る。ここで、画面内符号化画像は、一般にゆがみが少なくなるように符号化されており、画面内符号化画像を参照画像とすることにより、上記一の画像のゆがみを低減させることができる。
【００１７】
上記画像再符号化装置では、上記画像符号化手段が、上記重複画像に画面内符号化画像が含まれていない場合、該重複画像に含まれる画像のうち少なくとも一の画像を、符号化順序が最先の画像を参照画像として符号化するものであってもよい。
【００１８】
上記の構成によれば、上記一の画像を、符号化順序が最先の画像を参照画像として符号化し得る。したがって、先に符号化される画像が参照画像となるので、簡便に符号化および復号させることができる。
【００１９】
（画像再符号化方法）
本発明に係る画像再符号化方法では、符号化された画像を復号する復号工程と、復号された画像において重複している画像を検出する重複画像検出工程と、検出された重複画像のうち、少なくとも１の画像を、他の重複画像を参照画像として符号化する画像符号化工程とを包含することを特徴としている。
【００２０】
上記の構成によれば、本発明に係る画像再符号化装置を使用した場合と、同様の効果を奏することができる。
【発明の効果】
【００２１】
本発明によれば、通常は動きベクトル探索等の負荷が高い処理が必要である符号化における参照画像の選択を、画像の重複を検出することにより行うことができるので、符号化データの再符号化の際の処理の負荷を低減させることができる。
【発明を実施するための最良の形態】
【００２２】
本発明の画像再符号化装置の一実施形態について、図１〜２に基づいて説明すれば以下の通りである。なお、用語「画像再符号化装置」は、特定の符号化方式を用いて画像を符号化して得られたデータ（以降、符号化データと称する）を、他の符号化方式を用いて画像を符号化して得られるデータ（以降、再符号化データと称する）に変換（再符号化）するための装置が意図される。
【００２３】
図１は、本実施形態に係る画像再符号化装置１の要部構成を示すブロック図である。図１に示すように、画像再符号化装置１は、復号処理部１０、画像重複発生パターン検出部１１、画像重複パターンとピクチャタイプ並び順の対応付け部１２、符号化手法選択部１３、符号化処理部１４、ならびに、画像バッファおよびバッファ管理部１５を備えている。
【００２４】
（符号化データ）
符号化データは、ＭＰＥＧ２等の公知の符号化方式を用いて画像を符号化して得られるものであればよい。以下では、各画像の表示順序、およびピクチャタイプに関する情報を含んでいる一般的な符号化データを用いた場合について説明するが、本発明に適用できる符号化データはこれに限られない。例えば、表示順序に従ってデータが格納されている場合、および、すべてのピクチャタイプが同一である場合には、それぞれの情報を直接含んでいない符号化データであっても本発明に係る画像再符号化装置により再符号化し得ることを当業者は容易に理解する。すなわち、実質的に上記情報を取得し得る符号化データであれば、本発明に適用し得る。
【００２５】
また、後述するように、３−２プルダウン処理された画像およびアニメーション画像のように周期的に重複画像が含まれている符号化データは、本発明に好適に適用することができる。
【００２６】
なお、用語「表示順序」とは、符号化データにおいて、復号した各画像を表示するための順序が意図される。これは一般に、符号化する前の画像における各画像の順序に一致する。
【００２７】
また、用語「ピクチャタイプ」とは、符号化された画像が、画面内予測に基づいて符号化された画像（Ｉピクチャ）であるか、符号化順序が前の画像のみを参照画像として用いた画面間予測に基づいて符号化された画像（Ｐピクチャ）であるか、または、符号化順序が後の画像についても参照画像として用いた画面間予測に基づいて符号化された画像（Ｂピクチャ）であるかを示す分類が意図される。
【００２８】
（復号処理）
復号処理部１０は、符号化データを復号して、画像を画像バッファおよびバッファ管理部１５に出力する。その際、復号した各画像についての、符号化順序、表示順序、およびピクチャタイプの情報を画像再符号化装置１の他の構成要素が参照できるようにする。なお、用語「符号化順序」とは、各画像についての情報の、符号化データ中における順序が意図される。
【００２９】
上記情報を画像再符号化装置１の他の構成要素が参照できるようにするためには、例えば、復号処理部１０が、各画像について、符号化順序、表示順序、およびピクチャタイプを画像バッファおよびバッファ管理部１５に出力し、画像バッファおよびバッファ管理部１５が上記情報を各画像に関連付けて管理してもよい。「情報を関連付けて管理する」とは、各情報およびいずれの情報が関連付けられているかを保持することが意図され、これによって、画像再符号化装置１の構成要素に対し、関連付けられた複数の情報を連結して出力すること、該構成要素から特定の情報が入力された際に、該特定の情報に関連付けられた他の情報を該構成要素へと出力すること等を可能にするものである。一つの局面において、画像バッファおよびバッファ管理部１５は、内部的に使用する番号を、関連付けられたすべての情報に付すことによって、情報を関連付けて管理し得る。
【００３０】
また、復号処理部１０は、各画像および関連付けのための情報を、画像バッファおよびバッファ管理部１５に出力し、その他の情報については、復号処理部１０自身が保持したままでもよい。この場合、画像再符号化装置１の他の構成要素は、上記関連付けのための情報を復号処理部１０へと出力し、これに応じて、復号処理部１０が該他の構成要素へ関連付けられた情報を出力することによって、上記情報を該他の構成要素が参照できるようにさせる。上記関連付けのための情報としては、表示順序そのものを用いてもよいが、これに限られず、画像を特定し得る情報であればよい。
【００３１】
復号処理部１０における復号のための機構は、上記符号化データの符号化方式に応じて公知技術より適宜選択すればよいことを当業者は容易に理解する。一つの局面において、復号処理部１０は、各画像について表示順序およびピクチャタイプを検出した上で、該ピクチャタイプに応じて各画像を復号する。上述したように符号化順序は、符号化データにおける各画像の順序であり容易に検出可能であるので、復号処理部１０は、各画像について、符号化順序、表示順序、およびピクチャタイプを容易に出力し得る。
【００３２】
（画像重複発生パターンの検出）
画像重複発生パターン検出部１１は、画像バッファおよびバッファ管理部１５に保持された画像、ならびに該画像に関連付けられた表示順序に基づいて、画像の重複がどのようなパターンに従って発生しているのかを検出する。
【００３３】
画像の重複の発生パターンとしては、たとえば、事例１に後述する、３−２プルダウン処理された画像における５フレーム周期のパターン、および、事例２に後述する、アニメーション画像における５フレーム周期のパターン等がある（表１および２参照）。画像重複発生パターン検出部１１は、これらのパターンを候補パターンとして用いる。候補パターンの詳細については、後述する。
【００３４】
画像重複発生パターン検出部１１は、復号画像を表示順序に並べ、復号画像における画像の重複の発生パターンが、いずれの候補パターンに該当しているか、またはいずれの候補パターンにも該当していないかを判定する。判定は、候補パターンの一周期単位で行う。たとえば、事例１に記載の画像の重複の発生パターンを候補パターンとして用いる場合は、５フレームの復号画像について、該候補パターンに該当するか否かを判定する。事例１に記載の画像では、表１に示すように、２および３フレーム目のトップフィールド、ならびに、４および５フレーム目のボトムフィールドにおいて画像の重複が発生している。したがって、事例１に記載のパターンに該当するか否かの判定は、上記のフィールドが重複しているか否かを判定することにより行うことができる。
【００３５】
複数の画像が重複しているか否かの判定は、特に限られず、公知の手法を用いればよいが、たとえば、画像同士の輝度または色度等の差分をとり、差分が一定の閾値以下であるか否かを判定することにより行うことができる。
【００３６】
また、任意のフレームにおける復号画像における画像の重複が、特定の候補パターンに従って発生していた場合、続くフレームにおける復号画像も、同一の候補パターンに従って画像の重複が発生している可能性が高い。したがって、一つの局面において、画像重複発生パターン検出部１１は、任意のフレームから開始される復号画像が、特定のパターンに該当していることを検出したとき、続く復号画像では、該パターンの周期ごとに該パターンに該当するか否かのみを判定することにより、効率よく復号画像の重複画像の発生パターンを検出し得る。
【００３７】
候補パターンとしては、一定の法則に基づいて、画像の重複が発生するパターンを用いればよく、例えば、３−２プルダウン処理されたインターレス画像におけるパターン、および１２ｆｐｓのアニメーション画像を３０ｆｐｓに変換した場合の画像等、任意の画像の時間当たりの画像数を変換して得られた画像における画像の重複の発生パターンを好適に用い得る。
【００３８】
なお、画像重複発生パターン検出部１１は、復号画像がいずれの候補パターンにも該当しなかった場合、重複の発生はなしとする。
【００３９】
一つの局面において、画像重複発生パターン検出部１１は、表示順序に従って順次画像を画像バッファおよびバッファ管理部１５から取得し、候補パターンに該当するか否かを判定する。候補パターンのデータは、予め画像重複発生パターン検出部１１に入力されており、画像重複発生パターン検出部１１が自ら保持していることが好ましい。特定のフレームから開始される画像の重複の発生パターンが、特定の候補パターンに該当していた場合、重複がどの画像とどの画像との間において発生しているかを示す情報を示す信号を画像重複パターンとピクチャタイプ並び順の対応付け部１２へ出力する。そして、上記特定のフレームから上記該当した候補パターンの一周期後のフレームから、該周期毎に、該候補パターンに該当するか否かを判定する。上記特定のフレームから開始される画像の重複の発生パターンが、いずれの候補パターンにも該当していなかった場合、上記特定のフレームの次のフレームから開始される画像について、重複の発生パターンが、特定の候補パターンに該当するか否かを判定する。
【００４０】
画像重複発生パターン検出部１１から画像重複パターンとピクチャタイプ並び順の対応付け部１２への出力は、一つの局面において、上記該当した候補パターンを特定する名前または識別子、およびその開始フレームを示す信号とすることができる。
【００４１】
（画像重複パターンとピクチャタイプ並び順の対応付け）
画像重複パターンとピクチャタイプ並び順の対応付け部１２は、画像重複発生パターン検出部１１から入力された信号、および画像バッファおよびバッファ管理部１５等から取得する各フレームに関連付けられたピクチャタイプの情報に基づいて、重複している画像に対しそれぞれのピクチャタイプを関連付けたデータを符号化手法選択部１３に出力する。
【００４２】
一つの局面において、画像重複発生パターン検出部１１から入力された信号は、画像の重複の発生パターンを特定する名前または識別子、およびその開始フレームを示す信号であり、画像重複パターンとピクチャタイプ並び順の対応付け部１２に予め入力された各候補パターンの情報に基づき、いずれのフレームに重複画像が存在しているかを算出する。
【００４３】
重複画像が存在している各フレームについて、画像バッファおよびバッファ管理部１５から、該フレームの表示順序に関連付けられたピクチャタイプを取得し、重複している画像に対し、それぞれのピクチャタイプをセットにして符号化手法選択部１３に出力する。
【００４４】
（符号化手法の選択）
符号化手法選択部１３は、画像重複パターンとピクチャタイプ並び順の対応付け部１２から入力された、重複している画像に対しそれぞれのピクチャタイプを関連付けたデータに基づいて、該重複している画像の各画像を符号化する際の参照画像を選択する。
【００４５】
まず、符号化手法選択部１３は、画像重複パターンとピクチャタイプ並び順の対応付け部１２からの入力に基づき、復号画像において、重複している画像およびそれぞれのピクチャタイプの情報を示す重複画像テーブルを作成する。上記重複画像テーブルは、符号化手法選択部１３が保持していてもよく、画像バッファおよびバッファ管理部１５等のその他の部材によって保持されていてもよい。画像バッファおよびバッファ管理部１５によって画像重複テーブルが保持されている場合、上述した各画像の符号化順序、表示順序、ピクチャタイプ等の情報と関連付けられて保持されていることが好ましい。また、一つの局面において、重複画像テーブルは、表２〜４および９〜１１に示すような形式である。示すように、同一の記号を付すことによって画像が重複していることを示している。
【００４６】
用語「参照画像」とは、特定の画像が画面間予測に基づいて符号化されている場合に、該画像を復号する際に必要となる画像が意図される。具体的には、例えば、上記特定の画像が、差分または差分および動きベクトルによって符号化されている場合、該差分の元になる画像が意図される。
【００４７】
次に、符号化手法選択部１３は、重複画像テーブルに基づいて、各画像の参照画像を選択し、重複画像テーブルに追加する。この追加する部分を参照画像テーブルと称する。参照画像テーブルは、符号化処理部１４が参照できるように保持されている必要がある。また、参照画像の選択の際、画像バッファおよびバッファ管理部１５から取得した各画像の符号化順序を用いてもよい。詳細を図２に基づいて以下に説明する。
【００４８】
図２は、本発明に係る参照画像選択の手順を説明するフローチャートである。図２に示すように、上記手順はＳ１〜Ｓ１５のステップからなる。
【００４９】
符号化手法選択部１３は、参照画像の選択の開始（Ｓ１）後、まず、重複パターンテーブル内を検索し（Ｓ２）、重複している画像を検出する（Ｓ３）。重複画像テーブルが、表２〜４および９〜１１に示すような形式である場合、符号化手法選択部１３は、重複画像テーブル内において同一の記号を検索することにより検出し得る。
【００５０】
次に、符号化手法選択部１３は、重複している画像に含まれる各画像に、関連付けられたピクチャタイプがＩピクチャである画像（Ｉピクチャ重複画像）が存在しているか否かを検出する（Ｓ４）。Ｉピクチャ重複画像が存在していた場合、符号化手法選択部１３は、Ｉピクチャ重複画像以外の重複している画像に含まれる画像の参照画像を、Ｉピクチャ重複画像として、参照画像テーブルに記録する（Ｓ５）。これにより、再符号化におけるゆがみを低減することができる。すなわち、再符号化対象の符号化データにおいて、画面内符号化が行われていた画像（Ｉピクチャ）は、もともとの符号化データにおいても非参照画像として用いられており、一般に、ゆがみが少なくなるように（原画像に忠実になるように）符号化されている。これは、被参照画像にゆがみが存在すると、該画像を参照する画像もゆがんでしまうため、これを避けるためである。したがって、Ｉピクチャ重複画像を参照画像とすることにより、再符号化においても、被参照画像のゆがみを低減し、ひいては該画像を参照する画像のゆがみを低減させることができる。
【００５１】
なお、Ｉピクチャ重複画像の参照元は、ステップＳ５において、Ｉピクチャ重複画像を参照先とした画像のうち、最も符号化が最後になされるものとしてもよい（Ｓ６）。ただし、必ずしも参照元を参照画像テーブルに記録する必要はなく、Ｉピクチャ重複画像が、被参照画像であることを示すフラグを記録すればよい。
【００５２】
Ｉピクチャ重複画像が存在していなかった場合、符号化手法選択部１３は、重複している画像に含まれる各画像に、関連付けられたピクチャタイプがＰピクチャである画像（Ｐピクチャ重複画像）が存在しているか否かを検出する（Ｓ７）。Ｐピクチャ重複画像が存在していた場合、符号化手法選択部１３は、Ｐピクチャ重複画像以外の重複している画像に含まれる画像の参照画像を、Ｐピクチャ重複画像として、参照画像テーブルに記録する（Ｓ８）。もし、Ｐピクチャ重複画像が複数であった場合、画像バッファおよびバッファ管理部１５から各Ｐピクチャ重複画像の符号化順序を取得し、符号化順序が先頭であるＰピクチャ重複画像を被参照画像とする。Ｐピクチャは、Ｉピクチャと同様に、もともとの符号化データにおいても非参照画像として用いられ得、一般に、ゆがみが少なくなるように（原画像に忠実になるように）符号化されているので、上述のＩピクチャ重複画像を参照画像とした場合と同様に、ゆがみを低減し得る。
【００５３】
なお、Ｉピクチャ重複画像と同様に、Ｐピクチャ重複画像の参照元は、ステップＳ８において、Ｐピクチャ重複画像を参照先とした画像のうち、最も符号化が最後になされるものとしてもよい（Ｓ９）。ただし、必ずしも参照元を参照画像テーブルに記録する必要はなく、Ｐピクチャ重複画像が、被参照画像であることを示すフラグを記録すればよい。
【００５４】
Ｉピクチャ重複画像およびＰピクチャ重複画像が存在していなかった場合、すなわち、重複画像がすべて関連付けられたピクチャタイプがＰピクチャである画像（Ｂピクチャ重複画像）であった場合、符号化手法選択部１３は、符号化処理部１４において用いられる符号化手法が、Ｂピクチャを被参照画像とし得るかを判定する（Ｓ１０）。
【００５５】
符号化処理部１４において用いられる符号化手法が、Ｂピクチャを被参照画像とし得る場合、符号化手法選択部１３は、各Ｂピクチャ重複画像の符号化順序を画像バッファおよびバッファ管理部１５から取得し、符号化順序が先頭であるＢピクチャ重複画像を被参照画像とする（Ｓ１１）。先に符号化される画像を参照画像とすることにより、復号処理の効率を向上させ得る。被参照画像となったＢピクチャ重複画像の参照元は、符号化順序が最後であるＢピクチャ参照画像とする（Ｓ１２）。ただし、必ずしも参照元を参照画像テーブルに記録する必要はなく、被参照画像であることを示すフラグが記録されていてもよい。
【００５６】
その後、符号化手法選択部１３は、再度、重複画像テーブルからの重複画像の検出処理に戻る（Ｓ１３）。ただし、一度検出した重複画像は再度検出しない。検出すべき重複画像が重複画像テーブルになくなった場合、重複画像テーブルにおいて、参照画像が設定されていない画像の参照画像を「参照なし」とし（Ｓ１４）、参照画像の選択を終了する（Ｓ１５）。
【００５７】
（符号化処理）
符号化処理部１４は、復号処理部１０によって復号された画像を、再符号化する。再符号化の方式は特に限定されなく、画面間予測符号化が可能な方式であればよい。当業者であれば、ＭＰＥＧ２、Ｈ．２６４等の画面間予測符号化が可能な符号化方式を容易に理解する。ただし、上述したように、Ｂピクチャを被参照画像とし得る符号化方法である場合、重複している画像が、符号化データにおいてＢピクチャとして符号化されている画像のみであった場合も、符号化手法選択部１３において参照画像を選択し得るので好ましい。また、後述するように、同一の画像を参照画像としたときに、効率よく符号化可能な手法（マクロブロックスキップ等）を用い得る符号化手法であれはより好ましい。
【００５８】
符号化処理部１４は、画像に関連付けられている参照画像テーブルを参照して、「参照なし」である画像については、従来技術と同様に、動きベクトル探索（ブロックマッチング法、勾配法等）を用いて参照画像を求める。
【００５９】
一方、参照画像が画像再符号化装置１により参照画像が既に選択されている画像については、参照画像が既に決定されているので、符号化処理部１４は、動きベクトル探索なしで参照画像を決定することができる。さらに、参照画像と符号化すべき画像とは同一の画像であるので、符号化すべき画像は、参照画像と同一の画像であるように符号化すればよい。したがって、参照画像との間の動きベクトル探索および差分の検出も必要ない。一般に処理が負担となる動きベクトル探索を省くことができるので、符号化処理部１４における再符号化処理の負荷を軽減し得る。
【００６０】
符号化処理部１４が重複画像の一の画像を参照画像として選択されている画像の符号化の手法としては、同一の画像として符号化されるものであれば特に限られず、例えば、動きベクトルが０ベクトルであり、差分も０であるとして符号化すればよい。動きベクトルが０ベクトルであり、差分も０であるとして符号化する具体的な手法としては、周知慣用の手法を用いればよく、例えば、符号化処理部１４は、符号化すべき画像を矩形領域（マクロブロック）に分割し、そのすべての矩形領域において、動きベクトルが０であるという情報、参照画像との差分が０であるという情報を示すように符号化すればよい。また、符号化処理部１４は、最初に符号化される矩形領域について、上記のように符号化した後、続いて符号化される矩形領域については、既に符号化された矩形領域と同じ処理内容であるということを示すように符号化してもよい（マクロブロックスキップ）。なお、動きベクトルを指定することは必要ではなく、符号化処理部１４は、単に参照画像との差分が０であることを示すように画像を符号化してもよい。
【００６１】
（画像バッファおよびバッファ管理）
画像バッファおよびバッファ管理部１５は、以下の制御を受け、画像データの保持、出力、または削除を行う。
・復号処理部１０による復号画像の読み出し要求、書き込み要求、および削除許可；
・画像重複発生パターン検出部１１による復号画像の読み出し要求；
・符号化手法選択部１３における復号画像の読み出し要求；ならびに
・符号化処理部１４における復号および再符号化画像の読み出し要求、書き込み要求、および削除許可。
【００６２】
なお、画像バッファおよびバッファ管理部１５は、復号処理部１０および符号化処理部１４からのそれぞれにおいて不要となった画像についての削除の許可を受けて、両処理部が許可した画像について削除する。
【００６３】
また、画像バッファおよびバッファ管理部１５は、単一の部材によって実現され得、かつ、複数の部材によっても実現され得ることを、当業者は容易に理解する。すなわち、復号処理部１０、画像重複発生パターン検出部１１、画像重複パターンとピクチャタイプ並び順の対応付け部１２、符号化手法選択部１３、符号化処理部１４等が、それぞれ独自の画像バッファおよびバッファ管理部１５を備えていてもよいし、これに代えて、または、これに加えて、複数の処理部によって共有されている画像バッファおよびバッファ管理部１５を備えていてもよい。
【００６４】
ここで、具体的な事例について、データがどのように処理されるのかを説明するが、本発明はこれらの事例によって何ら限定されない。
【００６５】
（事例１）
本事例では、符号化データとして、３−２プルダウン処理された画像が符号化されたものが用いられる。３−２プルダウン処理とは、２４ｆｐｓ（毎秒フレーム）素材を３０ｆｐｓに変換する処理であり、５フレーム周期で重複画像が特定の位置に挿入される。３−２プルダウン処理がなされた画像の１周期分のパターン（フレーム３から７まで）を表１に示す。なお、同一の画像は同じ記号で表記し、異なる画像は異なる記号として表記した。表１に示すように、フレーム５のトップフィールド、および、フレーム７のボトムフィールドに、それぞれフレーム４のトップフィールド、および、フレーム６のボトムフィールドを同一の画像が挿入され、画像の重複が発生している。
【００６６】
【表１】
2008300997.tif 000003
【００６７】
画像重複発生パターン検出部１１は、上記のような符号化データに対しては、以下のような出力を行う。
【００６８】
出力内容：
名前            ３−２プルダウン；
先頭（表示順）  ３。
【００６９】
また、本事例において、ピクチャタイプは表示順にＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＰＢＢと並んでいるものとする。このとき、画像重複パターンとピクチャタイプ並び順の対応付け部１２が出力する重複している画像に対しそれぞれのピクチャタイプを関連付けたデータは、表２〜４のいずれか１つに示すものとなる。
【００７０】
【表２】
2008300997.tif 000004
【００７１】
【表３】
2008300997.tif 000005
【００７２】
【表４】
2008300997.tif 000006
【００７３】
表２〜４に示す重複画像テーブルについて、参照画像を上記の手法により選択し、参照画像テーブルを作成した場合、表２について表５、表３について表６、表４について表７のような結果となる。
【００７４】
【表５】
2008300997.tif 000007
【００７５】
【表６】
2008300997.tif 000008
【００７６】
【表７】
2008300997.tif 000009
【００７７】
（事例２）
本事例では、符号化データとして、１２ｆｐｓのアニメーションが３０ｆｐｓに変換された画像が符号化されたものが用いられる。表８に上記アニメーション画像のパターンを示す。上記アニメーション画像では、事例１と同様、５フレーム周期で重複画像が特定の位置に挿入され、画像の重複が発生している。
【００７８】
【表８】
2008300997.tif 000010
【００７９】
画像重複発生パターン検出部１１は、上記のような符号化データに対しては、以下のような出力を行う。
【００８０】
出力内容：
名前            アニメーション１；
先頭（表示順）  ２。
【００８１】
また、本事例においても、事例１と同様、ピクチャタイプは表示順にＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＰＢＢと並んでいるものとする。このとき、画像重複パターンとピクチャタイプ並び順の対応付け部１２が出力する重複している画像に対しそれぞれのピクチャタイプを関連付けたデータは、表９〜１１のいずれか１つに示すものとなる。
【００８２】
【表９】
2008300997.tif 000011
【００８３】
【表１０】
2008300997.tif 000012
【００８４】
【表１１】
2008300997.tif 000013
【００８５】
表９〜１１に示す重複画像テーブルについて、参照画像を上記の手法により選択し、参照画像テーブルを作成した場合、表９について表１２、表１０について表１３、表１１について表１４のような結果となる。
【００８６】
【表１２】
2008300997.tif 000014
【００８７】
【表１３】
2008300997.tif 000015
【００８８】
【表１４】
2008300997.tif 000016
【００８９】
最後に、画像再符号化装置１の各ブロック、特に復号処理部１０、画像重複発生パターン検出部１１、画像重複パターンとピクチャタイプ並び順の対応付け部１２、符号化手法選択部１３、符号化処理部１４、および画像バッファおよびバッファ管理部１５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【００９０】
すなわち、再符号化装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central  processing  unit）、上記プログラムを格納したＲＯＭ（read  only  memory）、上記プログラムを展開するＲＡＭ（random  access  memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである再符号化装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記再符号化装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００９１】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００９２】
また、再符号化装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual  private  network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモートコントロール装置のような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【００９３】
本発明はまた、以下のように表すこともできる。
【００９４】
（第１の構成）
ある画像に対して特定のパターンでフィールドまたはフレームを繰り返し挿入して得られる画像を、繰り返し情報なしに画像圧縮符号化したデータに対し、
復号時の内部処理情報を復号処理の外部から参照可能とする復号手段と、
前記符号化データの復号画像からフィールドもしくはフレーム繰り返しの挿入によって生じるフィールドもしくはフレームの重複パターンを検出する手段と、
前記画像圧縮符号化において各フレームまたはフィールドが、画面内符号化または画面間順方向予測符号化または画面間双方向予測符号化によって符号化された事を示すピクチャタイプの並び順を検出する手段と、
前記フィールドまたはフレーム重複パターンと前記ピクチャタイプの並び順を対応付ける手段と、
前記対応付けの結果に基づいて、重複フィールドまたはフレームのうち画面間予測により符号化されていたものについては重複している他方のフィールドまたはフレームをそのフィールドまたはフレームの参照画像として選択し、重複していないフィールドまたはフレームのうち画面間予測により符号化されていたものについては動きベクトル探索などにより参照画像を選択する手段と、
前記参照画像選択の結果、重複フィールドまたはフレームのうち被参照画像とはならなかったフィールドまたはフレームの符号化において、符号化対象となる画素または領域と参照画像上の同じ位置の画素または領域とが同一の画素値または画像となるよう符号化手法を選択する手段と、
前記参照画像選択結果および前記符号化手法選択結果に基づいて復号画像を再符号化することを特徴とする画像再符号化装置。
【００９５】
（第２の構成）
上記第１の構成に記載の画像再符号化装置における参照画像の選択手段において、重複フィールドまたはフレームが全て画面間双方向予測符号化が行われていた場合には、先に符号化されていたフィールドまたはフレームを優先的に後のフィールドまたはフレームの参照画像として選択することを特徴とする画像再符号化装置。
【００９６】
（第３の構成）
上記第１の構成に記載の画像再符号化装置における参照画像の選択手段において、重複フィールドまたはフレームで画面内符号化が行われていたフィールドまたはフレームがあれば、そのフィールドまたはフレームを優先的に被参照画像として選択することを特徴とする画像再符号化装置。
【００９７】
（第４の構成）
上記第１の構成に記載の画像再符号化装置における符号化手法の選択において、符号化対象となる画素または領域について参照画像に対して動きがなく参照画像との差分がないものとする符号化手法を選択することを特徴とする画像再符号化装置。
【００９８】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【００９９】
本発明を用いれば、画像の再符号化の負荷を軽減し得るので、画像処理分野において有用である。特に、テレビ等の据え置き機器用に符号化されたデータを、携帯電話等の携帯機器用に再符号化する場合に好適に用いることができる。
【図面の簡単な説明】
【０１００】
【図１】本発明の一実施形態に係る要部構成を示すブロック図である。
【図２】本発明の一実施形態に係る処理の流れを示すフローチャートである。
【符号の説明】
【０１０１】
１        画像再符号化装置
１０      復号処理部
１１      画像重複発生パターン検出部
１２      画像重複パターンとピクチャタイプ並び順の対応付け部
１３      符号化手法選択部
１４      符号化処理部
１５      画像バッファおよびバッファ管理部
【図１】
2008300997.tif 000017
【図２】
2008300997.tif 000018