(57)【要約】【課題】画像符号化処理の演算量の削減、高速化、および低消費電力化を図りつつ、画質および符号化効率を向上させることができる符号化方式変換装置およびその方法を提供する。【解決手段】第１方式により圧縮符号化された入力データを第２方式により圧縮符号化された出力データに変換する符号化方式変換装置１００であって、入力データを復号する画像復号化部１０１と、入力データのうち、第１方式での各ピクチャがフィールド構造およびフレーム構造のいずれであるかを示す情報以外を用いて、各ピクチャを構成する第２方式での符号化単位である各スライスに対して、フィールド符号化およびフレーム符号化のいずれかである符号化構造を決定する符号化構造決定部１０３と、決定された符号化構造にしたがって、画像復号化部１０１により復号された画像データを前記第２方式により圧縮符号化する画像符号化部１０４とを備える。【選択図】図１
2008141407.tif 000002
【特許請求の範囲】
【請求項１】
第１方式により圧縮符号化された第１符号化データを第２方式により圧縮符号化された第２符号化データに変換する符号化方式変換装置であって、
前記第１符号化データを復号する復号手段と、
前記第１符号化データに含まれる前記第１方式による符号化でのパラメータ情報のうち、前記第１方式での各ピクチャがフィールド構造およびフレーム構造のいずれであるかを示す情報以外を用いて、前記各ピクチャを構成する前記第２方式での符号化単位である各スライスに対して、フィールド符号化およびフレーム符号化のいずれかである符号化構造を決定する符号化構造決定手段と、
決定された前記符号化構造にしたがって、前記復号手段により復号された前記第１符号化データを前記第２方式により圧縮符号化する符号化手段とを備える
ことを特徴とする符号化方式変換装置。
【請求項２】
前記符号化構造決定手段は、前記パラメータ情報のうち、前記各ピクチャの原画像が順次走査であるか否かを示すフラグが順次走査であることを示す場合に、当該フラグが示す当該ピクチャに含まれるすべてのスライスに対して、フレーム符号化と決定する
ことを特徴とする請求項１に記載の符号化方式変換装置。
【請求項３】
前記符号化構造決定手段は、前記パラメータ情報のうち、マクロブロックのＤＣＴの方式がフレームＤＣＴであるか否かを示す情報を用いて、フレームＤＣＴである前記各ピクチャ内のマクロブロックの数が第１の閾値以上である場合に、当該ピクチャに含まれるすべてのスライスに対してフレーム符号化と決定する
ことを特徴とする請求項１または請求項２に記載の符号化方式変換装置。
【請求項４】
前記符号化構造決定手段は、前記パラメータ情報のうち、マクロブロックのＤＣＴの方式がフレームＤＣＴであるか否かを示す情報を用いて、前記各ピクチャの前記各スライスに対応する部分に含まれるフレームＤＣＴであるマクロブロックの数が第１の閾値以上である場合に、当該スライスに対してフレーム符号化と決定する
ことを特徴とする請求項１から請求項３のいずれか１項に記載の符号化方式変換装置。
【請求項５】
前記符号化構造決定手段は、前記パラメータ情報のうち、各ピクチャの動き補償の方式が画面間予測であるか否かを示す情報、および各マクロブロックの動き補償の方式がフレーム予測であるか否かを示す情報を用いて、ピクチャの動き補償の方式が画面間予測であり、かつフレーム予測である、当該ピクチャ内のマクロブロックの数が第２の閾値以上である場合に、当該ピクチャに含まれるすべてのスライスに対してフレーム符号化と決定する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の符号化方式変換装置。
【請求項６】
前記符号化構造決定手段は、前記パラメータ情報のうち、各ピクチャの動き補償の方式が画面間予測であるか否かを示す情報、および各マクロブロックの動き補償の方式がフレーム予測であるか否かを示す情報を用いて、ピクチャの動き補償の方式が画面間予測であり、かつフレーム予測である、当該ピクチャの前記各スライスに対応する部分に含まれるマクロブロックの数が第２の閾値以上である場合に、当該スライスに対してフレーム符号化と決定する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の符号化方式変換装置。
【請求項７】
前記符号化構造決定手段は、前記パラメータ情報のうち、各ピクチャの動き補償の方式が画面間予測であるか否かを示す情報、および当該ピクチャに含まれる動きベクトルを用いて、前記動き補償の方式が画面間予測であり、かつ前記動きベクトルから算出される特徴量が第３の閾値以下である場合に、当該ピクチャに含まれるすべてのスライスに対して、フレーム符号化と決定する
ことを特徴とする請求項１から請求項６のいずれか１項に記載の符号化方式変換装置。
【請求項８】
前記符号化構造決定手段は、前記パラメータ情報のうち、各ピクチャの動き補償の方式が画面間予測であるか否かを示す情報、および当該ピクチャの各スライスに含まれる動きベクトルを用いて、前記動き補償の方式が画面間予測であり、かつ前記動きベクトルから算出される特徴量が第３の閾値以下である場合に、当該スライスに対して、フレーム符号化と決定する
ことを特徴とする請求項１から請求項６のいずれか１項に記載の符号化方式変換装置。
【請求項９】
第１方式により圧縮符号化された第１符号化データを第２方式により圧縮符号化された第２符号化データに変換する符号化方式変換装置であって、
前記第１符号化データを復号する復号ステップと、
前記第１符号化データのうち、前記第１方式での各ピクチャがフィールド構造およびフレーム構造のいずれであるかを示す情報以外を用いて、前記各ピクチャを構成する前記第２方式での符号化単位である各スライスに対して、フィールド符号化およびフレーム符号化のいずれかである符号化構造を決定する符号化構造決定ステップと、
決定された前記符号化構造にしたがって、前記復号ステップにおいて復号された前記第１符号化データを前記第２方式により圧縮符号化する符号化ステップとを含む
ことを特徴とする符号化方式変換方法。
【請求項１０】
第１方式により圧縮符号化された第１符号化データを第２方式により圧縮符号化された第２符号化データに変換する集積回路であって、
前記第１符号化データを復号する復号手段と、
前記第１符号化データのうち、前記第１方式での各ピクチャがフィールド構造およびフレーム構造のいずれであるかを示す情報以外を用いて、前記各ピクチャを構成する前記第２方式での符号化単位である各スライスに対して、フィールド符号化およびフレーム符号化のいずれかである符号化構造を決定する符号化構造決定手段と、
決定された前記符号化構造にしたがって、前記復号手段により復号された前記第１符号化データを前記第２方式により圧縮符号化する符号化手段とを備える
ことを特徴とする集積回路。
【請求項１１】
第１方式により圧縮符号化された第１符号化データを第２方式により圧縮符号化された第２符号化データに変換する符号化方式変換プログラムであって、
前記第１符号化データを復号する復号ステップと、
前記第１符号化データのうち、前記第１方式での各ピクチャがフィールド構造およびフレーム構造のいずれであるかを示す情報以外を用いて、前記各ピクチャを構成する前記第２方式での符号化単位である各スライスに対して、フィールド符号化およびフレーム符号化のいずれかである符号化構造を決定する符号化構造決定ステップと、
決定された前記符号化構造にしたがって、前記復号ステップにおいて復号された前記第１符号化データを前記第２方式により圧縮符号化する符号化ステップとをコンピュータに実行させる
ことを特徴とする符号化方式変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を含む符号化データの符号化方式を変換する装置およびその方法に関し、特に、他の符号化方式からＨ．２６４符号化方式に変換する画像符号化変換装置に関する。
【背景技術】
【０００２】
デジタル映像技術の発展と共に、増大するデータ量を処理するために、データを圧縮する技術がデジタル映像データに使用され、発展しつつある。その発展は、映像データの特性を生かした映像データに特化した圧縮技術となって現れている。また、コンピュータなどの情報処理機器の処理能力の向上に伴い、圧縮技術における複雑な演算も可能となり、映像データの圧縮率は大幅に向上しつつある。例えば、衛星、地上波デジタルハイビジョン放送で採用されている圧縮技術はＭＰＥＧ２と呼ばれる方式であり、衛星デジタルハイビジョン放送はＭＰＥＧ２によって映像データを約１／３０に圧縮している（非特許文献１）。
【０００３】
ＭＰＥＧ２の次の映像圧縮技術として規格化されたＭＰＥＧ４  ＡＶＣ／Ｈ．２６４は、ＭＰＥＧ２の約２倍の圧縮率を実現すると言われている。ＭＰＥＧ４  ＡＶＣ／Ｈ．２６４では、多くの圧縮技術を実装し、それらを組み合わせることで高い圧縮率を実現している（非特許文献２）。そのため、例えば、映像の視聴者が、ＭＰＥＧ２によって圧縮された映像データを受信した場合、その映像データを記憶媒体に保存するときには、ＭＰＥＧ４  ＡＶＣ／Ｈ．２６４によって圧縮された映像データである方が、記憶媒体を有効に利用するためには望ましい。
【０００４】
もっとも、ＭＰＥＧ２とＭＰＥＧ４  ＡＶＣ／Ｈ．２６４とでは、選択可能な処理の単位が異なる。
【０００５】
具体的には、ＭＰＥＧ２では、フレームデータを単位とした符号化（以下、「フレーム構造」という。）とフィールドデータを単位とした符号化（以下、「フィールド構造」という。）とをピクチャ単位で選択することが可能である。また、直交変換の方式として、フレームデータを単位とした離散コサイン変換（以下、「フレームＤＣＴ」という。）とフィールドデータを単位とした離散コサイン変換（以下、「フィールドＤＣＴ」という。）とをマクロブロック単位で選択することが可能である。また、動き補償の方式として、フレームデータを単位とした動き補償（以下、「フレーム予測」という。）とフィールドデータを単位とした動き補償（以下、「フィールド予測」という。）とをマクロブロック単位で選択することが可能である。
【０００６】
また、ＭＰＥＧ４  ＡＶＣ／Ｈ．２６４では、フレームデータを単位とした符号化（以下、「フレーム符号化」という。）とフィールドデータを単位とした符号化（以下、「フィールド符号化」という。）とを選択することが可能である。また、スライス単位（以下、「ピクチャレベル  フィールド／フレーム適応符号化」という。）またはマクロブロック単位（以下、「マクロブロックレベル  フィールド／フレーム適応符号化」という。）でフレーム符号化を行うか、フィールド符号化を行うかという符号化構造を適応的に選択することが可能である。
【０００７】
ピクチャレベル  フィールド／フレーム適応符号化ではピクチャ単位またはスライス単位でフレーム符号化を行うか、フィールド符号化を行うかを選択できるため、入力された符号化データに含まれるすべてのピクチャまたはスライスに対する符号化シーケンスの全てをフレーム符号化、またはフィールド符号化する場合に比べて高効率な符号化が可能である。フィールド符号化およびフレーム符号化のいずれに決定するかは、入力された符号化データに含まれる各ピクチャまたは各スライスに対して両方式で符号化を行い、ピクチャごとまたはスライスごとに符号量の少ない方式を選択するという方法が考えられるが、演算量が大幅に増加する。
【０００８】
そこで、従来、ＭＰＥＧ２からＭＰＥＧ４  ＡＶＣ／Ｈ．２６４にトランスコードする場合に、ＭＰＥＧ２により圧縮符号化された符号化データに含まれるピクチャごとに、その符号化データがフレーム構造であればＨ．２６４符号化においてもフレーム符号化を、その符号化のデータがフィールド構造であればＨ．２６４符号化においてもフィールド符号化を選択するという方法がある（特許文献１）。
【非特許文献１】ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６２
【非特許文献２】ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４
【特許文献１】特開２００５−３２３３５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、必ずしもＭＰＥＧ２の符号化データが最適な符号化構造で符号化されているとは限らない。例えば、符号化前の原画像が飛び越し走査のピクチャであり、それがフレーム符号化されている場合、ＭＰＥＧ４  ＡＶＣ／Ｈ．２６４で符号化する場合にはフィールド符号化を選択することにより符号化効率が向上する場合もある。
【００１０】
本発明はかかる問題を解決するためになされたものであり、画像符号化方式の変換処理の演算量の削減、高速化、および低消費電力化を図りつつ、画質および符号化効率を向上させることができる符号化方式変換装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係る符号化方式変換装置は、第１方式により圧縮符号化された第１符号化データを第２方式により圧縮符号化された第２符号化データに変換する符号化方式変換装置であって、前記第１符号化データを復号する復号手段と、前記第１符号化データに含まれる前記第１方式による符号化でのパラメータ情報のうち、前記第１方式での各ピクチャがフィールド構造およびフレーム構造のいずれであるかを示す情報以外を用いて、前記各ピクチャを構成する前記第２方式での符号化単位である各スライスに対して、フィールド符号化およびフレーム符号化のいずれかである符号化構造を決定する符号化構造決定手段と、決定された前記符号化構造にしたがって、前記復号手段により復号された前記第１符号化データを前記第２方式により圧縮符号化する符号化手段とを備える。
【００１２】
このように、パラメータ情報のうち、前記第１方式での各ピクチャがフィールド構造およびフレーム構造のいずれであるかを示す情報以外を用いて、第２の方式での各スライスに対する符号化構造を決定する。
【００１３】
これにより、効率の良い符号化構造を決定することができ、また、入力された符号化データに含まれる各ピクチャまたは各スライスに対してフィールド符号化およびフレーム符号化のそれぞれの方式で符号化を行い、ピクチャごとまたはスライスごとに符号量の少ない方式を選択するよりも、演算量を削減することができる。さらに、演算量の削減により、画像符号化方式の変換処理の高速化と低消費電力化が可能になる。
【００１４】
したがって、画像符号化方式の変換処理の演算量の削減、高速化、および低消費電力化を図りつつ、画質および符号化効率を向上させることが可能になる。
【００１５】
好ましくは、前記符号化構造決定手段は、前記パラメータ情報のうち、前記各ピクチャの原画像が順次走査であるか否かを示すフラグが順次走査であることを示す場合に、当該フラグが示す当該ピクチャに含まれるすべてのスライスに対して、フレーム符号化と決定する。
【００１６】
このように、パラメータ情報のうち、前記各ピクチャの原画像が順次走査であるか否かを示すフラグを用いて、そのフラグが順次走査であることを示す場合に、符号化構造を符号化対照ピクチャに含まれるすべてのスライスに対してフレーム符号化と決定する。
【００１７】
ピクチャが順次走査である場合、その符号化対照ピクチャにはフレーム符号化を決定することにより、効率の良い圧縮符号化ができる。
【００１８】
したがって、演算量を削減しつつ、画質および符号化効率を向上させることが可能になる。
【００１９】
また好ましくは、前記符号化構造決定手段は、前記パラメータ情報のうち、マクロブロックのＤＣＴの方式がフレームＤＣＴであるか否かを示す情報を用いて、フレームＤＣＴである前記各ピクチャ内のマクロブロックの数が第１の閾値以上である場合に、当該ピクチャに含まれるすべてのスライスに対してフレーム符号化と決定する。
【００２０】
また、前記符号化構造決定手段は、前記パラメータ情報のうち、マクロブロックのＤＣＴの方式がフレームＤＣＴであるか否かを示す情報を用いて、前記各ピクチャの前記各スライスに対応する部分に含まれるフレームＤＣＴであるマクロブロックの数が第１の閾値以上である場合に、当該スライスに対してフレーム符号化と決定する。
【００２１】
このように、パラメータ情報のうち、ＤＣＴの方式がフレームＤＣＴであるマクロブロックを閾値以上含むピクチャまたはスライスの符号化構造はフレーム符号化と決定する。
【００２２】
フレームＤＣＴが選択されたマクロブロックが多いピクチャまたはスライスにはフレーム符号化を選択し、フレームＤＣＴが選択されたマクロブロックが少ないピクチャまたはスライスにはフィールド符号化を選択することにより、効率の良い圧縮符号化ができる。
【００２３】
したがって、演算量を削減しつつ、画質および符号化効率を向上させることが可能になる。
【００２４】
さらに好ましくは、前記符号化構造決定手段は、前記パラメータ情報のうち、各ピクチャの動き補償の方式が画面間予測であるか否かを示す情報、および各マクロブロックの動き補償の方式がフレーム予測であるか否かを示す情報を用いて、ピクチャの動き補償の方式が画面間予測であり、かつフレーム予測である、当該ピクチャ内のマクロブロックの数が第２の閾値以上である場合に、当該ピクチャに含まれるすべてのスライスに対してフレーム符号化と決定する。
【００２５】
また、前記符号化構造決定手段は、前記パラメータ情報のうち、各ピクチャの動き補償の方式が画面間予測であるか否かを示す情報、および各マクロブロックの動き補償の方式がフレーム予測であるか否かを示す情報を用いて、ピクチャの動き補償の方式が画面間予測であり、かつフレーム予測である、当該ピクチャの前記各スライスに対応する部分に含まれるマクロブロックの数が第２の閾値以上である場合に、当該スライスに対してフレーム符号化と決定する。
【００２６】
このように、パラメータ情報のうち、各ピクチャの動き補償の方式が画面間予測であるか否かを示す情報、および各マクロブロックの動き補償の方式がフレーム予測であるか否かを示す情報を用いて、画面間予測のピクチャである場合に、予測方式がフレーム予測であるマクロブロックを閾値以上含むピクチャまたはスライスの符号化構造はフレーム符号化と決定する。
【００２７】
フレーム予測が選択されたマクロブロックが多いピクチャまたはスライスにはフレーム符号化を選択し、フレーム予測が選択されたマクロブロックが少ないピクチャまたはスライスにはフィールド符号化を選択することにより、効率の良い圧縮符号化ができる。
【００２８】
したがって、演算量を削減しつつ、画質および符号化効率を向上させることが可能になる。
【００２９】
さらに好ましくは、前記符号化構造決定手段は、前記パラメータ情報のうち、各ピクチャの動き補償の方式が画面間予測であるか否かを示す情報、および当該ピクチャに含まれる動きベクトルを用いて、前記動き補償の方式が画面間予測であり、かつ前記動きベクトルから算出される特徴量が第３の閾値以下である場合に、当該ピクチャに含まれるすべてのスライスに対して、フレーム符号化と決定する。
【００３０】
また、前記符号化構造決定手段は、前記パラメータ情報のうち、各ピクチャの動き補償の方式が画面間予測であるか否かを示す情報、および当該ピクチャの各スライスに含まれる動きベクトルを用いて、前記動き補償の方式が画面間予測であり、かつ前記動きベクトルから算出される特徴量が第３の閾値以下である場合に、当該スライスに対して、フレーム符号化と決定する。
【００３１】
このように、パラメータ情報のうち、各ピクチャの動き補償の方式が画面間予測であるか否かを示す情報、および各ピクチャまたは各スライスに含まれるマクロブロックの動きベクトルを用いて、画面間予測のピクチャである場合に、動きベクトルから算出される特徴量が第３の閾値以下である場合に、ピクチャまたはスライスの符号化構造はフレーム符号化と決定する。
【００３２】
一般に、動きが大きい動画像の符号化ではフィールド符号化の方がフレーム符号化より圧縮効率が良く、動きが小さい動画像の符号化ではフレーム符号化の方がフィールド符号化より圧縮効率が良い。そのため、例えば、動きベクトルから算出される特徴量が動きベクトルの平均のユークリッドノルムであれば、それが第３の閾値以下であることは動きが小さい動画像であるので、フレーム符号化と決定することにより、効率の良い圧縮符号化ができる。
【００３３】
このような演算は、入力された符号化データに含まれる各ピクチャまたは各スライスに対してフィールド符号化およびフレーム符号化のそれぞれの方式で符号化を行い、ピクチャごとまたはスライスごとに符号量の少ない方式を選択するよりも、少ない。
【００３４】
したがって、演算量を削減しつつ、画質および符号化効率を向上させることが可能になる。
【００３５】
なお、本発明は、このような手段を備える符号化方式変換装置として実現することができるだけでなく、符号化方式変換装置に含まれる手段をステップとする符号化方式変換方法として実現したり、符号化方式変換装置に含まれる手段を備える集積回路として実現したり、符号化方式変換装置に含まれる手段としてコンピュータを機能させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。
【発明の効果】
【００３６】
本発明によると、入力された画像データの画質の劣化を防ぎながら効率良く符号化することが可能になる。また、フレーム符号化／フィールド符号化の決定に必要な演算量を削減することが可能になる。このため、画像符号化処理の高速化、および画像符号化処理装置の低消費電力化を図ることが可能になる。
【発明を実施するための最良の形態】
【００３７】
以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。  図１は、本発明の一実施の形態に係る符号化方式変換装置の構成を示すブロック図である。本実施の形態の符号化方式変換装置では、ＭＰＥＧ２により圧縮符号化された符号化データがストリームとして入力され、Ｈ．２６４符号化により符号化方式に変換したストリームとして出力する。
【００３８】
Ｈ．２６４符号化では１つのピクチャを１つまたは複数のスライスに分割し、そのスライスを処理単位とする。本実施の形態のＨ．２６４符号化では、１つのピクチャが１つのスライスであるとする。
【００３９】
符号化方式変換装置１００は、画像復号化部１０１と、符号化情報メモリ１０２と、符号化構造決定部１０３と、画像符号化部１０４とを備える。
【００４０】
画像復号化部１０１は、入力された符号化データを復号し、画像データと、その符号化情報と、画像データから得られたピクチャ特徴量とを出力する。画像復号化部１０１は、請求項に記載の復号手段に相当する。
【００４１】
ここで、画像データとは、符号化データを復号化したデータである。
また、符号化情報は、符号化データに含まれる情報であり、ピクチャの原画像のデータ構造、ピクチャタイプ、各マクロブロックがフレームＤＣＴか否か、フレーム予測か否か、および各マクロブロックの動きベクトルなどの「パラメータ情報」を含む。
【００４２】
また、ピクチャ特徴量とは、画像データに含まれる各ピクチャの画素値などから得られる特徴量であり、例えば、隣接画素差分などである。
【００４３】
隣接画素差分とは、ピクチャに含まれる上下方向に隣接する各画素間の画素値の差分の絶対値和である。ピクチャをフィールド構造でみると、隣接画素差分値が大きい場合、１ピクチャを構成するフィールド間の相関は低く、隣接画素差分値が小さい場合、１ピクチャを構成するフィールド間の相関は高い。すなわち、隣接画素差分は、１つのピクチャを構成するフィールド間の相関を示す値の一例である。
【００４４】
符号化情報メモリ１０２は、画像復号化部１０１が出力した符号化情報を記憶しているメモリである。
【００４５】
符号化構造決定部１０３は、符号化対象ピクチャの符号化情報とピクチャ特徴量とを符号化情報メモリ１０２から読み出し、符号化対象ピクチャをフレーム符号化するか、フィールド符号化するかを決定し、符号化構造決定情報を画像符号化部に出力する。符号化構造決定部１０３の詳細は、後述する。
【００４６】
画像符号化部１０４は、符号化構造決定部１０３により決定された符号化構造、すなわちフレーム符号化およびフィールド符号化のいずれかにしたがって、画像データをＨ．２６４符号化により圧縮符号化する。画像符号化部１０４は、請求項に記載の符号化手段に相当する。
【００４７】
図２は、本発明の一実施の形態に係る符号化方式変換装置１００の画像符号化部１０４の詳細な構成を示すブロック図である。画像符号化部１０４は、入力画像データメモリ２０１、参照画像データメモリ２０２、面内予測部２０３、動きベクトル検出部２０４、動き補償部２０５、スイッチ２０６、差分演算部２０７、直交変換部２０８、量子化部２０９、逆量子化部２１０、逆直交変換部２１１、加算部２１２、およびエントロピー符号化部２１３を備えている。
【００４８】
入力画像データメモリ２０１には、画像復号化部１０１から出力された画像データが格納される。
【００４９】
入力画像データメモリ２０１は、符号化構造決定部１０３から入力された符号化構造決定情報と、符号化対象の画像データとを保持し、保持している情報は面内予測部２０３、動きベクトル検出部２０４、動き補償部２０５、および差分演算部２０７により参照される。
【００５０】
動きベクトル検出部２０４は、参照画像データメモリ２０２に格納されているローカルデコード画像を探索対象とし、最も入力画像に近い画像領域を検出してその位置を示す動きベクトルを決定し、最も誤差の小さい符号化対象ブロックのサイズおよびそのサイズでの動きベクトルを決定する。
【００５１】
動き補償部２０５は、動きベクトル検出部２０４によって検出された動きベクトルを用いて、参照画像データメモリ２０２に格納されているローカルデコード画像から予測画像に最適な画像領域を取り出し、予測画像を生成する。また、面内予測部２０３は、同一画面内の符号化後の画素を用いて面内予測を行い、予測画像を生成する。
【００５２】
スイッチ２０６は、面内予測であるか、面間予測であるかを切り替える。
差分演算部２０７は、画像データを取得し、取得した入力画像と予測画像との差分値を計算し、直交変換部２０８に出力する。
【００５３】
直交変換部２０８は、差分値を周波数係数に変換し、量子化部２０９に出力する。
量子化部２０９は、入力された周波数係数を量子化し、量子化値を符号化データとしてエントロピー符号化部２１３に出力する。
【００５４】
逆量子化部２１０は、入力された量子化値を逆量子化して周波数係数に復元し、逆直交変換部２１１に出力する。
【００５５】
逆直交変換部２１１は、周波数係数から画素差分値に逆周波数変換し、加算部２１２に出力する。
【００５６】
加算部２１２は、画素差分値と、面内予測部２０３または動き補償部２０５から出力される予測画像を加算してローカルデコード画像とする。
【００５７】
エントロピー符号化部２１３は、量子化値および動きベクトル等をエントロピー符号化して符号化データを出力する。
【００５８】
図３は、本発明の一実施の形態に係る符号化方式変換装置１００の符号化構造決定部１０３の詳細な構成を示すブロック図である。
【００５９】
符号化構造決定部１０３は、ＭＰＥＧ２で圧縮符号化されている符号化データに含まれる、各ピクチャのデータ構造を示す情報以外の各ピクチャの符号化情報を用いて、Ｈ．２６４符号化での符号化単位である各スライスに対して、フィールド符号化およびフレーム符号化のいずれかを決定する。ここで、本実施の形態では、上記のように、１つのピクチャは１つのスライスで構成される。
【００６０】
符号化構造決定部１０３は、走査方式判断部３０１と、ＤＣＴ方式判断部３０２と、補償方式判断部３０３と、動きベクトル特徴量算出判断部３０４と、決定部３０５とを備える。
【００６１】
走査方式判断部３０１は、符号化情報メモリ１０２が記憶している符号化情報のうち、各ピクチャについて、その原画像が順次走査であるか否かを示すフラグを用いて原画像が順次走査であるか否かを判断する。
【００６２】
ＤＣＴ方式判断部３０２と、符号化情報メモリ１０２が記憶している符号化情報のうち、マクロブロックのＤＣＴの方式がフレームＤＣＴであるか否かを示す情報を用いて、各ピクチャについてフレームＤＣＴであるマクロブロックの数が第１の閾値以上であるか否かを判断する。ここでの閾値は、例えば、各ピクチャに含まれるマクロブロックの総数の半分などである。
【００６３】
補償方式判断部３０３は、符号化情報メモリ１０２が記憶している符号化情報を用いて、各ピクチャまたは各ピクチャに含まれる各マクロブロックの動き補償の方式を判断する。
【００６４】
具体的には、補償方式判断部３０３は、符号化情報メモリ１０２が記憶している符号化情報のうち、ピクチャごとの動き補償の方式が画面間予測であるか否かを示す情報、および各マクロブロックの動き補償の方式がフレーム予測であるか否かを示す情報を用いて、ピクチャの動き補償の方式が画面間予測であり、かつフレーム予測である、当該ピクチャ内のマクロブロックの数が第２の閾値以上であるか否かを判断する。
【００６５】
ここで、補償方式判断部３０３は、補償データ構造判断部３０６と、参照タイプ判断部３０７とを有する。
【００６６】
補償データ構造判断部３０６は、各ピクチャに含まれるマクロブロックのうち、動き補償の方式がフレーム予測であるマクロブロックの数を計数し、計数して得られた数が第２の閾値以上であるか否かを判断する。補償データ構造判断部３０６は、例えば、符号化情報に含まれる各マクロブロックの動き補償の方式がフレーム予測であるか、フィールド予測であるかを示す情報を用いて判断する。
【００６７】
参照タイプ判断部３０７は、ピクチャごとに画面間予測か否かを判断する。具体的には、符号化情報に含まれる各ピクチャのピクチャタイプを示す情報を参照し、各ピクチャのピクチャタイプが、Ｂピクチャ、ＰピクチャおよびＩピクチャのいずれであるかを判断し、ピクチャタイプがＢピクチャまたはＰピクチャである場合に、そのピクチャが画面間予測であると判断する。
【００６８】
ここで、「Ｂピクチャ」は双方向予測符号化により得られるピクチャ、「Ｐピクチャ」は単方向予測符号化により得られるピクチャを、「Ｉピクチャ」は画面内予測により得られるピクチャをいう。「画面間予測」であるピクチャとは、他の画面を参照して得られるピクチャであり、「Ｂピクチャ」および「Ｐピクチャ」のことをいう。
【００６９】
動きベクトル特徴量算出判断部３０４は、符号化情報メモリ１０２が記憶している符号化情報のうち、各ピクチャに含まれるマクロブロックの動きベクトルを用いて、動きベクトルの特徴量を算出し、算出した特徴量が第３の閾値以下であるか否かを判断する。
【００７０】
ここで、動きベクトルの特徴量とは、例えば、各ピクチャに含まれるマクロブロック群の動きベクトルの平均のユークリッドノルムなどである。
【００７１】
決定部３０５は、走査方式判断部３０１と、ＤＣＴ方式判断部３０２と、補償方式判断部３０３と、動きベクトル特徴量算出判断部３０４との判断結果を取得し、それぞれの判断結果に基づいて予め定められた方法で、各符号化対象ピクチャにフレーム符号化と、フィールド符号化とのいずれを用いるかという符号化構造を決定する。この決定方法の詳細は、フローチャートを参照して後述する。
【００７２】
次に、このように構成された符号化方式変換装置１００が実行する処理について説明する。
【００７３】
まず、ＭＰＥＧ２で符号化された符号化データが画像復号化部１０１に入力され、復号された画像データと、復号された画像データの符号化情報と、復号された画像データのピクチャ特徴量が生成される。
【００７４】
復号された画像データは例えば１９２０画素×１０８０画素によって構成されている。復号された画像データの符号化情報は、シーケンス単位の情報と、ピクチャ単位の情報と、マクロブロック単位の情報とを含む。
【００７５】
ここで、シーケンス単位の情報とは、シーケンスごとに付与されているパラメータ情報であり、例えば、水平画素数、垂直画素数、フレームレート、シーケンスが順次走査であることを示すフラグなどが含まれる。
【００７６】
また、ピクチャ単位の情報とは、ピクチャごとに付与されているパラメータ情報であり、例えば、ピクチャタイプ、ピクチャがフレーム構造であるかフィールド構造であるかを示すフラグ、ピクチャが順次走査であることを示すフラグなどが含まれる。
【００７７】
さらに、マクロブロック単位の情報とは、マクロブロックごとに付与されているパラメータ情報であり、例えば、各マクロブロックにフレームＤＣＴおよびフィールドＤＣＴのいずれが選択されたかを示すフラグ、各マクロブロックにフレーム予測およびフィールド予測のいずれが選択されたかを示すフラグ、各マクロブロックの動きベクトルなどが含まれる。
【００７８】
そして、フレームＤＣＴが選択されたマクロブロックの数、フィールドＤＣＴが選択されたマクロブロックの数、フレーム予測が選択されたマクロブロックの数、フィールド予測が選択されたマクロブロックの数、各マクロブロックの動きベクトルの平均値、各マクロブロックの動きベクトルの絶対値の平均値などは、マクロブロック単位の情報をピクチャごとに計数または演算することにより、ピクチャ単位で得られる情報である。
【００７９】
復号された画像データのピクチャ特徴量は例えば、トップフィールドとボトムフィールドの輝度成分または色差成分の総和の差分値や、トップフィールドとボトムフィールドの輝度成分または色差成分の分散の差分値や、フレームの水平方向の隣接画素の差分値で構成される。
【００８０】
次に、符号化情報メモリ１０２に画像復号化部１０１から出力された復号された画像データの符号化情報とピクチャ特徴量が格納される。
【００８１】
次に、符号化構造決定部１０３は、画像符号化部１０４が符号化するピクチャに対応する符号化情報とピクチャ特徴量とを符号化情報メモリ１０２から読み込む。符号化構造決定部１０３の走査方式判断部３０１、ＤＣＴ方式判断部３０２、補償方式判断部３０３および動きベクトル特徴量算出判断部３０４は、読み込んだ符号化情報およびピクチャ特徴量から、符号化対象ピクチャをフレーム符号化するか、フィールド符号化するかという、符号化対象ピクチャに適用する符号化構造を決定し、決定した符号化構造決定情報を画像符号化部１０４に出力する。
【００８２】
次に、画像符号化部１０４は、符号化構造決定部１０３で決定された符号化構造決定情報を基づいて動きベクトル検出、動き補償、面内予測、直交変換、量子化、エントロピー符号化等の一連の符号化処理をする。本実施の形態では、画像符号化部１０４は、Ｈ２６４符号化方式にしたがって、画像復号化部１０１から出力される画像データを符号化する。
【００８３】
ここから、符号化構造決定部１０３が符号化構造を決定する方法について、図４から図１０までを参照して説明する。
【００８４】
まず、図４を参照して符号化構造を決定する第１の方法について、説明する。
図４は、符号化構造決定部１０３が実行する処理の第１の例を示すフローチャートである。
【００８５】
符号化構造決定部１０３の走査方式判断部３０１は、符号化対象ピクチャの符号化情報について、復号された画像データの符号化情報に含まれる順次走査を示すフラグが立っているか否かを判断する（Ｓ４０１）。
【００８６】
順次走査を示すフラグが立っていると判断された場合（Ｓ４０１でＹｅｓ）、決定部３０５はその符号化対象ピクチャにフレーム符号化を選択する（Ｓ４０２）。
【００８７】
順次走査を示すフラグが立っていないと判断された場合（Ｓ４０１でＮｏ）、決定部３０５はその符号化対象ピクチャにフィールド符号化を選択する（Ｓ４０３）。ここで順次走査を示すフラグとは、例えばＭＰＥＧ２におけるｐｒｏｇｒｅｓｓｉｖｅ＿ｓｅｑｕｅｎｃｅとｐｒｏｇｒｅｓｓｉｖｅ＿ｆｒａｍｅのＯＲを表す。ＭＰＥＧ２では、これらのフラグのどちらか一方が立っている場合、そのピクチャが順次走査でできていることを表す。
【００８８】
次に、図５を参照して符号化構造を決定する第２の方法について、説明する。
図５は、符号化構造決定部１０３が実行する処理の第２の例を示すフローチャートである。
【００８９】
符号化構造決定部１０３の走査方式判断部３０１は、符号化対照ピクチャについて、復号された画像データの符号化情報に含まれる順次走査を示すフラグが立っているか否かを判断する（Ｓ５０１）。
【００９０】
順次走査を示すフラグが立っていると判断された場合（Ｓ５０１でＹｅｓ）、決定部３０５はその符号化対象ピクチャにフレーム符号化を選択する（Ｓ５０２）。
【００９１】
順次走査を示すフラグが立っていないと判断された場合（Ｓ５０１でＮｏ）、ＤＣＴ方式判断部３０２は、符号化情報を用いて、符号化対照ピクチャに含まれるマクロブロックのうち、フレームＤＣＴであるマクロブロックの数が第１の閾値以上であるか否かを判断する（Ｓ５０３）。
【００９２】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上であると判断された場合（Ｓ５０３でＹｅｓ）、決定部３０５はその符号化対象ピクチャにフレーム符号化を選択する（Ｓ５０４）。
【００９３】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上でないと判断された場合（Ｓ５０３でＮｏ）、決定部３０５はその符号化対象ピクチャにフィールド符号化を選択する（Ｓ５０５）。
【００９４】
ここで、第１の閾値は例えば、ピクチャ内のマクロブロックの数の１／２の値が望ましいが、それ以外の値であってもよい。
【００９５】
さらに、図６を参照して符号化構造を決定する第３の方法について、説明する。
図６は、符号化構造決定部１０３が実行する処理の第３の例を示すフローチャートである。
【００９６】
符号化構造決定部１０３の走査方式判断部３０１は、復号された画像データの符号化情報に含まれる順次走査を示すフラグが立っているか否かを判断する（Ｓ６０１）。
【００９７】
順次走査を示すフラグが立っていると判断された場合（Ｓ６０１でＹｅｓ）、決定部３０５はその符号化対象ピクチャにフレーム符号化を選択する（Ｓ６０２）。
【００９８】
順次走査を示すフラグが立っていないと判断された場合（Ｓ６０１でＮｏ）、参照タイプ判断部３０７は、符号化情報を用いて、符号化対象ピクチャのピクチャタイプがＩピクチャであるか否かを判断する（Ｓ６０３）。すなわち、参照タイプ判断部３０７は、画面内予測か画面間予測かを判断する。
【００９９】
ピクチャタイプがＩピクチャである、すなわち画面内予測であると判断された場合（Ｓ６０３でＹｅｓ）、ＤＣＴ方式判断部３０２は、符号化情報のうち、マクロブロックのＤＣＴの方式がフレームＤＣＴかフィールドＤＣＴかを示す情報を用いて、符号化対象ピクチャについてフレームＤＣＴであるマクロブロックの数が第１の閾値以上であるか否かを判断する（Ｓ６０４）。
【０１００】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上であると判断された場合（Ｓ６０４でＹｅｓ）は、決定部３０５はその符号化対象ピクチャにフレーム符号化を選択する（Ｓ６０５）。
【０１０１】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上ではないと判断された場合（Ｓ６０４でＮｏ）は、決定部３０５はその符号化対象ピクチャにフィールド符号化を選択する（Ｓ６０６）。
【０１０２】
ピクチャタイプがＩピクチャではない、すなわちピクチャタイプがＰピクチャまたはＢピクチャであり画面間予測であると判断された場合（Ｓ６０３でＮｏ）、補償データ構造判断部３０６は、符号化対象ピクチャに含まれるマクロブロックのうち、動き補償の方式がフレーム予測であるマクロブロックの数が第２の閾値以上であるか否かを判断する（Ｓ６０７）。
【０１０３】
フレーム予測が選択されたマクロブロックの数が第２の閾値以上であると判断された場合（Ｓ６０７でＹｅｓ）、決定部３０５はフレーム符号化を選択する（Ｓ６０８）。
【０１０４】
フレーム予測が選択されたマクロブロックの数が第２の閾値以上ではないと判断された場合（Ｓ６０７でＮｏ）、決定部３０５はその符号化対照ピクチャにフィールド符号化を選択する（Ｓ６０９）。第２の閾値は例えば、ピクチャ内のマクロブロックの数の１／２の値が望ましいが、それ以外の値であってもよい。
【０１０５】
さらに、図７を参照して符号化構造を決定する第４の方法について、説明する。
図７は、符号化構造決定部１０３が実行する処理の第４の例を示すフローチャートである。
【０１０６】
符号化構造決定部１０３の走査方式判断部３０１は、復号された画像データの符号化情報に含まれる順次走査を示すフラグが立っているか否かを判断する（Ｓ７０１）。
【０１０７】
順次走査を示すフラグが立っていると判断された場合（Ｓ７０１でＹｅｓ）、決定部３０５はその符号化対象ピクチャにフレーム符号化を選択する（Ｓ７０２）。
【０１０８】
順次走査を示すフラグが立っていないと判断された場合（Ｓ７０１でＮｏ）、参照タイプ判断部３０７は、符号化情報を用いて、符号化対象ピクチャのピクチャタイプがＩピクチャであるか否かを判断する（Ｓ７０３）。すなわち、参照タイプ判断部３０７は、画面内予測か画面間予測かを判断する。
【０１０９】
ピクチャタイプがＩピクチャである、すなわち画面内予測であると判断された場合（Ｓ７０３でＹｅｓ）、ＤＣＴ方式判断部３０２は、符号化情報のうち、マクロブロックのＤＣＴの方式がフレームＤＣＴかフィールドＤＣＴかを示す情報を用いて、符号化対象ピクチャについてフレームＤＣＴであるマクロブロックの数が第１の閾値以上であるか否かを判断する（Ｓ７０４）。
【０１１０】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上であると判断された場合（Ｓ７０４でＹｅｓ）、決定部３０５はその符号化対照ピクチャにフレーム符号化を選択する（Ｓ７０５）。
【０１１１】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上ではないと判断された場合（Ｓ７０４でＮｏ）、決定部３０５はその符号化対照ピクチャにフィールド符号化を選択する（Ｓ７０６）。
【０１１２】
ピクチャタイプがＩピクチャではない、すなわちピクチャタイプがＰピクチャまたはＢピクチャであり画面間予測であると判断された場合（Ｓ７０３でＮｏ）、動きベクトル特徴量算出判断部３０４は、符号化対象ピクチャに含まれるマクロブロックの動きベクトルの特徴量を算出し、算出した特徴量が第３の閾値以下であるか否かを判断する（Ｓ７０７）。
【０１１３】
ここでの、動きベクトルの特徴量は、例えば、ピクチャ内の動きベクトルの平均のユークリッドノルムである。なお、動きベクトルの特徴量は、最大値ノルムであってもよいし、水平成分の絶対値と垂直成分の絶対値の和であってもよい。
【０１１４】
また、第３の閾値は、例えば、垂直画素数の１／１０が望ましいが、それ以外の値であってもよい。
【０１１５】
動きベクトルから算出された特徴量が第３の閾値以下であると判断された場合（Ｓ７０７でＹｅｓ）、決定部３０５はその符号化対照ピクチャにフレーム符号化を選択する（Ｓ７０８）。例えば、動きベクトルの特徴量が、動きベクトルの平均のユークリッドノルムである場合、動きベクトルの特徴量が第３の閾値以下である符号化対象ピクチャの全体的な動きは小さい。そのため、一般に、動きが小さい動画像の符号化で効率が良いフレーム符号化を選択する。
【０１１６】
動きベクトルから算出された特徴量が閾値以下ではないと判断された場合（Ｓ７０７でＮｏ）、決定部３０５はその符号化対象ピクチャにフィールド符号化を選択する（Ｓ７０９）。例えば、動きベクトルの特徴量が、動きベクトルの平均のユークリッドノルムである場合、動きベクトルの特徴量が第３の閾値以下ではない符号化対象ピクチャの全体的な動きは大きい。そのため、一般に、動きが大きい動画像の符号化で効率が良いフィールド符号化を選択する。
【０１１７】
さらに、図８を参照して符号化構造を決定する第５の方法について、説明する。
【０１１８】
図８は、符号化構造決定部１０３が実行する処理の第５の例を示すフローチャートである。
【０１１９】
符号化構造決定部１０３のＤＣＴ方式判断部３０２は、復号された画像データの符号化情報に含まれる符号化対象ピクチャのマクロブロックのＤＣＴの方式がフレームＤＣＴかフィールドＤＣＴかを示す情報を用いて、符号化対象ピクチャについてフレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上であるか否かを判断する（Ｓ８０１）。
【０１２０】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上であると判断された場合（Ｓ８０１でＹｅｓ）、決定部３０５は符号化対象ピクチャにフレーム符号化を選択する（Ｓ８０２）。
【０１２１】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上であると判断された場合（Ｓ８０２でＮｏ）、決定部３０５は符号化対象ピクチャにフィールド符号化を選択する（Ｓ８０３）。ここでも、第１の閾値は例えば、ピクチャ内のマクロブロックの数の１／２の値が望ましいが、それ以外の値であってもよい。
【０１２２】
さらに、図９を参照して符号化構造を決定する第６の方法について、説明する。
図９は、符号化構造決定部１０３が実行する処理の第６の例を示すフローチャートである。
【０１２３】
符号化構造決定部１０３の参照タイプ判断部３０７は、復号された画像データの符号化情報を用いて、符号化対象ピクチャのピクチャタイプがＩピクチャであるか否かを判断する（Ｓ９０１）。すなわち、参照タイプ判断部３０７は、画面内予測か画面間予測かを判断する。
【０１２４】
ピクチャタイプがＩピクチャである、すなわち画面内予測であると判断された場合（Ｓ９０１でＹｅｓ）、ＤＣＴ方式判断部３０２は、符号化情報のうち、マクロブロックのＤＣＴの方式がフレームＤＣＴかフィールドＤＣＴかを示す情報を用いて、符号化対象ピクチャについてフレームＤＣＴであるマクロブロックの数が第１の閾値以上であるか否かを判断する（Ｓ９０２）。
【０１２５】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上であると判断された場合（Ｓ９０２でＹｅｓ）、決定部３０５はその符号化対象ピクチャにフレーム符号化を選択する（Ｓ９０３）。
【０１２６】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上ではないと判断された場合（Ｓ９０２でＮｏ）、決定部３０５はその符号化対照ピクチャにフィールド符号化を選択する（Ｓ９０４）。
【０１２７】
ピクチャタイプがＩピクチャではない、すなわちピクチャタイプがＰピクチャまたはＢピクチャであり画面間予測であると判断された場合（Ｓ９０１でＮｏ）、補償データ構造判断部３０６は、符号化対象ピクチャに含まれるマクロブロックのうち、動き補償の方式がフレーム予測であるマクロブロックの数が第２の閾値以上であるか否かを判断する（Ｓ９０５）。
【０１２８】
フレーム予測が選択されたマクロブロックの数が第２の閾値以上であると判断された場合（Ｓ９０５でＹｅｓ）、決定部３０５は符号化対象ピクチャにフレーム符号化を選択する（Ｓ８０６）。
【０１２９】
フレーム予測が選択されたマクロブロックの数が第２の閾値以上ではないと判断された場合（Ｓ９０５でＮｏ）、決定部３０５は符号化対照ピクチャにフィールド符号化を選択する（Ｓ９０７）。ここでも、第２の閾値は例えば、ピクチャ内のマクロブロックの数の１／２の値が望ましいが、それ以外の値であってもよい。
【０１３０】
さらに、図１０を参照して符号化構造を決定する第７の方法について、説明する。
図１０は、符号化構造決定部１０３が実行する処理の第７の例を示すフローチャートである。
【０１３１】
符号化構造決定部１０３の参照タイプ判断部３０７は、復号された画像データの符号化情報を用いて、符号化対象ピクチャのピクチャタイプがＩピクチャであるか否かを判断する（Ｓ１００１）。
【０１３２】
ピクチャタイプがＩピクチャである、すなわち画面内予測であると判断された場合（Ｓ１００１でＹｅｓ）、ＤＣＴ方式判断部３０２は、符号化情報のうち、マクロブロックのＤＣＴの方式がフレームＤＣＴかフィールドＤＣＴかを示す情報を用いて、符号化対象ピクチャについてフレームＤＣＴであるマクロブロックの数が第１の閾値以上であるか否かを判断する（Ｓ１００２）。
【０１３３】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上であると判断された場合（Ｓ１００２でＹｅｓ）、決定部３０５はその符号化対象ピクチャにフレーム符号化を選択する（Ｓ１００３）。
【０１３４】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上ではないと判断された場合（Ｓ１００２でＮｏ）、決定部３０５はその符号化対照ピクチャにフィールド符号化を選択する（Ｓ１００４）。
【０１３５】
ピクチャタイプがＩピクチャではない、すなわちピクチャタイプがＰピクチャまたはＢピクチャであり画面間予測であると判断された場合（Ｓ１００１でＮｏ）、動きベクトル特徴量算出判断部３０４は、符号化対象ピクチャに含まれるマクロブロックの動きベクトルの特徴量を算出し、算出した特徴量が第３の閾値以下であるか否かを判断する（Ｓ１００５）。
【０１３６】
ここでの動きベクトル特徴量は、例えば、ピクチャ内の動きベクトルの平均のユークリッドノルムである。なお、動きベクトル特徴量は、最大値ノルムであってもよいし、水平成分の絶対値と垂直成分の絶対値の和であってもよい。
【０１３７】
また、第３の閾値は、例えば、垂直画素数の１／１０が望ましいが、それ以外の値であってもよい。
【０１３８】
動きベクトルから算出された特徴量が第３の閾値以下である場合（Ｓ１００５でＹｅｓ）、決定部３０５はその符号化対照ピクチャにフレーム符号化を選択する（Ｓ１００６）。
【０１３９】
動きベクトルから算出された特徴量が閾値以下ではないと判断された場合（Ｓ１００５でＮｏ）、決定部３０５はその符号化対照ピクチャにフィールド符号化を選択する（Ｓ１００７）。
【０１４０】
さらに、第７の方法として、符号化構造決定部１０３が、ピクチャ特徴量を用いて符号化対象ピクチャに適用する符号化構造を決定する方法がある。
【０１４１】
具体的には、例えば符号化構造決定部１０３は、隣接画素差分値が閾値より大きい場合に、ピクチャを構成するフィールド間の相関が低いためフィールド符号化と決定し、隣接画素差分値が閾値より小さい場合に、ピクチャを構成するフィールド間の相関が高いためフレーム符号化と決定する。
【０１４２】
以上のように、本実施の形態では、符号化構造決定部１０３において、画像復号化部１０１から出力された復号された画像データの符号化情報に基づき、画像符号化部１０４がフレーム符号化を行うか、フィールド符号化を行うかを制御することにより、本来フレーム符号化を行うかフィールド符号化を行うかを決定するために必要であった演算量を削減することができるため、消費電力を削減することができる。
【０１４３】
さらに、フレーム構造であるかフィールド構造であるかという情報に基づいて符号化方式を決定していた従来例に比べて、本発明ではピクチャ単位の符号化情報やマクロブロック単位の符号化情報を用いるため、より効率の良い符号化が可能である。
【０１４４】
以上本発明の実施の形態について説明したが、本発明はこれに限定されるものではない。
【０１４５】
例えば、実施の形態での各判断、すなわち、順次走査を示すフラグを用いる判断と、ピクチャタイプを用いる判断と、フレームＤＣＴが選択されたマクロブロック数を用いる判断と、フレーム予測が選択されたマクロブロック数を用いる判断と、動きベクトルの特徴量を用いる判断と、ピクチャ特徴量を用いる判断とを任意に組み合わせて、符号化対照ピクチャの符号化方法を決定してもよい。
【０１４６】
また、実施の形態では、各符号化対照ピクチャが１つのスライスであるとしたが、複数のスライスで構成されてもよい。この場合、実施の形態の各方法により決定された符号化構造が、１つの符号化対照ピクチャを構成するすべてのスライスに適用される。
【０１４７】
さらに、１つの符号化対照ピクチャが複数のスライスで構成される場合、フレームＤＣＴのマクロブロック数を用いる判断やフレーム予測のマクロブロック数を用いる判断のように、マクロブロック単位の情報を用いる判断に基づいて符号化構造が決定される場合には、スライスごとに符号化構造を決定してもよい。
【０１４８】
図１１は、符号化対象ピクチャが複数のスライスで構成される場合に、符号化構造決定部１０３が実行する処理の一例を示すフローチャートである。
【０１４９】
符号化構造決定部１０３の走査方式判断部３０１は、符号化対照ピクチャについて、復号された画像データの符号化情報に含まれる順次走査を示すフラグが立っているか否かを判断する（Ｓ１１０１）。
【０１５０】
順次走査を示すフラグが立っていると判断された場合（Ｓ１１０１でＹｅｓ）、従事走査のフラグはピクチャ単位の情報であるため、決定部３０５はその符号化対象ピクチャを構成するすべてのスライスにフレーム符号化を選択する（Ｓ１１０２）。
【０１５１】
順次走査を示すフラグが立っていないと判断された場合（Ｓ１１０１でＮｏ）、符号化対象ピクチャを構成する各スライスに以下の処理を繰り返す。
【０１５２】
ＤＣＴ方式判断部３０２は、符号化情報を用いて、スライスに含まれるマクロブロックのうち、フレームＤＣＴであるマクロブロックの数が第１の閾値以上であるか否かを判断する（Ｓ１１０５）。ここで、第１の閾値は例えば、スライス内のマクロブロックの数の１／２の値が望ましいが、それ以外の値であってもよい。
【０１５３】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上であると判断された場合（Ｓ１１０５でＹｅｓ）、決定部３０５はそのスライスにフレーム符号化を選択する（Ｓ１１０６）。
【０１５４】
フレームＤＣＴが選択されたマクロブロックの数が第１の閾値以上でないと判断された場合（Ｓ１１０５でＮｏ）、決定部３０５はその符号化対象ピクチャにフィールド符号化を選択する（Ｓ１１０７）。
【０１５５】
符号化対照ピクチャに含まれるすべてのスライスに適用する符号化構造を決定し、符号化構造決定部１０３は処理を終了する。
【０１５６】
さらに例えば、本実施の形態では第１の符号化方法としてＭＰＥＧ２を例に挙げたが、ＭＰＥＧ４／ＡＶＣや、ＶＣ１といったフィールド符号化とフレーム符号化の選択が可能な他の符号化方式であってもよい。
【０１５７】
また、本実施の形態では第２の符号化方法としてＭＰＥＧ４／ＡＶＣを例に挙げたが、ＭＰＥＧ２や、ＶＣ１といったフィールド符号化とフレーム符号化の選択が可能な他の符号化方式であってもよい。
【０１５８】
また、本実施の形態ではフレームＤＣＴが選択されたマクロブロックの数により条件分岐を行っているが、フィールドＤＣＴが選択されたマクロブロックの数で判定してもよい。
【０１５９】
また、本実施の形態ではフレーム予測が選択されたマクロブロックの数により条件分岐を行っているが、フィールド予測が選択されたマクロブロックの数で判定してもよい。
【０１６０】
また、動きベクトルの特徴量を求めている部分は、ピクチャ内の動きベクトルの水平成分、垂直成分それぞれについて絶対値をとったものの平均を用いてもよい。
【０１６１】
また、本実施の形態ではフレームＤＣＴまたはフィールドＤＣＴが選択されたマクロブロックの数や、フレーム予測またはフィールド予測が選択されたマクロブロックの数が閾値を超えた場合に、一方の符号化方式を選択し、そうでない場合にもう一方の符号化方式を選択しているが、例えば、フレームＤＣＴが選択されたマクロブロックの数がピクチャ内のマクロブロックの数の２／３を超えた場合にはフレーム符号化を選択し、フィールドＤＣＴが選択されたマクロブロックの数がピクチャ内のマクロブロックの数の２／３を超えた場合にはフィールド符号化を選択し、そうでない場合はピクチャ特徴量が大きい場合にフィールド符号化を選択し、フレーム符号化を選択してもよい。なお、このことはフレーム予測またはフィールド予測が選択されたマクロブロックの数で判定する場合にも同様のことが言える。
【０１６２】
このように本発明の符号化方式変換装置は、符号化データを復号して得られた情報を利用して、復号ピクチャをフレーム符号化するか、フィールド符号化するかを決定するため、フレーム符号化／フィールド符号化の決定に必要な演算量を削減することができる。このため、画像符号化処理装置の低消費電力化を図ることができる。
【０１６３】
さらに例えば、図１、図２および図３に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１６４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【０１６５】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性として有り得る。
【０１６６】
また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、別構成としても良い。
【産業上の利用可能性】
【０１６７】
本発明の符号化方式変換装置によれば、より小さな回路規模、消費電力でＨ．２６４による映像の符号化を実現することができ、パーソナルコンピュータや、ＨＤＤレコーダ、ＤＶＤレコーダなどの他、カメラ付き携帯電話機等に適用できる。
【図面の簡単な説明】
【０１６８】
【図１】本発明の一実施の形態に係る符号化方式変換装置の構成を示すブロック図である。
【図２】本発明の一実施の形態に係る符号化方式変換装置の画像符号化部の詳細な構成を示すブロック図である。
【図３】本発明の一実施の形態に係る符号化方式変換装置の符号化構造決定部の詳細な構成を示すブロック図である。
【図４】実施の形態に係る符号化構造決定部が実行する処理の第１の例を示すフローチャートである。
【図５】実施の形態に係る符号化構造決定部が実行する処理の第２の例を示すフローチャートである。
【図６】実施の形態に係る符号化構造決定部が実行する処理の第３の例を示すフローチャートである。
【図７】実施の形態に係る符号化構造決定部が実行する処理の第４の例を示すフローチャートである。
【図８】実施の形態に係る符号化構造決定部が実行する処理の第５の例を示すフローチャートである。
【図９】実施の形態に係る符号化構造決定部が実行する処理の第６の例を示すフローチャートである。
【図１０】実施の形態に係る符号化構造決定部が実行する処理の第７の例を示すフローチャートである。
【図１１】符号化対象ピクチャが複数のスライスで構成される場合に、符号化構造決定部が実行する処理の一例を示すフローチャートである。
【符号の説明】
【０１６９】
１００  符号化方式変換装置
１０１  画像復号化部
１０２  符号化情報メモリ
１０３  符号化構造決定部
１０４  画像符号化部
２０１  入力画像データメモリ
２０２  参照画像データメモリ
２０３  面内予測部
２０４  動きベクトル検出部
２０５  動き補償部
２０６  スイッチ
２０７  差分演算部
２０８  直交変換部
２０９  量子化部
２１０  逆量子化部
２１１  逆直交変換部
２１２  加算部
２１３  エントロピー符号化部
３０１  走査方式判断部
３０２  ＤＣＴ方式判断部
３０３  補償方式判断部
３０４  動きベクトル特徴量算出判断部
３０５  決定部
３０６  補償データ構造判断部
３０７  参照タイプ判断部
【図１】
2008141407.tif 000003
【図２】
2008141407.tif 000004
【図３】
2008141407.tif 000005
【図４】
2008141407.tif 000006
【図５】
2008141407.tif 000007
【図６】
2008141407.tif 000008
【図７】
2008141407.tif 000009
【図８】
2008141407.tif 000010
【図９】
2008141407.tif 000011
【図１０】
2008141407.tif 000012
【図１１】
2008141407.tif 000013