(57)【特許請求の範囲】
【請求項１】
時間軸方向の相関を利用した動き補償を用いて所定の単位でデータ量が一定となるように符号化する画像データ符号化装置において、
上記入力された画像データを挿入編集する際に、該入力された画像データの編集点のフレームのピクチャタイプと、挿入する画像データのフレームのピクチャタイプとを比較し、ピクチャタイプが一致しないときに、上記挿入する画像データで、フレーム内符号化画像又は順方向予測符号化画像であるフレームのピクチャタイプを変更せず、双方向予測符号化画像であるフレームのピクチャタイプを順方向予測符号化画像に変更して、上記編集点に該変更後の画像データを挿入する画像データ処理手段と、
上記画像データ処理手段からの出力データを、上記所定の単位で符号化処理する符号化手段と
を有することを特徴とする画像データ符号化装置。
【請求項２】
上記データ処理手段は、２つのフレーム内符号化画像の間隔が２フレームとなるデータ単位から成るところを編集点として処理することを特徴とする請求項１記載の画像データ符号化装置。
【請求項３】
上記データ処理手段は、フレーム内符号化画像と、双方向予測符号化画像とから成るところを編集点として処理することを特徴とする請求項１記載の画像データ符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、時間軸方向の相関を利用した動き補償を用いて所定の単位でデータ量が一定となるように符号化する画像データ符号化装置に関する。
【０００２】
【従来の技術】
近年において、画像データはデジタル化して取り扱われている。そこで、画像データをデジタル化すると情報量が極端に増えるため、画像データを圧縮処理している。この圧縮処理のアルゴリズムとして、国際標準化機構（ＩＳＯ：International organization for standardization）で規格化されているいわゆるＭＰＥＧ（moving picture experts group）方式が、広く用いられている。
【０００３】
このＭＰＥＧ方式において、画像データは、図６に示すように、ＧＯＰ（group of pictures ）１０１と呼ばれる構造をとっており、このＧＯＰを構成する要素またはフレーム１０２には、フレーム内符号化画像いわゆるＩピクチャ（intra-picture ）と、双方向予測符号化画像いわゆるＢピクチャ（bidirectionally  predictive-picture ）と、図示はされていないが順方向予測符号化画像いわゆるＰピクチャ（predictive-picture）とがある。なお、図６において、ＧＯＰは２フレーム単位で構成され、かつＩピクチャとＢピクチャとから構成される例が示されている。
【０００４】
【発明が解決しようとする課題】
ところで、ＭＰＥＧ方式にて符号化され記録媒体に記録された画像データ（以下記録データという）を処理する際に、該記録データを一旦復号化して得られる一連の画像データのある画像とある画像との間の編集点に、任意の画像データを挿入して置き換える編集いわゆる挿入編集がなされることがある。
【０００５】
この挿入編集時において、上記編集点にて挿入する画像データは単数または複数のＧＯＰで構成されるデータとされている。
【０００６】
そこで、図７のａに示すように、処理対象となる画像データいわゆる下地画像データ１１０と、下地画像データ１１０の編集点１０３に挿入する画像データいわゆる挿入画像データ１２０とで、対応する各フレームのピクチャタイプが一致する場合を考える。ここで、画像データのピクチャタイプのデータ列をＧＯＰ位相という。すなわち、図７のａは互いの画像データのＧＯＰ位相が揃っている例を示している。
【０００７】
図７のａにおいて、下地画像データ１１０の編集点１０３と挿入画像データ１２０とは、共にＢピクチャ−Ｉピクチャ−Ｂピクチャ−Ｉピクチャ（以下単にＢＩＢＩという）の２つのＧＯＰから成るＧＯＰ位相を有している。そこで、処理後の画像データ（以下編集画像データという）１３０は、図７のｂに示すように、挿入画像データ１２０のＧＯＰ位相がそのまま編集画像データ１３０のＧＯＰ位相になっている。
【０００８】
図７のｂによれば、下地画像データの編集点のＧＯＰ位相と、挿入画像データのＧＯＰ位相とが一致する場合、当該編集点を上記挿入画像データで置き換えても得られる編集画像データを、元の下地画像データを符号化したときと同じ方法で再符号化するので大幅な画像の劣化が生じる可能性が低い。
【０００９】
次に、図８のａ、ｂ、ｃを用いて、下地画像データの編集点と、挿入画像データとでＧＯＰ位相が一致しない場合について説明する。ここでは、上記挿入画像データのＧＯＰ位相を上記編集点のＧＯＰ位相に変換してから挿入編集する方法と、上記挿入画像データのＧＯＰ位相を保持してそのまま上記編集点に挿入して置き換える方法とを示す。
【００１０】
図８のａにおいて、下地画像データ１１１の編集点１０４は、ＢＩＢＩＢＩＢＩから成るＧＯＰ位相を有しているが、挿入画像データ１２１はＩＢＩＢＩＢＩＢから成るＧＯＰ位相を有している。ここで、ＢＩを単位当たりのＧＯＰ１０１とすると、１フレームだけＧＯＰ位相がずれていることになる。
【００１１】
そこで、図８のｂに示すように、挿入画像データを、例えば１番目のＩピクチャをＢピクチャに変換し（以下単にＩ1 →Ｂ1 というように変換操作を矢印で示す）、Ｂ2 →Ｉ2 …を行い、すなわち上記編集点１０４のＧＯＰ位相に変換してから該編集点１０４に挿入、置換する。
【００１２】
しかし、一度Ｂピクチャとして符号化されたフレームはＩピクチャに、また、一度Ｉピクチャとして符号化されたフレームはＢピクチャに、それぞれ再符号化されることになり、前回の符号化過程とは全く異なる過程で符号化されるため、得られる編集画像データが画質劣化する問題が生じる。
【００１３】
また、図８のｃに示すように、挿入画像データのＧＯＰ位相を保持して上記編集点１０４に挿入編集すると、得られる編集画像データ１３２には、例えばＩピクチャとＩピクチャとの間のフレーム数が３となるＧＯＰすなわち３フレームから成るＧＯＰ１０５が生じてしまう。
【００１４】
また、例えばＩピクチャとＢピクチャとから成るとともに単位当たり２フレームであるＧＯＰから成る画像データを処理するシステムでは、システム遅延を１フレーム分とるように設計されている。ところが、このシステムに３フレームで１ＧＯＰを形成する画像データが入力されると、システム遅延が増えてしまい、不具合が生じてしまう。
【００１５】
また、上記３フレームで１ＧＯＰとなる部分が生じることを回避するために、挿入画像データの末尾のピクチャタイプに対して、図９のａに示すように、Ｂ→Ｉなる処理を行った後挿入編集して得られた編集画像データ１３３を再符号化する場合を考える。なお、図９のａ、ｂ、ｃにおいて、各フレームに伏した番号は再生する際に処理する順序（以下時間的順序という）を示す。
【００１６】
図９のｂは、編集画像データ１３３を符号化する順序に並べ換えて、挿入画像データ１２１の部分を２フレーム毎にブロック化して得られた符号化用データ１３４を示す図である。
【００１７】
図９のｂによれば、例えばブロック１４１においては時間的順序が３番目のフレームの次に５番目のフレームが符号化されることが示される。他の全てのブロック１４２、１４３、１４４においても時間的順序が連続しないフレームが同一のブロックに存在することが示される。これにより、符号化の効率を悪化させるとともに、この編集画像データを下地画像データとして用いた挿入編集が困難になることが示唆される。
【００１８】
また、図９のｃは、上記符号化用データ１３４において挿入画像データ１２１の部分の時間的順序が連続となるように、２フレーム単位でブロック化したものを示す図である。
【００１９】
図９のｃによれば、下地画像データでは４ブロックあった編集点に、挿入画像データ１２１を用いて挿入編集すると、この挿入画像データ１２１部分にブロック１５１乃至１５５の５ブロックが入ることになる。一方、記録媒体には通常ブロック単位で記録領域が確保されているため、例えば該記録媒体に図９のｃの符号化用データ１３４を符号化した後記録する際に、１ブロック分のデータが欠落する、すなわち１フレーム若しくは２フレームが欠落することになる。
【００２０】
そこで、本発明は上述の実情に鑑みてなされたものであり、編集用の画像データの編集点のＧＯＰ位相と異なるＧＯＰ位相の画像データを挿入編集しても不具合の生じない画像データ符号化装置を提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明に係る画像データ符号化装置は、時間軸方向の相関を利用した動き補償を用いて所定の単位でデータ量が一定となるように符号化する画像データ符号化装置において、上記入力された画像データを挿入編集する際に、該入力された画像データの編集点のフレームのピクチャタイプと、挿入する画像データのフレームのピクチャタイプとを比較し、ピクチャタイプが一致しないときに、上記挿入する画像データで、フレーム内符号化画像又は順方向予測符号化画像であるフレームのピクチャタイプを変更せず、双方向予測符号化画像であるフレームのピクチャタイプを順方向予測符号化画像に変更して、上記編集点に該変更後の画像データを挿入する画像データ処理手段と、上記画像データ処理手段からの出力データを、上記所定の単位で符号化処理する符号化手段とを有することを特徴とすることで、上述の問題を解決する。
【００２２】
【発明の実施の形態】
以下、本発明に係る画像データ符号化装置が適用されて好ましい具体例について、図面を参照しながら説明する。
【００２３】
上記画像データ符号化装置は、図１に示すように、時間軸方向の相関を利用した動き補償を用いて所定の単位でデータ量が一定となるように符号化する画像データ符号化装置において、上記入力された画像データを挿入編集する際に、該入力された画像データの編集点のフレームのピクチャタイプ（ＰＣＴ：picture coding type ）と、挿入する画像データのフレームのＰＣＴとを比較し、ＰＣＴが一致しないときに、上記挿入する画像データで、Ｉピクチャ又はＰピクチャであるフレームのＰＣＴを変更せず、ＢピクチャであるフレームのＰＣＴをＰピクチャに変更して、上記編集点に該変更後の画像データを挿入する画像データ処理手段としての処理部１及びメモリ２と、上記画像データ処理手段からの出力データを、上記所定の単位で符号化処理するエンコーダ３とを有することを特徴としている。
【００２４】
また、上記データ処理手段は、２つのフレーム内符号化画像の間隔が２フレームとなるデータ単位すなわち２フレームで１ＧＯＰから成るところを編集点として処理することが挙げられる。
【００２５】
図１において、スイッチ１１は、下地画像データ入力端子４あるいは挿入画像データ入力端子５を切り換えて、先頭フレーム判定部１２に送る画像データを選択する。
【００２６】
ここで、下地画像データ入力端子４より入力される下地画像データ２１は、後述する編集点３０において、例えば図２に示すように、…ＢＩＢＩＢＩＢＩＢＩＢＩ…というようにＢピクチャとＩピクチャとから成るＧＯＰ位相を有しており、２フレームで１ＧＯＰを構成している。なお、図２では、挿入画像データ２２は、下地画像データ２１と同様にＢピクチャとＩピクチャとから成るＧＯＰ位相を有しているが、これに限定されることはなく、２フレームで１ＧＯＰを構成する限り、他のＧＯＰ位相であっても差し支えない。
【００２７】
先頭フレーム判定部１２は、スイッチ１１にて切り換え選択して送られる画像データと、ＧＯＰ位相入力端子６から送られる該画像データのＧＯＰ位相データとに基づいて、送られてくる下地画像データあるいは挿入画像データのフレームが各ＧＯＰ内で時間的に先頭となるフレームすなわち先頭フレームであるか否かを判定し、この判定結果と上記ＧＯＰ位相データから成るＧＯＰ位相情報データを処理部１に送るとともに、下地画像データあるいは挿入画像データを処理部１に送る。
【００２８】
処理部１は、挿入編集の対象となる上記下地画像データの編集点３０と、挿入画像データとを比較して、両画像データのＧＯＰ位相が一致する場合は、上記編集点３０に上記挿入画像データを挿入置換処理をし、メモリ２はこの置換処理の際に、置換処理対象となるフレームと、該置換処理対象となるフレームの時間的に１つ前のフレームとを処理部１とやり取りを行うために設けられている。
【００２９】
また、両画像データのＧＯＰ位相が一致しない場合、後述するように、挿入画像データのＩピクチャ若しくはＰピクチャはピクチャタイプの変換いわゆるＰＣＴ変換を行わず、ＢピクチャのみＰピクチャにＰＣＴ変換する。このように、所定のフレームのＰＣＴ変換を行った後、ＰＣＴ変換後に得られた挿入画像データを上記編集点３０に挿入置換する処理を行う。
【００３０】
また、処理部１にて得られた編集画像データと、この編集画像データの各フレームのＰＣＴデータとがエンコーダ３に送られる。
【００３１】
ここで、上記先頭フレーム判定部１２と処理部１との動作を、図３に示すフローチャートを用いて説明する。
【００３２】
ステップＳ１では、先頭フレーム判定部１２にて判定対象となっているフレーム（以下現フレームという）がＧＯＰの最初のフレームすなわち先頭フレームであるか否かが判別される。この判別結果がＹＥＳ、すなわち上記現フレームが先頭フレームである場合ステップＳ２に進む。
【００３３】
ステップＳ２では、処理部１にて、現フレームに対応するＰＣＴ変換前の挿入画像データ（以下元の挿入画像データという）の先頭フレームのＰＣＴがＩピクチャであるか否かが判別される。ステップＳ２での判別結果がＹＥＳ、すなわち上記元の挿入画像データの先頭フレームのＰＣＴがＩピクチャである場合、ステップＳ３に進み、この先頭フレームはＩピクチャになる。また、ステップＳ２での判別結果がＮＯ、すなわち上記元の挿入画像データの先頭フレームのＰＣＴがＩピクチャでない場合、ステップＳ４に進み、この先頭フレームのＰＣＴはＢピクチャになる。
【００３４】
また、ステップＳ１での判別結果がＮＯ、すなわち上記現フレームが先頭フレームでない場合、ステップＳ５に進む。
【００３５】
ステップＳ５では、上記現フレームの時間的に１つ前のフレーム（以下前フレームという）がＩピクチャであるか否かが判別される。
【００３６】
ステップＳ５での判別結果がＹＥＳ、すなわち上記前フレームがＩピクチャである場合、ステップＳ６に進んで、ＰピクチャにＰＣＴ変換される。また、ステップＳ５での判別結果がＮＯ、すなわち上記前フレームがＩピクチャでない場合、ステップＳ７に進んで、このフレームがＩピクチャにＰＣＴ変換される。
【００３７】
図１に戻り、エンコーダ３は、処理部１より送られる上記編集画像データと、上記ＰＣＴデータとを用いてＭＰＥＧのアルゴリズムにて符号化処理し、得られる符号化信号を出力端子７に送る。
【００３８】
ここで、処理部１から出力される編集画像データを図４に示し、また、エンコーダ３から出力される符号化信号を図５に示す。
【００３９】
図４において、編集画像データ３１の編集点に挿入された挿入画像データ２２部分で、挿入置換前に行われたＰＣＴ変換が各フレーム内に示される。例えば、挿入画像データの先頭のフレームはＩ→Ｉ（ＩピクチャからＩピクチャ）のＰＣＴ変換が、また、２番目のフレームはＢ→Ｐ（ＢピクチャからＰピクチャ）のＰＣＴ変換がそれぞれ行われる。また、各フレームに伏した数字は、時間的順序を表している。
【００４０】
図５において、上記編集画像データ３１を符号化した符号化信号３２は、符号化するフレーム順に並べ換えられており、さらに、符号化単位が２フレーム単位でブロック４１乃至４３に示されている。
【００４１】
以上のようにすることで、下地画像データの編集点でのＧＯＰ位相と異なるＧＯＰ位相の挿入画像データで置換処理する挿入編集時に、Ｉ→Ｉ、Ｐ→Ｐ、Ｂ→ＰというＰＣＴ変換をフレーム毎に行うことで、挿入画像データを上記編集点に挿入置換して得られた編集画像データを符号化する際に大幅な画質劣化が生じる可能性が低くなる。しかも、時間相関が強い程画質劣化が小さくなる。また、上記下地画像データの符号化単位のブロック数と、編集画像データの符号化単位のブロック数とが等しいため、１フレームも欠落することなく記録媒体に記録可能な画像データの処理を行うことが可能である。
【００４２】
以上、本発明を適用した具体例について説明したが、これら具体例に限定されなず、種々の変更が可能である。
【００４３】
例えば、挿入画像データのＰＣＴ変換を行う際に、各フレームの変換後のＰＣＴを決定するのに、現フレームがＧＯＰの先頭フレームであるか否かを判定してから上記各フレームのＰＣＴを決定する例を挙げたが、先頭フレームを基準にしなくても各フレームのＰＣＴを決定することも可能である。
【００４４】
また、２フレームで１ＧＯＰを構成している例を挙げたが、これに限定されることはなく、例えば下地画像データは３フレームで１ＧＯＰの画像データであってもよい。
【００４５】
【発明の効果】
以上説明したように、本発明に係る画像データ符号化装置によれば、下地画像データの編集点でのＧＯＰ位相と異なるＧＯＰ位相の挿入画像データで置換処理して得られた編集画像データを符号化する際に、元の画像データを符号化する過程と略同じ過程を経て符号化することができるため、編集画像データを符号化しても大幅な画質劣化が生じる虞がない。また、上記下地画像データの符号化単位のブロック数と、編集画像データの符号化単位のブロック数とが等しくなるため、１フレームも欠落することなく記録媒体に記録可能な画像データの処理を行うことが可能である。
【図面の簡単な説明】
【図１】本発明に係る画像データ符号化装置の具体的な構成の一例を示すブロック図である。
【図２】上記画像データ符号化装置に入力される画像データのＧＯＰ位相の一例を示す図である。
【図３】上記画像データ符号化装置の動作を説明するフローチャートである。
【図４】上記画像データ符号化装置にて得られた編集画像データを示す図である。
【図５】上記編集画像データを符号化する順序に並べ換えて示す図である。
【図６】画像データの一例を示す図である。
【図７】下地画像データの編集点と挿入画像データとで、ＧＯＰ位相が合っている場合の挿入編集を説明する図である。
【図８】上記ＧＯＰ位相が合っていない場合の挿入編集を説明する図である。
【図９】上記ＧＯＰ位相が合っていない場合に行う挿入編集の問題点を説明する図である。
【符号の説明】
１  処理部
２  メモリ
３  エンコーダ
【図１】
0003658815.tif 000002
【図２】
0003658815.tif 000003
【図３】
0003658815.tif 000004
【図４】
0003658815.tif 000005
【図５】
0003658815.tif 000006
【図６】
0003658815.tif 000007
【図７】
0003658815.tif 000008
【図８】
0003658815.tif 000009
【図９】
0003658815.tif 000010