(57)【特許請求の範囲】
【請求項１】
所定の単位時間の間に所定整数枚のフレームを生成する入力画像フレームのフレームレートを有する入力画像データを符号化する符号化装置において、
上記入力画像フレームを複数の画像群に分割すると共に、フレーム内符号化画像を割り当てられた少なくとも１つの画像フレームと、フレーム間符号化画像を割り当てられた少なくとも１つの画像フレームとを有するように、上記複数の画像群のフレーム数を設定する制御手段と、
上記各画像群内の入力画像フレームの順序を所定の順序に並び換える並び換え手段と、
上記並び換え手段によって並び換えられた上記各画像群の入力画像フレームを符号化する符号化手段と
を具え、上記制御手段は、上記入力画像フレームのフレームレートと一致するように上記各画像群の画像フレーム数を変更することにより、上記各画像群が整数枚のフレームを有し、かつ上記複数の画像群内の合計フレーム数が上記所定整数と等しくなるようにする
ことを特徴とする符号化装置。
【請求項２】
上記制御手段は、上記画像群内のフレーム数を、２５フレーム／秒で入力された上記画像データについて、交互に１２及び１３に変更するように、設定する
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
所定の単位時間の間に所定整数枚のフレームを生成する入力画像フレームのフレームレートを有する入力画像データを符号化する符号化方法において、
上記入力画像フレームを複数の画像群に分割すると共に、フレーム内符号化画像を割り当てられた少なくとも１つの画像フレームと、フレーム間符号化画像を割り当てられた少なくとも１つの画像フレームとを有するように、上記複数の画像群のフレーム数を設定するステップと、
上記各画像群内の入力画像フレームの順序を所定の順序に並び換え、かつ当該並び換えられた入力画像フレームを符号化するステップと
を具え、上記フレーム数を設定するステップは、上記入力画像フレームのフレームレートと一致するように上記各画像群の画像フレーム数を変更することにより、上記各画像群が整数枚のフレームを有し、かつ複数の上記画像群内の合計フレーム数が上記所定整数と等しくなるようにする
ことを特徴とする符号化方法。
【発明の詳細な説明】
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１１及び図１２）
発明が解決しようとする課題
課題を解決するための手段
作用
実施例（図１〜図１０）
発明の効果
【０００２】
【産業上の利用分野】
本発明は符号化装置及び方法に関し、例えば複数画面からなる画面群によつて動画の１シーケンスを分割して符号化する際に適用し得る。
【０００３】
【従来の技術】
従来、画像データを圧縮符号化する手法としてMPEG(Moving Picture ExpertsGroup)方式がある。MPEG方式では動画の１シーケンスを複数枚の画像（フレーム）からなる画像群（GOP :Group Of Pictures) に分割して符号化する。GOP は各GOP 内に少なくとも一つ挿入されるフレーム内符号化画像（Ｉピクチヤ）、すでに符号化された時間的に前のフレームから予測するフレーム間符号化画像（Ｐピクチヤ）及び時間的に前後の２フレームから予測するフレーム間符号化画像（Ｂピクチヤ）から構成される。
【０００４】
通常MPEGでは、１GOP を構成するフレーム数を特に規定してはいないが、一般的にテレビジヨン標準の 525/60 （走査線本数／フイールド周波数、525 本／60〔Hz〕、NTSC）方式の場合は１GOP のフレーム数Ｎを15枚、Ｉピクチヤ又はＰピクチヤの現れる出現周期Ｍを例えば３としている。すなわちＩピクチヤとＰピクチヤとの間に、Ｂピクチヤを２枚を挿入し、15枚のピクチヤを一まとめとしてGOP を形成する。このようにＩピクチヤを含んだ画像データをGOP 単位で扱うことによつて画像データのランダムアクセスが可能となる。これに対してテレビジヨン標準の625/50（走査線本数／フイールド周波数、625 本／50〔Hz〕、PAL 、SECAM)方式では１GOP を構成するフレーム数を12枚としている。
【０００５】
ところで画像圧縮符号化前の入力画像データが秒単位でつくられている場合、画像圧縮符号化後の画像データも秒単位で管理できると都合が良い。例えばコマーシヤルフイルムの場合、動画の１シーケンスが15秒、30秒の秒単位で区切られている画像の場合、圧縮符号化された画像データも秒単位の時間管理が要求される。ここで525/60方式の場合、画像データの伝送レートが毎秒30フレームなので図１１に示すように、１GOP で15フレームであれば２GOP で丁度、１秒間に相当する画像を形成することができる。この結果、画像データをGOP 単位で扱うことにより画像編集やランダムアクセスが容易にできる。
【０００６】
【発明が解決しようとする課題】
これに対して625/50方式の場合、伝送レートが毎秒25フレームなので１秒間の画像を形成するには25フレームが必要となる。ところが、図１２に示すように、２GOP のフレーム数では24フレームにしかならず、丁度１秒間に相当する画像をGOP 単位で形成することができない。そこで、従来はフレーム数を12としてGOPをまとめ、最後のGOP でフレーム数が12よりも少ない部分で時間の帳尻を合わせていた。しかしながら、この手法を用いた場合、各GOP 間で情報発生量に差が出すぎる傾向があるという問題があつた。
【０００７】
上述した問題に対する解決策としては、例えば625/50方式の１GOP のフレーム数を25とすることが考えられる。しかし、１GOP のフレーム数を余り多くしすぎるとランダムアクセス単位が大きくなりすぎるという問題がある。さらに、GOP単位でまとめる情報発生量を考慮すると、525/60方式とかけ離れるという問題があつた。
【０００８】
本発明は以上の点を考慮してなされたもので、複数の画像により形成される画像群単位の符号化された画像データを所定単位時間で管理できる符号化装置び方法を提案しようとするものである。
【０００９】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、所定の単位時間の間に所定整数枚のフレームを生成する入力画像フレームのフレームレートを有する入力画像データを符号化する符号化装置において、入力画像フレームを複数の画像群に分割すると共に、フレーム内符号化画像を割り当てられた少なくとも１つの画像フレームと、フレーム間符号化画像を割り当てられた少なくとも１つの画像フレームとを有するように、複数の画像群のフレーム数を設定する制御手段と、各画像群内の入力画像フレームの順序を所定の順序に並び換える並び換え手段と、並び換え手段によって並び換えられた各画像群の入力画像フレームを符号化する符号化手段とを具え、制御手段は、入力画像フレームのフレームレートと一致するように各画像群の画像フレーム数を変更することにより、各画像群が整数枚のフレームを有し、かつ複数の画像群内の合計フレーム数が所定整数と等しくなるようにする。
【００１０】
【作用】
入力画像データの伝送レートと一致するように、画像データにより構成される画像群の画像枚数を切り換えることによつて、所定画像群単位で所定単位時間に相当する画像データを形成できる。
【００１１】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１２】
図１において、１は全体として符号化装置を示し、入力画像データＳ１がフレーム処理部２に入力されると、ＣＰＵ３の制御によつて画像データが並び換えられ、ヘツダに次いでGOP のピクチヤタイプが次段のコーデツク４に送出される。コーデツク４は、画像データに対してDCT 変換(Discrete Cosine Transform) 、量子化及び可変長符号化を施して画像データＳ２０を出力する。
【００１３】
図２に示すように、フレーム処理部２に入力される入力画像データＳ１は一旦、フレームメモリ５に格納される。一方、ピクチヤタイプ発生器６にはＩピクチヤ又はＰピクチヤの現れる出現周期Ｍ、GOP 内のフレーム数Ｎ及びGOP 内のフレーム数の切り換え動作を指示するフラグSPF がフレームに同期したクロツクと共に供給される。ピクチヤタイプ発生器６は、これらの出現周期Ｍ、フレーム数Ｎ及びフラグSPF をもとに予測符号化に基づいて画像データの並び換えを指示制御する制御信号CTを生成して並び換え回路７に送出する。
【００１４】
並び換え回路７は、制御信号CTに応じてフレームメモリ５から画像データをフレーム単位で読み出すと、MPEGの符号化に基づいて並び換えて順次出力する。このときピクチヤタイプ発生器６は、ピクチヤタイプ発生のアルゴリズムに基づいてGOP のヘツダGOPH及びピクチヤタイプを発生する。この結果、並び換えられた画像データＳ２はヘツダGOPHに続いてピクチヤタイプと同期して次段のコーデツク４に送出される。
【００１５】
MPEG方式は複数フレームで構成されるGOP によつて、動画の１シーケンスを分割している。図３に示すように、GOP は各GOP 内に少なくとも一つ挿入されるフレーム内符号化画像（Ｉピクチヤ）、すでに符号化された時間的に前のフレームから予測するフレーム間符号化画像（Ｐピクチヤ）及び時間的に前後の２フレームから予測するフレーム間符号化画像（Ｂピクチヤ）から構成される。
【００１６】
ここで画像データが625/50方式によるものである場合は、伝送レートが毎秒25フレームなので１秒間に相当する画像データを得るには25フレームが必要になる。そこでフレーム処理部２は、フレーム読み出し中に制御信号CTに応じてGOP のフレーム数Ｎを12と13に交互に動的に切り換える。この結果、図４に示すように丁度、２GOP で25フレームの画像データが形成され１秒間の画像データを形成することができる。並び換え回路７からはフレームの各ピクチヤタイプが図５に示すように並べ換えられてコーデツク４に送出される。因みにGOP の最後のフレームは規格の上でＰピクチヤとしなければならないので、フレーム数Ｎが13のときは最後のフレームとしてＰピクチヤを付加する。
【００１７】
また入力画像データＳ１が525/60方式によるものである場合、伝送レートが毎秒30フレームなので従来通りフレーム数Ｎを15に設定してGOP 内の各フレームを図６に示すように並べ換えコーデツク４に送出する。これにより525/60方式では２GOP で１秒間に相当する画像が形成される。かくして符号化後の画像データをGOP により秒単位でアクセスすることができる。
さらに625/50方式において、従来通りフレーム数を12に設定した場合、フレームの各ピクチヤタイプは図７に示すように並べ換えられてコーデツク４に送出される。ここでフレーム数Ｎ、出現周期Ｍ及びフラグSPF は、入力画像データＳ１の伝送レートに従つて予めプログラム等によつて設定される。
【００１８】
実際上、動画の１シーケンスを構成する各GOP のフレームのピクチヤタイプの切り換えは図８〜図１０に示すピクチヤタイプ発生手順によつて実行される。
すなわちピクチヤタイプ設定手順は、ステツプＳＰ１で開始されると、ステツプＳＰ２においてダウンカウンタＮＣＮＴを入力画像データＳ１に対して予めプログラム等によつて設定したフレーム数Ｎに基づいてＮ−１に設定する。同様にＩピクチヤ又はＰピクチヤの出現周期Ｍに基づいてダウンカウンタＭＣＮＴをＭ-1に設定する。
【００１９】
次のステツプＳＰ３でダウンカウンタＮＣＮＴが０でない場合、すなわちフレームがGOP の最後のフレームではないとステツプＳＰ１０に移る。ステツプＳＰ１０では、ダウンカウンタＭＣＮＴが０か否かを判定し、ダウンカウンタＭＣＮＴが０であつた場合はステツプＳＰ１１に移る。ステツプＳＰ１１ではGOPH(GOPヘツダ) を出力するためのフラグGOPSがセツトされているか否かを判定し、セツトされていた場合ステツプＳＰ１２に移りＩピクチヤを出力し、フラグGOPSをリセツトする。次にステツプＳＰ１３でＭ用のダウンカウンタＭＣＮＴをＭ-1に設定する。次にステツプＳＰ１４でダウンカウンタＮＣＮＴをデクリメントしてステツプＳＰ３に戻る。
【００２０】
ここでステツプＳＰ１０においてダウンカウンタＭＣＮＴが０でなかつた場合はステツプＳＰ１５に移る。ステツプＳＰ１５ではＢピクチヤを出力し、続くステツプＳＰ１６でダウンカウンタＭＣＮＴをデクリメントする。
またステツプＳＰ１１においてフラグGOPSがリセツトされていた場合はステツプＳＰ１７に移つてＰピクチヤを出力してステツプＳＰ１３に移る。
【００２１】
またステツプＳＰ３においてダウンカウンタＮＣＮＴが０であつた場合はステツプＳＰ４に進み、Ｐピクチヤを出力し、フラグGOPSをセツトし、ダウンカウンタＭＣＮＴをＭに設定する。続くステツプＳＰ５ではフレーム数設定を切り換えるフラグSPF がセツトされているか否かを判定する。ここでフラグSPF がリセツトされていればステツプＳＰ６に進んでダウンカウンタＮＣＮＴをＮ−１に設定して再びステツプＳＰ３に戻る。またフラグSPF がセツトされていればステツプＳＰ７に移り、１GOP のフレーム数Ｎを12又は13に切り換えるトグルスイツチのフラグDMF がセツトされているか否かを判定する。
【００２２】
ここでフラグDMF がセツトされていればステツプＳＰ８に進みフラグDMF をリセツトし、ダウンカウンタＭＣＮＴを11に設定してステツプＳＰ３に戻る。またフラグDMF がリセツトされていればステツプＳＰ９に移り、フラグDMF をセツトし、ダウンカウンタＮＣＮＴを12に設定してステツプＳＰ３に戻る。以下動画の１シーケンスが終了する迄、繰り返し画像データの各フレームに対してピクチヤタイプ設定手順に従つた処理が実行される。
【００２３】
以上の構成において、入力画像データＳ１が符号化装置１に入力されると先ず、フレーム処理部２のフレームメモリ５にフレーム毎に一旦格納される。フレームは並び換え回路７に出力されると、制御信号CTに応じて並び換えられ、ピクチヤタイプに同期して次段のコーデツク４に送出される。ピクチヤタイプは、ＣＰＵ３により設定されるフレーム数Ｎ、出現周期Ｍ及びフラグSPF に基づいてピクチヤタイプ発生器６より送出される。
【００２４】
ピクチヤタイプ発生器６は、フレーム数Ｎ、出現周期Ｍ及びフラグSPF をもとにピクチヤタイプ発生手順に従つて入力画像データＳ１の伝送方式に応じたフレーム数でなるGOP を形成するように順次ピクチヤタイプを出力する。
すなわち、入力画像データＳ１が625/50方式によるものである場合は、フレーム数Ｎが画像データ読み出し中に12と11にGOP 単位で交互に切り換えられるように設定する。この結果、図５に示すようにフレームが読み出され、GOP を形成するようにフレームが並び換えられる。ここで並び換えられたフレームは、２GOPでフレーム数が25となり伝送レートが毎秒25フレームの625/50方式では丁度、１秒間に相当する画像を形成することができる。これにより、符号化した画像データを２GOP を最小単位として秒単位で管理することができる。
【００２５】
ここで入力画像データＳ１が525/60方式によるものであれば、フレーム数Ｎは15、出現周期Ｍは例えば３に設定する。この結果、図６に示すようにフレームが読み出され、GOP を形成するようにフレームが並び換えられコーデツク４に送出される。
【００２６】
また625/50方式において、秒単位の時間管理を必要としない場合には、従来通りフレーム数Ｎを12に固定して図７に示すようにフレームを読み出し、並び換えてコーデツク４に送出する。
このようにしてフレーム処理部２において並び換えられた画像データＳ２の各フレームは、ヘツダGOPHを先頭信号としたピクチヤタイプと同期してGOP 単位でコーデツク４に送出される。コーデツク４からは符号化された画像データＳ２０が出力される。
【００２７】
以上の構成によれば、入力画像データＳ１を読み込む際、入力画像データＳ１の伝送方式に応じて例えば伝送レートが毎秒30フレームの525/60の場合は、１GOP を構成するフレーム数Ｎを15に設定し、また伝送レートが毎秒25フレームの625/50方式の場合は、１GOP を構成するフレーム数Ｎを12と13に交互に動的に切り換えることによつて、２GOP で丁度、１秒間の画像データを形成し、符号化した画像データをGOP によつて秒単位で管理することができる。
【００２８】
さらに上述の実施例によれば、フレームメモリ等に記憶した画像データをコンピユータを用いて画像処理する、いわゆるノンリニア編集の際にも各フレームをGOP 単位で扱うことにより秒単位の管理ができる。
【００２９】
なお上述の実施例においては、入力画像データＳ１の毎秒25フレームの伝送レートに対してGOP のフレーム数を12と13に交互に切り換える場合について述べたが、本発明はこれに限らず、例えば切り換えるフレーム数を11と14等に任意に設定して良い。
【００３０】
【発明の効果】
上述のように本発明によれば、入力画像データの伝送レートと一致するように、複数枚の画像によつて構成される画像群の画像枚数を切り換えることによつて、所定画像群単位で所定単位時間に相当する画像を形成するようにし、これにより符号化後の画像データを所定単位時間で管理することができる符号化装置及び方法を実現し得る。
【図面の簡単な説明】
【図１】  本発明の一実施例による符号化装置の全体構成を示すブロツク図である。
【図２】  図１のフレーム処理部の構成を示すブロツク図である。
【図３】  ＭＰＥＧ方式で用いられる３種類のピクチヤタイプを示す略線図である。
【図４】  ＧＯＰのフレームを１２枚と１３枚に交互に切り換えたときの説明に供する略線図である。
【図５】  １ＧＯＰのフレームが１２枚と１３枚に交互に切り換えられたときのピクチヤタイプの並び換えの説明に供する略線図である。
【図６】  １ＧＯＰのフレームが１５枚のときのピクチヤタイプの並び換えの説明に供する略線図である。
【図７】  １ＧＯＰのフレームが１２枚のときのピクチヤタイプの並び換えの説明に供する略線図である。
【図８】  ピクチヤタイプの設定手順の説明に供するフローチヤートである。
【図９】  ピクチヤタイプの設定手順の説明に供するフローチヤートである。
【図１０】  ピクチヤタイプの設定手順の説明に供するフローチヤートである。
【図１１】  従来の１ＧＯＰで１５枚のフレームによる１秒間の画像形成の説明に供する略線図である。
【図１２】  従来の１ＧＯＰで１２枚のフレームによる１秒間の画像形成の説明に供する略線図である。
【符号の説明】
１……符号化装置、２……フレーム処理部、３……ＣＰＵ、４……コーデツク、５……フレームメモリ、６……ピクチヤタイプ発生器、７……並び換え回路。
【図１】
0003669523.tif 000002
【図２】
0003669523.tif 000003
【図３】
0003669523.tif 000004
【図５】
0003669523.tif 000005
【図４】
0003669523.tif 000006
【図６】
0003669523.tif 000007
【図７】
0003669523.tif 000008
【図８】
0003669523.tif 000009
【図９】
0003669523.tif 000010
【図１０】
0003669523.tif 000011
【図１１】
0003669523.tif 000012
【図１２】
0003669523.tif 000013