(57)【要約】【課題】情報発生量の増大を抑制し量子化ステップの上昇を抑制して画質の劣化を最小限にする動画像符号化装置を得る。【解決手段】入力画像の動画像信号と予測信号との誤差を求め、誤差信号を直交変換した変換係数を量子化する直交変換手段、量子化された変換係数を逆量子化した変換係数を逆直交変換して復号した誤差信号と予測信号を加算して参照画像信号を生成する参照画像生成手段、参照画像信号と入力画像の動画像信号から動き補償予測をし予測信号を生成する予測信号生成手段、量子化された変換係数を可変長符号化して符号化データを伝送する可変長符号化手段、入力画像のシーンチェンジを検出するシーンチェンジ検出回路、シーンチェンジを検出した場合に、直交変換手段に変換係数を変更するよう制御すると共に、予測信号生成手段に動きベクトルを変更して入力画像の一部領域にイントラ符号化を行う判定を行うよう制御する符号化制御回路を備える。【選択図】図１
2006237970.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の動画像信号と予測信号との誤差を求め、求められた誤差信号を直交変換した変換係数を量子化する直交変換手段と、
前記直交変換手段により量子化された変換係数を逆量子化し、逆量子化の変換係数を逆直交変換して誤差信号を復号し、その誤差信号と前記予測信号を加算して参照画像信号を生成する参照画像生成手段と、
前記参照画像生成手段により生成された参照画像信号と前記入力画像の動画像信号から動き補償予測を実施して前記予測信号を生成する予測信号生成手段と、
前記直交変換手段により量子化された変換係数を可変長符号化し、その符号化データを伝送する可変長符号化手段と、
前記入力画像のシーンチェンジを検出するシーンチェンジ検出手段と
を備えた画像符号化装置において、
前記シーンチェンジ検出手段がシーンチェンジを検出した場合に、前記直交変換手段に変換係数のすべてを変更するよう制御すると共に、前記予測信号生成手段に動きベクトルのすべてを変更して入力画像の一部領域にイントラ符号化を行う判定をさせるように制御する制御手段を備えた
ことを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置において、
前記制御手段は、前記シーンチェンジ検出手段がシーンチェンジを検出した場合、前記直交変換手段に特定の変換係数以外の変換係数をすべて固定値とするよう制御する
ことを特徴とする動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像の画像信号を符号化して伝送する動画像符号化装置に関するものである。
【背景技術】
【０００２】
入力画像の動画像信号を、動き補償予測を用いて動画像符号化する時、入力画像の動画像信号でシーンチェンジが検出されると、動画像信号の入力順において、シーンチェンジが検出されたピクチャ（フィールド或いはフレーム）以降で、少なくとも、動き予測の参照画像となる最初のピクチャにはイントラ符号化が行われる。このとき、イントラ符号化されたピクチャの情報発生量は増大し、画像によっては、他のピクチャの２倍近くの情報量を発生する可能性がある。また、動画像符号化を低遅延で実行する場合、情報発生量の増大は遅延の増大の原因となるため、イントラ符号化されたピクチャに続く複数枚のピクチャをスキップするなどの処理を行い、遅延の増大を抑制する。一方、情報発生量の増大を抑制すると、量子化ステップが上昇して画質が劣化する。
【０００３】
そこで、従来の動画像符号化装置では、フレーム単位で符号化している場合、フレーム間でシーンチェンジを検出した時、フレーム単位で符号化するモードからフィールド単位で符号化するモードに切り替えることにより、トップフィールドでのイントラ符号化の割合を多くし、ボトムフィールドはフィールド間予測の割合を多くすることにより、情報発生量の増加と画質の劣化を抑制している（例えば、特許文献１）。また、他の従来例では、トップフィールド側とボトムフィールド側の予測方向を変えることにより情報発生量の増加と画質の劣化を抑制している（例えば、特許文献２）。
【０００４】
ここでは、低遅延について説明しておく。図２１に示すように、符号化対象となる画像であるピクチャが時間順にピクチャ１，ピクチャ２，ピクチャ３，ピクチャ４，ピクチャ５，ピクチャ６と入力された場合、一般的な符号化制御では、図２２に示す順番に並び替えられる。このとき、ピクチャ３はピクチャ内で符号化（イントラ符号化）を行うＩピクチャ（Intra-Coded Picture）、ピクチャ１，ピクチャ２，ピクチャ４，ピクチャ５は過去と未来のピクチャを参照して動き補償予測を行うＢピクチャ（Bidirectionally Predictive-Coded Picture）、ピクチャ６は過去のピクチャを参照して動き補償予測を行うＰピクチャ（Predictive-Coded Picture）とする。例えば、ピクチャ４はＢピクチャとするので、過去の画像であるＩピクチャのピクチャ３と未来の画像であるＰピクチャのピクチャ６を参照画像とする。Ｐピクチャであるピクチャ６はＩピクチャであるピクチャ３を参照画像とする。そのため、ピクチャ３は符号化順で１番目となる。また、ピクチャ６はピクチャ４から参照されるため、符号化順では４番目となり、ピクチャ４は符号化順で５番目となる。符号化は図２２の順番に行われるため、符号化されたデータを復号して再生する場合は、図２１の順番に戻す必要があるため、各ピクチャは復号後、直ちに再生表示されない。これにより、再生時に遅延が生じることになる。
【０００５】
この遅延を防ぐためには、図２１で示した入力順で符号化を行う図２３の符号化制御が用いられる。Ｉピクチャのみでは、情報発生量が多くなるためＰピクチャで符号化を行う。ピクチャ１をＩピクチャとして、ピクチャ２以降はＰピクチャとする。ピクチャ２はピクチャ１を参照し、ピクチャ３はピクチャ２を参照する。このように、Ｐピクチャは、過去のピクチャのみ参照して動き補償予測を行うため、並べ替える必要がなく、入力順が符号化順となるため、遅延を防ぐことができる。
【０００６】
【特許文献１】特開２００３−２０４５５５号公報（段落番号００１３〜００１５、図８）
【特許文献２】特開２０００−２７０３３２号公報（段落番号００４６〜００４９、図２４）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来の動画像符号化装置は、以上のように構成されているので、シーンチェンジ検出時に情報発生量の増加と画質の劣化を抑制できる。しかし、上述した特許文献１では、情報発生量の増加を抑制するには、必ずしも有効とはいえない。また、特許文献２は、低遅延の場合、動き補償予測は時間的に過去の画像のみ参照するため、必ずしも有効とはいえない。
【０００８】
この発明は上述した点に鑑み、動画像符号化を低遅延で行う場合、遅延の原因となるシーンチェンジ直後のピクチャの情報発生量の増大を抑制し、更に、量子化ステップの上昇を抑制して画質の劣化を最小限にすることができる動画像符号化装置を得ることを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る動画像符号化装置は、入力画像の動画像信号と予測信号との誤差を求め、求められた誤差信号を直交変換した変換係数を量子化する直交変換手段と、前記直交変換手段により量子化された変換係数を逆量子化し、逆量子化の変換係数を逆直交変換して誤差信号を復号し、その誤差信号と前記予測信号を加算して参照画像信号を生成する参照画像生成手段と、前記参照画像生成手段により生成された参照画像信号と前記入力画像の動画像信号から動き補償予測を実施して前記予測信号を生成する予測信号生成手段と、前記直交変換手段により量子化された変換係数を可変長符号化し、その符号化データを伝送する可変長符号化手段と、前記入力画像のシーンチェンジを検出するシーンチェンジ検出手段とを備えた画像符号化装置において、前記シーンチェンジ検出手段がシーンチェンジを検出した場合に、前記直交変換手段に変換係数のすべてを変更するよう制御すると共に、前記予測信号生成手段に動きベクトルのすべてを変更して入力画像の一部領域にイントラ符号化を行う判定をさせるように制御する制御手段を備えたことを特徴とする。
【発明の効果】
【００１０】
この発明によれば、入力画像のシーンチェンジを検出し、直交変換手段と動き補償手段を制御する制御手段を設け、直交変換係数、動きベクトル、イントラ符号化を制御するように構成したので、動画像符号化を低遅延で行う場合に、シーンチェンジを検出しても、情報発生量の増大、量子化ステップの上昇、並びに、画質劣化を抑制する効果がある。
【発明を実施するための最良の形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１に係る画像符号化装置を示す構成図である。図１において、フレームメモリ１には、符号化の対象となる入力画像の画像信号である入力画像信号が入力される。この入力画像信号は、図２に示すように、１つのフレームが２つのフィールドから構成されるインターレース構造であり、トップフィールドとボトムフィールドより成り立っており、通常は、トップフィールドの画像信号から入力され、次に、ボトムフィールドの画像信号が入力される。
【００１２】
次に、ブロック化回路２は、フレームメモリ１に格納された入力画像信号を分割する。以降の動作は、この分割された領域（ブロック）を単位に行われる。例えば、ディジタル放送やＤＶＤレコーダーなどに採用されているＭＰＥＧ２（ＭＰＥＧ：Moving Picture Experts Group）では、この領域はマクロブロック（ＭＢ）と呼ばれ、大きさは１６×１６画素である。次に、減算器３では、入力画像信号と後述する動き補償回路１０により生成された予測画像信号との誤差を求め、その予測誤差信号を出力する。直交変換回路４は、減算器３から出力された予測誤差信号に、例えば離散コサイン変換などの直交変換を施して、その変換係数を出力する。量子化回路５は、直交変換回路４から出力された変換係数を量子化する。なお、フレームメモリ１、ブロック化回路２、減算器３、直交変換回路４及び量子化回路５から直交変換手段が構成されている。
【００１３】
逆量子化回路６は、量子化回路５により量子化された変換係数を逆量子化する。逆直交変換回路７は、逆量子化回路６により逆量子化された変換係数に、例えば直交変換回路４で離散コサイン変換を行う場合は、逆直交変換として逆離散コサイン変換を施し、その予測誤差信号を復号する。加算器８は、逆直交変換回路７により復号された予測誤差信号と動き補償回路１０により生成された予測画像信号を加算して参照画像信号を生成する。なお、逆量子化回路６、逆直交変換回路７及び加算器８から参照画像生成手段が構成されている。
【００１４】
フレームメモリ９は、加算器８により生成された参照画像信号を格納する。動き補償回路１０は、フレームメモリ９に格納された参照画像信号と入力画像の画像信号から動き補償予測を実施して予測画像信号を生成する。なお、動き補償回路１０は、予測信号生成手段を構成している。可変長符号化回路１１は、量子化回路５により量子化された変換係数等を可変長符号化し、その符号化データを多重化してバッファ１２に格納する。バッファ１２は、可変長符号化回路１１によって格納されている符号化データを一定速度で伝送する。なお、可変長符号化回路１１及びバッファ１２から可変長符号化手段が構成されている。
【００１５】
動き補償回路１０は、動き補償予測を実行する際、例えば、動き補償予測の予測結果から得られる最小歪と入力画像の分散値とから、可変長符号化回路１１がフレーム内符号化（イントラ符号化）を実施すべきか、フレーム間符号化（インター符号化）を実施すべきかを決定する。動き補償回路１０は、可変長符号化回路１１がフレーム内符号化を実施すべきであると判定すると、フレーム内符号化を指示する符号化方式指示信号を可変長符号化回路１１に出力する。一方、可変長符号化回路１１がフレーム間符号化を実施すべきであると判定すると、フレーム間符号化を指示する符号化方式指示信号を可変長符号化回路１１に出力すると同時に、その予測信号を可変長符号化回路１１に出力する。
【００１６】
シーンチェンジ検出回路１３は、フレームメモリ１に格納されている複数の入力画像信号からシーンチェンジ検出を行う。シーンチェンジ検出の方法については、周知の方法を用いるものとし、ここでの説明は割愛する。なお、シーンチェンジ検出回路１３はシーンチェンジ検出手段を構成している。
【００１７】
符号化制御回路１４は、シーンチェンジ検出回路１３がシーンチェンジを検出した場合、直交変換回路４、量子化回路５、逆量子化回路６、逆直交変換回路７、動き補償回路１０及び可変長符号化回路１１などの動作パラメータを制御する。なお、符号化制御回路１４は制御手段を構成している。
【００１８】
次に、シーンチェンジ検出回路１３がシーンチェンジを検出した場合の動作について説明する。図３のフローチャートにシーンチェンジ検出手段１３と符号化制御回路１４の動作を示す。図３において、ＳＴ１において、フレームメモリ１には複数のフレームの入力画像信号がフィールド単位に格納されており、シーンチェンジ検出手段１３は、フレームメモリ１から時間的に連続するフィールドの入力画像信号を読み出し、周知の方式を用いてシーンチェンジの検出を行う。シーンチェンジを検出した場合は、ＳＴ２に遷移し、現在符号化の対象であるフィールドがＳＴ１で検出したシーンチェンジ後の最初のフィールドであるかを判断する。最初のフィールドである場合はＳＴ３に遷移する。ＳＴ３では、現在符号化の対象であるフィールドがトップフィールドであるかを判断する。トップフィールドであると判断した場合は、図４に示すシーンチェンジＳＣ１を検出することになる。図４に示すシーンチェンジＳＣ１は、シーンチェンジが時間的に連続する２つのフレームにおいて、１つ目のフレームのボトムフィールドと２つ目のフレームのトップフィールドとの間で発生、即ち、フレーム間にシーンチェンジが存在していることを示している。ＳＴ３でトップフィールドと判断した場合、ＳＴ４に遷移する。
【００１９】
ＳＴ４からＳＴ９は、符号化制御回路１４が制御し、フィールドに含まれるすべてのブロックに対して繰り返し処理を行う。この繰り返し処理は、図５に示すとおり、左上のブロック０から順に右方向のブロックに進み、右端のブロックｍ−１の処理が終了すると左端に戻ってその直下のブロックｍから順に右方向に進む。この処理を右下のブロックＮ−１まで繰り返す。
【００２０】
ＳＴ４では、繰り返し処理を制御するためのCounterを０で初期化する。ＳＴ５では、Counterの値にライン番号line_numを加算した値が偶数（（Counter＋line_num）％２＝０？の判定でYes）か奇数（（Counter＋line_num）％２＝０？の判定でNo）かを判断する。偶数である場合はＳＴ６に遷移し、符号化制御回路１４は、ブロックに対してイントラ符号化を行うため、減算器３に入力画像信号と予測画像信号との減算を停止して入力画像信号を直交変換回路４に出力するよう制御し、動き補償回路１０にイントラ符号化を決定するよう制御する。ＳＴ５で奇数の場合はＳＴ７に遷移し、符号化制御回路１４は動き補償回路１０にインター符号化を決定して動きベクトルを０にするよう制御する。更に、符号化制御回路１４は直交変換回路４に変換係数すべてを０に変更するよう制御する。
【００２１】
ここで、フィールドストラクチャで動き補償予測を行う場合、例えば、図６に示すトップフィールド２は、トップフィールド１とボトムフィールド１を参照画像とする。ボトムフィールド２はトップフィールド２とボトムフィールド１を参照画像とする。ＳＴ７では、図４のトップフィールド２はトップフィールド１を参照画像とする。
【００２２】
図３に戻り、ＳＴ６とＳＴ７はＳＴ８に遷移し、ＳＴ８ではCounterの値に１加算する。ＳＴ９ではCounterの値とフィールドに含まれるブロック総数（ＭＢ数）とを比較し、Counterの値の方が小さい場合はＳＴ５に戻る。それ以外の場合は処理を終了する。この処理が終了すると、図７に示すように、イントラ符号化されたブロックとインター符号化されたブロックが交互に並ぶ。
【００２３】
図３において、ＳＴ３でトップフィールドでない場合は、シーンチェンジ検出回路１３が図８に示すシーンチェンジＳＣ２を検出した場合である。シーンチェンジＳＣ２は１枚のフレームを構成するトップフィールドとボトムフィールドの間にシーンチェンジが存在する場合である。この時、ＳＴ３からＳＴ１０に遷移し、ＳＴ４と同じくCounterを０で初期化し、ＳＴ１１に遷移する。ＳＴ１１〜ＳＴ１３の処理は、符号化制御回路１４が制御し、ＳＴ５〜ＳＴ９の処理と同様、フィールドに含まれるブロック数分だけ繰り返し実行される。このＳＴ１１〜ＳＴ１３のループでは、符号化制御回路１４が、フィールドに含まれるすべてのブロックに対しインター符号化を行うように制御する。更に、符号化制御回路１４は直交変換回路４に変換係数すべてを０に変更するよう制御し、動き補償回路１０に動きベクトルを０にするよう制御する。
【００２４】
図３において、ＳＴ２で最初のフィールドでなかった場合は、図９に示すフローチャートのＳＴ１４に遷移する。ＳＴ１４では、シーンチェンジ検出から２番目のフィールドあるかどうかを判定する。図４ではボトムフィールド２、図８ではトップフィールド３がシーンチェンジ検出から２番目のフィールドである。ＳＴ１４で２番目のフィールドと判断した場合は、ＳＴ１５に遷移する。２番目でない場合は処理を終了する。ＳＴ１５では、ボトムフィールドであるかどうかを判断する。ボトムフィールドであった場合、ＳＴ１６に遷移する。図４のボトムフィールド２がこの場合に相当する。
【００２５】
ＳＴ１６からＳＴ２１は、フィールドに含まれるすべてのブロックに対して繰り返し処理を行う。この繰り返し処理は、図５に示す通り、左上のブロック０から順に右方向のブロックに進み、右端のブロックｍ−１の処理が終了すると左端に戻ってその直下のブロックｍから順に右方向に進む。この処理を右下のブロックｎ−１まで繰り返す。ＳＴ１６では、繰り返し処理を制御するためのCounterを０で初期化する。ＳＴ１７では、Counterの値にライン番号line_numを加算した値が偶数か奇数かを判断する。偶数である場合はＳＴ１８に遷移し、符号化制御回路１４は、ブロックに対してイントラ符号化を行うようにする。具体的には、減算器３に、入力画像信号と予測画像信号の誤差を求める処理を停止させて入力画像信号を直接直交変換回路４に出力するようにする。加えて、動き補償回路１０にイントラ符号化を決定するように制御する。
【００２６】
ＳＴ１７で奇数の場合はＳＴ２０に遷移し、符号化制御回路１４は、動き補償回路１０にインター符号化を決定して動きベクトルを０にするよう制御する。参照画像は１つ前のボトムフィールドとする。更に、符号化制御回路１４は、直交変換回路４に変換係数すべてを０に変更するよう制御する。この処理を繰り返した結果、ボトムフィールドは、図７に示すように、トップフィールド同様にインター符号化されたブロックとイントラ符号化されたブロックが交互に並ぶ。図４の場合、トップフィールド２とボトムフィールド２から構成されるフレームは、図１０に示すようになり、フレームで見た場合、イントラ符号化された領域とインター符号化された領域が格子状に配列された状態となる。
【００２７】
ＳＴ１５で、ボトムフィールドでなかった場合はＳＴ２２に遷移する。図８のトップフィールド３がこの場合に相当する。ＳＴ２２では、シーンチェンジ後から２番目のフィールドを１番目のフィールドと設定し、シーンチェンジ後から３番目のフィールドを２番目のフィールドに設定し、図３に示すフローチャートのＳＴ２に遷移する。図８では、トップフィールド３がシーンチェンジ後２番目のフィールド、ボトムフィールド３がシーンチェンジ後３番目のフィールドであるが、トップフィールド３をシーンチェンジ後１番目のフィールド、ボトムフィールド３をシーンチェンジ後２番目のフィールドとする。
【００２８】
ＳＴ２２から図３のＳＴ１に遷移する。この後、前記と同様の処理を実行することにより、図８のトップフィールド３とボトムフィールド３から構成されるフレームは、図１０に示すようになり、イントラ符号化された領域とインター符号化された領域が格子状に配列された状態となる。
【００２９】
図示していないが、シーンチェンジ検出手段１４は、図３に示すフローチャートが終了した時点でシーンチェンジ検出をクリアする。
【００３０】
これまでインターレース画像で、フィールドストラクチャの場合についてのこの発明の動作を記述したが、図１１に示すインターレース画像を用いてフレームストラクチャで符号化を行う場合、即ち、シーンチェンジ検出回路１３が、周知のシーンチェンジ検出方法を用いて、フレーム間のシーンチェンジを検出する場合、或いは、図１２に示すプログレッシブ画像でフレーム間のシーンチェンジを検出する場合は、図１３に示すフローチャートの動作で対応できる。図１３は、フィールドストラクチャのブロックを対象とした図３のフローチャートを、フレームストラクチャのブロックに置き換えたものであり、図１３のフローチャートの結果は、図１０となる。
【００３１】
図１３のフローチャートを用いて動作の説明を行う。ＳＴ２３では、シーンチェンジ検出回路１３が、フレームメモリ１から時間的に連続する入力画像データをフレーム単位で取り出し、周知のシーンチェンジ検出方法を用いてシーンチェンジ検出を行う。ブロック化回路２は、フレームストラクチャのブロックを出力する。ＳＴ２３でシーンチェンジを検出するとＳＴ２４に遷移し、図１４に示すライン番号の値であるLine_numを０で初期化する。ＳＴ２５では、フレーム内のブロック数をカウントするCounterを０で初期化する。
【００３２】
ＳＴ２６からＳＴ３２は、符号化制御回路１４が制御し、フレームに含まれるすべてのブロックに対して繰り返し処理を行う。この繰り返し処理は、図１４に示すとおり、左上のブロック０から順に右方向のブロックに進み、右端のブロックｍ−１の処理が終了すると左端に戻ってその直下のブロックｍから順に右方向に進む。この処理を右下のブロックＮ−１まで繰り返す。ＳＴ２６では、Counterの値にライン番号line_numを加算した値が偶数か奇数かを判断する。偶数である場合はＳＴ２７に遷移し、符号化制御回路１４は、ブロックに対してイントラ符号化を行うため、減算器３に入力画像信号と予測画像信号との減算を停止して入力画像信号を直交変換回路４に出力するよう制御し、動き補償回路１０にイントラ符号化を決定するよう制御する。ＳＴ２６で奇数の場合はＳＴ２９に遷移し、符号化制御回路１４は動き補償回路１０にインター符号化を決定して動きベクトルを０にするよう制御する。更に、符号化制御回路１４は直交変換回路４に変換係数すべてを０に変更するよう制御する。
【００３３】
ＳＴ２７とＳＴ２９の処理後はＳＴ２８に遷移し、ＳＴ２８では、Counterの値に１加算する。ＳＴ３０では、Counterの値とフレームに含まれるブロック総数（ＭＢ数）とを比較し、Counterの値の方が小さい場合はＳＴ３１に遷移する。ＳＴ３１では、１ライン分のブロックに対する処理が終了したかを判断し、終了していない場合はＳＴ２６に戻り、終了した場合は、ＳＴ３２に進み、line_numの値に１加算する。ＳＴ３１の処理は、例えば、図１４では、ライン番号０（line_num＝０）でｍ−１のブロックまで処理が終了したかを判断している。ＳＴ３２に進むことは、図１４では、ライン番号０からライン番号１のラインに処理対象を移すことである。ＳＴ３０で、Counterの値がフレームに含まれるブロック総数を超えた場合、処理を終了する。
【００３４】
ＳＴ２６からＳＴ３２までの処理を繰り返した結果、フレームは、図１０に示すように、フィールドストラクチャの場合と同様に、インター符号化された領域（ブロック）とイントラ符号化された領域（ブロック）が交互に並ぶ。
【００３５】
表１、表２、表３に、それぞれ異なるインターレース画像を用い、フィールドストラクチャ、シーンチェンジが図４のシーンチェンジＳＣ１の場合で、この発明による動画像符号化装置がシーンチェンジを検出した場合と、意図的にシーンチェンジを検出しない場合におけるシーンチェンジ直後の数フィールドの量子化ステップの値を示す。
【００３６】
【表１】
2006237970.tif 000003
【００３７】
【表２】
2006237970.tif 000004
【００３８】
【表３】
2006237970.tif 000005
【００３９】
両者には、シーンチェンジ検出時に情報発生量が増加しないように制御している。表から明らかなように、この発明による動画像符号化装置では、シーンチェンジ直後に情報発生量を増加させなくても、量子化ステップの大幅な上昇を抑制している。
【００４０】
以上から明らかなように、この実施の形態１によれば、時間的に連続するボトムフィールドとトップフィールドの間でシーンチェンジを検出した時、トップフィールドと次のボトムフィールドにおいて、ブロック単位にイントラ符号化、インター符号化を交互に行うようにし、インター符号化では動きベクトルを０、直交変換係数を０にしたので、インター符号化を行うブロックの情報発生量が少なくなり、情報量をイントラ符号化を行うブロックに多く割当てることが可能となるため、シーンチェンジ直後でも情報量の割り当てを増やすことなく、符号化制御ができるため、監視制御などの低遅延の用途に適している。加えて、この発明では、シーンチェンジ直後のステップ上昇が抑制されるという効果を奏でる。
【００４１】
実施の形態２．
図１５は、この発明の実施の形態２に係る画像符号化装置を示す構成図である。図１５において、各回路は図１に示す実施の形態１と同じであるためその説明は割愛する。
図１５に示す実施の形態２に係る画像符号化装置において、実施の形態１との違いは、シーンチェンジ検出回路１３がシーンチェンジを検出すると、ブロック化回路２が、減算器３、直交変換回路４、動き補償回路１０を制御するようにしたものである。ブロック化回路２は、減算器３に出力するブロック位置情報から、イントラ符号化するブロック、インター符号化するブロックを判断し、直交変換回路４、動き補償回路１０を制御する。
【００４２】
図１６は、実施の形態２の動作を示すフローチャートであり、図１１に示すインターレース画像を用いてフレームストラクチャで符号化を行う場合、或いは、図１２に示すプログレッシブ画像でフレーム間のシーンチェンジを検出する場合の動作を対象に説明する。
【００４３】
ＳＴ３３では、シーンチェンジ検出回路１３が、フレームメモリ１から時間的に連続する入力画像データをフレーム単位で取り出し、周知のシーンチェンジ検出方法を用いてシーンチェンジ検出を行う。ブロック化回路２は、フレームストラクチャのブロックを出力する。ＳＴ３３でシーンチェンジを検出するとＳＴ３４に遷移し、ブロックのイントラ・インター符号化を示すModeの初期値をイントラ符号化（Intra）で初期化する。ＳＴ３５では、フレーム内のブロック数をカウントするCounterを０で初期化する。
【００４４】
ＳＴ３６からＳＴ４２は、ブロック化回路２が制御し、フレームに含まれるすべてのブロックに対して繰り返し処理を行う。この繰り返し処理は、図１４に示すとおり、左上のブロック０から順に右方向のブロックに進み、右端のブロックｍ−１の処理が終了すると左端に戻ってその直下のブロックｍから順に右方向に進む。この処理を右下のブロックＮ−１まで繰り返す。ＳＴ３６では、現在のModeがイントラ符号化であるかを判断する。イントラ符号化である場合はＳＴ３７に遷移し、ブロック化回路２は、ブロックに対してイントラ符号化を行うため、減算器３に入力画像信号と予測画像信号との減算を停止して入力画像信号を直交変換回路４に出力するよう制御し、動き補償回路１０にイントラ符号化を決定するよう制御し、ＳＴ３８でModeにインター符号化（Inter）をセットする。ＳＴ３６でイントラ符号化でない場合はＳＴ３９に遷移し、ブロック化回路２は、動き補償回路１０にインター符号化を決定して動きベクトルを０にするよう制御する。更に、ブロック化回路２は、直交変換回路４に変換係数すべてを０に変更するよう制御する。次に、ＳＴ４０に移動し、Modeをイントラ符号化（Intra）にセットする。
【００４５】
ＳＴ３８とＳＴ４０からはＳＴ４１に遷移し、ＳＴ４１ではCounterの値に１加算する。ＳＴ４２ではCounterの値とフレームに含まれるブロック総数（ＭＢ数）とを比較し、Counterの値の方が小さい場合はＳＴ３６に遷移する。ＳＴ４２で、Counterの値がフレームに含まれるブロック総数を超えた場合、処理を終了する。
【００４６】
ＳＴ３６からＳＴ４２までの処理を繰り返した結果、フレームは、図１０に示すように、インター符号化された領域（ブロック）とイントラ符号化された領域（ブロック）が交互に並ぶ。
【００４７】
この実施の形態２では、ブロック化回路２が減算器３、直交変換回路４、動き補償回路１０を制御するようにしたので、実施の形態１より、符号化制御回路１４が他の符号化制御を実行可能となるため画質が向上するという効果がある。
【００４８】
ここまでは、フレームストラクチャの場合で動作を説明したが、フィールドストラクチャにおいても同様の効果を奏することは言うまでもない。
【００４９】
実施の形態３．
実施の形態３に係る動画像符号化装置の構成は、図１５に示す実施の形態２の構成と同じであるが、この実施の形態３では、図９に示すイントラ符号化する領域とインター符号化する領域の配置を入れ替えて、図１７に示す配置にするようにしたものであり、実施の形態２と同様の効果を奏でる。
【００５０】
実施の形態４．
実施の形態４に係る動画像符号化装置の構成は、図１に示す実施の形態１の構成と同じであるが、実施の形態４では、フィールドストラクチャで符号化を行う場合、図１８に示すように、トップフィールドとボトムフィールドにおけるインター符号化とイントラ符号化されるブロックの配置を逆にするようにしたものであり、実施の形態１，２，３と同様の効果を奏でる。また、トップフィールドとボトムフィールドの配置を入れ替えても同じ効果を奏でる。
【００５１】
実施の形態５．
実施の形態５に係る動画像符号化装置の構成は、図１及び図１５に示す実施の形態１及び２の構成と同じであるが、制御手段としての符号化制御回路１４により、シーンチェンジ検出回路１３がシーンチェンジを検出した場合、直交変換回路４に特定の変換係数以外の変換係数をすべて固定値とするよう制御する。すなわち、実施の形態１及び２においては、インター符号化のブロックに対して、直交変換回路４が変換係数をすべて０に変更したが、この実施の形態５では、例えば、直交変換回路４が離散コサイン変換（ＤＣＴ）であるならば、図１９に示すＤＣＴ係数において、ＤＣ係数のみ変更しない、或いは、低域の変換係数のみ変更しない、変換係数が所与の閾値以下である場合のみ変換係数を０にするなどの処理を行うようにしたものであり、他の実施の形態に比べて画質が向上する。
【００５２】
図２０は、図１６のＳＴ３９を変更したものである。ＳＴ４３では、図１６のＳＴ３９と同様に、動き補償予測回路１０がインター符号化を決定し、動きベクトルを０にする。ＳＴ４４からＳＴ４８はＳＴ３９におけるＤＣＴ係数を０にする処理を変更したものである。ＳＴ４４からＳＴ４８は図１９に示したＤＣＴ係数の数だけ繰り返し実行する。ＤＣＴ係数の数をカウントするorderを０で初期化する。ＳＴ４５では、orderで指定したＤＣＴ係数Coeff［order］を閾値ＴＨと比較し、閾値ＴＨの方が大きかった場合はＳＴ４６に進み、ＤＣＴ係数Coeff［order］を定数Ｄとする。ＳＴ４７ではorderの値に１加算する。ＳＴ４８ではorderの値とＤＣＴ係数の数を比較し、orderがＤＣＴ係数の数以上になったら終了し、そうでない場合はＳＴ４５に戻って前記処理を繰り返し実行する。
【図面の簡単な説明】
【００５３】
【図１】この発明の実施の形態１に係る画像符号化装置を示す構成図である。
【図２】インターレース画像におけるフレーム、トップフィールド、ボトムフィールドの関係を示す図である。
【図３】この発明の実施の形態１に係る画像符号化装置におけるフィールドストラクチャでのシーンチェンジ検出した場合の動作の一例を示すフローチャートである。
【図４】フィールドストラクチャでのシーンチェンジの一例を示す図である。
【図５】フィールドストラクチャでブロックの順番を示す図である。
【図６】フィールドストラクチャにおける動き補償予測時の参照画像を示す図である。
【図７】この発明による符号化でインター符号化されたブロックとイントラ符号化されたブロックの配置を示す図である。
【図８】フィールドストラクチャでのシーンチェンジの１例を示す図である。
【図９】図３に続くこの発明の実施の形態１に係る画像符号化装置における動作の一例を示すフローチャートである。
【図１０】この発明による符号化でインター符号化されたブロックとイントラ符号化された領域の配置を示す図である。
【図１１】フレームストラクチャでのシーンチェンジの一例を示す図である。
【図１２】フレームストラクチャでのシーンチェンジの一例を示す図である。
【図１３】フレームストラクチャでシーンチェンジ検出した場合の動作の一例を示すフローチャートである。
【図１４】フレームストラクチャでブロックの順番を示す図である。
【図１５】この発明の実施の形態２に係る画像符号化装置を示す構成図である。
【図１６】この発明の実施の形態２の動作の一例を示すブロック図である。
【図１７】この発明の実施の形態３の動作結果の一例を示す図である。
【図１８】この発明の実施の形態３の動作結果の一例を示す図である。
【図１９】ＤＣＴ係数を説明する図である。
【図２０】この発明の実施の形態５の動作の一例を示すフローチャートである。
【図２１】入力画像の入力順を示す図である。
【図２２】Ｂピクチャが含まれる場合の符号化順の一例を示す図である。
【図２３】低遅延に適した符号化順の一例を示す図である。
【符号の説明】
【００５４】
１  フレームメモリ、２  ブロック化回路、３  減算器、４  直交変換回路、５  量子化回路、６  逆量子化回路、７  逆直交変換回路、８  加算器、９  フレームメモリ、１０  動き補償回路、１１  可変長符号化回路、１２  バッファ、１３  シーンチェンジ検出回路、１４  符号化制御回路。
【図１】
2006237970.tif 000006
【図２】
2006237970.tif 000007
【図３】
2006237970.tif 000008
【図４】
2006237970.tif 000009
【図５】
2006237970.tif 000010
【図６】
2006237970.tif 000011
【図７】
2006237970.tif 000012
【図８】
2006237970.tif 000013
【図９】
2006237970.tif 000014
【図１０】
2006237970.tif 000015
【図１１】
2006237970.tif 000016
【図１２】
2006237970.tif 000017
【図１３】
2006237970.tif 000018
【図１４】
2006237970.tif 000019
【図１５】
2006237970.tif 000020
【図１６】
2006237970.tif 000021
【図１７】
2006237970.tif 000022
【図１８】
2006237970.tif 000023
【図１９】
2006237970.tif 000024
【図２０】
2006237970.tif 000025
【図２１】
2006237970.tif 000026
【図２２】
2006237970.tif 000027
【図２３】
2006237970.tif 000028