(57)【特許請求の範囲】
【請求項１】
画像信号を、所定の単位領域ごとに、イントラ符号化またはインター符号化の符号化モードで符号化する符号化手段と、
前記符号化手段における符号化モードを、イントラ符号化またはインター符号化に切り換える切換手段と、
前記単位領域の画像信号を、所定の時間だけ遅延して前記符号化手段に供給する遅延手段と、
前記遅延手段による前段の前記画像信号におけるシーンチェンジを、前記単位領域ごとに検出する検出手段と、
前記検出手段によるシーンチェンジの検出結果に応じて、前記切換手段を制御する制御手段と
を備え、
前記制御手段は、前記検出手段によりシーンチェンジが検出されない場合には、前記符号化手段における符号化モードを、Ｎ回に１回の割合でインター符号化からイントラ符号化に切り替えるように前記切換手段を制御し、また、前記検出手段によりシーンチェンジが検出された場合には、そのシーンチェンジが検出された後、そのシーンチェンジが検出された前記単位領域の画像信号が、前記遅延手段から前記符号化手段に供給される直前までの間、前記遅延手段から前記Ｎ回の符号化に対応する時間だけ遅延されて前記符号化手段に供給される前記単位領域の画像信号すべてがインター符号化されるように、前記切換手段を制御する
ことを特徴とする画像符号化装置。
【請求項２】
画像信号を符号化する符号化モードを、イントラ符号化またはインター符号化に切り換えながら、前記画像信号を、所定の単位領域ごとに符号化する画像符号化方法であって、
前記単位領域の画像信号を、所定の時間だけ遅延してイントラ符号化またはインター符号化を行い、
遅延される以前の前記画像信号におけるシーンチェンジを、前記単位領域ごとに検出し、
シーンチェンジの検出結果に応じて、シーンチェンジが検出されない場合には、符号化モードを、Ｎ回に１回の割合でインター符号化からイントラ符号化に切り替えるようにし、また、シーンチェンジが検出された場合には、そのシーンチェンジが検出された後、そのシーンチェンジが検出された前記単位領域の画像信号が、遅延されて供給される直前までの間、前記Ｎ回の符号化に対応する時間だけ遅延されて供給される前記単位領域の画像信号すべてがインター符号化されるようにする
ことを特徴とする画像符号化方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、例えば画像を圧縮符号化して伝送したり、あるいは記録媒体に記録したりする場合などに用いて好適な画像符号化装置、並びに画像符号化方法に関する。
【０００２】
【従来の技術】
従来、例えば動画像などの画像信号を遠隔地に伝送したり、あるいは記録媒体に記録する場合などにおいては、伝送路や記録媒体を効率良く利用するために、画像信号を、そのライン相関やフレーム間相関を利用して圧縮符号化するようになされている。
【０００３】
ライン相関を利用した場合には、画像信号を、例えばＤＣＴ（離散コサイン変換）処理などの直交変換処理することによって圧縮することができる。
【０００４】
また、フレーム間相関を利用した場合には、画像信号をさらに圧縮することが可能となる。即ち、例えば時刻ｔ１，ｔ２（但し、例えばｔ１＜ｔ２で、ｔ２−ｔ１がフレーム周期に等しいとする）において、フレーム画像ＰＣ１，ＰＣ２がそれぞれ発生しているとき、フレーム画像ＰＣ１に対するＰＣ２の差（画素値の差）を演算して、差分画像ＰＣ１２を生成する。そして、この差分画像ＰＣ１２を、フレーム画像ＰＣ２の代わりに符号化する。
【０００５】
通常、時間的に隣接する（または近接する）フレーム画像は、それ程大きな変化を有していないため、フレーム画像ＰＣ１とＰＣ２との差（ＰＣ２−ＰＣ１）（例えば、エネルギ総和の差や、振幅値の絶対値和の差、あるいはエントロピーの差など）を演算すると、その結果得られる差分画像ＰＣ１２の信号は、フレーム画像ＰＣ２に比較して、そのエネルギ総和や、振幅値の絶対値和、あるいはエントロピーなどが、通常小さな値になる。そこで、フレーム画像ＰＣ２の代わりに差分画像ＰＣ１２を符号化（エントロピー符号化）することにより、フレーム画像ＰＣ２そのものを符号化する場合より、発生符号量（発生ビット量）を低減することができる。
【０００６】
以上のようにして符号化された差分画像ＰＣ１２は、復号側において、フレーム画像ＰＣ１を用いて、フレーム画像ＰＣ２に復号される。
【０００７】
いま、符号化対象の画像（上述した場合においては、フレーム画像ＰＣ２）を原画像と、この原画像と対比される画像（原画像との差分が演算される画像）（上述した場合においては、フレーム画像ＰＣ１）を参照画像と、それぞれいうとすると、原画像を符号化する代わりに、その原画像と参照画像との差分を符号化（本明細書中において、適宜、インター符号化という）する場合には、上述したように発生符号量を低減することができるが、長期間にわたってインター符号化を行うと、その復号画像のＳ／Ｎは徐々に劣化していく。
【０００８】
そこで、通常は、原画像を、参照画像を用いてインター符号化するだけでなく、例えば周期的に、原画像そのものを符号化（本明細書中において、適宜、イントラ符号化という）するようにし、このイントラ符号化したものを参照画像として、インター符号化およびインター符号化されたものの復号を行うようにすることにより、インター符号化により生じて重畳されていくエラー（雑音）を、いわばリフレッシュし、画像のＳ／Ｎの長期的な劣化を防止するようになされている。
【０００９】
また、画像信号を符号化して記録媒体に記録しておいたものを復号、再生する装置においては、まず参照画像が復号され、上述したようにこの参照画像を用いて、インター符号化された原画像が復号される。従って、記録媒体に、画像信号をインター符号化したものが長期間にわたって記録されていると、例えば倍速再生などの特殊再生を行うことが困難になるので、記録媒体には、やはり画像信号を、周期的にイントラ符号化したものが記録されるようになされている。
【００１０】
以下、イントラ符号化されるべき画像のフレームをイントラフレームと、インター符号化されるべき画像のフレームを、インターフレームという。
【００１１】
従来においては、符号化する画像信号のフレームが、イントラフレームまたはインターフレームのいずれかとされ、この場合、イントラフレームは、例えば、数インターフレームに１回の割合で出現するように、周期的に挿入される（イントラフレームから見れば、インターフレームが、１つのイントラフレームに対し、数回の割合で、周期的に出現していることになる）。
【００１２】
通常、インターフレームに比べ、イントラフレームの発生符号量の方が多いので、イントラフレームとインターフレームとが出現する割合は、例えば符号化により発生する符号量の低減と、画像のＳ／Ｎの劣化などとをバランスさせるように決定される。
【００１３】
なお、インター符号化には、原画像より、時間的に先行する画像（例えば、原画像の１フレームや２フレーム前などの画像フレーム）（以下、適宜、前方予測画像という）、時間的に後行する画像（例えば、原画像の１フレームや２フレーム後などの画像フレーム）（以下、適宜、後方予測画像という）、またはその両方の画像を、参照画像とするものがあり、それぞれの参照画像を用いるインター符号化を、以下、適宜、前方予測符号化、後方予測符号化、または両方向予測符号化という（両方向予測符号化の場合には、前方予測画像と後方予測画像との、例えば平均値などが、参照画像として用いられる）。
【００１４】
また、イントラフレームとされたものは、必ずイントラ符号化されるが、インターフレームは、前方予測符号化およびイントラ符号化のうちのいずれかで符号化される（以下、このように符号化されるものを、適宜、Ｐピクチャの画像という）場合と、前方予測符号化、後方予測符号化、両方向予測符号化、およびイントラ符号化のうちのいずれかで符号化される（以下、このように符号化されるものを、適宜、Ｂピクチャの画像という）場合がある。即ち、インターフレームとされた画像は、通常、さらにＰおよびＢピクチャの画像のうちのいずれかに割り当てられる。
【００１５】
Ｐピクチャの画像が、前方予測符号化およびイントラ符号化のうちのいずれで符号化されるかは、例えばそのＰピクチャの画像と参照画像である前方予測画像との差分（画素値の差分）の絶対値和ＡＰ、およびＰピクチャの画像（画像の画素値）の絶対値和ＢＰの大小関係に基づいて決定される（例えば、ＡＰがＢＰより小さい場合は前方予測符号化で、またＢＰがＡＰより小さい場合はイントラ符号化で符号化される）。
【００１６】
また、Ｂピクチャの画像が、前方予測符号化、後方予測符号化、両方向予測符号化、およびイントラ符号化のうちのいずれで符号化されるかは、例えばそのＢピクチャの画像と参照画像である前方予測画像または後方予測画像それぞれとの差分の絶対値和、およびＢピクチャの画像の絶対値和の大小関係に基づいて決定される。
【００１７】
【発明が解決しようとする課題】
ところで、イントラフレームおよびインターフレームを、上述したフレーム／ライン相関を利用することにより、例えばＤＣＴ処理する場合には、その結果得られるＤＣＴ係数は、通常、さらに量子化されて可変長符号化処理され、例えば伝送路や記録媒体に出力される。
【００１８】
一般的に、伝送路や記録媒体には、所定の一定のレートで、データを出力する必要があるから、符号化されたデータは、一時、バッファなどに蓄積され、そのバッファから所定の一定のレートで出力される。
【００１９】
従来においては、このようなバッファのオーバーフローやアンダーフローを防止するために、バッファに蓄積されているデータ量に対応して、上述したＤＣＴ係数を量子化する量子化ステップが設定されるようになされている。即ち、バッファがオーバーフローまたはアンダーフローしそうな場合には、量子化ステップが、それぞれ粗くまたは細かくされ、発生符号量が少なくまたは多くなるようになされている。
【００２０】
一方、インターフレームを符号化した場合には、通常、発生符号量が少なくなるが、インターフレームで、シーンチェンジが生じていると（以下、シーンチェンジが生じているインターフレームを、シーンチェンジフレームという）、そのフレームと、その参照画像である前方予測画像または後方予測画像との相関がほとんどなくなる。このため、シーンチェンジフレーム（あるいは、その付近のインターフレーム）をインター符号化しても、その発生符号量は、イントラフレームと同じ程度に多くなる。
【００２１】
また、インターフレームは、その参照画像となるべきイントラフレームの符号化後に符号化される。従って、イントラフレームの符号化後にインター符号化されるインターフレームにシーンチェンジが生じている場合、イントラフレームの符号化により多くの符号化データが発生し、さらにシーンチェンジフレーム（あるいは、その付近のインターフレーム）の符号化により多くの符号化データが発生する。
【００２２】
即ち、この場合、局所的に発生符号量が急増する。これにより、上述したバッファの蓄積量も急増し、そのオーバーフローを防止するため、量子化ステップが粗くされる。
【００２３】
従って、この場合、量子化による量子化雑音が大きくなり、画像の画質（復号画像のＳ／Ｎ）が劣化する過大があった。
【００２４】
本発明は、このような状況に鑑みてなされたものであり、シーンチェンジによる画質の劣化を防止することができるようにするものである。
【００２５】
【課題を解決するための手段】
本発明の画像符号化装置は、画像信号を、所定の単位領域ごとに、イントラ符号化またはインター符号化の符号化モードで符号化する符号化手段（例えば、図１に示す圧縮符号化部２など）と、符号化手段における符号化モードを、イントラ符号化またはインター符号化に切り換える切換手段（例えば、図１に示す符号化モード決定回路４と）と、単位領域の画像信号を、所定の時間だけ遅延して符号化手段に供給する遅延手段（例えば、図１に示す遅延回路１）と、遅延手段による前段の画像信号におけるシーンチェンジを、単位領域ごとに検出する検出手段（例えば、図１に示すシーンチェンジ検出回路３など）と、検出手段によるシーンチェンジの検出結果に応じて、切換手段を制御する制御手段（例えば、図１に示すシークエンサ１１）とを備え、制御手段は、検出手段によりシーンチェンジが検出されない場合には、符号化手段における符号化モードを、Ｎ回に１回の割合でインター符号化からイントラ符号化に切り替えるように切換手段を制御し、また、検出手段によりシーンチェンジが検出された場合には、そのシーンチェンジが検出された後、そのシーンチェンジが検出された単位領域の画像信号が、遅延手段から符号化手段に供給される直前までの間、遅延手段からＮ回の符号化に対応する時間だけ遅延されて符号化手段に供給される単位領域の画像信号すべてがインター符号化されるように、切換手段を制御することを特徴とする。
【００２７】
本発明の画像符号化方法は、画像信号を符号化する符号化モードを、イントラ符号化またはインター符号化に切り換えながら、画像信号を、所定の単位領域ごとに符号化する画像符号化方法であって、単位領域の画像信号を、所定の時間だけ遅延してイントラ符号化またはインター符号化を行い、遅延される以前の画像信号におけるシーンチェンジを、単位領域ごとに検出し、シーンチェンジの検出結果に応じて、シーンチェンジが検出されない場合には、符号化モードを、Ｎ回に１回の割合でインター符号化からイントラ符号化に切り替えるようにし、また、シーンチェンジが検出された場合には、そのシーンチェンジが検出された後、そのシーンチェンジが検出された単位領域の画像信号が、遅延されて供給される直前までの間、Ｎ回の符号化に対応する時間だけ遅延されて供給される単位領域の画像信号すべてがインター符号化されるようにすることを特徴とする。
【００２８】
【作用】
上記構成の画像符号化装置および画像符号化方法においては、符号化モードが、イントラ符号化またはインター符号化に切り換えられながら、画像信号が、所定の単位領域ごとに符号化され、単位領域の画像信号を、所定の時間だけ遅延される。そして、シーンチェンジの検出結果に応じて、シーンチェンジが検出されない場合には、符号化モードを、Ｎ回に１回の割合でインター符号化からイントラ符号化に切り替えるようにし、また、シーンチェンジが検出された場合には、そのシーンチェンジが検出された後、そのシーンチェンジが検出された単位領域の画像信号が、遅延されて供給される直前までの間、Ｎ回の符号化に対応する時間だけ遅延されて供給される単位領域の画像信号すべてがインター符号化される。従って、シーンチェンジに起因する発生符号量の局所的な増加を低減することができ、その結果画像の画質の劣化を防止することができる。
【００２９】
【実施例】
図１は、本発明を適用した画像符号化装置の一実施例の構成を示すブロック図である。例えば、動画像の画像信号（ディジタル信号）は、符号化単位としての、例えばフレーム単位で遅延回路１およびシーンチェンジ検出回路３に順次（表示順に）供給されるようになされている。シーンチェンジ検出回路３は、いま入力されたフレームにシーンチェンジが生じているか否かを検出し、シーンチェンジが生じている場合には、検出信号を符号化モード決定回路４に出力するようになされている。即ち、シーンチェンジ検出回路３は、例えばいま入力されたフレームと、その直前に入力されたフレームとの差分（画素値の差分）の自乗和（差分のエネルギに相当するもの）を算出し、その値が、所定値以上である場合、いま入力されたフレームにシーンチェンジが生じていると判定し、検出信号を符号化モード決定回路４のシークエンサ１１に出力するようになされている。
【００３０】
遅延回路１は、シーンチェンジ回路３におけるシーンチェンジの検出処理のための時間に加え、符号化単位であるフレーム単位で、所定のフレーム数分に相当する時間だけ、入力される画像信号を遅延し、圧縮符号化部２に出力する（以下、所定のフレーム数分に相当する遅延時間を、すげ替え時間という）。
【００３１】
圧縮符号化部２は、例えばＭＰＥＧなどの規格に準拠したもので、遅延回路１からの画像信号を、符号化モード決定回路４より出力される符号化モードにしたがい、符号化単位であるフレーム単位で、前述したイントラ符号化またはインター符号化するようになされている。即ち、圧縮符号化部２は、符号化モード決定回路４より出力された符号化モードが、イントラ符号化であった場合には、遅延回路１からの画像信号を、例えばＤＣＴ処理して量子化し、さらに可変長符号化するようになされている。そして、その結果得られた符号化データを、内蔵する図示せぬバッファに一時記憶し、所定の一定のレートで、伝送路（通信路）に出力するようになされている。
【００３２】
また、圧縮符号化部２は、ローカルデコーダを内蔵し、そのローカルデコーダで、符号化データを、必要に応じてローカルデコードするようになされている。そして、圧縮符号化部２は、ローカルデコードしたデータ（以下、ローカルデコードデータという）を、内蔵する図示せぬフレームメモリに記憶するようになされている。このローカルデコードデータは、遅延回路１からの画像信号を、インター符号化する場合の参照画像として用いられる。
【００３３】
さらに、圧縮符号化部２は、符号化モード決定回路４より出力された符号化モードが、インター符号化であった場合には、遅延回路１より出力された画像信号と、その画像信号の参照画像となるべきローカルデコードデータとの差分を演算し、差分データを生成するようにされている。そして、その差分データを、上述した場合と同様に処理し（ＤＣＴ処理して量子化し、さらに可変長符号化し）、その結果得られた符号化データを、内蔵するバッファに一時記憶して、所定の一定のレートで、伝送路（通信路）に出力するようになされている。
【００３４】
なお、圧縮符号化部２では、インター符号化された符号化データも、必要に応じてローカルデコードされ、内蔵するフレームメモリに記憶されるようになされている。
【００３５】
また、圧縮符号化部２においては、インター符号化を行う場合、遅延回路１より出力された画像信号から動きベクトルを検出し、その画像信号の参照画像となるべきローカルデコードデータに対し、検出した動きベクトルを用いて動き補償を施すことにより、遅延回路１より出力された画像信号の予測画像信号を生成するようにすることができる。即ち、圧縮符号化部２は、いわゆるＭＣ−ＤＣＴ（動き補償−離散コサイン変換）による画像符号化を行うものとすることができる。この場合には、遅延回路１より出力された画像信号と、予測画像信号との差分が算出され、差分データが生成される。
【００３６】
符号化モード決定回路４は、シークエンサ（シーケンサ）１１およびスイッチＳＷから構成されている。スイッチＳＷは、シークエンサ１１に制御され、圧縮符号化部２に対し、インター符号化またはイントラ符号化を指示する制御信号である符号化モードそれぞれに対応するインターモードまたはイントラモードの制御信号が供給されている端子ＡまたはＢを選択し、圧縮符号化部２に出力するようになされている。
【００３７】
シークエンサ１１は、通常は、端子Ａを選択するように、スイッチＳＷを制御している。そして、遅延回路１から出力される画像信号の、例えば３フレームに１フレームの割合で、端子Ｂを選択するように、スイッチＳＷを制御するようになされている。従って、この場合、符号化モード決定回路４からは、例えば「イントラ符号化（イントラモード）」、「インター符号化（インターモード）」、「インター符号化」、「イントラ符号化」、「インター符号化」、・・・のように、符号化モードが、圧縮符号化部２に出力され、これにより、遅延回路１から出力される画像信号は、圧縮符号化部２で、３フレームに１フレームの割合で周期的にイントラ符号化され、他のフレームはインター符号化されるようになされている（逆に考えれば、遅延回路１から出力される画像信号は、圧縮符号化部２で、３フレームに２フレームの割合で周期的にインター符号化され、残りの１フレームはイントラ符号化されるようになされている）（符号化モード決定回路４により符号化モードが、イントラ符号化またはインター符号化に周期的に切り換えられながら、画像信号の符号化が行われるようになされている）。
【００３８】
なお、シークエンサ１１によるスイッチの切り換えタイミング、  即ち時系列に入力される画像信号のフレームを、イントラフレームおよびインターフレームのうちのいずれに割り当てるかは、上述したパターンに限られるものではない。
【００３９】
但し、シークエンサ１１は、シーンチェンジ検出回路３から検出信号を受信した場合には、その受信後、上述した遅延回路１における遅延時間のうちのすげ替え時間だけ経過するまでは、端子Ａを選択し続けるように、スイッチＳＷを制御するようになされている。
【００４０】
従って、シークエンサ１１で、シーンチェンジ検出回路３から検出信号が受信された場合には、その受信後、すげ替え時間だけ経過するまでの間は、符号化モード決定回路４から圧縮符号化部２へは、「インター符号化」の符号化モードが連続して出力され、これにより、この間に、遅延回路１から出力される画像信号のフレームは、すべてインターフレームに割り当てられる。よって、この間は、圧縮符号化部２では、遅延回路１からの画像信号が、インター符号化され続けることになる。
【００４１】
次に、図２のタイミングチャートを参照して、その動作について説明する。なお、ここでは、説明を簡単にするために、画像信号のうちの、インター符号化されるように割り当てられるフレーム、即ちインターフレームには、Ｂピクチャの画像とされるものはなく、Ｐピクチャの画像とされるもののみとする。即ち、画像信号の表示順序と、その符号化順序とは、同一であるとする。
【００４２】
符号化される画像信号は、圧縮符号化部２における符号化単位であるフレーム単位で、図２（ａ）に示すフレームパルス（画像信号の垂直同期信号に相当するもの）に同期して、遅延回路１およびシーンチェンジ検出回路３に入力される（図２（ｂ））。遅延回路１では、入力された画像信号が、シーンチェンジ回路３におけるシーンチェンジの検出処理のための時間に加え、すげ替え時間（図２においては、３フレームに相当する時間にしてある）だけ遅延され、圧縮符号化部２に出力される（図２（ｄ））（但し、シーンチェンジの検出処理のための時間は、すげ替え時間に比較して充分小さいので、図２では、シーンチェンジの検出処理のための時間に対応する遅延時間を無視してある。また、以下においても、この遅延時間はないものとして説明する）。
【００４３】
一方、シーンチェンジ検出回路３では、いま入力されたフレームにシーンチェンジが生じているか否かが、上述したようにして判定される。シーンチェンジ検出回路３で、いま入力されたフレームにシーンチェンジが生じていないと判定された場合、検出信号（図２（ｃ））は、シークエンサ１１に対して出力されず（Ｌレベルがシークエンサ１１に出力され）、従ってシークエンサ１１では、上述したように、通常は端子Ａを選択しているスイッチＳＷが、遅延回路１から出力される画像信号の、３フレームに１フレームの割合で、端子Ｂを選択するように制御される。
【００４４】
これにより、符号化モード決定回路４からは、・・・、「インター符号化」、「イントラ符号化」、「インター符号化」、「インター符号化」、「イントラ符号化」、「インター符号化」、・・・というように、符号化モードが、圧縮符号化部２に出力される（図２（ｅ））。
【００４５】
従って、この場合、圧縮符号化部２では、符号化モード決定回路４からの符号化モードにしたがい、従来の場合と同様に、遅延回路１からの画像信号（図２（ｃ））の符号化が、上述したようにして行われる。即ち、符号化モード決定回路４から出力される、いわばあらかじめ割り当てられたシークエンス（ｓｅｑｕｅｎｃｅ）の符号化モードでの符号化が行われる。
【００４６】
一方、シーンチェンジ検出回路３で、いま入力されたフレームにシーンチェンジが生じていると判定された場合、そのフレーム、即ちシーンチェンジフレーム（図２において、影を付して示す部分）の次のフレームの画像信号が入力されるタイミングで、検出信号が、シークエンサ１１に対して出力される（Ｈレベルが出力される）（図２（ｃ））。
【００４７】
シークエンサ１１は、シーンチェンジ検出回路３から検出信号を受信すると、それから、遅延回路１における遅延時間のうちのすげ替え時間だけ経過するまでは、端子Ａを選択するように、スイッチＳＷを制御する。これにより、シーンチェンジフレームが、遅延回路１に入力された後、そこで、すげ替え時間だけ遅延されて圧縮符号化部２へ出力されるまでの間は、符号化モード決定回路４から圧縮符号化部２へは、「インター符号化」の符号化モードが連続して出力される。
【００４８】
従って、シーンチェンジフレームが、遅延回路１に入力された後、そのシーンチェンジフレームが、すげ替え時間だけ遅延されて出力されるまでに、遅延回路１から出力されるフレーム、即ちシーンチェンジフレームよりすげ替え時間だけ先行するフレームから、シーンチェンジフレームの直前のフレームまでの符号化モードは、すべてインター符号化にされる（図２（ｆ））。
【００４９】
即ち、遅延回路１より出力された画像信号（図２（ｄ））に、あらかじめ割り当てられたシークエンス（Ｓｅｑｕｅｎｃｅ）の符号化モードが、例えば図２（ｅ）に示すようであったとすると、それは図２（ｆ）に示すように変更される。
【００５０】
以上のようにして、符号化モード決定回路４では、シーンチェンジフレームより時間的に、すげ替え時間だけ先行するフレームすべてがインター符号化されるように、圧縮符号化部２における符号化モードが制御され、これにより圧縮符号化部２では、符号化モード決定回路４から出力される符号化モードにしたがい、シークエンサ１１で検出信号が受信された後、すげ替え時間だけ経過するまでの間は、遅延回路１から出力される画像信号が、インター符号化され続ける。
【００５１】
以上から、イントラフレームの符号化後にインター符号化されるインターフレームにシーンチェンジが生じている場合には、そのシーンチェンジフレームよりすげ替え時間だけ時間的に先行する範囲にあるイントラフレームは、インターフレームとしてインター符号化されることになる。
【００５２】
従って、シーンチェンジフレーム（あるいは、その付近のインターフレーム）を符号化するときには、前述したように多くの符号化データが発生するが、それよりすげ替え時間だけ時間的に先行する範囲にあるイントラフレームが、インター符号化されるので、それが、本来の符号化モードであるイントラ符号化で符号化される場合に比較して、その発生符号量は少なくなり、その結果、局所的に発生符号量が急増することを防止することができる。
【００５３】
これにより、圧縮符号化部２が内蔵する、符号化データを一時記憶するバッファの蓄積量が急増することがほとんどなくなり、そのオーバーフローを防止することができる（オーバーフローの確率を低減することができる）。さらに、その結果、圧縮符号化部２における量子化ステップが、極端に粗くされることを防止することができる。
【００５４】
その後、シーンチェンジフレームが、遅延回路１から圧縮符号化部２に出力されると（図２（ｄ））、シークエンサ１１は、スイッチＳＷの制御を元に戻し、これにより、符号化モード決定回路４からは、あらかじめ割り当てられたシークエンス（Ｓｅｑｕｅｎｃｅ）の符号化モードが、再び出力されるようになる（図２（ｅ））。
【００５５】
圧縮符号化部２で符号化されたデータは、その内蔵するバッファに一時記憶され、伝送路を介して、一定の伝送レートで、例えば図示せぬ画像復号化装置に伝送される。
【００５６】
上述したように、圧縮符号化部２における量子化ステップは、極端に粗くされないので、画像復号化装置における復号の結果得られる復号画像は、従来に比較して、画質の向上したものとなる。
【００５７】
なお、本実施例においては、圧縮符号化部２をＭＰＥＧに準拠したものとしたが、これに限られるものではない。
【００５８】
また、シーンチェンジ検出回路３における画像信号の検出方法も、本実施例で説明した方法に限定されるものではない。
【００５９】
さらに、本実施例では、すげ替え時間の設定方法について言及しなかったが、すげ替え時間は、例えば伝送路（通信路）の容量（伝送レート）や、装置に入力される画像信号の情報量などに基づいて設定するようにすることができる。
【００６０】
即ち、すげ替え時間を長くするほど、シーンチェンジフレームから、より時間的に先行するイントラフレームをインター符号化することができ、これにより発生符号量を、より低減することができるようになる。一方、伝送路の容量が大きいまたは小さい場合には、圧縮符号化部２が内蔵するバッファのオーバーフローする確率は、それぞれ小さくまたは大きくなる。従って、伝送路の容量が大きいまたは小さい場合には、すげ替え時間は、それぞれ小さなまたは大きな値に設定するようにすれば良い。また、装置に入力される画像信号の情報量が多いまたは少ない場合には、圧縮符号化部２における符号化により得られる符号量は、それぞれ大きくまたは小さくなる。従って、装置に入力される画像信号の情報量が多いまたは少ない場合には、すげ替え時間は、それぞれ大きなまたは小さな値に設定するようにすれば良い。
【００６１】
但し、すげ替え時間を長くしすぎると、即ち長期間にわたって、インター符号化を行うようにすると、前述したように、復号画像の画質の劣化などの問題が生じるので、これも考慮して、すげ替え時間の長さを決めるようにする必要がある。
【００６２】
さらに、本実施例では、符号化単位を、フレーム単位としたが、これに限られるものではない。即ち、符号化単位は、例えばいわゆるマクロブロック単位や、１フレームまたは１フィールドの画像信号を、８画素×８画素のブロックに分割したブロック単位などとすることができる。
【００６３】
また、本実施例においては、説明を簡単にするために、画像信号のうちの、インター符号化されるように割り当てられるフレーム、即ちインターフレームには、Ｂピクチャの画像とされるものはなく、Ｐピクチャの画像とされるもののみとしたが、本発明は、インターフレームに、ＰおよびＢピクチャの画像の両方が出現する画像信号にも適用することができる。但し、Ｂピクチャの画像の符号化にあたっては、前述したように、それより時間的に後行するフレーム（このフレームをローカルデコードしたもの）を用いる場合があるので、圧縮符号化部２に入力するフレームの順番を入れ換える必要がある。
【００６４】
即ち、いま、イントラフレームをＩピクチャの画像というものとし、装置に、Ｉ，Ｐ，Ｂピクチャの割り当てがなされた画像信号が、例えば・・・，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｐ８，・・・（但し、Ｉ，Ｐ，Ｂに付した数字は、装置への入力順序、即ち表示順序を示す）のような順番で入力された場合には、圧縮符号化部２に、例えば・・・，Ｉ２，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７，・・・の順番で、画像信号を入力するようにする必要がある（例えば、Ｂ１は、時間的に後行するＩ２を用いて符号化される（符号化される場合がある）ので、Ｉ２より時間的に先行しているが、それより後に符号化せざるを得ない。また、例えば、Ｂ３，Ｂ４は、時間的に後行するＰ５を用いて符号化される（符号化される場合がある）ので、Ｐ５より時間的に先行しているが、よれより後に符号化せざるを得ない）。
【００６５】
この場合、インターフレームである、例えばＰ５が、シーンチェンジフレームであったときには、発生符号量が、シーンチェンジフレームであるＰ５の符号化によって増加するが、上述したように、Ｐ５より時間的に先行し、さらに符号化順序も先行しているイントラフレームＩ２がインター符号化されるので、局所的な発生符号量の急増を防止することができる。
【００６６】
また、インターフレームである、例えばＢ３が、シーンチェンジフレームであったときには、発生符号量は、シーンチェンジフレームであるＢ３の符号化によって増加するのではなく、Ｂ３より時間的に後行しているが、符号化順序が先行しているＰ５の符号化によって増加する。しかしながら、図１の装置によれば、Ｉ２は、符号化順序からすれば、Ｂ３から離れ、その３つ前に位置するようになるが、時間順（表示順序）では、Ｂ３の直前に位置するので、上述したようにインター符号化される。従って、この場合には、Ｉ２の２つ後に、多くの符号化データが発生するＰ５が符号化されるが、局所的な発生符号量の急増は避けることができる。
【００６７】
なお、Ｉ２は、符号化順序からすれば、Ｂ１に先行するが、時間順（表示順序）は、Ｂ１に後行するので、Ｂ１がシーンチェンジフレームであっても、Ｉ２は、インター符号化されず、従来の場合と同様にイントラ符号化される。即ち、この場合は、Ｂ１より、すげ替え時間だけ時間的に先行する範囲にあるイントラフレームがインター符号化され、これによりシーンチェンジフレームに起因する局所的な発生符号量の増加が防止される。
【００６８】
【発明の効果】
以上の如く、本発明によれば、シーンチェンジに起因する発生符号量の急激な増加を防止することができ、その結果画像の画質の劣化を防止することができる。
【図面の簡単な説明】
【図１】本発明を適用した画像符号化装置の一実施例の構成を示すブロック図である。
【図２】図１の実施例の動作を説明するタイミングチャートである。
【符号の説明】
１  遅延回路
２  圧縮符号化部
３  シーンチェンジ検出回路
４  符号化モード決定回路
１１  シークエンサ
【図１】
0003617652.tif 000002
【図２】
0003617652.tif 000003