(57)【要約】      （修正有）【課題】連続撮像された複数の画像に対する画像圧縮処理負荷の軽減技術を提供する。【解決手段】連続画像の符号化装置は、符号化方式の選択手段と、選択結果に従う符号化手段を備える。選択手段は、第１方式で符号化された画像の内符号化対象直前の第１画像と、符号化対象との相関度が第１閾値未満の時は第１方式を選択し、第１閾値以上第２閾値未満の時は第２方式を選択し、第２閾値以上の場合は第３方式を選択する。第１方式は、画像の変換、量子化及び符号化を含み、他の２方式は、第１画像の局部復号画像に対する符号化対象の差分生成を含む。第２方式は、差分の変換、量子化及び符号化を更に含むか又は差分の量子化及び符号化を更に含み、第３方式は、第２方式が差分の変換、量子化、及び符号化を更に含む時、差分の量子化及び符号化を更に含むか又は差分の符号化を更に含み、第２方式が差分の量子化及び符号化を更に含む時、差分の符号化を含む。【選択図】図１
2018107536.tif 000002
【特許請求の範囲】
【請求項１】
連続して撮像された複数の画像の各々を符号化する符号化装置であって、
符号化対象画像の符号化方式を選択する選択手段と、
前記選択された符号化方式に従って前記符号化対象画像を符号化する符号化手段と、
を備え、
前記選択手段は、
第１の符号化方式に従って符号化された画像のうち前記符号化対象画像の直前に撮像された第１の画像と、前記符号化対象画像との間の相関度が第１の閾値未満の場合、前記第１の符号化方式を選択し、
前記相関度が前記第１の閾値以上第２の閾値未満の場合、第２の符号化方式を選択し、
前記相関度が前記第２の閾値以上の場合、第３の符号化方式を選択する
ように構成され、
前記第１の符号化方式は、前記符号化対象画像の周波数領域への変換、量子化、及び符号化を含み、
前記第２の符号化方式及び前記第３の符号化方式は、前記第１の画像のローカルデコード画像に対する前記符号化対象画像の差分画像の生成を含み、
前記第２の符号化方式は、前記差分画像の周波数領域への変換、量子化、及び符号化を更に含むか、又は、前記差分画像の量子化及び符号化を更に含み、
前記第３の符号化方式は、
前記第２の符号化方式が前記差分画像の周波数領域への変換、量子化、及び符号化を更に含む場合、前記差分画像の量子化及び符号化を更に含むか、又は前記差分画像の符号化を更に含み、
前記第２の符号化方式が前記差分画像の量子化及び符号化を含む場合、前記差分画像の符号化を含む
ことを特徴とする符号化装置。
【請求項２】
前記選択手段は、
前記相関度が前記第２の閾値以上第３の閾値未満の場合、前記第３の符号化方式を選択し、
前記相関度が前記第３の閾値以上の場合、第４の符号化方式を選択する
ように構成され、
前記第２の符号化方式は、前記差分画像の周波数領域への変換、量子化、及び符号化を更に含み、
前記第３の符号化方式は、前記差分画像の量子化及び符号化を更に含み、
前記第４の符号化方式は、前記差分画像の生成及び前記差分画像の符号化を含む
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記選択手段は、前記第１の画像と前記符号化対象画像との間に撮像された画像の数が前記相関度に基づく第４の閾値以上の場合、前記相関度に関わらず前記第１の符号化方式を選択するように構成され、
前記相関度が大きいほど前記第４の閾値は大きい
ことを特徴とする請求項１又は２に記載の符号化装置。
【請求項４】
前記選択手段は、前記相関度として、前記複数の画像のフレームレートを用いる
ことを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
【請求項５】
前記選択手段は、前記相関度として、前記差分画像のデータ量を用いる
ことを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
【請求項６】
前記複数の画像の各々は、ＲＡＷ画像である
ことを特徴とする請求項１乃至５のいずれか１項に記載の符号化装置。
【請求項７】
連続して撮像された複数の画像の各々を符号化する符号化装置が実行する符号化方法であって、
符号化対象画像の符号化方式を選択する選択工程と、
前記選択された符号化方式に従って前記符号化対象画像を符号化する符号化工程と、
を備え、
前記選択工程は、
第１の符号化方式に従って符号化された画像のうち前記符号化対象画像の直前に撮像された第１の画像と、前記符号化対象画像との間の相関度が第１の閾値未満の場合、前記第１の符号化方式を選択し、
前記相関度が前記第１の閾値以上第２の閾値未満の場合、第２の符号化方式を選択し、
前記相関度が前記第２の閾値以上の場合、第３の符号化方式を選択する
ように構成され、
前記第１の符号化方式は、前記符号化対象画像の周波数領域への変換、量子化、及び符号化を含み、
前記第２の符号化方式及び前記第３の符号化方式は、前記第１の画像のローカルデコード画像に対する前記符号化対象画像の差分画像の生成を含み、
前記第２の符号化方式は、前記差分画像の周波数領域への変換、量子化、及び符号化を更に含むか、又は、前記差分画像の量子化及び符号化を更に含み、
前記第３の符号化方式は、
前記第２の符号化方式が前記差分画像の周波数領域への変換、量子化、及び符号化を更に含む場合、前記差分画像の量子化及び符号化を更に含むか、又は前記差分画像の符号化を更に含み、
前記第２の符号化方式が前記差分画像の量子化及び符号化を含む場合、前記差分画像の符号化を含む
ことを特徴とする符号化方法。
【請求項８】
コンピュータを、請求項１乃至６のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、符号化方法、及びプログラムに関する。
【背景技術】
【０００２】
現在、ＲＡＷ画像を記録できる撮像装置が知られている。ＲＡＷ画像を記録する場合、ユーザは、記録後に様々な現像パラメータを用いて現像処理を行うことができる。そのため、ＲＡＷ画像の記録は、特に上級者によって好んで行われている。しかし、ＲＡＷ画像はデータ量が大きい。そのため、特に、動画や、連写された多数の静止画をＲＡＷ画像として記録する場合に、記録媒体の容量を多く消費してしまうという問題がある。
【０００３】
動画のデータ量を削減する技術として、特許文献１に開示される技術が知られている。特許文献１のカメラシステムは、動画像データの１フレーム分の画像をキーフレームとして保持し、キーフレームに連続する複数のフレーム画像に対して、フレーム間予測符号化処理を含む画像圧縮処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２３１０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画を高いフレームレートで撮影する場合や静止画を高速連写する場合などは、単位時間あたりに生成されるフレーム数が多くなるため、画像圧縮処理の負荷が増大する。負荷の増大は、ＲＡＷ画像に対して画像圧縮処理を行う場合だけでなく、現像済みの画像に対して画像圧縮処理を行う場合にも発生する。しかし、特許文献１は、処理負荷については考慮していない。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、連続して撮像された複数の画像に対する画像圧縮処理の負荷を軽減する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、連続して撮像された複数の画像の各々を符号化する符号化装置であって、符号化対象画像の符号化方式を選択する選択手段と、前記選択された符号化方式に従って前記符号化対象画像を符号化する符号化手段と、を備え、前記選択手段は、第１の符号化方式に従って符号化された画像のうち前記符号化対象画像の直前に撮像された第１の画像と、前記符号化対象画像との間の相関度が第１の閾値未満の場合、前記第１の符号化方式を選択し、前記相関度が前記第１の閾値以上第２の閾値未満の場合、第２の符号化方式を選択し、前記相関度が前記第２の閾値以上の場合、第３の符号化方式を選択するように構成され、前記第１の符号化方式は、前記符号化対象画像の周波数領域への変換、量子化、及び符号化を含み、前記第２の符号化方式及び前記第３の符号化方式は、前記第１の画像のローカルデコード画像に対する前記符号化対象画像の差分画像の生成を含み、前記第２の符号化方式は、前記差分画像の周波数領域への変換、量子化、及び符号化を更に含むか、又は、前記差分画像の量子化及び符号化を更に含み、前記第３の符号化方式は、前記第２の符号化方式が前記差分画像の周波数領域への変換、量子化、及び符号化を更に含む場合、前記差分画像の量子化及び符号化を更に含むか、又は前記差分画像の符号化を更に含み、前記第２の符号化方式が前記差分画像の量子化及び符号化を含む場合、前記差分画像の符号化を含むことを特徴とする符号化装置を提供する。
【０００８】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【０００９】
本発明によれば、連続して撮像された複数の画像に対する画像圧縮処理の負荷を軽減することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】符号化装置１００の構成を示すブロック図。
【図２】復号装置２００の構成を示すブロック図。
【図３】符号化装置１００が実行する符号化処理のフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１２】
［第１の実施形態］
図１は、符号化装置１００の構成を示すブロック図である。符号化装置１００は、独立した装置であってもよいし、例えば撮像装置（不図示）のような他の装置の内部に備えられていてもよい。以下の説明においては、符号化装置１００は撮像装置の内部に備えられているものとする。
【００１３】
図１において、プロセッサ１１２は、ＲＯＭ１１３に格納された制御プログラムを実行することにより、符号化装置１００の全体を制御する。その際に、プロセッサ１１２は、ＲＡＭ１１４をワークメモリとして使用する。なお、符号化装置１００が撮像装置の内部に備えられる場合、撮像装置がプロセッサ１１２、ＲＯＭ１１３、及びＲＡＭ１１４を備えてもよい。
【００１４】
入力端子１０１は、符号化装置１００に画像データを入力するための入力端子である。本実施形態では、撮像装置が撮像素子を用いて動画撮影又は静止画の連写を行うことにより連続的に生成された複数のＲＡＷ画像が、入力端子１０１を介して符号化装置１００に入力されるものとする。しかしながら、本実施形態の符号化対象画像はＲＡＷ画像に限定されず、例えば現像済みの画像が符号化装置１００に入力されてもよい。
【００１５】
各ＲＡＷ画像は、複数のプレーン画像を含む。プレーン画像とは、撮像素子から出力された特定の色成分に対応する画像を意味する。或いは、プレーン画像は、色成分の変換が行われた後の特定の成分に対応する画像であってもよい。以下では、特に断らない限り、ＲＡＷ画像に含まれる複数のプレーン画像のうちの１つのプレーン画像に対する処理について説明する。符号化装置１００は、他のプレーン画像についても、ここで説明する１つのプレーン画像と同様の処理を、順番に又は並列で実行する。
【００１６】
スイッチ１０２は、プロセッサ１１２による制御に従い、端子ＡＢ間又は端子ＡＣ間を接続する。最初のプレーン画像の符号化時は、端子ＡＢ間が接続される。ＤＷＴ部１０３（離散ウェーブレット変換部）は、プレーン画像に対してウェーブレット変換処理を行い、プレーン画像をサブバンド分割し、サブバンド毎のウェーブレット係数を出力する。なお、符号化装置１００がここで実行する処理は、ウェーブレット変換処理に限定されず、画像を周波数領域に変換する処理であれば、任意の処理（例えば、離散コサイン変換）を実行してもよい。量子化部１０４は、サブバンド毎に量子化処理を行う。このため、量子化部１０４は、サブバンド毎に量子化係数を決定し、ウェーブレット係数に対して量子化を行う。量子化部１０４は、量子化により得られた量子化データを、エントロピー符号化部１０５及び逆量子化部１０６へ出力する。エントロピー符号化部１０５は、量子化データに対してエントリピー符号化を行い、符号化データとして出力端子１１０から出力する。出力された符号化データは、撮像装置によって他のプレーンの符号化データと一緒にまとめられ、記録媒体に記録されたり、外部へ出力されたりする。
【００１７】
逆量子化部１０６は、量子化データに対して逆量子化を行う。ｉＤＷＴ部１０７は、逆量子化により得られたウェーブレット係数に対してウェーブレット逆変換処理を行い、得られた画像を復号画像（ローカルデコード画像）としてメモリ１０８に格納する。以下、メモリ１０８に格納された復号画像を、キーフレームと呼ぶ。
【００１８】
２つ目以降のプレーン画像の符号化時は、スイッチ１０２は、所定の選択基準（選択基準の詳細は後述）に従い、端子ＡＢ間又は端子ＡＣ間を接続する。端子ＡＢ間が接続された場合、最初のプレーン画像と同様の符号化処理が行われ、新たなキーフレームがメモリ１０８に格納される。端子ＡＣ間が接続された場合、減算部１０９は、符号化対象のプレーン画像とキーフレームとの差分画像を生成する。この場合、スイッチ１１１は、所定の選択基準（選択基準の詳細は後述）に従い、端子ＤＥ間、端子ＤＦ間、又は端子ＤＧ間を接続する。端子ＤＥ間が接続された場合、差分画像に対して、ウェーブレット変換、量子化、及びエントロピー符号化が行われる。端子ＤＦ間が接続された場合、差分画像に対して、ウェーブレット変換は行われず、量子化及びエントロピー符号化が行われる。端子ＤＧ間が接続された場合、差分画像に対して、ウェーブレット変換及び量子化は行われず、エントロピー符号化が行われる。
【００１９】
なお、上述の各スイッチ及び各部は、専用の回路などのハードウェアとして実装されてもよいし、プロセッサ１１２が実行する機能として実装されてもよい。
【００２０】
ここで、スイッチ１０２の接続の選択基準について説明する。一般的に、動画像は、フレームレートが高い場合、連続する２画面間の相関度が高くなる。また、被写体の動きが小さい場合も、連続する２画面間の相関度が高くなる。相関度が高い場合、前後の画面の差分が少ないため、差分画像を符号化することにより符号量を減少させることができる。従って、メモリ１０８にキーフレームが格納されており、かつ、符号化対象画像とキーフレーム（キーフレームとして符号化された画像のうち符号化対象画像の直前に撮像された画像）との間の相関度が高い場合、スイッチ１０２は、端子ＡＣ間を接続する。反対に、メモリ１０８にキーフレームが格納されていない場合、又は、相関度が低い場合（閾値未満の場合）、スイッチ１０２は、端子ＡＢ間を接続する。
【００２１】
プロセッサ１１２は、入力される画像情報に基づいてフレームレートを判定することができる。また、プロセッサ１１２は、差分画像のデータ量、画面の平均信号値、又は画面内分散値に基づき、被写体の動きの大小を判定することができる。なお、相関度の指標は、フレームレート及び被写体の動きに限定されない。プロセッサ１１２は、任意の指標に基づいて画面間の相関度が高いか否かを判定し、判定結果に基づいてスイッチ１０２の接続を制御する。
【００２２】
また、プロセッサ１１２は、差分画像の符号化が連続する回数を制限してもよい。一例を挙げると、プロセッサ１１２は、フレームレートが１２０ｆｐｓ以上の場合、端子ＡＢ間と端子ＡＣ間を交互に接続するようにスイッチ１０２を制御する。これにより、１フレームおきにキーフレームが生成される。また、プロセッサ１１２は、相関度の高さに応じて、差分画像の符号化が連続する回数を変更してもよい。例えば、フレームレートが１２０ｆｐｓ以上２４０ｆｐｓ未満の場合、プロセッサ１１２は、端子ＡＢ間と端子ＡＣ間を交互に接続するようにスイッチ１０２を制御する。そして、フレームレートが２４０ｆｐｓ以上の場合、プロセッサ１１２は、３つのプレーン画像を１つの単位として、１つのプレーン画像に対して端子ＡＢ間を接続し、続く２つのプレーン画像に対して端子ＡＣ間を接続するようにスイッチ１０２を制御する。即ち、プロセッサ１１２は、差分画像の符号化が連続した数が閾値以上の場合、相関度に関わらず、画面内符号化（キーフレームの生成）を行う。
【００２３】
次に、スイッチ１１１の選択基準について説明する。フレームレートが高くなると、フレームレートに比例して、単位時間あたりの処理量が増加する。そのため、プロセッサ１１２は、処理量（処理負荷）を抑制するために、フレームレートに応じて、スイッチ１１１の接続を制御する。差分画像の符号化の処理量は、端子ＤＥ間が接続された場合が最も多く、端子ＤＦ間が接続された場合が次に多く、端子ＤＧ間が接続された場合が最も少ない。そこで、プロセッサ１１２は、フレームレートがβ未満の場合、端子ＤＥ間を、フレームレートがβ以上γ未満（β＜γ）の場合、端子ＤＦ間を、フレームレートがγ以上の場合、端子ＤＧ間を接続するようにスイッチ１１１を制御する。例えば、β＝１８０ｆｐｓ、γ＝２４０ｆｐｓである。
【００２４】
なお、差分画像の圧縮率に関しては、一般的に、端子ＤＥ間が接続された場合が最も高く、端子ＤＦ間が接続された場合が次に高く、端子ＤＧ間が接続された場合が最も低い。従って、フレームレートが高いほど、差分画像の圧縮率は低下する。しかし、フレームレートが高い場合は画面間の相関度が高く、一般的には差分画像自体のデータ量が少なくなる。従って、差分画像の圧縮率自体は低下しても、最終的な符号量はそれほど増加しないことが期待できる。
【００２５】
また、プロセッサ１１２は、フレームレートの代わりに、差分画像のデータ量に基づいてスイッチ１１１の接続を制御してもよい。即ち、プロセッサ１１２は、スイッチ１０２の場合と同様、相関度に基づいてスイッチ１１１の接続を制御してもよい。相関度が高い場合、必ずフレームレートも高い訳ではないが、一般的にはフレームレートも高い傾向にある。従って、相関度が高い場合に処理量が少なくなるようにスイッチ１１１の接続を制御することにより、符号化データの増大を抑制しつつ、処理負荷を軽減することが可能となる。
【００２６】
なお、プロセッサ１１２は、スイッチ１１１の端子Ｄの接続先として、端子Ｅ、端子Ｆ、及び端子Ｇの全てを選択可能である必要はない。プロセッサ１１２が相関度に応じて端子Ｅ、端子Ｆ、及び端子Ｇのうちの少なくとも２つを切り替えるように構成されていれば、上述の効果を得ることができる。
【００２７】
次に復号処理について説明する。復号処理も、符号化処理と同様、プレーン画像単位で行われる。図２は、復号装置２００の構成を示すブロック図である。復号装置２００は、独立した装置であってもよいし、例えば撮像装置（不図示）のような他の装置の内部に備えられていてもよい。以下の説明においては、復号装置２００は、符号化装置１００と同様、撮像装置の内部に備えられているものとする。
【００２８】
図２において、プロセッサ２１２は、ＲＯＭ２１３に格納された制御プログラムを実行することにより、復号装置２００の全体を制御する。その際に、プロセッサ２１２は、ＲＡＭ２１４をワークメモリとして使用する。なお、復号装置２００が撮像装置の内部に備えられる場合、撮像装置がプロセッサ２１２、ＲＯＭ２１３、及びＲＡＭ２１４を備えてもよい。従って、プロセッサ２１２、ＲＯＭ２１３、及びＲＡＭ２１４は、それぞれ、プロセッサ１１２、ＲＯＭ１１３、及びＲＡＭ１１４と同一の構成要素であってもよい。
【００２９】
入力端子２０１は、復号装置２００に符号化データを入力するための入力端子である。本実施形態では、撮像装置の記録媒体から読み出された符号化データが、入力端子２０１を介して復号装置２００に入力されるものとする。以下では、特に断らない限り、ＲＡＷ画像に含まれる複数のプレーン画像のうちの１つのプレーン画像に対する処理について説明する。復号装置２００は、他のプレーン画像についても、ここで説明する１つのプレーン画像と同様の処理を、順番に又は並列で実行する。
【００３０】
エントロピー復号部２０２は、符号化データに対してエントロピー復号を行い、スイッチ２０３へ出力する。スイッチ２０３は、プロセッサ１１２による制御に従い、端子ＨＩ間又は端子ＨＪ間を接続する。復号対象画像が差分画像であり、かつ、符号化時にスイッチ１１１が端子ＤＧ間を接続した場合、スイッチ２０３は、端子ＨＪ間を接続する。それ以外の場合、スイッチ２０３は、端子ＨＩ間を接続する。
【００３１】
逆量子化部２０４は、エントロピー復号により得られた量子化データに対して逆量子化を行う。逆量子化により得られたウェーブレット係数は、スイッチ２１０に入力される。スイッチ２１０は、プロセッサ１１２による制御に従い、端子ＫＬ間又は端子ＫＭ間を接続する。復号対象画像が差分画像であり、かつ、符号化時にスイッチ１１１が端子ＤＦ間を接続した場合、スイッチ２１０は、端子ＫＭ間を接続する。それ以外の場合、スイッチ２１０は、端子ＫＬ間を接続する。
【００３２】
ｉＤＷＴ部２０５は、逆量子化により得られたウェーブレット係数に対してウェーブレット逆変換処理を行い、得られた画像をスイッチ２１１へ出力する。スイッチ２１１は、プロセッサ１１２による制御に従い、端子ＮＯ間又は端子ＮＰ間を接続する。復号対象画像が差分画像である場合（この場合、符号化時にスイッチ１１１が端子ＤＥ間を接続している）、スイッチ２１１は、端子ＮＰ間を接続する。復号対象画像がキーフレームの場合、スイッチ２１１は、端子ＮＯ間を接続する。
【００３３】
メモリ２０６は、ウェーブレット逆変換処理により得られた画像を記憶すると共に、スイッチ２０７へ出力する。スイッチ２０７は、プロセッサ１１２による制御に従い、端子ＱＲ間又は端子ＱＳ間を接続する。復号対象画像がキーフレームである場合、スイッチ２０７は、端子ＱＲ間を接続し、メモリ２０６に格納された画像を復号プレーン画像として出力端子２０９から出力する。復号対象画像が差分画像の場合、スイッチ２０７は、端子ＱＳ間を接続する。この場合、加算部２０８は、スイッチ２０３、スイッチ２１０、又はスイッチ２１１から出力された差分画像に対してメモリ２０６に格納された画像を加算し、得られた画像を復号プレーン画像として出力端子２０９から出力する。出力端子２０９から出力された復号プレーン画像は、撮像装置によって他のプレーンの復号プレーン画像と一緒にまとめられ、表示装置などへ出力される。
【００３４】
次に、図３を参照して、符号化装置１００が実行する符号化処理の流れについて説明する。図３のフローチャートの各ステップの処理は、特に断らない限り、プロセッサ１１２が制御プログラムに従って符号化装置１００の各部を制御することにより実現される。符号化装置１００に対する連続的なＲＡＷ画像の入力が開始すると、本フローチャートの処理が開始する。
【００３５】
Ｓ３０１で、符号化装置１００は、メモリ１０８にキーフレームが格納されているか否かを判定する。メモリ１０８にキーフレームが格納されていない場合、処理はＳ３０２に進み、メモリ１０８にキーフレームが格納されている場合、処理はＳ３０３に進む。
【００３６】
Ｓ３０２で、符号化装置１００は、プレーン画像を画面内符号化する。即ち、符号化装置１００は、端子ＡＢ間を接続するようにスイッチ１０２を制御する。
【００３７】
Ｓ３０３で、符号化装置１００は、符号化対象のプレーン画像とキーフレームとの間の相関度が閾値α以上であるか否かを判定する。相関度が閾値α未満の場合、処理はＳ３０２に進み、相関度が閾値α以上の場合、処理はＳ３０４に進む。
【００３８】
Ｓ３０４で、符号化装置１００は、差分画像の符号化が連続した数（直近のキーフレームと符号化対象画像との間に撮像された画像の数）が閾値Ｎ以上であるか否かを判定する。符号化装置１００は、相関度に基づいて閾値Ｎを決定する。相関度が高いほど、閾値Ｎは大きい。差分画像の符号化が連続した数が閾値Ｎ以上の場合、処理はＳ３０２に進み、そうでない場合、処理はＳ３０５に進む。
【００３９】
Ｓ３０５で、符号化装置１００は、相関度に応じて処理を分岐する。相関度が閾値β未満の場合、処理はＳ３０６に進み、相関度が閾値β以上閾値γ未満の場合、処理はＳ３０７に進み、相関度が閾値γ以上の場合、処理はＳ３０８に進む。
【００４０】
Ｓ３０６で、符号化装置１００は、スイッチ１１１の端子ＤＥ間を接続し、差分画像の符号化を行う。Ｓ３０７で、符号化装置１００は、スイッチ１１１の端子ＤＦ間を接続し、差分画像の符号化を行う。Ｓ３０８で、符号化装置１００は、スイッチ１１１の端子ＤＧ間を接続し、差分画像の符号化を行う。
【００４１】
Ｓ３０９で、符号化装置１００は、次の符号化対象画像が存在するか否かを判定する。次の符号化対象画像が存在する場合、処理はＳ３０１に戻り、そうでない場合、本フローチャートの処理は終了する。
【００４２】
以上説明したように、第１の実施形態によれば、符号化装置１００は、符号化対象画像とキーフレームとの相関度に応じて、符号化方式を選択する。具体的には、符号化装置１００は、相関度に応じて、画面内符号化を行うか差分画像の符号化を行うかを切り替える。また、符号化装置１００は、差分画像の符号化を行う場合、相関度に応じて、ウェーブレット変換、量子化、及びエントロピー符号化の全てを実行するか、量子化及びエントロピー符号化のみを実行するか、エントロピー符号化のみを実行するかを切り替える。これにより、符号化データの増大を抑制しつつ、処理負荷を軽減することが可能となる。
【００４３】
なお、上の説明では、サブバンド毎に量子化係数を決定するものとしたが、画素以上の単位で量子化係数を決定してもよい。また、量子化係数を１としたとき、符号化対象画像は可逆圧縮される。
【００４４】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４５】
１００…符号化装置、１０２…スイッチ、１０３…ＤＷＴ部、１０４…量子化部、１０５…エントロピー符号化部、１０６…逆量子化部、１０７…ｉＤＷＴ部、１０８…メモリ、１０９…減算部、１１１…スイッチ、１１２…プロセッサ、１１３…ＲＯＭ
【図１】
2018107536.tif 000003
【図２】
2018107536.tif 000004
【図３】
2018107536.tif 000005