(57)【要約】【課題】画像を分割し、分割画像毎に独立して圧縮符号化する際に発生する分割境界上のノイズを軽減する。【解決手段】符号化装置であって、時間的に連続する複数のフレームを空間的に隣接する第１の領域と第２の領域を含む複数の領域に分割する分割手段であって、前記第１の領域を構成する分割画像の複数のラインのうちの最終ラインと、前記第２の領域を構成する分割画像の複数のラインのうちの先頭ラインとが分割境界を構成するように各フレームを複数の分割画像に分割する分割手段と、前記複数の分割画像をそれぞれ独立して符号化する複数の符号化手段を含む並列符号化手段と、前記複数の分割画像の前記複数の符号化手段への入力を制御する切替手段であって、第１の領域を構成する分割画像の入力の後に、当該分割画像に対応するフレームの次のフレームの第２の領域を構成する分割画像が入力されるように制御する切替手段とを備える。【選択図】図１
2017098753.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する複数のフレームを空間的に隣接する第１の領域と第２の領域を含む複数の領域に分割する分割手段であって、前記第１の領域を構成する分割画像の複数のラインのうちの最終ラインと、前記第２の領域を構成する分割画像の複数のラインのうちの先頭ラインとが分割境界を構成するように各フレームを複数の分割画像に分割する分割手段と、
前記複数の分割画像をそれぞれ独立して符号化する複数の符号化手段を含む並列符号化手段と、
前記複数の分割画像の前記複数の符号化手段への入力を制御する切替手段であって、第１の領域を構成する分割画像の入力の後に、当該分割画像に対応するフレームの次のフレームの第２の領域を構成する分割画像が入力されるように制御する切替手段と、
を備え、
前記複数の符号化手段は、それぞれ、
入力された分割画像に対応するデータについて、前のラインの符号化結果に応じて量子化ステップサイズを設定し、設定された量子化ステップサイズを使用してライン毎に量子化する量子化手段と、
量子化されたデータを符号化する符号化手段と
を備え、
前記量子化手段は、前記第２の領域を構成する分割画像の先頭ラインのデータを量子化する際には、当該分割画像に対応するフレームの前のフレームの前記第１の領域の分割画像の最終ラインの符号化結果に応じて、量子化ステップサイズを設定することを特徴とする符号化装置。
【請求項２】
前記量子化手段は、前記第１の領域の分割画像の前記最終ラインに対して前記量子化ステップサイズを設定した場合に、該量子化ステップサイズを記憶し、
前記第２の領域の分割画像の先頭ラインのデータを量子化する際の前記量子化ステップサイズの前記設定を、該記憶した量子化ステップサイズに基づき行うことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記量子化手段は、前記第２の領域の分割画像の最終ラインに対して前記量子化ステップサイズを設定した場合、
前記第２の領域の分割画像の前記最終ラインが分割境界を構成する場合に、設定した量子化ステップサイズを記憶し、
前記第２の領域の分割画像の前記最終ラインが分割境界を構成しない場合は、設定した量子化ステップサイズを記憶しない
ことを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記切替手段は、前記複数の符号化手段のそれぞれに供給される分割画像の各フレームにおける空間的位置が巡回的に切り替わるように前記複数の符号化手段への入力を制御することを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
【請求項５】
前記量子化手段は、前記複数の分割画像のうち、先頭ラインが分割境界を構成しない分割画像の該先頭ラインに対して予め定められた量子化ステップサイズを設定することを特徴とする請求項１乃至４のいずれか１項に記載の符号化装置。
【請求項６】
前記量子化手段は、前記時間的に連続する複数のフレームのうち、先頭のフレームに含まれる複数の分割画像の全ての先頭ラインについて予め定められた量子化ステップサイズを設定することを特徴とする請求項１乃至５のいずれか１項に記載の符号化装置。
【請求項７】
時間的に隣接する第１のフレームと第２のフレームとの間の変化を検出する検出手段を更に備え、
前記検出手段が所定の変化を検出した場合に、前記量子化手段は前記第２のフレームの複数の分割画像の全ての先頭ラインについて予め定められた量子化ステップサイズを設定することを特徴とする請求項１乃至６のいずれか１項に記載の符号化装置。
【請求項８】
前記量子化手段は、前記分割画像を構成するラインのうち先頭ラインを除く処理対象のラインの量子化ステップサイズを、該処理対象のラインの直前のラインに対して設定した量子化ステップサイズを、前記直前のラインの前記符号化手段による処理結果と目標符号量とに基づき修正することにより設定することを特徴とする請求項１乃至７のいずれか１項に記載の符号化装置。
【請求項９】
入力された前記分割画像を量子化対象の係数に変換する変換処理を行う変換手段を更に備え、
前記量子化手段は、前記係数を量子化することを特徴とする請求項１乃至８のいずれか１項に記載の符号化装置。
【請求項１０】
前記変換処理はウェーブレット変換であることを特徴とする請求項９に記載の符号化装置。
【請求項１１】
被写体を撮像して時間的に連続する複数のフレームを生成する撮像手段と、
請求項１乃至１０のいずれか１項に記載の符号化装置と
を備えることを特徴とする撮像装置。
【請求項１２】
符号化装置の制御方法であって、
分割手段が、時間的に連続する複数のフレームを空間的に隣接する第１の領域と第２の領域を含む複数の領域に分割する分割工程であって、前記第１の領域を構成する分割画像の複数のラインのうちの最終ラインと、前記第２の領域を構成する分割画像の複数のラインのうちの先頭ラインとが分割境界を構成するように各フレームを複数の分割画像に分割する分割工程と、
複数の符号化手段が、前記複数の分割画像をそれぞれ独立して符号化する並列符号化工程と、
切替手段が、前記複数の分割画像の前記複数の符号化手段への入力を制御する切替工程であって、第１の領域を構成する分割画像の入力の後に、該分割画像に対応するフレームの次のフレームの第２の領域を構成する分割画像が入力されるように制御する切替工程と、
を有し、
前記複数の符号化手段のそれぞれが、
入力された分割画像に対応するデータについて、前のラインの符号化結果に応じて量子化ステップサイズを設定し、設定された量子化ステップサイズを使用してライン毎に量子化する量子化工程と、
量子化されたデータを符号化する符号化工程と
を実行し、
前記量子化工程では、前記第２の領域を構成する分割画像の先頭ラインのデータを量子化する際には、当該分割画像に対応するフレームの前のフレームの前記第１の領域の分割画像の最終ラインの符号化結果に応じて、量子化ステップサイズが設定されることを特徴とする符号化装置の制御方法。
【請求項１３】
コンピュータを請求項１乃至１０のいずれか１項に記載の符号化装置として機能させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶した、コンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、撮像装置、符号化装置の制御方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
動画像は連続する複数のフレームから構成されており、例えばＨ．２６４やＪＰＥＧ２０００等の技術を用いて圧縮符号化し、記録されている。圧縮符号化及び復号化技術は、映像信号の格納に必要な記憶容量や伝送に必要な帯域を減少させることができるため、マルチメディア産業には極めて重要な技術である。近年は水平画素数３８４０画素以上、秒間６０フレーム以上など、符号化対象となる動画像の高解像度化、高フレームレート化がますます進んでおり圧縮符号化に非常に高い演算性能が要求されている。
【０００３】
このような動画像を実時間で圧縮符号化するために、１フレームを空間的に分割し、圧縮符号化処理を並列化する手法が知られている。しかしながら、画像を分割してそれぞれを圧縮符号化処理した場合、分割画像間で量子化ステップサイズが異なってしまうため、分割境界上に歪が発生し圧縮効率を低下させてしまう。
【０００４】
例えば、ライン毎に量子化ステップサイズを設定する場合を挙げる。画像を分割しない場合は上のラインの量子化ステップサイズを参照することで、ライン間の量子化ステップサイズに大きな差が生じないように量子化ステップサイズを設定することができる。しかし、画面を分割し、各分割画像を並列に符号化処理した場合、分割境界を跨いで量子化ステップサイズを参照することはできないため、分割境界を跨いだライン間で量子化ステップサイズに差異が生じてしまう。結果として、分割境界線上に歪が発生することで画質が劣化してしまう。
【０００５】
これに対し、分割処理による圧縮効率の低下を抑えるための並列化方法が提案されている（特許文献１を参照）。
【０００６】
特許文献１は、画像を分割し、各分割画像用の符号化器で圧縮符号化する方法を開示する。当該方法では、各符号化器は、自身の処理する分割画像と隣接する分割画像を処理する符号化器から、分割境界付近の量子化ステップサイズ等の符号化情報を取得して、分割境界付近の符号化条件を近づける。これにより、分割境界上の歪を軽減しようとするものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−２９４２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１の方法では、分割境界付近の符号化情報を取得するために、隣接する分割画像を処理する符号化器が分割境界付近の領域の処理を終了するまで待つ必要がある。例えば、上下に分割した画像について分割境界付近の情報を符号化器間で交換する場合、下に位置する分割画像の処理を開始するためには、上に位置する分割画像の圧縮符号化処理の終了を待機しなければならない。そして、その待機期間の間は、圧縮符号化処理を実行することができない。よって、特許文献１の方法では、分割境界付近の情報を取得するまでの待機時間が生じ、実時間当たりの処理性能が低下してしまう。
【０００９】
そこで本発明では、複数の符号化器のそれぞれが、対応する分割画像を独立して圧縮符号化する場合に、分割境界付近の符号化条件を近づけるための新たな手法を提案し、実時間当たりの処理性能を落とすことなく分割画像間の歪を軽減することを可能とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するための本発明は、符号化装置であって、
時間的に連続する複数のフレームを空間的に隣接する第１の領域と第２の領域を含む複数の領域に分割する分割手段であって、前記第１の領域を構成する分割画像の複数のラインのうちの最終ラインと、前記第２の領域を構成する分割画像の複数のラインのうちの先頭ラインとが分割境界を構成するように各フレームを複数の分割画像に分割する分割手段と、
前記複数の分割画像をそれぞれ独立して符号化する複数の符号化手段を含む並列符号化手段と、
前記複数の分割画像の前記複数の符号化手段への入力を制御する切替手段であって、第１の領域を構成する分割画像の入力の後に、当該分割画像に対応するフレームの次のフレームの第２の領域を構成する分割画像が入力されるように制御する切替手段とを備え、
前記複数の符号化手段は、それぞれ、
入力された分割画像に対応するデータについて、前のラインの符号化結果に応じて量子化ステップサイズを設定し、設定された量子化ステップサイズを使用してライン毎に量子化する量子化手段と、
量子化されたデータを符号化する符号化手段と
を備え、
前記量子化手段は、前記第２の領域を構成する分割画像の先頭ラインのデータを量子化する際には、当該分割画像に対応するフレームの前のフレームの前記第１の領域の分割画像の最終ラインの符号化結果に応じて、量子化ステップサイズを設定することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数の符号化器のそれぞれが対応する分割画像を独立して圧縮符号化する符号化方法において、分割境界付近の符号化条件を近づけるための新たな手法により実時間当たりの処理性能を落とすことなく分割画像間の歪を軽減することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】発明の実施形態１に係る符号化装置１００の構成の一例を示すブロック図。
【図２】（ａ）ベイヤー配列の例を示す図、（ｂ）ベイヤー配列のＲＡＷデータの色分離、色成分毎の画像の形成方法を示す図、（ｃ）発明の実施形態１に係る画像の分割方法を説明する図。
【図３】発明の実施形態１に係る符号化装置１００の符号化処理における分割画像の送信先の切り替え方法の一例を説明するための図。
【図４】（ａ）発明の実施形態に係る符号化装置の符号化部の構成例を示すブロック図、（ｂ）発明の実施形態に係る、直前フレームの分割画像の量子化パラメータを現フレームの分割画像の量子化パラメータに引き継ぐ方法を説明するための図。
【図５】発明の実施形態に係る符号化装置における符号化処理の一例を示すフローチャート。
【図６】発明の実施形態に係る量子化ステップサイズの設定処理の一例を示すフローチャート。
【図７】発明の実施形態２に係る符号化装置７００の構成の一例を示すブロック図。
【図８】（ａ）発明の実施形態２に係る画像の分割方法を説明する図、（ｂ）発明の実施形態２に係る符号化装置７００の符号化処理における分割画像の送信先の切り替え方法の一例を説明するための図。
【発明を実施するための形態】
【００１３】
以下、発明の実施形態を添付の図面を参照して詳細に説明する。
【００１４】
［実施形態１］
以下、発明の第１の実施形態に対応する符号化装置の構成及び動作について説明する。図１は、発明の実施形態１に係る符号化装置１００の構成の一例を示すブロック図である。本実施形態では、当該符号化装置１００としてデジタルカメラを想定した場合を説明する。デジタルカメラは、図２（ａ）に示すＲ、Ｇ１、Ｇ２、Ｂベイヤー配列の画像データをそのまま圧縮する。但し、発明の実施形態はこれに限らず、例えばＲＧＢ画像、ＹＵＶ画像或いはグレースケール画像を圧縮符号化の対象としても良い。
【００１５】
また、符号化装置１００は、デジタルビデオカメラ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルスチルカメラなどの、動画撮影機能を有する任意の情報処理装置或いは撮像装置とすることができる。なお、図１は、デジタルビデオカメラ等として機能する場合を考慮して撮像部１０３を含む構成を示した。しかし、発明の実施形態として、撮影済みの動画像を処理するための画像処理装置として、撮像部１０３を有しない構成で実現してもよい。図１の符号化装置１００において、撮像素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。
【００１６】
本実施形態における符号化装置１００は、被写体の撮影指示をユーザから受け付けるための操作部１０１を備える。操作部１０１はシャッタースイッチのような押しボタンとして構成されても良いし、あるいは、所定の操作用インタフェースを表示するタッチパネルとして構成されても良い。制御部１０２は、内部バス１１４を介して各構成要素と接続され、操作部１０１から送られた撮影開始を指示する信号に応じて、符号化装置１００の全体的動作を制御する。制御部１０２は、例えばＣＰＵと当該ＣＰＵが実行する制御プログラムを格納するメモリとして構成されてもよい。その場合、ＣＰＵは操作部１０１からの信号に応じて、メモリから制御プログラムを読みだし符号化装置１００を制御する。また、制御部１０２は、本実施形態に対応する処理に応じてプログラミングされた専用ロジック回路として構成されてもよい。
【００１７】
撮影開始指示を受け付けた後、制御部１０２は、撮像部１０３の動作を制御して被写体の撮像画像を取得する。撮像部１０３は、例えば撮像レンズと、図２（ａ）に示すベイヤー配列のカラーフィルターを有するイメージセンサとを有するように構成され、被写体の光学像が撮像レンズによってイメージセンサに結像された後、結像された光学像からＲＡＷ画像データに変換される。尚、イメージセンサはＣＭＯＳやＣＣＤで構成される。
【００１８】
撮像部１０３が生成したＲＡＷ画像データは信号処理部１０４に送られ、ＲＡＷ画像データに対して修復処理が実施される。修復処理には、撮像部１０３のイメージセンサにおける欠落画素や信頼性の低い画素の値に対し周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。信号処理部１０４は、修復処理したＲＡＷ画像データをシーンチェンジ検出部１０５及び色分離部１０６に出力する。
【００１９】
シーンチェンジ検出部１０５は信号処理部１０４から受信したＲＡＷ画像データを基に、シーンチェンジを検出し、後述する並列符号化部１０９にシーンチェンジ情報を供給する。本実施形態におけるシーンチェンジ検出方法は特別に限定されるものではなく、公知の任意の方法を適用することができる。例えば、フレーム毎に積算値あるいは分散値を求めておき、直前フレームと現フレームとの積算値あるいは分散値の変化或いは差分が所定の値以上に大きい場合をシーンチェンジとみなす方法を一例として利用することができる。
【００２０】
色分離部１０６は、信号処理部１０４から供給されたＲＡＷ画像データを図２（ｂ）に示すようにＲ、Ｇ１、Ｇ２、Ｂの画素毎に独立したプレーン画像データ（以下、単に「プレーン画像」という）に分離する。これ以降の説明では、複数のプレーン画像のうちの１つのみを取り上げて記述するが、発明の実施形態に対応する符号化装置１００は、同様の処理を各プレーン画像に対して実行するように構成されている。色分離部１０６によって分離・生成された各色のプレーン画像は画像分割部１０７によって図２（ｃ）に示すように上下の２つの領域に２分割される。本実施形態では、上下に２分割した分割画像のうち、上側の領域の分割画像を分割画像０、下側の領域の分割画像を分割画像を分割画像１と呼ぶ。
【００２１】
画像分割部１０７で画像を分割した後、分割画像は入力切替部１０８を介して並列符号化部１０９に供給される。入力切替部１０８は、分割画像０及び分割画像１の供給先を、並列符号化部１０９を構成する符号化部０と符号化部１との間でフレーム毎に交互に切り替える。ここで図３を参照して、入力切替部１０８による分割画像の送信先の切り替えについて説明する。撮影フレームに対して、フレーム０、フレーム１、フレーム２、とインデックスを付けた場合、入力切替部１０８はインデックスが偶数であるか、奇数であるかによって分割画像０、分割画像１をそれぞれ符号化部０、符号化部１のいずれに送るかを切り替える。例えば、偶数インデックスのフレームを符号化する場合は、分割画像０を符号化部０に、分割画像１を符号化部１に送り、奇数インデックスのフレームを符号化する場合は、分割画像０を符号化部１に、分割画像１を符号化部０に送るように入力切替部１０８は動作することができる。１つの符号化部に着目すると、分割画像０、分割画像１、分割画像０、分割画像１というように、入力される分割画像の各フレームにおける空間的位置が巡回的に切り替わる。
【００２２】
図４（ａ）は、並列符号化部１０９が有する各符号化部の構成の一例を示す図である。符号化部０及び符号化部１は図４（ａ）に示す構成を有し、それぞれに送られた分割画像を圧縮符号化する。ここで、符号化部０、符号化部１は互いに独立して圧縮符号化を実行する。符号化部０及び符号化部１は、入力切替部１０８から供給された分割画像に対し離散ウェーブレット変換部４０１において離散ウェーブレット変換を実行して周波数分離を行い、各分割画像につきウェーブレット係数からなる複数のサブバンド画像を生成する。
【００２３】
図４（ｂ）は、離散ウェーブレット変換部４０１により生成されたウェーブレット係数Ｔ１ＨＨ〜Ｔ３ＬＬの配列の一例を示す。ここでは３回の帯域分割を行って、分解レベル１から分解レベル３までのサブバンド画像が生成される場合を示している。離散ウェーブレット変換部４０１にて変換された分解レベル１〜３のウェーブレット係数Ｔ１ＨＨ〜Ｔ３ＬＬは、サブバンド画像として量子化部４０２に入力される。以降の並列符号化部１０９内の符号化部０及び符号化部１を構成する各ブロックの説明は、複数のサブバンド画像のうちの１つのサブバンド画像を採り上げて説明するが、本実施形態に対応する並列符号化部１０９では各サブバンド画像に同様の処理を行う。また、本実施形態では量子化対象の係数を生成するための変換処理として離散ウェーブレット変換を行う場合について説明するが、当該変換処理の代わりに他の所定の変換処理を実行しても良い。その場合も、処理結果として得られる変換係数が量子化部４０２に供給され量子化処理が実行される。
【００２４】
量子化部４０２は、離散ウェーブレット変換部４０１から供給されたサブバンド画像に、量子化制御部４０３によって設定された量子化パラメータ、つまり、量子化ステップサイズを用いて量子化処理を施す。本実施形態ではサブバンド画像を構成する係数のライン毎に量子化ステップサイズを設定する。量子化制御部４０３は係数のライン単位に量子化ステップサイズを設定する。また、量子化制御部４０３は、処理対象のフレームの分割画像０の最終ラインで用いた量子化ステップサイズを記憶し、次フレームの分割画像１の先頭ラインの量子化ステップサイズとして用いる。また、量子化制御部４０３は、処理対象のフレームの同一分割画像の前のラインで用いた量子化ステップサイズと前のラインの発生符号量とを記憶し、処理対象のラインの量子化ステップサイズを、当該前のラインの発生符号量と、目標符号量とに基づき決定する。当該処理については図６を参照して後述する。
【００２５】
更に量子化制御部４０３には、シーンチェンジ検出部１０５におけるシーンチェンジの判定結果を示すシーンチェンジ情報が入力される。当該シーンチェンジ情報がシーンチェンジ検出を示す場合、分割画像１の先頭ラインの量子化ステップサイズとして、直前フレームの分割画像０の最終ラインで用いた量子化ステップサイズでは無く、統計値などにより予め定めた量子化ステップサイズを用いる。同様にして、符号化対象の時間的に連続する複数のフレームのうち先頭フレームの分割画像１が入力された場合も、量子化制御部４０３は予め定めた量子化ステップサイズを先頭ラインのために用いる。先頭フレームに含まれる分割画像の全て先頭ラインには予め定めた量子化ステップサイズが設定されることになる。量子化部４０２によって量子化された係数のラインは、エントロピー符号化部４０４に送られて圧縮符号化される。エントロピー符号化部４０４が用いる圧縮符号化方式には、例えばＤＰＣＭやハフマン符号等が含まれる。エントロピー符号化部４０４において生成された符号化データの発生符号量は量子化制御部４０３に通知される。
【００２６】
次に、符号化ストリーム生成部１１０は並列符号化部１０９で生成された全プレーン画像、全サブバンド画像の符号をまとめ、符号化条件などを示すヘッダを付加し、復号可能なストリームを生成する。また、符号化ストリーム生成部１１０は全サブバンド、全プレーン分の符号が揃うまでは一時記憶部１１１に並列符号化部１０９から送られた符号を退避する。一時記憶部１１１は例えばＤＲＡＭやＳＲＡＭなどで構成することができる。符号化ストリーム生成部１１０は全サブバンド、全プレーン分の符号が揃った時点で一時記憶部１１１に退避した符号を読み出してストリームを生成する。符号化ストリーム生成部１１０によって生成されたストリームはメモリＩ／Ｏ部１１２を介して記憶媒体１１３に書きこまれる。記憶媒体１１３は磁気ディスク及び半導体メモリなどで構成することができる。
【００２７】
次に、並列符号化部１０９を構成する符号化部０、符号化部１における圧縮符号化処理の詳細を図５に示すフローチャートに基づき説明する。該フローチャートに対応する処理は、例えば、並列符号化部１０９として機能する１以上のプロセッサが対応するプログラムを実行することにより実現できる。
【００２８】
Ｓ５０１において、離散ウェーブレット変換部４０１が、分割画像に対し離散ウェーブレット変換を実行して周波数分離を行い複数のサブバンド画像を生成する。Ｓ５０２では、シーンチェンジ検出部１０５からのシーンチェンジ情報の内容に従い、量子化制御部４０３がシーンチェンジが検出されたか否かを判定する。シーンチェンジが検出された場合（Ｓ５０２で「ＹＥＳ」）、Ｓ５０３に移行して、所定の量子化ステップサイズを、処理対象の分割画像の先頭ラインの量子化ステップサイズに設定する。一方、シーンチェンジが検出されていない場合（Ｓ５０２で「ＮＯ」）、Ｓ５０４に移行し、量子化制御部４０３は処理対象画像が分割画像０であるか否かを判定する。処理対象画像が分割画像０である場合（Ｓ５０４で「ＹＥＳ」）、Ｓ５０３に移行して、量子化制御部４０３は所定の量子化ステップサイズを分割画像０の先頭ラインの量子化ステップサイズに設定する。分割画像０は先頭ラインが分割境界を構成しないため、先頭ラインに対して予め定められた量子化ステップサイズを設定する。
【００２９】
一方、処理対象画像が分割画像１である場合（Ｓ５０４で「ＮＯ」）、Ｓ５０５に移行して、量子化制御部４０３は当該処理対象の分割画像が先頭フレームに属するか否かを判定する。もし、先頭フレームの分割画像１であった場合（Ｓ５０５で「ＹＥＳ」）、Ｓ５０３に移行して、量子化制御部４０３は所定の量子化ステップサイズを分割画像１の先頭ラインの量子化ステップサイズに設定する。一方、先頭フレームに属しない分割画像１であった場合（Ｓ５０５で「ＮＯ」）、Ｓ５０６に移行する。Ｓ５０６では、量子化制御部４０３は、同一符号化部において直前に処理したフレームの分割画像０の最終ラインの量子化ステップサイズを先頭ラインの量子化ステップサイズに設定する。
【００３０】
この様子を図４（ｂ）に示す。直前のフレームＮ−１に属する分割画像０は、現フレームＮの分割画像１を処理する符号化部と同一の符号化部において処理される。同符号化部の量子化制御部４０３は、分割画像０の最終ラインの量子化ステップサイズを保持しておく。量子化制御部４０３は、現フレームＮに属する分割画像１の先頭ラインの量子化ステップサイズを設定する場合に、保持している直前に処理した分割画像０の最終ラインの量子化ステップサイズを設定する。
【００３１】
Ｓ５０３またはＳ５０６において先頭ラインの量子化ステップサイズが設定されると、Ｓ５０７に移行して、量子化部４０２が設定された量子化ステップサイズを用いて、処理対象の分割画像の１ラインを量子化する。続くＳ５０８では、エントロピー符号化部４０４が量子化されたラインを圧縮符号化する。続くＳ５０９において、エントロピー符号化部４０４は符号化結果を符号化ストリーム生成部１１０に出力する。また、発生符号量の情報を量子化制御部４０３に通知する。
【００３２】
その後、量子化制御部４０３はＳ５１０にて処理対象の分割画像の最終ラインを処理したか否かを判定し、最終ラインまで処理が完了していない場合（Ｓ５１０で「ＮＯ」）、Ｓ５１１に移行する。Ｓ５１１において、量子化制御部４０３は次のラインの量子化ステップサイズを設定し、Ｓ５０７に戻って処理を繰り返す。Ｓ５１１における処理の一例は図６を参照して後述する。最終ラインを処理した場合（Ｓ５１０で「ＹＥＳ」）、量子化制御部４０３は処理対象画像が分割画像１であったか否かを判定する。分割画像１であった場合（Ｓ５１２で「ＹＥＳ」）は、そのまま符号化処理を終了する。一方、処理対象画像が分割画像１ではなく分割画像０であった場合（Ｓ５１２で「ＮＯ」）、Ｓ５１３に移行し、量子化制御部４０３は最終ラインの量子化ステップサイズを記憶し、符号化処理を終了する。
【００３３】
図６は、図５のＳ５１１における量子化制御部４０３の量子化ステップサイズの設定処理の一例を示すフローチャートである。Ｓ６０１において、量子化制御部４０３は、Ｓ５０８の１ライン分の符号化により発生した符号量を積算発生符号量（Ｓ）に加算する。なお、積算発生符号量（Ｓ）は、分割画像単位に初期化されている。次にＳ６０２において、量子化制御部４０３はライン毎の目標符号量を積算目標符号量（Ｔ）に加算する。積算目標符号量（Ｔ）も分割画像単位に初期化されている。ここで、ライン毎の目標符号量は、例えば、分割画像の目標符号量を分割画像のライン数で割った値として計算することができる。また、分割画像の目標符号量は、例えば、分割画像の解像度と、分割画像の係数ビットの精度と圧縮比との積として計算することができる。
【００３４】
続くＳ６０３では、上記ステップで算出した積算発生符号量（Ｓ）と積算目標符号量（Ｔ）とを比較し、Ｓ＝Ｔの場合（Ｓ６０３で「ＹＥＳ」）、Ｓ６０４に移行する。このとき、量子化制御部４０３は、直前のラインについて設定した前回の量子化ステップサイズと同じ値を設定する。一方、Ｓ≠Ｔの場合（Ｓ６０３で「ＮＯ」）、Ｓ６０５に移行する。Ｓ６０５においてＳ＞Ｔと判定された場合（Ｓ６０５で「ＹＥＳ」）、発生符号量を減らすためにＳ６０６において前回よりも大きい量子化ステップサイズを設定する。一方、Ｓ６０５においてＳ＜Ｔと判定された場合（Ｓ６０５で「ＮＯ」）、発生符号量を増やすためにＳ６０７において前回よりも小さい量子化ステップサイズを設定する。その後、図５のＳ５０７に戻る。量子化ステップサイズを変更する場合は、例えば予め定められた複数段の量子化ステップサイズにおいて１段分だけ大きくするか、あるいは、小さくするかにより変更することができる。
【００３５】
なお、上述の量子化ステップサイズの設定方法は一例として記載したものであって、前のラインにおいて使用された量子化ステップサイズに基づき符号化対象のラインの量子化ステップサイズを設定する方法であれば、これに限定されるものではない。例えば、S、Tの大小関係に基づく上記方法だけでなく、ライン毎のSとTとの間の差分の大きさ、隣接するライン間での差分の変化の度合い、差分の変化の方向（増加と減少）等に基づき量子化ステップサイズを設定してもよい。
【００３６】
以上のように、本実施形態に対応する符号化装置１００は、上下２分割した分割画像のそれぞれの送信先となる符号化部をフレーム毎に巡回的に切り替え、同一符号化部における直前のフレームの分割画像０に基づき、処理対象の現フレームの分割画像１の先頭ラインの量子化ステップサイズを設定する。一般に時間的に隣り合うフレームは互いに高い類似性を持っているため、直前の分割画像０の量子化ステップサイズと、同位置に存在する現フレームの分割画像０の量子化ステップサイズはほぼ同じと考えることができる。そのため直前のフレームの分割画像０の最終ラインの量子化設定を現フレームの分割画像１の先頭ラインの量子化設定に用いることは、現フレームの分割画像０の最終ラインの量子化設定を現フレームの分割画像１の先頭ラインの量子化設定に用いることとほぼ等価とみなすことができる。
【００３７】
このようにして本実施形態では時間的に隣り合うフレームの類似性が非常に高いことを利用し、直前フレームの分割画像０の量子化情報を現フレームの分割画像１の量子化制御に用いることができる。これにより、分割画像間で量子化制御に連続性を持たせて分割画像間の歪を軽減し、分割境界上のノイズを低減することが出来る。
【００３８】
［実施形態２］
次に発明の第２の実施形態について説明する。本実施形態に対応する符号化装置７００の構成例を図７に示す。図７において実施形態１の符号化装置１００と異なるのは、画像分割部７０１、入力切替部７０２、並列符号化部７０３の構成である。以下では、当該構成について主に説明することとし、符号化装置１００と共通の構成については説明を省略する。
【００３９】
まず、画像分割部７０１は、色分離部１０６によって分離・生成された各色のプレーン画像を、図８（ａ）に示すように上下に上中下の３つの領域に３分割する。本実施形態では、上下に３分割した分割画像のうち、上側の領域の分割画像から分割画像０、分割画像１、分割画像２と呼ぶ。これ以降の説明では、複数のプレーン画像のうちの１つのみを取り上げて記述するが、発明の実施形態に対応する符号化装置７００は、同様の処理を各プレーン画像に対して実行するように構成されている。
【００４０】
画像分割部７０１で画像を３分割した後、分割画像は入力切替部７０２を介して並列符号化部７０３に供給される。入力切替部７０２は、分割画像０、分割画像１及び分割画像２の供給先を、並列符号化部７０３を構成する符号化部０、符号化部１及び符号化部２の間でフレーム毎に巡回的に切り替える。ここで、図８（ｂ）を参照して入力切替部７０２によるフレーム毎の分割画像の送信先の切り替えについて説明する。撮影フレームに対して、フレーム０、フレーム１、フレーム２、とインデックスを付けた場合、入力切替部７０２はインデックスを３で除算したときの剰余によって分割画像０、分割画像１及び分割画像２をそれぞれ符号化部０、符号化部１、及び符号化部２のいずれに送るかを切り替える。
【００４１】
例えば、剰余が０のフレームを符号化する場合は、分割画像０を符号化部０に、分割画像１を符号化部１に、分割画像２を符号化部２に送る。剰余が１のフレームを符号化する場合は、分割画像０を符号化部１に、分割画像１を符号化部２に、分割画像２を符号化部０に送る。また、剰余が２のフレームを符号化する場合は、分割画像０を符号化部２に、分割画像１を符号化部０に、分割画像２を符号化部１に送る。１つの符号化部に着目すると、分割画像０、分割画像１、分割画像２、分割画像０、分割画像１、分割画像２というように、入力される分割画像の各フレームにおける空間的位置が巡回的に切り替わる。
【００４２】
並列符号化部７０３に含まれる符号化部０、符号化部１及び符号化部２の各構成は、図４（ａ）に示したものと同様であり、各符号化部に送られた分割画像は圧縮符号化される。本実施形態においても、符号化部０、符号化部１及び符号化部２は互いに独立して圧縮符号化を実行する。
【００４３】
次に、並列符号化部７０３を構成する符号化部０、符号化部１及び符号化部２における圧縮符号化処理の詳細を説明する。当該圧縮符号化処理は、図５に示したフローチャートのステップにおける処理を修正することにより実行することができる。具体的には、Ｓ５１０とＳ５１３との間に実行されるＳ５１２における処理を、処理対象の分割画像が分割画像２に該当するか否かを判定する処理と入れ替える。この判定の結果、処理対象の分割画像が分割画像２であった場合（Ｓ５１２で「ＹＥＳ」）、そのまま符号化処理を終了する。分割画像２は最終ラインが分割境界を構成しないため、最終ラインに対して設定された量子化ステップサイズを記憶しておく必要がないからである。一方、処理対象画像が分割画像２ではなく分割画像０または分割画像１であった場合（Ｓ５１２で「ＮＯ」）、Ｓ５１３に移行し、量子化制御部４０３は最終ラインの量子化ステップサイズを記憶し、符号化処理を終了する。
【００４４】
以上のように、本実施形態に対応する符号化装置は、上下３分割した分割画像のそれぞれの送信先となる符号化部をフレーム毎に切り替え、同一符号化部における直前のフレームの分割画像と現フレームの分割画像とを空間的に連続する画像とみなして量子化制御を行う。一般に時間的に隣り合うフレームは互いに高い類似性を持っているため、直前の分割画像の量子化ステップサイズと、同位置に存在する現フレームの分割画像の量子化ステップサイズはほぼ同じと考えることができる。そのため、直前のフレームの分割画像０または１の最終ラインの量子化設定を現フレームの分割画像１または２の先頭ラインの量子化設定に用いることは、現フレームの分割画像０または１の最終ラインの量子化設定を現フレームの分割画像１または２の先頭ラインの量子化設定に用いることとほぼ等価とみなすことができる。このようにして本実施形態でも、時間的に隣り合うフレームの類似性が非常に高いことを利用し、直前のフレームの分割画像の量子化情報を現フレームの分割画像の量子化制御に用いることができる。これにより分割画像間で量子化制御に連続性を持たせて分割画像間の歪を軽減し、分割境界上のノイズを低減することができる。
【００４５】
上述の実施形態２では、上下３分割の例を上げたが、上下分割であるのならば３以上の分割数Ｎで分割しても良い。その場合は、画像分割部７０１は上下Ｎ分割で画像を分割するように構成され、また符号化部７０３はＮ個の符号化部で構成される。また、図５のＳ５１２は、処理対象の分割画像の最終ラインが分割境界を構成するか否かを判定する処理をと入れ替える。このとき、分割数Nを最大としてウェーブレット係数の分解レベルに応じて分割数を異ならせても良い。
【００４６】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４７】
４０１：離散ウェーブレット部、４０２：量子化部、４０３：量子化制御部、４０４：エントロピー符号化部
【図１】
2017098753.tif 000003
【図２】
2017098753.tif 000004
【図３】
2017098753.tif 000005
【図４】
2017098753.tif 000006
【図５】
2017098753.tif 000007
【図６】
2017098753.tif 000008
【図７】
2017098753.tif 000009
【図８】
2017098753.tif 000010