(57)【要約】【課題】  予め低解像度領域指定される画像部分をダウンサンプリングし、他の領域はそのままの解像度の静止画像として高能率でＪＰＥＧ符号化するための画像信号を生成する静止画生成装置を実現する。【解決手段】  入力される静止画を分割部１１でマクロブロックに分割し、解像度指定部１３で領域毎の解像度を指定し、低解像度領域指定される画像をダウンサンプリング部１２でダウンサンプリングしてブロック画像と黒レベルの画像とを得る。高解像度指定される領域のマクロブロック画像、低解像度領域のブロック画像、及び黒レベル画像を、並び替え部１４で黒レベル画像をスキップするようにして並び替え、得られた画像をＪＰＥＧ符号化装置２で符号化する。ＪＰＥＧ符号化された符号化信号の後に、並び替え情報を情報付加部１７で付加するようにして静止画符号化装置１を実現した。【選択図】      図１
2006203744.tif 000002
【特許請求の範囲】
【請求項１】
入力される静止画から前記静止画よりも情報量の小さい圧縮された圧縮静止画像を得る静止画生成装置において、
前記静止画をマトリクス状に分割する分割部と、
前記分割部でマトリクス状に分割された各領域毎に解像度を決定する解像度決定部と、
前記解像度決定部で決定された前記各領域毎の解像度に応じて、前記各領域の静止画をダウンサンプリングして、マトリクス状に配列された間引き有り領域と間引き無し領域を有するマトリクス画像領域を生成するダウンサンプリング部と、
前記間引き有り領域中に間引かれなかった画像を前記間引き有り領域の予め決められた四隅領域に集めて第１サンプル画像とし、前記間引かれた画像を前記第１サンプル画像が集められた以外の領域に集めて第２サンプル画像とする画像配列部と、
前記間引き無し領域の画像を第３サンプル画像とするとき、前記マトリクス画像領域を水平方向に順次走査して、前記第１、３サンプル画像のアドレス情報を複数抽出するアドレス抽出部と、
前記アドレス抽出部で抽出された複数のアドレス情報の隣接する同士の差分を演算する演算部と、
前記第１、３サンプル画像と共に前記差分を前記第１、３サンプル画像に対応させて記憶部に格納させる制御部と、
を備えたことを特徴とする静止画生成装置。
【請求項２】
入力される静止画から前記静止画よりも情報量の小さい圧縮された圧縮静止画像を得る静止画生成装置において、
前記静止画をマトリクス状に分割する分割部と、
前記分割部でマトリクス状に分割された各領域毎に解像度を決定する解像度決定部と、
前記解像度決定部で決定された前記各領域毎の解像度に応じて、前記各領域の静止画をダウンサンプリングして、マトリクス状に配列された間引き有り領域と間引き無し領域を有するマトリクス画像領域を生成するダウンサンプリング部と、
前記間引き有り領域中に間引かれなかった画像を前記間引き有り領域の予め決められた四隅領域に集めて第１サンプル画像とし、前記間引かれた画像を前記第１サンプル画像が集められた以外の領域に集めて第２サンプル画像とする画像配列部と、
前記間引き無し領域の画像を第３サンプル画像とするとき、前記第２サンプル画像をスキップしながら、前記マトリクス画像領域を水平方向に順次走査して、スキップされた前記第２サンプル画像の数をカウントするカウント部と、
前記第１、３サンプル画像と共に前記スキップされた前記第２サンプル画像の数を前記第１、３サンプル画像に対応させて記憶部に格納させる制御部と、
を備えたことを特徴とする静止画生成装置。
【請求項３】
入力される静止画から前記静止画よりも情報量の小さい圧縮された圧縮静止画像を得る静止画生成方法において、
前記静止画をマトリクス状に分割した後、分割された各領域毎に解像度を決定し、
前記各領域毎の解像度に応じて、前記各領域の静止画をダウンサンプリングして、マトリクス状に配列された間引き有り領域と間引き無し領域を有するマトリクス画像領域を生成し、
前記間引き有り領域中に間引かれなかった画像を前記間引き有り領域の予め決められた四隅領域に集めて第１サンプル画像とし、前記間引かれた画像を前記第１サンプル画像が集められた以外の領域に集めて第２サンプル画像とし、
前記間引き無し領域の画像を第３サンプル画像とするとき、前記マトリクス画像領域を水平方向に順次走査して、前記第１、３サンプル画像のアドレス情報を複数抽出し、
前記複数のアドレス情報の隣接する同士の差分を演算し、
前記第１、３サンプル画像と共に前記差分を前記第１、３サンプル画像に対応させて記憶部に格納させることを特徴とする静止画生成方法。
【請求項４】
入力される静止画から前記静止画よりも情報量の小さい圧縮された圧縮静止画像を得る静止画生成方法において、
前記静止画をマトリクス状に分割した後、分割された各領域毎に解像度を決定し、
前記各領域毎の解像度に応じて、前記各領域の静止画をダウンサンプリングして、マトリクス状に配列された間引き有り領域と間引き無し領域を有するマトリクス画像領域を生成し、
前記間引き有り領域中に間引かれなかった画像を前記間引き有り領域の予め決められた四隅領域に集めて第１サンプル画像とし、前記間引かれた画像を前記第１サンプル画像が集められた以外の領域に集めて第２サンプル画像とし、
前記間引き無し領域の画像を第３サンプル画像とするとき、前記第２サンプル画像をスキップしながら、前記マトリクス画像領域を水平方向に順次走査して、スキップされた前記第２サンプル画像の数をカウントし、
前記第１、３サンプル画像と共に前記スキップされた前記第２サンプル画像の数を前記第１、３サンプル画像に対応させて記憶部に格納させることを特徴とする静止画生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、領域毎に解像度が設定される画像を、高い符号化効率で圧縮した圧縮符号化信号に生成させるための処理を行う静止画生成装置及び静止画生成方法に関する。
【背景技術】
【０００２】
最近になり、画像信号を圧縮符号化するＪＰＥＧ（Joint Photographic Coding Experts Group）方式を用いる画像機器が製品化されている。例えばＤＶ方式によるディジタルビデオカメラは、カメラで撮影した動画像をイントラ方式で符号化する、いわゆる「モーションＪＰＥＧ」により符号化して記録する。記録された信号は任意のフレーム画像から復号可能であるため、任意のフレームを指定して動画像をつなぎ合わせる編集を行うことが出来る。
【０００３】
一方、地域の安全を確保するための監視カメラ装置も多く導入されるようになってきた。監視カメラにより撮影された画像を基にして犯人の割り出しが容易になってきた。一方、監視カメラにより撮影される個人生活に係る画像はプライバシーの侵害となるため、個人に係る領域の撮影は低解像度に設定されてなされる。低解像度に設定された画像部分を高い圧縮率で符号化できれば、監視カメラで撮影された画像は通信回線を用いて伝送する場合に通信速度を低く出来る、及び画像を記録する媒体の記録領域を小さく出来るなど好ましい。
【０００４】
特許文献１には、領域毎に画質の異なる画像を圧縮及び伸張する際に用いる量子化テーブルは汎用的な量子化テーブルを用いるようにして符号化を行う画像圧縮及び伸張方法が開示されている。即ち、入力される画像を複数の領域に分割し、画像を構成する複数の領域の少なくとも１つを、その領域に要求される画質に応じてダウンサンプリングし、領域の少なくとも一部にダウンサンプリングした画像を配し、その他の領域部分には例えば黒レベルの画像データを挿入する（以降フィルビットと記述することもある。）。ダウンサンプリングされた画像及び黒レベルの画像データを共通の量子化テーブルを用いて量子化し、符号化する。符号化された画像の復号化は、符号化時に用いた量子化テーブルにより逆量子化し、逆量子化された画像を構成する複数の領域のうちダウンサンプリングされている領域の画素を補間するようにしてアップサンプリングすることにより、領域毎に要求される画質の画像を出力するようにしている。入力される画像はダウンサンプリングされて解像度が低下されると共に、フィルビットされた単一色の黒データが圧縮符号化器に入力される、即ち情報量が低下された画像データが圧縮符号化器に入力されるため、高圧縮率の符号化データが出力されると期待される。
【特許文献１】特開２００４−２２２２１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている画像圧縮方法で、例えばＪＰＥＧを用いて符号化する場合では、入力される画像データが有する情報量に従った高圧縮率の符号化出力が得られない。フィルビットされた単一輝度レベルの画像データのエントロピーは０であるにも拘らず、フィルビットされた部分を符号化して得られる符号化データは所定のデータ量として存在するため、フィルビット部分のデータ量は符号化により所定値以下のデータ量とはならない。
即ち、データ間引きにより間引かれないダウンサンプリングされた画像データ、データ間引きにより間引かれた後に単一の輝度レベルに置換された置換画像データ、及び通常の解像度を有するその他の画像データを、例えばＪＰＥＧなどの符号化方式により高能率で圧縮符号化することはできなかった。
【０００６】
そこで、本発明は、上記のような問題点を解消するためになされたもので、データ間引きによりダウンサンプリングして得られた画像データ及び通常の解像度を有する他の画像データを、直交変換、量子化、及び隣接する各領域の直流成分の差分をとって行う符号化方式により高能率で圧縮符号化を行わせるための静止画信号を生成する静止画生成装置及び静止画生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願発明における第１の発明は、入力される静止画から前記静止画よりも情報量の小さい圧縮された圧縮静止画像を得る静止画生成装置において、前記静止画をマトリクス状に分割する分割部と、前記分割部でマトリクス状に分割された各領域毎に解像度を決定する解像度決定部と、前記解像度決定部で決定された前記各領域毎の解像度に応じて、前記各領域の静止画をダウンサンプリングして、マトリクス状に配列された間引き有り領域と間引き無し領域を有するマトリクス画像領域を生成するダウンサンプリング部と、前記間引き有り領域中に間引かれなかった画像を前記間引き有り領域の予め決められた四隅領域に集めて第１サンプル画像とし、前記間引かれた画像を前記第１サンプル画像が集められた以外の領域に集めて第２サンプル画像とする画像配列部と、前記間引き無し領域の画像を第３サンプル画像とするとき、前記マトリクス画像領域を水平方向に順次走査して、前記第１、３サンプル画像のアドレス情報を複数抽出するアドレス抽出部と、前記アドレス抽出部で抽出された複数のアドレス情報の隣接する同士の差分を演算する演算部と、前記第１、３サンプル画像と共に前記差分を前記第１、３サンプル画像に対応させて記憶部に格納させる制御部とを備えたことを特徴とする静止画生成装置を提供する。
第２の発明は、入力される静止画から前記静止画よりも情報量の小さい圧縮された圧縮静止画像を得る静止画生成装置において、前記静止画をマトリクス状に分割する分割部と、前記分割部でマトリクス状に分割された各領域毎に解像度を決定する解像度決定部と、前記解像度決定部で決定された前記各領域毎の解像度に応じて、前記各領域の静止画をダウンサンプリングして、マトリクス状に配列された間引き有り領域と間引き無し領域を有するマトリクス画像領域を生成するダウンサンプリング部と、前記間引き有り領域中に間引かれなかった画像を前記間引き有り領域の予め決められた四隅領域に集めて第１サンプル画像とし、前記間引かれた画像を前記第１サンプル画像が集められた以外の領域に集めて第２サンプル画像とする画像配列部と、前記間引き無し領域の画像を第３サンプル画像とするとき、前記第２サンプル画像をスキップしながら、前記マトリクス画像領域を水平方向に順次走査して、スキップされた前記第２サンプル画像の数をカウントするカウント部と、前記第１、３サンプル画像と共に前記スキップされた前記第２サンプル画像の数を前記第１、３サンプル画像に対応させて記憶部に格納させる制御部と、を備えたことを特徴とする静止画生成装置を提供する。
第３の発明は、入力される静止画から前記静止画よりも情報量の小さい圧縮された圧縮静止画像を得る静止画生成方法において、前記静止画をマトリクス状に分割した後、分割された各領域毎に解像度を決定し、前記各領域毎の解像度に応じて、前記各領域の静止画をダウンサンプリングして、マトリクス状に配列された間引き有り領域と間引き無し領域を有するマトリクス画像領域を生成し、前記間引き有り領域中に間引かれなかった画像を前記間引き有り領域の予め決められた四隅領域に集めて第１サンプル画像とし、前記間引かれた画像を前記第１サンプル画像が集められた以外の領域に集めて第２サンプル画像とし、前記間引き無し領域の画像を第３サンプル画像とするとき、前記マトリクス画像領域を水平方向に順次走査して、前記第１、３サンプル画像のアドレス情報を複数抽出し、前記複数のアドレス情報の隣接する同士の差分を演算し、前記第１、３サンプル画像と共に前記差分を前記第１、３サンプル画像に対応させて記憶部に格納させることを特徴とする静止画生成方法を提供する。
第４の発明は、入力される静止画から前記静止画よりも情報量の小さい圧縮された圧縮静止画像を得る静止画生成方法において、前記静止画をマトリクス状に分割した後、分割された各領域毎に解像度を決定し、前記各領域毎の解像度に応じて、前記各領域の静止画をダウンサンプリングして、マトリクス状に配列された間引き有り領域と間引き無し領域を有するマトリクス画像領域を生成し、前記間引き有り領域中に間引かれなかった画像を前記間引き有り領域の予め決められた四隅領域に集めて第１サンプル画像とし、前記間引かれた画像を前記第１サンプル画像が集められた以外の領域に集めて第２サンプル画像とし、前記間引き無し領域の画像を第３サンプル画像とするとき、前記第２サンプル画像をスキップしながら、前記マトリクス画像領域を水平方向に順次走査して、スキップされた前記第２サンプル画像の数をカウントし、前記第１、３サンプル画像と共に前記スキップされた前記第２サンプル画像の数を前記第１、３サンプル画像に対応させて記憶部に格納させることを特徴とする静止画生成方法を提供する。
【発明の効果】
【０００８】
本発明によれば、静止画をマトリクス状に分割し、マトリクス状に分割された各領域毎に解像度を決定し、決定された前記各領域毎の解像度に応じて、前記各領域の静止画をダウンサンプリングして、マトリクス状に配列された間引き有り領域と間引き無し領域を有するマトリクス画像領域を生成し、前記間引き有り領域中に間引かれなかった画像を前記間引き有り領域の予め決められた四隅領域に集めて第１サンプル画像とし、前記間引かれた画像を前記第１サンプル画像が集められた以外の領域に集めて第２サンプル画像とし、前記間引き無し領域の画像を第３サンプル画像とするとき、前記マトリクス画像領域を水平方向に順次走査して、前記第１、３サンプル画像のアドレス情報を複数抽出し、抽出された複数のアドレス情報の隣接する同士の差分を演算し、前記第１、３サンプル画像と共に前記差分を前記第１、３サンプル画像に対応させて記憶部に格納させる格別な構成があるので、データ間引きによりダウンサンプリングして得られた画像データ及び通常の解像度を有する他の画像データを、直交変換、量子化、及び隣接する各領域の直流成分の差分をとって行う符号化方式により高能率で圧縮符号化を行わせるための静止画信号を生成する静止画生成装置及び静止画生成方法を実現できる。
また、本発明によれば、静止画をマトリクス状に分割した後、分割された各領域毎に解像度を決定し、前記各領域毎の解像度に応じて、前記各領域の静止画をダウンサンプリングして、マトリクス状に配列された間引き有り領域と間引き無し領域を有するマトリクス画像領域を生成し、前記間引き有り領域中に間引かれなかった画像を前記間引き有り領域の予め決められた四隅領域に集めて第１サンプル画像とし、前記間引かれた画像を前記第１サンプル画像が集められた以外の領域に集めて第２サンプル画像とし、前記間引き無し領域の画像を第３サンプル画像とするとき、前記第２サンプル画像をスキップしながら、前記マトリクス画像領域を水平方向に順次走査して、スキップされた前記第２サンプル画像の数をカウントし、前記第１、３サンプル画像と共に前記スキップされた前記第２サンプル画像の数を前記第１、３サンプル画像に対応させて記憶部に格納させる格別な構成があるので、データ間引きによりダウンサンプリングして得られた画像データ及び通常の解像度を有する他の画像データを、直交変換、量子化、及び隣接する各領域の直流成分の差分をとって行う符号化方式により高能率で圧縮符号化を行わせるための静止画信号を生成する静止画生成装置及び静止画生成方法を実現できる。
【発明を実施するための最良の形態】
【０００９】
以下に本発明の各実施例に係る静止画生成装置及び静止画生成方法について図１〜図１６を用いて説明する。
図１は、本発明の実施に係る静止画符号化、復号化システムの構成例を示すブロック図である。
図２は、本発明の実施に係る静止画生成装置の解像度指定部の動作例を示した図である。
図３は、本発明の実施に係る静止画生成装置のダウンサンプリング部の動作例を示した図である。
図４は、本発明の実施に係るダウンサンプリング部の動作例を示した図である。
図５は、ダウンサンプリングされた画像の符号化の動作例を示した図である。
図６は、本発明の実施に係る並び替え部の動作例を示した図である。
図７は、本発明の実施に係る並び替え部の動作例を示した図である。
図８は、本発明の実施に係る並び替え部の動作の変形例を示した図である。
図９は、本発明の実施に係る情報付加部の動作例を示した図である。
図１０は、本発明の実施に係る並び替え部の動作の変形例を示した図である。
図１１は、本発明の実施に係る並び替え部動作の他の変形例を示した図である。
図１２は、本発明の実施に係る静止画生成装置の動作例をフローチャートで示した図である。
図１３は、本発明の実施に係る復号化装置の動作例をフローチャートで示した図である。
図１４は、本発明の実施に係る復号化装置の動作の変形例をフローチャートで示した図である。
図１５は、本発明の実施に係る復号化装置動作の他の変形例をフローチャートで示した図である。
図１６は、本発明の実施に係る静止画生成、符号化、復号化装置の変形構成例を示すブロック図である。
【００１０】
その静止画生成装置は、データ間引きによりダウンサンプリングして得られた画像データ及び通常の解像度を有する他の画像データを、直交変換、量子化、及び隣接する各領域の直流成分の差分をとって行う符号化方式により高能率で圧縮符号化を行わせるための静止画信号を生成するという目的を、静止画をマトリクス状に分割し、マトリクス状に分割された各領域毎に解像度を決定し、決定された前記各領域毎の解像度に応じて、前記各領域の静止画をダウンサンプリングして、マトリクス状に配列された間引き有り領域と間引き無し領域を有するマトリクス画像領域を生成し、前記間引き有り領域中に間引かれなかった画像を前記間引き有り領域の予め決められた四隅領域に集めて第１サンプル画像とし、前記間引かれた画像を前記第１サンプル画像が集められた以外の領域に集めて第２サンプル画像とし、前記間引き無し領域の画像を第３サンプル画像とするとき、前記マトリクス画像領域を水平方向に順次走査して、前記第１、３サンプル画像のアドレス情報を複数抽出し、抽出された複数のアドレス情報の隣接する同士の差分を演算し、前記第１、３サンプル画像と共に前記差分を前記第１、３サンプル画像に対応させて記憶部に格納させるようにして実現した。
【００１１】
静止画生成装置の構成について静止画符号化、復号化システムの構成と共に述べる。
図１に示す静止画符号化、復号化システムは分割部１１、ダウンサンプリング部１２、解像度指定部１３、並び替え部１４、及び情報付加部１７よりなる静止画生成装置１と、ＪＰＥＧ（Joint Photographic Coding Experts Group）符号化装置２と、情報抽出部３１、ＪＰＥＧ復号化部３２、並び替え復元部３３、位置判定部３４、及び補間処理部３５よりなる静止画復号装置３より構成される。静止画生成装置１と静止画復号装置３とは通信回線により結合されている。
図１６に示す静止画生成、符号化、及び復号化装置１０００は、入力装置１００１、解像度指定部１００２、中央処理制御装置１００３、外部記憶装置１００４、一時記憶装置１００５、通信装置１００６、及び出力装置１００７より構成される。
【００１２】
静止画生成装置の動作について述べる。
図１を参照して静止画符号化、復号化システムについて述べる。
まず、監視カメラなどから入力される画像に対する解像度の設定が解像度指定部１３を介してなされる。例えば、個人が生活する空間が撮影される領域は低解像度に、監視が必要な領域は高解像度に設定される。画像の解像度は監視画像を１６画素×１６画素のマクロブロックごとに設定される。
【００１３】
監視カメラで撮影された例えば１フレームが６４０画素×４８０画素の画像データは分割部１１に入力され、１６画素×１６画素のマクロブロックごとの画像に分割される。分割された画像は解像度指定部１３で指定された解像度に応じてダウンサンプリングがなされる。即ち、高解像度領域として指定される領域のマクロブロックは１６画素×１６画素のままとされ、低解像度領域として指定される領域のマクロブロックは８画素×８画素のデータに間引かれる。
【００１４】
並び替え部１４では、間引かれなかった画像データはマクロブロックの左上の位置に集められて８画素×８画素のブロックのデータとされ、間引かれたデータはマクロブロック中の他の位置に纏められた後に例えば輝度レベルが０である黒画像データに置換される。
並び替え部１４では、間引かれなかったブロックの画像データ、及び高解像度領域として指定されるマクロブロック領域の４つのブロックで構成される画像データと、黒画像データとは別々の領域に並び替えられる。
ＪＰＥＧ符号化装置２には間引かれなかったブロックの画像データ、及び高解像度領域として指定されるマクロブロック領域の４つのブロックで構成される画像データのそれぞれが入力され、ＪＰＥＧ方式により符号化され圧縮符号化信号が得られる。
【００１５】
ここで、ダウンサンプリング部１２でダウンサンプリングされ、間引かれなかったブロックの画像データと、間引かれて黒に置換されたブロックの黒画像データとが隣接して配置されるマクロブロックの画像データを符号化する場合では、ブロック間での輝度レベルの差が大きいためＪＰＥＧ圧縮後の符号量の低下は小さい。間引かれた画像データを黒の単一色のデータに置換することにより画像のエントロピーを低下させたにも拘らず、圧縮符号化信号の情報量はエントロピーの低下に応じた小さな値とはならないためである。
それに比し、並び替え部１４で画像データブロックと黒画像データブロックとを並べ替えることにより隣接するブロック間での輝度レベル差を小さくした画像の場合では、符号化して得られる圧縮符号化信号の符号量は、画像が有するエントロピーの低下に応じて符号量の小さな圧縮符号化信号が得られる。
【００１６】
ＪＰＥＧ符号化装置２から出力される圧縮符号化信号と、並び替え部１４で並び替えられたブロックの並び順を示す並び順データは情報付加部１７に入力される。圧縮符号化信号と並び順データとは時間軸多重化され符号化情報信号が生成される。
静止画生成装置１から符号化情報信号が出力される。
【００１７】
出力された符号化情報信号は通信回線を介して遠隔地に配置される静止画復号装置３に入力され、そこで画像信号が復号化される。
静止画復号装置３について述べる。
【００１８】
情報抽出部３１では入力された符号化情報信号は圧縮符号化信号と並び順データとに分離される。ＪＰＥＧ復号化部３２では圧縮符号化信号のＪＰＥＧ復号化がなされる。間引かれなかったブロックの画像データ、及び高解像度領域として指定されるマクロブロック領域の４つのブロックで構成される画像データのそれぞれが得られる。並び替え復元部３３では、情報抽出部３１により得られた並び順データが基にされて、復号化して得られた画像ブロックのデータが並び替えられる。ダウンサンプリング部１２から出力されると同じブロック配列の画像データが得られる。位置判定部３４では、低解像度領域として指定されたマクロブロックの位置が判定される。補間処理部３５では、低解像度領域として指定されたマクロブロックの、左上の８画素×８画素のブロックデータはアップサンプリングにより１６画素×１６画素に補間されたマクロブロックのデータとして生成される。高解像度領域として指定されたマクロブロックの画像データはそのまま出力される。補間処理部３５で生成して得られた画像データは図示しないモニタＴＶに供給され、そこに表示される。
なお、ここで、ＪＰＥＧ復号化部３２は静止画復号装置３に内蔵されるとして述べた。ＪＰＥＧ復号化部３２は静止画復号装置３に外付けされるＪＰＥＧ復号化装置を用いるようにしても良い。
【００１９】
図２を参照して解像度指定部１３について述べる。
ここでは説明を簡略化するため画像データが６４画素×６４画素である場合について述べる。
同図において、６４画素×６４画素の画像データは水平及び垂直のそれぞれに４個づつのマクロブロックの画像データとして配列されている。ここで、網点が付されるマクロブロックは、低解像度領域として指定される領域である。
【００２０】
図３は、水平（ｘ）方向に１６画素、垂直（ｙ）方向に１６画素配列されるマクロブロックの画像データと、４つのブロックの画像データとの位置関係を示したものである。ｘ方向に０〜７の画素、ｙ方向に０〜７の画素として配列されるブロックの画像データをδｓとする。同様に、同図に示される他の３つのブロックの画像データをαｓ、βｓ、γｓとする。
【００２１】
図４を参照して、ダウンサンプリング部１２及び並び替え部１４について述べる。
同図に示す左上のマクロブロックは、解像度指定部１３により低解像度領域として指定されている。ダウンサンプリング部１２で、１６画素×１６画素のマクロブロック画像データのうち、ｘ方向の１、３、５、・・・、１５の画素データは間引かれ、ｘ方向の０、２、４、・・・、１４の画素データが間引かれずに残る。そこで、０、２、４、・・・、１４の画素データをδｓのブロックの領域に集める。
ｙ方向についても同様に間引きが行われ、間引かれないデータはδｓに集められる。
【００２２】
間引かれたデータはαｓ、βｓ、γｓのブロックの領域に集められる。αｓ〜γｓの画像データは不要なデータである。画像データのエントロピを低下させるため、αｓ〜γｓの不要な画像データを単一色のデータに置換する。置換するデータは、δｓのデータと区別するため、例えば輝度レベルが０である黒画像データとする。最大輝度のデータ、又は中間輝度の灰色のデータに置換しても良い。ただし、置換に用いる値のデータはδｓの輝度レベルを示すデータから除く必要がある。灰色のデータを用いる場合は、δｓにおけるその輝度レベルでの階調が１ビット分低下させることになるので注意が必要である。
なお、ダウンサンプリング部１２の入力部に、ダウンサンプリングにより生じる折り返し歪除去用ローパスフィルタを用いた方が歪の少ないダウンサンプリングされた出力信号を得ることが出来る。
【００２３】
図５を参照してＪＰＥＧ符号化装置２について述べる。
同図の（ａ）で示される画像のうち、一番上のブロックをそのままＪＰＥＧ符号化装置２に入力して符号化を行った場合を述べる。並び替え部１４で画像データの並び替えを行わない場合の例である。
ＪＰＥＧ符号化装置２では、８画素×８画素のブロック毎の画像データは離散コサイン変換され、周波数データが得られる。周波数データのうち交流成分は所定の量子化テーブルで量子化され、直流成分はブロック毎にＤＰＣＭ（differential pulse code modulation ）されて圧縮符号化信号が生成される。（ｂ）はその場合のＤＣレベルを示したものであり、低解像度領域における直流レベルの変化が大きい。そこの部分は、低解像度の画像データを符号化しているにも拘らず、圧縮符号化されて得られる符号量の低下が少ないことを示している。
そこで、並び替え部１４により、ＪＰＥＧ符号化装置２で高い圧縮率が得られるようにデータの並び替えを行う。
【００２４】
図６を参照して並び替え部１４について説明する。
並び替え部１４では、低解像度領域として指定される部分のαｓ〜γｓの黒画像データのブロックと、低解像度領域として指定される部分のδｓのブロック、及び高解像度領域のマクロブロックを構成するαｓ〜δｓの４つのブロックとが分離される。ブロックを走査線方向に順次走査するに際し黒画像データのブロックを飛ばして走査する。同図に示される（ｃ）の画像データが走査され、（ｄ）の画像データが得られる。（ｄ）の画像データは離散コサイン変換されて得られる直流成分は大きく変化しないため、ＪＰＥＧ符号化装置２により高い圧縮率で符号化がなされる。
【００２５】
図７を参照して、並び替え部１４で生成される並び順データについて説明する。
同図において、ブロックを走査するに際し黒画像データのブロックをスキップしながら走査すると共に、スキップしたブロックの数をカウントする。スキップしたブロック数を一時記憶した後、記憶されたカウント数を並び順データとして並び替え復元部３３に供給する。並び替え復元部３３及び位置判定部３４ではスキップされた黒画像データブロックの場所が特定、判定される。
【００２６】
図８を参照して、並び替え部１４で生成される並び順データの変形例について説明する。
それぞれのブロックには、走査順に一連の番号が付されており、ＪＰＥＧ符号化装置２に入力されて符号化されるブロックのアドレス値が記憶される。次に、記憶されたアドレス値の差分が計算される。符号化されるブロックのアドレス値は、０、２、３、４、６、１０、１１、・・・であり、その差分値は、１、２、１、１、２、４、１、・・・である。
図７に示した並び順データ、又は図８に示した並び順データのいずれが用いられても良い。
【００２７】
図９を参照して情報付加部１７について説明する。
同図において、符号化情報信号は、ＪＰＥＧ符号化装置２により生成されるＳＯＩ（Start of Image）、ヘッダ、画像データ、及びＥＯＩ（End of Image）に続けて、図７又は図８に示した並び順データが付加情報として情報の付加位置に付加されて構成される。ここでは、黒画像データはＪＰＥＧ符号化装置２に入力されなく、圧縮符号化信号にも含まれない。
【００２８】
ここで、図９に示した符号化情報信号の符号量と、黒画像データをも含めて符号化を行った場合のデータ量について述べる。ブロック全体が単一色の黒画像である場合であってもＪＰＥＧ符号化時にはブロックを構成する画像ごとの直流成分の差分値及びＥＯＢ（End of Block）を示す符号が圧縮符号化信号に挿入される。交流成分は０とされるものの、固定的に必要とされる符号のため、圧縮された信号の符号量は所定値以下とはならない。それに比し、並び順データを付加データとして出力する場合には上記で示したように少ない符号量で済む。
【００２９】
従って、図４で示した画像データを直接ＪＰＥＧ符号化装置２で符号化するよりも、図６の（ｄ）で示した画像データをＪＰＥＧ符号化装置２で符号化して得られる圧縮符号化信号に並び順データを付加情報として付加した符号化情報信号の方が小さな符号量の信号として得られる。
【００３０】
図１０を参照して、ブロックのスキャン順の第１の変形例について述べる。
同図におけるブロックのスキャン順は、図６の（ｃ）が走査線方向にスキャンしているのに比し、図１０はマクロブロック内を走査線順にスキャンした後に、マクロブロックを走査線順にスキャンしている。この場合、ＪＰＥＧ符号化装置２で符号化される、上下左右に隣接されるブロックの輝度信号レベルは、自然画像を符号化する場合などでは似通った値になると考えられるため、その場合ではブロック間の直流信号レベルが減少し、圧縮符号化信号の符号化効率が改善される。
【００３１】
図１１を参照して、ブロックのスキャン順の第２の変形例について述べる。
同図において、３２画素×３２画素の画像データをスーパーマクロブロックとし、スーパーマクロブロックの中のブロックのデータを走査線方向にスキャンした後に、スーパーマクロブロックのデータを走査線順に符号化する方法である。
図６、図１０、又は図１１で示されるスキャン方法のいずれを用いるのが良いかは、解像度指定部１３により指定される位置のパターンに応じて、ないしは被写体の形状に応じて適するものを選択して用いるようにする。
【００３２】
図１２を参照して静止画生成装置の信号の流れを説明する。
まず、Ｓ（ステップ）１０１において分割部１１に画像データが取得される。Ｓ１０２で取得された画像データは１６画素×１６画素のマクロブロックごとのデータに分割される。Ｓ１０３で、予め設定されている低解像度領域のマクロブロック位置情報が得られる。Ｓ１０４で、各マクロブロック毎に解像度を低下させるマクロブロックであるか、解像度を低下させないマクロブロックであるかが判定される。低解像度領域として指定されるマクロブロックの場合はＳ１０５においてダウンサンプリングがなされる。間引かれた画像データは黒画像データに置換される。Ｓ１０６においてダウンサンプリングされたマクロブロックの位置情報が記憶される。
【００３３】
Ｓ１０７で、ダウンサンプリングして得られた１つのブロック、及びダウンサンプリングのなされない４つのブロックのそれぞれは所定の順で連続的にスキャンされ、ＪＰＥＧで符号化がなされる、黒画像データが除かれた画像データが得られる。Ｓ１０８で並び順データが得られ、そのデータは一時記憶される。Ｓ１０９で黒画像データが除かれた画像データはＪＰＥＧ符号化される。Ｓ１１０でＪＰＥＧ符号化して得られた圧縮符号化信号のＥＯＩ以降に、並び順データ又は並び順データの冗長性を除いた符号化データが制御情報として付加される。符号化情報信号が得られる。１フレーム分の画像の符号化情報信号の生成が終了される。
なお、監視カメラから出力されるフレーム画像を続けて符号化する場合はＳ１０１〜Ｓ１１０の動作を繰り返す。
【００３４】
図１３を参照して復号化装置の信号の流れを説明する。
まず、Ｓ２０１で、静止画生成装置により生成され、ビットストリームにより通信回線を介して伝送された符号化情報信号が取得される。Ｓ２０２で、符号化情報信号から圧縮符号化信号と並び順データとが取得される。圧縮符号化信号はＪＰＥＧ復号化部３２により復号化される。Ｓ２０４で並び順データが基にされてブロックの配置情報が得られる。Ｓ２０５で、そのブロックがダウンサンプリングされたブロックであるとして検出された場合は補間処理部３５でアップサンプリングがなされ、マクロブロックの画像データが得られる。ＪＰＥＧ復号化部３２により復号化されたダウンサンプリングされないマクロブロックの画像データとアップサンプリングされた画像データとが基にされて復号化された画像信号が得られる。静止画１フレーム分の画像データの復号化処理が終了される。
【００３５】
図１４を参照して、復号化装置の変形例における信号の流れを説明する。以降、図１３と同じ機能には同一の番号を付し、説明を省く。
図１４に示す信号の流れは、図１３に示す信号の流れに比し、Ｓ２０３とＳ２０４の順が逆になっている。即ち、並び順データを先に得た後に圧縮符号化信号の復号化を行うものである。図１４に示す方法により、図１３に示す方法と同様な復号化処理を行うことが出来る。
【００３６】
図１５を参照して、復号化装置の他の変形例における信号の流れを説明する。
図１５に示される信号の流れは、図１３に示される信号の流れに比し、Ｓ２０４の動作がＳ２０６の後になされる点で異なっている。図１５に示す方法により、図１３に示す方法と同様な復号化処理が行われる。
【００３７】
図１６を参照して、静止画生成、符号化、及び復号化装置について説明する。
その静止画生成、符号化、及び復号化装置１０００の中央処理制御装置１００３には、分割手段、ダウンサンプリング手段、並び替え手段、ＪＰＥＧ符号化手段、情報付加手段、補間手段、判定手段、並び替え復元手段、ＪＰＥＧ復号化手段、及び情報抽出手段を実行するためのコンピュータプログラムがロードされている。即ち、静止画生成、符号化、及び復号化装置は所謂コンピュータと同様に構成されており、図１に示した静止画生成装置１、ＪＰＥＧ符号化装置２、及び静止画復号装置３の機能を１台の装置で実行できるものである。
【００３８】
以上のように、実施例で示した静止画符号化、復号化システムにおける静止画生成装置によれば、静止画を分割部１１によりマトリクス状に分割し、マトリクス状に分割された各領域毎に解像度を解像度指定部１３で決定し、決定された各領域毎の解像度に応じて、各領域の静止画をダウンサンプリング部１２でダウンサンプリングして、マトリクス状に配列された間引き有り領域と間引き無し領域を有するマトリクス画像領域を生成し、間引き有り領域中に間引かれなかった画像を並び替え部１４で間引き有り領域の予め決められた四隅領域に集めて第１サンプル画像とし、間引かれた画像を第１サンプル画像が集められた以外の領域に集めて第２サンプル画像とし、間引き無し領域の画像を第３サンプル画像とするとき、マトリクス画像領域を水平方向に順次走査して、第１、３サンプル画像のアドレス情報を複数抽出し、抽出された複数のアドレス情報の隣接する同士の差分を演算し、第１、３サンプル画像と共に差分を第１、３サンプル画像に対応させて記憶部に格納させるようにした構成があるので、静止画生成装置から出力されるダウンサンプリングして得られた画像データ及び通常の解像度を有する他の画像データをＪＰＥＧ符号化装置２により直交変換、量子化、及び隣接する各領域の直流成分の差分をとる符号化を行い、高能率で好適に圧縮符号化を行って復号化を行うことのできる静止画符号化、復号化システムを実現することが出来る。
【産業上の利用可能性】
【００３９】
予め解像度の設定される、例えば監視カメラの画像信号を効率よくフレーム内符号化する符号化装置に適用できる。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施に係る静止画符号化、復号化システムの構成例を示すブロック図である。
【図２】本発明の実施に係る静止画生成装置の解像度指定部の動作例を示した図である。
【図３】本発明の実施に係る静止画生成装置のダウンサンプリング部の動作例を示した図である。
【図４】本発明の実施に係るダウンサンプリング部の動作例を示した図である。
【図５】ダウンサンプリングされた画像の符号化の動作例を示した図である。
【図６】本発明の実施に係る並び替え部の動作例を示した図である。
【図７】本発明の実施に係る並び替え部の動作例を示した図である。
【図８】本発明の実施に係る並び替え部の動作の変形例を示した図である。
【図９】本発明の実施に係る情報付加部の動作例を示した図である。
【図１０】本発明の実施に係る並び替え部の動作の変形例を示した図である。
【図１１】本発明の実施に係る並び替え部動作の他の変形例を示した図である。
【図１２】本発明の実施に係る静止画生成装置の動作例をフローチャートで示した図である。
【図１３】本発明の実施に係る復号化装置の動作例をフローチャートで示した図である。
【図１４】本発明の実施に係る復号化装置の動作の変形例をフローチャートで示した図である。
【図１５】本発明の実施に係る復号化装置動作の他の変形例をフローチャートで示した図である。
【図１６】本発明の実施に係る静止画生成、符号化、復号化装置の変形構成例を示すブロック図である。
【符号の説明】
【００４１】
１    静止画生成装置
２    ＪＰＥＧ符号化装置
３    静止画復号装置
１１    分割部
１２    ダウンサンプリング部
１３    解像度指定部
１４    並び替え部
１７    情報付加部
３１    情報抽出部
３２    ＪＰＥＧ復号化部
３３    並び替え復元部
３４    位置判定部
３５    補間処理部
１０００    静止画生成、符号化、復号化装置
１００１    入力装置
１００２    解像度指定部
１００３    中央処理制御装置
１００４    外部記憶装置
１００５    一時記憶装置
１００６    通信装置
１００７    出力装置
【図１】
2006203744.tif 000003
【図２】
2006203744.tif 000004
【図３】
2006203744.tif 000005
【図４】
2006203744.tif 000006
【図５】
2006203744.tif 000007
【図６】
2006203744.tif 000008
【図７】
2006203744.tif 000009
【図８】
2006203744.tif 000010
【図９】
2006203744.tif 000011
【図１０】
2006203744.tif 000012
【図１１】
2006203744.tif 000013
【図１２】
2006203744.tif 000014
【図１３】
2006203744.tif 000015
【図１４】
2006203744.tif 000016
【図１５】
2006203744.tif 000017
【図１６】
2006203744.tif 000018