(57)【特許請求の範囲】
【請求項１】
入力された処理対象画像の画像サイズを縮小した縮小画像を生成する画像縮小手段と、
前記処理対象画像から関心領域を検出し、前記処理対象画像から前記検出した関心領域を抜き出した関心領域画像を生成する関心領域検出手段と、
前記縮小画像と前記関心領域画像とを画像空間上で多重化した多重化画像を生成する多重化手段であって、前記縮小画像を前記多重化画像の画像上部に配置し、前記関心領域画像を前記多重化画像の画像下部に配置して画像の多重化を行う多重化手段と、
前記多重化手段で生成された多重化画像を圧縮した圧縮画像データを生成する圧縮手段と、
前記圧縮画像データに基づいて、前記圧縮手段で圧縮された多重化画像における前記縮小画像部分を伸長する部分画像伸長手段と、
前記部分画像伸長手段で伸長された前記縮小画像部分を、前記処理対象画像の画像サイズに拡大する拡大手段と、
前記処理対象画像における関心領域部分に相当する位置について、前記拡大手段で拡大された前記縮小画像部分と前記関心領域画像との差分画像を生成する差分画像生成手段とを更に備え、
前記圧縮手段が、前記多重化画像の画像上部から圧縮を開始し、前記縮小画像部分の圧縮が終わった段階で圧縮を一時停止し、
前記部分画像伸長手段が、前記圧縮手段が前記縮小画像部分を圧縮した段階で前記圧縮手段から前記縮小画像を圧縮した段階の暫定的な圧縮画像データを受け取り、該受け取った暫定的な圧縮画像データに基づいて前記縮小画像部分を伸長し、
前記多重化手段が、前記関心領域画像に代えて、前記差分画像を前記多重化画像の画像下部に配置することで、前記縮小画像と前記差分画像とを画像空間上で多重化し、
前記圧縮手段が、前記多重化画像の画像下部に前記差分画像が配置された後に前記多重化画像の圧縮を再開するものであることを特徴とする画像圧縮装置。
【請求項２】
入力された処理対象画像の画像サイズを縮小した縮小画像を生成するステップと、
前記処理対象画像から関心領域を検出し、前記処理対象画像から前記検出した関心領域を抜き出した関心領域画像を生成するステップと、
前記縮小画像と前記関心領域画像とを画像空間上で多重化するための多重化画像の画像上部に前記縮小画像を配置し、画像の上部側から順次に前記多重化画像を圧縮するステップと、
前記多重化画像の前記縮小画像部分が圧縮された段階で前記多重化画像の圧縮を一時停止し、前記縮小画像部分を圧縮した段階の暫定的な圧縮画像データに基づいて前記縮小画像部分を伸長するステップと、
前記伸長された縮小画像部分を前記処理対象画像のサイズに拡大するステップと、
前記処理対象画像における関心領域部分に相当する位置について、前記拡大された前記縮小画像部分と前記関心領域画像との差分画像を生成するステップと、
前記多重化画像の画像下部に前記差分画像を配置し、該配置の後に前記多重化画像の圧縮を再開して、前記多重化画像を圧縮した圧縮画像データを生成するステップとを有することを特徴とする画像圧縮方法。
【請求項３】
コンピュータに、
入力された処理対象画像の画像サイズを縮小した縮小画像を生成する手順と、
前記処理対象画像から関心領域を検出し、前記処理対象画像から前記検出した関心領域を抜き出した関心領域画像を生成する手順と、
前記縮小画像と前記関心領域画像とを画像空間上で多重化するための多重化画像の画像上部に前記縮小画像を配置し、画像の上部側から順次に前記多重化画像を圧縮する手順と、
前記多重化画像の前記縮小画像部分が圧縮された段階で前記多重化画像の圧縮を一時停止し、前記縮小画像部分を圧縮した段階の暫定的な圧縮画像データに基づいて前記縮小画像部分を伸長する手順と、
前記伸長された縮小画像部分を前記処理対象画像のサイズに拡大する手順と、
前記処理対象画像における関心領域部分に相当する位置について、前記拡大された前記縮小画像部分と前記関心領域画像との差分画像を生成する手順と、
前記多重化画像の画像下部に前記差分画像を配置し、該配置の後に前記多重化画像の圧縮を再開して、前記多重化画像を圧縮した圧縮画像データを生成する手順とを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像圧縮装置、方法、及びプログラムに関し、更に詳しくは、画像から関心領域を抽出し、関心領域と非関心領域とで画像品質に差を付けて画像の圧縮を行う画像圧縮装置、方法、及びプログラムに関する。また、本発明は、圧縮された画像を伸長する画像伸長装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
画像から特徴領域を抽出し、特徴領域と特徴領域以外の背景領域とに画像を分割し、特徴領域画像と背景画像とをそれぞれ異なる強度で圧縮する技術が知られている（例えば特許文献１参照）。特許文献１では、複数の動画構成画像から特徴領域画像を抽出し、特徴領域圧縮用動画と、背景領域圧縮用動画とを生成する。特徴領域圧縮用動画を、特徴領域の圧縮に対応した圧縮部で圧縮して特徴領域動画データを生成すると共に、背景領域圧縮用動画を、背景領域の圧縮に対応した圧縮部で圧縮し、背景領域動画データを生成する。特徴領域動画データと、背景領域動画データとは、例えばタグ情報などを付帯するなどにより互いに対応付けられ、通信ネットワークを介して出力される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−４９９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、特徴領域圧縮用動画の圧縮と、背景領域圧縮用動画の圧縮とに、別個の圧縮部が用いられている。特許文献１では、圧縮すべき動画の数だけ圧縮部を設ける必要があり、圧縮部を複数個設ける分だけ、回路のコストが上昇するという問題がある。また、特許文献１では、特徴領域動画データと背景領域動画データとが別々に生成される。特徴領域動画データと背景領域動画データとが別ストリームとして生成されるため、元の動画像を得るためには、両者を対応付けて管理する必要があり、管理が煩わしいという問題もある。
【０００５】
本発明は、上記に鑑み、圧縮率を変えて圧縮すべき２以上の画像を圧縮する際に用いるエンコーダーの数を削減してコスト低減が可能な画像圧縮装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、入力された処理対象画像の画像サイズを縮小した縮小画像を生成する画像縮小手段と、前記処理対象画像から関心領域を検出し、前記処理対象画像から前記検出した関心領域を抜き出した関心領域画像を生成する関心領域検出手段と、前記縮小画像と前記関心領域画像とを画像空間上で多重化した多重化画像を生成する多重化手段と、前記多重化手段で生成された多重化画像を圧縮した圧縮画像データを生成する圧縮手段とを備えたことを特徴とする画像圧縮装置を提供する。
【０００７】
本発明においては、前記画像多重化手段が、前記縮小画像と前記関心領域画像とを、前記多重化画像の互いに異なる領域に多重化する構成とすることができる。
【０００８】
前記多重化手段が、前記縮小画像を前記多重化画像の画像上部に配置し、前記関心領域画像を前記多重化画像の画像下部に配置して画像の多重化を行う構成としてもよい。
【０００９】
本発明の画像圧縮装置は、前記圧縮画像データに基づいて、前記圧縮手段で圧縮された多重化画像における前記縮小画像部分を伸長する部分画像伸長手段と、前記部分画像伸長手段で伸長された前記縮小画像部分を、前記処理対象画像の画像サイズに拡大する拡大手段と、前記処理対象画像における関心領域部分に相当する位置について、前記拡大手段で拡大された前記縮小画像部分と前記関心領域画像との差分画像を生成する差分画像生成手段とを更に備え、前記圧縮手段が、前記多重化画像の画像上部から圧縮を開始し、前記縮小画像部分の圧縮が終わった段階で圧縮を一時停止し、前記部分画像伸長手段が、前記圧縮手段が前記縮小画像部分を圧縮した段階で前記圧縮手段から前記縮小画像を圧縮した段階の暫定的な圧縮画像データを受け取り、該受け取った暫定的な圧縮画像データに基づいて前記縮小画像部分を伸長し、前記多重化手段が、前記関心領域画像に代えて、前記差分画像を前記多重化画像の画像下部に配置することで、前記縮小画像と前記差分画像とを画像空間上で多重化し、前記圧縮手段が、前記多重化画像の画像下部に前記差分画像が配置された後に前記多重化画像の圧縮を再開する構成を採用することができる。
【００１０】
本発明の画像圧縮装置は、前記検出された関心領域の前記処理対象画像中の位置に関する関心領域情報を前記圧縮画像データに付加する関心領域情報付加手段を更に備える構成を採用できる。
【００１１】
本発明は、処理対象画像を縮小した縮小画像と、前記処理対象画像から関心領域部分が抽出された関心領域画像とが画像空間上で多重化された多重化画像を圧縮した圧縮画像データを伸長し、前記多重化画像を生成する伸長手段と、前記伸長手段で生成された多重化画像から、前記縮小画像と前記関心領域画像とを分離する画像分離手段と、前記分離された縮小画像を、前記処理対象画像のサイズに拡大する画像拡大手段と、前記拡大手段で拡大された縮小画像と、前記関心領域画像とを合成した合成画像を生成する画像合成手段とを備えたことを特徴とする画像伸長装置を提供する。
【００１２】
前記圧縮画像データには、前記関心領域の前記処理対象画像中の位置に関する関心領域情報が付加されており、前記圧縮画像データから前記関心領域情報を分離する関心領域情報分離手段を更に備え、前記画像合成手段が、前記関心領域情報を用いて、前記拡大された縮小画像に、前記関心領域画像を重ねることで前記合成画像を生成する構成を採用してもよい。
【００１３】
前記多重化画像には、前記関心領域画像に代えて、圧縮された縮小画像部分を前記処理対象画像のサイズに拡大した画像と前記関心領域画像との差分画像が多重化されており、前記画像分離手段が、前記関心領域画像に代えて、前記多重化画像から、前記縮小画像と前記差分画像とを分離し、前記画像合成手段が、前記関心領域画像に代えて、前記拡大された縮小画像と前記差分画像とを合成する構成としてもよい。
【００１４】
上記構成の場合、前記画像合成手段が、前記拡大された縮小画像に前記差分画像を加算することで前記合成画像を生成することとしてもよい。
【００１５】
本発明は、入力された処理対象画像の画像サイズを縮小した縮小画像を生成する画像縮小手段と、前記処理対象画像から関心領域を検出し、前記処理対象画像から前記検出した関心領域を抜き出した関心領域画像を生成する関心領域検出手段と、前記縮小画像と前記関心領域画像とを画像空間上で多重化した多重化画像を生成する画像合成手段と、前記画像合成手段で生成された多重化画像を圧縮した圧縮画像データを生成する圧縮手段と、前記圧縮画像データを伸長し、前記多重化画像を生成する伸長手段と、前記伸長手段で生成された多重化画像から、前記縮小画像と前記関心領域画像とを分離する画像分離手段と、前記分離された縮小画像を、前記処理対象画像のサイズに拡大する画像拡大手段と、前記拡大手段で拡大された縮小画像と、前記関心領域画像とを合成した合成画像を生成する画像合成手段とを備えたことを特徴とする画像圧縮伸長装置を提供する。
【００１６】
本発明は、また、入力された処理対象画像の画像サイズを縮小した縮小画像を生成するステップと、前記処理対象画像から関心領域を検出し、前記処理対象画像から前記検出した関心領域を抜き出した関心領域画像を生成するステップと、前記縮小画像と前記関心領域画像とを画像空間上で多重化した多重化画像を生成するステップと、前記生成された多重化画像を圧縮した圧縮画像データを生成するステップとを有することを特徴とする画像圧縮方法を提供する。
【００１７】
本発明は、入力された処理対象画像の画像サイズを縮小した縮小画像を生成するステップと、前記処理対象画像から関心領域を検出し、前記処理対象画像から前記検出した関心領域を抜き出した関心領域画像を生成するステップと、前記縮小画像と前記関心領域画像とを画像空間上で多重化するための多重化画像の画像上部に前記縮小画像を配置し、画像の上部側から順次に前記多重化画像を圧縮するステップと、前記多重化画像の前記縮小画像部分が圧縮された段階で前記多重化画像の圧縮を一時停止し、前記縮小画像部分を圧縮した段階の暫定的な圧縮画像データに基づいて前記縮小画像部分を伸長するステップと、
前記伸長された縮小画像部分を前記処理対象画像のサイズに拡大するステップと、前記処理対象画像における関心領域部分に相当する位置について、前記拡大された前記縮小画像部分と前記関心領域画像との差分画像を生成するステップと、前記多重化画像の画像下部に前記差分画像を配置し、該配置の後に前記多重化画像の圧縮を再開して、前記多重化画像を圧縮した圧縮画像データを生成するステップとを有することを特徴とする第２の画像圧縮方法を提供する。
【００１８】
本発明は、処理対象画像を縮小した縮小画像と、前記処理対象画像から関心領域部分が抽出された関心領域画像とが画像空間上で多重化された多重化画像を圧縮した圧縮画像データを伸長し、前記多重化画像を生成するステップと、前記生成された多重化画像から、前記縮小画像と前記関心領域画像とを分離するステップと、前記分離された縮小画像を、前記処理対象画像のサイズに拡大するステップと、前記拡大された縮小画像と、前記関心領域画像とを合成した合成画像を生成するステップとを有することを特徴とする第１の画像伸長方法を提供する。
【００１９】
本発明は、処理対象画像を縮小した縮小画像と、圧縮された縮小画像部分を前記処理対象画像のサイズに拡大した画像と前記関心領域画像との差分画像とが画像空間上で多重化された多重化画像を圧縮した圧縮画像データを伸長し、前記多重化画像を生成するステップと、前記生成された多重化画像から、前記縮小画像と前記差分画像とを分離するステップと、前記分離された縮小画像を、前記処理対象画像のサイズに拡大するステップと、前記拡大された縮小画像と、前記差分画像とを合成した合成画像を生成するステップとを有することを特徴とする第２の画像伸長方法を提供する。
【００２０】
更に本発明は、コンピュータに、入力された処理対象画像の画像サイズを縮小した縮小画像を生成する手順と、前記処理対象画像から関心領域を検出し、前記処理対象画像から前記検出した関心領域を抜き出した関心領域画像を生成する手順と、前記縮小画像と前記関心領域画像とを画像空間上で多重化した多重化画像を生成する手順と、前記生成された多重化画像を圧縮した圧縮画像データを生成する手順とを実行させるための第１の画像圧縮プログラムを提供する。
【００２１】
本発明は、コンピュータに、入力された処理対象画像の画像サイズを縮小した縮小画像を生成する手順と、前記処理対象画像から関心領域を検出し、前記処理対象画像から前記検出した関心領域を抜き出した関心領域画像を生成する手順と、前記縮小画像と前記関心領域画像とを画像空間上で多重化するための多重化画像の画像上部に前記縮小画像を配置し、画像の上部側から順次に前記多重化画像を圧縮する手順と、前記多重化画像の前記縮小画像部分が圧縮された段階で前記多重化画像の圧縮を一時停止し、前記縮小画像部分を圧縮した段階の暫定的な圧縮画像データに基づいて前記縮小画像部分を伸長する手順と、前記伸長された縮小画像部分を前記処理対象画像のサイズに拡大する手順と、前記処理対象画像における関心領域部分に相当する位置について、前記拡大された前記縮小画像部分と前記関心領域画像との差分画像を生成する手順と、前記多重化画像の画像下部に前記差分画像を配置し、該配置の後に前記多重化画像の圧縮を再開して、前記多重化画像を圧縮した圧縮画像データを生成する手順とを実行させるための第２の画像圧縮プログラムを提供する。
【００２２】
本発明は、コンピュータに、処理対象画像を縮小した縮小画像と、前記処理対象画像から関心領域部分が抽出された関心領域画像とが画像空間上で多重化された多重化画像を圧縮した圧縮画像データを伸長し、前記多重化画像を生成する手順と、前記生成された多重化画像から、前記縮小画像と前記関心領域画像とを分離する手順と、前記分離された縮小画像を、前記処理対象画像のサイズに拡大する手順と、前記拡大された縮小画像と、前記関心領域画像とを合成した合成画像を生成する手順とを実行させるための第１の画像伸長プログラムを提供する。
【００２３】
本発明は、コンピュータに、処理対象画像を縮小した縮小画像と、圧縮された縮小画像部分を前記処理対象画像のサイズに拡大した画像と前記関心領域画像との差分画像とが画像空間上で多重化された多重化画像を圧縮した圧縮画像データを伸長し、前記多重化画像を生成する手順と、前記生成された多重化画像から、前記縮小画像と前記差分画像とを分離する手順と、前記分離された縮小画像を、前記処理対象画像のサイズに拡大する手順と、前記拡大された縮小画像と、前記差分画像とを合成した合成画像を生成する手順とを実行させるための第２の画像伸長プログラムを提供する。
【発明の効果】
【００２４】
本発明の画像圧縮装置、方法、及びプログラムは、画像サイズを縮小した縮小画像と関心領域画像とを画像空間上で多重化した多重化画像を生成し、その多重化画像を圧縮する。本発明では、圧縮率を変えて圧縮すべき縮小画像と関心画像とを、多重化画像に多重化して圧縮を行うため、１つの圧縮手段を用いて双方の画像を圧縮でき、圧縮の際に用いるエンコーダーの数を削減することでコスト低減が可能である。また、本発明の画像伸長装置、方法、及びプログラムは、本発明の画像圧縮装置で圧縮された圧縮画像データを伸長して、圧縮された画像を復元することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１実施形態の画像圧縮装置を示すブロック図。
【図２】画像圧縮装置の動作手順を示すフローチャート。
【図３】画像圧縮装置の各部で生成される画像の具体例を示すブロック図。
【図４】第１実施形態の画像圧縮装置に対応した画像伸長装置を示すブロック図。
【図５】画像伸長装置の動作手順を示すフローチャート。
【図６】画像伸長装置の各部で生成される画像の具体例を示すブロック図。
【図７】本発明の第２実施形態の画像圧縮装置を示すブロック図。
【図８】画像圧縮装置の動作手順を示すフローチャート。
【図９】画像圧縮装置の各部で生成される画像の具体例を示すブロック図。
【図１０】第２実施形態の画像圧縮装置に対応した画像伸長装置を示すブロック図。
【図１１】画像伸長装置の動作手順を示すフローチャート。
【図１２】画像伸長装置の各部で生成される画像の具体例を示すブロック図。
【図１３】縮小画像と関心領域画像との多重化の別例を示す図。
【発明を実施するための形態】
【００２６】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態の画像圧縮装置を示す。画像圧縮装置１０は、画像入力手段１１、関心領域検出手段１２、画像縮小手段１３、多重化手段１４、圧縮手段（エンコーダー）１５、関心領域情報付加手段１６、及び出力手段１７を備える。画像圧縮装置１０内の各部の機能は、コンピュータが所定のプログラムに従って処理を実行することで実現可能である。
【００２７】
画像入力手段１１は、処理対象の画像を入力する。画像入力手段１１は、例えば図示しない撮影装置を用いて撮影された画像を処理対象画像として入力する。あるいは画像入力手段１１は、画像を記憶する図示しない記憶装置から処理対象画像を読み出してもよい。画像入力手段１１は、動画像を構成する複数のフレーム画像を順次に入力することができる。
【００２８】
関心領域検出手段１２は、処理対象画像から関心領域（ＲＯＩ：Region of Interest）を検出し、関心領域画像を生成する。関心領域検出のアルゴリズムには、任意のアルゴリズムを用いることができる。関心領域検出手段１２は、例えば処理対象画像から所定の検出対象オブジェクトが現れる領域を検出する。あるいは関心領域検出手段１２は、フレーム画像間で動きがある部分を関心領域として検出してもよい。関心領域画像の解像度（画像サイズ）は、処理対象画像の解像度と同一でよい。
【００２９】
画像縮小手段１３は、処理対象画像の画像サイズを縮小した縮小画像を生成する。言い換えれば、画像縮小手段１３は、処理対象画像の解像度を所定の解像度に低解像度化した画像を生成する。画像縮小手段１３は、例えば処理対象画像から所定の割合いで画素を間引くことで縮小画像を生成する。画像縮小の手法は特に問わない。画像縮小手段１３は、縮小画像の解像度が関心領域画像の解像度よりも低くなるように、処理対象画像を低解像度化する。
【００３０】
多重化手段１４は、画像縮小手段１３で縮小された縮小画像と、関心領域検出手段１２で生成された関心領域画像とを、画像空間上で多重化した多重化画像を生成する。多重化手段１４は、例えば縮小画像と関心領域画像とを、多重化画像の互いに異なる領域に配置する。多重化手段１４は、例えば画像の横方向の画素数が関心領域画像の横方向の画素数に等しく、縦方向の画素数が縮小画像の縦方向の画素数と関心領域画像の縦方向の画素数の和に等しい画像を多重化画像として用意し、多重化画像の上部に縮小画像を配置し、多重化画像の下部に関心領域画像を配置して画像の多重化を行う。
【００３１】
圧縮手段１５は、多重化手段１４で生成された多重化画像を圧縮し、圧縮画像データを生成する。画像の圧縮の形式は特に問わない。圧縮手段１５は、例えばＨ．２６４で画像圧縮を行う。関心領域情報付加手段１６は、関心領域検出手段１２で検出された関心領域の処理対象画像中の位置に関する関心領域情報を、圧縮手段１５で生成された圧縮画像データに付加する。出力手段１７は、関心領域情報が付加された圧縮画像データを出力する。出力手段１７は、圧縮画像データを、例えば通信ネットワークを介して受信側の装置に向けて出力する。あるいは出力手段１７は、ハードディスクドライブなどの記憶装置に圧縮画像データを出力してもよい。
【００３２】
図２は、動作手順を示す。画像入力手段１１は、処理対象画像を入力する（ステップＳ１１）。画像縮小手段１３は、処理対象画像の解像度を低解像度化した縮小画像を生成する（ステップＳ１２）。画像縮小手段１３は、例えば処理対象画像の縦横の画像サイズをそれぞれ１／２倍し、縦横の解像度をそれぞれ半分に落とした縮小画像を生成する。画像縮小手段１３は、生成した縮小画像を多重化手段１４に出力する。
【００３３】
関心領域検出手段１２は、処理対象画像から関心領域を検出する（ステップＳ１３）。関心領域検出手段１２は、例えば処理対象画像から検出した関心領域部分を抜き出し、抜き出した部分以外の画素値を所定の値、例えば０（黒）に固定化した画像を関心領域画像として生成する。関心領域検出手段１２は、生成した関心領域画像を多重化手段１４に出力する。また関心領域検出手段１２は、検出した関心領域の処理対象画像中の位置を示す関心領域情報を関心領域情報付加手段１６に出力する。
【００３４】
多重化手段１４は、縮小画像と関心領域画像とを、画像空間上で多重化する（ステップＳ１４）。すなわち多重化手段１４は、縮小画像と関心領域画像とを１枚の多重化画像に多重化する。圧縮手段１５は、多重化画像を圧縮する（ステップＳ１５）。関心領域情報付加手段１６は、圧縮手段１５が生成した圧縮画像データに、関心領域情報を付加する（ステップＳ１６）。出力手段１７は、受信側の画像伸長装置や記憶装置などに、関心領域情報が付加された圧縮画像データを出力する（ステップＳ１７）。
【００３５】
図３は、画像圧縮装置１０の各部で生成される画像の具体例を示す。入力された処理対象画像１０１は、関心領域検出手段１２と画像縮小手段１３とに与えられる。画像縮小手段１３は、処理対象画像１０１を低解像度化し、縮小画像１０２を生成する。処理対象画像１０１と縮小画像１０２とは、同じ内容を表わす画像である。ただし、縮小画像１０２の画像サイズは、処理対象画像１０１の画像サイズよりも小さい。
【００３６】
関心領域検出手段１２は、例えば処理対象画像１０１から人物を構成する領域を関心領域として検出し、関心領域画像１０３を生成する。関心領域検出手段１２は、例えば、検出した人物を構成する部分の画素値は処理対象画像１０１の画素値と同じで、人物以外の部分の画素値を０に固定化した画像を、関心領域画像１０３として生成する。また、関心領域検出手段１２は、処理対象画像における関心領域の位置を示す関心領域情報１０５を生成する。
【００３７】
多重化手段１４は、縮小画像１０２と関心領域画像１０３とを１枚の画像に多重化した多重化画像１０４を生成する。多重化画像１０４において、縮小画像１０２は画像上部に配置され、関心領域画像１０３は画像下部に配置される。縮小画像１０２は、関心領域画像１０３よりも画像サイズが小さいため、画像上部には縮小画像１０２が配置されない空白部分ができる。多重化画像１０４における空白分は、例えば白で埋めておけばよい。
【００３８】
圧縮手段１５は、多重化画像１０４を圧縮し、圧縮画像データ１０６を生成する。例えば動画像を構成する処理対象画像１０１が順次に入力される場合、多重化手段１４は、各フレームの処理対象画像１０１に対応する多重化画像１０４を順次に生成する。圧縮手段１５は、前後のフレームの多重化画像１０４を利用して画像圧縮を行うことができる。関心領域情報付加手段１６は、圧縮画像データ１０６に、関心領域情報１０５を付加してする。関心領域情報１０５が付加された圧縮画像データ１０６は、出力手段１７を介して出力される。
【００３９】
続いて画像圧縮装置１０で圧縮された画像の伸長を行う画像伸長装置を説明する。図４は、本実施形態の画像圧縮装置１０に対応した画像伸長装置を示す。画像伸長装置２０は、データ入力手段２１、関心領域情報分離手段２２、伸長手段（デコーダー）２３、画像分離手段２４、画像拡大手段２５、画像合成手段２６、及び出力手段２７を備える。画像伸長装置２０の各部の機能は、例えばコンピュータが所定のプログラムに従って処理を実行することで実現できる。
【００４０】
データ入力手段２１は、図１に示す画像圧縮装置１０の出力手段２７が出力する画像圧縮データを入力する。すなわち、データ入力手段２１は、処理対象画像を縮小した縮小画像と、処理対象画像から関心領域部分が抽出された関心領域画像とが画像空間上で多重化された多重化画像を圧縮した圧縮画像データを入力する。この圧縮画像データには、関心領域情報が付加されている。
【００４１】
関心領域情報分離手段２２は、圧縮画像データと関心領域情報とを分離する。関心領域情報分離手段２２は、圧縮画像データを伸長手段２３に出力し、関心領域情報を画像合成手段２６に出力する。伸長手段２３は、圧縮画像データを伸長し、多重化画像を生成する。伸長手段２３は、画像圧縮装置１０の圧縮手段１５での圧縮方式に対応した伸長方式で伸長を行う。
【００４２】
画像分離手段２４は、伸長手段２３で生成された多重化画像から、縮小画像と関心領域画像とを分離する。画像分離手段２４は、分離した縮小画像を画像拡大手段２５に出力し、関心領域画像を画像合成手段２６に出力する。画像拡大手段２５は、分離された縮小画像を、処理対象画像のサイズに拡大する。関心領域画像の画像サイズと処理対象画像の画像サイズとは同じサイズであるので、拡大された縮小画像の画像サイズは、関心領域画像の画像サイズと同じサイズになる。画像拡大手段２５における画像の拡大処理は、画像圧縮装置１０の画像縮小手段１３における縮小処理とは逆の処理になる。
【００４３】
画像合成手段２６は、関心領域画像と、画像拡大手段２５で拡大された縮小画像とを合成した合成画像を生成する。その際、画像合成手段２６は、関心領域情報分離手段２２で分離された関心領域情報を用いて、拡大された縮小画像に対して、関心領域画像を重ねることで合成画像を生成する。出力手段２７は、画像合成手段２６が生成した合成画像を、画像表示を行うための表示装置などに出力する。
【００４４】
図５は、画像伸長の動作手順を示す。データ入力手段２１は、関心領域情報が付加された圧縮画像データを入力する（ステップＳ２１）。データ入力手段２１は、例えば通信ネットワークを介して、画像圧縮装置１０（図１）が出力する圧縮画像データを入力する。あるいはデータ入力手段２１は、記憶装置から圧縮画像データを読み出してもよい。
【００４５】
関心領域情報分離手段２２は、圧縮画像データと、データに付加された関心領域情報とを分離する（ステップＳ２２）。伸長手段２３は、圧縮画像データを伸長し、画像圧縮装置１０において圧縮された多重化画像を復元する（ステップＳ２３）。画像分離手段２４は、復元された多重化画像を、縮小画像と関心領域画像とに分離する（ステップＳ２４）。画像拡大手段２５は、縮小画像を処理対象画像の画像サイズに拡大する（ステップＳ２５）。画像の拡大には、超解像（ＳＲ：Super Resolution）技術を用いることができる。超解像を用いることで、拡大画像の画質劣化を抑えることができる。
【００４６】
画像合成手段２６は、拡大された縮小画像と関心領域画像とを合成する（ステップＳ２６）。その際、画像合成手段２６は、関心領域情報をマスク情報として用いて画像の合成を行う。より詳細には、画像合成手段２６は、関心領域画像から関心領域部分のみを切り出し、切り出した関心領域部分を拡大された縮小画像に対して重ねる。出力手段２７は、画像合成手段２６で合成された合成画像を、表示装置などに出力する（ステップＳ２７）。
【００４７】
図６は、画像伸長装置の各部で生成される画像の具体例を示す。圧縮画像データ２０１は、例えば図３に示す処理対象画像１０１を画像圧縮装置１０で圧縮することで得られた圧縮画像データである。関心領域情報分離手段２２は、圧縮画像データ２０１に付加された関心領域情報２０６を分離する。伸長手段２３は、圧縮画像データ２０１から多重化画像２０２を復元する。多重化画像２０２の内容は、図３における多重化画像１０４と同じである。ただし、完全に同一ではなく、圧縮を行った分だけ画像品質が劣化している部分がある。
【００４８】
画像分離手段２４は、多重化画像２０２から、縮小画像２０４と関心領域画像２０３とを分離する。画像拡大手段２５は、縮小画像２０４を拡大し、拡大された縮小画像２０５を生成する。画像の拡大を行うことで、拡大された縮小画像２０５の画像サイズと関心領域画像２０３の画像サイズとが同じサイズとなる。
【００４９】
画像合成手段２６は、関心領域情報２０６を用いて、拡大された縮小画像２０５と関心領域画像２０３と合成し、合成画像２０７を生成する。画像合成手段２６は、関心領域情報２０６が示す人物が現れる部分を関心領域画像２０３から切り出し、切り出した領域を拡大された縮小画像２０５の上に重ねることで合成画像２０７を生成する。合成画像２０７において、人物が現れる部分以外の領域の画素には拡大された縮小画像２０５の画素が配置され、人物が現れる部分の領域の画素には関心領域画像２０３の画素が配置される。画像伸長装置２０は、合成画像２０７を出力する。
【００５０】
画像圧縮装置１０に入力された処理対象画像１０１（図３）と、画像伸長装置２０が出力する合成画像２０７とを比較すると、合成画像２０７における人物を構成する部分以外の領域は一体縮小された画像を拡大することで得られるため、人物を構成しない部分における合成画像２０７の画像品質は、処理対象画像１０１に比べて低下している。一方、関心領域の部分については、画像の縮小が行われない分だけ、人物を構成していない部分に比べて画像品質の劣化が少ない。
【００５１】
本実施形態では、多重化手段１４は、処理対象画像から関心領域を抽出した関心領域画像と、処理対象画像を縮小した縮小画像とを、１枚の多重化画像に画像空間上で多重化する。圧縮手段１５は、その多重化画像を圧縮し、出力手段１７は、圧縮で得られた圧縮画像データを出力する。本実施形態では、関心領域画像と縮小画像とを１枚の多重化画像に多重化し、その多重化画像を圧縮するため、関心領域画像と縮小画像とのそれぞれに対応した圧縮手段を用いる必要がない。画像圧縮装置１０は、多重化画像を圧縮する圧縮手段１５を１つ備えていればよく、必要な圧縮手段の数を減らして回路のコストを低減することができる。
【００５２】
ここで、特許文献１には、特徴領域圧縮用動画を圧縮する圧縮部と背景領域圧縮用動画を圧縮する圧縮部とを一つの圧縮器によって実装し、特徴領域圧縮用動画と背景領域圧縮用動画とを時間的に順次圧縮することができる旨の記載がある。しかしながら、仮に、ある時間分の特徴領域圧縮用動画を圧縮した後に、同じ時間分の背景領域圧縮用動画を続けて圧縮したとすると、双方の動画データ生成タイミングに大きなずれが生じ、リアルタイム性が失われることになる。本実施形態では、関心領域画像と縮小画像とを１枚の多重化画像として圧縮するため、リアルタイム性を失うことなく画像の圧縮が可能である。
【００５３】
また、特許文献１において、フレームごとに、特徴領域圧縮用動画を構成するフレーム画像と背景領域圧縮用動画を構成するフレーム画像とを切り替えて圧縮器に入力することも考えられる。しかし、双方の画像が交互に入力されるため、例えば特徴領域圧縮用動画において前後のフレーム画像を参照して画像圧縮を行う場合、圧縮手段は１フレームおきに画像参照を行う必要があり、フレーム間の参照関係が複雑になるという問題が生じる。更に、メモリが余分に必要になるという問題も生じる。本実施形態では、関心領域画像と縮小画像とが１枚の多重化画像に多重化されているため、フレーム間の参照関係を複雑化せずに画像の圧縮が可能である。また、圧縮手段１５は１枚の多重化画像を圧縮すればよく、特別なフレーム間参照は必要ないため、圧縮手段１５に既存の圧縮手段を用いることも可能である。
【００５４】
本実施形態では、関心領域画像と縮小画像とが１枚の多重化画像に多重化されているため、圧縮画像データを伸長することで、１枚の多重化画像から、関心領域画像と縮小画像との双方を得ることができる。特許文献１では、特徴領域動画データと背景領域動画データとをそれぞれ伸長する別個の伸長手段が必要であったが、本実施形態においては、画像伸長装置２０における伸長手段２３の数は１つで足りる。また、特許文献１では、特徴領域動画データと背景領域動画データとが別ストリームとして生成されるため、画像圧縮側において複数のストリームを統合するためのマルチプレクサが必要であり、画像伸長側において複数のストリームを分離するためのデマルチプレクサが必要であった。本実施形態では、１枚の多重化画像から関心領域画像と縮小画像とが得られるため、そのようなマルチプレクサやデマルチプレクサは不要である。また、本実施形態では、１枚の多重化画像から関心領域画像と縮小画像とが同期した状態で得られるため、両者を別途対応付けて管理する必要がないという効果もある。
【００５５】
次いで、本発明の第２実施形態を説明する。図７は、本発明の第２実施形態の画像圧縮装置を示す。画像圧縮装置３０は、画像入力手段３１、関心領域検出手段３２、画像縮小手段３３、多重化手段３４、圧縮手段３５、部分画像伸長手段３６、拡大手段３７、差分画像生成手段３８、及び出力手段３９を備える。画像圧縮装置３０内の各部の機能は、例えばコンピュータが所定のプログラムに従って処理を実行することで実現可能である。
【００５６】
画像入力手段３１は、処理対象の画像を入力する。画像入力手段３１は、例えば図示しない撮影装置を用いて撮影された画像を処理対象画像として入力する。あるいは画像入力手段３１は、画像を記憶する図示しない記憶装置から処理対象画像を読み出してもよい。画像入力手段３１は、動画像を構成する複数のフレーム画像を順次に入力することができる。
【００５７】
関心領域検出手段３２は、処理対象画像から関心領域を検出し、関心領域画像を生成する。関心領域検出のアルゴリズムには、任意のアルゴリズムを用いることができる。関心領域検出手段３２は、例えば処理対象画像から所定の検出対象オブジェクトが現れる領域を検出する。あるいは関心領域検出手段３２は、フレーム画像間で動きがある部分を関心領域として検出してもよい。関心領域画像の解像度（画像サイズ）は、処理対象画像の解像度と同一でよい。
【００５８】
画像縮小手段３３は、処理対象画像の画像サイズを縮小した縮小画像を生成する。言い換えれば、画像縮小手段３３は、処理対象画像の解像度を所定の解像度に低解像度化した画像を生成する。画像縮小手段３３は、例えば処理対象画像から所定の割合いで画素を間引くことで縮小画像を生成する。画像縮小の手法は特に問わない。画像縮小手段３３は、縮小画像の解像度が関心領域画像の解像度よりも低くなるように、処理対象画像を低解像度化する。
【００５９】
多重化手段３４は、画像縮小手段３３で縮小された縮小画像と、関心領域検出手段３２で生成された関心領域画像と、画像空間上で多重化した多重化画像を生成する。後述するように、本実施形態では、関心領域画像そのものではなく、差分画像生成手段３８が生成する差分画像の形式で、関心領域画像を多重化画像に多重化する。多重化手段３４は、画像の横方向の画素数が差分画像の横方向の画素数に等しく、縦方向の画素数が縮小画像の縦方向の画素数と関心領域画像の縦方向の画素数の和に等しい画像を、多重化画像として用いることができる。多重化手段３４は、まず縮小画像を多重化画像の画像上部に配置する。
【００６０】
圧縮手段３５は、多重化手段３４で生成された多重化画像を画像の圧縮し、圧縮画像データを生成する。画像の圧縮の形式は特に問わない。圧縮手段３５は、例えばＨ．２６４で画像圧縮を行う。圧縮手段３５は、多重化画像の上部側から圧縮を開始し、縮小画像部分の圧縮が終わった段階で圧縮を一時停止する。部分画像伸長手段３６は、圧縮手段３５で生成された圧縮画像データに基づいて、圧縮された多重化画像における縮小画像部分を伸長する。部分画像伸長手段３６は、圧縮手段３５が縮小画像部分を圧縮した段階で圧縮手段３５から縮小画像を圧縮した段階の暫定的な圧縮画像データを受け取り、その暫定的な圧縮画像データに基づいて縮小画像部分を伸長する。
【００６１】
拡大手段３７は、部分画像伸長手段３６で伸長された縮小画像部分を、処理対象画像の画像サイズに拡大する。つまり、拡大手段３７における拡大処理は、画像縮小手段３３における縮小処理とは逆の処理となる。差分画像生成手段３８は、拡大手段３７で拡大された縮小画像部分と、関心領域検出手段３２で生成された関心領域画像との差分画像を生成する。その際、差分画像生成手段３８は、関心領域検出手段３２から関心領域情報を受け取り、処理対象画像における関心領域部分に相当する位置について、差分画像を生成する。差分画像における関心領域以外の部分については、所定の画素値、例えば０（黒）に固定化しておけばよい。
【００６２】
多重化手段３４は、差分画像が生成されると、多重化画像の画像下部に差分画像を配置し、縮小画像と差分画像とを１枚の多重化画像に多重化する。圧縮手段３５は、差分画像が多重化画像に配置されると、多重化画像の圧縮を再開する。画像圧縮手段３５は、最終的に、縮小画像と差分画像とが画像空間上で多重化された多重化画像全体を圧縮した圧縮画像データを生成する。出力手段３９は、圧縮画像データを、例えば通信ネットワークを介して受信側の装置に向けて出力する。あるいは出力手段３９は、ハードディスクドライブなどの記憶装置に圧縮画像データを出力してもよい。
【００６３】
図８は、動作手順を示す。画像入力手段３１は、処理対象画像を入力する（ステップＳ３０１）。画像縮小手段３３は、処理対象画像の解像度を低解像度化した縮小画像を生成する（ステップＳ３０２）。画像縮小手段３３は、例えば処理対象画像の縦横の画像サイズをそれぞれ１／２倍し、縦横の解像度をそれぞれ半分に落とした縮小画像を生成する。画像縮小手段３３は、生成した縮小画像を多重化手段３４に出力する。
【００６４】
関心領域検出手段３２は、処理対象画像から関心領域を検出する（ステップＳ３０３）。関心領域検出手段３２は、例えば処理対象画像から検出した関心領域部分を抜き出し、抜き出した部分以外の画素値を所定の値、例えば０（黒）に固定化した画像を関心領域画像として生成する。関心領域検出手段３２は、生成した関心領域画像と検出した関心領域の処理対象画像中の位置を示す関心領域情報とを、差分画像生成手段３８に出力する。
【００６５】
多重化手段３４は、縮小画像を、縮小画像と関心領域画像（差分画像）とを画像空間上で多重化するための多重化画像の画像上部に配置する（ステップＳ３０４）。この段階では、差分画像はまだ多重化画像には多重化されず、多重化手段３４は、多重化画像において差分画像を配置するための領域の確保のみを行う。圧縮手段３５は、画像の上部から多重化画像の圧縮を開始する（ステップＳ３０５）。
【００６６】
圧縮手段３５は、縮小画像部分の圧縮ができた段階で、圧縮を一時停止する（ステップＳ３０６）。部分画像伸長手段３６は、圧縮手段３５から縮小画像部分を圧縮した段階の暫定的な圧縮画像データを受け取り、その圧縮画像データに基づいて縮小画像部分を伸長する（ステップＳ３０７）。拡大手段３７は、伸長された縮小画像部分を処理対象画像のサイズに拡大し（ステップＳ３０８）、拡大された縮小画像部分を差分画像生成手段３８に出力する。差分画像生成手段３８は、処理対象画像における関心領域部分に相当する位置について、拡大された縮小画像部分と関心領域画像との差分画像を生成する（ステップＳ３０９）。
【００６７】
差分画像生成手段３８は、生成した差分画像を多重化手段３４に出力する。多重化手段３４は、多重化画像に差分画像を追加する（ステップＳ３１０）。多重化手段３４は、ステップＳ３１０では、ステップＳ３０４で領域確保を行っておいた多重化画像の画像下部に差分画像を配置する。圧縮手段３５は、一時停止していた多重化画像の圧縮を再開する（ステップＳ３１１）。出力手段３９は、受信側の画像伸長装置や記憶装置などに、多重化画像全体が圧縮された圧縮画像データを出力する（ステップＳ３１２）。
【００６８】
図９は、画像圧縮装置３０の各部で生成される画像の具体例を示す。入力された処理対象画像３０１は、関心領域検出手段３２と画像縮小手段３３とに与えられる。画像縮小手段３３は、処理対象画像３０１を低解像度化し、縮小画像３０２を生成する。処理対象画像３０１と縮小画像３０２とは、同じ内容を表わす画像である。ただし、縮小画像３０２の画像サイズは、処理対象画像３０１の画像サイズよりも小さい。
【００６９】
関心領域検出手段３２は、例えば処理対象画像３０１から人物を構成する領域を関心領域として検出し、関心領域画像３０７を生成する。関心領域検出手段３２は、例えば、検出した人物を構成する部分の画素値は処理対象画像３０１の画素値と同じで、人物以外の部分の画素値を０に固定化した画像を、関心領域画像３０７として生成する。また、関心領域検出手段３２は、処理対象画像における関心領域の位置を示す関心領域情報３０８を生成する。
【００７０】
多重化手段３４は、縮小画像３０２を画像上部に配置した多重化画像３０３を生成する。多重化画像３０３の画像下部は、領域確保がされた状態としておき、この段階ではまだ画像の配置は行われない。圧縮手段３５は、多重化画像３０３の画像上側から圧縮を開始し、縮小画像部分が圧縮された暫定的な圧縮画像データ３０４を生成する。部分画像伸長手段３６は、暫定的な圧縮画像データ３０４を伸長し、復元された縮小画像３０５を生成する復元された縮小画像３０５の内容は、画像縮小手段３３で縮小された縮小画像３０２の内容と同じである。ただし、完全に同一ではなく、圧縮を行った分だけ画像品質が劣化している部分がある。
【００７１】
拡大手段３７は、復元された縮小画像３０５を、処理対象画像３０１の画像サイズにまで拡大した拡大画像３０６を生成する。差分画像生成手段３８は、関心領域情報３０８を用いて、関心領域画像３０７から人物を構成する部分を切り出すと共に、切り出した人物を構成する部分と同じ画素位置を拡大画像３０６から切り出し、両者の差分画像３０９を生成する。多重化手段３４は、多重化画像３０３の画像下部に、差分画像３０９を追加した多重化画像３１０を生成する。圧縮手段３５は、追加された差分画像部分から多重化画像３１０の圧縮を再開し、圧縮画像データ３１１を生成する。圧縮画像データ３１１は、出力手段３９を介して出力される。
【００７２】
続いて画像圧縮装置３０で圧縮された画像の伸長を行う画像伸長装置を説明する。図１０は、本実施形態の画像圧縮装置３０に対応した画像伸長装置を示す。画像伸長装置４０は、データ入力手段４１、伸長手段４２、画像分離手段４３、画像拡大手段４４、画像合成手段４５、及び出力手段４６を備える。画像伸長装置４０の各部の機能は、例えばコンピュータが所定のプログラムに従って処理を実行することで実現できる。
【００７３】
データ入力手段４１は、図７に示す画像圧縮装置３０の出力手段３９が出力する画像圧縮データを入力する。すなわち、データ入力手段４１は、処理対象画像を縮小した縮小画像と、圧縮された縮小画像部分を処理対象画像のサイズに拡大した画像と関心領域画像との差分画像とが画像空間上で多重化された多重化画像を圧縮した圧縮画像データを入力する。伸長手段４２は、圧縮画像データを伸長し、多重化画像を生成する。伸長手段４２は、画像圧縮装置３０の圧縮手段３５での圧縮方式に対応した伸長方式で伸長を行う。
【００７４】
画像分離手段４３は、伸長手段４２で生成された多重化画像から、縮小画像と差分画像とを分離する。画像分離手段４３は、分離した縮小画像を画像拡大手段４４に出力し、差分画像を画像合成手段４５に出力する。画像拡大手段４４は、分離された縮小画像を、処理対象画像のサイズに拡大する。差分画像の画像サイズと処理対象画像の画像サイズとは同じサイズであるので、拡大された縮小画像の画像サイズは、差分画像の画像サイズと同じサイズになる。画像拡大手段４４における画像の拡大処理は、画像圧縮装置３０の画像縮小手段３３における画像縮小処理とは逆の処理になる。
【００７５】
画像合成手段４５は、差分画像と、画像拡大手段４４で拡大された縮小画像とを合成した合成画像を生成する。その際、画像合成手段４５は、関心領域情報を用いて、拡大された縮小画像と差分画像と加算することで合成画像を生成する。差分画像に対して拡大された縮小画像を加算することで、関心領域が復元される。出力手段４６は、画像合成手段４５が生成した合成画像を、画像表示を行うための表示装置などに出力する。
【００７６】
図１１は、画像伸長の動作手順を示す。データ入力手段４１は、圧縮画像データを入力する（ステップＳ４１）。データ入力手段４１は、例えば通信ネットワークを介して、画像圧縮装置３０（図７）が出力する圧縮画像データを入力する。あるいはデータ入力手段４１は、記憶装置から圧縮画像データを読み出してもよい。
【００７７】
伸長手段４２は、圧縮画像データを伸長し、画像圧縮装置３０において圧縮された多重化画像を復元する（ステップＳ４２）。画像分離手段４３は、復元された多重化画像を、縮小画像と差分画像とに分離する（ステップＳ４３）。画像拡大手段４４は、縮小画像を処理対象画像の画像サイズに拡大する（ステップＳ４４）。画像の拡大には、超解像技術を用いることができる。
【００７８】
画像合成手段４５は、拡大された縮小画像と差分画像とを合成する（ステップＳ４５）。画像合成手段４５は、ステップＳ４５では、拡大された縮小画像に対して差分画像を加算することで画像合成を行う。出力手段４６は、画像合成手段４５で合成された合成画像を、表示装置などに出力する（ステップＳ４６）。
【００７９】
図１２は、画像伸長装置の各部で生成される画像の具体例を示す。圧縮画像データ４０１は、例えば図９に示す処理対象画像３０１を画像圧縮装置３０で圧縮することで得られた圧縮画像データである。伸長手段４２は、圧縮画像データ４０１から多重化画像４０２を復元する。多重化画像４０２の内容は、図９における多重化画像３１０と同じである。ただし、完全に同一ではなく、圧縮を行った分だけ画像品質が劣化している部分がある。
【００８０】
画像分離手段４３は、多重化画像４０２から、縮小画像４０４と差分画像４０３とを分離する。分離された縮小画像４０４は、画像圧縮装置３０において暫定的な圧縮画像データ３０４（図９）を伸長することで得られた縮小画像３０５と同じ画像である。また、差分画像４０３は、画像圧縮装置３０における差分画像３０９とほぼ同じ画像である。画像拡大手段４４は、縮小画像４０４を拡大し、拡大された縮小画像４０５を生成する。画像の拡大を行うことで、拡大された縮小画像４０５の画像サイズと差分画像４０３の画像サイズとが同じサイズとなる。
【００８１】
画像合成手段４５は、拡大された縮小画像４０５に対して差分画像４０３を加算し、合成画像４０６を生成する。画像圧縮装置３０では、拡大画像３０６と関心領域画像３０７との差分を取ることで差分画像３０９が生成されているため、拡大された縮小画像４０５と差分画像４０３とを加算することで、関心領域画像３０７に含まれる人物を構成する部分を再現することができる。この合成画像４０６は、図６に示す、第１実施形態の画像圧伸長装置で生成された合成画像２０７と同じ画像になる。画像伸長装置４０は、合成画像４０６を出力する。
【００８２】
本実施形態では、関心領域画像に代えて、差分画像を多重化画像に多重化する。より詳細には、多重化画像に縮小画像を配置した状態で圧縮を行い、得られた暫定的な圧縮画像データを伸長して縮小画像を復元し、その復元された縮小画像を元の画像サイズまで拡大し、関心領域について、拡大した画像と関心領域画像との差分を取る。差分を取ることで、関心領域画像の高調波成分を抽出した差分画像が得られる。得られた差分画像を多重化画像の画像下部に配置して縮小画像と差分画像とを１枚の多重化画像の多重化する。多重化画像の縮小画像部分を伸長し、その伸長した画像を拡大して差分画像に加算することで、差分を取る前の関心領域画像を得ることができる。本実施形態では、データ伸長側で関心領域情報を用いなくても元の関心領域画像を再現できるため、圧縮側において圧縮画像データに対して関心領域情報を付加する必要がない。また、特に縮小画像の拡大に超解像を用いる場合は、差分画像の情報量を削減することができ、画質を保ったままで高圧縮が可能になるという効果が得られる。その他の効果は第１実施形態と同様である。
【００８３】
なお、多重化画像における縮小画像と関心領域画像（差分画像）の配置の仕方は、上記各実施形態に記載したものには限定されず、種々の多重化の仕方が考えられる。例えば縮小画像と関心領域画像との多重化の別例を図１３に示す。縮小画像のサイズは、関心領域画像のサイズの半分であるとする。例えば画像入力手段１１（図１）に対してインターレースで画像が入力されるとき、図１３に示すように、画像上部に偶数フィールドと奇数フィールドの縮小画像を横方向に並べ、画像下部に偶数フィールドと奇数フィールドの関心領域画像を縦方向に並べて配置してもよい。あるいは、プログレッシブで画像が入力されるときに、画像を奇数行と偶数行とに分離し、図１３に示すような多重化を行ってもよい。この場合、多重化画像のサイズは、横方向は関心領域画像の横方向のサイズに等しく、縦方向は縮小画像の縦方向のサイズの半分に関心領域画像の縦方向のサイズを加えたサイズに等しくなる。インターレース化をしない場合、図３に多重化画像１０４として示すように、画像上部に画像が配置されない空白部分ができる。縮小画像を偶数フィールドと奇数フィールドに分け、多重化画像において横方向に並べて配置することで、無駄な空白部分を削減することができる。
【００８４】
上記各実施形態では、画像圧縮装置と画像伸長装置とを別個の装置として記載したが、画像圧縮装置と画像伸長装置とを組み合わせて画像圧縮伸長装置（システム）を構成することもできる。画像圧縮伸長システムでは、画像の圧縮側と伸長側とが異なる場所に配置されていてもよい。例えば、画像圧縮装置側を撮影装置と共に監視対象の施設などに配置し、画像伸長装置側を監視センターなどに配置して、両者間を通信回線などを用いて接続してもよい。その場合、例えば背景部分に相当する部分の圧縮率を上げてデータ伝送量を削減しつつ、人物を構成する部分を高画質で表示可能な遠隔監視システムを構築することができる。
【００８５】
第１実施形態において、関心領域検出手段１２が検出する関心領域は１つには限られず、関心領域検出手段１２において複数の関心領域を検出してもよい。その場合、多重化手段１４は、複数の関心領域画像と縮小画像とを１枚の多重化画像の多重化すればよい。第２実施形態においては、関心領域検出手段３２において複数の関心領域を検出してもよい。その場合、差分画像生成手段３８は、検出された複数の関心領域画像のそれぞれと縮小画像との差分を取り、複数の関心領域画像のそれぞれに対応した複数の差分画像を生成すればよい。多重化手段３４は、複数の差分画像と縮小画像とを１枚の多重化画像に多重化すればよい。
【００８６】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の画像圧縮装置、伸長装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【符号の説明】
【００８７】
１０、３０：画像圧縮装置
１１、３１：画像入力手段
１２、３２：関心領域検出手段
１３、３３：画像縮小手段
１４、３４：多重化手段
１５、３５：圧縮手段
１６：関心領域情報付加手段
１７、３９：出力手段
３６：部分画像伸長手段
３７：拡大手段
３８：差分画像生成手段
２０、４０：画像伸長装置
２１、４１：データ入力手段
２２：関心領域情報分離手段
２３、４２：伸長手段
２４、４３：画像分離手段
２５、４４：画像拡大手段
２６、４５：画像合成手段
２７、４６：出力手段
１０１、３０１：処理対象画像
１０２、３０２、３０５：縮小画像
１０３、３０７：関心領域画像
１０４、３０３、３１０：多重化画像
１０５、３０８：関心領域情報
１０６、３１１：圧縮画像データ
３０４：暫定的な圧縮画像データ
３０５：縮小画像
３０６：拡大画像（拡大された縮小画像）
３０９：差分画像
２０１、４０１：圧縮画像データ
２０２、４０２：多重化画像
２０３：関心領域画像
２０４、４０４：縮小画像
２０５、４０５：拡大された縮小画像
２０６：関心領域情報
２０７、４０６：合成画像
４０３：差分画像
【図１】
0005588833.tif 000002
【図２】
0005588833.tif 000003
【図４】
0005588833.tif 000004
【図５】
0005588833.tif 000005
【図７】
0005588833.tif 000006
【図８】
0005588833.tif 000007
【図１０】
0005588833.tif 000008
【図１１】
0005588833.tif 000009
【図３】
0005588833.tif 000010
【図６】
0005588833.tif 000011
【図９】
0005588833.tif 000012
【図１２】
0005588833.tif 000013
【図１３】
0005588833.tif 000014