(57)【要約】【課題】画像における特徴的な領域を速やかに検出することができる画像処理装置を提供すること。【解決手段】撮像部が有する複数の受光素子のそれぞれが受光した露光期間中における受光量の時間変化を示す受光量情報を取得する受光量情報取得部と、受光量情報が示す受光量の時間変化に基づいて、撮像部により撮像された撮像画像から、特徴領域を検出する特徴領域検出部とを備える。前記受光量情報が示す前記受光量の時間変化に基づいて、受光量の時間変化が予め定められた条件に適合する特定の受光素子を特定する受光素子特定部をさらに備え、特徴領域検出部は、特定の受光素子の位置に応じた撮像画像上の位置の近傍の画像領域から、特徴領域を検出する。【選択図】図２
2009232070.tif 000002
【特許請求の範囲】
【請求項１】
撮像部が有する複数の受光素子のそれぞれが受光した露光期間中における受光量の時間変化を示す受光量情報を取得する受光量情報取得部と、
前記受光量情報が示す前記受光量の時間変化に基づいて、前記撮像部により撮像された撮像画像から、特徴領域を検出する特徴領域検出部と
を備える画像処理装置。
【請求項２】
前記特徴領域検出部は、前記複数の受光素子のそれぞれが前記露光期間にわたって受光した総受光量に基づいて生成された前記撮像画像から、前記特徴領域を検出する
請求項１に記載の画像処理装置。
【請求項３】
前記受光量情報が示す前記受光量の時間変化に基づいて、前記受光量の時間変化が予め定められた条件に適合する特定の受光素子を特定する受光素子特定部
をさらに備え、
前記特徴領域検出部は、前記特定の受光素子の位置に応じた前記撮像画像上の位置の近傍の画像領域から、前記特徴領域を検出する
請求項２に記載の画像処理装置。
【請求項４】
前記受光素子特定部は、前記受光量の時間変化が時間に比例しない受光素子を、前記特定の受光素子として特定する
請求項３に記載の画像処理装置。
【請求項５】
前記受光素子特定部は、前記受光量の時間変化が時間に略比例する受光素子の近傍に位置し、前記受光量の時間変化が時間に比例しない受光素子を、前記特定の受光素子として特定する
請求項４に記載の画像処理装置。
【請求項６】
前記特徴領域検出部は、前記特定の受光素子の位置に応じた前記撮像画像上の位置の近傍の画像領域から、時間的に変化する被写体が撮像されている前記特徴領域を検出する
請求項５に記載の画像処理装置。
【請求項７】
前記特徴領域検出部は、前記特定の受光素子の位置に応じた前記撮像画像上の位置の近傍の画像領域から、移動する被写体が撮像されている前記特徴領域を検出する
請求項６に記載の画像処理装置。
【請求項８】
前記特徴領域検出部は、前記特定の受光素子の近傍に位置する前記受光量の時間変化が時間に略比例する受光素子の位置に応じた前記撮像画像上の位置よりも、前記特定の受光素子の位置に応じた前記撮像画像上の位置の側にある画像領域から、移動する被写体が撮像されている前記特徴領域を検出する
請求項７に記載の画像処理装置。
【請求項９】
前記受光量情報取得部は、前記複数の受光素子のそれぞれが受光した異なる複数の露光期間のそれぞれにおける前記受光量の時間変化を示す前記受光量情報を取得し、
前記受光素子特定部は、前記異なる複数の露光期間のそれぞれにおける前記受光量の時間変化が予め定められた条件に適合する受光素子を、前記特定の受光素子として特定する請求項３に記載の画像処理装置。
【請求項１０】
前記受光素子特定部は、一の露光期間中における前記受光量の時間変化が、他の露光期間中における他の受光素子の前記受光量の時間変化と予め定められた一致度より大きい一致度で一致する受光素子を、前記特定の受光素子として特定する
請求項９に記載の画像処理装置。
【請求項１１】
前記受光素子特定部は、一の露光期間中における前記受光量の時間変化が、他の露光期間中における近傍に設けられた他の受光素子の前記受光量の時間変化と予め定められた一致度より大きい一致度で一致する受光素子を、前記特定の受光素子として特定する
請求項９に記載の画像処理装置。
【請求項１２】
前記受光素子特定部は、前記受光量情報が示す前記受光量の時間変化に基づいて、他の露光期間における前記受光量の時間変化と異なる前記受光量の時間変化を示す受光素子を、前記特定の受光素子として特定する
請求項９に記載の画像処理装置。
【請求項１３】
前記特徴領域検出部は、前記特定の受光素子の位置に応じた前記撮像画像上の位置の近傍の画像領域から、時間的に変化するオブジェクトを含む前記特徴領域を検出する
請求項９に記載の画像処理装置。
【請求項１４】
前記特徴領域検出部は、前記複数の受光素子が異なる複数の露光期間にわたって受光した前記総受光量に基づいて生成された複数の前記撮像画像を含む動画上における、前記特定の受光素子の位置に応じた位置の近傍の画像領域から、前記動画において時間的に変化するオブジェクトを含む前記特徴領域を検出する
請求項１３に記載の画像処理装置。
【請求項１５】
前記特徴領域検出部は、前記動画上における前記特定の受光素子の位置に応じた位置の近傍の画像領域から、動画において移動するオブジェクトを含む前記特徴領域を検出する請求項１４に記載の画像処理装置。
【請求項１６】
前記受光量情報が示す前記受光量の時間変化に基づいて、前記特徴領域に含まれる画素の画素値を算出する場合に受光量が使用される第１受光素子と、前記特徴領域以外の領域に含まれる画素の画素値を算出する場合に受光量が使用される第２受光素子とを、異なる時間長さの露光期間でそれぞれ露光する撮像制御部
をさらに備える請求項２に記載の画像処理装置。
【請求項１７】
前記撮像制御部は、前記撮像画像における前記特徴領域の画質および前記撮像画像における前記特徴領域以外の領域の画質を予め定められた値より高くすべく、前記第１受光素子と前記第２受光素子とを、異なる時間長さの露光期間でそれぞれ露光する
請求項１６に記載の画像処理装置。
【請求項１８】
前記撮像制御部はさらに、前記撮像画像における前記特徴領域の画質および前記撮像画像における前記特徴領域以外の領域の画質を予め定められた値より高くすべく、前記第１受光素子と前記第２受光素子とを、異なるタイミングで露光する
請求項１７に記載の画像処理装置。
【請求項１９】
前記撮像制御部は、前記第１受光素子と前記第２受光素子とを異なるタイミングで露光することにより、前記撮像部に、前記特徴領域に撮像される被写体と前記特徴領域以外の領域に撮像される被写体とを異なる撮像レートで撮像させる
請求項１８に記載の画像処理装置。
【請求項２０】
前記複数の受光素子が異なる複数の露光期間にわたって受光した前記総受光量に基づいて生成された複数の前記撮像画像を含む動画を、前記特徴領域と前記特徴領域以外の背景領域とで異なる強度で圧縮する圧縮部
をさらに備える請求項３に記載の画像処理装置。
【請求項２１】
前記圧縮部は、
前記動画に含まれる前記撮像画像を、前記特徴領域と、前記特徴領域以外の背景領域とに分割する画像分割部と、
前記特徴領域の画像である特徴領域画像と前記背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する圧縮処理部と
を有する請求項２０に記載の画像処理装置。
【請求項２２】
前記画像分割部は、前記動画に含まれる複数の撮像画像のそれぞれを、前記特徴領域と前記背景領域とに分割し、
前記圧縮処理部は、前記特徴領域画像を複数含む特徴領域動画と前記背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する
請求項２１に記載の画像処理装置。
【請求項２３】
前記圧縮部は、
前記動画に含まれる複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも前記特徴領域において前記低画質画像より高画質な特徴領域画像を生成する画像生成部と、
前記特徴領域画像における前記特徴領域の画像と、前記低画質画像における前記特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する差分処理部と、
前記特徴領域差分画像および前記低画質画像をそれぞれ符号化する符号化部と
を有する備える請求項２０に記載の画像処理装置。
【請求項２４】
前記画像生成部は、前記動画に含まれる複数の撮像画像から解像度が低減された前記低画質画像を生成し、
前記差分処理部は、前記特徴領域画像における前記特徴領域の画像と、前記低画質画像における前記特徴領域の画像を拡大した画像との間の前記特徴領域差分画像を生成する
請求項２３に記載の画像処理装置。
【請求項２５】
前記差分処理部は、前記特徴領域において前記特徴領域画像と前記拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、前記特徴領域以外の領域において前記空間周波数成分のデータ量が低減された前記特徴領域差分画像を生成する
請求項２４に記載の画像処理装置。
【請求項２６】
撮像部が有する複数の受光素子のそれぞれが受光した露光期間中における受光量の時間変化を示す受光量情報を取得する受光量情報取得段階と、
前記受光量情報が示す前記受光量の時間変化に基づいて、前記撮像部により撮像された画像から、特徴領域を検出する特徴領域検出段階と
を備える画像処理方法。
【請求項２７】
画像処理装置用のプログラムであって、コンピュータを、
撮像部が有する複数の受光素子のそれぞれが受光した露光期間中における受光量の時間変化を示す受光量情報を取得する受光量情報取得部、
前記受光量情報が示す前記受光量の時間変化に基づいて、前記撮像部により撮像された画像から、特徴領域を検出する特徴領域検出部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。本発明は、特に、画像を処理する画像処理装置および画像処理方法、ならびに画像処理装置用のプログラムに関する。
【背景技術】
【０００２】
撮像素子に対して、全画素読み出しする高解像度領域と間引き読み出しする低解像度領域とが設定された撮像装置が知られている。（例えば、特許文献１参照。）。この撮像装置では、撮像装置の駆動部は、高解像度領域に含まれる受光素子と、低解像度領域に含まれる受光素子とで、それぞれ個別に露光を制御する。
【特許文献１】特開２００７−２３５３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献に記載の技術によると、特定の物体をサーチするためには画像全体を検索しなければならない。したがって、高速にＲＯＩを検出することができない。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態によると、画像処理装置であって、撮像部が有する複数の受光素子のそれぞれが受光した露光期間中における受光量の時間変化を示す受光量情報を取得する受光量情報取得部と、受光量情報が示す受光量の時間変化に基づいて、撮像部により撮像された撮像画像から、特徴領域を検出する特徴領域検出部とを備える。
【０００５】
本発明の第２の形態によると、画像処理方法であって、撮像部が有する複数の受光素子のそれぞれが受光した露光期間中における受光量の時間変化を示す受光量情報を取得する受光量情報取得段階と、受光量情報が示す受光量の時間変化に基づいて、撮像部により撮像された画像から、特徴領域を検出する特徴領域検出段階とを備える。
【０００６】
本発明の第３の形態によると、画像処理装置用のプログラムであって、コンピュータを、撮像部が有する複数の受光素子のそれぞれが受光した露光期間中における受光量の時間変化を示す受光量情報を取得する受光量情報取得部、受光量情報が示す受光量の時間変化に基づいて、撮像部により撮像された画像から、特徴領域を検出する特徴領域検出部として機能させる。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、一実施形態に係わる画像処理システム１０の一例を示す。画像処理システム１０は、以下に説明するように、監視システムとして機能することができる。
【００１０】
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｄ（以下、撮像装置１００と総称する。）、通信ネットワーク１１０、画像処理装置１７０、画像ＤＢ１７５、および複数の表示装置１８０ａ−ｄ（以下、表示装置１８０と総称する。）を備える。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
【００１１】
撮像装置１００ａは、監視対象空間１５０を撮像して撮像画像を取得する。撮像装置１００ａは、複数の受光素子が一の露光期間において受光した受光量の時間変化を検出する。そして、撮像装置１００ａは、当該受光量の時間変化に基づいて、移動する被写体が撮像された画像領域である特徴領域を検出する。なお、撮像装置１００ａは、監視対象空間１５０を連続して撮像して、複数の撮像画像を取得してよい。なお、撮像装置１００ａは、複数の撮像画像を含む動画から、人物１３０が撮像された領域、車輌等の移動体１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出してよい。
【００１２】
そして、撮像装置１００ａは、動画を圧縮して、複数の特徴領域のそれぞれが特徴領域以外の領域より高画質な圧縮動画データを生成する。なお、撮像装置１００ａは、特徴領域の画像が特徴領域のそれぞれの重要度に応じた画質の画像に変換されている圧縮動画データを生成する。そして、撮像装置１００ａは、圧縮動画データを、特徴領域を示す情報である特徴領域情報に対応づけて、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
【００１３】
なお、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、それぞれ撮像装置１００ａと同様の機能および動作を有する。したがって、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄの機能および動作については説明を省略する。
【００１４】
画像処理装置１７０は、特徴領域情報が対応づけられた圧縮動画データを撮像装置１００から受信する。そして、画像処理装置１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張して表示用動画を生成して、生成した表示用動画を表示装置１８０に供給する。表示装置１８０は、画像処理装置１７０から供給された表示用動画を表示する。
【００１５】
また、画像処理装置１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像ＤＢ１７５に記録してもよい。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを特徴領域情報を利用して伸張して表示用動画を生成して、表示装置１８０に供給してもよい。
【００１６】
なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置１７０は、特定した撮像画像を復号して、表示装置１８０に提供してよい。
【００１７】
このように、画像処理システム１０によると、特徴領域が動画に対応づけて記録されているので、動画における所定の条件に適合する撮像画像を高速に検索、頭出しをすることができる。また、画像処理システム１０によると、所定の条件に適合する撮像画像だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
【００１８】
図２は、撮像装置１００のブロック構成の一例を示す。撮像装置１００は、撮像部２００および画像処理部２９０を備える。画像処理部２９０は、特徴領域検出部２０３、対応付け処理部２０６、出力部２０７、撮像制御部２２０、圧縮部２３０、受光素子特定部２６０、および受光量情報取得部２７０を有する。なお、画像処理部２９０は、この発明における画像処理装置として機能し得る。
【００１９】
上述したように、撮像部２００は、撮像部２００が有する複数の受光素子のそれぞれが受光した露光期間中における受光量を受光量情報取得部２７０に提供する。撮像部２００の構成の詳細については、後に説明する。そして、受光量情報取得部２７０は、撮像部２００が有する複数の受光素子のそれぞれが受光した露光期間中における受光量の時間変化を示す受光量情報を、撮像部２００から取得する。
【００２０】
特徴領域検出部２０３は、受光量情報が示す受光量の時間変化に基づいて、撮像部２００により撮像された撮像画像から、特徴領域を検出する。なお、ここでいう撮像画像とは、複数の受光素子のそれぞれが露光期間にわたって受光した総受光量に基づいて生成された画像であってよい。このように、特徴領域検出部２０３は、複数の受光素子のそれぞれが露光期間にわたって受光した総受光量に基づいて生成された撮像画像から、特徴領域を検出する。
【００２１】
具体的には、受光素子特定部２６０は、受光量情報が示す受光量の時間変化に基づいて、受光量の時間変化が予め定められた条件に適合する特定の受光素子を特定する。なお、特定の受光素子を特定するとは、受光素子の受光量に応じて決定される画素値の時間変化が予め定められた条件に適合する画素を特定することを含む。
【００２２】
例えば、受光素子特定部２６０は、受光量の時間変化が時間に比例しない受光素子を、特定の受光素子として特定する。より具体的には、受光素子特定部２６０は、受光量の時間変化が時間に略比例する受光素子の近傍に位置しており、受光量の時間変化が時間に比例しない受光素子を、特定の受光素子として特定してよい。なお、受光量の時間変化が時間に比例しない受光素子とは、受光量の時間変化が時間に実質的に比例しない受光素子であってよい。
【００２３】
そして、特徴領域検出部２０３は、特定の受光素子の位置に応じた撮像画像上の位置の近傍の画像領域から、時間的に変化する被写体が撮像されている特徴領域を検出する。より具体的には、特徴領域検出部２０３は、特定の受光素子の位置に応じた撮像画像上の位置の近傍の画像領域から、移動する被写体が撮像されている特徴領域を検出する。このように、特徴領域検出部２０３は、特定の受光素子の位置に応じた撮像画像上の位置の近傍の画像領域から、特徴領域を検出する。なお、特定の受光素子の位置に応じた撮像画像上の位置とは、特定の受光素子の受光量に応じて画素値が決定される画素の撮像画像上における位置であってよい。
【００２４】
なお、特徴領域検出部２０３は、複数の撮像画像のそれぞれから、特徴領域を検出する。具体的には、特徴領域検出部２０３は、複数の撮像画像を含む動画から、特徴領域を検出する。例えば、特徴領域検出部２０３は、動画において移動するオブジェクトを含む領域を特徴領域として検出してよい。なお、後に具体的に説明するように、特徴領域検出部２０３は、動画において特徴的なオブジェクトを含む領域を特徴領域として検出してよい。なお、特徴領域検出部２０３は、画像認識により動画に含まれる撮像画像における特徴領域を検出してよい。
【００２５】
なお、特徴領域検出部２０３は、動画から特徴の種類が異なる複数の特徴領域を検出してよい。特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。
【００２６】
例えば、特徴領域検出部２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。
【００２７】
このように、特徴領域検出部２０３は、受光素子特定部２６０が特定した受光素子の受光量が反映される画素の近傍から特徴領域を検出することができる。このため、特徴領域検出部２０３は、特徴領域を検出する領域を狭めることができるので、速やかに特徴領域を検出することができる。
【００２８】
また、撮像制御部２２０は、受光量情報が示す受光量の時間変化に基づいて、撮像部２００による撮像を制御する。具体的には、撮像制御部２２０は、受光量の時間変化に基づいて撮像部２００が受光素子を露光する露光期間を制御する。具体的には、撮像制御部２２０は、特徴領域に含まれる画素の画素値を算出する場合に受光量が使用される第１受光素子と、特徴領域以外の領域に含まれる画素の画素値を算出する場合に受光量が使用される第２受光素子とを、異なる時間長さの露光期間でそれぞれ露光する。
【００２９】
なお、撮像制御部２２０は、撮像画像における特徴領域の画質および撮像画像における特徴領域以外の領域の画質を予め定められた値より高くすべく、第１受光素子と第２受光素子とを、異なる時間長さの露光期間でそれぞれ露光する。より具体的には、撮像制御部２２０はさらに、撮像画像における特徴領域の画質および撮像画像における特徴領域以外の領域の画質を予め定められた値より高くすべく、第１受光素子と第２受光素子とを、異なるタイミングで露光する。
【００３０】
なお、撮像制御部２２０は、第１受光素子と第２受光素子とを異なるタイミングで露光することにより、撮像部２００に、特徴領域に撮像される被写体と特徴領域以外の領域に撮像される被写体とを異なる撮像レートで撮像させてよい。このように、撮像制御部２２０は、第１受光素子を露光させる露光期間と第２受光素子を露光させる露光期間とを個別に制御する。このように、撮像制御部２２０は、露光開始タイミングおよび露光期間の時間長さを個別かつ適応的に制御することによって、特徴領域の画質と特徴領域以外の領域の画質の双方をより高めることができる。
【００３１】
圧縮制御部２１０は、特徴領域検出部２０３から取得した特徴領域を示す情報に基づいて、特徴領域に応じて圧縮部２３０による動画の圧縮処理を制御する。圧縮部２３０は、特徴領域検出部２０３により検出された特徴領域以外の領域の画質を低減することによって、複数の撮像画像を圧縮する。なお、圧縮部２３０は、圧縮された複数の撮像画像を複数含む圧縮動画を生成する。なお、圧縮部２３０のより具体的な圧縮動作については、後に説明する。
【００３２】
対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報を、撮像画像に対応づける。具体的には、対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報を、撮像画像を動画構成画像として含む圧縮動画に対応づける。出力部２０７は、対応付け処理部２０６によって特徴領域が対応付けされた圧縮動画を、画像処理装置１７０に出力する。
【００３３】
図３は、圧縮部２３０のブロック構成の一例を示す。圧縮部２３０は、画像分割部２３２、複数の固定値化部２３４ａ−ｃ（以下、固定値化部２３４と総称する場合がある。）、および複数の圧縮処理部２３６ａ−ｄ（以下、圧縮処理部２３６と総称する場合がある。）を有する。
【００３４】
画像分割部２３２は、撮像部２００から複数の撮像画像を取得する。そして、画像分割部２３２は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２３２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部２３２は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。そして、圧縮処理部２３６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２３６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
【００３５】
具体的には、画像分割部２３２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２３４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部２３４は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧ圧縮する。
【００３６】
固定値化部２３４ａ、固定値化部２３４ｂ、および固定値化部２３４ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、および圧縮処理部２３６ｃは、第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を圧縮する。
【００３７】
なお、圧縮処理部２３６ａ−ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２３６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
【００３８】
なお、圧縮処理部２３６ｄは、背景領域動画を圧縮する。なお、圧縮処理部２３６ｄは、圧縮処理部２３６ａ−ｃのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部２３６によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部２０６に供給される。
【００３９】
なお、特徴領域以外の領域が固定値化部２３４によって固定値化されているので、圧縮処理部２３６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。
【００４０】
図４は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、合成部３３０、および出力部３４０を備える。
【００４１】
圧縮画像取得部３０１は、圧縮部２３０により圧縮された撮像画像を含む圧縮動画を取得する。具体的には、圧縮画像取得部３０１は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、圧縮画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。
【００４２】
そして、対応付け解析部３０２は、複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部３１０に供給する。伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。
【００４３】
以下に、伸張部３２０が有する各構成要素の動作を説明する。伸張部３２０は、複数の復号器３２２ａ−ｄ（以下、復号器３２２と総称する。）を有する。復号器３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、および復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を復号する。
【００４４】
合成部３３０は、伸張部３２０によって伸張された複数の特徴領域動画および背景領域動画を合成して、一の表示動画を生成する。具体的には、合成部３３０は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、一の表示動画を生成する。出力部３４０は、対応付け解析部３０２から取得した特徴領域情報および表示動画を表示装置１８０または画像ＤＢ１７５に出力する。なお、画像ＤＢ１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。
【００４５】
図５は、圧縮部２３０の他のブロック構成の一例を示す。本構成における圧縮部２３０は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
【００４６】
本構成における圧縮部２３０は、画質変換部５１０、差分処理部５２０、および符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ−ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ−ｄ（以下、符号器５３２と総称する。）を含む。
【００４７】
画質変換部５１０は、撮像部２００から複数の撮像画像を取得する。また、画質変換部５１０は、特徴領域検出部２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
【００４８】
例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（第２解像度画像と呼ぶ。）、および第３の特徴の種類に応じた第３解像度に変換された撮像画像（第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。
【００４９】
そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、および第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、および階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。
【００５０】
なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。
【００５１】
階層間差分処理部５２２ｄおよび符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
【００５２】
また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂおよび階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画および複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａおよび符号器５３２ａの具体的な動作について説明する。
【００５３】
階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａおよび符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎にされてよい。
【００５４】
なお、階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。
【００５５】
なお、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
【００５６】
なお、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は、第２解像度画像を符号化するという点、および第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃおよび符号器５３２ｃの動作は、第３解像度画像を符号化するという点、および第３解像度画像を符号化を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。
【００５７】
以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像および低画質画像をそれぞれ符号化する。
【００５８】
また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
【００５９】
以上説明したように、圧縮部２３０は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２３０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置１７０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
【００６０】
図６は、撮像部２００のブロックの構成の一例を示す。撮像部２００は、受光部６２０、読出制御部６３０、Ａ／Ｄ変換部６４０、メモリ６５０、およびフィルタ部６６０を有する。
【００６１】
受光部６２０は、信号線６１０と、２次元的に配列された複数の画素素子６００とを有する。複数の画素素子６００のそれぞれは、受光素子６０２、リセット部６０４、増幅部６０６、および選択部６０８を含む。受光素子６０２は一例としてフォトダイオードであってよい。なお、リセット部６０４、増幅部６０６、および選択部６０８はＭＯＳ型トランジスタであってよく、受光部６２０はＭＯＳ型撮像デバイスとして形成されてよい。
【００６２】
受光素子６０２はリセット部６０４および増幅部６０６に接続される。受光素子６０２が光を受光することによって生じた電荷は、フローティングデフュージョン部（以下、ＦＤ部と呼ぶ。）の寄生容量に蓄積される。ＦＤ部の電圧は、受光素子６０２の受光量に応じた蓄積電荷量に応じて変化する。増幅部６０６はＦＤ部の電圧信号を増幅する。選択部６０８は、増幅部６０６によって増幅された電圧信号を信号線６１０に供給する。なお、選択部６０８による画素の選択タイミングは、読出制御部６３０により制御される。
【００６３】
また、リセット部６０４は、受光素子６０２が光を受光することによって蓄積された電荷をリセットする。なお、リセット部６０４によるリセットタイミングは、読出制御部６３０により制御される。
【００６４】
Ａ／Ｄ変換部６４０は、信号線６１０に供給されたアナログ信号をデジタル信号に変換する。メモリ６５０は、Ａ／Ｄ変換部６４０から出力されたデジタル信号によって表されたデジタルの画像信号を記憶する。フィルタ部６６０は、メモリ６５０に記憶された画像信号をデジタル処理する。特徴領域検出部２０３および圧縮部２３０は、フィルタ部６６０によって処理されたデジタル画像信号を取得する。
【００６５】
受光量情報取得部２７０は、Ａ／Ｄ変換部６４０から出力されたデジタル信号を取得する。なお、受光量情報取得部２７０は、メモリ６５０に一時的に記憶されたデジタル信号を取得してもよく、フィルタ部６６０によって処理された画像信号を取得してもよい。なお、受光量情報取得部２７０に供給されるデジタル信号によって表された画像は、特徴領域検出部２０３および圧縮部２３０に供給されるデジタル信号によって表された画像より少数の画素値を有してよい。
【００６６】
以上説明したように、受光素子６０２によって生じた電荷は寄生容量に蓄積されており、読出制御部６３０は、受光素子６０２による生じた電荷の蓄積が行われている間に、予め定められたサンプリングレートでＦＤ部の電圧信号を読み出すことができる。これにより、受光量情報取得部２７０は、Ａ／Ｄ変換部６４０から出力されたデジタル信号に基づいて、一の露光期間中の複数のタイミングにおける受光素子６０２の受光量を算出することができる。このようにして、受光量情報取得部２７０は、一の露光期間中において受光素子６０２が受光した受光量の時間変化を取得することができる。
【００６７】
図７は、受光素子６０２が受光した受光量の時間変化の一例を示す。本図の左側のグラフは受光素子６０２Ａが受光した受光量の時間変化を示しており、本図の右側のグラフは、受光素子６０２Ａと異なる受光素子６０２Ｂが同じ露光期間中に受光した受光量の時間変化を示している。いずれの図においても、サンプリングされた電圧信号に基づいて算出された受光量の値が×印で示されている。
【００６８】
受光素子６０２Ａの受光量は、一の露光期間（ｔ＝０〜Ｔの間）中に直線的に変化しており、受光量の時間変化率は略一定となっている。一方、受光素子６０２Ｂにおける受光量の時間変化率は、期間ｔ０〜ｔαと期間ｔβ〜Ｔとで異なる。受光素子６０２が一の露光期間にわたって同じ被写体からの光を受光し続けたとすると、受光量の時間変化率は略一定となることが期待される。したがって、受光素子６０２Ａは、一の露光期間中にわたって同じ被写体からの光を受光していたと見なすことができる。
【００６９】
一方、受光素子６０２が一の露光期間内に、異なる被写体からの光を受光したとすると、受光素子６０２Ｂのように、受光量の時間変化率に時間変化が生じることが期待される。したがって、受光素子６０２Ｂは、期間ｔ０〜ｔαと期間ｔβ〜Ｔとで異なる被写体からの光を受光したと見なすことができる。
【００７０】
図８は、動画において移動するオブジェクトの一例を示す。撮像画像８００−１および撮像画像８００−２は、連続して撮像された撮像画像を示す。撮像画像８００−１には移動体がオブジェクト８１０−１として撮像されており、撮像画像８００−２には同じ移動体がオブジェクト８１０−２として撮像されている。なお、以後の説明では、オブジェクト８１０−１およびオブジェクト８１０−２をオブジェクト８１０と総称する。図示されるように、オブジェクト８１０は、画像上において時間的に右から左に移動しているとする。また、受光素子６０２Ａが受光した受光量は、図中の同符号が付された位置の画素値に反映され、受光素子６０２Ｂが受光した受光量は、図中の同符号が付された位置の画素値に反映されるとする。
【００７１】
撮像画像８００−１および撮像画像８００−２用の露光期間において、受光素子６０２Ａは移動体の背景からの光を受光しているので、図７における左側のグラフのように時間的に略一定な受光量の時間変化率が得られる。同様に、撮像画像８００−１用の露光期間においては、受光素子６０２Ｂは移動体の背景からの光を受光しているので、時間的に略一定な受光量の時間変化率が得られる。
【００７２】
一方、受光素子６０２Ｂは、撮像画像８００−２用の露光期間においては、移動体が移動してくるまでの期間は背景となる被写体からの光を受光するが、移動体が移動してきた後は移動体からの光を受光する。このため、受光素子６０２Ｂの受光量の時間時間率は、背景からの光を受光した期間と移動体からの光を受光した期間とで、背景の光強度および移動体の光強度に応じて異なる。
【００７３】
このように、移動体が撮像されている場合には、受光素子６０２Ｂのように受光量の時間変化率が時間的に変化したり、受光素子６０２Ａおよび受光素子６０２Ｂのように、近傍に位置する複数の受光素子６０２の間で受光量の時間変化率の一致度が予め定められた値より低くなる場合がある。したがって、特徴領域検出部２０３は、受光素子特定部２６０によって特定された特定の受光素子の近傍から特徴領域を検出することによって、高速に移動体を特定することができる。
【００７４】
なお、本図の例に示されるように、オブジェクトは右から左に移動しているので、撮像画像８００−１においては受光素子６０２Ａの受光量が反映される画素位置よりも右側、さらに言えば受光素子６０２Ｂの受光量が反映される画素位置よりも右側に位置している。また、撮像画像８００−２においては、オブジェクトは受光素子６０２Ａの受光量が反映される画素位置よりも右側に位置している。したがって、特徴領域検出部２０３は、特定の受光素子の近傍に位置する受光量の時間変化が時間に略比例する受光素子の位置に応じた撮像画像上の位置よりも、特定の受光素子の位置に応じた撮像画像上の位置の側にある画像領域から、移動する被写体が撮像されている特徴領域を検出してもよい。したがって、特徴領域検出部２０３は、移動体の探索領域をさらに限定することができるので、撮像画像から移動体を高速に特定することができる。
【００７５】
以上説明したように、特徴領域検出部２０３は、複数の受光素子が異なる複数の露光期間にわたって受光した総受光量に基づいて生成された複数の撮像画像８００を含む動画上における、特定の受光素子の位置に応じた位置の近傍の画像領域から、動画において時間的に変化するオブジェクトを含む特徴領域を検出する。より具体的には、特徴領域検出部２０３は、動画上における特定の受光素子の位置に応じた位置の近傍の画像領域から、動画において移動するオブジェクトを含む特徴領域を検出する。
【００７６】
図９は、受光量の時間変化の他の一例を示す。受光量情報取得部２７０は、複数の受光素子のそれぞれが受光した異なる複数の露光期間のそれぞれにおける受光量の時間変化を示す受光量情報を取得する。本図において、受光素子６０２ａ−ｃは連続して位置する受光素子６０２を示すとする。（ａ）は、一の撮像画像用の第１露光期間中に受光素子６０２ａ−ｃが受光した受光量の時間変化率を示す。また、（ｂ）は、第１露光期間の次の露光期間である第２露光期間中における受光素子６０２ａ−ｃの受光量の時間変化率を示す。（ｃ）は、第２露光期間の次の露光期間である第３露光期間中における受光素子６０２ａ−ｃの受光量の時間変化率を示す。
【００７７】
（ａ）に示されるように、受光素子６０２ｂおよび受光素子６０２ｃの受光量の時間変化率は時間的に略一定であるが、受光素子６０２ａの受光量の時間変化率は、時刻ｔ１以前と時刻ｔ２以降とで異なっている。また、（ｂ）に示されるように、受光素子６０２ａおよび受光素子６０２ｃの受光量の時間変化率は時間的に略一定であるが、受光素子６０２ｂの受光量の時間変化率は、時刻ｔ３以前と時刻ｔ４以降とで異なっている。また、（ｃ）に示されるように、受光素子６０２ａおよび受光素子６０２ｂの受光量の時間変化率は時間的に略一定であるが、受光素子６０２ｃの受光量の時間変化率は、時刻ｔ５以前と時刻ｔ６以降とで異なっている。
【００７８】
また、（ａ）に示された時刻ｔ２以降における受光素子６０２ａの受光量の変化率は、（ｂ）に示された時刻ｔ４以降における受光素子６０２ｂの受光量の変化率と略同一となっている。なお、（ａ）に示された時刻ｔ１以前における受光素子６０２ａの受光量の変化率は、（ｂ）に示された時刻ｔ３以前における受光素子６０２ｂの受光量の変化率と略同一となっているが、これは、受光素子６０２ａおよび受光素子６０２ｂが近傍に位置することによる。
【００７９】
このように、（ａ）に示す受光素子６０２ａの受光量の時間変化率は、（ｂ）に示す受光素子６０２ｂの受光量の時間変化率と類似している。同様に、（ａ）に示す受光素子６０２ａの受光量の時間変化率、（ｂ）に示す受光素子６０２ｂの受光量の時間変化率、（ｃ）に示す受光素子６０２ｃの受光量の時間変化率は類似している。このような場合、受光素子６０２ａ、受光素子６０２ｂ、受光素子６０２ｃによって同じ移動体からの光が順次検出されていることが予測される。
【００８０】
したがって、受光素子特定部２６０は、一の露光期間中における受光量の時間変化が、他の露光期間中における他の受光素子６０２の受光量の時間変化と予め定められた一致度より大きい一致度で一致する受光素子６０２を、特定の受光素子として特定してよい。例えば、受光素子特定部２６０は、一の露光期間中における受光量の時間変化が、他の露光期間中における近傍に設けられた他の受光素子６０２の受光量の時間変化と予め定められた一致度より大きい一致度で一致する受光素子を、特定の受光素子として特定してよい。なお、近傍に設けられた他の受光素子６０２とは、隣接して設けられた受光素子６０２であってよい。より具体的には、近傍に設けられた他の受光素子６０２とは、同じ色を受光する受光素子６０２のうちの近傍に位置する受光素子６０２であってよい。
【００８１】
このように、受光素子特定部２６０は、異なる複数の露光期間のそれぞれにおける受光量の時間変化が予め定められた条件に適合する受光素子を、特定の受光素子として特定する。なお、上記の説明では、移動体を例に挙げて受光素子特定部２６０および特徴領域検出部２０３の動作について説明したが、同様の動作によって、明るさが変化する被写体も検出することもできることが明らかである。つまり、受光素子特定部２６０は、受光量情報が示す受光量の時間変化に基づいて、他の露光期間における受光量の時間変化と異なる受光量の時間変化を示す受光素子を、特定の受光素子として特定してもよい。そして、特徴領域検出部２０３は、特定の受光素子の位置に応じた撮像画像上の位置の近傍の画像領域から、時間的に変化するオブジェクトを含む特徴領域を検出してよい。
【００８２】
以上説明したように、画像処理システム１０によると、一の撮像画像を撮像するための露光期間中における受光量の時間変化に基づいて、特徴領域を検出する。したがって、画像処理システム１０によると、明るい撮像画像を提供しつつ、撮像画像から特徴領域を速やかに検出することができる。また、画像処理システム１０によると、明るい撮像画像を提供することができるので、撮像画像から特徴領域を高精度で検出することができる。
【００８３】
図１０は、撮像制御部２２０の制御による受光素子６０２の露光期間の一例を示す。本図の例では、撮像制御部２２０は、特徴領域に含まれる画素の画素値に受光量が反映される第１受光素子６０２の露光時間の時間長さを、特徴領域以外に含まれる画素の画素値に受光量が反映される第２受光素子６０２の露光時間の時間長さより短くする。なお、撮像制御部２２０は、被写体の明るさに応じて各領域の露光時間の時間長さを決定してよい。具体的には、撮像制御部２２０は、特徴領域の明るさが特徴領域以外の領域より暗い場合には、第１受光素子６０２の露光時間の時間長さを、第２受光素子６０２の露光時間の時間長さより長くしてもよい。
【００８４】
なお、撮像制御部２２０は、上述した受光素子６０２の受光量の時間変化率から、各領域明るさを判定してよい。例えば、撮像制御部２２０は、受光量の時間変化率がより大きい当該受光素子６０２の受光量が画素値に反映される画素を含む領域の明るさを、より明るく判定してよい。そして、撮像制御部２２０は、当該受光量の時間変化率がより大きい受光素子６０２の露光時間の時間長さを、より短くしてよい。なお、複数の受光素子６０２の露光時間の時間長さに応じて、それぞれの受光素子６０２からの総受光量に応じて算出された画素値に対する補正処理が施されてよい。なお、当該補正処理は、画像処理部２９０またはフィルタ部６６０によってなされてよい。
【００８５】
撮像制御部２２０による上記のような露光制御によって、特徴領域と特徴領域以外の領域とをそれぞれ適切な明るさで撮像することができる。なお、撮像制御部２２０は、移動する移動体からの光を受光する第１受光素子６０２の露光時間の時間長さを、当該移動体を含まない第２受光素子６０２の露光時間の時間長さより短くしてよい。撮像制御部２２０は、より高速に移動する移動体からの光を受光する第１受光素子６０２の露光時間の時間長さをより短くしてよい。このような撮像制御部２２０の制御により、撮像部２００は、特徴領域以外の領域より特徴領域が高いフレームレートで表示される動画を提供することができる。
【００８６】
なお、本図においては、撮像制御部２２０は、第２受光素子６０２に露光を開始させるタイミングでは、第１受光素子６０２にも露光を開始させているが、第２受光素子６０２が露光を開始されるタイミングは、第１受光素子６０２の露光中の期間内であってもよい。なお、撮像制御部２２０は、既に説明したように特徴領域の画質および特徴領域以外の領域の画質とがそれぞれ予め定められた画質より高い画質になるよう、第１受光素子６０２のおよび第２受光素子６０２を任意のタイミングで露光してよい。以上説明した撮像制御部２２０の制御により、被写体への照明条件あるいは被写体の動きに応じて、被写体を鮮明に撮像することができる。
【００８７】
図１１は、他の実施形態に係わる画像処理システム２０の一例を示す。本実施形態における画像処理システム２０の構成は、画像処理装置９００ａおよび画像処理装置９００ｂ（以下、画像処理装置９００と総称する。）をさらに有する点を除いて、図１で説明した画像処理システム１０の構成と同じとなっている。
【００８８】
本構成における撮像装置１００は、図２で説明した撮像装置１００の各構成要素のうち、撮像部２００の機能を有している。また、画像処理装置９００は、図２で説明した撮像装置１００の各構成要素のうち、画像処理部２９０の機能を有している。そして、撮像装置１００が含む撮像部２００の機能および動作、ならびに画像処理装置９００に含まれる各構成要素の機能および動作は、図１から図１０にかけて画像処理システム１０に関連して説明した各構成要素の機能および動作と略同一であるので、説明を省略する。このような画像処理システム２０においても、図１から図１０にかけて画像処理システム１０に関連して説明した効果と略同一の効果が得ることができる。
【００８９】
以上の説明においては、この発明における画像処理システムの一実施形態としての監視システムを例に挙げて画像処理システム１０の機能および動作を説明した。なお、画像処理システム１０の用途は監視システムに限られず、画像処理システム１０は例えば単に撮像システムとして機能することもできることが明らかである。
【００９０】
図１２は、撮像装置１００および画像処理装置１７０のハードウェア構成の一例を示す。撮像装置１００および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【００９１】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００９２】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００９３】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、撮像装置１００および画像処理装置１７０が起動するときに実行するブート・プログラム、あるいは撮像装置１００および画像処理装置１７０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００９４】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、撮像装置１００を、図１から図１１に関連して説明した撮像装置１００が有する各構成要素として機能させ、画像処理装置１７０を、図１から図１１に関連して説明した、画像処理装置１７０が有する各構成要素として機能させる。
【００９５】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして撮像装置１００および画像処理装置１７０に提供してもよい。このように、プログラムにより制御されるコンピュータが、撮像装置１００および画像処理装置１７０として機能する。
【００９６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００９７】
【図１】一実施形態に係わる画像処理システム１０の一例を示す図である。
【図２】撮像装置１００のブロック構成の一例を示す図である。
【図３】圧縮部２３０のブロック構成の一例を示す図である。
【図４】画像処理装置１７０のブロック構成の一例を示す図である。
【図５】圧縮部２３０の他のブロック構成の一例を示す図である。
【図６】撮像部２００のブロックの構成の一例を示す図である。
【図７】受光素子６０２が受光した受光量の時間変化の一例を示す図である。
【図８】動画において移動するオブジェクトの一例を示す図である。
【図９】受光量の時間変化の他の一例を示す図である。
【図１０】撮像制御部２２０の制御による受光素子６０２の露光期間の一例を示す図である。
【図１１】他の実施形態に係わる画像処理システム２０の一例を示す図である。
【図１２】撮像装置１００および画像処理装置１７０のハードウェア構成の一例を示す図である。
【符号の説明】
【００９８】
１０  画像処理システム
２０  画像処理システム
１００  撮像装置
１１０  通信ネットワーク
１３０  人物
１４０  移動体
１５０  監視対象空間
１６０  空間
１７０  画像処理装置
１７５  画像ＤＢ
１８０  表示装置
２００  撮像部
２０３  特徴領域検出部
２０６  対応付け処理部
２０７  出力部
２１０  圧縮制御部
２２０  撮像制御部
２３０  圧縮部
２６０  受光素子特定部
２７０  受光量情報取得部
２３２  画像分割部
２３４  固定値化部
２３６  圧縮処理部
２９０  画像処理部
３０１  圧縮画像取得部
３０２  対応付け解析部
３１０  伸張制御部
３２０  伸張部
３２２  復号器
３３０  合成部
３４０  出力部
５１０  画質変換部
５２０  差分処理部
５２２  階層間差分処理部
５３０  符号化部
５３２  符号器
６００  画素素子
６０２  受光素子
６０４  リセット部
６０６  増幅部
６０８  選択部
６１０  信号線
６２０  受光部
６３０  読出制御部
６４０  Ａ／Ｄ変換部
６５０  メモリ
６６０  フィルタ部
８００  撮像画像
８１０  オブジェクト
９００  画像処理装置
１５０５  ＣＰＵ
１５１０  ＲＯＭ
１５２０  ＲＡＭ
１５３０  通信インターフェイス
１５４０  ハードディスクドライブ
１５５０  フレキシブルディスク・ドライブ
１５６０  ＣＤ−ＲＯＭドライブ
１５７０  入出力チップ
１５７５  グラフィック・コントローラ
１５８０  表示デバイス
１５８２  ホスト・コントローラ
１５８４  入出力コントローラ
１５９０  フレキシブルディスク
１５９５  ＣＤ−ＲＯＭ
１５９８  ネットワーク通信装置
【図１】
2009232070.tif 000003
【図２】
2009232070.tif 000004
【図３】
2009232070.tif 000005
【図４】
2009232070.tif 000006
【図５】
2009232070.tif 000007
【図６】
2009232070.tif 000008
【図７】
2009232070.tif 000009
【図８】
2009232070.tif 000010
【図９】
2009232070.tif 000011
【図１０】
2009232070.tif 000012
【図１１】
2009232070.tif 000013
【図１２】
2009232070.tif 000014