(57)【要約】【課題】撮像画像に基づく画像配信について利便性を向上できる撮像装置の技術を提供する。【解決手段】ネットワークカメラ(撮像装置)１Ａでは、撮像素子２２から出力された撮像画像Ｇｏから監視領域Ｇａと注視領域Ｇｂとの画像を抽出し、それぞれを変倍部３１１で変倍して所定の画像サイズを有する全体画像Ｇ１と注視画像Ｇ２とを生成する。そして、全体画像Ｇ１と注視画像Ｇ２とを統合した統合画像ＧｓをＪＰＥＧ方式でエンコードしたＪＰＥＧデータをネットワークＮＥに配信する。ネットワークＮＥを介してＪＰＥＧデータを取得した端末９は、ＪＰＥＧデータをデコードして全体画像Ｇ１と注視画像Ｇ２とを表示部９２に表示させる。その結果、撮像画像に基づく画像配信について利便性を向上できることとなる。【選択図】図２
2006129152.tif 000002
【特許請求の範囲】
【請求項１】
画像データを画像受信装置に送信可能な撮像装置であって、
(a)被写体を撮像して撮像画像を取得する撮像手段と、
(b)前記撮像画像に対して、画像サイズが異なる複数の領域を設定する設定手段と、
(c)前記設定手段で設定される前記複数の領域それぞれに対応する複数の画像を、前記撮像画像から抽出する抽出手段と、
(d)前記抽出手段で抽出された複数の画像それぞれを変倍し、複数の送信用画像を生成する画像変倍手段と、
(e)前記複数の送信用画像を圧縮処理した送信データを、前記画像受信装置に送信する送信手段と、
を備え、
前記複数の送信用画像は、それぞれ所定の画像サイズを有することを特徴とする撮像装置。
【請求項２】
画像データを画像受信装置に送信可能な撮像装置であって、
(a)被写体を撮像して撮像画像を取得する撮像手段と、
(b)前記撮像画像に対して、画像サイズが異なる複数の領域を設定する設定手段と、
(c)前記設定手段で設定される前記複数の領域それぞれに対応する複数の画像を、前記撮像画像から抽出する抽出手段と、
(d)前記抽出手段で抽出された複数の画像に対して所定の統合処理を施し、１の統合画像を生成する画像統合手段と、
(e)前記１の統合画像を圧縮処理した送信データを、前記画像受信装置に送信する送信手段と、
を備え、
前記所定の統合処理は、前記複数の画像について１以上の画像を変倍して生成された複数の送信用画像を統合する処理であることを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記送信データは、動画ストリームに関するデータであることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記送信手段は、
(e-1)時間軸方向に関する圧縮処理を行って前記送信データを生成する圧縮手段、
を有することを特徴とする撮像装置。
【請求項５】
画像データを送信可能な撮像装置と画像受信装置とを有する画像配信システムであって、
前記撮像装置は、
(a-1)被写体を撮像して撮像画像を取得する撮像手段と、
(a-2)前記撮像画像に対して、画像サイズが異なる複数の領域を設定する設定手段と、
(a-3)前記設定手段で設定される前記複数の領域それぞれに対応する複数の画像を、前記撮像画像から抽出する抽出手段と、
(a-4)前記抽出手段で抽出された複数の画像それぞれを変倍し、複数の送信用画像を生成する画像変倍手段と、
(a-5)前記複数の送信用画像を圧縮処理した送信データを、前記画像受信装置に送信する送信手段と、
を備え、
前記複数の送信用画像は、それぞれ所定の画像サイズを有するとともに、
前記画像受信装置は、
(b-1)画像表示が可能な表示手段と、
(b-2)前記送信データを受信する受信手段と、
(b-3)前記受信手段で受信した前記送信データを伸張処理し、前記複数の送信用画像を表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像配信システム。
【請求項６】
画像データを送信可能な撮像装置と画像受信装置とを有する画像配信システムであって、
前記撮像装置は、
(a-1)被写体を撮像して撮像画像を取得する撮像手段と、
(a-2)前記撮像画像に対して、画像サイズが異なる複数の領域を設定する設定手段と、
(a-3)前記設定手段で設定される前記複数の領域それぞれに対応する複数の画像を、前記撮像画像から抽出する抽出手段と、
(a-4)前記抽出手段で抽出された複数の画像に対して所定の統合処理を施し、１の統合画像を生成する画像統合手段と、
(a-5)前記１の統合画像を圧縮処理した送信データを、前記画像受信装置に送信する送信手段と、
を備え、
前記所定の統合処理は、前記複数の画像について１以上の画像を変倍して生成された複数の送信用画像を統合する処理であるとともに、
前記画像受信装置は、
(b-1)画像表示が可能な表示手段と、
(b-2)前記送信データを受信する受信手段と、
(b-3)前記受信手段で受信した前記送信データを伸張処理し、前記複数の送信用画像を表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像配信システム。
【請求項７】
請求項５または請求項６に記載の画像配信システムにおいて、
前記送信データは、動画ストリームに関するデータであることを特徴とする画像配信システム。
【請求項８】
請求項７に記載の画像配信システムにおいて、
前記送信手段は、
時間軸方向に関する圧縮処理を行って前記送信データを生成する圧縮手段、
を有することを特徴とする画像配信システム。
【請求項９】
請求項５ないし請求項８のいずれかに記載の画像配信システムにおいて、
前記表示制御手段は、
前記複数の送信用画像を並列的に表示させる手段、
を有することを特徴とする画像配信システム。
【請求項１０】
請求項５ないし請求項８のいずれかに記載の画像配信システムにおいて、
前記表示制御手段は、
前記複数の送信用画像を別々のウィンドウに表示させる手段、
を有することを特徴とする画像配信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを送信可能な撮像装置の技術に関する。
【背景技術】
【０００２】
監視カメラ(撮像装置)によって店舗などの監視を行う場合には、監視領域の全体画像から不審な人物など注視すべき画像領域(以下では「注視領域」ともいう)を判別する。このような場合、監視領域の全体画像を単に表示用モニタに表示したのでは人物の顔が判別できないなど注視領域の解像度が不足するため、監視カメラでズーミングなどを行い注視領域を拡大する動作が必要となる。
【０００３】
しかし、上記の監視技術では、注視領域の拡大中は他の領域が監視できないため、注視領域以外の監視領域に不審人物が出現した場合など、新たに注視領域が発生しても視認できないという問題がある。また、注視領域の拡大等には監視カメラにおけるパン・チルト・ズーム駆動が必要であり、操作が煩雑である。
【０００４】
そこで、常に監視領域の全体を確認でき、同時に注視領域を詳細に視認できる監視技術として、撮像画像の全体を低解像度に変換した全体画像データと、撮像画像から注視領域をトリミングしたトリミング画像データとを作成し、これらの画像データを記録・転送する監視システムが提案されている(特許文献１参照)。
【０００５】
【特許文献１】特開２００４−１２０３４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の特許文献１の監視技術では、注視領域の解像度(画像サイズ)は一定に固定され、全体画像データとトリミング画像データとはそれぞれ独立した画像として記録・転送されるため、次の問題が生じる。
【０００７】
監視すべき人物が監視カメラから遠い場合と近い場合とでは撮像画像上の大きさが変化するが、注視領域の解像度は一定であるため、注視領域内での人物の大きさが変化することとなり、人物の判別にとって不便となる。
【０００８】
また、全体画像データとトリミング画像データという２種類の映像系列を並行して圧縮処理する必要があるが、時間軸方向の情報を用いた画像圧縮方式を用いる場合には実装上の制限が生じる。すなわち、Ｐフレームを用いるＭＰＥＧ方式など、時間軸方向の情報を利用して高圧縮率を実現する画像圧縮方式では、過去の画像データとの比較が必要であるため、全体画像データとトリミング画像データとを交互に切替えて圧縮処理する場合には、それぞれ過去の画像データを保持しておき、全体画像データとトリミング画像データとの圧縮処理の切替えに応じて参照する過去の画像データを切替える動作が必要となる。このような切替動作については、画像の圧縮処理をハードウェアで行うＡＳＩＣ等で実現するのは難しいため、ＡＳＩＣの実装が制限されることとなり、不便である。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、撮像画像に基づく画像配信について利便性を向上できる撮像装置の技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、請求項１の発明は、画像データを画像受信装置に送信可能な撮像装置であって、(a)被写体を撮像して撮像画像を取得する撮像手段と、(b)前記撮像画像に対して、画像サイズが異なる複数の領域を設定する設定手段と、(c)前記設定手段で設定される前記複数の領域それぞれに対応する複数の画像を、前記撮像画像から抽出する抽出手段と、(d)前記抽出手段で抽出された複数の画像それぞれを変倍し、複数の送信用画像を生成する画像変倍手段と、(e)前記複数の送信用画像を圧縮処理した送信データを、前記画像受信装置に送信する送信手段とを備え、前記複数の送信用画像は、それぞれ所定の画像サイズを有する。
【００１１】
また、請求項２の発明は、画像データを画像受信装置に送信可能な撮像装置であって、(a)被写体を撮像して撮像画像を取得する撮像手段と、(b)前記撮像画像に対して、画像サイズが異なる複数の領域を設定する設定手段と、(c)前記設定手段で設定される前記複数の領域それぞれに対応する複数の画像を、前記撮像画像から抽出する抽出手段と、(d)前記抽出手段で抽出された複数の画像に対して所定の統合処理を施し、１の統合画像を生成する画像統合手段と、(e)前記１の統合画像を圧縮処理した送信データを、前記画像受信装置に送信する送信手段とを備え、前記所定の統合処理は、前記複数の画像について１以上の画像を変倍して生成された複数の送信用画像を統合する処理である。
【００１２】
また、請求項３の発明は、請求項１または請求項２の発明に係る撮像装置において、前記送信データは、動画ストリームに関するデータである。
【００１３】
また、請求項４の発明は、請求項３の発明に係る撮像装置において、前記送信手段は、(e-1)時間軸方向に関する圧縮処理を行って前記送信データを生成する圧縮手段を有する。
【００１４】
また、請求項５の発明は、画像データを送信可能な撮像装置と画像受信装置とを有する画像配信システムであって、前記撮像装置は、(a-1)被写体を撮像して撮像画像を取得する撮像手段と、(a-2)前記撮像画像に対して、画像サイズが異なる複数の領域を設定する設定手段と、(a-3)前記設定手段で設定される前記複数の領域それぞれに対応する複数の画像を、前記撮像画像から抽出する抽出手段と、(a-4)前記抽出手段で抽出された複数の画像それぞれを変倍し、複数の送信用画像を生成する画像変倍手段と、(a-5)前記複数の送信用画像を圧縮処理した送信データを、前記画像受信装置に送信する送信手段とを備え、前記複数の送信用画像は、それぞれ所定の画像サイズを有するとともに、前記画像受信装置は、(b-1)画像表示が可能な表示手段と、(b-2)前記送信データを受信する受信手段と、(b-3)前記受信手段で受信した前記送信データを伸張処理し、前記複数の送信用画像を表示手段に表示させる表示制御手段とを備える。
【００１５】
また、請求項６の発明は、画像データを送信可能な撮像装置と画像受信装置とを有する画像配信システムであって、前記撮像装置は、(a-1)被写体を撮像して撮像画像を取得する撮像手段と、(a-2)前記撮像画像に対して、画像サイズが異なる複数の領域を設定する設定手段と、(a-3)前記設定手段で設定される前記複数の領域それぞれに対応する複数の画像を、前記撮像画像から抽出する抽出手段と、(a-4)前記抽出手段で抽出された複数の画像に対して所定の統合処理を施し、１の統合画像を生成する画像統合手段と、(a-5)前記１の統合画像を圧縮処理した送信データを、前記画像受信装置に送信する送信手段とを備え、前記所定の統合処理は、前記複数の画像について１以上の画像を変倍して生成された複数の送信用画像を統合する処理であるとともに、前記画像受信装置は、(b-1)画像表示が可能な表示手段と、(b-2)前記送信データを受信する受信手段と、(b-3)前記受信手段で受信した前記送信データを伸張処理し、前記複数の送信用画像を表示手段に表示させる表示制御手段とを備える。
【００１６】
また、請求項７の発明は、請求項５または請求項６の発明に係る画像配信システムにおいて、前記送信データは、動画ストリームに関するデータである。
【００１７】
また、請求項８の発明は、請求項７の発明に係る画像配信システムにおいて、前記送信手段は、時間軸方向に関する圧縮処理を行って前記送信データを生成する圧縮手段を有する。
【００１８】
また、請求項９の発明は、請求項５ないし請求項８のいずれかの発明に係る画像配信システムにおいて、前記表示制御手段は、前記複数の送信用画像を並列的に表示させる手段を有する。
【００１９】
また、請求項１０の発明は、請求項５ないし請求項８のいずれかの発明に係る画像配信システムにおいて、前記表示制御手段は、前記複数の送信用画像を別々のウィンドウに表示させる手段を有する。
【発明の効果】
【００２０】
請求項１、請求項３ないし請求項５、および請求項７ないし請求項１０の発明によれば、画像サイズが異なる複数の領域それぞれに対応する複数の画像を撮像画像から抽出し、抽出された複数の画像それぞれを変倍して、所定の画像サイズを有する複数の送信用画像を生成する。そして、これらの送信用画像を圧縮処理した送信データを画像受信装置に送信する。その結果、撮像画像に基づく画像配信について利便性を向上できる。
【００２１】
また、請求項２ないし請求項４、および請求項６ないし請求項１０の発明によれば、画像サイズが異なる複数の領域それぞれに対応する複数の画像を撮像画像から抽出し、抽出された複数の画像について１以上の画像を変倍して生成された複数の送信用画像を統合する処理を施し、１の統合画像を生成する。そして、この統合画像を圧縮処理した送信データを画像受信装置に送信する。その結果、撮像画像に基づく画像配信について利便性を向上できる。
【００２２】
また、請求項３および請求項７の発明においては、送信データが動画ストリームに関するデータであるため、動画ストリームの配信について利便性が向上する。
【００２３】
また、請求項４および請求項８の発明においては、時間軸方向に関する圧縮処理を行って送信データを生成するため、高圧縮率の送信データを簡易に生成できる。
【００２４】
また、請求項９の発明においては、複数の送信用画像を並列的に表示させるため、これらの画像の視認が容易になる。
【００２５】
また、請求項１０の発明においては、複数の送信用画像を別々のウィンドウに表示させるため、これらの画像の視認が容易になる。
【発明を実施するための最良の形態】
【００２６】
＜第１実施形態＞
＜ネットワークカメラの構成＞
図１は、本発明の第１実施形態に係るネットワークカメラ１Ａの機能構成を示すブロック図である。
【００２７】
ネットワークカメラ１Ａは、例えばインターネットなどのネットワークを利用して画像を配信する撮像装置として構成されている。
【００２８】
このネットワークカメラ１Ａは、撮像部２と、撮像部２から出力された撮影画像を画像処理する画像処理回路３Ａと、画像処理回路３Ａとデータ伝送可能に接続する記憶部４Ａとを備えている。また、ネットワークカメラ１Ａは、画像処理回路３Ａと伝送可能に接続するフラッシュＲＯＭ５１とネットワーク・コントローラ５２とを備えている。このネットワーク・コントローラ５２は、例えばEthernet（登録商標）を用いたネットワークを介して、撮像部２で取得した画像データを外部の端末９(図２参照)に送信する。
【００２９】
撮像部２は、撮影レンズ２１(図２参照)と、撮影レンズ２１で結像された被写体光像を光電変換し画像信号として出力する撮像素子２２(図２参照)とを有している。この撮像素子２２は、例えば１２８０×９６０画素を有してＹＣＣ４２２出力を行うＣＭＯＳセンサとして構成されている。
【００３０】
画像処理回路３Ａは、画像処理専用チップである画像処理ＡＳＩＣとして構成されており、画像処理部３１Ａと、メモリ制御部３２と、全体制御部３３とを備えている。
【００３１】
画像処理部３１Ａは、撮像部２で取得された画像の解像度を変更して変倍する変倍部３１１と、画像をＪＰＥＧ方式で圧縮するＪＰＥＧエンコード部３１２とを有している。
【００３２】
メモリ制御部３２は、記憶部４Ａとの間で画像データ等の授受を制御する部位である。
【００３３】
全体制御部３３は、ＣＰＵおよびＤＭＡコントローラとして機能する。すなわち、全体制御部３３は、ネットワークカメラ１Ａの各部の制御やネットワークカメラ１Ａ外部との通信制御を行うとともに、記憶部４Ａにアクセスしてデータの入出力制御を行う。
【００３４】
記憶部４Ａは、ＳＤＲＡＭとして構成されており、１２８０×９６０画素分の画像データを格納する画像バッファＩ４１と、６４０×２４０画素分の画像データを格納する画像バッファII４２と、ＪＰＥＧエンコード部３１２で圧縮された画像データを格納するＪＰＥＧデータ用のバッファ４３とが割当てられている。
【００３５】
＜ネットワークカメラ１Ａの動作＞
図２は、ネットワークカメラ１Ａにおける画像配信の動作を説明するための図である。
【００３６】
ネットワークカメラ１Ａは、外部の端末９に撮影画像に基づく画像配信を行えるが、この画像配信を行う画像配信システム１０Ａの動作を、以下で説明する。ここで、端末(画像受信装置)９は、例えばパーソナルコンピュータ(以下では「ＰＣ」とも称する)として構成されており、マウスおよびキーボードからなる操作部９１と、例えば液晶ディスプレイとして構成され画像表示が可能な表示部９２と、ハードディスク(ＨＤＤ)を有しネットワークカメラ１Ａからの送信データを受信する本体部９３とを備えている。
【００３７】
ネットワークカメラ１Ａにおいては、経路(矢印で図示)Ｐ１〜Ｐ５に沿って順次に画像データが伝達・処理されることで、端末９に配信するための送信データが生成されることとなるが、各経路Ｐ１〜Ｐ５の処理について順に説明する。
【００３８】
(１)経路Ｐ１について
まず、撮影レンズ２１を介して入射された被写体光像は、１２８０×９６０画素を有する撮像素子２２で光電変換されてアナログ画像信号が生成される。そして、この画像信号は、画像処理回路３Ａに入力されてＡ／Ｄ変換や画像処理が施され、撮像素子２２の画素数と同じ１２８０×９６０画素の画像データを記憶する画像バッファＩ４１に、撮像画像Ｇｏとして書き込まれる。
【００３９】
(２)経路Ｐ２について
ネットワークカメラ１Ａの撮像範囲と監視したい監視領域とは、ネットワークカメラ１Ａの設置上の制約等から必ずしも一致するとは限らない。そこで、本実施形態では、撮像画像Ｇｏの一部に相当する１１２０×８４０画素の画像領域を監視領域Ｇａと考えることとする。
【００４０】
上記の監視領域Ｇａを、画像バッファＩ４１に格納される１２８０×９６０画素の撮像画像Ｇｏから抽出し、画像処理回路３Ａ内の変倍部３１１に入力する。そして、変倍部３１１において、入力された監視領域Ｇａの画像を縦横とも１／３.５に縮小し、３２０×２４０画素の画像サイズを有する全体画像Ｇ１として、画像バッファII４２の左半分に書き込む。
【００４１】
(３)経路Ｐ３について
画像バッファＩ４１に格納される撮像画像Ｇｏから、例えば端末９の操作部９１によりユーザが注視領域として指定した位置・大きさに対応する注視領域Ｇｂを抽出し、画像処理回路３Ａ内の変倍部３１１に入力する。そして、変倍部３１１において、入力された注視領域Ｇｂの画像のスケーリングを行い、３２０×２４０画素の画像サイズを有する注視画像Ｇ２として、画像バッファII４２の右半分に書き込む。この際には、ＪＰＥＧエンコード部３１２で記録させるデータとして、監視領域Ｇｂの位置・大きさの情報を画像バッファII４２の付帯情報として保持させるようにする。
【００４２】
以上の経路Ｐ２および経路Ｐ３の処理を行うことにより、画像バッファII４２では、左半分に監視領域Ｇａの全体を縮小した広角の全体画像Ｇ１が記憶され、右半分に監視領域Ｇａの一部に相当する注視領域Ｇｂを縮小した狭画角の注視画像Ｇ２が記憶されるとともに、これらが合成された６４０×２４０画素の統合画像Ｇｓが生成される。
【００４３】
すなわち、撮像画像Ｇｏに対して画像サイズが異なる２つの画像領域（監視領域Ｇａ、注視領域Ｇｂ）を設定し、これらの画像領域それぞれに対応する２つの画像が撮像画像Ｇｏから抽出される。そして、抽出された２つの画像それぞれを変倍部３１１で変倍して画像バッファII４２に書き込むことにより、２つの送信用画像（全体画像Ｇ１、注視画像Ｇ２）が生成されるとともに、これらの送信用画像が統合された１枚の統合画像Ｇｓが作成されることとなる。
【００４４】
(４)経路Ｐ４について
画像バッファII４２に格納される統合画像Ｇｓを読み出し、ＪＰＥＧエンコード部３１２に入力する。そして、ＪＰＥＧエンコード部３１２において、統合画像Ｇｓを圧縮して生成したＪＰＥＧデータを、記憶部４ＡのＪＰＥＧデータ用のバッファ４３に書き込む。この場合、ＪＰＥＧエンコード部３１２では、画像バッファII４２で保持している注視領域Ｇｂの位置・大きさの情報を、圧縮画像データのＪＰＥＧヘッダーに記録する。
【００４５】
(５)経路Ｐ５について
ＪＰＥＧデータ用のバッファ４３に格納される統合画像Ｇｓの圧縮画像データを読み出し、ネットワーク・コントローラ５２を介して、ネットワークＮＥに送出する。これにより、２つの送信用画像(全体画像Ｇ１、注視画像Ｇ２)を圧縮処理した送信データ、つまり統合画像Ｇｓを圧縮処理した送信データが端末９に送信されることとなる。
【００４６】
以上の経路Ｐ１〜Ｐ５の処理を、ネットワークカメラ１Ａにおいて指定されたフレームレートで繰り返すことにより、ＭＪＰＥＧの動画ストリームが、ネットワークＮＥを介してネットワークカメラ１Ａから端末９に配信されることとなる。
【００４７】
動画ストリームを受信した端末９では、本体部９３でＪＰＥＧデータ（送信データ）をデコード(伸張処理)し、表示部９２に６４０×２４０画素の統合画像Ｇｓを表示する。これにより、ユーザは、監視領域全体に対応する全体画像Ｇ１と、監視領域の一部に対応する注視画像Ｇ２とを同時に視認できる。
【００４８】
ネットワークカメラ１Ａから送られた動画ストリームを受信した端末９においては、受信したストリームデータを本体部９３内のＨＤＤに保存すれば、後から検索・再生することが可能となる。
【００４９】
なお、配信された圧縮画像データのＪＰＥＧヘッダーに記録される注視領域Ｇｂの位置・大きさの情報に基づき、全体画像Ｇ１の画像中に注視画像Ｇ２に対応する部分を枠として明示したり、拡大した全体画像Ｇ１の画像中に注視画像Ｇ２を嵌め込んだ合成画像を作成して表示しても良い。
【００５０】
以上の画像配信システム１０Ａの動作により、撮像画像における監視領域および注視領域の各画像を変倍し、１枚の統合画像として圧縮・配信するため、圧縮処理が容易となり、また受信側では監視領域と注視領域との視認が容易となる。その結果、撮像画像に基づく画像配信について利便性を向上できることとなる。
【００５１】
また、ネットワークカメラ１Ａでは、同一時刻に撮影された監視領域Ｇａの画像と注視領域Ｇｂの画像とは１枚の統合画像Ｇｓに結合して配信するため、受信側の端末で保存、検索、再生する際には、特別な処理を行なう必要がなく、常に対応した全体画像Ｇ１と注視画像Ｇ２とが得られ、装置構成を簡素化できる。
【００５２】
＜第２実施形態＞
＜ネットワークカメラの構成＞
図３は、本発明の第２実施形態に係るネットワークカメラ１Ｂの機能構成を示すブロック図である。
【００５３】
ネットワークカメラ１Ｂは、第１実施形態のネットワークカメラ１Ａと類似の構成を有しているが、画像処理部と記憶部との構成が異なっている。
【００５４】
すなわち、ネットワークカメラ１Ｂの画像処理部３１Ｂは、第１実施形態と同様の変倍部３１１と、時間軸方向の情報を用いた圧縮方式であるＭＰＥＧ４方式で画像の圧縮処理を行うＭＰＥＧ４エンコード部３１３と、人物抽出・追跡部３１４とを有している。
【００５５】
人物抽出・追跡部３１４は、撮像部２で撮影し取得された画像に基づき人物を抽出してその追跡を行うことが可能である。この人物の抽出・追跡については、例えば順次に撮影される画像から人物の判別において特徴部分となる眼および脚を画像処理によって検出することで、人物が抽出されて追跡が行える。すなわち、人物の大きさを規定する眼および脚の双方を検出することにより、撮像画像における人物(注視領域)の位置および大きさの情報が得られることとなる。
【００５６】
記憶部４Ｂは、ＳＤＲＡＭとして構成されており、第１実施形態と同じ容量の画像バッファＩ４１と、画像バッファII４４と、ＭＰＥＧ４エンコード部３１３で圧縮された画像データを格納するＭＰＥＧ４データ用のバッファ４５とが割当てられている。
【００５７】
画像バッファII４４は、４８０×２４０画素分の画像データを格納する記憶容量を有している。これは、後述のように監視領域の全体を縮小した３２０×２４０画素の全体画像と、人物の立像を想定した縦長の注視領域を縮小した１６０×２４０画素の注視画像とを１枚の画像に統合すると、４８０×２４０画素の画像サイズとなるためである。
【００５８】
＜ネットワークカメラ１Ｂの動作＞
図４は、ネットワークカメラ１Ｂにおける画像配信の動作を説明するための図である。
【００５９】
ネットワークカメラ１Ｂは、第１実施形態と同様に外部の端末９に撮影画像に基づく画像配信を行えるが、この画像配信を行う画像配信システム１０Ｂの動作を、以下で順に説明する。
【００６０】
ネットワークカメラ１Ｂにおいては、経路(矢印で図示)Ｑ１〜Ｑ６に沿って順次に画像データが伝達・処理されることで、端末９に配信するための送信データが生成されることとなるが、各経路Ｑ１〜Ｑ６の処理について順に説明する。
【００６１】
(１)経路Ｑ１について
まず、撮影レンズ２１を介して入射された被写体光像は、１２８０×９６０画素を有する撮像素子２２で光電変換されてアナログ画像信号が生成される。そして、この画像信号は、画像処理回路３Ｂに入力されてＡ／Ｄ変換や画像処理が施された後に、撮像素子２２の画素数と同じ１２８０×９６０画素の画像データを記憶する画像バッファＩ４１に、撮像画像Ｇｏとして書き込まれる。
【００６２】
(２)経路Ｑ２について
画像バッファＩ４１に格納される撮像画像Ｇｏを監視領域全体を表す画像として読み出し、画像処理回路３Ｂ内の変倍部３１１に入力する。そして、変倍部３１１において、入力された撮像画像Ｇｏを縦横とも１／４に縮小し、３２０×２４０画素の画像サイズを有する全体画像Ｇ１０として画像バッファII４４の左側に書き込む。
【００６３】
(３)経路Ｑ３について
画像バッファＩ４１に格納される撮像画像Ｇｏを読み出し、画像処理回路３Ｂ内の人物抽出・追跡部３１４に入力する。そして、人物抽出・追跡部３１４において、入力された撮像画像Ｇｏに基づき人物を検出し、その人物の位置および大きさに応じた注視領域Ｇｃを設定する。なお、人物抽出・追跡部３１４において撮像画像Ｇｏから人物が検出されない場合には、撮像画像Ｇｏにおいて予め定められている位置・大きさの注視領域が設定される。
【００６４】
(４)経路Ｑ４について
画像バッファＩ４１に格納される撮像画像Ｇｏから、人物抽出・追跡部３１４で設定された注視領域Ｇｃを抽出し、画像処理回路３Ｂ内の変倍部３１１に入力する。そして、変倍部３１１において、入力された注視領域Ｇｃの画像のスケーリングを行い、１６０×２４０画素の画像サイズを有する注視画像Ｇ１１として、画像バッファII４４の右側に書き込む。
【００６５】
以上の経路Ｑ２および経路Ｑ４の処理を行うことにより、画像バッファII４４では、左側に撮像画像Ｇｏを縮小した広角の全体画像Ｇ１０が記憶され、右側に人物抽出・追跡部３１４で抽出された注視領域Ｇｃを縮小した狭画角の注視画像Ｇ１１が記憶されるとともに、これらが合成された４８０×２４０画素の統合画像Ｇｔが生成される。
【００６６】
すなわち、撮像画像Ｇｏに対して画像サイズが異なる２つの画像領域（撮像画像Ｇｏの全体領域、注視領域Ｇｃ）を設定し、これらの画像領域それぞれに対応する２つの画像が撮像画像Ｇｏから抽出される。そして、抽出された２つの画像それぞれを変倍部３１１で変倍して画像バッファII４４に書き込むことにより、２つの送信用画像（全体画像Ｇ１０、注視画像Ｇ１１）が生成されるとともに、これらの送信用画像が統合された１枚の統合画像Ｇｔが作成されることとなる。
【００６７】
(５)経路Ｑ５について
画像バッファII４４に格納される統合画像Ｇｔを読み出し、ＭＰＥＧ４エンコード部３１３に入力する。そして、ＭＰＥＧ４エンコード部３１３において、統合画像Ｇｔを圧縮して生成したＭＰＥＧ４データを、記憶部４ＢのＭＰＥＧ４データ用のバッファ４５に書き込む。
【００６８】
(６)経路Ｑ６について
ＭＰＥＧ４データ用のバッファ４５に格納される統合画像Ｇｔの圧縮画像データを読み出し、ネットワーク・コントローラ５２を介して、ネットワークＮＥに送出する。これにより、２つの送信用画像(全体画像Ｇ１０、注視画像Ｇ１１)を圧縮処理した送信データ、つまり統合画像Ｇｔを圧縮処理した送信データが端末９に送信されることとなる。
【００６９】
以上の経路Ｑ１〜Ｑ６の処理を、ネットワークカメラ１Ｂにおいて指定されたフレームレートで繰り返すことにより、ＭＰＥＧ４の動画ストリームが、ネットワークＮＥを介してネットワークカメラ１Ａから端末９に配信されることとなる。
【００７０】
動画ストリームを受信した端末９では、本体部９３でＭＰＥＧ４データ（送信データ）をデコード(伸張処理)し、表示部９２に４８０×２４０画素の統合画像Ｇｔを表示する。これにより、ユーザは、監視領域全体に対応する全体画像Ｇ１０と、監視領域の一部に対応する注視画像Ｇ１１とを同時に視認できる。
【００７１】
ネットワークカメラ１Ａから送られた動画ストリームを受信した端末９においては、受信したストリームデータを本体部９３内のＨＤＤに保存すれば、後から検索・再生することが可能となる。
【００７２】
以上の画像配信システム１０Ｂの動作により、撮像画像と人物に応じた大きさの注視領域の画像とを変倍し、１枚の統合画像として圧縮・配信するため、圧縮処理が容易となり、また受信側では監視領域と注視領域との視認が容易となる。その結果、撮像画像に基づく画像配信について利便性を向上できることとなる。
【００７３】
また、ネットワークカメラ１Ｂでは、同一時刻に撮影された撮像画像（監視領域の全体画像）Ｇｏと注視領域Ｇｃの画像(詳細画像)とは１枚の統合画像Ｇｔに結合して配信するため、受信側の端末で保存、検索、再生する際には、特別な処理を行なう必要がなく、１つのＭＰＥＧ４ストリームをデコードすることで常に対応した全体画像Ｇ１０と注視画像Ｇ１１とが得られ、装置構成を簡素化できる。
【００７４】
＜第３実施形態＞
本発明の第３実施形態に係るネットワークカメラ１Ｃについては、図３に示す第２実施形態のネットワークカメラ１Ｂと類似の構成を有しているが、画像バッファIIの構成が異なっている。
【００７５】
すなわち、ネットワークカメラ１Ｃの画像バッファII４６は、８００×２４０画素分の画像データを格納する容量を有している。本実施形態のネットワークカメラ１Ｃにおいては、１人の人物抽出に限定する第２実施形態のネットワークカメラ１Ｂと異なり、最大３人の人物抽出が可能である。そこで、抽出された各注視領域を縮小した１６０×２４０画素の画像３枚分と、監視領域全体を縮小した３２０×２４０画素の画像とを記憶できるように、画像バッファII４６の記憶容量を８００×２４０画素の画像サイズに設定している。
【００７６】
＜ネットワークカメラ１Ｃの動作＞
図５は、ネットワークカメラ１Ｃにおける画像配信の動作を説明するための図である。また、図６は、追跡している人物が監視領域外に出る場合の具体例を説明する図である。なお、図６において、ケース１は監視領域内に３人の人物が検出される場合を示し、ケース２は監視領域外に１人の人物が移動した場合を示している。
【００７７】
ネットワークカメラ１Ｃは、第２実施形態と同様に外部の端末９に撮影画像に基づく画像配信を行えるが、この画像配信を行う画像配信システム１０Ｃの動作を、以下で説明する。
【００７８】
ネットワークカメラ１Ｃにおいては、図５に示す経路Ｒ１〜Ｒ６に沿って順次に画像データが伝達・処理されることで、端末９に配信するための送信データが生成されることとなるが、各経路Ｒ１〜Ｒ６の処理について、図６を適宜参照しつつ順に説明する。
【００７９】
(１)経路Ｒ１について
第２実施形態と同様に、撮像素子２２から出力された画像信号が画像処理回路３Ｂに入力されてＡ／Ｄ変換や画像処理が施された後に、撮像素子２２の画素数と同じ１２８０×９６０画素の画像データを記憶する画像バッファＩ４１に、撮像画像Ｇｏとして書き込まれる。
【００８０】
(２)経路Ｒ２について
画像バッファＩ４１に格納される撮像画像Ｇｏを監視領域全体を表す画像として読み出し、画像処理回路３Ｂ内の変倍部３１１に入力する。そして、変倍部３１１において、入力された撮像画像Ｇｏを縦横とも１／４に縮小し、３２０×２４０画素の全体画像Ｇ１０として画像バッファII４６の左側に書き込む。
【００８１】
(３)経路Ｒ３について
画像バッファＩ４１に格納される撮像画像Ｇｏを読み出し、画像処理回路３Ｂ内の人物抽出・追跡部３１４に入力する。そして、人物抽出・追跡部３１４において、入力された撮像画像Ｇｏに基づき最大３人まで人物を検出し、それらの人物の位置および大きさに応じた各注視領域Ｇｄ１〜３を設定し、各注視領域Ｇｄ１〜３に領域番号１〜３の番号付けを行って、その位置と大きさとを人物抽出・追跡部３１４に保存する。
【００８２】
この番号付けでは、人物抽出・追跡部３１４に保存される過去の抽出結果を参照し、各注視領域Ｇｄ１〜３に関する現在の位置・大きさ・移動ベクトル等の情報に基づき、各注視領域Ｇｄ１〜３の前回抽出結果の領域番号と一致させるようにする。
【００８３】
また、図６のように各注視領域Ｇｄ１〜３の各人物を追跡中に、追跡している人物が監視領域(撮像範囲)外に出た場合や、検出される人物が３人未満となる場合には、領域番号に注視領域が未設定である旨を表すフラグ(以下では「領域未設定フラグ」という)を入力する。
【００８４】
(４)経路Ｒ４について
画像バッファＩ４１に格納される撮像画像Ｇｏから、人物抽出・追跡部３１４で設定された各注視領域Ｇｄ１〜３を抽出し、画像処理回路３Ｂ内の変倍部３１１に入力する。そして、変倍部３１１において注視領域Ｇｄ１〜３のうち領域未設定フラグが設定されていない注視領域の画像を領域番号の順に変倍し、１６０×２４０画素の各注視画像Ｇ２１〜２３として画像バッファII４６の右側に書き込む(経路Ｒ４１〜４３参照)。ただし、抽出される人物が３人未満となる場合には、画像バッファII４６において人物を含まない注視画像に既定値(例えば黒色)を入力してクリアする。
【００８５】
以上の経路Ｒ２および経路Ｒ４の処理を行うことにより、画像バッファII４６では、左側に撮像画像Ｇｏを縮小した広角の全体画像Ｇ２０が記憶され、右側に人物抽出・追跡部３１４で抽出された各注視領域Ｇｄ１〜３を縮小した狭画角の注視画像Ｇ２１〜２３が記憶されるとともに、これらが合成された８００×２４０画素の統合画像Ｇｕが生成される。
【００８６】
(５)経路Ｒ５について
画像バッファII４６に格納される統合画像Ｇｕを読み出し、ＭＰＥＧ４エンコード部３１３に入力する。そして、ＭＰＥＧ４エンコード部３１３において、統合画像Ｇｕを圧縮して生成したＭＰＥＧ４データを、記憶部４ＣのＭＰＥＧ４データ用のバッファ４５に書き込む。
【００８７】
ＭＰＥＧ４エンコード部３１３では、例えば図６に示すケース１からケース２に移行する場合のように、領域番号２が付された人物が監視領域外に出て、人物抽出・追跡部３１４による注視領域の抽出結果に変化が生じる場合には、ＭＰＥＧ４のＧＯＰヘッダのユーザデータ部の内容を変更する。具体的には、ケース１において注視画像１〜３に対して領域番号１〜３が付されていたものを、ケース２では、注視画像２に対してケース１での番号付けを踏襲して領域番号３を付すとともに、注視画像３に対して領域未設定フラグを付与する。
【００８８】
ＭＰＥＧ４エンコード部３１３では、注視画像に上記の領域未設定フラグが付されているか否か、つまり各注視画像が有効か無効かに関わらず、８００×２４０画素の統合画像Ｇｕの全体をエンコードする。
【００８９】
(６)経路Ｒ６について
ＭＰＥＧ４データ用のバッファ４５に格納される統合画像Ｇｕの圧縮画像データを読み出し、ネットワーク・コントローラ５２を介して、ネットワークＮＥに送出する。
【００９０】
以上の経路Ｒ１〜Ｒ６の処理を、ネットワークカメラ１Ｃにおいて指定されたフレームレートで繰り返すことにより、ＭＰＥＧ４の動画ストリームが、ネットワークＮＥを介してネットワークカメラ１Ａから端末９に配信されることとなる。
【００９１】
動画ストリームを受信した端末９では、本体部９３でＭＰＥＧ４データをデコードし、表示部９２に統合画像Ｇｕに基づく表示を行う。この際には、ＭＰＥＧ４データのＧＯＰヘッダのユーザデータ部を参照することにより各注視画像に対応した領域番号を取得する。そして、各注視画像の表示の際には、注視画像の領域番号は追跡している人物に対応させているため、図６に示すように領域番号毎に同じ画面の位置に表示させるようにする。
【００９２】
ネットワークカメラ１Ａから送られた動画ストリームを受信した端末９においては、受信したストリームデータを本体部９３内のＨＤＤに保存すれば、後から検索・再生することが可能となる。
【００９３】
以上の画像配信システム１０Ｃの動作により、上記の画像配信システム１Ｂと同様の効果を発揮する。また、監視領域において複数の注視領域を設定できるため、監視の利便性が一層向上する。
【００９４】
なお、画像配信システム１０Ｃにおいては、領域未設定フラグの有無により有効な注視画像の数が変化する場合には、ＭＰＥＧ４データのＶＯＬを変更し画像サイズを例えば８００×２４０画素から６４０×２４０画素に切替えて、有効な注視画像のみと全体画像とからなる統合画像をＭＰＥＧ４エンコード部３１３でエンコードするようにしても良い。
【００９５】
＜変形例＞
◎上記の第１実施形態においては、図２に示すように端末９の表示部９２に全体画像Ｇ１と注視画像Ｇ２とを並列的に表示させるのは必須でなく、全体画像Ｇ１と注視画像Ｇ２とを分離して、図７に示すように別々のウィンドウに表示させるようにしても良い。
【００９６】
同様に、上記の第２実施形態についても、３２０×２４０画素の全体画像Ｇ１０と、１６０×２４０画素の注視画像Ｇ１１とを分離して別々のウィンドウに表示させるようにしても良い。
【００９７】
◎上記の各実施形態における撮像素子については、ＣＭＯＳセンサを採用するのは必須でなく、ＲＧＢ各画素についてベイヤー配列されたＣＣＤを採用しても良い。
【００９８】
◎上記の各実施形態においては、画像バッファＩに保存された撮像画像を読出して変倍処理を行うのは必須でなく、撮像された画像を画像バッファＩに保存する処理と並行して変倍処理を行い画像バッファIIに書き込むようにしても良い。
【図面の簡単な説明】
【００９９】
【図１】本発明の第１実施形態に係るネットワークカメラ１Ａの機能構成を示すブロック図である。
【図２】ネットワークカメラ１Ａにおける画像配信の動作を説明するための図である。
【図３】本発明の第２実施形態に係るネットワークカメラ１Ｂの機能構成を示すブロック図である。
【図４】ネットワークカメラ１Ｂにおける画像配信の動作を説明するための図である。
【図５】本発明の第３実施形態に係るネットワークカメラ１Ｃにおける画像配信の動作を説明するための図である。
【図６】追跡している人物が監視領域外に出る場合の具体例を説明する図である。
【図７】本発明の変形例に係る配信画像の表示を説明するための図である。
【符号の説明】
【０１００】
１Ａ〜１Ｃ  ネットワークカメラ
２  撮像部
３Ａ、３Ｂ  画像処理回路
４Ａ〜４Ｃ  記憶部
９  端末
１０Ａ〜１０Ｃ  画像配信システム
２２  撮像素子
３１Ａ、３１Ｂ  画像処理部
４１  画像バッファＩ
４２、４４、４６  画像バッファII
４３  ＪＰＥＧデータ用のバッファ
４５  ＭＰＥＧ４データ用のバッファ
５２  ネットワーク・コントローラ
３１１  変倍部
３１２  ＪＰＥＧエンコード部
３１３  ＭＰＥＧ４エンコード部
３１４  人物抽出・追跡部
Ｇｏ  撮像画像
Ｇａ  監視領域
Ｇｂ、Ｇｃ、Ｇｄ１〜Ｇｄ３  注視領域
Ｇ１、Ｇ１０、Ｇ２０  全体画像
Ｇ２、Ｇ１１、Ｇ２１〜Ｇ２３  注視画像
Ｇｓ、Ｇｔ、Ｇｕ  統合画像
【図１】
2006129152.tif 000003
【図２】
2006129152.tif 000004
【図３】
2006129152.tif 000005
【図４】
2006129152.tif 000006
【図５】
2006129152.tif 000007
【図６】
2006129152.tif 000008
【図７】
2006129152.tif 000009