(57)【要約】【課題】本発明は、撮像部により撮像可能な範囲の全体と注目する部分（被写体）とを同時に監視することができる監視システムを提供する。【解決手段】所定の被写体を含む画像を撮像する撮像部１と、撮像部１により撮像された画像から所定の被写体を検出する被写体検出部２と、被写体検出部２からの出力に基づき、画像から所定の被写体を含む部分画像を切出す被写体切出し部３と、撮像部１により撮像された画像と、被写体切出し部３により切出した部分画像とを関連付けたデータを形成するデータ形成部と、データ形成部で形成されたデータを送信する送信部とを備える。【選択図】図１
2005269473.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部と、
前記撮像部により撮像された前記画像から所定の被写体を検出する被写体検出部と、
前記被写体検出部からの出力に基づき、前記画像から前記所定の被写体を含む部分画像を切出す被写体切出し部と、
前記撮像部により撮像された前記画像と、被写体切出し部により切出した前記部分画像とを関連付けたデータを形成するデータ形成部と、
前記データ形成部で形成された前記データを送信する送信部とを備えたことを特徴とする監視システム。
【請求項２】
請求項１に記載の監視システムであって、
前記撮像部により撮像された前記画像を、所定のデータ量に縮小した縮小画像に変換する画像縮小部をさらに備え、
前記データ形成部は、前記画像に代えて前記縮小画像と、前記部分画像とを関連付けたデータを形成することを特徴とする監視システム。
【請求項３】
請求項１又は請求項２に記載の監視システムであって、
所定の基準に基づいて、前記被写体切出し部により切出した前記部分画像に優先順位を付与する優先順位付与部と、
前記優先順位付与部で付与した優先順位に基づいて、前記データ形成部に供給する前記部分画像を選択する送信画像選択部とをさらに備え、
前記データ形成部は、前記画像と、前記送信画像選択部が選択した前記部分画像とを関連付けたデータを形成することを特徴とする監視システム。
【請求項４】
請求項３に記載の監視システムであって、
前記所定の被写体の動き量を検出する動体検出部をさらに備え、
前記優先順位付与部は、前記動体検出部で検出した前記動き量に基づいて、前記被写体切出し部により切出した前記部分画像に優先順位を付与することを特徴とする監視システム。
【請求項５】
請求項３又は請求項４に記載の監視システムであって、
前記送信画像選択部が選択した前記部分画像を保存する画像保存部と、
前記画像保存部で保存されている前記部分画像と、前記被写体切出し部により新たに切出した前記部分画像とを比較し、類似度合いを検出する画像比較部とをさらに備え、
前記送信画像選択部は、前記類似度合いが所定の値より高いと判断された新たに切出した前記部分画像を選択の対象から除外することを特徴とする監視システム。
【請求項６】
請求項５に記載の監視システムであって、
前記被写体切出し部は、切出した前記部分画像に個別の識別番号を付与し、
前記送信画像選択部は、前記類似度合いが所定の値より高いと判断された前記画像保存部に保存されている前記部分画像の前記識別番号を前記データ形成部に供給することを特徴とする監視システム。
【請求項７】
請求項１乃至請求項６のいずれかに記載の監視システムであって、
前記被写体検出部は、被写体の形状及び色彩の情報に基づいて前記所定の被写体を検出することを特徴とする監視システム。
【請求項８】
請求項３乃至請求項６のいずれかに記載の監視システムであって、
前記優先順位付与部の前記所定の基準は、被写体の大きさ、被写体の向き、被写体の位置、被写体の形状及び被写体の色彩のうち少なくとも１つの条件を含むことを特徴とする監視システム。
【請求項９】
請求項１乃至請求項８のいずれかに記載の監視システムであって、
前記所定の被写体は、人間の顔であることを特徴とする監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システムに係る発明であって、特に、監視対象を撮像し、撮像した画像を監視端末まで伝送する監視システムに関するものである。
【背景技術】
【０００２】
近年、技術の進歩により、高画素数の撮像装置を監視システムの撮像部に用いることができるようになった。しかし、高画素数の撮像装置を用いると撮像される画像データは、大幅に大きくなる。そのため、監視システムにおいて、撮像装置で撮像した画像を遠隔地にある監視端末（撮像した画像を表示したり、蓄積したりする部分）に送信する場合、電話回線やインターネット回線等の伝送路を利用するため、時間とコストとが必要以上にかかる問題があった。
【０００３】
そこで、特許文献１では、撮像した画像のうち監視に必要な画像領域のみを抽出することで画像のデータ量を減らしている。データ量を減らした画像を、他の場所にある監視端末に伝送し、この伝送した画像を監視端末に表示又は記録するような監視システムを構成している。これにより、特許文献１では、画像データの送信に必要な時間とコストを削減している。
【０００４】
【特許文献１】特開２００２−３１４９８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１で説明した監視システムでは、撮像した画像のうち監視に必要な画像領域のみを抽出して画像のデータ量を減らしている。そのため、特定の画像領域のみが監視端末に伝送されるだけであるため、画像全体を見わたすような監視には適さない問題があった。また、抽出する画像領域については、外部から座標を設定する必要があり、監視システムを利用するにあたり手間がかかる問題があった。さらに、抽出される画像が同じであっても重複して送信されるため、新規でない画像が伝送路を占有し、新規な画像を送信する機会を妨げる問題もあった。
【０００６】
本発明は、上述のような課題を解決するためになされるもので、撮像部により撮像可能な範囲の全体と注目する部分（被写体）とを同時に監視することができる監視システムを提供することを目的とする。また、本発明は、撮像した画像から所定の被写体を検出するので、外部から座標を設定する必要がなく、監視システムを利用する手間を軽減することができる監視システムを提供することを目的とする。
【０００７】
さらに、新規な画像か新規でない画像かを判断し、新規でない画像を再度送信しない監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る解決手段は、画像を撮像する撮像部と、撮像部により撮像された画像から所定の被写体を検出する被写体検出部と、被写体検出部からの出力に基づき、画像から所定の被写体を含む部分画像を切出す被写体切出し部と、撮像部により撮像された画像と、被写体切出し部により切出した部分画像とを関連付けたデータを形成するデータ形成部と、データ形成部で形成されたデータを送信する送信部とを備える。
【発明の効果】
【０００９】
本発明に記載の監視システムは、画像を撮像する撮像部と、撮像部により撮像された画像から所定の被写体を検出する被写体検出部と、被写体検出部からの出力に基づき、画像から所定の被写体を含む部分画像を切出す被写体切出し部と、撮像部により撮像された画像と、被写体切出し部により切出した部分画像とを関連付けたデータを形成するデータ形成部と、データ形成部で形成されたデータを送信する送信部とを備えるので、撮像部により撮像可能な範囲の全体と注目する部分（被写体）とを同時に監視することができる効果がある。
【発明を実施するための最良の形態】
【００１０】
（実施の形態１）
図１に、本実施の形態に係る監視システムの構成図を示す。図１に示す監視システムは、被写体を含む監視対象を撮像する撮像部１を備えている。この撮像部１で撮像された画像Ｐは、被写体検出部２、被写体切出し部３に供給されると共にデータ形成部４に供給される。被写体検出部２では、画像Ｐから所定の被写体を検出し、被写体を含む部分の座標（例えば、画像Ｐの左上角を原点（０，０）とし、被写体を含む部分の対角２点の座標）を取得する。なお、画像Ｐに所定の被写体が複数含まれている場合は、それぞれの被写体を検出し、それぞれの被写体を含む部分の座標を取得する。
【００１１】
具体的に、所定の被写体が人間の顔である場合について説明すると、被写体検出部２は、画像Ｐから顔の部分を検出し、検出した顔の部分を含む長方形の画像の座標を取得する。被写体検出部２では、画像Ｐから顔の形状や顔の色彩の特徴を、例えば画像処理で見付け出し、当該特徴を含む顔の部分を検出している。顔の形状としては、目、眼鏡、鼻、口、耳、髪の毛、顔の輪郭等を利用している。一方、顔の色彩としては、肌色に近い色彩情報や化粧品による色彩情報等を利用している。
【００１２】
さらに、別の方法として、被写体検出部２が温度を検出する２次元センサ又は赤外波長域に感度を有する画像センサ（以下、単にセンサともいう）を備え、これらセンサからの出力に基づいて体温を持つ生体の画像部分を検出する方法がある。具体的に説明すると、画像Ｐに対応する範囲を調べることができるセンサが、体温を持つ生体と発熱していない物体とを区別した上で、体温を持つ生体の形状から顔の部分を特定する。被写体検出部２は、センサが特定した顔の部分に対応する画像Ｐの座標を取得する。なお、センサが、体温を持つ生体と発熱していない物体とを区別した上で、体温を持つ生体に対応する画像Ｐから顔の形状や顔の色彩の特徴を、例えば画像処理で見付け出し、当該特徴を含む顔の部分を検出しても良い。
【００１３】
被写体検出部２は、取得した被写体を含む部分の座標を、被写体切出し部３に供給する。被写体切出し部３では、被写体検出部２が取得した座標に基づいて画像Ｐから部分画像ｐ１を切出す。なお、複数の被写体が存在する場合は、部分画像ｐ１，ｐ２，ｐ３・・・となる。以下、特に画像数が特定されていない場合、部分画像ｐ１，ｐ２，ｐ３・・・と表現する。切出された部分画像ｐ１，ｐ２，ｐ３・・・は、データ形成部４に供給される。データ形成部４では、画像Ｐと部分画像ｐ１，ｐ２，ｐ３・・・とを関連付けたデータを形成し、当該データを送信部５に供給する。なお、図１では、当該データをＰ＋ｐ１，ｐ２，ｐ３・・・と表現している。送信部５では、送信端子６から監視端末（図示せず）へ画像Ｐと部分画像ｐ１，ｐ２，ｐ３・・・とを関連付けたデータを送信する。
【００１４】
なお、被写体検出部２において検出した顔の部分が１つの場合は、被写体切出し部３で切出される部分は部分画像ｐ１だけとなり、検出した顔の部分が２つの場合は、部分画像ｐ１、ｐ２に、検出した顔の部分が３つの場合は、部分画像ｐ１、ｐ２，ｐ３のようになる。つまり、被写体検出部２において検出した顔の部分の数に依存して、被写体切出し部３で切出される部分の数が決まる。
【００１５】
図２に、本実施の形態に係る監視システムで取り扱われる画像を示す。まず、図２（ａ）は、撮像部１により撮像された監視対象の画像である。図２（ａ）に示す画像では、所定の被写体として１人の人間が含まれている。そして、この図２（ａ）に示す画像は、被写体検出部２、被写体切出し部３及びデータ形成部４に供給される。
【００１６】
被写体検出部２は、図２（ａ）の画像から所定の被写体を検出する。図２（ｂ）では、被写体検出部２が検出した顔の部分（被写体）が点線枠で示されている。そして、被写体検出部２は、図２（ｂ）に示す画像の点線枠の座標を取得し、被写体切出し部３に当該座標を供給する。
【００１７】
被写体切出し部３では、供給された座標に基づいて図２（ｂ）の画像から点線枠で囲まれた顔の部分を切出す。図２（ｃ）では、被写体切出し部３により切出された顔の部分が示されている。被写体切出し部３で切出された図２（ｃ）の画像は、データ形成部４に供給される。データ形成部４では、撮像部１から供給された図２（ａ）の画像と、被写体切出し部３で切出された図２（ｃ）の画像とを関連付けたデータを形成する。このデータを画像として表示すると図２（ｄ）に示す画像のように表示される。但し、監視端末で表示される画像は、必ずしも図２（ｄ）に示す画像のように表示される必要はない。
【００１８】
データ形成部４で形成された図２（ｄ）のデータは、送信部５に供給され、送信部５において送信端子６から監視端末（図示せず）へ送信される。
【００１９】
以上のように、本実施の形態に記載の監視システムは、所定の被写体を含む画像を撮像する撮像部１と、撮像部１により撮像された画像から所定の被写体を検出する被写体検出部２と、被写体検出部２からの出力に基づき、画像から所定の被写体を含む部分画像を切出す被写体切出し部３と、撮像部１により撮像された画像と、被写体切出し部３により切出した部分画像とを関連付けたデータを形成するデータ形成部と、データ形成部で形成されたデータを送信する送信部とを備えるので、撮像部により撮像可能な範囲の全体と注目する部分（被写体）とを同時に監視することができる。
【００２０】
また、本実施の形態に記載の監視システムは、被写体検出部が、被写体（人間の顔）の形状及び色彩の情報に基づいて所定の被写体（人間の顔）を検出するので、外部から座標を設定する必要がなく、監視システムを利用する手間を軽減することができる。
【００２１】
（変形例）
図３に、本実施の形態の変形例に係る監視システムの構成図を示す。本変形例は、本実施の形態に係る監視システムに画像縮小部７を追加した構成である。図３に示す監視システムは、被写体を含む監視対象を撮像する撮像部１を備えている。この撮像部１で撮像された画像Ｐは、被写体検出部２、被写体切出し部３に供給されると共に画像縮小部７に供給される。被写体検出部２では、画像Ｐから所定の被写体を検出し、被写体を含む部分の座標を取得する。なお、画像Ｐに所定の被写体が複数含まれている場合は、それぞれの被写体を検出し、それぞれの被写体を含む部分の座標を取得する。
【００２２】
具体的に、所定の被写体が人間の顔である場合について説明すると、被写体検出部２は、画像Ｐから顔の部分を検出し、検出した顔の部分を含む長方形の画像の座標を取得する。本変形例でも、被写体検出部２で画像Ｐから顔の形状や顔の色彩の特徴を、例えば画像処理で見付け出し、当該特徴を含む顔の部分を検出している。
【００２３】
被写体検出部２は、取得した被写体の部分の座標を、被写体切出し部３に供給する。被写体切出し部３では、被写体検出部２が取得した座標に基づいて画像Ｐから部分画像ｐ１，ｐ２，ｐ３・・・を切出す。切出された部分画像ｐ１，ｐ２，ｐ３・・・は、データ形成部４に供給される。
【００２４】
一方、画像縮小部７に供給された画像Ｐは、画像サイズが縮小され縮小画像ｐに変換される。例えば、１，２８０画素×９６０画素の画像Ｐを、画像縮小部７で６４０画素×４８０画素の縮小画像ｐに変換することで大幅にデータ量を減らすことができる。この縮小画像ｐは、データ形成部４に供給される。データ形成部４では、縮小画像ｐと部分画像ｐ１，ｐ２，ｐ３・・・とを関連付けたデータを形成し、当該データを送信部５に供給する。なお、図３では、当該データをｐ＋ｐ１，ｐ２，ｐ３・・・と表現している。送信部５では、送信端子６から監視端末（図示せず）へ縮小画像ｐと部分画像ｐ１，ｐ２，ｐ３・・・とを関連付けたデータを送信する。
【００２５】
次に、図２に示した監視システムで取り扱われる画像を用いて、本変形例を説明する。図２（ａ）に示す画像が、被写体検出部２、被写体切出し部３及び画像縮小部７に供給される。なお、被写体検出部２及び被写体切出し部３については、本実施の形態と同じであるため説明を省略する。画像縮小部７では、図２（ａ）に示す画像を縮小して、図２（ｅ）に示す画像に変換している。
【００２６】
この図２（ｅ）に示す画像は、データ形成部４に供給される。データ形成部４では、画像縮小部７から供給された図２（ｅ）の画像と、被写体切出し部３で切出された図２（ｃ）の画像とを関連付けたデータを形成する。このデータを画像として表示すると図２（ｆ）に示す画像のように表示される。データ形成部４で形成された図２（ｆ）のデータは、送信部５に供給され、送信部５において送信端子６から監視端末（図示せず）へ送信される。
【００２７】
本変形例に記載の監視システムは、撮像部１により撮像された画像を、所定のデータ量に縮小した縮小画像に変換する画像縮小部７をさらに備え、データ形成部４は、画像に代えて縮小画像と、被写体切出し部３により切出した部分画像とを関連付けたデータを形成するので、送信するデータ量を大幅に減らすことができ、データの送信に必要な時間とコストを削減することができる。
【００２８】
（実施の形態２）
図４に、本実施の形態に係る監視システムの構成図を示す。図４に示す監視システムは、被写体を含む監視対象を撮像する撮像部１を備えている。この撮像部１で撮像された画像Ｐは、被写体検出部２、被写体切出し部３に供給されると共にデータ形成部４に供給される。被写体検出部２では、画像Ｐから所定の被写体を検出し、被写体を含む部分の座標を取得する。なお、画像Ｐに所定の被写体が複数含まれている場合は、それぞれの被写体を検出し、それぞれの被写体を含む部分の座標を取得する。
【００２９】
具体的に、所定の被写体が人間の顔である場合について説明すると、被写体検出部２は、画像Ｐから顔の部分を検出し、検出した顔の部分を含む長方形の画像の座標を取得する。被写体検出部２では、画像Ｐから顔の形状や顔の色彩の特徴を、例えば画像処理で見付け出し、当該特徴を含む顔の部分を検出している。顔の形状としては、目、眼鏡、鼻、口、耳、髪の毛、顔の輪郭等を利用している。一方、顔の色彩としては、肌色に近い色彩情報や化粧品による色彩情報等を利用している。
【００３０】
被写体検出部２は、取得した被写体を含む部分の座標を、被写体切出し部３に供給する。被写体切出し部３では、被写体検出部２が取得した座標に基づいて画像Ｐから部分画像ｐ１，ｐ２，ｐ３（ここでは、画像Ｐに３枚の部分画像が含まれている場合を考える）を切出す。切出された部分画像ｐ１，ｐ２，ｐ３は、送信画像選択部８と同時に優先順位付与部９に供給される。
【００３１】
優先順位付与部９では、複数の部分画像ｐ１，ｐ２，ｐ３が供給された場合、画像の特徴に基づいて部分画像ｐ１，ｐ２，ｐ３の送信優先順位を決める。
【００３２】
優先順位付与部９で基準となる画像の特徴としては、例えば被写体の大きさ、被写体の向き、被写体の位置、被写体の形状、被写体の色彩などが考えられる。優先順位付与部９では、これらの画像の特徴を１つ又は複数組み合わせて、部分画像ｐ１，ｐ２，ｐ３の送信優先順位を決めている。例えば、部分画像ｐ１，ｐ２，ｐ３に撮像されている被写体が人間の顔の場合、顔がより大きい部分画像について優先順位を高くすることが考えられる。
【００３３】
また、顔の大きさと向きとを組み合わせて、正面を向いている顔の画像のうち、より大きいものを優先順位を高くすることが考えられる。また、顔の位置が、ドアや窓等の監視対象に近いものの優先順位を高くことや、要注意人間の顔の画像について、その形状や色彩等の特徴について予め記憶させておき、当該記憶している特徴により近い形状や色彩を有する部分画像ｐ１，ｐ２，ｐ３について優先順位を高くすることも考えられる。
【００３４】
優先順位付与部９で決定された送信優先順位の情報が、送信画像選択部８に供給される。送信画像選択部８では、例えば送信可能な部分画像が２枚である場合に、部分画像ｐ１，ｐ２，ｐ３から優先順位上位２枚を選択する。例えば、部分画像ｐ１，ｐ２，ｐ３において顔の大きさがｐ１＞ｐ２＞ｐ３である場合は、上位の部分画像ｐ１，ｐ２のみが送信画像選択部８で選択される。なお、本発明では、送信可能な部分画像の数は２枚限定されず、伝送路の制限等の許容する範囲であれば、２枚以上であっても良い。
【００３５】
選択された部分画像ｐ１，ｐ２を、以下選択部分画像ｐｎ１、ｐｎ２とよぶ。この選択部分画像ｐｎ１、ｐｎ２は、データ形成部４に供給される。データ形成部４は、画像Ｐと選択部分画像ｐｎ１、ｐｎ２とを関連付けたデータを形成し、送信部６に供給する。なお、図４では、当該データをＰ＋ｐｎ１，ｐｎ２と表現している。送信部６では、送信端子７から監視端末（図示せず）へ画像Ｐと選択部分画像ｐｎ１、ｐｎ２とを関連付けたデータを送信する。
【００３６】
図５に、本実施の形態に係る監視システムで取り扱われる画像を示す。まず、図５（ａ）は、撮像部１により撮像された監視対象の画像である。図５（ａ）に示す画像では、所定の被写体として３人の人間が含まれている。そして、この図５（ａ）に示す画像は、被写体検出部２、被写体切出し部３及びデータ形成部４に供給される。
【００３７】
被写体検出部２は、図５（ａ）の画像から所定の被写体を検出する。図５（ｂ）では、被写体検出部２が検出した顔の部分（被写体）が点線枠で示されている。そして、被写体検出部２は、図５（ｂ）に示す画像の点線枠の座標を取得し、被写体切出し部３に当該座標を供給する。
【００３８】
被写体切出し部３では、供給された座標に基づいて図５（ｂ）の画像から点線枠で囲まれた顔の部分を切出す。図５（ｃ）では、被写体切出し部３により切出された顔の部分が示されている。被写体切出し部３で切出された図５（ｃ）の画像は、送信画像選択部８及び優先順位付与部９に供給される。優先順位付与部９では、画像の特徴に基づいて図５（ｃ）の画像の優先順位を決定する。
【００３９】
優先順位付与部９で決定した順位を模式的に数字で表した図が図５（ｄ）である。図５（ｄ）の画像では、四角顔の部分画像が優先順位１位で、丸顔の部分画像が優先順位２位である。図５（ｄ）の画像の優先順位の情報に基づいて、送信画像選択部８は、優先順位上位の四角顔と丸顔の部分画像の２枚を選択している。図５（ｅ）に、四角顔と丸顔の部分画像の２枚を選択した結果を示す。
【００４０】
送信画像選択部８は、選択した図５（ｅ）の画像をデータ形成部４に供給する。データ形成部４では、撮像部１から供給された図５（ａ）の画像と、送信画像選択部８で選択した図５（ｅ）の画像とを関連付けたデータを形成する。このデータを画像として表示すると図５（ｆ）に示す画像のように表示される。但し、監視端末で表示される画像は、必ずしも図５（ｆ）に示す画像のように表示される必要はない。
【００４１】
データ形成部４で形成された図５（ｆ）のデータは、送信部５に供給され、送信部５において送信端子６から監視端末（図示せず）へ送信される。
【００４２】
上記では、優先順位付与部９の基準として、例えば被写体の画像の大きさ、被写体の画像の向き、被写体の画像の位置、被写体の画像の形状、被写体の画像の色彩など、画像の特徴部分を利用していた。しかし、優先順位付与部の基準は、画像の特徴部分に限られず、被写体の動き量に基づいても優先順位を決することができる。被写体の動き量を検出するには、例えば画像メモリに過去の画像を格納しておき、現在の画像との差分を計算し、対象とする被写体の動き量を検出する。
【００４３】
図６に、被写体の動き量を検出できる監視システムの構成図を示す。図６に示す監視システムは、図４に示す監視システムに動体検出部１０を追加した構成であるため、図４と同一の部分については同一の符号を付し、当該説明を省略する。
【００４４】
図６に示す監視システムでは、被写体切出し部３で切出された部分画像ｐ１，ｐ２，ｐ３が送信画像選択部８、優先順位付与部９及び動体検出部１０に供給される。ここでも、画像Ｐが３枚の部分画像を含む場合を考える。動体検出部１０では、画像メモリ内に格納されている部分画像（例えば、前回のフレームの部分画像）と、被写体切出し部３から新たに供給された部分画像との差分を計算し、対象とする被写体の動き量を検出する。
【００４５】
具体的に、動体検出部１０の動作を説明すると、例えば、撮像部１で撮像される画像Ｐが水平方向１２８０画素×垂直方向９６０画素である場合、画像Ｐの原点（０，０）を左上におくと、右下が（１２７９，９５９）となる座標空間（ｘ，ｙ）が定義できる。この座標空間で、前回のフレームでの顔（被写体）の画像がｘ＝３０〜８０、ｙ＝４００〜４６０に位置しているとき、この顔の画像の中央に位置する画素を対象画素として、その座標（５５，４３０）を動体検出部１０内のメモリに記録しておく。
【００４６】
そして、今回のフレームでの顔の画像がｘ＝１００〜１５０、ｙ＝５００〜４６０の位置に移動している場合、この顔の画像における対象画素の座標は（１２５，５３０）となる。この座標（１２５，５３０）とメモリに記憶した座標（５５，４３０）と比較することで、顔の動き量が検出できる。上記の場合、顔の画像は、前回のフレームから今回のフレームまでに、ｘ軸方向に＋７０、ｙ軸方向に＋１００移動していることが分かる。なお、上記では、対象画素を被写体の画像の中央に位置する画素としたが、被写体の画像の重心に位置する画素としても良い。
【００４７】
図６に示す監視システムにおいて、動体検出部１０が、各部分画像ｐ１，ｐ２，ｐ３の動き量を検出して、当該動き量を優先順位付与部９に供給する。優先順位付与部９では、各部分画像ｐ１，ｐ２，ｐ３の動き量に基づいて、部分画像ｐ１，ｐ２，ｐ３の送信優先順位を決めて、優先順位を送信画像選択部８に通知する。
【００４８】
なお、優先順位付与部９は、各部分画像ｐ１，ｐ２，ｐ３の動き量と各部分画像の特徴とを組み合わせて、送信優先順位を決めても良い。
【００４９】
以上のように、本実施の形態に記載の監視システムでは、所定の基準に基づいて、被写体切出し部２により切出した部分画像に優先順位を付与する優先順位付与部９と、優先順位付与部９で付与した優先順位に基づいて、データ形成部４に供給する部分画像を選択する送信画像選択部８とをさらに備え、データ形成部４は、画像と、送信画像選択部８が選択した部分画像とを関連付けたデータを形成するので、撮像部により撮像可能な範囲の全体と注目する部分（被写体）とを同時に監視することができるとともに、重要度の低い部分画像を送信対象から除外することで、送信するデータ量を低減することができる。
【００５０】
また、本実施の形態に記載の監視システムでは、優先順位付与部の所定の基準が、被写体の大きさ、被写体の向き、被写体の位置、被写体の形状及び被写体の色彩のうち少なくとも１つの条件を含むので、目的にあった被写体を監視対象にすることができる。
【００５１】
さらに、本実施の形態に記載の監視システムでは、所定の被写体の動き量を検出する動体検出部１０をさらに備え、優先順位付与部９は、動体検出部１０で検出した動き量に基づいて、被写体切出し部３により切出した部分画像に優先順位を付与するので、動きのある被写体に注目しつつ、撮像可能な範囲の全体を監視することができる。
【００５２】
（変形例）
図７に、本実施の形態の変形例に係る監視システムの構成図を示す。本変形例は、本実施の形態に係る監視システムに画像縮小部７を追加した構成である。図７に示す監視システムは、被写体を含む監視対象を撮像する撮像部１を備えている。この撮像部１で撮像された画像Ｐは、被写体検出部２、被写体切出し部３に供給されると共に画像縮小部７に供給される。被写体検出部２では、画像Ｐから所定の被写体を検出し、被写体を含む部分の座標を取得する。なお、画像Ｐに所定の被写体が複数含まれている場合は、それぞれの被写体を検出し、それぞれの被写体を含む部分の座標を取得する。
【００５３】
具体的に、所定の被写体が人間の顔である場合について説明すると、被写体検出部２は、画像Ｐから顔の部分を検出し、検出した顔の部分を含む長方形の画像の座標を取得する。本変形例でも、被写体検出部２で画像Ｐから顔の形状や顔の色彩の特徴を、例えば画像処理で見付け出し、当該特徴を含む顔の部分を検出している。
【００５４】
被写体検出部２は、取得した被写体の部分の座標を被写体切出し部３に供給する。被写体切出し部３では、被写体検出部２が取得した座標に基づいて画像Ｐから部分画像ｐ１，ｐ２，ｐ３（ここでも、画像Ｐが３枚の部分画像を含む場合を考える）を切出す。切出された部分画像ｐ１，ｐ２，ｐ３は、送信画像選択部８と同時に優先順位付与部９に供給される。
【００５５】
優先順位付与部９では、複数の部分画像ｐ１，ｐ２，ｐ３が供給された場合、画像の特徴に基づいて部分画像ｐ１，ｐ２，ｐ３の送信優先順位を決める。
【００５６】
優先順位付与部９で基準となる画像の特徴としては、例えば被写体の画像の大きさ、被写体の画像の向き、被写体の画像の位置、被写体の画像の形状、被写体の画像の色彩などが考えられる。優先順位付与部９では、これらの画像の特徴を１つ又は複数組み合わせて、部分画像ｐ１，ｐ２，ｐ３の送信優先順位を決めている。
【００５７】
優先順位付与部９で決定された送信優先順位の情報が、送信画像選択部８に供給される。送信画像選択部８では、例えば送信可能な部分画像が２枚である場合に、部分画像ｐ１，ｐ２，ｐ３から優先順位上位２枚を選択する。例えば、部分画像ｐ１，ｐ２，ｐ３において顔の大きさがｐ１＞ｐ２＞ｐ３である場合は、上位の部分画像ｐ１，ｐ２のみが送信画像選択部８で選択される。なお、本発明では、送信可能な部分画像の数は２枚限定されず、伝送路の制限等の許容する範囲であれば、２枚以上であっても良い。
【００５８】
選択された部分画像ｐ１，ｐ２を、以下選択部分画像ｐｎ１、ｐｎ２とよぶ。この選択部分画像ｐｎ１、ｐｎ２は、データ形成部４に供給される。
【００５９】
一方、画像縮小部７に供給された画像Ｐは、画像サイズが縮小され縮小画像ｐに変換される。この縮小画像ｐは、データ形成部４に供給される。データ形成部４では、縮小画像ｐと選択部分画像ｐｎ１、ｐｎ２とを関連付けたデータを形成し、当該データを送信部５に供給する。なお、図７では、当該データをｐ＋ｐｎ１，ｐｎ２と表現している。送信部５では、送信端子６から監視端末（図示せず）へ縮小画像ｐと選択部分画像ｐｎ１、ｐｎ２とを関連付けたデータを送信する。
【００６０】
次に、図５に示した監視システムで取り扱われる画像を用いて、本変形例を説明する。図５（ａ）に示す画像が、被写体検出部２、被写体切出し部３及び画像縮小部７に供給される。なお、被写体検出部２、被写体切出し部３、送信画像選択部８及び優先順位付与部９については、本実施の形態と同じであるため説明を省略する。画像縮小部７では、図５（ａ）に示す画像を縮小して、図５（ｇ）に示す画像に変換している。
【００６１】
この図５（ｇ）に示す画像は、データ形成部４に供給される。データ形成部４では、画像縮小部７から供給された図５（ｇ）の画像と、送信画像選択部８から供給された図５（ｅ）の画像とを関連付けたデータを形成する。このデータを画像として表示すると図５（ｈ）に示す画像のように表示される。データ形成部４で形成された図５（ｈ）のデータは、送信部５に供給され、送信部５において送信端子６から監視端末（図示せず）へ送信される。
【００６２】
本変形例においても、優先順位付与部の基準に被写体の動き量を用いて優先順位を決することができる。図８に、被写体の動き量を検出できる監視システムの構成図を示す。図８に示す監視システムは、図７に示す監視システムに動体検出部１０を追加した構成であるため、図７と同一の部分については同一の符号を付し、当該説明を省略する。
【００６３】
図８に示す監視システムでは、被写体切出し部３で切出された部分画像ｐ１，ｐ２，ｐ３が送信画像選択部８、優先順位付与部９及び動体検出部１０に供給される。ここでも、画像Ｐが３枚の部分画像を含む場合を考える。動体検出部１０では、画像メモリ内に格納されている部分画像（例えば、前回のフレームの部分画像）と、被写体切出し部３から新たに供給された部分画像ｐ１，ｐ２，ｐ３との差分を計算し、対象とする被写体の動き量を検出する。
【００６４】
図８に示す監視システムにおいて、動体検出部１０が、各部分画像ｐ１，ｐ２，ｐ３の動き量を検出して、当該動き量を優先順位付与部９に供給する。優先順位付与部９では、各部分画像ｐ１，ｐ２，ｐ３の動き量に基づいて、部分画像ｐ１，ｐ２，ｐ３の送信優先順位を決めて、優先順位を送信画像選択部８に通知する。なお、優先順位付与部９は、各部分画像ｐ１，ｐ２，ｐ３の動き量と各部分画像の特徴とを組み合わせて、送信優先順位を決めても良い。
【００６５】
本変形例に係る監視システムでも、データ形成部４は、画像に代えて縮小画像を送信するので、データ量を大幅に減らすことができ、データの送信に必要な時間とコストを削減することができる。
【００６６】
（実施の形態３）
図９に、本実施の形態に係る監視システムの構成図を示す。図９に示す監視システムは、被写体を含む監視対象を撮像する撮像部１を備えている。この撮像部１で撮像された画像Ｐは、被写体検出部２、被写体切出し部３に供給されると共にデータ形成部４に供給される。被写体検出部２では、画像Ｐから所定の被写体を検出し、被写体を含む部分の座標を取得する。なお、画像Ｐに所定の被写体が複数含まれている場合は、それぞれの被写体を検出し、それぞれの被写体を含む部分の座標を取得する。
【００６７】
具体的に、所定の被写体が人間の顔である場合について説明すると、被写体検出部２は、画像Ｐから顔の部分を検出し、検出した顔の部分を含む長方形の画像の座標を取得する。被写体検出部２では、画像Ｐから顔の形状や顔の色彩の特徴を、例えば画像処理で見付け出し、当該特徴を含む顔の部分を検出している。顔の形状としては、目、眼鏡、鼻、口、耳、髪の毛、顔の輪郭等を利用している。一方、顔の色彩としては、肌色に近い色彩情報や化粧品による色彩情報等を利用している。
【００６８】
被写体検出部２は、取得した被写体を含む部分の座標を、被写体切出し部３に供給する。被写体切出し部３では、被写体検出部２が取得した座標に基づいて画像Ｐから部分画像ｐ１，ｐ２，ｐ３（ここでも、画像Ｐが３枚の部分画像を含む場合を考える）を切出す。切出された部分画像ｐ１，ｐ２，ｐ３は、送信画像選択部８、優先順位付与部９及び画像比較部１１に供給される。
【００６９】
画像比較部１１では、送信画像選択部８が以前選択した部分画像ｐａ，ｐｂと被写体切出し部３から供給された新たな部分画像ｐ１，ｐ２，ｐ３とを比較し、類似の度合いを判断する。なお、以前選択した部分画像ｐａ，ｐｂは、例示であり保存される部分画像は２枚に限定されるわけではない。
【００７０】
ここで、以前選択した部分画像ｐａ，ｐｂとは、送信画像選択部８が既に選択した部分画像であって画像保存部１２のメモリに保存されている部分画像のことをいう。監視システムの用途により例えば、過去２日の間に送信画像選択部８が選択した部分画像を随時画像保存部１２のメモリに保存しておき、この画像保存部１２に保存された部分画像を以前選択した部分画像とすることが考えられる。
【００７１】
この以前選択した部分画像ｐａ，ｐｂが画像比較部１１に供給され、被写体切出し部３から供給された新たな部分画像ｐ１，ｐ２，ｐ３と比較される。画像比較部１１では、例えば顔の形状や顔の色彩の特徴を比較して、両部分画像の類似の度合いを判断する。
【００７２】
画像比較部１１で判断された類似の度合いを、送信画像選択部８に供給する。一方、優先順位付与部９では、複数の部分画像ｐ１，ｐ２，ｐ３が供給された場合、画像の特徴に基づいて部分画像ｐ１，ｐ２，ｐ３の送信優先順位を決める。
【００７３】
優先順位付与部９で基準となる画像の特徴としては、例えば被写体の画像の大きさ、被写体の画像の向き、被写体の画像の位置、被写体の画像の形状、被写体の画像の色彩などが考えられる。優先順位付与部９では、これらの画像の特徴を１つ又は複数組み合わせて、部分画像ｐ１，ｐ２，ｐ３の送信優先順位を決めている。
【００７４】
優先順位付与部９で決定された送信優先順位の情報が、送信画像選択部８に供給される。送信画像選択部８では、例えば送信可能な部分画像が２枚である場合に、送信優先順位の高い部分画像ｐ１，ｐ２，ｐ３のうち、類似の度合いの高い部分画像を除いた、優先順位上位２枚を選択する。例えば、部分画像ｐ１，ｐ２，ｐ３において顔の大きさがｐ１＞ｐ２＞ｐ３であり、部分画像ｐ１が以前選択した部分画像ｐａと類似の度合いが高い場合、部分画像ｐ１を除いた上位の部分画像ｐ２，ｐ３が送信画像選択部８で選択される。なお、本発明では、送信可能な部分画像の数は２枚限定されず、伝送路の制限等の許容する範囲であれば、２枚以上であっても良い。
【００７５】
送信画像選択部８で選択された選択部分画像ｐｎ２、ｐｎ３は、データ形成部４に供給される。データ形成部４は、画像Ｐと選択部分画像ｐｎ２、ｐｎ３とを関連付けたデータを形成し、送信部６に供給する。なお、図９では、当該データをＰ＋ｐｎ２，ｐｎ３と表現している。送信部６では、送信端子７から監視端末（図示せず）へ画像Ｐと選択部分画像ｐｎ２、ｐｎ３とを関連付けたデータを送信する。
【００７６】
図１０に、本実施の形態に係る監視システムで取り扱われる画像を示す。まず、図１０（ａ）は、撮像部１により撮像された監視対象の画像である。図１０（ａ）に示す画像では、所定の被写体として５人の人間が含まれている。そして、この図１０（ａ）に示す画像は、被写体検出部２、被写体切出し部３及びデータ形成部４に供給される。
【００７７】
被写体検出部２は、図１０（ａ）の画像から所定の被写体を検出する。図１０（ｂ）では、被写体検出部２が検出した顔の部分（被写体）が点線枠で示されている。そして、被写体検出部２は、図１０（ｂ）に示す画像の点線枠の座標を取得し、被写体切出し部３に当該座標を供給する。
【００７８】
被写体切出し部３では、供給された座標に基づいて図１０（ｂ）の画像から点線枠で囲まれた顔の部分を切出す。図１０（ｃ）では、被写体切出し部３により切出された顔の部分が示されている。被写体切出し部３で切出された図１０（ｃ）の画像は、送信画像選択部８、優先順位付与部９及び画像比較部１１に供給される。優先順位付与部９では、画像の特徴に基づいて図１０（ｃ）の画像の優先順位を決定する。
【００７９】
優先順位付与部９で決定した順位を模式的に数字で表した図が図１０（ｄ）である。図１０（ｄ）の画像では、四角顔の部分画像が優先順位１位で、丸顔の部分画像が優先順位２位である。一方、画像保存部１２に記憶されている以前選択した部分画像が図１０（ｅ）に示されている。図１０（ｅ）には、四角顔と丸顔とが記憶されている。画像比較部１１では、図１０（ｄ）の画像と図１０（ｅ）とを比較し類似の度合いを判断する。図１０（ｄ）には、類似の度合いが高い四角顔と丸顔の部分画像が含まれている。
【００８０】
送信画像選択部８では、類似の度合いが高い四角顔と丸顔の部分画像を除いて、優先順位上位の三角顔（順位３位）と菱形顔（順位４位）の部分画像の２枚を選択している。図１０（ｆ）に、三角顔と菱形顔の部分画像の２枚を選択した結果を示す。
【００８１】
送信画像選択部８は、選択した図１０（ｆ）の画像をデータ形成部４に供給する。データ形成部４では、撮像部１から供給された図１０（ａ）の画像と、送信画像選択部８で選択した図１０（ｆ）の画像とを関連付けたデータを形成する。このデータを画像として表示すると図１０（ｇ）に示す画像のように表示される。但し、監視端末で表示される画像は、必ずしも図１０（ｇ）に示す画像のように表示される必要はない。
【００８２】
データ形成部４で形成された図１０（ｇ）のデータは、送信部５に供給され、送信部５において送信端子６から監視端末（図示せず）へ送信される。
【００８３】
本実施の形態においても、優先順位付与部の基準に被写体の動き量を用いて優先順位を決することができる。図１１に、被写体の動き量を検出できる監視システムの構成図を示す。図１１に示す監視システムは、図９に示す監視システムに動体検出部１０を追加した構成であるため、図９と同一の部分については同一の符号を付し、当該説明を省略する。
【００８４】
図１１に示す監視システムでは、被写体切出し部３で切出された部分画像ｐ１，ｐ２，ｐ３が送信画像選択部８、優先順位付与部９及び動体検出部１０に供給される。ここでも、画像Ｐが３枚の部分画像を含む場合を考える。動体検出部１０では、画像メモリ内に格納されている部分画像（例えば、前回のフレームの部分画像）と、被写体切出し部３から新たに供給された部分画像との差分を計算し、対象とする被写体の動き量を検出する。
【００８５】
図１１に示す監視システムにおいて、動体検出部１０が、各部分画像ｐ１，ｐ２，ｐ３の動き量を検出して、当該動き量を優先順位付与部９に供給する。優先順位付与部９では、各部分画像ｐ１，ｐ２，ｐ３の動き量に基づいて、部分画像ｐ１，ｐ２，ｐ３の送信優先順位を決めて、優先順位を送信画像選択部８に通知する。なお、優先順位付与部９は、各部分画像ｐ１，ｐ２，ｐ３の動き量と各部分画像の特徴とを組み合わせて、送信優先順位を決めても良い。
【００８６】
以上のように、本実施の形態に記載の監視システムは、送信画像選択部８が選択した部分画像を保存する画像保存部１２と、画像保存部１２で保存されている部分画像と、被写体切出し部３により切出した部分画像とを比較し、類似度合いを検出する画像比較部１１とをさらに備え、送信画像選択部８は、類似度合いが所定の値より高いと判断された被写体切出し部３により切出した部分画像を選択の対象から除外するので、重複した部分画像の送信を制限し、より多くの部分画像を監視端末に送信することができる。つまり、本実施の形態に記載の監視システムは、新規な部分画像か新規でない部分画像かを判断し、新規でない画像を再度送信しない監視システムを提供することができる。
【００８７】
（変形例）
図１２に、本実施の形態の変形例に係る監視システムの構成図を示す。本変形例は、本実施の形態に係る監視システムに画像縮小部７を追加した構成である。図１２に示す監視システムは、被写体を含む監視対象を撮像する撮像部１を備えている。この撮像部１で撮像された画像Ｐは、被写体検出部２、被写体切出し部３に供給されると共に画像縮小部７に供給される。被写体検出部２では、画像Ｐから所定の被写体を検出し、被写体を含む部分の座標を取得する。なお、画像Ｐに所定の被写体が複数含まれている場合は、それぞれの被写体を検出し、それぞれの被写体を含む部分の座標を取得する。
【００８８】
具体的に、所定の被写体が人間の顔である場合について説明すると、被写体検出部２は、画像Ｐから顔の部分を検出し、検出した顔の部分を含む長方形の画像の座標を取得する。本変形例でも、被写体検出部２で画像Ｐから顔の形状や顔の色彩の特徴を、例えば画像処理で見付け出し、当該特徴を含む顔の部分を検出している。
【００８９】
被写体検出部２は、取得した被写体の部分の座標を、被写体切出し部３に供給する。被写体切出し部３では、被写体検出部２が取得した座標に基づいて画像Ｐから部分画像ｐ１，ｐ２，ｐ３（ここでも、画像Ｐが３枚の部分画像を含む場合を考える）を切出す。切出された部分画像ｐ１，ｐ２，ｐ３は、送信画像選択部８、優先順位付与部９及び画像比較部１１に供給される。
【００９０】
画像比較部１１では、送信画像選択部８が以前選択した部分画像ｐａ，ｐｂと被写体切出し部３から供給された新たな部分画像ｐ１，ｐ２，ｐ３とを比較し、類似の度合いを判断する。画像比較部１１で判断された類似の度合いを、送信画像選択部８に供給する。一方、優先順位付与部９では、複数の部分画像ｐ１，ｐ２，ｐ３が供給された場合、画像の特徴に基づいて部分画像ｐ１，ｐ２，ｐ３の送信優先順位を決める。
【００９１】
優先順位付与部９で基準となる画像の特徴としては、例えば被写体の画像の大きさ、被写体の画像の向き、被写体の画像の位置、被写体の画像の形状、被写体の画像の色彩などが考えられる。優先順位付与部９では、これらの画像の特徴を１つ又は複数組み合わせて、部分画像ｐ１，ｐ２，ｐ３の送信優先順位を決めている。
【００９２】
優先順位付与部９で決定された送信優先順位の情報が、送信画像選択部８に供給される。送信画像選択部８では、例えば送信可能な部分画像が２枚である場合に、送信優先順位の高い部分画像ｐ１，ｐ２，ｐ３のうち、類似の度合いの高い部分画像を除いた、優先順位上位２枚を選択する。例えば、部分画像ｐ１，ｐ２，ｐ３において顔の大きさがｐ１＞ｐ２＞ｐ３であり、部分画像ｐ１が以前選択した部分画像ｐａと類似の度合いが高い場合、部分画像ｐ１を除く上位の部分画像ｐ２，ｐ３が送信画像選択部８で選択される。送信画像選択部８で選択された選択部分画像ｐｎ２、ｐｎ３は、データ形成部４に供給される。なお、本発明では、送信可能な部分画像の数は２枚限定されず、伝送路の制限等の許容する範囲であれば、２枚以上であっても良い。
【００９３】
一方、画像縮小部７に供給された画像Ｐは、画像サイズが縮小され縮小画像ｐに変換される。この縮小画像ｐは、データ形成部４に供給される。データ形成部４では、縮小画像ｐと選択部分画像ｐｎ２、ｐｎ３とを関連付けたデータを形成し、当該データを送信部５に供給する。なお、図１２では、当該データをｐ＋ｐｎ２，ｐｎ３と表現している。送信部５では、送信端子６から監視端末（図示せず）へ縮小画像ｐと選択部分画像ｐｎ２、ｐｎ３とを関連付けたデータを送信する。
【００９４】
次に、図１０に示した監視システムで取り扱われる画像を用いて、本変形例を説明する。図１０（ａ）に示す画像が、被写体検出部２、被写体切出し部３及び画像縮小部７に供給される。なお、被写体検出部２、被写体切出し部３、送信画像選択部８及び優先順位付与部９については、本実施の形態と同じであるため説明を省略する。画像縮小部７では、図１０（ａ）に示す画像を縮小して、図１０（ｈ）に示す画像に変換している。
【００９５】
この図１０（ｈ）に示す画像は、データ形成部４に供給される。データ形成部４では、画像縮小部７から供給された図１０（ｈ）の画像と、送信画像選択部８から供給された図１０（ｆ）の画像とを関連付けたデータを形成する。このデータを画像として表示すると図１０（ｉ）に示す画像のように表示される。データ形成部４で形成された図１０（ｉ）のデータは、送信部５に供給され、送信部５において送信端子６から監視端末（図示せず）へ送信される。
【００９６】
本変形例においても、優先順位付与部の基準に被写体の動き量を用いて優先順位を決することができる。図１３に、被写体の動き量を検出できる監視システムの構成図を示す。図１３に示す監視システムは、図１２に示す監視システムに動体検出部１０を追加した構成であるため、図１２と同一の部分については同一の符号を付し、当該説明を省略する。
【００９７】
図１３に示す監視システムでは、被写体切出し部３で切出された部分画像ｐ１，ｐ２，ｐ３が送信画像選択部８、優先順位付与部９及び動体検出部１０に供給される。ここでも、画像Ｐが３枚の部分画像を含む場合を考える。動体検出部１０では、画像メモリ内に格納されている部分画像（例えば、前回のフレームの部分画像）と、被写体切出し部３から新たに供給された部分画像との差分を計算し、対象とする被写体の動き量を検出する。
【００９８】
図１３に示す監視システムにおいて、動体検出部１０が、各部分画像ｐ１，ｐ２，ｐ３の動き量を検出して、当該動き量を優先順位付与部９に供給する。優先順位付与部９では、各部分画像ｐ１，ｐ２，ｐ３の動き量に基づいて、部分画像ｐ１，ｐ２，ｐ３の送信優先順位を決めて、優先順位を送信画像選択部８に通知する。なお、優先順位付与部９は、各部分画像ｐ１，ｐ２，ｐ３の動き量と各部分画像の特徴とを組み合わせて、送信優先順位を決めても良い。
【００９９】
本変形例に係る監視システムでも、データ形成部４は、画像に代えて縮小画像を送信するので、データ量を大幅に減らすことができ、データの送信に必要な時間とコストを削減することができる。
【０１００】
（実施の形態４）
図１４に、本実施の形態に係る監視システムの構成図を示す。図１４に示す監視システムは、被写体を含む監視対象を撮像する撮像部１を備えている。この撮像部１で撮像された画像Ｐは、被写体検出部２、被写体切出し部３に供給されると共にデータ形成部４に供給される。被写体検出部２では、画像Ｐから所定の被写体を検出し、被写体を含む部分の座標を取得する。なお、画像Ｐに所定の被写体が複数含まれている場合は、それぞれの被写体を検出し、それぞれの被写体を含む部分の座標を取得する。
【０１０１】
具体的に、所定の被写体が人間の顔である場合について説明すると、被写体検出部２は、画像Ｐから顔の部分を検出し、検出した顔の部分を含む長方形の画像の座標を取得する。被写体検出部２では、画像Ｐから顔の形状や顔の色彩の特徴を、例えば画像処理で見付け出し、当該特徴を含む顔の部分を検出している。顔の形状としては、目、眼鏡、鼻、口、耳、髪の毛、顔の輪郭等を利用している。一方、顔の色彩としては、肌色に近い色彩情報や化粧品による色彩情報等を利用している。
【０１０２】
被写体検出部２は、取得した被写体を含む部分の座標を、被写体切出し部３に供給する。被写体切出し部３では、被写体検出部２が取得した座標に基づいて画像Ｐから部分画像ｐ１，ｐ２，ｐ３，ｐ４（ここでは、画像Ｐが４枚の部分画像を含む場合を考える）を切出す。さらに、被写体切出し部３では、切出された部分画像ｐ１，ｐ２，ｐ３，ｐ４のそれぞれに識別符号を付与する。この識別番号は、重複することなく切出された部分画像ｐ１，ｐ２，ｐ３，ｐ４に１対１に付与される。
【０１０３】
切出された部分画像ｐ１，ｐ２，ｐ３，ｐ４は、送信画像選択部８、優先順位付与部９及び画像比較部１１に供給される。画像比較部１１では、送信画像選択部８が以前選択した部分画像ｐａ，ｐｂと被写体切出し部３から供給された新たな部分画像ｐ１，ｐ２，ｐ３，ｐ４とを比較し、類似の度合いを判断する。
【０１０４】
ここで、以前選択した部分画像ｐａ，ｐｂとは、送信画像選択部８が既に選択した部分画像であって画像保存部１２のメモリに保存されている部分画像のことをいう。監視システムの用途により例えば、過去２日の間に送信画像選択部８が選択した部分画像を随時画像保存部１２のメモリに保存しておき、この画像保存部１２に保存された部分画像を以前選択した部分画像とすることが考えられる。
【０１０５】
図１４では以前選択された部分画像ｐａ，ｐｂが、識別番号とともに送信画像選択部８から画像保存部１２に供給され、画像保存部１２のメモリに保存されている。この以前選択した部分画像ｐａ，ｐｂが画像比較部１１に供給され、被写体切出し部３から供給された新たな部分画像ｐ１，ｐ２，ｐ３，ｐ４と比較される。画像比較部１１では、例えば顔の形状や顔の色彩の特徴を比較して、両部分画像の類似の度合いを判断する。
【０１０６】
画像比較部１１で判断された類似の度合いと、以前選択した部分画像の識別番号とを、送信画像選択部８に供給する。一方、優先順位付与部９では、複数の部分画像ｐ１，ｐ２，ｐ３，ｐ４が供給された場合、画像の特徴に基づいて部分画像ｐ１，ｐ２，ｐ３，ｐ４の送信優先順位を決める。
【０１０７】
優先順位付与部９で基準となる画像の特徴としては、例えば被写体の画像の大きさ、被写体の画像の向き、被写体の画像の位置、被写体の画像の形状、被写体の画像の色彩などが考えられる。優先順位付与部９では、これらの画像の特徴を１つ又は複数組み合わせて、部分画像ｐ１，ｐ２，ｐ３，ｐ４の送信優先順位を決めている。
【０１０８】
優先順位付与部９で決定された送信優先順位の情報が、送信画像選択部８に供給される。送信画像選択部８では、例えば送信可能な部分画像が２枚である場合に、送信優先順位の高い部分画像ｐ１，ｐ２，ｐ３，ｐ４のうち、類似の度合いの高い部分画像を除いた、優先順位上位２枚を選択する。例えば、部分画像ｐ１，ｐ２，ｐ３，ｐ４において顔の大きさがｐ１＞ｐ２＞ｐ３＞ｐ４であり、部分画像ｐ１及びｐ３が以前選択した部分画像ｐａ及びｐｂと類似の度合いが高い場合、部分画像ｐ１及びｐ３を除く上位の部分画像ｐ２，ｐ４が送信画像選択部８で選択される。なお、本発明では、送信可能な部分画像の数は２枚限定されず、伝送路の制限等の許容する範囲であれば、２枚以上であっても良い。
【０１０９】
さらに、送信画像選択部８では、部分画像ｐ１，ｐ３と類似する以前選択した部分画像ｐａ，ｐｂの識別番号ｎ１，ｎ２をデータ形成部４に供給される。送信画像選択部８では、選択された選択部分画像ｐｎ２、ｐｎ４も、同時にデータ形成部４に供給される。
【０１１０】
データ形成部４では、画像Ｐ、選択部分画像ｐｎ２，ｐｎ４及び以前選択した部分画像の識別番号ｎ１，ｎ２を関連付けたデータを形成し、送信部６に供給する。なお、図１４では、当該データをＰ＋ｐｎ２，ｐｎ４＋ｎ１，ｎ２と表現している。送信部６では、送信端子７から監視端末（図示せず）へ画像Ｐ、選択部分画像ｐｎ２，ｐｎ４及び以前選択した部分画像ｎ１，ｎ２の識別番号を関連付けたデータを送信する。
【０１１１】
図１５に、本実施の形態に係る監視システムで取り扱われる画像を示す。まず、図１５（ａ）は、撮像部１により撮像された監視対象の画像である。図１５（ａ）に示す画像では、所定の被写体として５人の人間が含まれている。そして、この図１５（ａ）に示す画像は、被写体検出部２、被写体切出し部３及びデータ形成部４に供給される。
【０１１２】
被写体検出部２は、図１５（ａ）の画像から所定の被写体を検出する。図１５（ｂ）では、被写体検出部２が検出した顔の部分（被写体）が点線枠で示されている。そして、被写体検出部２は、図１５（ｂ）に示す画像の点線枠の座標を取得し、被写体切出し部３に当該座標を供給する。
【０１１３】
被写体切出し部３では、供給された座標に基づいて図１５（ｂ）の画像から点線枠で囲まれた顔の部分を切出す。図１５（ｃ）では、被写体切出し部３により切出された顔の部分が示されている。さらに、図１５（ｃ）では、それぞれの部分画像に識別番号が付与されている。
【０１１４】
被写体切出し部３で切出された図１５（ｃ）の画像は、送信画像選択部８、優先順位付与部９及び画像比較部１１に供給される。優先順位付与部９では、画像の特徴に基づいて図１５（ｃ）の画像の優先順位を決定する。
【０１１５】
優先順位付与部９で決定した順位を模式的に数字で表した図が図１５（ｄ）である。図１５（ｄ）の画像では、四角顔の部分画像が優先順位１位で、丸顔の部分画像が優先順位２位である。一方、画像保存部１２に記憶されている以前選択した部分画像が図１５（ｅ）に示されている。図１５（ｅ）には、四角顔と丸顔及びそれぞれに対応する識別番号が記憶されている。画像比較部１１では、図１５（ｄ）の画像と図１５（ｅ）とを比較し類似の度合いを判断する。図１５（ｄ）には、類似の度合いが高い四角顔と丸顔の部分画像が含まれている。
【０１１６】
送信画像選択部８では、類似の度合いが高い四角顔と丸顔の部分画像を除いて、優先順位上位の三角顔（順位３位）と菱形顔（順位４位）の部分画像の２枚を選択している。さらに、送信画像選択部８では、類似の度合いが高いと判断した四角顔と丸顔の部分画像に対応する、以前選択した部分画像（図１５（ｅ））の識別番号（ＡＢ００１，ＡＢ００２）を選択する。図１５（ｆ）に、三角顔と菱形顔の部分画像２枚（識別番号を含む）と、以前選択した部分画像の識別番号（ＡＢ００１，ＡＢ００２）を選択した結果を示す。なお、以前選択した部分画像の画像自体は、送信画像選択部８では選択しない。
【０１１７】
送信画像選択部８は、選択した１図５（ｆ）の画像及び識別番号をデータ形成部４に供給する。データ形成部４では、撮像部１から供給された図１５（ａ）の画像と、送信画像選択部８で選択した図１５（ｆ）の画像及び識別番号とを関連付けたデータを形成する。このデータを画像及び識別番号として表示すると図１５（ｇ）に示す画像及び識別番号のように表示される。但し、監視端末で表示される画像は、必ずしも図１５（ｇ）に示す画像及び識別番号のように表示される必要はない。
【０１１８】
データ形成部４で形成された図１５（ｇ）のデータは、送信部５に供給され、送信部５において送信端子６から監視端末（図示せず）へ送信される。なお、監視端末では、識別番号（ＡＢ００１，ＡＢ００２）を受信すると、識別番号（ＡＢ００１，ＡＢ００２）対応する保存されている部分画像を表示するように構成しても良い。
【０１１９】
本実施の形態においても、優先順位付与部の基準に被写体の動き量を用いて優先順位を決することができる。図１６に、被写体の動き量を検出できる監視システムの構成図を示す。図１６に示す監視システムは、図１４に示す監視システムに動体検出部１０を追加した構成であるため、図１４と同一の部分については同一の符号を付し、当該説明を省略する。
【０１２０】
図１６に示す監視システムでは、被写体切出し部３で切出された部分画像ｐ１，ｐ２，ｐ３，ｐ４（ここでも、画像Ｐが４枚の部分画像を含む場合を考える）が送信画像選択部８、優先順位付与部９及び動体検出部１０に供給される。動体検出部１０では、画像メモリ内に格納されている部分画像（例えば、前回のフレームの部分画像）と、被写体切出し部３から新たに供給された部分画像との差分を計算し、対象とする被写体の動き量を検出する。
【０１２１】
図１６に示す監視システムにおいて、動体検出部１０が、各部分画像ｐ１，ｐ２，ｐ３，ｐ４の動き量を検出して、当該動き量を優先順位付与部９に供給する。優先順位付与部９では、各部分画像ｐ１，ｐ２，ｐ３，ｐ４の動き量に基づいて、部分画像ｐ１，ｐ２，ｐ３，ｐ４の送信優先順位を決めて、優先順位を送信画像選択部８に通知する。なお、優先順位付与部９は、各部分画像ｐ１，ｐ２，ｐ３，ｐ４の動き量と各部分画像の特徴とを組み合わせて、送信優先順位を決めても良い。
【０１２２】
本実施の形態に記載の監視システムは、被写体切出し部３は、切出した部分画像ｐ１，ｐ２，ｐ３，ｐ４に個別の識別番号を付与し、送信画像選択部８は、類似度合いが所定の値より高いと判断された画像保存部に保存されている部分画像の識別番号をデータ形成部に供給するので、重複した部分画像の送信を制限しつつ、以前受信した部分画像ｐａ，ｐｂの識別番号は得られ、監視端末おいて以前受信した部分画像を利用するなどの処理が可能となる。
【０１２３】
（変形例）
図１７に、本実施の形態の変形例に係る監視システムの構成図を示す。本変形例は、本実施の形態に係る監視システムに画像縮小部７を追加した構成である。図１７に示す監視システムは、被写体を含む監視対象を撮像する撮像部１を備えている。この撮像部１で撮像された画像Ｐは、被写体検出部２、被写体切出し部３に供給されると共に画像縮小部７に供給される。被写体検出部２では、画像Ｐから所定の被写体を検出し、被写体を含む部分の座標を取得する。なお、画像Ｐに所定の被写体が複数含まれている場合は、それぞれの被写体を検出し、それぞれの被写体を含む部分の座標を取得する。
【０１２４】
具体的に、所定の被写体が人間の顔である場合について説明すると、被写体検出部２は、画像Ｐから顔の部分を検出し、検出した顔の部分を含む長方形の画像の座標を取得する。本変形例でも、被写体検出部２で画像Ｐから顔の形状や顔の色彩の特徴を、例えば画像処理で見付け出し、当該特徴を含む顔の部分を検出している。
【０１２５】
被写体検出部２は、取得した被写体の部分の座標を、被写体切出し部３に供給する。被写体切出し部３では、被写体検出部２が取得した座標に基づいて画像Ｐから部分画像ｐ１，ｐ２，ｐ３，ｐ４（ここでも、画像Ｐが４枚の部分画像を含む場合を考える）を切出す。さらに、被写体切出し部３では、切出された部分画像ｐ１，ｐ２，ｐ３，ｐ４のそれぞれに識別符号を付与する。この識別番号は、重複することなく切出された部分画像ｐ１，ｐ２，ｐ３，ｐ４に１対１に付与される。切出された部分画像ｐ１，ｐ２，ｐ３，ｐ４は、送信画像選択部８、優先順位付与部９及び画像比較部１１に供給される。
【０１２６】
画像比較部１１では、送信画像選択部８が以前選択した部分画像ｐａ，ｐｂと被写体切出し部３から供給された新たな部分画像ｐ１，ｐ２，ｐ３，ｐ４とを比較し、類似の度合いを判断する。画像比較部１１で判断された類似の度合いと、以前選択した部分画像ｐａ，ｐｂの識別番号とを、送信画像選択部８に供給する。一方、優先順位付与部９では、複数の部分画像ｐ１，ｐ２，ｐ３，ｐ４が供給された場合、画像の特徴に基づいて部分画像ｐ１，ｐ２，ｐ３，ｐ４の送信優先順位を決める。
【０１２７】
優先順位付与部９で基準となる画像の特徴としては、例えば被写体の画像の大きさ、被写体の画像の向き、被写体の画像の位置、被写体の画像の形状、被写体の画像の色彩などが考えられる。優先順位付与部９では、これらの画像の特徴を１つ又は複数組み合わせて、部分画像ｐ１，ｐ２，ｐ３，ｐ４の送信優先順位を決めている。
【０１２８】
優先順位付与部９で決定された送信優先順位の情報が、送信画像選択部８に供給される。送信画像選択部８では、例えば送信可能な部分画像が２枚である場合に、送信優先順位の高い部分画像ｐ１，ｐ２，ｐ３，ｐ４のうち、類似の度合いの高い部分画像を除いた、優先順位上位２枚を選択する。例えば、部分画像ｐ１，ｐ２，ｐ３、ｐ４において顔の大きさがｐ１＞ｐ２＞ｐ３＞ｐ４であり、部分画像ｐ１及びｐ３が以前選択した部分画像ｐａ，ｐｂと類似の度合いが高い場合、部分画像ｐ１及びｐ３を除いた上位の部分画像ｐ２，ｐ４が送信画像選択部８で選択される。なお、本発明では、送信可能な部分画像の数は２枚限定されず、伝送路の制限等の許容する範囲であれば、２枚以上であっても良い。
【０１２９】
さらに、送信画像選択部８では、部分画像ｐ１，ｐ３に類似する以前選択された部分画像ｐａ，ｐｂの識別番号ｎ１，ｎ２がデータ形成部４に供給される。送信画像選択部８では、選択された選択部分画像ｐｎ２、ｐｎ４も、同時にデータ形成部４に供給される。
【０１３０】
一方、画像縮小部７に供給された画像Ｐは、画像サイズが縮小され縮小画像ｐに変換される。この縮小画像ｐは、データ形成部４に供給される。データ形成部４では、縮小画像ｐ、選択部分画像ｐｎ２、ｐｎ４及び識別番号ｎ１，ｎ２を関連付けたデータを形成し、当該データを送信部５に供給する。なお、図１７では、当該データをｐ＋ｐｎ２，ｐｎ４＋ｎ１，ｎ２と表現している。送信部５では、送信端子６から監視端末（図示せず）へ縮小画像ｐ、選択部分画像ｐｎ２、ｐｎ４及び識別番号ｎ１，ｎ２を関連付けたデータを送信する。
【０１３１】
次に、図１５に示した監視システムで取り扱われる画像を用いて、本変形例を説明する。図１５（ａ）に示す画像が、被写体検出部２、被写体切出し部３及び画像縮小部７に供給される。なお、被写体検出部２、被写体切出し部３、送信画像選択部８及び優先順位付与部９については、本実施の形態と同じであるため説明を省略する。画像縮小部７では、図１５（ａ）に示す画像を縮小して、図１５（ｈ）に示す画像に変換している。
【０１３２】
この図１５（ｈ）に示す画像は、データ形成部４に供給される。データ形成部４では、画像縮小部７から供給された図１５（ｈ）の画像と、送信画像選択部８から供給された図１５（ｆ）の画像及び識別番号とを関連付けたデータを形成する。このデータを画像として表示すると図１５（ｉ）に示す画像及び識別番号のように表示される。データ形成部４で形成された図１５（ｉ）のデータは、送信部５に供給され、送信部５において送信端子６から監視端末（図示せず）へ送信される。
【０１３３】
本変形例においても、優先順位付与部の基準に被写体の動き量を用いて優先順位を決することができる。図１８に、被写体の動き量を検出できる監視システムの構成図を示す。図１８に示す監視システムは、図１７に示す監視システムに動体検出部１０を追加した構成であるため、図１７と同一の部分については同一の符号を付し、当該説明を省略する。
【０１３４】
図１８に示す監視システムでは、被写体切出し部３で切出された部分画像ｐ１，ｐ２，ｐ３，ｐ４（ここでも、画像Ｐが４枚の部分画像を含む場合を考える）が送信画像選択部８、優先順位付与部９及び動体検出部１０に供給される。動体検出部１０では、画像メモリ内に格納されている部分画像（例えば、前回のフレームの部分画像）と、被写体切出し部３から新たに供給された部分画像との差分を計算し、対象とする被写体の動き量を検出する。
【０１３５】
図１８に示す監視システムにおいて、動体検出部１０が、各部分画像ｐ１，ｐ２，ｐ３，ｐ４の動き量を検出して、当該動き量を優先順位付与部９に供給する。優先順位付与部９では、各部分画像ｐ１，ｐ２，ｐ３，ｐ４の動き量に基づいて、部分画像ｐ１，ｐ２，ｐ３，ｐ４の送信優先順位を決めて、優先順位を送信画像選択部８に通知する。なお、優先順位付与部９は、各部分画像ｐ１，ｐ２，ｐ３，ｐ４の動き量と各部分画像の特徴とを組み合わせて、送信優先順位を決めても良い。
【０１３６】
本変形例に係る監視システムでも、データ形成部４は、画像に代えて縮小画像を送信するので、データ量を大幅に減らすことができ、データの送信に必要な時間とコストを削減することができる。
【図面の簡単な説明】
【０１３７】
【図１】本発明の実施の形態１に係る監視システムの構成図である。
【図２】本発明の実施の形態１に係る監視システムの動作を示す図である。
【図３】本発明の実施の形態１の変形例に係る監視システムの構成図である。
【図４】本発明の実施の形態２に係る監視システムの構成図である。
【図５】本発明の実施の形態２に係る監視システムの動作を示す図である。
【図６】本発明の実施の形態２に係る監視システムの構成図である。
【図７】本発明の実施の形態２の変形例に係る監視システムの構成図である。
【図８】本発明の実施の形態２の変形例に係る監視システムの構成図である。
【図９】本発明の実施の形態３に係る監視システムの構成図である。
【図１０】本発明の実施の形態３に係る監視システムの動作を示す図である。
【図１１】本発明の実施の形態３に係る監視システムの構成図である。
【図１２】本発明の実施の形態３の変形例に係る監視システムの構成図である。
【図１３】本発明の実施の形態３の変形例に係る監視システムの構成図である。
【図１４】本発明の実施の形態４に係る監視システムの構成図である。
【図１５】本発明の実施の形態４に係る監視システムの動作を示す図である。
【図１６】本発明の実施の形態４に係る監視システムの構成図である。
【図１７】本発明の実施の形態４の変形例に係る監視システムの構成図である。
【図１８】本発明の実施の形態４の変形例に係る監視システムの構成図である。
【符号の説明】
【０１３８】
１  撮像部、２  被写体検出部、３  被写体切出し部、４  データ形成部、５  送信部、６  送信端子、７  画像縮小部、８  送信画像選択部、９  優先順位付与部、１０  動体検出部、１１  画像比較部、１２  画像保存部。
【図１】
2005269473.tif 000003
【図２】
2005269473.tif 000004
【図３】
2005269473.tif 000005
【図４】
2005269473.tif 000006
【図５】
2005269473.tif 000007
【図６】
2005269473.tif 000008
【図７】
2005269473.tif 000009
【図８】
2005269473.tif 000010
【図９】
2005269473.tif 000011
【図１０】
2005269473.tif 000012
【図１１】
2005269473.tif 000013
【図１２】
2005269473.tif 000014
【図１３】
2005269473.tif 000015
【図１４】
2005269473.tif 000016
【図１５】
2005269473.tif 000017
【図１６】
2005269473.tif 000018
【図１７】
2005269473.tif 000019
【図１８】
2005269473.tif 000020