(57)【要約】【課題】モバイル端末で見たい注目箇所を分かりやすく表示することが可能な映像配信システムおよび通報サーバならびにモバイル端末を提供する。【解決手段】撮像装置１００と、該撮像装置で撮像した映像信号からなる画像に対して人または物体の検知を行い且つ該人または物体にマークを付けた画像をモバイル端末に配信する通報サーバ１０３と、該通報サーバより取得した画像を表示画面に表示するモバイル端末１０５からなる映像配信システムおよび通報サーバならびにモバイル端末。【選択図】  図１
2004180235.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と、該撮像装置で撮像した映像信号からなる画像に対して人または物体の検知を行い且つ該人または物体にマークを付けた画像をモバイル端末に配信する通報サーバと、該通報サーバより取得した画像を表示画面に表示する前記モバイル端末からなることを特徴とする映像配信システム。
【請求項２】
撮像装置で撮像した映像信号からなる画像に対して人または物体の検知を行い且つ該人または物体にマークを付けた画像をモバイル端末に配信することを特徴とする通報サーバ。
【請求項３】
請求項１または２記載において、前記通報サーバは、前記マークを付けた人または物体のみを切り出した画像を前記モバイル端末に配信することを特徴とする映像配信システムまたは通報サーバ。
【請求項４】
請求項１または２記載において、前記通報サーバは、前記マークを付けた人または物体よりやや大きい領域の画像を前記モバイル端末に配信することを特徴とする映像配信システムまたは通報サーバ。
【請求項５】
請求項１または２記載において、前記通報サーバは、前記マークを付けた人または物体以外を単一色で塗りつぶした画像を前記モバイル端末に配信することを特徴とする映像配信システムまたは通報サーバ。
【請求項６】
請求項１または２記載において、前記通報サーバは、前記マークを付けた人または物体を拡大し且つ前記マークを付けた人または物体以外を縮小した画像を前記モバイル端末に配信することを特徴とする映像配信システムまたは通報サーバ。
【請求項７】
通報サーバよりマークを付けた人または物体の画像と前記マークの位置情報を取得し、該位置情報をもとに前記マークを表示画面の中央に表示し、前記画像の他の部分を見るときには該画像をスクロールすることが可能であることを特徴とするモバイル端末。
【請求項８】
通報サーバよりマークを付けた人または物体の画像と前記マークの位置情報を取得し、該位置情報をもとに前記マークを表示画面の任意の位置に表示することが可能であることを特徴とするモバイル端末。
【請求項９】
撮像装置で撮像した映像信号からなる画像に対して人または物体の検知を行い該検知の信頼度に応じてモバイル端末に配信する通報の内容を変えることを特徴とする通報サーバ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置で撮像した映像信号をモバイル端末に配信する映像配信システムおよび通報サーバならびにモバイル端末に関する。
【０００２】
【従来の技術】
従来のネットワーク型監視システムについて説明する。
【０００３】
図２０は、ネットワーク型監視システムの構成を示すブロック図である（文献公知発明に係わるものではない）。ネットワーク型監視システムは、監視カメラ１００、監視装置２０００、モバイル端末１０５によって構成される。各構成要素の内、監視カメラ１００と監視装置２０００は映像ケーブル１１０で接続され、監視装置２０００とモバイル端末１０５は通信媒体１１３で接続されている。
【０００４】
図２０の各構成要素の役割を説明する。監視カメラ１００は撮影した映像信号を、映像ケーブル１１０を通して監視装置２０００に送信する。監視装置２０００は、単体の装置でもよいし、複数の装置が通信媒体で接続されたネットワーク型のシステムでもよい。監視装置２０００は、撮影した映像信号の１フレームの画像に対して画像認識処理を行い、フレーム画像に侵入者がいた場合にはそれを検知し、警報をユーザに通知するため、電子メールにフレーム画像（これを警告画像と称する）を添付して、通信媒体１１３を通して、電子メールを見る手段を持つモバイル端末１０５に電子メールを送信する。モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【０００５】
結果のモバイル端末の表示画面を図５（Ａ）に示す。モバイル端末１０５−１の表示画面６００では、３本の木６２０の中に複数の侵入者６３０、６３５がいる場合の表示例を示した。また結果のモバイル端末の表示画面の例を図５（Ｄ）に示す。モバイル端末１０５−４の表示画面６００では、人込み６４０の中に複数の特定の人６５０、６５５（例えば指名手配の人）が混じっている場合の表示例を示した。
【０００６】
【発明が解決しようとする課題】
しかしながら、いずれの例も、表示面積（画素数）の限られた表示画面６００で警告画像６０１を見ると、侵入者６３０、６３５の表示は小さく、また木６２０の中に混じっているので、侵入者６３０、６３５がどこにいるのか分かりにくい。また、表示画面６００は表示色も限られているため、特に侵入者６３０、６３５が木６２０と同系色の服を着ていた場合は、木６２０との区別がつかなくなり、侵入者６３０、６３５がどこにいるのか更に分かりにくくなる。
【０００７】
また、画像認識処理によって侵入者を検知した場合、その検知の信頼度の高低に関らず同じ内容の電子メールが送信されるため、ユーザにとって、警戒の度合が分かりにくくなる。
【０００８】
本発明の目的は、モバイル端末で見たい注目箇所を分かりやすく表示することが可能な映像配信システムおよび通報サーバならびにモバイル端末を提供することにある。
【０００９】
本発明の他の目的は、モバイル端末で見たい注目箇所を少ない画像で配信することが可能な映像配信システムおよび通報サーバならびにモバイル端末を提供することにある。
【００１０】
本発明のさらに他の目的は、モバイル端末で人または物体の検知の信頼度がわかる通報サーバを提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、撮像装置と、該撮像装置で撮像した映像信号からなる画像に対して人または物体の検知を行い且つ該人または物体にマークを付けた画像をモバイル端末に配信する通報サーバと、該通報サーバより取得した画像を表示画面に表示する前記モバイル端末からなることを特徴とする映像配信システムである。
【００１２】
本発明は、撮像装置で撮像した映像信号からなる画像に対して人または物体の検知を行い且つ該人または物体にマークを付けた画像をモバイル端末に配信することを特徴とする通報サーバである。
【００１３】
本発明は、上記記載において、前記通報サーバは、前記マークを付けた人または物体のみを切り出した画像を前記モバイル端末に配信することを特徴とする映像配信システムまたは通報サーバである。
【００１４】
本発明は、上記記載において、前記通報サーバは、前記マークを付けた人または物体よりやや大きい領域の画像を前記モバイル端末に配信することを特徴とする映像配信システムまたは通報サーバである。
【００１５】
本発明は、上記記載において、前記通報サーバは、前記マークを付けた人または物体以外を単一色で塗りつぶした画像を前記モバイル端末に配信することを特徴とする映像配信システムまたは通報サーバである。
【００１６】
本発明は、上記記載において、前記通報サーバは、前記マークを付けた人または物体を拡大し且つ前記マークを付けた人または物体以外を縮小した画像を前記モバイル端末に配信することを特徴とする映像配信システムまたは通報サーバである。
【００１７】
本発明は、通報サーバよりマークを付けた人または物体の画像と前記マークの位置情報を取得し、該位置情報をもとに前記マークを表示画面の中央に表示し、前記画像の他の部分を見るときには該画像をスクロールすることが可能であることを特徴とするモバイル端末である。
【００１８】
本発明は、通報サーバよりマークを付けた人または物体の画像と前記マークの位置情報を取得し、該位置情報をもとに前記マークを表示画面の任意の位置に表示することが可能であることを特徴とするモバイル端末である。
【００１９】
本発明は、撮像装置で撮像した映像信号からなる画像に対して人または物体の検知を行い該検知の信頼度に応じてモバイル端末に配信する通報の内容を変えることを特徴とする通報サーバである。
【００２０】
【発明の実施の形態】
本発明の第１の実施の形態を図１〜５によって説明する。
【００２１】
図１は、ネットワーク型監視システムの構成を示すブロック図である。ネットワーク型監視システムは、監視カメラ１００、ウェブエンコーダ１０１、映像蓄積配信サーバ１０２（以降、蓄配サーバと称す）、通報サーバ１０３（以降、本サーバと称す）、モバイル端末１０５によって構成される。各構成要素の内、監視カメラ１００とウェブエンコーダ１０１は映像ケーブル１１０で接続され、ウェブエンコーダ１０１、蓄配サーバ１０２、本サーバ１０３、モバイル端末１０５は通信媒体１１１〜１１３で接続されている。
【００２２】
図１の各構成要素の役割を説明する。監視カメラ１００は撮影した映像信号を、映像ケーブル１１０を通してウェブエンコーダ１０１に送信する。ウェブエンコーダ１０１は、撮影した映像信号を通信媒体１１１〜１１３に送信できるようなデータ形式に変換し、変換したデータ（これを映像データと称する）を蓄配サーバ１０２に送信する。蓄配サーバ１０２は映像データをサーバ自身がもっている記憶装置に蓄積する。本サーバ１０３は通信媒体１１２を通して蓄配サーバ１０２に蓄積された映像データから１フレームの画像を取得し、フレーム画像に対して画像認識処理を行い、フレーム画像に侵入者がいた場合にはそれを検知し、警報をユーザに通知するため、電子メールにフレーム画像（これを警告画像と称する）を添付して、通信媒体１１３を通して、電子メールを見る手段を持つモバイル端末１０５に電子メールを送信する。モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【００２３】
図２は、図１の本サーバ１０３の構成を示すブロック図である。２００はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、２０１はメモリ、２０２は通信インターフェース、２０３は通信媒体、２０４は記憶装置、２０５はバスである。
【００２４】
ＣＰＵ２００はバス２０５を介して、メモリ２０１、通信インターフェース２０２、記憶装置２０４と接続されており、通信インターフェース２０２は通信媒体２０３を介して図１の他の構成要素と接続されている。ＣＰＵ２００は、バス２０５を介して接続されている他の構成要素と信号を送受し合い、各構成要素はＣＰＵ２００からのアクセス信号により制御される。
【００２５】
図４は、図２のＣＰＵ２００が行う処理を示す第１の実施の形態のフローチャートであり、図３は、図２のＣＰＵ２００が処理の最中にメモリ２０１に作成するデータ領域である。以下、図４のフローチャートを説明する。
【００２６】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【００２７】
ＣＰＵ２００が処理を開始すると、ステップ４００で、ＣＰＵ２００は、蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像Ａを取得し、メモリ２０１に格納し、ステップ４０１に移行する。
【００２８】
ステップ４０１で、ＣＰＵ２００は、フレーム画像Ａに対し画像認識処理を行い、ステップ４０２に移行する。
【００２９】
ステップ４０２で、ＣＰＵ２００は、前ステップ４０１の処理の結果を受け、上記認識対象画像と比較して、侵入者を検知したかを判断する。検知した場合は、ステップ４０３に移行して処理を続け、検知していない場合は、何も処理をせずにステップ４０８に移行する。
【００３０】
ステップ４０３で、ＣＰＵ２００は、検知した侵入者の数（仮にＮ人とする）の分だけ、図３の侵入者管理テーブル３００（ｃｏｂｊ［Ｎ］）をメモリ２０１に確保し、ステップ４０４に移行する。
【００３１】
ステップ４０４で、ＣＰＵ２００は、侵入者管理テーブル３００の各要素３０１〜３０３（ｃｏｂｊ［０］〜ｃｏｂｊ［Ｎ−１］のＮ個）が各々指している侵入者管理構造体３５０（ｃｏｂｊ）のメンバ関数３５１〜３５５に、フレーム画像Ａのフレーム番号とフレーム画像Ａに映っている侵入者の外接矩形の座標を格納する。具体的には、フレーム番号３５１（ｆｒａｍｅ）にはフレーム画像Ａのフレーム番号を格納し、ｘ座標３５２（ｘ０）には外接矩形の左上のｘ座標を格納し、ｙ座標３５３（ｙ０）には外接矩形の左上のｙ座標を格納し、ｘ座標３５４（ｘ１）には外接矩形の右下のｘ座標を格納し、ｙ座標３５５（ｙ１）には外接矩形の右下のｙ座標を格納する。
【００３２】
ステップ４０５で、ＣＰＵ２００は、フレーム画像Ａに対して侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形の箇所（Ｎ箇所）に枠を描画するか、もしくは該箇所を切り取り（これが警告画像となる）、ステップ４０６に移行する（ここで、枠を描画した場合の警告画像は１個、切り取りをした場合の警告画像はＮ個である。）。
【００３３】
ステップ４０６で、ＣＰＵ２００は、警告画像を記憶装置２０４に圧縮してファイル保存し（これを警告画像ファイルと称する）、ステップ４０７に移行する（ここで、枠を描画した場合の警告画像ファイルは１個、切り取りをした場合の警告画像ファイルはＮ個である。）。尚、前記圧縮はＪＰＥＧなどの適当な圧縮方式で行われる。
【００３４】
ステップ４０７で、ＣＰＵ２００は、警告画像ファイルを電子メールに添付し、電子メールを通信インターフェース２０２と通信媒体２０３を経由してモバイル端末１０５に送信し、ステップ４０８に移行する。
【００３５】
ステップ４０８で、ＣＰＵ２００は本サーバ１０３の処理が終了したかを判断する。終了した場合は本処理を終了し、終了していない場合はステップ４００に戻り、今まで述べてきた処理を繰り返す。
【００３６】
この結果により、モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【００３７】
結果のモバイル端末の表示画面を図５に示す。１０５−１〜１０５−６はモバイル端末、６００は表示画面、６０１〜６０３、６１１〜６１３は警告画像、６０４〜６０５、６１４〜６１５は侵入者の外接矩形を表示した枠である。
【００３８】
図５（Ａ）から（Ｃ）のモバイル端末１０５−１〜１０５−３の表示画面６００では、３本の木６２０の間に侵入者６３０、６３５がいる場合の表示例を示した。従来の技術で述べたように、モバイル端末１０５−１の表示面積（画素数）が限られた表示画面６００で警告画像６０１を見ると、侵入者６３０、６３５の表示は小さく、また木６２０の中に混じっているので、侵入者６３０、６３５がどこにいるのか分かりにくい。また、表示画面６００の表示色も限られているため、特に侵入者６３０、６３５が木６２０と同系色の服を着ていた場合は、木６２０との区別がつかなくなり、侵入者６３０、６３５がどこにいるのか更に分かりにくくなる。
【００３９】
しかしながら図５（Ｂ）のモバイル端末１０５−２の警告画像６０２では、侵入者に枠６０４、６０５が表示されているため、侵入者６３０、６３５がいることが一目で分かる。同時に、警告画像６０２全体のどこにいるのかもすぐに分かるので、ユーザは警戒の度合すぐに把握することができる。
【００４０】
また、図５（Ｃ）のモバイル端末１０５−３の警告画像６０３、６０４では、侵入者６３０、６３５のみが切り取られているため、侵入者６３０、６３５が誰なのか一目で分かる。それと同時に、送信されるデータ量が減るので、それに比例して通信コストを下げることができる。
【００４１】
また、図５（Ｄ）から（Ｆ）のモバイル端末１０５−４〜１０５−６の警告画面６００では、人込み６４０の中にある特定の人６５０、６５５（例えば指名手配の人）がいる場合の表示例を示した。（この場合、図４のステップ４０１の画像認識処理の中で顔認識処理を行う）。従来の技術で述べたように、モバイル端末１０５−４の表示面積（画素数）の限られた表示画面６００で警告画像６１１を見ると、指名手配の人６５０、６５５の顔の表示は小さく、また人込み６４０の中に混じっているので、指名手配の人６５０、６５５がどこにいるのか分かりにくい。また、表示画面６００の表示色も限られているため、特に指名手配の人６５０、６５５が人込み６４０と同系色の顔の場合は、人込み６４０との区別がつかなくなり、指名手配の人６５０、６５５がどこにいるのか更に分かりにくくなる。
【００４２】
しかしながら、図５（Ｅ）のモバイル端末１０５−５の警告画像６１２では、指名手配の人６５０、６５５に枠６１４、６１５が表示されているため、指名手配の人６５０、６５５がいることが一目で分かる。それと同時に、警告画像６１２全体のどこにいるのかもすぐに分かるので、ユーザは警戒の度合すぐに把握することができる。
【００４３】
また、図５（Ｆ）のモバイル端末１０５−６の警告画像６１３、６１４では、指名手配の人６５０、６５５のみが切り取られているため指名手配の人６５０、６５５が誰なのか一目で分かる。それと同時に、送信されるデータ量が減るので、それに比例して通信コストを下げることができる。
【００４４】
次に、本発明の第２の実施の形態を図６〜７によって説明する。
前記第１の実施の形態では、警告画像内の注目箇所の外接矩形を切り取る形態を述べたが、切り取る領域は、外接矩形よりもやや大きい領域でもよい。該領域を切り取ると、該領域には侵入者だけでなく、その周辺の背景も多少入るので、ユーザは、侵入者が警告画像内のどの場所にいるのか分かりやすくなり、警戒の度合を把握しやすくなる。
【００４５】
図６は、図２のＣＰＵ２００が行う処理を示す第２の実施の形態のフローチャートである。以下、図６のフローチャートを説明する。
【００４６】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【００４７】
ステップ６９０〜ステップ６９２までの処理は、図４のステップ４００〜４０４までの処理と同じである。
【００４８】
ステップ６９３で、ＣＰＵ２００は、Ｎ個の各侵入者管理構造体３５０のメンバ関数３５２〜３５５（外接矩形の座標）の値を外接矩形が大きくなるように変更する。即ち、左上のｘ座標３５２（ｘ０）をΔｘ０だけ左にシフトし、左上のｙ座標３５３（ｙ０）をΔｙ０だけ上にシフトし、右下のｘ座標３５４（ｘ１）をΔｘ１だけ右にシフトし、右下のｙ座標３５５（ｙ１）をΔｙ１だけ下にシフトし、ステップ６９４に移行する（尚、Δｘ０、Δｙ０、Δｘ１、Δｙ１は正の値であり、侵入者の周辺を見るのに適当な値である。）。
【００４９】
ステップ６９４で、ＣＰＵ２００は、フレーム画像Ａに対して侵入者管理テーブル３００のデータをもとに、前ステップで設定された領域を切り取り（これが警告画像となる）、ステップ６９５に移行する。
【００５０】
ステップ６９５〜ステップ４０８までの処理は、図４のステップ４０６〜４０８の処理と同じである。
【００５１】
この結果により、モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【００５２】
結果のモバイル端末の表示画面を図７に示す。１０５−７はモバイル端末、６００は表示画面、７０１〜７０２は警告画像である。
【００５３】
モバイル端末１０５−７の表示画面６００では、図５（Ａ）から（Ｃ）のモバイル端末１０５−１〜１０５−３と同様、３本の木６２０の間に侵入者６３０、６３５がいる場合の表示例を示した。
【００５４】
モバイル端末１０５−７の表示画像７０１、７０２は、侵入者６３０、６３５の外接矩形よりもやや大きい領域であるため、侵入者６３５が（左端の）木６２０の隣にいることが一目で分かる。また、侵入者６３０が（右端と真ん中の）木６２０の間にいることが一目で分かる。例えば、警告画像の左ほど警戒レベルが高いとき、表示画像７０１を見れば、（左端の）木６２０の隣に侵入者６３５がいることがユーザに一目でわかり、ユーザは警戒の度合を把握しやすくなる。それと同時に、送信されるデータ量が減るので（但し、モバイル端末１０５−３の警告画像６０３、６０４よりは多い）、それに比例して通信コストを下げることができる。
【００５５】
次に、本発明の第３の実施の形態を図８〜９によって説明する。
前記第１の実施の形態では、警告画像内の注目箇所の外接矩形を切り取る形態を述べたが、これと同様の効果として、注目箇所の中の領域はそのままにして、注目箇所の外の領域は任意の単一色で塗りつぶしてもよい。このようにすると、侵入者が警告画像内のどの場所に位置するのか分かりやすくなり、警戒の度合を把握しやすくなる。
【００５６】
図８は、図２のＣＰＵ２００が行う処理を示す第３の実施の形態のフローチャートである。以下、図８のフローチャートを説明する。
【００５７】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【００５８】
ステップ８００〜ステップ８０２までの処理は、図４のステップ４００〜４０４までの処理と同じである。
【００５９】
ステップ８０３で、ＣＰＵ２００は、フレーム画像Ａに対して侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形（Ｎ箇所）の外の領域を任意の単一色で塗りつぶし、ステップ８０４に移行する（これを警告画像とする。）。
【００６０】
ステップ８０４〜ステップ４０８までの処理は、図４のステップ４０６〜４０８までの処理と同じである。
【００６１】
この結果により、モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【００６２】
結果のモバイル端末の表示画面を図９に示す。１０５−８はモバイル端末、６００は表示画面、９０１は警告画像、９０２は外接矩形の中の領域、９０３は外接矩形の外の領域である。
【００６３】
モバイル端末１０５−８の表示画面６００では、モバイル端末１０５−１〜１０５−３と同様、３本の木６２０の間に侵入者６３０、６３５がいる場合の表示例を示した。
【００６４】
モバイル端末１０５−８の表示画像９０１は、侵入者６３０、６３５が警告画像９０１内のどの場所に位置するのか分かる。例えば、警告画像の左ほど警戒レベルが高いとき、警告画像９０１を見れば、左側に侵入者６３５がいることがユーザに一目でわかり、ユーザは警戒の度合を把握しやすくなる。それと同時に、送信されるデータ量が減るので（原画像に比べ、外接矩形の外の領域９０３が単一色で塗りつぶしてあるため、圧縮してファイルに保存するとデータ量は減る）、それに比例して通信コストを下げることができる。
【００６５】
次に、本発明の第４の実施の形態を図１０〜１１によって説明する。
警告画像内の侵入者がいる箇所をユーザに注目させる場合、注目箇所の画像は拡大し、注目箇所以外の画像を縮小してもよい。このようにすると、侵入者の映像が拡大され、侵入者が誰なのかよりはっきり分かり、かつ、侵入者が警告画像内のどの場所に位置するのかも分かり、警戒の度合を把握しやすくなる。
【００６６】
図１０は、図２のＣＰＵ２００が行う処理を示す第４の実施の形態のフローチャートである。以下、図１０のフローチャートを説明する。
【００６７】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【００６８】
ステップ１０００〜ステップ１００２までの処理は、図４のステップ４００〜４０４までの処理と同じである。
【００６９】
ステップ１００３で、ＣＰＵ２００は、フレーム画像Ａに対して侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形で囲まれた領域（これを領域Ｂとする。Ｎ箇所ある。）を適当な比率で拡大し、領域Ｂ以外の領域（これを領域Ｃとする）を領域Ｂから離れるほど縮小するように画像処理し、ステップ１００４に移行する（これを警告画像とする。）。
【００７０】
ステップ１００４〜４０８の処理は、図４のステップ４０６〜４０８の処理と同じである。
【００７１】
この結果により、モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【００７２】
結果のモバイル端末の表示画面を図１１に示す。１０５−９はモバイル端末、６００は表示画面、１１００は警告画像、６３０−１、６３５−１は拡大表示された侵入者、６２０−１は縮小表示された３本の木である。
【００７３】
モバイル端末１０５−９の表示画面６００では、図５（Ａ）から（Ｃ）のモバイル端末１０５−１〜１０５−３と同様、３本の木の間に侵入者が２人いる場合の表示例を示した。
【００７４】
侵入者６３０−１、６３５−１は、モバイル端末１０５−１の表示画面６００にいる侵入者６３０、６３５よりも拡大表示されているので、警告画像１１００内に侵入者がいること、そして侵入者が誰なのかがよりはっきりとわかる。また、木６２０−１は、モバイル端末１０５−１の表示画面６００にある木６２０よりも縮小表示されているものの、侵入者６３０−１、６３５−１との位置関係は変わらないので、侵入者６３０−１、６３５−１が警告画像１１００内のどの場所に位置するのか分かる。よって、例えば、警告画像の左ほど警戒レベルが高いとき、警告画像１１００を見れば、左側に侵入者６３５−１がいることがユーザに一目でわかり、ユーザは警戒の度合を把握しやすくなる。
【００７５】
次に、本発明の第５の実施の形態を図１２〜１５によって説明する。
前記第１の実施の形態では、警告画像内の注目箇所に外接矩形枠を描画する形態を述べ、モバイル端末の表示画面で警告画像をみた場合の表示例を、図５（Ｂ）のモバイル端末１０５−２に示し、侵入者６３０、６３５に枠６０４、６０５が表示されることを述べたが、モバイル端末の表示画面で警告画像をスクロール操作できるような場合は、枠の一つがモバイル端末の表示画面の中央に表示されるようにしてもよい。このようにすると、大事な箇所をまずユーザが見て、その後で、スクロール操作によって警告画像の見たい部分をチェックできるようになり、モバイル端末の操作性がよくなる。
【００７６】
初めに、本サーバ１０３の処理について説明する。
【００７７】
図１２は、図２のＣＰＵ２００が行う第５の実施の形態の処理を示すフローチャートである。以下、図１２のフローチャートを説明する。
【００７８】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【００７９】
ステップ１２００〜ステップ１２０２までの処理は、図４のステップ４００〜４０４までの処理と同じである。
【００８０】
ステップ１２０３で、ＣＰＵ２００は、フレーム画像Ａに対して侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形の箇所（Ｎ箇所）に枠を描画し、ステップ４０６に移行する（これを警告画像とする。）。
【００８１】
ステップ１２０４で、ＣＰＵ２００は、侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形の中心座標を計算し、該座標（Ｎ個）と侵入者の数（Ｎ）を電子メールの本文に記述する。
【００８２】
ステップ１２０５〜４０８の処理は、図４のステップ４０６〜４０８の処理と同じである。
【００８３】
次に、モバイル端末１０５の処理について説明する。
【００８４】
図１３は、図１のモバイル端末１０５の構成を示すブロック図である。１３００はＣＰＵ、１３０１はメモリ、１３０２は通信インターフェース、１３０３は通信媒体、１３０４は記憶装置、１３０５はバス、１３０６はボタンインターフェース、１３０７は表示画面である。
【００８５】
ＣＰＵ１３００は、バス１３０５を介して、メモリ１３０１、通信インターフェース１３０２、記憶装置１３０４、ボタンインターフェース１３０６、表示画面１３０７と接続されており、通信インターフェース１３０２は、通信媒体１３０３を介して図１の他の構成要素と接続されている。ＣＰＵ１３００は、バス１３０５を介して接続されている他の構成要素と信号を送受し合い、各構成要素はＣＰＵ１３００からのアクセス信号により制御される。
【００８６】
図１４は、図１３のＣＰＵ１３００が行う第５の実施の形態の処理を示すフローチャートであり、図３は、ＣＰＵ２００と同様に、ＣＰＵ１３００が処理の最中にメモリ１３０１に作成するデータ領域である。以下、図１４のフローチャートを説明する。
【００８７】
ＣＰＵ１３００が処理を開始すると、ステップ１４００で、ＣＰＵ１３００は、本サーバ１０３から通信媒体１３０３と通信インターフェース１３０２を経由して電子メール（これを電子メールＡと称する）を取得し、記憶装置１３０４に格納し、ステップ１４０１に移行する。
【００８８】
ステップ１４０１で、ボタンインターフェース１３０６からＣＰＵ１３００に電子メールＡに添付された警告画像ファイル（これを警告画像ファイルＡと称する）を閲覧する要求が来たかどうかを判断する。要求が来た場合はステップ１４０２に移行し、要求が来ない場合はステップ１４０１に戻り、本ステップの処理を繰り返す。
【００８９】
ステップ１４０２で、ＣＰＵ１３００は、記憶装置１３０４から警告画像ファイルＡの画像データをメモリ１３０１に読み込み（これを警告画像Ａとする）、ステップ１４０３に移行する。
【００９０】
ステップ１４０３で、ＣＰＵ１３００は、記憶装置１３０４から電子メールＡの本文の文字データをメモリ１３０１に読み込み（これを本文Ａとする）、ステップ１４０４に移行する。
【００９１】
ステップ１４０４で、ＣＰＵ１３００は、本文Ａに記述された侵入者の数（Ｎ）の分だけ侵入者管理テーブル３００をメモリ１３０１に確保し、ステップ１４０５に移行する。
【００９２】
ステップ１４０５で、ＣＰＵ１３００は、本文Ａに記述された侵入者の外接矩形の中心座標を、侵入者管理テーブル３００の各要素３０１〜３０３（Ｎ個）が各々指している侵入者管理構造体３５０のメンバ変数、ｘ座標３５２、ｙ座標３５３に格納し、ステップ１４０６に移行する。
【００９３】
ステップ１４０６で、ＣＰＵ１３００は、侵入者管理テーブル３００のデータをもとに、一つの侵入者の外接矩形の中心が表示画面１３０７の中心に来るように、警告画像Ａを表示画面１３０７に表示し、本処理を終了する。尚、表示画面１３０７の中心に表示される侵入者として、例えば、警告画像Ａの右側ほど警戒レベルが高い場合、最も右側に位置している侵入者などが考えられる。
【００９４】
この結果により、モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【００９５】
結果のモバイル端末の表示画面を図１５に示す。１０５−１０はモバイル端末、６００は表示画面、１５００は警告画像、６３０は侵入者、６２０は木、６０４は外接矩形枠、１５０１はボタン群である。
【００９６】
モバイル端末１０５−１０の表示画面６００では、図５（Ａ）から（Ｃ）のモバイル端末１０５−１〜１０５−３と同様、３本の木６２０の間に侵入者６３０、６３５がいる場合の一部分を示した。
【００９７】
ボタン群１５０１は、図１３のボタンインターフェース１３０６に相当し、表示画面６００に表示される警告画像１５００をスクロールすることができる。また、警告画像１５００の面積は、図５（Ｂ）のモバイル端末１０５−２の警告画像６０２より大きめに表示されている。また、モバイル端末１５０−１０では、枠６０４の中心が表示画面６００の中心にくるように、即ち、侵入者６３０が中央にくるように表示されている。
【００９８】
このようにモバイ端末１５０−１０で、警告画像の表示を制御することで、ユーザはまず大事な箇所を見ることができ、その後、ボタン群１５０１を操作して警告画像１５００をスクロールし、警告画像１５００の見たい部分をチェックできるようになり、モバイル端末１５０−１０の操作性がよくなる。
【００９９】
次に、本発明の第６の実施の形態を図１６〜１８によって説明する。
前記第１の実施の形態では、警告画像内の注目箇所の外接矩形を切り取る形態を述べ、モバイル端末の表示画面で、切り出した警告画像をみた場合の表示例を図５（Ｂ）のモバイル端末１０５−３に示し、表示画面６００に侵入者６３０、６３５のみが映された警告画像６０３、６０４が表示されることを述べたが、注目箇所の位置情報を利用して、モバイル端末の表示画面上でも、切り出した警告画像を適切な位置に表示するようにしてもよい。このようにすると、侵入者が警告画像内のどの場所に位置するのか分かりやすくなり、警戒の度合を把握しやすくなる。
【０１００】
初めに、本サーバ１０３の処理について説明する。
【０１０１】
図１６は、図２のＣＰＵ２００が行う処理を示す第６の実施の形態のフローチャートである。以下、図１６のフローチャートを説明する。
【０１０２】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【０１０３】
ステップ１６００〜ステップ１６０２の処理は、図４のステップ４００〜４０４の処理と同じである。
【０１０４】
ステップ１６０３で、ＣＰＵ２００は、フレーム画像Ａに対して侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形の箇所（Ｎ箇所）を切り取り、ステップ１６０４に移行する（これを警告画像とする。）。
【０１０５】
ステップ１６０４で、ＣＰＵ２００は、侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形の座標（Ｎ個）と侵入者の数（Ｎ）を電子メールの本文に記述する。
【０１０６】
ステップ１６０５〜４０８の処理は、図４のステップ４０６〜４０８の処理と同じである。
【０１０７】
次に、モバイル端末１０５の処理について説明する。
【０１０８】
図１７は、図１３のＣＰＵ１３００が行う第６の実施の形態の処理を示すフローチャートであり、図３は、ＣＰＵ２００と同様に、ＣＰＵ１３００が該処理の最中にメモリ１３０１に作成するデータ領域である。以下、図１７のフローチャートを説明する。
【０１０９】
ＣＰＵ１３００が処理を開始すると、ステップ１７００で、ＣＰＵ１３００は図１４のステップ１４００と同じ処理をし、ステップ１７０１に移行する。
【０１１０】
ステップ１７０１で、ボタンインターフェース１３０６（図１３）からＣＰＵ１３００に、電子メールＡに添付された警告画像ファイル（これを警告画像ファイルＡと称する。Ｎ個ある。）を閲覧する要求が来たかどうかを判断する。要求が来た場合はステップ１７０２に移行し、要求が来ない場合はステップ１７０１に戻り、本ステップの処理を繰り返す。
【０１１１】
ステップ１７０２で、ＣＰＵ１３００は、記憶装置１３０４から警告画像ファイルＡの画像データをメモリ１３０１に読み込み（これを警告画像Ａとする。Ｎ個ある。）、ステップ１７０３に移行する。
【０１１２】
ステップ１７０３で、ＣＰＵ１３００は、図１４のステップ１４０３と同じ処理をし、ステップ１７０４に移行する。
【０１１３】
ステップ１７０４で、ＣＰＵ１３００は、図１４のステップ１４０４と同じ処理をし、ステップ１７０５に移行する。
【０１１４】
ステップ１７０５で、ＣＰＵ１３００は、本文Ａに記述された侵入者の外接矩形の座標を、侵入者管理テーブル３００の各要素３０１〜３０３（Ｎ個）が各々指している侵入者管理構造体３５０のメンバ変数、ｘ座標３５２、ｙ座標３５３（以上、左上の座標）、ｘ座標３５４、ｙ座標３５５（以上、右下の座標）に格納し、ステップ１７０６に移行する。
【０１１５】
ステップ１７０６で、ＣＰＵ１３００は、侵入者管理テーブル３００のデータをもとに、格納された座標の座標値を変えることにより、警告画像Ａ（Ｎ個）を表示画面１３０７上の任意の位置に表示し、本処理を終了する。
【０１１６】
この結果により、モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【０１１７】
結果のモバイル端末の表示画面を図１８に示す。１０５−１１はモバイル端末、６００は表示画面、６０３、６０４は警告画像、６３０、６３５は侵入者である。
【０１１８】
モバイル端末１０５−１１の表示画面６００では、図５（Ａ）から（Ｃ）のモバイル端末１０５−１〜１０５−３と同様、３本の木６２０の間に侵入者６３０、６３５がいる場合の表示例を示した。
【０１１９】
モバイル端末１０５−１１の警告画像６０３、６０４で、侵入者６３０、６３５が警告画像全体の中どの場所に位置するのか分かる。よって、例えば、警告画像の左ほど警戒レベルが高いとき、警告画像６０４を見れば、左側に侵入者６３５がいることがユーザに一目でわかり、ユーザは警戒の度合を把握しやすくなる。それと同時に、送信されるデータ量が減るので、それに比例して通信コストを下げることができる。
【０１２０】
次に、本発明の第７の実施の形態を図１９によって説明する。
前記第１から第６の実施の形態では、監視カメラからの映像に対して画像認識処理を行い、侵入者を検知した場合、検知時の画像を電子メールに添付し、電子メールをモバイル端末に送信していたが、その検知の信頼度に応じて、電子メールの内容を変えてもよい。このようにすると、電子メールの内容によって、ユーザは警戒の度合を認識しやすくなり、場合によっては、送信するデータも減り、通信コストを下げることもできる。
【０１２１】
図１９は、図１３のＣＰＵ２００が行う第７の実施の形態の処理を示すフローチャートである。以下、図１９のフローチャートを説明する。
【０１２２】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【０１２３】
ステップ１９００の処理は、図４のステップ４００〜４０１の処理と同じである。
【０１２４】
ステップ１９０１で、ＣＰＵ２００は、前ステップ１９００の処理の結果を受け、上記認識対象画像と比較して、侵入者を検知したか判断する。検知した場合は、ステップ１９０２に移行して処理を続け、検知していない場合は、何も処理をせずにステップ４０８に移行する。
【０１２５】
ステップ１９０２で、ＣＰＵ２００は、ステップ１９００の処理の結果を受けて、検知信頼度を電子メールの本文に記述し、ステップ１９０３に移行する。検知信頼度としては、例えば、ステップ１９００の画像認識処理において顔認識処理を行った結果、認識対象の顔と、特定の人（例えば指名手配の人）の顔がどの程度合致しているかを示す値などが考えられる。値は百分率でよいし、Ａ、Ｂ、Ｃの様なランク付けでもよい。
【０１２６】
ステップ１９０３で、ＣＰＵ２００は、検知信頼度が適当な条件を満たしたかどうかを判断する。満たした場合は、ステップ１９０４に移行し、満たしていない場合は、ステップ１９０６に移行する。適当な条件としては、顔認識の例でいえば、検知信頼度が９０％以上であった場合、即ち９０％以上の割合で顔が一致している場合などが考えられるし、またその逆でもよい。
【０１２７】
ステップ１９０４の処理は、図４のステップ４０３〜４０６の処理と同じである。
【０１２８】
ステップ１９０５で、ＣＰＵ２００は、警告画像ファイルを電子メールに添付し、ステップ１９０６に移行する。
【０１２９】
ステップ１９０６で、ＣＰＵ２００は、電子メールを通信インターフェース２０２と通信媒体２０３を経由して、モバイル端末１０５に送信し、ステップ４０８に移行する。
【０１３０】
ステップ４０８で、ＣＰＵ２００は、本サーバ１０３の処理が終了したかを判断する。終了した場合は本処理を終了し、終了していない場合はステップ１９００に戻り、今まで述べてきた処理を繰り返す。
【０１３１】
この結果、電子メールの内容によって、ユーザは警戒の度合を認識しやすくなる。例えば前述の顔認識の例でいうと、ステップ１９０３の条件が検知信頼度７０％以上であったとすると、電子メールに警告画像が添付してあった場合、指名手配の人に７０％以上似ている人が検知された事を示しているので、ユーザはこのことから、警戒の度合が高いことを理解する。一方、電子メールに警告画像が添付していなかった場合、指名手配の人に７０％までは似ていない人が検知された事を示しているので、ユーザはこのことから、警戒の度合が低いことを理解する。また、後者の場合、警告画像のデータは送信されないので、それに比例して通信コストを下げることができる。
【０１３２】
また、ステップ１９０３の条件が検知信頼度９０％未満、５０％以上であったとすると、電子メールに警告画像が添付してあった場合、指名手配の人に似ていそうだけどはっきりしない人が検知された事を示しているので、ユーザはこのことから、警告画像を自分の目で判断しなければならないことを理解する。一方、電子メールに警告画像が添付していなかった場合、検知信頼度が９０％以上なら、指名手配の人であるとほぼはっきりしており、また検知信頼度が５０％未満であれば、指名手配の人ではないとほぼはっきりしているので、両者共に警告画像をあえてみる必要が無くなり、ユーザの手間が省け、また、通信コストを下げることができる。
【０１３３】
なお、上記の本発明の各実施の形態においては、進入者すなわち人を検知したが、それにかぎらず、特定の物体を検知するのでも良く、また画像を電子メールに添付して送信しているが、画像を直接送信するようにしても良く、またカメラは監視カメラに限定されず、通常のカメラであっても良く、また監視カメラに限定されず、他の映像配信システムであっても良く、また本発明の構成として図１では映像蓄積配信サーバを介在させているが、本発明においては必須の構成ではないので削除しても良いことはいうまでもない。
【０１３４】
【発明の効果】
本発明によれば、モバイル端末で見たい注目箇所を分かりやすく表示することが可能な映像配信システムおよび通報サーバならびにモバイル端末を得ることができる。また本発明によれば、モバイル端末で見たい注目箇所を少ない画像で配信することが可能な映像配信システムおよび通報サーバならびにモバイル端末を得ることができる。さらに本発明によれば、モバイル端末で人または物体の検知の信頼度がわかる通報サーバを得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態のネットワーク型監視システムを構成するブロック図である。
【図２】図１の通報サーバを構成するブロック図である。
【図３】図２のＣＰＵが処理の最中にメモリに作成するデータ領域である。
【図４】図２のＣＰＵが行う処理を示す第１の実施の形態のフローチャートである。
【図５】従来と第１の実施の形態の結果のモバイル端末の表示画面を示す図である。
【図６】図２のＣＰＵが行う処理を示す第２の実施の形態のフローチャートである。
【図７】第２の実施の形態の結果のモバイル端末の表示画面を示す図である。
【図８】図２のＣＰＵが行う処理を示す第３の実施の形態のフローチャートである。
【図９】第３の実施の形態の結果のモバイル端末の表示画面を示す図である。
【図１０】図２のＣＰＵが行う処理を示す第４の実施の形態のフローチャートである。
【図１１】第４の実施の形態の結果のモバイル端末の表示画面を示す図である。
【図１２】図２のＣＰＵが行う第５の実施の形態処理を示すフローチャートである。
【図１３】図１のモバイル端末の構成を示すブロック図である。
【図１４】図１３のＣＰＵが行う第５の実施の形態の処理を示すフローチャートである。
【図１５】第５の実施の形態の結果のモバイル端末の表示画面を示す図である。
【図１６】図２のＣＰＵが行う第６の実施の形態の処理を示すフローチャートである。
【図１７】図１３のＣＰＵが行う第６の実施の形態の処理を示すフローチャートである。
【図１８】第６の実施の形態の結果のモバイル端末の表示画面を示す図である。
【図１９】図１３のＣＰＵが行う第７の実施の形態の処理を示すフローチャートである。
【図２０】従来のネットワーク型監視システムを構成するブロック図である。
【符号の説明】
１００…監視カメラ、１０１…ウェブエンコーダ、１０２…映像蓄積配信サーバ、１０３…通報サーバ、１０５…モバイル端末、１１０…映像ケーブル、１１１〜１１３…通信媒体、２００…ＣＰＵ、２０１…メモリ、２０２…通信インターフェース、２０３…通信媒体、２０４…記憶装置、２０５…バス、３００…侵入者管理テーブル、３０１〜３０３…配列要素、３５０…侵入者管理構造体、３５１…フレーム番号、３５２…ｘ座標、３５３…ｙ座標、３５４…ｘ座標、３５５…ｙ座標、１０５−１〜１０５−１１…モバイル端末、６００…表示画面、６０１〜６０４、６１１〜６１４、７０１〜７０２、９０１、１１００、１５００…警告画像、６０４〜６０５、６１４〜６１５…外接矩形枠、６２０、６２０−１…木、６３０、６３５、６３０−１、６３５−１…侵入者、６４０…人込み、６５０、６５５…指名手配の人、９０２…外接矩形の中の領域、９０３…外接矩形の外、１３００…ＣＰＵ、１３０１…メモリ、１３０２…通信インターフェース、１３０３…通信媒体、１３０４…記憶装置、１３０５…バス、１３０６…ボタンインターフェース、１３０７…表示画面、１５０１…ボタン群、２０００…監視装置。
【図１】
2004180235.tif 000003
【図２】
2004180235.tif 000004
【図３】
2004180235.tif 000005
【図４】
2004180235.tif 000006
【図５】
2004180235.tif 000007
【図６】
2004180235.tif 000008
【図７】
2004180235.tif 000009
【図８】
2004180235.tif 000010
【図９】
2004180235.tif 000011
【図１０】
2004180235.tif 000012
【図１１】
2004180235.tif 000013
【図１２】
2004180235.tif 000014
【図１３】
2004180235.tif 000015
【図１４】
2004180235.tif 000016
【図１５】
2004180235.tif 000017
【図１６】
2004180235.tif 000018
【図１７】
2004180235.tif 000019
【図１８】
2004180235.tif 000020
【図１９】
2004180235.tif 000021
【図２０】
2004180235.tif 000022