(57)【要約】【課題】画像情報や、音声情報、加速度情報などを利用して状況の変動を把握するにあたり、可能な限り些細な状況の変動も把握可能であって、なおかつ誤検出のおそれを低減できる状況変動把握システムを提供する。【解決手段】情報取得部を介して画像情報を複数のエリアに分割し、各エリアに属する画素の画素値を積算する画像情報積算手段と、前記画像情報積算手段で積算して得た各エリアごとの画像情報を、各エリアごとに定められている比較画像情報と比較し、予め定められている変化率を越えた時に、情報出力部を介して閾値情報を出力する画像情報閾値判定手段とを備えている状況変動把握システム。【選択図】図１
2009032138.tif 000002
【特許請求の範囲】
【請求項１】
情報取得部を介して画像情報を複数のエリアに分割し、各エリアに属する画素の画素値を積算する画像情報積算手段と、
前記画像情報積算手段で積算して得た各エリアごとの画像情報を、各エリアごとに定められている比較画像情報と比較し、予め定められている変化率を越えた時に、情報出力部を介して閾値情報を出力する画像情報閾値判定手段と
を備えている状況変動把握システム。
【請求項２】
予め定められている連続する期間に、情報取得部を介して取得した音声情報を積算して平均値を演算する音声情報積算手段と、
前記音声情報積算手段で演算された音声情報が、予め定められている上限音声情報値を越えたとき、あるいは予め定められている下限音声情報値に達しないときに、情報出力部を介して閾値情報を出力する音声情報閾値判定手段と
を更に備えている請求項１記載の状況変動把握システム。
【請求項３】
前記音声情報閾値判定手段は、更に、前記音声情報積算手段で演算された音声情報が予め定められている上限音声情報値を越えることが、予め定められている回数連続する時、あるいは、前記音声情報積算手段で演算された音声情報が予め定められている下限音声情報値に達しないことが、予め定められている回数連続する時に、情報出力部を介して閾値情報を出力する機能を有する
ことを特徴とする請求項２記載の状況変動把握システム。
【請求項４】
予め定められている連続する期間に、情報取得部を介して取得したＸ軸、Ｙ軸、Ｚ軸方向の加速度情報をそれぞれ積算してＸ軸、Ｙ軸、Ｚ軸方向の加速度情報の平均値を演算し、当該演算により求めたＸ軸、Ｙ軸、Ｚ軸方向の加速度値を、予め定められている条件式に基づいて演算する加速度情報演算手段と
前記加速度情報演算手段で演算された加速度情報値が、予め定められている上限加速度情報値を越えたとき、あるいは予め定められている下限加速度情報値に達しないときに、情報出力部を介して閾値情報を出力する加速度情報閾値判定手段と
を更に備えている請求項１乃至３のいずれか一項記載の状況変動把握システム。
【請求項５】
前記加速度情報閾値判定手段は、更に、前記加速度情報演算手段で演算された加速度情報値が予め定められている上限加速度情報値を越えることが、予め定められている回数連続する時、あるいは、前記加速度情報演算手段で演算された加速度情報値が予め定められている下限加速度情報値に達しないことが、予め定められている回数連続する時に、情報出力部を介して閾値情報を出力する機能を有する
ことを特徴とする請求項４記載の状況変動把握システム。
【請求項６】
情報取得部を介して同一の時間に取得した音声情報と、Ｘ軸、Ｙ軸、Ｚ軸方向の加速度情報とについて、前記音声情報積算手段で演算された音声情報と、前記加速度情報演算手段で演算された加速度情報値とを、予め定められている条件式に基づいて演算する音声・加速度情報演算手段と
前記音声・加速度情報演算手段で演算された音声・加速度情報値が、予め定められている上限音声・加速度情報値を越えたとき、あるいは予め定められている下限音声・加速度情報値に達しないときに、情報出力部を介して閾値情報を出力する音声・加速度情報閾値判定手段と
を更に備えている請求項４又は５記載の状況変動把握システム。
【請求項７】
前記音声・加速度情報閾値判定手段は、更に、前記音声・加速度情報演算手段で演算された音声・加速度情報値が予め定められている上限音声・加速度情報値を越えることが、予め定められている回数連続する時、あるいは、前記音声・加速度情報演算手段で演算された音声・加速度情報値が予め定められている下限音声・加速度情報値に達しないことが、予め定められている回数連続する時に、情報出力部を介して閾値情報を出力する機能を有する
ことを特徴とする請求項６記載の状況変動把握システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像情報や、音声情報、加速度情報、温度情報、ガス・アルコールの臭いなどの臭気情報、位置情報、時間情報などの種々の情報を複合的に把握し、状況の変動を把握する状況変動把握システムに関する。
【背景技術】
【０００２】
従来から監視カメラ、ドアカメラ、ドライブレコーダーなどには、画像情報や、音声情報、加速度情報などを利用して状況の変動を把握するシステムが種々提案されている。
【０００３】
たとえば、本願の発明者は、撮像手段により撮影された画像に生じた変化を低コスト、低消費電力かつ少ないストレージ容量で検出することに適した装置を提案している（特許文献１）。
【０００４】
また、移動体に搭載されるデータ処理装置であって、音声データ、画像データに基づいて移動体内の状況を把握するデータ処理装置の提案（特許文献２）や、倉庫などの建造物における異常状態を検知するカメラ付きの監視用自走機の提案（特許文献３）もある。
【特許文献１】特開２００６−７９３８７号公報
【特許文献２】特開２００５−１９８２１０号公報
【特許文献３】特開２００４−１６４３０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前記の特許文献１に記載されている技術は、画像情報における画素の画素値を時系列的に積算し、こうして時系列的に積算された画素値の間における変化の有無を判定するものであり、画像を１又は複数のエリアに分割して各エリアごとに各エリアに属する画素の画素値を積算するので、低消費電力、低ストレージ容量で変化の把握を可能にすることができた。
【０００６】
また、特許文献１、２記載の技術も、画像情報、音声情報などをそれぞれ別個独立に検知、監視するものであった。
【０００７】
画像情報や、音声情報、加速度情報などを利用して状況の変動を把握する場合、些細な状況の変動も把握しようとすれば、誤検出が生じることは避けられない。
【０００８】
そこで、本発明は、画像情報や、音声情報、加速度情報などを利用して状況の変動を把握するにあたり、可能な限り些細な状況の変動も把握可能であって、なおかつ誤検出のおそれを低減できる状況変動把握システムを提案することを目的にしている。
【課題を解決するための手段】
【０００９】
前記の目的を達成するため、この発明が提案する状況変動把握システムは、情報取得部を介して画像情報を複数のエリアに分割し、各エリアに属する画素の画素値を積算する画像情報積算手段と、前記画像情報積算手段で積算して得た各エリアごとの画像情報を、各エリアごとに定められている比較画像情報と比較し、予め定められている変化率を越えた時に、情報出力部を介して閾値情報を出力する画像情報閾値判定手段とを備えているものである。
【００１０】
ここで、前記状況変動把握システムは、予め定められている連続する期間に、情報取得部を介して取得した音声情報を積算して平均値を演算する音声情報積算手段と、前記音声情報積算手段で演算された音声情報が、予め定められている上限音声情報値を越えたとき、あるいは予め定められている下限音声情報値に達しないときに、情報出力部を介して閾値情報を出力する音声情報閾値判定手段とを更に備えている形態にすることができる。
【００１１】
そして、この場合、前記音声情報閾値判定手段は、更に、前記音声情報積算手段で演算された音声情報が予め定められている上限音声情報値を越えることが、予め定められている回数連続する時、あるいは、前記音声情報積算手段で演算された音声情報が予め定められている下限音声情報値に達しないことが、予め定められている回数連続する時に、情報出力部を介して閾値情報を出力する機能を有するものとすることができる。
【００１２】
前記いずれの本発明の状況変動把握システムにおいても、予め定められている連続する期間に、情報取得部を介して取得したＸ軸、Ｙ軸、Ｚ軸方向の加速度情報をそれぞれ積算してＸ軸、Ｙ軸、Ｚ軸方向の加速度情報の平均値を演算し、当該演算により求めたＸ軸、Ｙ軸、Ｚ軸方向の加速度値を、予め定められている条件式に基づいて演算する加速度情報演算手段と、前記加速度情報演算手段で演算された加速度情報値が、予め定められている上限加速度情報値を越えたとき、あるいは予め定められている下限加速度情報値に達しないときに、情報出力部を介して閾値情報を出力する加速度情報閾値判定手段と、を更に備えている形態にすることができる。
【００１３】
そして、この場合、前記加速度情報閾値判定手段は、更に、前記加速度情報演算手段で演算された加速度情報値が予め定められている上限加速度情報値を越えることが、予め定められている回数連続する時、あるいは、前記加速度情報演算手段で演算された加速度情報値が予め定められている下限加速度情報値に達しないことが、予め定められている回数連続する時に、情報出力部を介して閾値情報を出力する機能を有するものとすることができる。
【００１４】
また、情報取得部を介して同一の時間に取得した音声情報と、Ｘ軸、Ｙ軸、Ｚ軸方向の加速度情報とについて、前記音声情報積算手段で演算された音声情報と、前記加速度情報演算手段で演算された加速度情報値とを、予め定められている条件式に基づいて演算する音声・加速度情報演算手段と、前記音声・加速度情報演算手段で演算された音声・加速度情報値が、予め定められている上限音声・加速度情報値を越えたとき、あるいは予め定められている下限音声・加速度情報値に達しないときに、情報出力部を介して閾値情報を出力する音声・加速度情報閾値判定手段とを更に備えている形態にすることもできる。
【００１５】
そして、この場合、前記音声・加速度情報閾値判定手段は、更に、前記音声・加速度情報演算手段で演算された音声・加速度情報値が予め定められている上限音声・加速度情報値を越えることが、予め定められている回数連続する時、あるいは、前記音声・加速度情報演算手段で演算された音声・加速度情報値が予め定められている下限音声・加速度情報値に達しないことが、予め定められている回数連続する時に、情報出力部を介して閾値情報を出力する機能を有する形態にすることができる。
【発明の効果】
【００１６】
この発明によれば、画像情報や、音声情報、加速度情報などを利用して状況の変動を把握するにあたり、可能な限り些細な状況の変動も把握可能であって、なおかつ誤検出のおそれを低減できる状況変動把握システムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照して本発明の好ましい実施形態を説明する。
【００１８】
コンピュータからなる本発明の状況変動把握システム１は、インターフェイス部２、画像情報積算手段３、画像情報閾値判定手段４、音声情報積算手段５、音声情報閾値判定手段６、加速度情報演算手段７、加速度情報閾値判定手段８、音声・加速度情報演算手段９、音声・加速度情報閾値判定手段１０、記憶手段１１を備えている。
【００１９】
インターフェイス部２は、ＣＣＤカメラなどからなるカメラ２０、マイク２１、加速度センサ２２、温度センサ２３などから入力されるデジタル情報を取得する情報取得部及び、符号３０で示されるＣＰＵや、その他のモジュールに対して割り込み信号を送出する情報出力部の役割を果たすものである。
【００２０】
なお、カメラ２０、マイク２１、加速度センサ２２、温度センサ２３などからはアナログ信号で入力され、インターフェイス部２でアナログ信号からデジタル信号に変換する形態にすることもできる。
【００２１】
前記の画像情報積算手段３〜音声・加速度情報閾値判定手段１０の各手段は、コンピュータのＣＰＵ、ＲＡＭなどが、所定のコンピュータプログラムの下に動作を行なうことにより、以下に説明する各機能、処理動作を実行するものである。
【００２２】
記憶手段１１は不揮発性メモリ、ハードディスクなど、種々の形態の記憶手段から構成することができる。この記憶手段１１で、画像情報積算手段３〜音声・加速度情報閾値判定手段１０の各手段が後述する各機能、処理動作を実行する際に必要な情報、データの記憶などが行われる。
【００２３】
画像情報積算手段３は、インターフェイス部２を介して取得した画像情報を複数のエリアに分割し、各エリアに属する画素の画素値を積算する処理動作を行なう。
【００２４】
画像情報閾値判定手段４は、画像情報積算手段３で積算して得た各エリアごとの画像情報を、各エリアごとに定められている比較画像情報と比較し、予め定められている変化率を越えた時に、インターフェイス部２を介して閾値情報を出力する。
【００２５】
音声情報積算手段５は、予め定められている連続する期間に、インターフェイス部２を介して取得した音声情報を積算して平均値を演算する処理動作を行なう。
【００２６】
音声情報閾値判定手段６は、音声情報積算手段５で演算された音声情報が、予め定められている上限音声情報値を越えたとき、あるいは予め定められている下限音声情報値に達しないときに、インターフェイス部２を介して閾値情報を出力する処理動作を行なう。
【００２７】
また、音声情報閾値判定手段６は、音声情報積算手段５で演算された音声情報が予め定められている上限音声情報値を越えることが、予め定められている回数連続する時、あるいは、音声情報積算手段５で演算された音声情報が予め定められている下限音声情報値に達しないことが、予め定められている回数連続する時に、インターフェイス部２を介して閾値情報を出力する機能を、更に、備えている。
【００２８】
加速度情報演算手段７は、予め定められている連続する期間に、インターフェイス部２を介して取得したＸ軸、Ｙ軸、Ｚ軸方向の加速度情報をそれぞれ積算してＸ軸、Ｙ軸、Ｚ軸方向の加速度情報の平均値を演算し、当該演算により求めたＸ軸、Ｙ軸、Ｚ軸方向の加速度情報の平均値を、予め定められている条件式に基づいて演算する処理動作を行なう。
【００２９】
加速度情報閾値判定手段８は、加速度情報演算手段７で演算された加速度情報値が、予め定められている上限加速度情報値を越えたとき、あるいは予め定められている下限加速度情報値に達しないときに、インターフェイス部２を介して閾値情報を出力する。
【００３０】
加速度情報閾値判定手段８は、更に、加速度情報演算手段７で演算された加速度情報値が予め定められている上限加速度情報値を越えることが、予め定められている回数連続する時、あるいは、加速度情報演算手段７で演算された加速度情報値が予め定められている下限加速度情報値に達しないことが、予め定められている回数連続する時に、インターフェイス部２を介して閾値情報を出力する機能を、更に、備えている。
【００３１】
音声・加速度情報演算手段９は、インターフェイス部２を介して同一の時刻に取得した音声情報と、Ｘ軸、Ｙ軸、Ｚ軸方向の加速度情報とについて、音声情報積算手段５で演算された音声情報と、加速度情報演算手段７で演算された加速度情報値とを、予め定められている条件式に基づいて演算する処理動作を行なう。
【００３２】
音声・加速度情報閾値判定手段１０は、音声・加速度情報演算手段９で演算された音声・加速度情報値が、予め定められている上限音声・加速度情報値を越えたとき、あるいは予め定められている下限音声・加速度情報値に達しないときに、インターフェイス部２を介して閾値情報を出力する。
【００３３】
音声・加速度情報閾値判定手段１０は、更に、音声・加速度情報演算手段９で演算された音声・加速度情報値が予め定められている上限音声・加速度情報値を越えることが、予め定められている回数連続する時、あるいは、音声・加速度情報演算手段９で演算された音声・加速度情報値が予め定められている下限音声・加速度情報値に達しないことが、予め定められている回数連続する時に、インターフェイス部２を介して閾値情報を出力する機能を、更に、有する。
【００３４】
前記において、画像情報閾値判定手段４がインターフェイス部２を介して出力する閾値情報、音声情報閾値判定手段６がインターフェイス部２を介して出力する閾値情報、加速度情報閾値判定手段８がインターフェイス部２を介して出力する閾値情報、音声・加速度情報閾値判定手段１０がインターフェイス部２を介して出力する閾値情報が、符号３０で示されるＣＰＵや、その他のモジュールに対して送出される割り込み信号になる。
【００３５】
符号３０で示されるＣＰＵや、その他のモジュールは、この割り込み信号を取得すると、各割り込み信号に対応した処理動作の実行を行うように組み込まれているコンピュータプログラムにより、所定の処理動作を実行する。
【００３６】
次に、図２、図３を用いて、画像情報積算手段３、画像情報閾値判定手段４が行う処理動作について説明する。
【００３７】
インターフェイス部２を介して、例えば、ＣＣＤカメラ、等のカメラ２０から画像情報を取得する（Ｓ２０１）と、画像情報積算手段３が取得した画像情報を複数のエリアに分割し、各エリアに属する画素の画素値を積算する（Ｓ２０２）。
【００３８】
例えば、画像を水平方向にｍ分割、垂直方向にｎ分割して、ｍ×ｎの複数のエリアに分割する。
【００３９】
図３（ａ）では、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉの９個のエリアに分割している。
【００４０】
カメラ２０が、例えば、監視カメラであるとして、１秒間に１０枚の画像情報がインターフェイス部２を介して取得されるものとし、この画像の中の、例えば、３枚ごとに、Ａ〜Ｉの各エリアにおける画素の画素値を積算する（Ｓ２０２）。
【００４１】
ここで、画素値とは、例えば、ＹＵＶフォーマット、ＲＧＢフォーマット、ＹＣｂＣｒフォーマットのいずれでも受け取るようにすることができる。
【００４２】
また、その他の形式（輝度や色差）で受け取るようにすることもできる。
【００４３】
なお、積算対象は上記各画素値のいずれか１つの成分の値（例えば輝度成分や色差成分）でもよい。またいずれか１つの成分の値の上位の所定ビットでもよい。
【００４４】
図３（ｂ）は、後述する比較判定の基準となるカメラ２０で撮像した最初の初期画面３１０を表すものである。
【００４５】
図３（ｃ）は、インターフェイス部２を介して１秒間に１０枚取得する画像情報の中の３枚目ごとに画素値の積算を行うものとして、６回目に画素値の積算を行った画面３２８を表すものである。
【００４６】
この実施形態では、画像情報積算手段３は、初期画面３１０と、６回目に画素値の積算を行った画面３２８とを同一の分割パターンで複数のエリア（９個のエリア）に分割している。
【００４７】
初期画面３１０の９個のエリアの中の一つである３１０Ａが、例えば、ｎ個の画素Ｐ１、Ｐ２・・・Ｐｎで構成されており、各画素Ｐ１、Ｐ２・・・Ｐｎの画素値の値が３１０ａ１、３１０ａ２、・・・、３１０ａｎであるとする。なお、前述したように、３１０ａ１、３１０ａ２、・・・、３１０ａｎは、ＹＵＶ成分、ＲＧＢ成分のいずれの成分の値でもよい。
【００４８】
この場合、エリア３１０Ａの画素値の積算値を３１０ＡＳとすると、３１０ＡＳは、例えば、以下の式で表すことが出来る。
【００４９】
３１０ＡＳ＝３１０ａ１＋３１０ａ２＋・・・＋３１０ａｎ
なお、３１０ａ１、３１０ａ２、・・・、３１０ａｎの上位数ビットの値である３１０ａ１´、３１０ａ２´、・・・、３１０ａｎ´を積算して積算値３１０ＡＳを求めるようにしてもよい。
【００５０】
こうして算出されている初期画面３１０のエリア３１０Ａの画素値の積算値３１０ＡＳは、各アリアごとに定められている比較画像情報、ここでは、エリア３１０Ａについて定められている比較対象画像情報として記憶部１１に格納されている。
【００５１】
ここでは、１秒間に１０枚の画像情報がインターフェイス部２を介して取得され、この画像の中の、３枚ごとに、Ａ〜Ｉの各エリアにおける画素の画素値が積算されるので、たとえば、６回目に画素値の積算を行う画面３２８（図３（ｃ）についても、同様に、初期画面３１０のエリア３１０Ａに対応している画面３２８におけるエリア３２８Ａの画素値の積算値３２８ＡＳを以下の式で計算する。
【００５２】
３２８ＡＳ＝３２８ａ１＋３２８ａ２＋・・・＋３２８ａｎ
次いで、画像情報閾値判定手段４が、画像情報積算手段３で積算して得た画面３２８における、初期画面３１０のエリア３１０Ａに対応している、エリア３２８Ａの画像情報、すなわち、積算された積算値３２８ＡＳを、比較画像情報である初期画面３１０のエリア３１０Ａの画素値の積算値３１０ＡＳと比較する(Ｓ２０３）。
【００５３】
そして、予め定められている変化率を越えた時に、インターフェイス部２を介して閾値情報を出力する（Ｓ２０４）。
【００５４】
例えば、変化率１０％と定められて、記憶部１１に記録されており、（３２８ＡＳ−３１０ＡＳ）÷３１０ＡＳ×１００＞１０であれば、インターフェイス部２を介して閾値情報を出力する（Ｓ２０４）。
【００５５】
この出力は、符号３０で示されるＣＰＵや、その他のモジュールに対する割り込み信号となり、これを受けて、ＣＰＵや、その他のモジュールでは、コンピュータプログラムにしたがって、予め定められている処理動作、例えば、カメラ２０で監視している領域に不審な物が登場したと判定して、警備会社に連絡する、等の処理を行なう。
【００５６】
複数のエリアに分画されている各エリアごとに判定を行うので、微細な状況の変動であっても、確実に把握して閾値情報を出力することができる。
【００５７】
なお、上記の実施例では、１秒間に１０枚の画像情報がインターフェイス部２を介して取得され、この画像の中の、３枚ごとに、Ａ〜Ｉの各エリアにおける画素の画素値を積算し、例えば、図３（ｂ）に図示している６回目（画面３１０＋３枚ごと×６回目＝画面３２８）に画素値の積算を行う画面３２８についてＡ〜Ｉの各エリアにおける画素の画素値を積算しているが、２枚目ごとに積算するならば、画面｛３１０＋２枚ごと×ｎ回目（ｎ＝整数）｝について積算し、５枚目ごとに積算するならば、画面｛３１０＋５枚ごと×ｎ回目（ｎ＝整数）｝について積算するようになる。
【００５８】
また、前記においては、積算した画面｛３１０＋３枚ごと×ｎ回目（ｎ＝整数）｝の情報を、初期画面３１０（たとえば、画像判定処理動作をＯＮにした時点の画像情報）をリファレンスとして判定を行う絶対判定を採用していたが、これ以外の方法も可能である。
【００５９】
例えば、積算するごとに、直前の積算値と比較することも可能である。いわゆる相対判定である。この相対判定の場合には、画面｛３１０＋ｘ枚ごと×ｍ回目（ｘ、ｍ＝整数）｝の積算値情報を、直前の画面｛３１０＋ｘ枚ごと×（ｍ−１）回目（ｘ、ｍ＝整数）｝の積算値情報と比較する。また、２回前の積算値情報都と比較するならば、画面｛３１０＋ｘ枚ごと×ｍ回目（ｘ、ｍ＝整数）｝の積算値情報を、２回目の画面｛３１０＋ｘ枚ごと×（ｍ−２）回目（ｘ、ｍ＝整数）｝の積算値情報と比較するようになる。
【００６０】
更に、前述した絶対判定と、相対判定とを並列的に実行することも可能である。
【００６１】
次に、図４、図５を用いて、音声情報積算手段５、音声情報閾値判定手段６が行う処理動作について説明する。
【００６２】
インターフェイス部２を介してマイク２１から入力された音声情報を取得する(Ｓ４０１)。
【００６３】
音声情報積算手段５は、予め定められている連続する期間に、インターフェイス部２を介して取得した音声情報を積算して平均値を演算する（Ｓ４０２)。
【００６４】
例えば、１秒間に８０００回の音声情報を取得するものとして、連続する８回の音声情報ごとに、その８回の音声情報を積算して平均値を演算する。
【００６５】
この結果は、例えば、図５（ａ）に図示されるようになる。
【００６６】
次いで、音声情報閾値判定手段６が、音声情報積算手段５で演算された音声情報が、予め定められている上限音声情報値を越えているかどうか判定する（Ｓ４０３)。
【００６７】
平均値が、予め定められている上限音声情報値５１０を越えている、と判定された場合には、音声情報閾値判定手段６が、インターフェイス部２を介して閾値情報を出力する（Ｓ４０４)。
【００６８】
次いで、音声情報閾値判定手段６が、音声情報積算手段５で演算された音声情報が予め定められている上限音声情報値５１０を越えることが、予め定めている回数（例えば、３回）連続しているか判定する（Ｓ４０５)。
【００６９】
ここで、予め定めている回数（例えば、３回）連続しているならば、インターフェイス部２を介して閾値情報を出力する（Ｓ４０６)。
【００７０】
一方、前記Ｓ４０３の工程で、音声情報積算手段５で演算された音声情報が、予め定められている上限音声情報値を越えていない場合、音声情報閾値判定手段６が、音声情報積算手段５で演算された音声情報が、予め定められている下限音声情報値５１１に達しないかどうかを判定する（Ｓ４０７)。
【００７１】
平均値が、予め定められている下限音声情報値５１１に達しない、と判定された場合には、音声情報閾値判定手段６が、インターフェイス部２を介して閾値情報を出力する（Ｓ４０８)。
【００７２】
次いで、音声情報閾値判定手段６が、音声情報積算手段５で演算された音声情報が予め定められている下限音声情報値５１１に達しないことが、予め定めている回数（例えば、３回）連続しているか判定する（Ｓ４０９)。
【００７３】
ここで、予め定めている回数（例えば、３回）連続しているならば、インターフェイス部２を介して閾値情報を出力する（Ｓ４１０)。
【００７４】
例えば、図５（ｂ）図示の状態では、符号５１２ａ〜５１２ｉで示されている平均値は、予め定められている上限音声情報値５１０を越えている、と判定され、符号５１３ａ〜５１３ｃで示されている平均値は、予め定められている下限音声情報値５１１に達していない、と判定される。
【００７５】
そこで、これらの場合、音声情報閾値判定手段６が、インターフェイス部２を介して閾値情報を出力する（Ｓ４０４及びＳ４０５)。
【００７６】
また、前記の予め定めている回数が３回の場合、符号５１２ｃ、５１２ｄ〜５１２ｉで示す平均値が演算されたときには、インターフェイス部２を介して閾値情報を出力する（Ｓ４０６)。また、符号５１３ｃで示す平均値が演算されたときにも、インターフェイス部２を介して閾値情報を出力する（Ｓ４１０)。
【００７７】
なお、この場合、予め定めている回数が３回なので、符号５１２ｂで示す平均値が演算されたとき、符号５１２ｊで示す平均値が演算されたとき、符号５１３ｄで示す平均値が演算されたときには、前記の閾値情報の出力は行わない。
【００７８】
これによって、例えば、家屋などに配備されている監視用のマイク２１を介して取得した音声情報が所定の上限音声情報値５１０を超えている場合には、何らかの異常が発生したものとして、符号３０で示されるＣＰＵや、その他のモジュールがコンピュータプログラムにしたがって、予め定められている処理動作を行なう。
【００７９】
次に、図６、図７を用いて、加速度情報演算手段７、加速度情報閾値判定手段８が行う処理動作について説明する。
【００８０】
インターフェイス部２を介して加速度センサ２２から入力されたＸ軸、Ｙ軸、Ｚ軸方向の加速度情報を取得する(Ｓ６０１)。
【００８１】
加速度情報演算手段７は、予め定められている連続する期間に、インターフェイス部２を介して取得したＸ軸、Ｙ軸、Ｚ軸方向の加速度情報をそれぞれ積算してＸ軸、Ｙ軸、Ｚ軸方向の加速度情報の平均値を演算し、当該演算により求めたＸ軸、Ｙ軸、Ｚ軸方向の加速度値を、予め定められている条件式に基づいて演算する（Ｓ６０２)。
【００８２】
例えば、１秒間に８０００回の加速度情報を取得するものとして、連続する８回の加速度情報ごとに、Ｘ軸、Ｙ軸、Ｚ軸方向の加速度情報をそれぞれ積算して、Ｘ軸、Ｙ軸、Ｚ軸方向それぞれの平均値（Ｇ−Ｘ、Ｇ−Ｙ、Ｇ−Ｚ）を演算する。
【００８３】
この結果は、例えば、図７（ａ）に図示されるようになる。
【００８４】
そして、予め定められている条件式にしたがって演算を行う。
【００８５】
例えば、Ｘ軸方向の加速度情報の平均値（Ｇ−Ｘ）×１＋Ｙ軸方向の加速度情報の平均値（Ｇ−Ｙ）×（−４）＋Ｚ軸方向の加速度情報の平均値（Ｇ−Ｚ）×（２）という条件式にしたがって演算を行う。
【００８６】
この結果は、例えば、図７（ｂ）に図示されるようになる。
【００８７】
なお、前記の条件式は、加速度センサ２２が設置される監視対象物の特性に応じて予め定められる。
【００８８】
次いで、加速度情報閾値判定手段８が、加速度情報演算手段７で演算された加速度情報が、予め定められている上限加速度情報値７１０を越えているかどうか判定する（Ｓ６０３)。
【００８９】
加速度情報演算手段７で演算された加速度情報が、予め定められている上限加速度情報値７１０を越えている、と判定された場合には、加速度情報閾値判定手段８が、インターフェイス部２を介して閾値情報を出力する（Ｓ６０４)。
【００９０】
次いで、加速度情報閾値判定手段８が、加速度情報演算手段７で演算された加速度情報が予め定められている上限加速度情報値７１０を越えることが、予め定めている回数（例えば、３回）連続しているか判定する（Ｓ６０５)。
【００９１】
ここで、予め定めている回数（例えば、３回）連続しているならば、インターフェイス部２を介して閾値情報を出力する（Ｓ６０６)。
【００９２】
一方、前記Ｓ６０３の工程で、加速度情報演算手段７で演算された加速度情報が、予め定められている上限加速度情報値７１０を越えていない場合、加速度情報閾値判定手段８が、加速度情報演算手段７で演算された加速度情報が、予め定められている下限加速度情報値７１１に達しないかどうかを判定する（Ｓ６０７)。
【００９３】
加速度情報演算手段７で演算された加速度情報が、予め定められている下限加速度情報値７１１に達しない、と判定された場合には、加速度情報閾値判定手段８が、インターフェイス部２を介して閾値情報を出力する（Ｓ６０８)。
【００９４】
次いで、加速度情報閾値判定手段８が、加速度情報演算手段７で演算された加速度情報が予め定められている下限加速度情報値７１１に達しないことが、予め定めている回数（例えば、３回）連続しているか判定する（Ｓ６０９)。
【００９５】
ここで、予め定めている回数（例えば、３回）連続しているならば、インターフェイス部２を介して閾値情報を出力する（Ｓ６１０)。
【００９６】
例えば、図７（ｂ）図示の状態では、符号７１２ａ〜７１２ｆで示されている加速度情報は、予め定められている下限加速度情報値７１１に達していない、と判定され、符号７１３ａ〜７１３ｄで示されている加速度情報は、予め定められている上限加速度情報値７１０を越えている、と判定される。
【００９７】
そこで、これらの場合、音加速度情報閾値判定手段８が、インターフェイス部２を介して閾値情報を出力する（Ｓ６０７、Ｓ６０４)。
【００９８】
また、加速度情報閾値判定手段８は、加速度情報演算手段７で演算された加速度情報が予め定められている上限加速度情報値７１０を越えることが何回連続するか判定する（Ｓ６０５)。あるいは、加速度情報演算手段７で演算された加速度情報が予め定められている下限加速度情報値７１１に達しないことが何回連続するか判定する（Ｓ６０５)ので、前記の予め定めている回数が３回の場合、符号７１２ｃ、７１２ｄ〜７１２ｆで示す加速度情報が演算されたときには、インターフェイス部２を介して閾値情報を出力する（Ｓ６０６)。また、符７１３ｃ、７１３ｄで示す加速度情報が演算されたときにも、インターフェイス部２を介して閾値情報を出力する（Ｓ６０６)。
【００９９】
なお、この場合、予め定めている回数が３回なので、符号７１２ｂで示す加速度情報が演算されたとき、符号７１２ｇで示す加速度情報が演算されたとき、符号７１３ｂ、７１３ｄで示す加速度情報が演算されたときには、前記の閾値情報の出力は行わない。
【０１００】
これによって、例えば、自動車に配備されている監視用の加速度センサー２２を介して取得した加速度情報が所定の上限加速度情報値７１０を超えている場合には、何らかの異常が発生したものとして、符号３０で示されるＣＰＵや、その他のモジュールがコンピュータプログラムにしたがって、予め定められている処理動作を行なう。
【０１０１】
次に、図８、図９を用いて、音声・加速度情報演算手段９、音声・加速度情報閾値判定手段１０が行う処理動作について説明する。
【０１０２】
インターフェイス部２を介してマイク２１から入力された音声情報および、加速度センサ２２から入力されたＸ軸、Ｙ軸、Ｚ軸方向の加速度情報を取得する(Ｓ８０１)。
【０１０３】
音声・加速度情報演算手段９は、インターフェイス部２を介して同一の時刻に取得した音声情報と、Ｘ軸、Ｙ軸、Ｚ軸方向の加速度情報とについて、前記の音声情報積算手段５で演算された音声情報と、前記の加速度情報演算手段７で演算された加速度情報値とを、予め定められている条件式に基づいて演算する（Ｓ８０２)。
【０１０４】
例えば、図５（ａ）図示のように音声情報積算手段５で演算された音声情報と、図７（ａ）図示のように加速度情報演算手段７で演算された加速度情報値であって、同一の時刻における情報を、音声情報×１／２＋Ｘ軸方向の加速度情報の平均値（Ｇ−Ｘ）×１＋Ｙ軸方向の加速度情報の平均値（Ｇ−Ｙ）×（−４）＋Ｚ軸方向の加速度情報の平均値（Ｇ−Ｚ）×（２）という条件式にしたがって演算を行う。
【０１０５】
この結果は、例えば、図９に図示されるようになる。
【０１０６】
なお、前記の条件式は、マイク２１、加速度センサ２２が設置される監視対象物の特性に応じて、予め定められる。
【０１０７】
次いで、音声・加速度情報閾値判定手段１０が、音声・加速度情報演算手段９で演算された音声・加速度情報値が、予め定められている上限音声・加速度情報値９１０を越えているかどうか判定する（Ｓ８０３)。
【０１０８】
音声・加速度情報演算手段９で演算された音声・加速度情報が、予め定められている上限音声・加速度情報値９１０を越えている、と判定された場合には、音声・加速度情報閾値判定手段１０が、インターフェイス部２を介して閾値情報を出力する（Ｓ８０４)。
【０１０９】
次いで、音声・加速度情報閾値判定手段１０が、音声・加速度情報演算手段９で演算された音声・加速度情報が予め定められている上限音声・加速度情報値９１０を越えることが、予め定めている回数（例えば、２回）連続しているか判定する（Ｓ８０５)。
【０１１０】
ここで、予め定めている回数（例えば、２回）連続しているならば、インターフェイス部２を介して閾値情報を出力する（Ｓ８０６)。
【０１１１】
一方、前記Ｓ８０３の工程で、音声・加速度情報演算手段９で演算された音声・加速度情報が、予め定められている上限音声・加速度情報値９１０を越えていない場合、音声・加速度情報閾値判定手段１０が、音声・加速度情報演算手段９で演算された音声・加速度情報が、予め定められている下限音声・加速度情報値９１１に達しないかどうかを判定する（Ｓ８０７)。
【０１１２】
音声・加速度情報演算手段９で演算された音声・加速度情報が、予め定められている下限音声・加速度情報値９１１に達しない、と判定された場合には、音声・加速度情報閾値判定手段１０が、インターフェイス部２を介して閾値情報を出力する（Ｓ８０８)。
【０１１３】
次いで、音声・加速度情報閾値判定手段１０が、音声・加速度情報演算手段９で演算された音声・加速度情報が予め定められている下限音声・加速度情報値９１１に達しないことが、予め定めている回数（例えば、２回）連続しているか判定する（Ｓ８０９)。
【０１１４】
ここで、予め定めている回数（例えば、２回）連続しているならば、インターフェイス部２を介して閾値情報を出力する（Ｓ８１０)。
【０１１５】
例えば、図９図示の状態では、符号９１２ａ〜９１２ｃで示されている音声・加速度情報は、予め定められている上限音声・加速度情報値９１０を越えている、と判定され、符号９１３ａ〜９１３ｃで示されている音声・加速度情報は、予め定められている下限音声・加速度情報値９１１に達していない、と判定される。
【０１１６】
そこで、これらの場合、音声・加速度情報閾値判定手段１０が、インターフェイス部２を介して閾値情報を出力する（Ｓ８０４、Ｓ８０８)。
【０１１７】
また、音声・加速度情報閾値判定手段１０は、音声・加速度情報演算手段９で演算された音声・加速度情報が予め定められている上限音声・加速度情報値９１０を越えることが何回連続するか判定する（Ｓ８０５)。あるいは、音声・加速度情報演算手段９で演算された音声・加速度情報が予め定められている下限音声・加速度情報値９１１に達しないことが何回連続するか判定する（Ｓ８０５)ので、前記の予め定めている回数が２回の場合、符号９１２ｂ、９１２ｃで示す音声・加速度情報が演算されたときには、インターフェイス部２を介して閾値情報を出力する（Ｓ８０６)。また、符９１３ｂ、７１３ｃで示す音声・加速度情報が演算されたときにも、インターフェイス部２を介して閾値情報を出力する（Ｓ８０９)。
【０１１８】
なお、この場合、予め定めている回数が２回なので、符号９１２ａで示す音声・加速度情報が演算されたとき、符号９１２ｄで示す音声・加速度情報が演算されたとき、符号９１３ａ、９１３ｄで示す音声・加速度情報が演算されたときには、前記の閾値情報の出力は行わない。
【０１１９】
これによって、例えば、自動車に配備されている監視用のマイク２１、加速度センサー２２を介して取得した音声情報と、加速度情報とを複合したものが所定の上限音声・加速度情報値９１０を超えている場合には、何らかの異常が発生したものとして、符号３０で示されるＣＰＵや、その他のモジュールがコンピュータプログラムにしたがって、予め定められている処理動作を行なう。
【０１２０】
本発明の状況変動把握システムは、情報収集、監視、観察、等々、種々のシステム、装置に応用することができる。
【０１２１】
例えば、音声情報積算手段５及び音声情報閾値判定手段６の機能を発揮する本発明の状況変動把握システムを家庭の居間などに設置しておき、異常音を判定したときには、所定の警備センター、防犯情報センターなどに自動的に通報できるようにし、警備センター、防犯情報センターなどから当該居間の居住者に電話連絡、無線通信、等して、異常発生の有無を確認したり、当該居間に設置されているカメラなどの撮像手段を作動させて異常発生の有無を目視で確認するようにできる。
【０１２２】
また、画像情報積算手段３及び画像情報閾値判定手段４の機能と、音声情報積算手段５と音声情報閾値判定手段６の機能及び、加速度情報演算手段７と加速度情報閾値判定手段８の機能を発揮できる本発明の状況変動把握システムを自動車に積載しておき、加速度情報閾値判定手段８で異常を確認した際に、画像情報積算手段３及び画像情報閾値判定手段４の作動を開始させ、前を走行している自動車の確認や、明るさの判定、盗難防止、居眠り運転の防止、事故が発生した前後の画像情報・音声情報の記録・保存、カメラ等の撮像手段で取得した信号の色に関する情報と自動車の速度に関する情報の比較・判断、などに役立てることが考えられる。また、画像情報閾値判定手段４、音声情報閾値判定手段６、加速度情報閾値判定手段８を走行中、常時、機能させておいて、これらの出力を総合して自動車の状態を判定することもできる。
【０１２３】
更に、前記では、画像情報、音声情報、加速度情報の分析のみを行っていたが、検知・感知手段で取得した情報をデジタル信号に変換できるものであれば、温度センサーで検知・感知される温度情報、臭いセンサーで検知・感知されるガス・アルコールの臭いなどの臭気情報、ＧＰＳ装置などによって把握される位置情報、あるいは時間情報などの種々の情報を複合的に把握して、状況の変動を把握することができる。
【０１２４】
これによって、例えば、アルコールの検出による飲酒運転の防止、などに役立てることもできる。
【０１２５】
このように、本発明の状況変動把握システムを利用することによって、人間の目、耳、鼻、等の五感の機能、そして、この五感から取得した情報に基づく必要な対処を検討・判断する人間の頭脳の機能など、種々の機能を発揮させることができる。
【０１２６】
以上、添付図面を参照して本発明の好ましい実施形態を説明したが、本発明はかかる実施形態に限られるものではなく、特許請求の範囲の記載から把握される技術的範囲において種々の形態に変更可能である。
【０１２７】
例えば、前述した種々の手段は、それぞれ単独で機能させることもできるし、並列的に機能させることもできる。
【０１２８】
すなわち、画像情報積算手段３及び画像情報閾値判定手段４と、音声情報積算手段５及び音声情報閾値判定手段６とを並列的に機能させることもできるし、通常は音声情報積算手段５及び音声情報閾値判定手段６のみ機能させておき、音声情報閾値判定手段６で異常を判定できた際に、初めて画像情報積算手段３及び画像情報閾値判定手段４を機能させるようにすることもできる。
【０１２９】
また、画像情報積算手段３では、積算処理するエリアを予め定めておき、例えば、図３の例では、領域Ａ、領域Ｂ、領域Ｃ、領域Ｇ、領域Ｈ、領域Ｉのみ積算処理を行うようにすることができる。
【０１３０】
自動車の運転においては夕暮れ時に視界が悪くなって事故が起こり易くなるとされているが、前記のように領域を限定して判定処理を行い、上側の領域である領域Ａ、領域Ｂ、領域Ｃの方が、下側の領域である領域Ｇ、領域Ｈ、領域Ｉより明るい（あるいは暗い）程度を把握し、所定の設定値になったならば、運転者にヘッドライトの点燈を促す、等の処理動作を行なうようにすることができる。
【０１３１】
前記のように、各手段を並列させて機能させたり、単独で機能させたり、単独での機能に引き続いて関連する他の手段の機能が開始されるようにすることによって、あるいは前述した画像情報積算手段３で処理する領域を限定したように、各手段が処理する対象・範囲を限定することによって、消費電力を削減し、より効率よく監視、などの状況変動把握を行えるようになる。
【図面の簡単な説明】
【０１３２】
【図１】本発明の状況変動把握システムの概略構成の一例を説明する図。
【図２】画像情報積算手段及び画像情報閾値判定手段が行う処理動作の一例を説明するフロー図。
【図３】（ａ）、（ｂ）、（ｃ）は、画像情報積算手段によってカメラで撮像された画面が複数に分割されて処理される状態を説明する図。
【図４】音声情報積算手段及び音声情報閾値判定手段が行う処理動作の一例を説明するフロー図。
【図５】（ａ）、（ｂ）は、音声情報積算手段によって積算された音声情報を説明する図。
【図６】加速度情報演算手段及び加速度情報閾値判定手段が行う処理動作の一例を説明するフロー図。
【図７】（ａ）、（ｂ）は、加速度情報演算手段によって演算された加速度情報を説明する図。
【図８】音声・加速度情報演算手段及び音声・加速度情報閾値判定手段が行う処理動作の一例を説明するフロー図。
【図９】音声・加速度情報演算手段によって演算された音声・加速度情報を説明する図。
【符号の説明】
【０１３３】
１    状況変動把握システム
２    インターフェイス部
３    画像情報積算手段
４    画像情報閾値判定手段
５    音声情報積算手段
６    音声情報閾値判定手段
７    加速度情報演算手段
８    加速度情報閾値判定手段
９    音声・加速度情報演算手段
１０  音声・加速度情報閾値判定手段
１１  記憶手段
【図１】
2009032138.tif 000003
【図２】
2009032138.tif 000004
【図３】
2009032138.tif 000005
【図４】
2009032138.tif 000006
【図５】
2009032138.tif 000007
【図６】
2009032138.tif 000008
【図７】
2009032138.tif 000009
【図８】
2009032138.tif 000010
【図９】
2009032138.tif 000011