(57)【特許請求の範囲】
【請求項１】
撮像手段により連続的に撮像された連続した画像において動く対象物の動画像を検出し、検出した動く対象物の動画像を表示手段に表示させるための動画像検出・表示プログラムであって、
（ａ）  水平方向×垂直方向の画素数ｍ×ｎの静止画像としての第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込み、
（ｂ）  取込んだ画像を背景上方として「０」に変換し、所定の第１の単色として表示手段に表示させる信号を送出し、
（ｃ）  第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込み、
（ｄ）  前記第一の画像と第二の画像とを式（１）
【数１】
0003862068.tif 000012
を用いて比較して、差分画像Ｄｉｆｆ１−２（ｘ，ｙ）を演算し、
前記第二の画像に動く対象物があって、つまりＤｉｆｆ１−2（ｘ，ｙ）がある閾値以上となる場合に、差分画像Ｄｉｆｆ１−2（ｘ，ｙ）を「１」として次段の（ｅ）に移行し、一方前記第二の画像に動く対象物がなくて、つまりＤｉｆｆ1-2（ｘ，ｙ）がある閾値以下となる場合に、差分画像Ｄｉｆｆ１−2（ｘ，ｙ）を「０」として前段の（ｃ）に戻り、
（ｅ）  第三の画像Ｆｒａｍｅ３ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込み、
（ｆ）  前記第一の画像と第三の画像の差分画像とを式（２）
【数２】
0003862068.tif 000013
を用いて比較し、差分画像Ｄｉｆｆ１−３（ｘ，ｙ）を求め、
前記第三の画像に動く対象物があって、つまりＤｉｆｆ１−３（ｘ，ｙ）がある閾値以上となる場合に、差分画像Ｄｉｆｆ１−３（ｘ，ｙ）を「１」とし、前記第三の画像に動く対象物がなくて、つまりＤｉｆｆ１−３（ｘ，ｙ）がある閾値以下となる場合に、差分画像Ｄｉｆｆ１−３（ｘ，ｙ）を「０」とし、
（ｇ）  前記差分画像Ｄｉｆｆ１−2（ｘ，ｙ）とＤｉｆｆ１−３（ｘ，ｙ）とを式（３）
【数３】
0003862068.tif 000014
を用いて、検出動画像データＭｏ−Ｄｅ（ｘ、ｙ）を求め、
Ｍｏ−Ｄｅ＝０の場合、前記第一の単色で画像を表示手段に表示する信号を送出し、Ｍｏ−Ｄｅ＝１の場合、前記第一の単色とは異なる第二の単色で画像を表示手段に表示する信号を送出し、Ｍｏ−Ｄｅ＝−１の場合、前記第一および第二の単色とは異なる第三の単色で画像を表示手段に表示する信号を送出することによって、第二および第三の画像から動く対象を表示させ、そして
（ｃ）〜（ｇ）を繰り返す、
ことを特徴とする動画像検出・表示プログラム。
【請求項２】
さらに、（ｇ）式（４）および式（５）
【数４】
0003862068.tif 000015
【数５】
0003862068.tif 000016
を用いて第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）および第三の画像Ｆｒａｍｅ３ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）から検出した動画像の水平方向および垂直方向の射影値を計算し、計算した結果を動画像の水平方向および垂直方向を特定し、特定した結果を信号として表示手段に表示することを特徴とする請求項１に記載の動画像検出・表示プログラム。
【請求項３】
（ｇ）により特定した結果を別の出力装置に出力することを特徴とする請求項２に記載の動画像検出・表示プログラム。
【請求項４】
撮像手段により連続的に撮像された連続した画像を取込むための画像入力手段、取込んだ画像を制御し、取込んだ画像から動く対象の動画像を検出するための制御手段および検出した結果を表示装置に表示するための出力手段を備えた動く対象物の動画像を表示する表示手段から構成された動画像検出・表示制御装置であって、請求項１ないし請求項３のいずれか１項に記載の動画像検出・表示プログラムにより制御されることを特徴とする動画像検出・表示装置。
【請求項５】
撮像手段により連続的に撮像された連続した画像において動く対象物の動画像を検出し、検出した動画像を表示手段に表示させるための動画像検出・表示方法であって、
（ａ）  水平方向×垂直方向の画素数ｍ×ｎの静止画像としての第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込み、
（ｂ）  取込んだ画像を背景画像として「０」に変換し、所定の第一の単色として表示手段に表示させる信号を送出し、
（ｃ）  第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込み、
（ｄ）  前記第一の画像と第二の画像とを比較して、差分画像Ｄｉｆｆ1-2（ｘ，ｙ）を演算することによって前記第二の画像に動く対象物があるか否かを判断し、動く対象物が存在する場合、差分画像Ｄｉｆｆ1-2（ｘ，ｙ）を「１」として次段の（ｅ）に移行し、一方、動く対象物が存在しない場合、差分画像Ｄｉｆｆ１−2（ｘ，ｙ）を「０」とし前段の（ｃ）に戻り、
（ｅ）  第三の画像Ｆｒａｍｅ３ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込み、
（ｆ）  前記第一の画像と第三の画像の差分画像とを比較し、差分画像Ｄｉｆｆ1-3（ｘ，ｙ）を求め、
前記第三の画像に動く対象物があって、つまりつまりＤｉｆｆ1-３（ｘ，ｙ）がある閾値以上となる場合に、差分画像Ｄｉｆｆ１−３（ｘ，ｙ）を「１」とし、
前記第三の画像に動く対象物がなくて、つまりＤｉｆｆ１−３（ｘ，ｙ）がある閾値以下となる場合に、差分画像Ｄｉｆｆ１−３（ｘ，ｙ）を「０」とし、
（ｇ）  前記差分画像Ｄｉｆｆ１−2（ｘ，ｙ）とＤｉｆｆ１−３（ｘ，ｙ）とから検出動画像データＭｏ−Ｄｅ（ｘ、ｙ）を求め、
Ｍｏ−Ｄｅ＝０の場合、前記第一の単色で画像を表示手段に表示する信号を送出し、Ｍｏ−Ｄｅ＝１の場合、前記第一の単色とは異なる第二の単色で画像を表示手段に表示する信号を送出し、Ｍｏ−Ｄｅ＝−１の場合、前記第一および第二の単色とは異なる第三の単色で画像を表示手段に表示する信号を送出することによって、第二および第三の画像から動く対象を表示させ、そして
（ｃ）〜（ｇ）を繰り返す、
を含むことを特徴とする動画像検出・表示方法。
【請求項６】
第一の画像と第二の画像との比較は式１を用いて行い、第一の画像と第三の画像との比較は式（２）を用いて行い、差分画像は式（３）を用いて求めることを特徴とする請求項５に記載の動画像検出・表示方法。
【請求項７】
さらに、（ｇ）第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）および第三の画像Ｆｒａｍｅ３ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）から検出した動画像の水平方向および垂直方向の射影値を計算し、計算した結果を動画像の水平方向および垂直方向を特定し、特定した結果を信号として表示手段に表示する段階を含むことを特徴とする請求項５又は６に記載の動画像検出・表示方法。
【請求項８】
第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）および第三の画像Ｆｒａｍｅ３ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）から検出した動画像の水平方向および垂直方向の射影値の計算は、式（４）及び式（５）を用いて行うことを特徴とする請求項７に記載の動画像検出・表示方法。
【請求項９】
（ｇ）により特定した結果を別の出力装置に出力する段階を含むことを特徴とする請求項７または８に記載の動画像検出・表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、動画像検出・表示プログラム、動画像検出・表示装置および動画像検出・表示方法に関する。より詳しく述べると、デジタルカメラ、デジタルビデオカメラ等の撮像手段からの画像から動く対象物を検出し、検出した結果を表示装置に出力させるためのプログラム、前記プログラムを格納した動画像検出・表示装置および動画像検出・表示方法に関する。
【０００２】
【従来の技術】
従来、デジタルカメラ、デジタルビデオカメラ等で撮像され、撮像した画像からコンピュータシステムを介して動画像を検出する方法として種々のものが提案されている。
【０００３】
例えば、カメラ映像を幾つかの計測エリアとして設け、計測エリア内の映像データの差分を表す濃度相対差の平均として求め、この濃度相対差の平均を閾値と比較し、閾値を超えた場合に動きがあると判定する方法がある。
しなしながら、この方法では画像の動きのみを判定するので、動く画像すなわち動画像の移動方向の判定は不可能である。
【０００４】
また、カメラ映像の全体を巨視的な動きに対して、特定領域の重心座標、主軸の傾きおよび画素数を巨視的特徴量として検出し、そしてその変化量を求めることによって動きパラメータを算出する方法がある。
しかしながら、この方法では計算量が膨大であり、リアルタイムに処理を行うことが困難である。
【０００５】
さらに、ハードウェアベースで画像をブロックに分割し、動きベクトルを検出したブロックから動きを求める方法があるが、複雑で高価なハードウェアを要する。
従って、従来技術ではリアルタイムで容易に効率的に動画像の動きを検出することができず、実用的でなかった。
【０００６】
【発明が解決しようとする課題】
従って、この発明の課題は、リアルタイムで容易に効率的に動画像の動きを検出することができるプログラム、前記プログラムを格納したリアルタイムで容易に効率的に動画像の動きを検出し表示することができる動画像検出・表示装置および動画像検出・表示方法を提供することである。
【０００７】
【課題を解決するための手段】
上記課題を解決するための、この発明に係る動画像検出・表示プログラムは、次のように構成してなる。すなわち、撮像手段により連続的に撮像された連続した画像において動く対象物の動画像を検出し、検出した動く対象の動画像を表示手段に表示させるための動画像検出・表示プログラムであって、（ａ）水平方向×垂直方向の画素数ｍ×ｎの静止画像としての第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込み、（ｂ）取込んだ画像を背景画像として「０」に変換し、所定の第一の単色として表示手段に表示させる信号を送出し、（ｃ）  第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込み、
（ｄ）  前記第一の画像と第二の画像とを式（１）
【０００８】
【数１】
0003862068.tif 000002
【０００９】
を用いて比較して、差分画像Ｄｉｆｆ１−2（ｘ，ｙ）を演算し、前記第二の画像に動く対象物があって、つまりＤｉｆｆ１−2（ｘ，ｙ）がある閾値以上となる場合に、差分画像Ｄｉｆｆ1-2（ｘ，ｙ）を「１」として次段の（ｅ）に移行し、一方前記第二の画像に動く対象物がなく、つまりＤｉｆｆ１−2（ｘ，ｙ）がある閾値以下となる場合に、差分画像Ｄｉｆｆ1−2（ｘ，ｙ）を「０」として前段の（ｃ）に戻り、（ｅ）  第三の画像Ｆｒａｍｅ３ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込み、（ｆ）  前記第一の画像と第三の画像の差分画像とを式（２）
【００１０】
【数２】
0003862068.tif 000003
【００１１】
を用いて比較し、差分画像Ｄｉｆｆ1−3（ｘ，ｙ）を求め、前記第三の画像に動く対象物があって、つまりＤｉｆｆ1−３（ｘ，ｙ）がある閾値以上となる場合に、差分画像Ｄｉｆｆ1−3（ｘ，ｙ）を「１」とし、前記第三の画像に動く対象物がなく、つまりＤｉｆｆ1−３（ｘ，ｙ）がある閾値以下となる場合に、差分画像Ｄｉｆｆ1−3（ｘ，ｙ）を「０」とし、（ｇ）  前記差分画像Ｄｉｆｆ1−2（ｘ，ｙ）とＤｉｆｆ1−3（ｘ，ｙ）とを式（３）
【００１２】
【数３】
0003862068.tif 000004
【００１３】
を用いて、検出動画像データＭｏ−Ｄｅ（ｘ、ｙ）を求め、Ｍｏ−Ｄｅ＝０の場合、前記第一の単色で画像を表示手段に表示する信号を送出し、Ｍｏ−Ｄｅ＝１の場合、前記第一の単色とは異なる第二の単色で画像を表示手段に表示する信号を送出し、Ｍｏ−Ｄｅ＝−１の場合、前記第一および第二の単色とは異なる第三の単色で画像を表示手段に表示する信号を送出することによって、第二および第三の画像から動く対象を表示させ、そして（ｃ）〜（ｇ）を繰り返す、ことを特徴とするものである（請求項１）。
【００１４】
この発明の動画像検出・表示プログラムによると、例えば、画像取込用のカードのＲＯＭやコンピュータシステムのハードディスクにこのプログラムを格納することによって、簡単な方法で動き画像を切り出すことが可能となる。
【００１５】
なお、この発明の段階（ｄ）において、差分画像Ｄｉｆｆ1−2（ｘ，ｙ）を演算し、前記第二の画像に動く対象物がある場合、差分画像Ｄｉｆｆ1−2（ｘ，ｙ）を「１」とし次段の（ｅ）に移行し、一方前記第二の画像に動く対象物がない場合に、差分画像Ｄｉｆｆ1−2（ｘ，ｙ）を「０」とし前段の（ｃ）に戻るとは、第一の画像と第二の画像とを比較し、動く対象物の動画像の存否を判断する段階を意味する。すなわち、動く対象物の動画像が存在しない場合には、段階（ａ）〜（ｄ）を繰り返すことを意味する。
【００１６】
この発明の動画像検出プログラムにおいて、さらに、（ｇ）式（４）および式（５）
【００１７】
【数４】
0003862068.tif 000005
【００１８】
【数５】
0003862068.tif 000006
【００１９】
を用いて第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）および第三の画像Ｆｒａｍｅ３ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）から検出した動画像の水平方向および垂直方向の射影値を計算し、計算した結果を動画像の水平方向および垂直方向を特定し、特定した結果を信号として表示手段に表示することを特徴とするものである（請求項２）。
このように構成することによって、検出した動画像の水平方向および垂直方向を特定し、表示可能となる。
【００２０】
また、上記の画像・検出プログラムにおいて、（ｇ）により特定した結果を別の出力手段、例えば警報装置に出力することを特徴とするものである（請求項３）。このように構成することによって、例えば、火災等の炎や煙等の動きを動画像として検出し、検出した結果をリアルタイムに出力することが可能となる。
【００２１】
また、この発明に係る動画像検出・表示装置は次のように構成してなる。すなわち、撮像手段により連続的に撮像された連続した画像を取込むための画像入力手段、取込んだ画像を制御し、取込んだ画像から動く対象の動画像を検出するための制御手段および検出した結果を表示装置に表示するための出力手段を備えた動く対象物の動画像を表示する表示手段から構成された動画像検出・表示装置であって、この発明の動画像検出・表示プログラムにより制御されることを特徴とするものである（請求項４）。
【００２２】
この発明によると、簡単な構成でリアルタイムに動画像を検出しかつ表示することが可能となる。従って、この発明の装置は、火災警報システム等の警報システムに適用することも可能となる。
【００２３】
また、この発明に係る動画像検出・表示方法は次のように構成してなる。すなわち、撮像手段により連続的に撮像された連続した画像において動く対象物の動画像を検出し、検出した動画像を表示手段に表示させるための動画像検出・表示方法であって、（ａ）水平方向×垂直方向の画素数ｍ×ｎの静止画像としての第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込む。（ｂ）取込んだ画像を背景画像として「０」に変換し、所定の第一の単色として表示手段に表示させる信号を送出する。
【００２４】
次いで、（ｃ）第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込み、（ｄ）前記第一の画像と第二の画像とを比較して、差分画像Ｄｉｆｆ1−2（ｘ，ｙ）を演算することによって前記第二の画像に動く対象物があるか否かを判断する。動く対象物が存在する場合、差分画像Ｄｉｆｆ1−2（ｘ，ｙ）を「１」とし次段の（ｅ）に移行し、一方、動く対象物が存在しない場合、差分画像Ｄｉｆｆ1−2（ｘ，ｙ）を「０」とし前段の（ｃ）に戻り、（ｅ）  第三の画像Ｆｒａｍｅ３ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取り込む。
【００２５】
その後、（ｆ）前記第一の画像と第三の画像の差分画像とを比較し、差分画像Ｄｉｆｆ1−3（ｘ，ｙ）を求め、前記第三の画像に動く対象物がある場合、すなわち、Ｄｉｆｆ1−3（ｘ，ｙ）がある閾値以上となる場合に、差分画像Ｄｉｆｆ1−3（ｘ，ｙ）を「１」とし、前記第三の画像に動く対象物がない場合、すなわち、Ｄｉｆｆ1−3（ｘ，ｙ）がある閾値以下となる場合に、差分画像Ｄｉｆｆ1−3（ｘ，ｙ）を「０」とする。（ｇ）前記差分画像Ｄｉｆｆ1−2（ｘ，ｙ）とＤｉｆｆ1−3（ｘ，ｙ）とから検出動画像データＭｏ−Ｄｅ（ｘ、ｙ）を求める。
【００２６】
Ｍｏ−Ｄｅ＝０の場合、前記第一の単色で画像を表示手段に表示する信号を送出する。Ｍｏ−Ｄｅ＝１の場合、前記第一の単色とは異なる第二の単色で画像を表示手段に表示する信号を送出する。Ｍｏ−Ｄｅ＝−１の場合、前記第一および第二の単色とは異なる第三の単色で画像を表示手段に表示する信号を送出する。
このような段階によって、第二および第三の画像から動く対象を表示させる。そして（ｃ）〜（ｇ）を繰り返す段階を含むことを特徴とするものである（請求項５）。
【００２７】
第一の画像と第二の画像との比較は式（１）を用いて行い、第一の画像と第三の画像との比較は式（２）を用いて行い、差分画像は式（３）を用いて求めることができる。
この方法によると、撮像手段からの動画像を簡単な方法で検出し、表示手段に表示させることが可能となる。
【００２８】
この発明の方法において、（ｇ）第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）および第三の画像Ｆｒａｍｅ３ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）から検出した動画像の水平方向および垂直方向の射影値を計算する。計算した結果を動画像の水平方向および垂直方向を特定し、特定した結果を信号として表示手段に表示する段階を含むことが好ましい（請求項７）。
このように構成すると、検出した動画像の動きを簡単に表示可能となる。
【００２９】
また、この発明の方法において、（ｇ）により特定した結果を別の出力手段に出力する構成とすることができる（請求項８）。
このように構成することによって、例えば、火災等の炎や煙等の動きを動画像として検出し、検出した結果をリアルタイムに出力することが可能となる。
【００３０】
【発明の実施の形態】
以下、この発明を添付図面に基づいて詳細に説明する。
図１は、この発明の動画像検出・表示装置の全体構成を示す模式図であり、図２は、この発明の動画像検出・表示装置により検出された画像を表示手段に表示させた画面の一例を示す図面であり、そして、図３は、この発明の動画像検出・表示装置により検出された画像を表示手段に表示させた画面の一例を示す図面であって、図３（ａ）は水平方向の移動を示し、図３（ｂ）は垂直方向の移動を示す。
【００３１】
（動画像検出・表示装置）
まず、この発明の動画像検出・表示装置の全体構成を図１を用いて説明する。
図１に示す通り、この発明の動画像検出・表示装置は、デジタルカメラ等の撮像手段１からの連続画像を入力するためのビデオキャプチャカード等の画像取込手段２、画像取込手段２で取込んだ画像データを演算し出力するための制御手段３および制御手段３からのデータを表示するための表示手段４から概ね構成され、そして所望に応じて警報装置等の外部装置５へ出力可能となっている。
【００３２】
デジタルカメラ等の撮像手段１からの連続画像を入力するために、画像取込手段２は、周知のインターフェース、例えばＵＳＢ、ＩＥＥＥ１３９４インターフェースおよび取込んだ画像を制御手段３に出力するためのインターフェース、例えばＩＳＡバス、ＰＣＩバス等を有している。所望に応じて、画像取込手段２は、後述するこの発明を実行するためのプログラムを格納するためのＲＯＭを有していても良い。
【００３３】
制御手段３は、画像取込手段２により取得された撮像手段１からの画像を入力するためのインターフェース、入力された画像および後述するこの発明を実行するためのプログラムを格納するためのハードディスク等の上方格納手段、後述するこの発明を実行するためのプログラムを実行するための演算手段、演算した結果を表示手段４や外部装置５に出力するためのインターフェースにより構成されている。一般には、制御手段３は、コンピュータシステムである。
【００３４】
表示手段４は、後述するこの発明を実行するためのプログラムによって演算した結果を表示する手段であり、一般にはモニタである。また、外部装置とは、例えばモデム等により接続された警報装置であり、この発明の画像検出・表示装置により動画像が検出された場合に警報信号等を出力可能な構成となっている。
【００３５】
（動画像検出・表示プログラム）
このような構成を有するこの発明の動画像検出・表示装置は、この発明の特定のプログラムによって、制御されている。
すなわち、まず、画像取込手段２は、撮像手段１から水平方向×垂直方向の画素数ｍ×ｎ、例えば６４０×４８０の静止画像としての第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込む。
【００３６】
このようにして画像取込手段２に取込まれた画像は、背景画像として画像「０」として定義される。これと同時に、従来公知の方法により所定の第一の単色の背景画像（例えば、グレー画像階調なし）に変換され、制御手段３を介して表示手段４に表示される。このように静止画像をグレー等の単色に変換するのは、データの数を減少させて演算子の負荷を緩和させるためであり、また表示手段４に不要な情報を表示させず見やすくするためである。
【００３７】
次いで、画像取込手段２は、撮像手段１から第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）の取り込みを行う。そして、第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）と第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）との比較を行う。
【００３８】
なお、比較した結果、第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）と第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）とが同一の場合、すなわち、画像中に動くものがない場合は、第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）は、第１の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）と認識される（第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を「０」とみなす）。
【００３９】
そして、比較した結果、第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）と第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）とが異なる場合、すなわち、動くものがあって、つまりＤｉｆｆ1-2（ｘ，ｙ）がある閾値以上となる場合に、第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）と第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）との差分が得られる。本発明においては、前記第一の画像と第二の画像との差分Ｄｉｆｆ1-2（ｘ，ｙ）を式（１）
【００４０】
【数１】
0003862068.tif 000007
【００４１】
を用いて求める。そして、このようにして求めた差分Ｄｉｆｆ1−2（ｘ，ｙ）を「１」とする。
このように構成することによって、連続した画像中に動くものが存在する場合に非常に簡単な構成で、検出が可能となる。また、このようにして検出した動くものは、連続的な軌跡として表示手段４に表示可能である。
なお、第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）と第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）との差分がない場合には、差分があるまで第一の画像と次の画像（第二の画像）との比較を行う。
【００４２】
次いで、第二の画像に動く対象物があって、つまりＤｉｆｆ1−2（ｘ，ｙ）がある閾値以上となる場合に、第三の画像Ｆｒａｍｅ３ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込み、同様にして第一の画像と第三の画像の差分画像とを式（２）
【００４３】
【数２】
0003862068.tif 000008
【００４４】
を用いて比較し、差分画像Ｄｉｆｆ1-3（ｘ，ｙ）を求める。
前記第三の画像に動く対象物（動画像）があって、つまりＤｉｆｆ1−3（ｘ，ｙ）がある閾値以上となる場合には、差分画像Ｄｉｆｆ1−3（ｘ，ｙ）を「１」とする。
なお、前記第三の画像に動く対象物がなくて、つまりＤｉｆｆ1−3（ｘ，ｙ）がある閾値以下となる場合には、差分画像Ｄｉｆｆ1−3（ｘ，ｙ）を「０」とする。
【００４５】
次いで、前記差分画像Ｄｉｆｆ1−2（ｘ，ｙ）とＤｉｆｆ1−3（ｘ，ｙ）とを比較し、動画像の移動を追跡する。本発明においては、式（３）
【００４６】
【数３】
0003862068.tif 000009
【００４７】
を用いて、検出動画像データＭｏ−Ｄｅ（ｘ、ｙ）を求める。
このようにして求めたＭｏ−Ｄｅは、０、１または−１のいずれかである。
【００４８】
このようにして検出した結果がＭｏ−Ｄｅ＝０の場合、すなわち、第二の画像と第三の画像との間で動きが検出されない場合、前記と同様の単色（グレー）で画像を表示手段に表示する信号を送出する。また、Ｍｏ−Ｄｅ＝１の場合、前記第一の単色とは異なる第二の単色（例えば赤色）で画像を表示手段に表示する信号を送出する。
【００４９】
また、Ｍｏ−Ｄｅ＝−１の場合、前記第一および第二の単色とは異なる第三の単色（例えば緑色）で画像を表示手段に表示する信号を送出する。
なお、第一、第二および第三の画像の色は、表示手段３で識別できれば任意に設定することが可能である。従って、第一、第二および第三の画像の色は、例えば階調の異なるグレースケール（白→灰色→黒）であってもよい。
【００５０】
このように構成することによって、図２に示すように第二および第三の画像から矢印の方向に動く対象を表示させることが可能となる。同様にして、第四・・・第ｎの画像を比較することによって、動く対象、すなわち動画像を連続表示可能である。、また、この発明の上記構成において、動く対象物の動画像の差分を求める際に、連続したフレームにおいて行ってもよいが、一又は複数の入力フレームを間引きして行ってもよい。入力フレームを間引きして差額画像の差分画像を求めるのは、高速で移動する対象物の差分画像を求める場合に有効である。
【００５１】
この発明の好ましい実施の形態において、このようにして検出した動く対象、すなわち動画像の移動を水平方向（ｘ方向）および垂直方向（ｙ方向）を特定することによって、動画像の位置を特定する。
すなわち、垂直方向の位置を特定するために、式（４）、水平方向の位置を特定するために、式（５）を用いて、式（３）の結果を再演算して各方向の射影値を演算する。なお、この発明における用語「射影値」とは、動画像の大きさ、動きの範囲を含むものである。
【００５２】
【数４】
0003862068.tif 000010
【００５３】
【数５】
0003862068.tif 000011
【００５４】
このようにして演算した結果を、表示手段４、例えば図３示すような画面を出力する。図３（ａ）は、式（５）により演算された水平方向の移動を示し、図３（ｂ）は式（４）により演算された垂直方向の移動を各々別個に表示させることが可能となる。このように表示させることによって、各々、水平および垂直方向の動きの頻度だけを切り出して表示手段に表示することが可能となる。なお、所望に応じて、このようにして演算された結果を外部装置５、例えば警報装置に出力することも可能である。
【００５５】
このように、終了命令が行われるまで同様な操作を繰り返すことによって、連続的に検出された動画像の水平方向と垂直方向の検出および表示が可能となる。
このようにして検出された動くものの動画像の水平方向と垂直方向の位置、射影値および軌跡情報によって、特定の対象、すなわち使用状況に応じた解析を行い外部装置に状況に応じたデータを送出することが可能である。
【００５６】
例えば、この発明の装置を火災警報のための用途に用いた場合、この発明により動く対象として火災による煙や炎を連続的な動画像として検出された際に、通信手段を介して外部装置５である警報装置に警告信号を送出する構成とすることにより、火災を検知することができるとともに、煙や炎の広がりを容易知ることが可能となる。
【００５７】
次に、この発明の動画像検出・表示方法について、図４を用いて行う。図４は、この発明の動画検出・表示方法を示すフローチャートである。すなわち、まず、水平方向×垂直方向の画素数ｍ×ｎ静止画像としての第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込む（ｓ１）。
【００５８】
このようにして取込まれた画像は、背景画像として「０」に変換される。これと同時に、従来公知の方法により単色の背景画像（例えば、グレー画像階調なし）に変換され（ｓ２）、表示手段に表示される（ｓ３）。このように静止画像をグレー等の単色に変換するのは、データの数を減少させて演算子の負荷を緩和させるためであり、また表示手段４に不要な情報を表示させず見やすくするためである。
【００５９】
次いで、第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）の取り込みを行い（ｓ４）、そして第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）と第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）との比較を行う。そして、比較した結果、第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）と第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）とが異なる場合、すなわち、動くものがある場合、第一の画像Ｆｒａｍｅｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）と第二の画像Ｆｒａｍｅ２ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）との差分が得られる（ｓ５）。
【００６０】
本発明においては、前記第一の画像と第二の画像との差分画像（１，２）を、例えば前記式（１）を用いて求める。そして、このようにして求めた差分（１，２）を「１」とする。このように構成することによって、連続した画像中に動くものが存在する場合に非常に簡単な構成で、検出が可能となる。また、このようにして検出した動くものは、連続的な軌跡として表示可能である。
【００６１】
次いで、第二の画像に動く対象物があって、つまりＤｉｆｆ1−2（ｘ，ｙ）がある式値以上となる場合に、第三の画像Ｆｒａｍｅ３ｉ（ｘ，ｙ）（ｉ＝１，ｉ＝２，…，ｉ＝ｎ入力フレーム）を取込み（ｓ６）、同様にして第一の画像と第三の画像の差分画像とを、例えば前記式（２）を用いて比較し、差分画像（１，３）を求める（ｓ７）。前記第三の画像に動く対象物（動画像）があって、つまりＤｉｆｆ1−３（ｘ，ｙ）がある式値以上となる場合に、差分画像（１，３）を「１」とする。
なお、前記第三の画像に動く対象物がなくて、つまりＤｉｆｆ1−３（ｘ，ｙ）がある式値以下となる場合に、差分画像（１，３）を「０」とする。
【００６２】
次いで、前記差分画像（１，２）と（１，３）とを、例えば前記式（３）を用いて比較し、動画像の移動を追跡する（ｓ８）。
このようにして求めたＭｏ−Ｄｅは、０、１または−１のいずれかである。
この発明の好ましい実施の形態において、このようにして検出した動く対象、すなわち動画像の移動を水平方向（ｘ方向）および垂直方向（ｙ方向）を特定することによって、動画像の位置を特定する（ｓ９）。
【００６３】
すなわち、垂直方向の位置を特定するために、式（４）、水平方向の位置を特定するために、例えば式（５）を用いて、式（３）の結果を再演算して各方向の射影値を演算する。なお、この発明における用語「射影値」とは、動画像の大きさ、動きの範囲を含むものである。
【００６４】
このようにして演算した結果を、表示手段に出力する（ｓ１０）。そして、このような演算結果をＳ５にシフトさせ（ｓ１１）、動き画像をグラフ表示させる（ｓ１２）。なお、所望に応じて、このようにして演算された結果を外部装置５、例えば警報装置に出力する（Ｓ１３）。
【００６５】
このように、終了命令が行われるまで同様な操作を繰り返すことによって、連続的に検出された動画像の水平方向と垂直方向の検出および表示が可能となる。
【００６６】
【発明の効果】
以上説明した通り、この発明は以下の優れた効果を奏する。
この発明の動画像検出・表示プログラムによると、例えば、画像取込用のカードのＲＯＭやコンピュータシステムのハードディスクにこのプログラムを格納することによって、簡単な方法で動き画像を切り出すことが可能となる（請求項１）。請求項２の発明によると検出した動画像の動きを簡単に表示可能となる。
【００６７】
請求項３の発明によると、例えば火災等の炎や煙等の動きを動画像として検出し、検出した結果をリアルタイムに出力することが可能となる。
請求項４の発明によると、簡単な構成でリアルタイムに動画像を検出しかつ表示することが可能となる。したがって、火災警報システム等の警報システムにこの装置を提供することが可能となる。
【００６８】
請求項５及び６の発明によると、撮像手段からの動画像を簡単な方法で検出し、表示手段に表示させることが可能となる。また、非常に簡単な方法で制御装置等の演算手段に多大の負荷なしに動画像の検出を行うことが可能となる。
請求項７の発明によると、検出した動画像の動きを簡単に表示可能となる。
請求項８の発明によると、例えば火災等の炎や煙等の動きを動画像として検出し、検出した結果をリアルタイムに出力することが可能となる。
【図面の簡単な説明】
【図１】この発明の動画像検出・表示装置の全体構成を示す模式図である。
【図２】この発明の動画像検出・表示装置により検出された画像を表示手段に表示させた画面の一例を示す図面である。
【図３】この発明の動画像検出・表示装置により検出された画像を表示手段に表示させた画面の一例を示す図面であって、図３（ａ）は水平方向の移動を示し、図３（ｂ）は垂直方向の移動を示す。
【図４】この発明の動画像検出・表示方法を示すフローチャートである。
【符号の説明】
１          撮像手段
２          画像取込手段
３          制御手段
４          表示手段
５          外部装置
【図１】
0003862068.tif 000017
【図２】
0003862068.tif 000018
【図３】
0003862068.tif 000019
【図４】
0003862068.tif 000020