(57)【特許請求の範囲】
【請求項１】
撮影手段によって撮影され、データ記憶手段に記憶された複数の画像データの中から、検索者が設定した条件にあう画像データを検索する画像検索システムであって、
前記複数の画像データの中から基準となる基準画像データを設定する基準設定部、及び、前記条件となる色及び形状に相当する面積を設定する条件設定部を有する設定手段と、
前記複数の画像データ中の前記基準画像データと、該基準画像データ以外の他の画像データとを、該基準画像および該他の画像データの対応する画素ごとに比較する比較手段と、
前記対応する画素ごとに前記比較手段の比較した前記基準画像および前記他の画像データの差分が所定値以上である該他の画像データについて、前記条件となる色及び形状に相当する面積を検索する特徴抽出手段を有する画像処理手段と、
を含む画像検索システム。
【請求項２】
前記画像処理手段の特徴抽出手段での検索結果を記憶する結果記憶手段を含む請求項１に記載の画像検索システム。
【請求項３】
前記画像データが、縦横に並んだ複数の画素データで構成される請求項１または２に記載の画像検索システム。
【請求項４】
前記画素データが、色相、彩度、明度、赤、緑、及び青を数値で表したデータを含む請求項３に記載の画像検索システム。
【請求項５】
前記設定手段で設定する色のデータが、色相、彩度、明度、赤、緑、及び青を数値で表したデータを含む請求項１ないし４に記載の画像検索システム。
【請求項６】
前記比較手段が、
前記基準画像データを構成する複数の画素データの中から一部または全ての画素データを抽出する手段と、
前記他の画像データにおいて、前記基準画像データより抽出された画素データと同位置にある画素データを抽出する手段と、
前記基準画像データの画素データと他の画像データの画素データとを比較する手段と、
を含む請求項３乃至５に記載の画像検索システム。
【請求項７】
前記特徴抽出手段が、
前記他の画像データを複数の領域に分割する手段と、
前記複数の領域において、前記設定手段で設定した色を含み、且つ、つながりあった領域を抽出する手段と、
前記つながりあった領域の面積と条件として設定された形状に相当する面積とを比較する手段と
を含む請求項５または６に記載の画像検索システム。
【請求項８】
前記条件として設定された色及び形状に相当する面積に対応するデータを記憶する手段を含み、該データが複数の前記画素データを含む請求項４乃至７に記載の画像検索システム。
【請求項９】
前記撮影手段が、ビデオカメラまたはディジタル・スチール・カメラを含む請求項１乃至８に記載の画像検索システム。
【請求項１０】
撮影手段によって時間的に連続または間欠で撮影され、データ記憶手段に記憶された複数の画素データで構成される複数の画像データの中から検索者の設定した条件にあう画像データを検索する画像検索方法であって、
前記複数の画像データの中から基準となる基準画像データ、及び前記条件となる色及び形状に相当する面積を設定する工程と、
前記複数の画像データ中の前記基準画像データと、該基準画像データ以外の他の画像データとを、該基準画像および該他の画像データの対応する画素ごとに比較する工程と、
前記対応する画素ごとに前記比較手段の比較した前記基準画像および前記他の画像データの差分が所定値以上である該他の画像データについて、前記条件となる色及び形状に相当する面積を検索する工程と、を含む画像検索方法。
【請求項１１】
前記色及び形状に相当する面積を検索する工程の後、検索結果を記憶する工程を含む請求項１０に記載の画像検索方法。
【請求項１２】
前記設定する工程における色の設定が、色の色相、彩度、明度、赤、緑、及び青を数値のデータで設定する請求項１０または１１に記載の画像検索方法。
【請求項１３】
前記比較する工程が、
前記基準画像データから複数の画素データを抽出する工程と、
前記他の画像データにおいて、前記基準画像データから抽出された画素データと同位置にある画素データを抽出する工程と、
前記基準画像データの画素データと前記他の画像データの画素データを比較する工程と、
を含む請求項１２に記載の画像検索方法。
【請求項１４】
前記画素データを比較する工程が、
画素データに含まれる色相、彩度、及び明度の数値のデータの差分を取る工程と、
前記差分を取った値から前記基準画像データと前記他の画像データの違いを判定する工程と、
を含む請求項１３に記載の画像検索方法。
【請求項１５】
前記色及び形状に相当する面積を検索する工程が、
前記他の画像データを複数の領域に分割する工程と、
前記設定する工程で設定した色を含み、且つ、つながりあった複数の領域を抽出する工程と、
前記設定する工程で設定した形状に相当する面積と前記つながりあった領域の面積とを比較する工程と、
を含む請求項１１乃至１４に記載の画像検索方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラなどによって撮影された画像データの自動検索を行う画像検索システムおよび画像検索方法に関する。
【０００２】
【従来の技術】
物販、工場、企業において、盗難事件や多種多発する犯罪の防止・犯人検挙を目的とした防犯カメラ設備の導入が増加している。スーパーなどで使用される防犯カメラ設備は、カラーカメラ（ビデオカメラ）８台・カメラ切換器１台・長時間ビデオデッキ１台を１単位として、２単位から４単位の導入をしている。すなわち、カラーカメラが１６台から３２台、カメラ切換器及び長時間ビデオデッキがそれぞれ２台から４台導入している。
【０００３】
防犯カメラ設備は、約１秒間に１枚（コマ）の画像を記録する。１本のビデオテープで約１２時間から２４時間の内容を間欠記録するケースが多い。
【０００４】
記録内容の再生において、一般のビデオデッキのようにビデオテープを早送りまたは巻き戻し再生を行いにくい。これは、上述のように約１秒間に１枚という間欠記録であり、内容の連続性が少ないためである。２倍速程度であれば内容を確認できる。しかし、それ以上の速さでは、画像の内容の切り替わりが瞬時のため、画像内容の確認ができない。
【０００５】
ビデオテープを１２時間モードで記録している場合、全ての再生画像の確認は、２倍速再生で６時間を要する。さらに、１台のビデオデッキには、８台のカラーカメラが接続されている。したがって、全ての記録内容の確認は、合計４８時間を要することになる。事件発生時刻を特定できない状況下では、上述の時間を費やして犯罪者を検索している。
【０００６】
実際は、再生画像を見ているだけではなく、ビデオテープの一時停止や、早送り、巻き戻し操作を繰り返し行っている。操作する者に肉体的、精神的にかなりの苦痛を与えている。その結果、１度この操作を担当した者は、次回からビデオデッキの操作が億劫になる。
【０００７】
上記のような不具合は機器構成にも起因している。ビデオデッキは、ビデオテープに画像をアナログ形式で録画している。ビデオデッキの性能上、（１）長時間の静止画再生ができない。（２）スキップ（飛び越し）再生ができない。（３）時刻を指定した検索ができない。以上のような問題があり、長時間の操作を要する原因にもなっている。
【０００８】
防犯カメラ設備以外にもビデオカメラを使用した設備がある。例えば、特別養護老人施設などでは、徘徊監視に監視カメラ設備の導入が増加している。監視カメラ設備による徘徊監視は、玄関などをビデオカメラで撮影する。モニターテレビに映し出された玄関など、出入り口の映像を２４時間監視する。また、ビデオテープに記録したりしてもしもの場合に対応している。
【０００９】
監視カメラ設備以外にも、ネックレス型発信機やリストバンド型発信機など徘徊センサーがある。そのセンサーからの信号が監視エリア外に出た場合、警報を発する設備が導入されている施設もある。
【００１０】
しかし、監視カメラ設備には以下のような問題点がある。監視カメラ設備は、モニターテレビを２４時間監視するのはたいへんな労力を要する。また、見落としによる人為的なミスが発生する。徘徊センサーは、発信機の携帯を忘れるときがある。
【００１１】
【発明が解決しようとする課題】
本発明の目的は、モニターテレビに映し出される映像を常時監視することを廃止する画像検索システムおよび画像検索方法を提供することにある。
【００１２】
【課題を解決するための手段】
本発明の画像検索システムの要旨は、撮影手段によって撮影され、データ記憶手段に記憶された複数の画像データの中から、検索者が設定した条件にあう画像データを検索する画像検索システムであって、前記複数の画像データの中から基準となる基準画像データを設定する基準設定部、及び、前記条件となる色及び形状に相当する面積を設定する条件設定部を有する設定手段と、前記複数の画像データ中の前記基準画像データと、該基準画像データ以外の他の画像データとを、該基準画像および該他の画像データの対応する画素ごとに比較する比較手段と、前記対応する画素ごとに前記比較手段の比較した前記基準画像および前記他の画像データの差分が所定値以上である該他の画像データについて、前記条件となる色及び形状に相当する面積を検索する特徴抽出手段を有する画像処理手段と、を含む。以上で、条件に合致する画像データが検索される。
【００１３】
画像検索システムは、前記画像処理手段の特徴抽出手段での検索結果を記憶する結果記憶手段を含む。
【００１４】
前記画像データは、縦横に並んだ複数の画素データで構成される。
【００１５】
前記画素データは、色相、彩度、明度、赤、緑、及び青を数値で表したデータを含む。
【００１６】
前記設定手段で設定する色のデータは、色相、彩度、明度、赤、緑、及び青を数値で表したデータである。
【００１７】
前記比較手段は、前記基準画像データを構成する複数の画素データの中から一部または全ての画素データを抽出する手段と、前記他の画像データにおいて、前記基準画像データより抽出された画素データと同位置にある画素データを抽出する手段と、前記基準画像データの画素データと他の画像データの画素データとを比較する手段と、を含む。
【００１８】
前記特徴抽出手段は、前記他の画像データを複数の領域に分割する手段と、前記複数の領域において、前記設定手段で設定した色を含み、且つ、つながりあった領域を抽出する手段と、前記つながりあった領域の面積と条件として設定された形状に相当する面積とを比較する手段と、を含む。
【００１９】
画像検索システムは、前記条件として設定された色及び形状に相当する面積に対応するデータを記憶する手段を含み、該データは複数の前記画素データを有する。
【００２０】
前記撮影手段は、ビデオカメラまたはディジタル・スチール・カメラを含む。
【００２１】
本発明の画像検索方法の要旨は、撮影手段によって時間的に連続または間欠で撮影され、データ記憶手段に記憶された複数の画素データで構成される複数の画像データの中から検索者の設定した条件にあう画像データを検索する画像検索方法であって、前記複数の画像データの中から基準となる基準画像データ、及び前記条件となる色及び形状に相当する面積を設定する工程と、前記複数の画像データ中の前記基準画像データと、該基準画像データ以外の他の画像データとを、該基準画像および該他の画像データの対応する画素ごとに比較する工程と、前記対応する画素ごとに前記比較手段の比較した前記基準画像および前記他の画像データの差分が所定値以上である該他の画像データについて、前記条件となる色及び形状に相当する面積を検索する工程と、を含む。
【００２２】
前記色及び形状に相当する面積を検索する工程の後、検索結果を記憶する工程を含む。
【００２３】
前記設定する工程における色の設定は、色の色相、彩度、明度、赤、緑、及び青を数値のデータで設定する。
【００２４】
前記比較する工程は、前記基準画像データから複数の画素データを抽出する工程と、前記他の画像データにおいて、前記基準画像データから抽出された画素データと同位置にある画素データを抽出する工程と、前記基準画像データの画素データと前記他の画像データの画素データを比較する工程と、を含む。
【００２５】
前記画素データを比較する工程は、画素データに含まれる色相、彩度、及び明度の数値のデータの差分を取る工程と、前記差分を取った値から前記基準画像データと前記他の画像データの違いを判定する工程と、を含む。
【００２６】
前記色及び形状に相当する面積を検索する工程は、前記他の画像データを複数の領域に分割する工程と、前記設定する工程で設定した色を含み、且つ、つながりあった複数の領域を抽出する工程と、前記設定する工程で設定した形状に相当する面積と前記つながりあった領域の面積とを比較する工程と、を含む。
【００２７】
【発明の実施の形態】
次に、本発明の画像検索システムおよび検索方法の実施形態について、図面を使用して説明する。画像検索システムは、防犯カメラ設備や監視カメラ設備に使用される。
【００２８】
図１に示すように、画像検索システム１０は、画像データを撮影するビデオカメラ１２と画像データの検索を行う装置（コンピュータ）２２を含む。コンピュータ２２は、ビデオカメラ１２で撮影された複数の画像データを記憶するデータ記憶手段１４、検索者が検索したい条件を設定するための設定手段１８、画像の検索を行う画像処理手段１６、および検索結果を記憶する結果記憶手段２０が含まれる。
【００２９】
ビデオカメラ１２は、画像データを時間的に間欠または連続で撮影する。画像データはディジタル形式のデータである。ビデオカメラ１２は画像データをディジタル形式で撮影できる手段である。監視対象場所が複数ある場合、複数のビデオカメラ１２を設置する。画像データを間欠で撮影する場合、１秒間に１つの画像データを撮影する。
【００３０】
また、ビデオカメラ１２で撮影する画像データをアナログ形式にしても良い。その場合、ビデオカメラ１２とデータ記憶手段１４の間にアナログ・ディジタル変換器を設ける。
【００３１】
画像データを時間的に間欠で撮影する場合は、ビデオカメラ１２以外の撮影手段でも良い。例えば、ディジタル・スチール・カメラを使用することができる。ディジタル・スチール・カメラを所定時間毎に作動させることによって、時間的に間欠で、画像データを撮影することができる。
【００３２】
以上より、データ記憶手段１４には、ディジタル形式の画像データが記憶される。
【００３３】
画像データは、縦横に並んだ複数の画素データによって構成される。画素データは、色のデータを含む。色のデータは、原色と色の要素である色合いを数値化したデータである。原色は、赤、緑、および青である。色合いは、色相、彩度、および明度である。数値化したデータは、赤などを複数の階調に分割し、各階調ごとに数値を当てはめたものである。したがって、赤などの１つの要素に複数の数値がある。
【００３４】
データ記憶手段１４は、複数の画像データをディジタル形式で記憶できる手段である。例えば、ハードディスク、ＭＯ（Magnet Optical）ディスク、ＤＶＤ（Digital Versatile
Disc）などがある。データ記憶手段１４は、コンピュータ２２に内蔵または外付けのいずれでも良い。コンピュータ２２に内蔵されたデータ記憶手段１４の記憶容量がなくなれば、外付けのデータ記憶手段１４を追加することもできる。データ記憶手段１４の追加によって、当該システム１０を長期にわたって使用することが可能である。
【００３５】
設定手段（プログラム）１８は、複数の画像データの中から基準（背景）となる基準画像データを設定する基準設定部、および、検索の条件となる色、形状、または色と形状の両方を設定する条件設定部を有する。また、条件には、画像データにおける領域、および検索の開始時間及び終了時間を含む。検索の開始時間および終了時間は、画像データが撮影された時間に対応する。領域などを設定すると、その領域内でのみ画像処理が行われる。したがって、画像処理が少なくなるので、検索時間が短縮される。
【００３６】
基準画像データ及び条件の設定は、ディスプレイに表示される入力欄などにキーボード、マウス、またはタッチパネルなどを使用して、検索するためのデータなどを入力することによって行う。入力されたデータは、画像処理手段１６に送られる。後述するように、設定する条件が色と形状を含む場合は、画像処理手段１６の特徴抽出手段が動作し、色を含まずに形状を含む場合は、画像処理手段１６の形状検索手段が動作する。
【００３７】
基準画像データは、検索者が複数の画像データの中から１つの画像データを選択することによって決定される。基準画像データは、動きのあるものが撮影されていない画像データを選択するのが好ましい。これは、後述する比較手段で、基準画像データと他の画像データとを比較し、基準画像データと他の画像データの違いを検出するからである。
【００３８】
条件設定部で設定する色は、原色と色の要素である色合いである。これらを数値化したデータを設定する。原色は、赤、緑、および青である。色合いは、色相、彩度、および明度である。数値化したデータは、赤などを複数の階調に分割し、各階調ごとに数値を当てはめたものである。これらの条件は、後述の画像処理に使用される。入力欄に数値を入力するか、または、ディスプレイに表示される色を選択することによって自動的に数値が設定できるように構成する。また、類似する色も含めるため、条件の数値データに許容範囲を設ける。この許容範囲は検索者が、キーボードやマウスで任意に変更できるように構成する。
【００３９】
さらに、後述する特徴抽出手段で形状に対応する面積を検出するために、検索者が面積を設定できるように構成する。例えば、検出しきい値として、画像データに選択した色が含まれる面積、または画像データに含まれる色の面積の割合を設定する。この面積を設定する代わりに、形状をキーボードやマウスで設定できるように構成しても良い。この場合、コンピュータ２２は、形状に対応する面積を記憶しておく。形状が設定されることによって、自動的に面積が決定される。また、これらの面積においても、色の場合と同様に許容範囲を設定できるように構成しても良い。
【００４０】
形状に対応する形状データを記憶する手段をコンピュータ２２に含める。この手段は、データ記憶手段１４と同様にディジタルデータを記憶する手段である。設定手段で色を含まずに形状を設定したときに、形状に対応する形状データが後述する画像処理手段１６の形状検索手段に送られる。この形状データは、複数の画素データによって構成される。この画素データは、上記の画像データを構成する画素データと同じ構成である。ビデオカメラ１２での写り具合によって、形状が異なるので、形状データには、許容範囲を設ける。また、この許容範囲を設定手段で変更できるようにしても良い。
【００４１】
画像処理手段１６は、複数の画像データ中の基準画像データ以外の他の画像データと基準画像データとを比較する比較手段、色および形状に相当する面積を検索する特徴抽出手段、および形状の検索を行う形状検索手段を含む。
【００４２】
比較手段は、基準画像データを構成する複数の画素データの中から一部または全ての画素データを抽出する手段と、他の画像データにおいて、基準画像データより抽出された画素データと同位置にある画素データを抽出する手段と、基準画像データの画素データと他の画像データの画素データとを比較する手段と、を含む。
【００４３】
上記のように画素データは、原色などを数値データして扱っている。従って、画素データの比較は、画素データの差分を取ることによって行う。差分を取った結果、０またはそれに近い値であれば、画素データの違いは無いか少ない。また、０から離れるにつれて、画素データの違いが大きくなる。そこで、比較手段は、差分が所定値以上の画素データは、変化のあった画素データとみなす。差分を取った画素データのうちで、変化のあった画素データの割合を求める。この割合が所定割合（例えば、２０％）以上の場合、画像データは特徴抽出手段または形状検索手段に送られる。画像データは、設定手段で条件に色および形状を含んだ場合、特徴抽出手段に送られ、色を含まずに形状を含んだ場合、形状検索手段に送られる。
【００４４】
特徴抽出手段は、図３に示すように、他の画像データ３０を複数の領域３２に分割する手段と、複数の領域３２において、設定手段で設定した色を含み、且つ、つながりあった領域（以下、連結領域と記載する）を抽出する手段と、連結領域の面積と条件として設定された形状に相当する面積とを比較する手段とを含む。例えば、図３において、斜線部分が連結領域である。
【００４５】
複数の領域３２に分割する際、１つの領域３２の面積を検索者の設定によって任意に変更できるように構成しても良い。面積が広い場合、特徴抽出手段での画像処理が短時間で終了する。面積が狭い場合、連結領域の面積を正確に求めることができる。連結領域の面積が正確になると、設定手段１８で設定した面積との比較が正確になる。
【００４６】
形状検索手段は、図４に示すように、他の画像データの中に領域３４を設け、領域３４を移動させる手段と、領域３４内の画素データと条件として設定された形状の形状データとを比較する手段と、を含む。
【００４７】
領域３４の移動は、例えば、１画素ずつ移動させる。１画素ずつ移動させると、所望の形状を確実に検索できる。領域３４内の画素データと形状データとの比較は、差分を取ることによって行う。画素データおよび形状データは、色相などを数値で表したデータである。従って、差分が０またはそれに近い値であれば、検索する形状がその領域３４に存在することになる。そこで、形状検索手段は、差分が、所定値以下であった場合に、画像データ３０に条件の形状を含むと判定する。
【００４８】
以上のように、比較手段で画像処理した後、画素データの変化の割合が所定値以上の画像データを特徴抽出手段や形状検索手段に送る。これは、画像処理の時間短縮のためである。詳しく述べると、比較手段は、（１）基準画像データから画素データを抽出する。（２）他の画像データの画素データを抽出する。（３）基準画像データ及び他の画像データの画素データの差分を取り、差分の値から画像データの変化を判定する。以上の３工程であるが、（１）の工程は、１回だけであり、２回目以降は２工程になる。特徴抽出手段は、（１）画像データを複数の領域に分割する。（２）設定手段で設定した色を含み、かつ、つながりあった複数の領域を抽出する。（３）設定する工程で設定した形状に相当する面積と前記つながりあった領域の面積とを比較する。以上、特徴抽出手段の画像処理は３工程である。従って、比較手段で画素データの違いが確認された画像データのみを特徴抽出手段で画像処理することによって、画像処理の時間短縮が図られる。
【００４９】
特徴抽出手段などを使用する利点は、不鮮明な画像データであっても画像処理が行えるからである。一般的に、画像処理によって所定の形状などを抽出する方法にエッジ検出を用いる方法がある。エッジ検出は、色の変化によって、色の境界部分（エッジ）を検出する。例えば、上記のように画素データの色は数値化されている場合に、その数値の違いが大きい部分がエッジになる。エッジを検出することによって、所望の色を有する領域が抽出できる。
【００５０】
しかし、当該システム１０は防犯カメラ設備などへの使用する。したがって、ビデオカメラ１２で撮影される画像データは、ピンぼけやノイズが入ったものが多くなる。すなわち、画像データの中に不鮮明なものが多くなる。当然、不鮮明な画像データは、エッジが分かりづらいものとなっている。したがって、エッジ検出を行うのは困難で、間違った検索が行われる。本発明の特徴抽出手段などは領域内に所望の色や形状があるか否かを検出するので、画像の鮮明さは問題にならない。以上より、当該システム１０は、不鮮明な画像データであっても画像処理が行え、防犯カメラ設備などに使用が可能である。
【００５１】
当該システム１０は、特徴抽出手段または形状検索手段での結果を記憶する結果記憶手段２０を含む。結果記憶手段２０は、データ記憶手段１４と同様にハードディスクなどを使用する。また、１つのハードディスクを２つの領域に分割し、それらの領域をデータ記憶手段１４と結果記憶手段２０として使用しても良い。記憶する結果は、特徴抽出手段などの画像処理で条件に合致した画像データである。
【００５２】
コンピュータ２２にはＭＰＵ（Micro Processor Unit）が含まれる。設定手段１８や画像処理手段１６の動作は、ＭＰＵによって制御される。
【００５３】
また、図２に示すように、当該システム１０は、画像データの再生を指示する指示手段２４、結果記憶手段２０に記憶された画像データを表示するためのモニターテレビ２８、表示を制御するビデオデッキ２６を含む。ビデオデッキ２６をプリンターに変更し、紙媒体に出力しても良い。
【００５４】
コンピュータ２２をインターネットやＬＡＮ（Local Area Network）などのネットワークに接続しても良い。ネットワークに接続された他のコンピュータで、結果記憶手段２０に記憶された画像データを表示できるように構成しても良い。
【００５５】
当該システム１０を使用した画像検索方法について説明する。ビデオカメラ１２で監視対象場所を撮影する。撮影される画像データは、ディジタル形式のデータである。画像データの構成は、縦横に複数の画素データが並んでいる。画素データには、色のデータが含まれる。色のデータは、原色または色の要素を数値化したデータである。このような画像データを時間的に間欠または連続で撮影する。
【００５６】
撮影された画像データは、データ記憶手段１４に記憶される。必要に応じて検索者が画像データの検索を行う。例えば、犯罪の発生がわかった場合などに検索を行う。
【００５７】
検索者は、コンピュータ２２のディスプレイに表示された設定手段１８の入力欄などに、キーボードやマウスを使用して必要な条件を入力する。
【００５８】
条件としては、基準となる基準画像データ及び検索したい条件である。基準画像データは、データ記憶手段１４に記憶された複数の画像データから選択する。基準画像データは、動きのあるものが撮影されていない画像データを選択するのが好ましい。これは、比較手段で基準画像データと他の画像データとを比較を行う。比較の結果、所定割合以上の画素データに変化のあった画像データを特徴抽出手段などに送る。したがって、動きのあるものが入っていると、全ての画像データが特徴抽出手段などに送られてしまうので、画像処理に時間がかかってしまう。
【００５９】
検索条件は、色及び／または形状を含む。また、条件には、画像データにおける領域、および検索の開始時間及び終了時間を含む。検索の開始時間および終了時間は、画像データが撮影された時間に対応する。
【００６０】
条件の色は、原色と色の要素である色合いである。これらを数値化したデータを設定する。原色は、赤、緑、および青である。色合いは、色相、彩度、および明度である。入力欄に数値を入力するか、または、ディスプレイに表示される色を選択することによって自動的に数値を設定する。また、類似する色も含めるため、条件の数値データに許容範囲を設ける。類似する色を含めるのは、例えば服を検索する場合に、服への光の当たり具合や検索者の視覚の個人差によって、設定する色が異なるからである。
【００６１】
形状は、服や眼鏡などの実際に検索したい形状である。形状の名称を入力するかディスプレイに表示された名称を選択することによって設定する。色と同時に形状を設定するとき、形状を選択する代わりに形状の面積を設定しても良い。
【００６２】
設定手段１８で基準画像データ及び検索条件が設定されると、それらは画像処理手段１６に送られる。なお、検索条件に色を含まずに形状を含んだ場合、形状に関しては、上記の形状データが送られる。また、色および形状（形状の面積）を含んだ場合、形状に関しては、形状に相当する面積が送られる。
【００６３】
画像処理手段１６の比較手段は、基準画像データと他の画像データの比較を行う。比較の方法は、基準画像データの一部または全部の画素データを抽出する。他の画像データにおいて、基準画像データより抽出された画素データと同座標にある画素データを抽出する。同座標にある基準画像データと他の画像データの画素データの差分を取る。差分の値が所定値以上の場合、それらの画素データは変化があったことになる。全ての画素データにおいて差分を取る。変化のあった画素データの割合が所定割合以上であれば、その画像データを特徴抽出手段または形状検索手段に送る。設定手段で色および形状が設定された場合、特徴抽出手段に画像データを送る。設定手段で色を含まずに形状が設定された場合、形状検索に画像データを送る。また、所定割合未満であれば、その画像データについては、画像処理を終了する。
【００６４】
特徴抽出手段に画像データが送られた場合について説明する。画像データ３０は、図３に示すように、複数の領域３２に分割する。複数の領域３２から条件の色を含み、かつ、連結領域（図中斜線部分）を抽出する。連結領域の面積と条件の形状に対応する面積とを比較する。比較は、両者の差分を取ることによって行う。所定値未満であれば設定手段で設定した面積と判定する。その画像データは条件に合致したとして、結果記憶手段に記憶される。また、所定値以上の場合、設定した面積でないと判定する。設定した面積でないと判定した場合、その画像データについては、画像処理を終了する。この所定値は、設定手段１８で面積の許容範囲として変更することができる。
【００６５】
差分を取ったさい、所定値未満または以上で条件に合致するか否かを判定する理由を説明する。ビデオカメラ１２は、一般的に固定されている。固定されているため、被写体の位置で画像データ内での大きさが変化する。合致するとみなす範囲に幅を持たせないと、条件に合致する画像データを検索することができないためである。
【００６６】
形状検索手段に画像データ３０が送られた場合について説明する。図４に示すように、画像データ３０内に領域３４を設定する。領域３４内の画素データを抽出する。設定手段で設定された形状３６の形状データと画素データとの差分を取る。差分が０または所定値以下であれば、領域３４内に条件の形状３６があると判定する。その画像データは、条件に合致したとして結果記憶手段に記憶される。所定値は、上記の形状データの許容範囲である。例えば、図４のように、領域３４が画像データ内に記憶された形状３８のある位置まで移動すると、条件の形状３６が検出される。また、差分が上記以外であれば、領域３４内に条件の形状３６がないと判定する。その場合は、その画像データについては、画像処理を終了する。
【００６７】
以上のように、特徴抽出手段または形状検索手段において、条件に合致する画像データ３０が検出されると、結果記憶手段２０にその画像データ３０が記憶される。
【００６８】
結果記憶手段２０に記憶された画像データ３０は、指示手段２４によってモニターテレビ２８に送られ、表示される。また、コンピュータ２２がネットワークに接続されている場合、他のコンピュータで結果記憶手段２０に記憶された画像データ３０を閲覧しても良い。
【００６９】
また、ビデオカメラ１２を複数設置した場合、全てのビデオカメラ１２で撮影した画像データ３０から検索を行うことができる。したがって、本発明は、防犯カメラ設備などに使用できる。
【００７０】
以上のように、検索者が検索条件を設定するだけで自動的に画像データ３０の検索ができる。したがって、検索者に肉体的、精神的に苦痛を与えることはない。
【００７１】
次に、画像データ３０を記憶しながら、所望の条件を含む画像データ３０が記憶されるのを監視する方法について説明する。
【００７２】
ビデオカメラ１２で撮影を行う前に、設定手段１８で監視したいものの条件を設定する。設定の方法は、上記の方法と同様である。設定手段１８は、入力された条件を画像検索手段１６に送る。
【００７３】
ビデオカメラ１２で画像データ３０の撮影を開始する。撮影は、時間的に連続または間欠で行われる。撮影された画像データ３０は順次データ記憶手段１４に記憶される。記憶された画像データ３０は、順次、画像処理手段１６によって画像処理される。画像処理の方法は、上述の方法と同様である。この画像処理によって、条件に合致する画像データ３０が記憶されるのを監視する。
【００７４】
条件に合致する画像データ３０は、結果記憶手段２０に記憶される。さらに指示手段２４を使用してモニターテレビ２８に表示する。表示する代わりに、紙媒体に印刷しても良い。また、当該システム１０に警報ブザーを設けて、結果記憶手段２０に画像データ３０が記憶されたときに警報ブザーを鳴らすように構成しても良い。
【００７５】
以上より、当該システム１０は、監視者が常時モニターテレビ２８を監視する必要はない。警報ブザーを使用すれば、監視者が他の仕事を行っていても、警報ブザーによって監視者に知らせることができる。
【００７６】
当該システム１０を徘徊監視などに使用する場合、徘徊者の衣服の色などを条件とする。更に、ビデオカメラ１２を玄関などに設置することによって、徘徊者の監視を行うことができる。また、ビデオカメラ１２を複数は位置することによって、複数の位置の監視を行うことができる。
【００７７】
以上より、監視者がモニターテレビ２８に映し出される映像を常時監視する必要はない。したがって、監視者の労力を低減できる。また、警報ブザーなどによって監視のし忘れがない。
【００７８】
以上、本発明の実施の形態について説明したが、本発明は上記の実施形態に限定されることはない。例えば、設定手段１８などはプログラムによって構成されたが、他の構成でも良い。一例として、ＤＳＰ（Digital Signal
Processor）や論理回路で構成することができる。
【００７９】
特徴抽出手段と形状検索手段を分けて使用したので、当該システム１０にはどちらか一方のみを含めるように構成しても良い。または、両方の手段を分けて使用していたが、色および形状の両方が設定された場合、両方の手段を使用しても良い。即ち、特徴抽出手段で画像処理を行った後、更に形状検索手段で画像処理を行う。
【００８０】
特徴抽出手段では、設定した色と形状の面積を検索したが、設定した面積以上の画像データを結果記憶手段に記憶するようにしても良い。
【００８１】
設定手段１８で色を含まずに形状が設定された場合に、形状検索手段で画像処理が行われた。しかし、同じ形状でも色の違うものも多数存在する。例えば、服などは、形状が同じでも色違いで多数の商品が販売されている。そこで、設定手段１８で色および形状を設定した場合にも、形状検索手段が使用できるようにする。具体的には、設定手段１８で特徴抽出手段または形状検索手段を選択できるようにする。また、形状データは、複数の色に対応して、同じ形状であっても色が異なる複数のデータを当該システム１０に記憶する。
【００８２】
ビデオカメラ１２で撮影される画像データが白黒のデータである場合は、特徴抽出手段が使用できない。したがって、形状検索手段のみを使用できるようにする。
【００８３】
ビデオカメラ１２で撮影する撮影監視位置にセンサーを設けても良い。センサーの信号によって、ビデオカメラ１２が動作するようにする。センサーが物体を検知すると、ビデオカメラ１２にセンサーの信号が送信される。そして、ビデオカメラ１２が動作する。また、センサーが物体を検知しなくなると、センサーからビデオカメラ１２に信号を送る。この信号によってビデオカメラ１２が停止する。または、ビデオカメラ１２が作動してから停止するまでの時間を決定しておく。以上、常にビデオカメラ１２が、時間的に間欠または連続で画像データを撮影する必要はなくなる。したがって、データ記憶手段１４に記憶される画像データの量が少なくなる。
【００８４】
その他、本発明はその趣旨を逸脱しない範囲で当業者の知識に基づき種々なる改良、修正及び変形を加えた態様で実施できるものである。
【００８５】
【発明の効果】
本発明は、自動的に複数の画像データを検索することができ、短時間で検索を終了することが可能である。撮影データから所望の画像データを検索する者に、肉体的、精神的苦痛を与えることはない。画像処理手段を複数設けたことによって、検索したい条件によって画像処理手段を選択することができ、条件によって検索できなくなることがない。
【００８６】
さらには、監視対象場所を常時監視する場合に、条件に合う画像データが記憶されたときに警報ブザーを鳴らすように構成することによって、常にモニターテレビで画像の監視を行う必要はない。監視における人員の削減が可能になる。
【００８７】
また、特徴抽出手段または形状検索手段で画像処理する前に比較手段によって基準画像データと比較して変化のあった画像データを抽出している。全ての画像データを特徴抽出手段または形状検索手段で画像処理する必要はない。したがって、画像処理の時間短縮になっている。
【００８８】
特徴抽出手段または形状検索手段で画像処理を行う。画像データのエッジ（色の急激な変化部分）を抽出する一般的な画像処理とは異なり、ノイズが多かったりピントが合っていなかったりする不鮮明な画像データにおいても画像処理が可能である。したがって、従来から使用されている防犯カメラ設備のビデオカメラを使用することができる。当該システムを設置する際のコストを低く抑えることができる。
【図面の簡単な説明】
【図１】  本発明の構成を示す図である。
【図２】  検索結果を表示するための構成を示す図である。
【図３】  形状抽出手段によって形状を抽出する方法を示した図である。
【図４】  形状検索手段によって形状を検索する方法を示した図である。
【符号の説明】
１０：画像検索システム
１２：ビデオカメラ（撮影手段）
１４：データ記憶手段
１６：画像処理手段
１８：設定手段
２０：結果記憶手段
２２：コンピュータ
２４：指示手段
２６：ビデオデッキ
２８：モニターテレビ
３０：画像データ
３２，３４：領域
３６，３８：形状
【図１】
0003823129.tif 000002
【図２】
0003823129.tif 000003
【図３】
0003823129.tif 000004
【図４】
0003823129.tif 000005