(57)【要約】【課題】撮像された移動物体の輪郭形状から監視対象物を確実に判別すると共に、比較的安価な装置で実現できる画像認識方法及び画像認識装置を提供する。【解決手段】画像認識装置１は、移動物体を撮像してその動画データを出力する監視カメラ１と、動画データを入力して所定の時間間隔のフレーム画像に分離するフレーム分離手段３と、順に分離された二つのフレーム画像について、画像の変化の有無を画素毎に判定し、判定結果を基にフレーム画像を数値列データに変換する変換手段５と、数値列データを基に移動物体の輪郭形状に対応する形状コードを生成するコード生成手段６と、形状コードを基に、移動物体が監視対象物か否かを判別する判別手段７とを具備する。【選択図】        図１
2004295781.tif 000002
【特許請求の範囲】
【請求項１】
移動物体を撮像した動画データを所定の時間間隔のフレーム画像に分離するフレーム分離工程と、
順に分離された二つのフレーム画像について、画像の変化の有無を画素毎または予め分割された小領域毎に判定し、判定結果を基に前記フレーム画像を数値列データに変換する変換工程と、
前記数値列データを基に、前記移動物体の輪郭形状に対応する形状コードを生成するコード生成工程と、
前記形状コードを基に、前記移動物体が監視対象物か否かを判別する判別工程と
を備えることを特徴とする画像認識方法。
【請求項２】
移動物体を撮像してその動画データを出力する撮像手段と、前記動画データを入力して所定の時間間隔のフレーム画像に分離するフレーム分離手段と、
順に分離された二つのフレーム画像について、画像の変化の有無を画素毎または予め分割された小領域毎に判定し、判定結果を基に前記フレーム画像を数値列データに変換する変換手段と、
前記数値列データを基に、前記移動物体の輪郭形状に対応する形状コードを生成するコード生成手段と、
前記形状コードを基に、前記移動物体が監視対象物か否かを判別する判別手段と
を具備することを特徴とする画像認識装置。
【請求項３】
前記コード生成手段は、
前記移動物体の輪郭形状における特徴点の座標を検出する座標検出手段と、
前記各特徴点を結ぶ線分の長さ及びその傾きを算出する線分算出手段とを有し、
前記各線分の長さ及び傾きの組合せを基に前記形状コードを生成することを特徴とすることを請求項２に記載の画像認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像認識方法及び画像認識装置に関し、特に、画像認識により、人間、動物、及び自動車等の監視対象物を認識する画像認識方法、及びその方法を利用する装置に関するものである。
【０００２】
【従来の技術】
従来、画像データを基に、人間や自動車等の監視対象物を認識する方法として、予め登録された背景画像データと、移動物体が撮像された画像データとの差分を取得し、その差分画像データを基に、監視対象物を認識する方法が知られている。
【０００３】
以上の従来技術は、当業者において当然として行われているものであり、出願人は、この従来技術が記載された文献を知見していない。
【０００４】
【発明が解決しようとする課題】
しかし、この方法では、高度の画像処理を伴うため、処理能力の高いコンピュータ等、高価な装置が必要となるとともに、監視対象物の認識に比較的長い時間を要していた。また、監視対象物の形状が一定ではない場合、すなわち人間等、その動作によって輪郭が随時変化する場合には、撮像された移動物体が監視対象物（人間）であるか否かを判別することが困難となっていた。また、カメラに対する移動物体の位置や、カメラと移動物体との距離が異なる場合には、撮像される移動物体の大きさが異なることから、判別の困難さが助長されていた。
【０００５】
そこで、本発明は、上記の実情に鑑み、撮像された移動物体の輪郭形状から監視対象物を確実に判別すると共に、比較的安価な装置で実現できる画像認識方法及び画像認識装置を提供するものである。
【０００６】
【課題を解決するための手段】
本発明にかかる画像認識方法は、移動物体を撮像した動画データを所定の時間間隔のフレーム画像に分離するフレーム分離工程と、順に分離された二つのフレーム画像について、画像の変化の有無を画素毎または予め分割された小領域毎に判定し、判定結果を基に前記フレーム画像を数値列データに変換する変換工程と、前記数値列データを基に、前記移動物体の輪郭形状に対応する形状コードを生成するデータ生成工程と、前記形状コードを基に、前記移動物体が監視対象物か否かを判別する判別工程とを備えるものである。
【０００７】
この画像認識方法によれば、動画データはフレーム分離工程においてフレーム分離され、そのフレーム画像を基本に以降の認識処理が行われる。なお、このときのフレーム分離の時間間隔は、認識すべき動作の速さや、認識の精度及び処理能力に応じて適宜設定される。
【０００８】
続く変換工程においては、所定の時間間隔で分離された二つのフレーム画像における画像の変化が、画素毎または予め分割された小領域毎に判定されるとともに、その判定結果に基づく数値が与えられる。例えば、変化があると判定された場合は「１」を出力し、変化がないと判定された場合は「０」を出力する。このようにして、フレーム画像が数値列データに変更される。次のコード生成工程では、この数値列データを基に移動物体の輪郭形状に対応する形状コードが生成される。判別工程では、生成された移動物体の形状コードを、予め設定された監視対象物の形状コードと比較することにより、移動物体が監視対象物であるか否かを判別する。
【０００９】
本発明にかかる画像認識装置は、移動物体を撮像してその動画データを出力する撮像手段と、前記動画データを入力して所定の時間間隔のフレーム画像に分離するフレーム分離手段と、順に分離された二つのフレーム画像について、画像の変化の有無を画素毎または予め分割された小領域毎に判定し、判定結果を基に前記フレーム画像を数値列データに変換する変換手段と、前記数値列データを基に、前記移動物体の輪郭形状に対応する形状コードを生成するコード生成手段と、前記形状コードを基に、前記移動物体が監視対象物か否かを判別する判別手段とを具備するものである。
【００１０】
この画像認識装置によれば、前述した画像認識方法と同様、撮像手段により撮像された動画データは、フレーム分割手段によってフレーム分離され、そのフレーム画像を基本に以降の認識処理が行われる。また、変更手段により、フレーム画像に変化があるか否かが、画素毎または予め分割された小領域毎に判定されるとともに、その判定結果に基づく数値が与えられる。その後、コード生成手段により、この数値列データを基に移動物体の輪郭形状に対応する形状コードが生成される。そして判別手段では、生成された移動物体の形状コードを、予め設定された監視対象物の形状コードと比較することにより、移動物体が監視対象物であるか否かを判別する。
【００１１】
また、この画像認識装置において、「前記コード生成手段は、前記移動物体の輪郭形状における特徴点の座標を検出する座標検出手段と、前記各特徴点を結ぶ線分の長さ及びその傾きを算出する線分算出手段とを有し、前記各線分の長さ及び傾きの組合せを基に前記形状コードを生成する」構成とすることができる。
【００１２】
ここで、特徴点とは、移動物体の輪郭上に位置する複数の点である。特徴点を設定する方法として、輪郭上の点を一定の間隔でサンプリングしてもよいが、輪郭を構成する曲線の頂点または変曲点（輪郭形状を示す曲線が凸から凹に、または凹から凸に変わる点）を抽出するようにしてもよい。
【００１３】
この画像認識装置によれば、形状コードを生成するにあたり、座標検出手段により、移動物体の輪郭形状における特徴点の座標が検出される。この複数の特徴点を順に結ぶことにより、輪郭形状を簡略化した多角形、すなわち直線のみからなる図形が形成される。そこで、線分算出手段は、各特徴点を結ぶ線分の長さ及びその傾きを算出し、各線分の長さ及び傾きの組合せ、すなわち多角形の図形に関する情報を基に形状コードを生成する。なお、直線のみからなる図形は、移動物体の輪郭形状を構成する曲線の集まりよりもはるかに情報量が少ないため、処理の簡略化を図ることが可能になる。
【００１４】
【発明の実施の形態】
以下、本発明の一実施形態である画像認識装置について、図１乃至図４に基づき説明する。図１は画像認識装置の機能的構成を示すブロック図であり、図２及び図３は画像認識方法を説明するための説明図であり、図４は画像認識装置における処理の流れを示すフローチャートである。
【００１５】
本実施形態の画像認識装置１は、人間、動物、及び自動車等の移動可能な監視対象物を、その輪郭形状を基に判別するものであり、例えば、侵入者を判別したときに報知手段を作動させるホームセキュリティシステム、走行中の自動車の車種を判別する車両認識システム、及びコンベア上の流れる工業製品の種類を認識し分別する分別システム等に適用することができる。
【００１６】
本実施形態では、一例として、画像認識装置１をホームセキュリティシステムに適用した場合について説明する。ホームセキュリティシステムとして、監視カメラを備えるものが従来から知られているが、従来のシステムでは、侵入者である人間と、犬や猫等のペットとを判別することができないため、室内でペットを飼っている住宅においては、居住者が外出する際、ペットを連れて外出したり、サークルやクレイトの中にペットを入れて室内を動き回らないようにする等の対策が必要であった。ところが、本発明の画像認識装置１をホームセキュリティシステムに組み込めば、侵入者とペット（例えば犬）とを判別することが可能になり、侵入者と判別された場合にのみ報知手段を作動させることが可能になる。
【００１７】
図１に示すように、本実施形態の画像認識装置１は、ＣＤＤカメラ等の監視カメラ２（本発明の撮像手段に相当）を備えるとともに、監視カメラ２から出力される動画データを基に、移動物体が監視対象物（すなわち侵入者）かペットかを判別する機能的な構成を有している。なお、この機能的構成は、汎用のコンピュータの記憶手段に格納された実行プログラムによって実現されるものであり、フレーム分離手段３、変換手段５、コード生成手段６、及び判別手段７が含まれている。フレーム分離手段３は、監視カメラ２から動画データを入力して所定の時間間隔（例えば０．１秒毎）に分離されたフレーム画像（静止画）を生成するものである。分離されたフレーム画像は、記憶装置８の画像記憶部９に記憶される。ここで、画像記憶部９にフレーム画像を記憶するのは、最新のフレーム画像が分離された時点で、前回のフレーム画像と比較するためである。
【００１８】
変換手段５は、所定の時間間隔で分離された最新のフレーム画像と前回のフレーム画像とを、画像記憶部９から読出し、画像の変化の有無を画素毎に判定する変化判定手段１０を有しており、この判定結果を基にフレーム画像を数値列データに変換するものである。さらに詳しく説明すると、変化判定手段１０は、画素毎に検出される変化量を予め定められたしきい値と比較して、変化量がしきい値よりも大きい画素を、動画素（動きのある画素）として抽出する。これにより、被写体の中から動きのある部分のみを抽出することができる。つまり、被写体に対して、動きのない背景と、動きのある移動物体とを分離することが可能になる。そこで、変換手段５では、例えば動画素に対して「１」を出力し、静止画素に対して「０」を出力し、その後、この数値を所定の順序に並べることにより、移動物体に関する数値列データを作成する。
【００１９】
コード生成手段６は、変換手段５によって生成された数値列データを基に、移動物体の輪郭形状に対応する形状コードを生成するものであり、座標検出手段１１と線分算出手段１２とを有している。座標検出手段１１は、移動物体の輪郭形状を構成する曲線に対して複数の特徴点を求め、その座標を検出するものである。例えば図２（ａ）に示すように、抽出された移動物体の形状が人間の上半身の場合には、その輪郭形状を構成する複数の曲線における頂点Ｔ１，Ｔ２，Ｔ３……Ｔｎを特徴点として設定する。この特徴点を結ぶことにより、輪郭形状を簡略化した多角形、すなわち、図２（ｂ）に示すように、直線のみからなる図形が形成される。線分算出手段１２は、各特徴点を結ぶ線分の長さＢ，Ｃ，Ｄ……と、隣接する線分同士の内角ｂ，ｃ，ｄ……とを算出し、各線分の長さ及び内角の組合せからなる形状コード（例えばＢｂＣｃＤｄ……）を生成し出力する。
【００２０】
図１に示す判別手段７は、コード生成手段６によって生成された形状コードを基に、移動物体が人間（侵入者）であるか、それとも犬等のペットであるかを判別するものであり、ここには、縦横比判別手段１３と、部位特定手段１４と、部位判別手段１５とが備えられている。まず縦横比判別手段１３は、移動物体全体の輪郭形状が縦長か横長かを判定し、縦長の場合には移動物体が人間であり、横長の場合には移動物体が人間以外の移動物体であると判別する。これは図３に示すように、人間Ｈは起立姿勢で動くことが多く、犬や猫等の動物Ａは横伏姿勢で動くことが多いことから、この姿勢の違いを利用して人間か否かを判別するものである。
【００２１】
一方、部位特定手段１４は、コード生成手段６によって生成された形状コードを基に、被写体に含まれる体の部位を特定するものである。記憶装置８のコード記憶部１６には、頭部、胴部、及び足部等、体の各部位における輪郭形状を表す形状コードが予め記憶されており、生成された形状コードとコード記憶部１６に記憶された形状コードとを照合させることにより、生成された形状コードがどの部位を表す形状コードであるのかを特定する。例えば、形状コードとして、細長く鉛直方向に延びる形態の形状コードが生成された場合には、足部を示す形状コードであると特定する。
【００２２】
部位判別手段１５は、部位特定手段１４によって特定された部位に応じて、検出された移動物体が人間か否かの判別を行うものである。具体的な判別としては、足部に関する関節判別部１７、頭部に関する頭部判別部１８、肩部に関する肩幅判別部１９、及び尻部に関する尻尾判別部２０を例示することができる。
【００２３】
関節判別部１７は、部位特定手段１４によって特定された部位が「足部」付近に相当する場合、「足の関節の成り立ち」に基づいて判別する。これは、図３に示すように、人間Ｈの足は、膝部を中心として大腿骨２５と脛骨２６とが上下方向に延び、曲げる動作によって「く」の字形となるのに対し、犬等の動物Ａの足は、飛節を中心として脛骨２７と中足骨２８とが正面上下方向に延出された逆「く」の字形の形状になっていることから、これらの形状の違いを利用して判別するものである。つまり、進行方向（移動方向）に対し、生成された形状コードが「く」の字状であれば人間Ｈ（侵入者）であると判別し、一方、形状コードが逆「く」の字状であれば、犬等の動物Ａであると判別する。なお、この判別は、監視カメラ２に対し移動物体が左右方向に横切った場合、すなわち移動物体の側面を撮像した場合に有効となる。
【００２４】
頭部判別部１８は、部位特定手段１４によって特定された部位が「頭部」付近に相当する場合、「胴部に対する頭部の位置」に基づいて判別する。これは、図３に示すように、移動物体を側面から見た場合、人間Ｈの頭は胴部の上方に位置するのに対し、犬等の動物Ａの頭は胴部の斜め上方に位置することから、これらの相対位置の違いを利用して判別するものである。つまり、移動物体の大きさが殆ど変わらない場合、すなわち監視カメラ２に対し移動物体が左右方向に横切った場合において、頭部が胴部の上方に位置している場合には、人間Ｈ（侵入者）であると判別し、一方、頭部が胴部の斜め上方または前方に位置している場合には犬等の動物Ａであると判別する。
【００２５】
肩幅判別部１９は、部位特定手段１４によって特定された部位が「肩部及び頭部」付近に相当する場合、「頭部に対する肩幅の広さ」に基づいて判別する。これは、移動物体の正面または背面を見た場合、人間Ｈは肩幅（胴部の横幅）が広いのに対し、犬等の動物Ａは胴部の横幅が狭いことから、この幅の違いを利用して判別するものである。つまり、移動物体の大きさが変化する場合、すなわち監視カメラ２に対して遠近方向に移動する場合において、頭部に対する肩幅が所定の比率よりも大きいときには、その移動物体は人間Ｈ（侵入者）であると判別し、一方、所定の比率よりも小さいときには犬等の動物Ａであると判別する。
【００２６】
尻尾判別部２０は、部位特定手段１４によって特定された部位が「尻部」付近に相当する場合、「尻尾の存在」に基づいて判別する。これは、人間Ｈには犬のような尻尾を有しないことから、この違いを利用して判別するものである。つまり、尻部付近に細長い紐状の形状が認識された場合には犬等の動物Ａであると判別する。
【００２７】
なお、人間Ｈと動物Ａとの判別は上記の方法に限定されるものではなく、例えば腕の位置や全体の大きさ等、人間Ｈと動物Ａとを区別できる形状または姿勢であれば、その違いを利用して判別することが可能である。
【００２８】
ところで、本実施形態では、フレーム画像における変化の有無、すなわち所定時間間隔で分離されるフレーム画像の差分に基づいて移動物体を抽出するため、揺れ動くカーテンや洗濯物が、移動物体として認識される可能性がある。しかし、本発明によれば、人間の特徴的部位に応じて人間か否かを判別するため、カーテンや洗濯物が風にふかれても報知手段を作動させることはない。
【００２９】
また、地震により画像認識装置１またはそれに内蔵された監視カメラ２が揺動した場合には、フレーム画像全体が動画素と判別され、背景自体が移動物体と認識される可能性がある。しかし、この場合、移動物体の輪郭形状は画面全体の形状となり、人間の輪郭とは明らかに異なることから、それが人間と判別されることはない。
【００３０】
次に、本実施形態の警備システム１における画像処理の流れについて、図４に示すフローチャートに基づき説明する。まず、フレーム分離工程（ステップＳ１）において動画データがフレーム画像に分離され、そのフレーム画像を基本に以降の認識処理が行われる。なお、このときのフレーム分離の時間間隔は、認識すべき動作の速さや、認識の精度及び処理能力に応じて適宜設定される。分離されたフレーム画像は画像記憶部９に記憶される（ステップＳ２）。
【００３１】
続いて順次分離されるフレーム画像に対して変化の有無を画素毎に判定する（ステップＳ３）とともに、変化の有無を数値列データに変換する（ステップＳ４）。そして、数値列データから移動物体の輪郭形状における特徴点を抽出しその座標を検出する（ステップＳ５）とともに、各特徴点を結ぶ線分の長さ及び内角を検出し（ステップＳ６）、それを基に形状コードを生成する（ステップＳ７）。ここで、ステップＳ３及びステップＳ４の処理が本発明の変換工程に相当し、ステップＳ５〜ステップＳ７の処理が本発明のコード生成工程に相当する。その後、移動物体の外観形状を示す形状コードを基に、移動物体が人間（侵入者）か否かを判別する（ステップＳ８）。なお、ホームセキュリティシステムでは、侵入者と認定された場合、すなわち、少なくとも一つの判別手段において人間と判別された場合、報知手段を作動させる。
【００３２】
このように、上記の画像認識装置１では、ホームセキュリティシステムに適用した場合、撮像された移動物体が侵入者であるかペットであるかを正確に判別することができ、侵入者である場合にのみ報知手段を作動させることができる。このため、ペットを連れて外出したり、サークルやクレイトの中にペットを入れて室内を動き回らないようにする等の対策が不要となり、使い勝手を大きく向上させることができる。また、上記の画像認識装置１では、監視対象物の特徴的部位に応じた複数の判別部を有するため、判別の精度を大きく向上させることができる。
【００３３】
さらに、上記の画像認識装置１では、膨大な情報を有する動画データを効率的に処理することによって、認識処理の対象データ量を少なくすることができる。これにより、汎用のコンピュータによるリアルタイムな処理が可能となり、比較的安価な画像認識装置を提供することが可能になる。
【００３４】
以上、本発明について好適な実施形態を挙げて説明したが、本発明はこの実施形態に限定されるものではなく、以下に示すように、本発明の要旨を逸脱しない範囲において、種々の改良及び設計の変更が可能である。
【００３５】
すなわち、上記の画像認識装置１では、フレーム画像についての変化の有無を、画素毎に判定するものを示したが、フレーム画像を複数の小領域に分割する領域分割手段を備え、フレーム画像についての変化の有無を分割された小領域毎に判定するようにしてもよい。フレーム画像の分割数は、フレーム画像の総画素数よりもはるかに低く設定されるため、この領域分割により処理の簡略化を図ることが可能になる。
【００３６】
上記の画像認識装置１では、形状コードを生成する際、線分の傾きとして隣接する線分同士の内角を算出するものを示したが、線分の傾斜角度やベクトルを算出するようにしてもよい。
【００３７】
上記の実施形態では、画像認識装置をホームセキュリティシステムに適用し、人間（侵入者）とペットとを判別するものを示したが、監視対象物は、特に限定されるものではなく、輪郭形状に特徴のある移動物体であれば、本発明の画像認識装置によって判別することが可能である。例えば、車両認識システムに適用した場合には、走行中の自動車の車種をその輪郭形状から判別することが可能になり、手配車の捜索や交通状況の調査等に利用することが可能になる。また、分別システムに適用した場合には、例えばコンベア上を流れる生産物を輪郭形状に応じて判別し自動的に振分けることが可能となる。特に、本発明の画像認識装置は、汎用の安価なコンピュータで実現することができることから、その応用範囲は広く、防犯設備、生産管理装置、安全装置、遊技機、及び玩具等、幅広い分野で適用することが可能である。
【００３８】
【発明の効果】
本発明によれば、移動物体の輪郭形状に対応する形状コードを生成するとともに、その形状コードを解析することによって監視対象物か否かを判別することから、監視対象物を比較的容易に且つ正確に認識することができる。また、膨大な情報を有する動画データを効率的に処理することによって、認識処理の対象データ量を少なくすることができる。これにより、汎用のコンピュータによるリアルタイムな処理が可能となり、比較的安価な装置で実現することが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態である画像認識装置の機能的構成を示すブロック図である。
【図２】画像認識方法を説明するための説明図である。
【図３】人間と犬との輪郭形状の違いを説明するための説明図である。
【図４】画像認識装置における処理の流れを示す説明図である。
【符号の説明】
１  画像認識装置
２  監視カメラ（撮像手段）
３  フレーム分離手段
５  変換手段
６  コード生成手段
７  判別手段
１１  座標検出手段
１２  線分算出手段
【図１】
2004295781.tif 000003
【図２】
2004295781.tif 000004
【図３】
2004295781.tif 000005
【図４】
2004295781.tif 000006