(57)【要約】日照変化などのノイズに強固なアセット領域の自動検出技術を提供する。 エッジ抽出部２０１は、映像取得部１０２から取得した画像データに対して エッジ抽出処理及び２値化処理を行う。直線抽出部２０２は、エッジ抽出部２０１で抽出 したエッジ画像に対して直線検出処理を行う。直線分類部２０３は、直線のグルーピング処理を行う。代表直線選定部２０４は、各グループの代表直線を抽出し、アセット候補領域抽出部２０５は、各代表直線に対応したアセット候補領域を抽出する。アセット識別部 ２０７は、識別データベース部２０６を参照し、アセット候補領域から検出対象アセットを識別する。アセット状態推定部２０８は、識別された検出対象アセットの角度や３次元上の位置の推定を行う。
2018110377.tif 000002
【特許請求の範囲】
【請求項１】
映像取得部により取得した入力画像から、監視エリア内のアセット領域を検出する映像監視装置であって、
前記入力画像からエッジ画像を取得するエッジ抽出部と、
前記エッジ画像から直線を抽出する直線抽出部と、
前記抽出された直線を複数のグループに分類する直線分類部と、
前記分類された各々のグループから１つの代表直線を選定する代表直線選定部と、
前記代表直線を用いてアセット候補領域を抽出するアセット候補領域抽出部と、
前記アセット候補領域を識別するために必要な画像群が格納されている識別データベー ス部と、
前記識別データベース部を参照して前記アセット候補領域から検出対象アセットを識別するアセット識別部と、
を備えることを特徴とする映像監視装置。
【請求項２】
前記アセット候補領域抽出部は、前記アセット候補領域の領域位置を検出することを特徴とする請求項１に記載の映像監視装置。
【請求項３】
前記アセット識別部が識別した前記検出対象アセットの状態推定を行うアセット状態推定部を備え、
前記アセット状態推定部は、少なくとも前記検出対象アセットの角度または３次元上の位置のいずれかを算出することを特徴とする請求項１に記載の映像監視装置。
【請求項４】
前記アセット識別部が識別した前記検出対象アセットの状態推定を行うアセット状態推定部を備え、
前記アセット状態推定部は、少なくとも前記検出対象アセットの角度または３次元上の位置のいずれかを算出することを特徴とする請求項２に記載の映像監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像監視装置に係り、例えば、画像中のアセット候補領域を検出する機能を備える映像監視装置に関する。
【背景技術】
【０００２】
監視カメラ等の撮像装置を用いて、監視対象領域内に侵入する物体を監視することが行われている。また、監視員による有人監視ではなく、装置或いはシステムが自動的に監視 を行う技術が検討されている。このような機能を有する映像監視装置は、検出結果を利用することで移動物体の出現した映像のみ記録する機能や、表示装置に警告アイコンを表示 、またブザー等を鳴らして監視員の注意を促すことができるため、従来の常時確認作業が必要であった監視業務の負担低減に役立つ。【０００３】
監視対象領域内に侵入する物体を自動的に検出する技術の一例として、背景差分法と呼ばれる方法を用いた監視技術が従来から広く用いられている（例えば、特許文献１参照）。背景差分法による物体検出方法は、撮像装置等から得られる入力画像と、検出すべき物体が映っていない基準となる背景画像との輝度（或いは、画素値）の差分を算出し、当該検出値が所定の閾値と比べて大きい変化領域に検出すべき物体が存在する或いはその可能性があるとして監視を行う。【０００４】
特許文献１に開示の技術では、撮影機能と測位機能とを備える端末装置によって取得した時間的に異なる２枚の撮影画像から、対象物そのものの経時変化と、対象物と背景との相対的な変化（電柱の傾斜等）の２種類の経時変化を自動で検出する。【０００５】
また、撮像装置等から得られる入力画像単体で物体の領域を検出する方法があり、その一例としてＳＳ手法（Selective Search手法）がある。ＳＳ手法は、入力画像の色やテク スチャの類似度を基に、物体が存在する或いはその可能性がある領域を検出する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１６−１８４６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、上述の物体領域検出手法は、差分法やＳＳ手法などによって、物体が存在する或いはその可能性がある領域を自動で検出し発報する。しかし、差分法では動体のみしか検出できず、建物などの背景とされる物体を検出できない。また、カメラ画像中に日照 変化による影が新たに浮かび上がる場合など環境に変化があった場合、その変化を物体が現れたものと認識してしまい、誤報の原因となる。また、ＳＳ手法では、物体らしいものを大量に検出する特性があり誤報の原因になり易く、計算コストも非常に高く一般的なＣ ＰＵ（Central Processing Unit）ではリアルタイムに動作することは困難である。【０００８】
対象としている物体とその他の対象としていない物体や日照変化などのノイズを識別する手段としては、検出した物体の領域から特徴抽出と機械学習などによって識別する方法や深層学習（Deep Learning）などの特徴量設計を必要としない機械学習による識別方法がある。いずれの機械学習方法においても、高精度化にあたっては、入力する候補領域の切り出し精度や学習データの質の向上が必要であるとの課題がある。【０００９】
本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、映像取得部により取得した入力画像から、監視エリア内のアセット領域を検出する映像監視装置であって、前記入力画像からエッジ画像を取得するエッジ抽出部と、 前記エッジ画像から直線を抽出する直線抽出部と、前記抽出された直線を複数のグループに分類する直線分類部と、前記分類された各々のグループから１つの代表直線を選定する代表直線選定部と、前記代表直線を用いてアセット候補領域を抽出するアセット候補領域抽出部と、前記アセット候補領域を識別するために必要な画像群が格納されている識別データベース部と、前記識別データベース部を参照して前記アセット候補領域から検出対象アセットを識別するアセット識別部と、を備える。
また、前記アセット候補領域抽出部は、前記アセット候補領域の領域位置を検出しても よい。
また、前記アセット識別部が識別した前記検出対象アセットの状態推定を行うアセット状態推定部を備え、前記アセット状態推定部は、少なくとも前記検出対象アセットの角度または３次元上の位置のいずれかを算出してもよい。
【発明の効果】
【００１１】
本発明によると、日照変化などのノイズに強固なアセット領域の自動検出技術を提供することを目的とする。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係る、画像監視システムの概略構成を示すブロック図である。
【図２】実施形態に係る、画像処理部のブロック図である。
【図３】実施形態に係る、エッジ抽出部によるエッジ抽出処理及び２値化処理の例を示した図である。
【図４】実施形態に係る、直線抽出部による直線抽出処理の例を示した図である。
【図５】実施形態に係る、直線分類部による直線分類処理の例を示した図である。
【図６】実施形態に係る、代表直線選定部による代表直線選定処理の例を示した図で ある。
【図７】実施形態に係る、アセット候補領域抽出部によるアセット領域抽出処理の例を示した図である。
【図８】実施形態に係る、アセット識別部によるアセット識別処理の例を示した図である。
【図９】実施形態に係る、画像処理部の処理を示したフローチャートである。
【発明を実施するための形態】
【００１３】
次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照 して具体的に説明する。本実施形態では、カメラなどの撮像装置から映像を取得し、画像処理によって監視エリア内のアセット領域を検出する機能を有する画像監視技術を説明する。当該技術では、取得した画像からエッジ画像を生成後、直線性に関する特徴量を抽出 ・選定し、それらをもとに画像上でのアセット候補領域を検出する。以下、具体的に説明する。ここで、「アセット」とは、道路や橋梁、標識などの構造物を指し、特に直線を形状の特徴とし有する構造物を指す。
【００１４】
図１は、本実施形態に係る画像監視システム１００の概略構成を示すブロック図である 。画像監視システム１００は、ハードウェアとしてはＣＰＵを備えた電子計算機システムにより構成され、それぞれの機能が実行されるようになっている。前記ハードウェアは、 ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field-Programmable Gate Array）、 ＧＰＵ（Graphics Processing Unit）など電子計算機システム以外で代替してもよい。
【００１５】
画像監視システム１００は、撮像装置１０１と、記録装置１１０と、計算装置１１１と 、出力装置１１２とを備える。撮像装置１０１は、テレビカメラ等であって、１台または複数のいずれでもよい。撮像装置１０１が撮影した映像は、計算装置１１１へ出力される 。
【００１６】
計算装置１１１は、映像取得部１０２と、画像処理部１０３と、データ通信部１０４と 、記録制御部１０５と、表示制御部１０６と、を備える。
【００１７】
映像取得部１０２は、撮像装置１０１または記録装置１１０から映像を取得する。具体的には、映像取得部１０２は、撮像装置１０１からのリアルタイムの画像データや、画像データが記録されている記録装置１１０などから入力された映像信号から、１次元配列も しくは２次元、３次元配列の画像データを取得する。
【００１８】
この画像データにおいては、ノイズやフリッカなどの影響を低減するために、前処理と して平滑化フィルタや輪郭強調フィルタ、濃度変換などの処理が施されてもよい。また、 用途に応じてＲＧＢカラーやモノクロなどのデータ形式が選択されてもよい。さらには、処理コスト低減の観点から、所定の大きさになるように画像データに対して縮小処理が施 されてもよい。
【００１９】
画像処理部１０３は、映像取得部１０２より得られた画像データを入力として、画像処理によりアセット領域を検出し、その状態を推定する。画像処理部１０３のより具体的な構成及び処理については後述する。データ通信部１０４は、画像処理部１０３の結果や記録装置１１０に保存された情報等を、ローカルエリアに設置された他の機器や、ネットワーク上の監視センタなどと送受信する。
【００２０】
記録制御部１０５は、画像処理部１０３における検出及び推定結果を用いて、映像の記録制御を行ったり、記録映像の圧縮率や記録間隔の制御を行ったりする。表示制御部１０ ６は、映像取得部１０２で取得した映像および画像処理部１０３で得られた結果や、記録装置１１０に保存された情報の表示を制御する。記録装置１１０は、映像取得部１０２より得られた映像を、記録制御部１０５の命令により記録保持する。
【００２１】
出力装置１１２は、発報装置１０７と、指示装置１０８と、表示出力装置１０９とを備える。発報装置１０７は、画像処理部１０３で検出した異常状態を音声や光などでユーザに知らせる。指示装置１０８は、画像処理部１０３に用いるパラメータや発報内容を受けて発報を停めるなどユーザからの指示を入力する。表示出力装置１０９は、各種の情報を 表示する。
【００２２】
なお、計算装置１１１は、一つの装置として構成されてもよいし、複数の装置の集合体として構成されてもよく、その構成態様は問わない。
【００２３】
つづいて、図２〜図８を参照して、画像処理部１０３の機能を具体的に説明する。
図２は、画像処理部１０３のブロック図である。画像処理部１０３は、エッジ抽出部２０１と、直線抽出部２０２と、直線分類部２０３と、代表直線選定部２０４と、アセット候補領域抽出部２０５と、識別データベース部２０６と、アセット識別部２０７と、アセット状態推定部２０８と、を備える。
【００２４】
図３は、エッジ抽出部２０１によるエッジ抽出処理及び２値化処理の例を示した図である。エッジ抽出部２０１は、図示のように、映像取得部１０２より取得した入力画像３０１からエッジを抽出する。本実施形態では、入力画像データの輝度値に対して垂直方向のみのＳｏｂｅｌフィルタを適用し、判別分析法（大津の手法等）による２値化を行うことでエッジ画像３０２を取得する。
【００２５】
ここでエッジ抽出処理に用いる情報として、入力画像データの各画素値であるＲＧＢ値 、ＨＳＶ空間に変換した際の各値Ｈ（色相）、Ｓ（彩度）、Ｖ（明度）、またはそれらを補正・統合した情報が用いられてもよい。また、垂直方向のＳｏｂｅｌフィルタの代わりに水平方向のＳｏｂｅｌフィルタやラプラシアンフィルタなどの他のフィルタが用いられてもよい。さらに、２値化に用いられる閾値は任意に決定されてもよい。
【００２６】
図４は、直線抽出部２０２による直線抽出処理の例を示した図である。図示のように、 直線抽出部２０２は、エッジ抽出部２０１で抽出したエッジ画像３０２を用いて直線画像４０１を取得する。
【００２７】
本実施形態では、直線抽出処理としてハフ変換を適用する。具体的には、投票数の閾値 として取得画像の高さの１／３を設定する。例えば、取得画像の高さが「１０８０」であった場合、投票数の閾値を「３６０」とする。投票数の閾値は取得画像の幅などを利用して動的に設定、もしくは任意の値で設定してもよい。また、直線画像４０１を取得する際 、ハフ変換で得た結果を、太さを「２」として８近傍で投影する。投影する際、各直線の太さや４近傍と８近傍の選択は、取得画像の大きさに合わせて動的に値を設定もしくは任意の値を設定してもよい。
【００２８】
垂直成分の強い直線のみを取得するために、抽出した各直線の傾きを算出し、画像上の 垂直線を０度としたとき、−ｋ１〜ｋ２（度）の範囲内の傾きを持つ直線のみを選定する 。ここで、ｋ１、ｋ２は任意の定数である。本実施例では、アセットのうち例えば電柱を高精度に抽出することを目的としてｋ１＝ｋ２＝１５とする。また、ハフ変換を適用して直線を抽出する場合は、ρ＝ｘ×ｃｏｓ（θ）＋ｙ×ｓｉｎ（θ）によって直線を表現するものとしたとき、ｋ１、ｋ２の代わりにρやθを基準にしてもよい。
【００２９】
図５は、直線分類部２０３による直線分類処理（グルーピング処理）の例を示した図である。直線分類部２０３は、直線抽出部２０２で抽出した直線画像４０１をいくつかのグループに分類する。
【００３０】
直線分類部２０３は、各直線を画像上に投影した後、画像内の各列を順次探索し、各列 に一定の幅Ｒ１を持たせた範囲内において各直線の一部でも含まれていれば、それらの直線を同じグループとして分類し、直線分類画像５０１を取得する。本実施形態では、Ｒ１ ＝２０を設定している。ただし、直線抽出部２０２と同様に、分類の基準はハフ変換を行う際のρやθを用いてもよい。ここでは、直線分類画像５０１では、直線分類処理の結果 、グループ１（Ｇ１）〜グループ５（Ｇ５）の５グループに分類されている。分類結果を表示出力する場合は、色分けやラベル名を付加して示す。
【００３１】
図６は、代表直線選定部２０４による代表直線選定処理の例を示した図である。代表直線選定部２０４は、直線分類部２０３によって分類した各々の 直線グループ（Ｇ１〜Ｇ５）から代表する直線１つを選定する。具体的には、代表直線選定部２０４は、直線分類部２０３で分類された各グループ（Ｇ１〜Ｇ５）から、直線抽出部２０２でハフ変換を用いたときの最大投票数を得た直線を１つの代表直線として選定し 、代表直線画像６０１を取得する。
【００３２】
より具体的には、各グループ（Ｇ１〜Ｇ５）で最もハフ変換の投票スコアが高い直線を、エッジ画像上で上下からスキャンし、一定ピクセル連続でエッジが存在した部分を根元 ／頂点と見なす。図示では、グループ１（Ｇ１）〜グループ５（Ｇ５）のそれぞれに対応 した、第１〜第５グループ代表直線ＬＧ１〜ＬＧ５が選定され示されている。なお、代表直線の選定方法としては、各グループの直線の傾きの平均値、最大値、最小値、中央値 などが用いられてもよい。
【００３３】
図７は、アセット候補領域抽出部２０５によるアセット領域抽出処理の例を示した図である。ここでは、アセット候補領域抽出部２０５は、画像上のそれぞれのアセット候補位置（左上座標と右下座標）を検出する。
【００３４】
はじめに、アセット候補領域抽出部２０５は、それぞれのｘ座標を検出するために、直線分類部２０３で取得した直線分類画像５０１を用いて、各グループを囲むための矩形の最小ｘ座標と最大ｘ座標を計算し、それぞれをアセット候補位置の左上と右下のｘ座標とする。ここで、それぞれのｘ座標から算出される幅に一定のオフセット値Ｒ２を与えても よく、本実施形態ではＲ２＝２０を設定し、それぞれのｘ座標を均等に外側へ広げているが、どちらか一方のみを外側へ広げるもしくは内側に狭めてもよい。
【００３５】
次に、アセット候補領域抽出部２０５は、それぞれのｙ座標を検出するために、エッジ抽出部２０１で抽出したエッジ画像３０２と代表直線選定部２０４で取得した代表直線画像６０１との論理演算ＡＮＤを計算し、膨張処理と収縮処理を複数回行い論理積膨張画像７０１を得る。図示の例では、５×５のフィルタによる膨張処理を３回と１×５のフィルタによる収縮処理を３回実施した。
【００３６】
ここで、それぞれのフィルタの大きさや実施回数は任意のものに変更してもよい。その後、アセット候補領域抽出部２０５は、論理積膨張画像７０１に対してラベリングを行い 、各ラベル領域７０２の面積や高さ、幅などを計算する。計算した各項目から総合的に一 番大きいラベル領域７０２を代表直線ごとに決定する。ここでは、代表直線が５本であるので、第１〜第５ラベル領域７０２＿１〜７０２＿５の５領域となる。
【００３７】
そして、アセット候補領域抽出部２０５は、各ラベル領域７０２（第１〜第５ラベル領 域７０２＿１〜７０２＿５）を囲むための矩形の最小ｙ座標と最大ｙ座標を計算し、それぞれをアセット候補位置の左上と右下のｙ座標とする。ここで、それぞれのｙ座標から算出される高さに一定のオフセット値Ｒ３を持たせてもよい。本実施形態ではＲ３＝０を設定しているが、前記ｘ座標の時と同様に、それぞれのｘ座標を均等に外側へ広げるもしくは内側に狭めてもよいし、どちらか一方のみを外側へ広げるもしくは内側に狭めてもよい 。
【００３８】
アセット候補領域抽出部２０５は、前記で得たそれぞれのｘ座標とｙ座標を合わせてアセット候補領域７０３（第１〜第５アセット候補領域７０３＿１〜７０３＿５）として抽出する。図７では、入力画像３０１にアセット候補領域７０３を投影した合成画像７０４ を示している。
【００３９】
図８は、アセット識別部２０７によるアセット識別処理の例を示した図である。図示のように、入力画像３０１にアセット候補領域抽出部２０５で抽出したアセット候補領域７０３を投影した合成画像７０４に対して、事前に様々なシーンで撮影された大量のアセット画像を格納した識別データベース部２０６を用いて、深層学習（Deep Learning）によるアセット識別を行い、ノイズ領域を排除する。
【００４０】
すなわち、識別データベース部２０６には、検出したい検出対象アセット（例えば電柱や標識）と、非アセット領域（検出対象アセット以外のアセット）の画像データが収集さ れ、深層学習（Deep Learning）のような機械学習により、非特徴量ベースで学習を行う 。抽出した領域を学習データとして用いることで、学習データ作成の自動化や精度向上を行える。
【００４１】
図８の例では、アセット識別部２０７は、第１及び第３アセット候補領域７０３＿１、 ７０３＿３に対応する電柱を検知対象のアセットとして識別しており、電柱以外はノイズとみなし、識別画像８０１を取得する。本実施形態によると、識別対象（検出対象アセッ ト）は道路標識や信号機、電灯、街灯、白線などの道路上表記物、電線、橋脚、配管、建物の柱、鴨居、天板などのその他のアセットでもよく、識別は検知対象と非検知対象の２クラスに限らず、多クラス識別に拡張することも可能である。その他、直線を特徴とする物には適用可能である。また、深層学習（Deep Learning）の代わりに、特徴量を何かしら決めた上でＳＶＭ（Support Vector Machine）などの一般的な機械学習法を用いてもよい。特徴量として、例えば、電線の有無や看板の有無などのルールベースの方法やＨｏＧ 特徴などの汎用な特徴など様々な特徴を用いることができる。本候補領域抽出手段を用いることで、従来法のＳＳ手法より高速に動作し、誤報の数が少なくなる。
【００４２】
アセット状態推定部２０８は、アセット識別部２０７によって検出対象アセットと識別されたアセットの角度や３次元上の位置を推定する。アセットの位置や角度の推定には、 画像から座標変換やハフ変換などによって求める方法の他、ＴｏＦ（Time of Flight）やステレオカメラなどから得られる３次元情報やＧＰＳ（Global Positioning System）)などの位置センサ、水平水準器などの角度センサを併用したシステムを用いてもよい。さらに、画像処理部１０３は、アセット識別部２０７において必要となる教師データを効率的に作成するために、識別データベース部２０６に格納されている画像群をエッジ抽出部２ ０１に入力することで、アセット候補領域抽出部２０５やアセット識別部２０７で得られたアセット候補領域およびアセット領域を教師データとして活用することができる。
【００４３】
図９は、画像監視システム１００の主に画像処理部１０３の処理に着目したフローチャートであり、当該フローチャートを参照して画像処理部１０３の処理を簡単に纏めて説明 する。
【００４４】
まず、画像入力処理として、映像取得部１０２が撮像装置１０１や記録装置１１０から 画像データを取得しエッジ抽出部２０１へ出力する（Ｓ１０）。エッジ抽出部２０１は、 映像取得部１０２から取得した画像データに対して所定のフィルタリングを施しエッジ抽出処理及び２値化処理を行う（Ｓ１２）。直線抽出部２０２は、エッジ抽出部２０１で抽出したエッジ画像３０２に対して直線検出処理を行い、直線画像４０１を取得する（Ｓ１ ４）。
【００４５】
つづいて、直線分類部２０３は、直線のグルーピング処理を行い、近くに存在する直線同士を１グループとして纏める（Ｓ１６）。つぎに、アセット領域抽出処理として、代表直線選定部２０４及びアセット候補領域抽出部２０５の処理を行う（Ｓ１８）。代表直線選定部２０４が各グループの代表直線を抽出し、アセット候補領域抽出部２０５がラベリ ング処理等を行いそれぞれの代表直線に対応したアセット候補領域を抽出する。
【００４６】
さらにつづいて、アセット識別部２０７が識別データベース部２０６を参照し、アセッ ト候補領域から検出対象アセットを識別する（Ｓ２０）。アセット状態推定部２０８は、 識別された検出対象アセットの状態推定（角度や３次元上の位置の推定）を行う（Ｓ２２ ）。
【００４７】
以上、本実施形態によれば、撮像装置１０１から入力される映像または記録装置１１０ の記録映像から、移動物体等の影響を受けることなく画像中に写る複数のアセット候補領域を個別に検出することが可能となる。その結果、日照変化などのノイズに強固なアセット領域の自動検出機能を有する検出技術とすることができる。言い換えると、この検出技術により、好適なアセット領域の記録、アセットを検出した場合の発報機能の向上、モニ タ表示による監視員への適切な周知が可能となる。
【００４８】
以上、本発明を、実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００４９】
１００  画像監視システム、 １０１  撮像装置、 １０２  映像取得部、 １０３  画像処理部、 １０４  データ通信部、 １０５  記録制御部、 １０６  表示制御部、 １０７  発報装置、 １０８  指示装置、 １０９  表示出力装置、 １１０  記録装置、 １１１  計算装置、 １１２  出力装置、 ２０１  エッジ抽出部、 ２０２  直線抽出部、 ２０３  直線分類部、 ２０４  代表直線選定部、 ２０５  アセット候補領域抽出部、 ２０６  識別データベース部、 ２０７  アセット識別部、 ２０８  アセット状態推定部
【図１】
2018110377.tif 000003
【図２】
2018110377.tif 000004
【図３】
2018110377.tif 000005
【図４】
2018110377.tif 000006
【図５】
2018110377.tif 000007
【図６】
2018110377.tif 000008
【図７】
2018110377.tif 000009
【図８】
2018110377.tif 000010
【図９】
2018110377.tif 000011
【手続補正書】
【提出日】令和1年5月27日(2019.5.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像取得部により取得した入力画像から、監視エリア内のアセット領域を検出する映像監視装置であって、
前記入力画像からエッジ画像を取得するエッジ抽出部と、
前記エッジ画像から直線を抽出するハフ変換を適用し、垂直成分の強い直線のみを取得するために抽出した各直線の傾きを算出し、画像上の垂直線を０度としたときに所定の範囲内の傾きを持つ直線のみを選定する直線抽出部と、
前記抽出された直線を複数のグループに分類する直線分類部と、
前記グループで最もハフ変換の投票スコアが高い直線をエッジ画像上で上下からスキャンして一定ピクセル連続でエッジが存在した部分を根元／頂点と見なし、前記分類された各々のグループから１つの代表直線を選定する代表直線選定部と、
前記代表直線を用いてアセット候補領域を抽出するアセット候補領域抽出部と、
前記アセット候補領域を識別するために必要な画像群が格納されている識別データベース部と、
前記識別データベース部を参照して前記アセット候補領域から検出対象アセットを識別するアセット識別部と、
を備えることを特徴とする映像監視装置。
【請求項２】
映像取得部により取得した入力画像から、監視エリア内のアセット領域を検出する映像監視装置であって、
前記入力画像からエッジ画像を取得するエッジ抽出部と、
前記エッジ画像から直線を抽出する直線抽出部と、
前記直線を画像上に投影した後に画像内の各列を順次探索し、各列に一定の幅を持たせた範囲内において各直線の一部でも含まれていれば前記抽出された直線を複数のグループに分類する直線分類部と、
前記分類された各々のグループから１つの代表直線を選定する代表直線選定部と、
前記代表直線を用いてアセット候補領域を抽出するアセット候補領域抽出部と、
前記アセット候補領域を識別するために必要な画像群が格納されている識別データベース部と、
前記識別データベース部を参照して前記アセット候補領域から検出対象アセットを識別するアセット識別部と、
を備えることを特徴とする映像監視装置。
【請求項３】
映像取得部により取得した入力画像から、監視エリア内のアセット領域を検出する映像監視装置であって、
前記入力画像からエッジ画像を取得するエッジ抽出部と、
前記エッジ画像から直線を抽出する直線抽出部と、
前記抽出された直線を複数のグループに分類する直線分類部と、
前記分類された各々のグループから１つの代表直線を選定する代表直線選定部と、
前記エッジ抽出部で抽出したエッジ画像と前記代表直線選定部で取得した代表直線画像との論理演算により膨張処理と収縮処理を複数回行い、論理積膨張画像を得て前記論理積膨張画像に対してラベリングを行い、各ラベル領域の面積や高さ、幅を計算し、計算した各項目から総合的に一番大きいラベル領域を代表直線ごとに決定し、前記代表直線を用いてアセット候補領域を抽出するアセット候補領域抽出部と、
前記アセット候補領域を識別するために必要な画像群が格納されている識別データベース部と、
前記識別データベース部を参照して前記アセット候補領域から検出対象アセットを識別するアセット識別部と、
を備えることを特徴とする映像監視装置。
【請求項４】
映像取得部により取得した入力画像から、監視エリア内のアセット領域を検出する映像監視装置であって、
前記入力画像からエッジ画像を取得するエッジ抽出部と、
前記エッジ画像から直線を抽出する直線抽出部と、
前記抽出された直線を複数のグループに分類する直線分類部と、
前記分類された各々のグループから１つの代表直線を選定する代表直線選定部と、
前記代表直線を用いてアセット候補領域を抽出するアセット候補領域抽出部と、
前記アセット候補領域を識別するために事前に様々なシーンで撮影された大量のアセット画像が格納されている識別データベース部と、
入力画像に前記アセット候補領域抽出部で抽出したアセット候補領域を投影した合成画像に対して、前記識別データベース部に格納されたアセット画像を用いて深層学習によるアセット識別を行いノイズ領域を排除するアセット識別部と、
を備えることを特徴とする映像監視装置。
【請求項５】
前記アセット候補領域抽出部は、前記アセット候補領域の領域位置を検出することを特徴とする請求項１乃至請求項４に記載の映像監視装置。
【請求項６】
前記アセット識別部が識別した前記検出対象アセットの状態推定を行うアセット状態推定部を備え、
前記アセット状態推定部は、少なくとも前記検出対象アセットの角度または３次元上の位置のいずれかを算出することを特徴とする請求項１乃至請求項５に記載の映像監視装置。
【国際調査報告】
2018110377.tif 000012
2018110377.tif 000013
2018110377.tif 000014