(57)【要約】【課題】複雑な背景の箇所においても対象物を精度よく検出することができる識別装置を提供する。【解決手段】識別装置を、特徴量導出手段１と、判断手段２を備える構成とする。特徴量導出手段１は、入力された画像データを複数のブロックに分割し、各ブロックを順次、解析対象のブロックとして設定し、解析対象のブロックと、解析対象のブロックの周辺のブロックにおいて特徴量を導出する。判断手段２は、解析対象のブロックごとに、特徴量導出手段１が導出した解析対象のブロックおよび周辺のブロックの特徴量と、検出対象の物体の画像データを基に生成された検出対象の物体かを判断する基準データとを比較し、検出対象の物体かを判断する。【選択図】      図１
2020003837.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データを複数のブロックに分割し、各ブロックを順次、解析対象のブロックとして設定し、前記解析対象のブロックと、前記解析対象のブロックの周辺のブロックにおいて特徴量を導出する特徴量導出手段と、
前記解析対象のブロックごとに、前記特徴量導出手段が導出した前記解析対象のブロックおよび前記周辺のブロックの前記特徴量と、検出対象の物体の画像データを基に生成された検出対象の物体かを判断する基準データとを比較し、前記検出対象の物体かを判断する判断手段と
を備えることを特徴とする識別装置。
【請求項２】
前記検出対象の物体が撮像された学習用の画像の前記特徴量と、前記学習用の画像において前記検出対象の物体が存在する領域の情報を基に前記基準データを生成する学習手段をさらに備えることを特徴とする請求項１に記載の識別装置。
【請求項３】
前記特徴量導出手段は、前記学習用の画像を複数のブロックに分割し、各ブロックを順次、学習対象のブロックとして設定し、前記学習対象のブロックと、前記学習対象のブロックの周辺のブロックにおいて特徴量を導出し、
前記学習手段は、前記基準データを生成する際の前記学習用の画像の前記特徴量として、前記特徴量導出手段が導出した特徴量を用いることを特徴とする請求項２に記載の識別装置。
【請求項４】
前記特徴量導出手段は、前記ブロックごとに複数の種類の特徴量を導出することを特徴とする請求項１から３いずれかに記載の識別装置。
【請求項５】
前記特徴量導出手段は、前記周辺のブロックの範囲を前記検出対象の物体の大きさの予測に基づいて設定することを特徴とする請求項１から４いずれかに記載の識別装置。
【請求項６】
入力された画像データを複数のブロックに分割し、各ブロックを順次、解析対象のブロックとして設定し、前記解析対象のブロックと、前記解析対象のブロックの周辺のブロックにおいて特徴量を導出し、
前記解析対象のブロックごとに、導出した前記解析対象のブロックおよび前記周辺のブロックの前記特徴量と、検出対象の物体の画像データを基に生成された検出対象の物体かを判断する基準データとを比較し、前記検出対象の物体かを判断することを特徴とする識別方法。
【請求項７】
前記検出対象の物体が撮像された学習用の画像の前記特徴量と、前記学習用の画像において前記検出対象の物体が存在する領域の情報を基に前記基準データを生成することを特徴とする請求項６に記載の識別方法。
【請求項８】
前記学習用の画像を複数のブロックに分割し、各ブロックを順次、学習対象のブロックとして設定し、前記学習対象のブロックと、前記学習対象のブロックの周辺のブロックにおいて特徴量を導出し、
前記基準データを生成する際の前記学習用の画像の前記特徴量として、導出した特徴量を用いることを特徴とする請求項７に記載の識別方法。
【請求項９】
前記ブロックごとに複数の種類の特徴量を導出することを特徴とする請求項６から８いずれかに記載の識別方法。
【請求項１０】
入力された画像データを複数のブロックに分割し、各ブロックを順次、解析対象のブロックとして設定し、前記解析対象のブロックと、前記解析対象のブロックの周辺のブロックにおいて特徴量を導出する特徴量導出処理と、
前記解析対象のブロックごとに、導出した前記解析対象のブロックおよび前記周辺のブロックの前記特徴量と、検出対象の物体の画像データを基に生成された検出対象の物体かを判断する基準データとを比較し、前記検出対象の物体かを判断する判断処理と
をコンピュータに実行させることを特徴とする識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の物体を識別する技術に関するものであり、特に、機械学習によって生成された辞書データを基に物体を識別する技術に関するものである。
【背景技術】
【０００２】
飛翔体の軌道予測等を行う際に、飛翔体を撮影した画像を基に飛翔体の識別が行われることがある。飛翔体を撮影した画像は、様々な背景が映り込んでいることが多い。そのため、飛翔体を撮影した画像を基に、飛翔体の識別を行う場合には、背景の構成物によらずに正確に飛翔体を識別できることが必要となる。そのため、画像に撮像されている物体を自動で識別する技術の開発が盛んに行われている。そのような画像中の物体を識別する技術としては、例えば、特許文献１のような技術が開示されている。
【０００３】
特許文献１は、画像に対象物が含まれているかを認識する画像処理装置に関するものである。特許文献１の画像処理装置は、学習用の画像から画像特徴を抽出して学習モデルを生成している。特許文献１の画像処理装置は、学習用の画像の特徴量と、対象物が存在するかを判定する対象となる画像の特徴量とを比較し、対象物が画像に存在するかを判断している。
【０００４】
特許文献２には、対象物が存在するかを判定する対象となる画像を局所領域に分割し、局所領域ごとに導出した特徴量と、機械学習によって生成した辞書データを基に、局所領域ごとに対象物かを判断する識別装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−１４６８４０号公報
【特許文献２】国際公開第２０１７／２２１８６０号
【特許文献３】国際公開第２０１２／０９５９３８号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術は次のような点で十分ではない。特許文献１は、画像サイズを調整し、調整した画像を基に、対象物が存在するかを判断している。そのため、特許文献１の技術は、対象物が存在するかを判断する際の処理量が増大し得る。また、特許文献２では、画像を分割して局所領域ごとに判断することで識別の精度を向上しているが、対象物の大きさによっては識別の精度が十分には向上しない恐れがある。
【０００７】
本発明は、上記の課題を解決するため、複雑な背景の箇所においても対象物を精度よく検出することができる識別装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明の識別装置は、特徴量導出手段と、判断手段を備えている。特徴量導出手段は、入力された画像データを複数のブロックに分割し、各ブロックを順次、解析対象のブロックとして設定し、解析対象のブロックと、解析対象のブロックの周辺のブロックにおいて特徴量を導出する。判断手段は、解析対象のブロックごとに、特徴量導出手段が導出した解析対象のブロックおよび周辺のブロックの特徴量と、検出対象の物体の画像データを基に生成された検出対象の物体かを判断する基準データとを比較し、検出対象の物体かを判断する。
【０００９】
本発明の識別方法は、入力された画像データを複数のブロックに分割し、各ブロックを順次、解析対象のブロックとして設定し、解析対象のブロックと、解析対象のブロックの周辺のブロックにおいて特徴量を導出する。本発明の識別方法は、解析対象のブロックごとに、導出した解析対象のブロックおよび周辺のブロックの特徴量と、検出対象の物体の画像データを基に生成された検出対象の物体かを判断する基準データとを比較し、検出対象の物体かを判断する。
【発明の効果】
【００１０】
本発明によると、複雑な背景の箇所においても対象物を精度よく検出することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態の構成の概要を示す図である。
【図２】本発明の第２の実施形態の構成の概要を示す図である。
【図３】本発明の第２の実施形態において画像を分割した例を示す図である。
【図４】本発明の第２の実施形態におけるウィンドウの例を示す図である。
【図５】本発明の第２の実施形態の学習処理の動作フローを示す図である。
【図６】本発明の第２の実施形態の識別処理の動作フローを示す図である。
【図７】本発明の第２の実施形態における処理方向の例を模式的に示した図である。
【図８】本発明の第２の実施形態において導出された特徴量のデータの例を示す図である。
【図９】本発明の第２の実施形態における局所領域ごとの特徴量の分布の例を模式的に示す図である。
【図１０】本発明の第２の実施形態における検出対象の判定基準の境界の例を模式的に示す図である。
【図１１】本発明の他の構成の例を示す図である。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
本発明の第１の実施形態について図を参照して詳細に説明する。図１は、本実施形態の識別装置の構成の概要を示したものである。本実施形態の識別装置は、特徴量導出手段１と、判断手段２を備えている。特徴量導出手段１は、入力された画像データを複数のブロックに分割し、各ブロックを順次、解析対象のブロックとして設定し、解析対象のブロックと、解析対象のブロックの周辺のブロックにおいて特徴量を導出する。判断手段２は、解析対象のブロックごとに、特徴量導出手段１が導出した解析対象のブロックおよび周辺のブロックの特徴量と、検出対象の物体の画像データを基に生成された検出対象の物体かを判断する基準データとを比較し、検出対象の物体かを判断する。
【００１３】
本実施形態の識別装置は、特徴量導出手段１において画像を複数のブロックに分け、解析対象と周辺のブロックの特徴量を導出している。また、本実施形態の識別装置は、判断手段２において、解析対象と周辺のブロックの特徴量と基準データを比較し、検出対象の物体かを判断している。本実施形態の識別装置は、複数のブロックに分けて小さな領域ごとに解析を行うことで背景の影響を抑制することができる。また、本実施形態の識別装置は、周辺の特徴量を考慮して検出対象かを判断しているので、対象の識別の精度が向上する。その結果、本実施形態の識別装置は、複雑な背景の箇所においても対象物を精度よく検出することができる。
【００１４】
（第２の実施形態）
本発明の第２の実施形態について図を参照して詳細に説明する。図２は、本実施形態の識別装置１０の構成の概要を示したものである。本実施形態の識別装置１０は、画像中に飛翔体等の対象物、すなわち、検出の対象となる物体が存在するかを識別する装置である。本実施形態の識別装置１０は、機械学習によって生成した辞書データと、解析対象の画像から抽出した特徴量を比較することで対象物の有無を判断する。
【００１５】
本実施形態の識別装置１０は、画像入力部１１と、特徴量導出部１２と、学習部１３と、辞書保存部１４と、対象物識別部１５と、対象物情報出力部１６を備えている。
【００１６】
画像入力部１１は、識別の対象となる対象物が撮像されている画像データが入力されるインタフェースである。画像データは、例えば、飛翔体等の対象物を撮像した可視画像や赤外画像のデータとして入力される。画像入力部１１は、カメラで撮影された画像データを、ネットワーク等の通信手段を介して取得する。画像データは、作業者によって画像入力部１１に入力されてもよい。
【００１７】
特徴量導出部１２は、画像入力部１１から入力された画像データを解析し、画像データの画素情報から特徴量を導出する。画素情報とは、輝度や色度など画像の特性を示す情報のことをいう。特徴量導出部１２は、入力された画像を複数のブロックに分割し、分割した各ブロックを局所領域として生成する。図３は、画像を分割して生成された局所領域の例を示している。図３は、画像を縦２０個、横２０個の合計４００個のブロックに分割し、局所領域を生成した例を示している。
【００１８】
特徴量導出部１２は、各ブロックから特徴量を導出する。各局所領域の特徴量データは、注目領域とその周辺のブロックから導出された特徴量で構成される。本実施形態では各局所領域の特徴量を導出する際に、中心とするブロックのことを注目領域と呼ぶ。図４は、１個の注目領域と、周辺の８個のブロックの合計９個のブロックを１ウィンドウとして特徴量の導出を行う場合の例を示している。特徴量導出部１２は、各ブロックを構成する画素の輝度等の画素情報から特徴量を導出する。図４は、各局所領域を縦５画素、横５画素の２５画素の領域とした例を示している。
【００１９】
特徴量導出部１２は、各局所領域をそれぞれ注目領域として順番に設定し、注目領域と周辺のブロックの特徴量を導出する。本実施形態では、注目領域と周辺のブロックの組み合わせをウィンドウと呼ぶ。１個のウィンドウは、例えば、図４に示すように１個の注目領域と、周辺の８個のブロックからなる合計９個のブロックによって構成される。また、本実施形態の特徴量導出部１２の機能は、第１の実施形態の特徴量導出手段１に相当する。
【００２０】
学習部１３は、検出対象の物体を識別する際に用いる物体の特徴に基づく判定基準の辞書データを機械学習によって生成する。学習部１３は、学習用の画像から特徴量導出部１２が導出した特徴量のデータと、正解情報を基に機械学習を行って、対象物の有無を判断する際の基準データを生成する。
【００２１】
学習部１３は、例えば、特許文献３に開示されているＧＬＶＱ（Ｇｅｎｅｒａｌｉｚｅｄ  Ｌｅａｒｎｉｎｇ  Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ、一般化学習ベクトル量子化）のような識別時の計算量が少ない機械学習法に基づいたものであることが望ましい。機械学習は、各ブロックの特徴量と正解情報とを対応づけて、正解領域となるための特徴量を設定することができる方法であれば、他の方法であってもよい。
【００２２】
辞書保存部１４は、学習部１３が生成した辞書データを保存する。辞書保存部１４は、ハードディスクドライブや不揮発性の半導体メモリ等の記憶装置によって構成されている。
【００２３】
対象物識別部１５は、画像データに含まれる物体が検出対象であるかを判断する。対象物識別部１５は、特徴量導出部１２が導出した特徴量と、辞書保存部１４に保存されている辞書データの特徴量とを比較して、辞書データに対応する検出の対象物かを判断する。本実施形態の対象物識別部１５の機能は、第１の実施形態の判断手段２に相当する。
【００２４】
対象物情報出力部１６は、対象物識別部１５の判定結果を出力する。対象物情報出力部１６は、例えば、対象物の周辺を強調した画像データを生成して、識別装置１０に接続されている飛翔体の軌道の解析システム等に出力する。対象物情報出力部１６は、画像データとも辞書データと関連づけられている対象物の識別子や名称の情報を出力してもよい。
【００２５】
本実施形態の画像入力部１１、特徴量導出部１２、学習部１３、対象物識別部１５および対象物情報出力部１６は、例えば、ＦＰＧＡ（Field - Programmable Gate Array）等の半導体装置によって構成されている。本実施形態の各部位における各処理は、ＣＰＵ（Central Processing Unit）上でコンピュータプログラムを実行することで行われてもよい。
【００２６】
本実施形態の識別装置１０の動作について説明する。図５は、本実施形態の識別装置１０において、学習用の画像を用いて機械学習によって基準データを生成する学習処理の動作フローを示したものである。また、図６は、本実施形態の識別装置１０において、観測用に撮影された画像に対象物が存在するかを判断する識別処理の動作フローを示した図である。
【００２７】
始めに、本実施形態の識別装置１０において、学習用の画像データを基に判断基準のデータが生成される際の動作について説明する。
【００２８】
作業者等によって判定基準を作成するための学習用の画像データが識別装置１０に入力されると、識別装置１０は、学習用のデータの生成を開始する（ステップＳ１１）。
【００２９】
学習用の画像データが入力されると、学習部１３は、学習用の画像を局所領域に分割する（ステップＳ１２）。画像を局所領域に分割すると、学習部１３は、画像データの画素情報から局所領域ごとの特徴量を導出する（ステップＳ１３）。本実施形態の学習部１３は、画像データを２０×２０の４００個の局所領域に分割し、各局所領域を画像の左上から順に１から４００番の局所領域番号を用いて管理している。
【００３０】
学習部１３は、画像データの２０×２０の局所領域について、３×３のブロックの中心のブロックを注目領域とし、２０×２０の局所領域それぞれが注目領域となるように解析対象のブロックを走査する。画像の分割数は、２０×２０以外であってもよい。図７は、画像データ上で注目領域を順次、変更する際の走査方向の例を示したものである。図７の例では、最上段の局所領域について注目領域を左から右に走査が行われ、順次、下段の局所領域についても左から右に走査が行われる。また、注目領域の走査方向は、図７以外の方向であってもよい。
【００３１】
学習部１３は、対象物の識別を行う画像で使用する特徴量と同じ種類の特徴量を抽出する。対象物の識別を行う画像が、例えば、可視画像である場合、学習部１３は、各ブロックのＲＧＢの色の割合、平均輝度および輝度の分散または勾配等を特徴量として抽出する。本実施形態では、学習部１３は、各ブロックについて２種類の特徴量を導出する。よって、学習部１３は、１ウィンドウの処理を行う際に９個のブロックについて合計１８個の特徴量を抽出する。
【００３２】
最初に処理を行うウィンドウにおいて特徴量の抽出を行うと、学習部１３は、順次、注目領域を変更し、全ての局所領域をそれぞれ注目領域とした場合の特徴量を抽出する。
【００３３】
特徴量を抽出すると、学習部１３は、学習用の画像の各局所領域に対象物が存在するかを示す正解情報を取得する。正解情報は、作業者によって識別装置１０に入力されてもよく、ネットワークを介して正解情報のデータが取得されてもよい。
【００３４】
図８は、正解情報の例を示したものである。図８では、対象物が存在する局所領域は、クラス「１」、対象物が存在しない局所領域ではクラス「０」として示されている。図８では、周辺領域において、注目領域を走査した際に周囲のブロックが画像内になるようにウィンドウのデータのみを集計しているため、局所領域が２２から３７９までのデータが記録されている。
【００３５】
正解情報を取得すると、学習部１３は、検出対象の正解情報と学習用画像の局所領域の特徴量のデータを基に機械学習を実行する（ステップＳ１４）。本実施形態では、各ブロックについて２種類の特徴量を導出するため、合計１８個の特徴量が導出される。本実施形態では、学習部１３は、ＧＬＶＱ法に基づいた機械学習を行う。
【００３６】
図９は、局所領域ごとの特徴量の分布の例を模式的に示す図である。また、図１０は、検出対象の判定基準の境界の例を模式的に示す図である。学習部１３は、図１０に示すように最も誤り率が低くなるように機械学習によって境界を設定する。すなわち、学習部１３は、ＧＬＶＱ法の判定基準によるクラス分けの結果と、クラス分けの正解情報との差が最も小さくなるように境界を設定する。境界を設定することで判定基準である辞書データを生成すると、学習部１３は、生成した辞書データを辞書保存部１４に保存する（ステップＳ１５）。学習用の画像の解析は、１対象物につき複数の画像データについて行われる。また、複数の対象物について、それぞれ辞書データの生成が行われてもよい。
【００３７】
次に、識別装置１０において、観測した画像データに検出対象の対象物が存在するかを識別する際の動作について説明する。
【００３８】
識別装置１０の画像入力部１１は、検出対象の物体が存在するかを識別する対象の画像を取得する（ステップＳ２１）。画像入力部１１が画像を取得すると、特徴量導出部１２は、入力された画像を、辞書データを生成したときと同様に、局所領域に対応する各ブロックに分割する（ステップＳ２２）。画像を各ブロックに分割して局所領域を生成すると、特徴量導出部１２は、画像データ内で注目領域を走査し、各注目領域とその周辺のブロックにおける特徴量を導出する（ステップＳ２３）。
【００３９】
特徴量を導出すると、対象物識別部１５は、辞書データとして設定されている判定基準と特徴量を比較し、局所領域ごとに対象物が存在するかを判断する（ステップＳ２４）。各局所領域について対象物が存在するかの判断が終わると、対象物情報出力部１６は、判断結果に基づく画像データ等を出力する（ステップＳ２５）。対象物情報出力部１６は、判断結果を、例えば、対象物が撮影されている画像に、対象物の周辺を強調する表示を重畳した画像を生成して出力する。
【００４０】
本実施形態の識別装置１０は、画像を複数のブロックに分割し注目領域と周辺領域の特徴量を導出し、辞書データを生成している。また、本実施形態の識別装置１０は、解析対象の画像を複数のブロックに分割して特徴量を導出し、辞書データと比較することで解析対象の画像中に対象物が存在するかを判断している。本実施形態の識別装置１０は、画像を局所領域に分割しているため、背景等の影響を受けずに対象物の存在の有無を判断することができる。また、本実施形態の識別装置１０は、注目領域とその周辺の局所領域の特徴量を基に対象物の有無を判断するので対象物の検出の精度が向上する。その結果、本実施形態の識別装置１０は、複雑な背景の箇所においても対象物を精度よく検出することができる。
【００４１】
第２の実施形態において、９個のブロックによって形成される１ウィンドウを単位として辞書データの生成および対象物の識別処理を行っているが、１ウィンドウに含まれるブロックは９個以外であってもよい。また、対象物の想定される大きさに応じて、１ウィンドウに含まれるブロックの数やブロックの大きさを変更してもよい。そのように、対象物の大きさに応じて１ウィンドウに含まれるブロックの数やブロックの大きさを設定することで、小さな対象物の識別をより正確に行うことができる。
【００４２】
第２の実施形態の識別装置１０における各処理は、コンピュータプログラムをコンピュータで実行することによって行われてもよい。図１１は、識別装置１０で実行される各処理を行うコンピュータプログラムを実行するコンピュータ１００の構成の例を示したものである。コンピュータ１００は、ＣＰＵ１０１と、メモリ１０２と、記憶装置１０３と、Ｉ／Ｆ（Interface）部１０４を備えている。
【００４３】
ＣＰＵ１０１は、記憶装置１０３から各処理を行うコンピュータプログラムを読み出して実行する。メモリ１０２は、ＤＲＡＭ等によって構成され、ＣＰＵ１０１が実行するコンピュータプログラムや処理中のデータが一時保存される。記憶装置１０３は、ＣＰＵ１０１が実行するコンピュータプログラム、処理結果および外部から取得した情報等が保存される。記憶装置１０３は、例えば、不揮発性の半導体記憶装置によって構成されている。記憶装置１０３には、ＨＤＤ等の他の記憶装置が用いられてもよい。Ｉ／Ｆ部１０４は、画像データ等の入出力を行うインタフェースである。
【００４４】
また、各処理に行うコンピュータプログラムは、記録媒体に格納して頒布することもできる。記録媒体としては、例えば、データ記録用磁気テープや、ハードディスクなどの磁気ディスクを用いることができる。また、記録媒体としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ（Digital Versatile Disc）などの光ディスクを用いることもできる。不揮発性の半導体メモリを記録媒体として用いてもよい。
【符号の説明】
【００４５】
１    特徴量導出手段
２    判断手段
１０    識別装置
１１    画像入力部
１２    特徴量導出部
１３    学習部
１４    辞書保存部
１５    対象物識別部
１６    対象物情報出力部
１００    コンピュータ
１０１    ＣＰＵ
１０２    メモリ
１０３    記憶装置
１０４    Ｉ／Ｆ部
【図１】
2020003837.tif 000003
【図２】
2020003837.tif 000004
【図３】
2020003837.tif 000005
【図４】
2020003837.tif 000006
【図５】
2020003837.tif 000007
【図６】
2020003837.tif 000008
【図７】
2020003837.tif 000009
【図８】
2020003837.tif 000010
【図９】
2020003837.tif 000011
【図１０】
2020003837.tif 000012
【図１１】
2020003837.tif 000013