(57)【要約】  撮像画像における移動物体を識別する処理に関し、撮像装置に対して遠近方向に移動することによって撮像画像における面積が変動する移動物体であっても撮像画像から高い精度で識別するために、物体識別装置１は、見かけ特徴生成部３０と、移動特徴生成部４０と、特徴結合部５０と、識別部８０とを備える。見かけ特徴生成部３０は、撮像画像における移動物体の画像から見かけ上の特徴を見かけ特徴として抽出する。移動特徴生成部４０は、撮像画像における移動物体の移動量を正規化し当該正規化により得られた値を移動特徴として算出する。特徴結合部５０は、見かけ特徴と移動特徴を結合する。識別部８０は、特徴結合部５０により得られた情報を利用して移動物体を識別する。
2020044448.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像における移動物体の画像から見かけ上の特徴を見かけ特徴として抽出する見かけ特徴生成手段と、
前記撮像画像における前記移動物体の移動量を正規化し当該正規化により得られた値を移動特徴として算出する移動特徴生成手段と、
前記見かけ特徴と前記移動特徴を結合する特徴結合手段と、
前記特徴結合手段により得られた情報を利用して前記移動物体を識別する識別手段と
を備える物体識別装置。
【請求項２】
前記移動特徴生成手段は、前記撮像画像における前記移動物体の面積あるいは当該面積に応じた数値を利用して前記移動物体の移動量を正規化することにより前記移動特徴を算出する請求項１に記載の物体識別装置。
【請求項３】
前記移動特徴生成手段は、複数の前記撮像画像からそれぞれ抽出した前記移動物体の画像を含む画像を生成し当該画像を正規化することにより前記移動物体の移動量を正規化する請求項１に記載の物体識別装置。
【請求項４】
コンピュータによって、
撮像画像における移動物体の画像から見かけ上の特徴を見かけ特徴として抽出し、
前記撮像画像における前記移動物体の移動量を正規化し当該正規化により得られた値を移動特徴として算出し、
前記見かけ特徴と前記移動特徴を結合し、
前記見かけ特徴と前記移動特徴の結合により得られた情報を利用して前記移動物体を識別する
物体識別方法。
【請求項５】
撮像画像における移動物体の画像から見かけ上の特徴を見かけ特徴として抽出する処理と、
前記撮像画像における前記移動物体の移動量を正規化し当該正規化により得られた値を移動特徴として算出する処理と、
前記見かけ特徴と前記移動特徴を結合する処理と、
前記見かけ特徴と前記移動特徴の結合により得られた情報を利用して前記移動物体を識別する処理と
をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像において検知された移動物体を識別する技術に関する。
【背景技術】
【０００２】
移動物体を監視・識別するためにカメラが利用されている。例えば、特許文献１に開示されている技術では、カメラで撮像した画像の各ピクセルについて、時間的な変化が観測され、この観察結果を利用して、移動物体と背景が識別されている。特許文献２に開示されている技術では、撮像画像における移動物体の形状や、移動物体の移動量を用いて、移動物体の種類が識別されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３２３５７２号公報
【特許文献２】特開平８−１０６５３４号公報
【特許文献３】特開２０１１−１９２０９０号公報
【特許文献４】特開２００６−３１８０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、移動物体と背景の識別は可能だが、移動物体の種類は識別されていない。特許文献２の技術では、移動物体の種類は識別されているが、設置したカメラから移動物体までの距離が考慮されていないため、次のような理由により移動物体の識別精度が低くなってしまう。すなわち、図１に示されるように、カメラ１２０から移動物体１１０までの距離Ｌ１，Ｌ２が異なると、同様な速度かつ移動経路で移動している同じ移動物体１１０（例えば鳥）をカメラ１２０が撮像しているのにも拘わらず、カメラ１２０の撮像画像Ａ，Ｂにおける移動物体１１０の移動量が異なる。特許文献２の技術では、撮像画像における移動物体の移動量を利用して移動物体の種類が識別されるため、撮像画像における移動物体の移動量が異なると、同じ移動物体１１０であっても異なる移動物体１１０とされる。このような事態が生じることから、特許文献２の技術では、移動物体１１０の識別精度が低くなってしまう。【０００５】
本発明の主な目的は、撮像画像における移動物体を識別する処理に関し、撮像装置に対して遠近方向に移動することによって撮像画像における面積が変動する移動物体であっても撮像画像から高い精度で識別できる技術を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、物体識別装置の一態様は、
撮像画像における移動物体の画像から見かけ上の特徴を見かけ特徴として抽出する見かけ特徴生成部と、
前記撮像画像における前記移動物体の移動量を正規化し当該正規化により得られた値を移動特徴として算出する移動特徴生成部と、
前記見かけ特徴と前記移動特徴を結合する特徴結合部と、
前記特徴結合部により得られた情報を利用して前記移動物体を識別する識別手段と
を備える。【０００７】
また、物体識別方法の一態様は、
コンピュータによって、
撮像画像における移動物体の画像から見かけ上の特徴を見かけ特徴として抽出し、
前記撮像画像における前記移動物体の移動量を正規化し当該正規化により得られた値を移動特徴として算出し、
前記見かけ特徴と前記移動特徴を結合し、
前記見かけ特徴と前記移動特徴の結合により得られた情報を利用して前記移動物体を識別する。【０００８】
さらに、プログラム記憶媒体の一態様は、
撮像画像における移動物体の画像から見かけ上の特徴を見かけ特徴として抽出する処理と、
前記撮像画像における前記移動物体の移動量を正規化し当該正規化により得られた値を移動特徴として算出する処理と、
前記見かけ特徴と前記移動特徴を結合する処理と、
前記見かけ特徴と前記移動特徴の結合により得られた情報を利用して前記移動物体を識別する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
【発明の効果】
【０００９】
本発明によれば、撮像画像における移動物体を識別する処理に関し、撮像装置に対して遠近方向に移動することによって撮像画像における面積が変動する移動物体であっても撮像画像から高い精度で識別できる。
【図面の簡単な説明】
【００１０】
【図１】カメラから移動物体までの距離の差異による撮像画像での移動物体の移動量の差異を説明する図である。
【図２】本発明に係る第１実施形態の物体識別装置の構成を示すブロック図である。
【図３】第１実施形態での移動特徴の算出手法を説明する図である。
【図４】第１実施形態の物体識別装置における移動物体を識別する動作の一例を示すフローチャートである。
【図５】第２実施形態での移動特徴の算出手法を説明する図である。
【発明を実施するための形態】
【００１１】
以下に、本発明に係る実施形態について図面を参照して説明する。
【００１２】
＜第１実施形態＞
図２は、本発明に係る第１実施形態の物体識別装置の構成を概念的に示すブロック図である。第１実施形態の物体識別装置１は、受信部１０と、前景抽出部２０と、見かけ特徴生成部３０と、移動特徴生成部４０と、特徴結合部５０と、特徴量記憶部６０と、辞書記憶部７０と、識別部８０と、提示部９０とを備える。
【００１３】
受信部１０は、例えば、ビデオカメラ等の撮像装置を用いて撮像した撮像画像（動画や静止画）を、撮像装置や、撮像画像を格納している記憶装置から取得（受信）する。
【００１４】
前景抽出部２０は、受信部１０により受信された撮像画像を、前景領域と背景領域に分離する機能を備える。前景と背景に分離する処理で利用する手法としては、例えば、背景差分の手法や、オプティカルフローを利用した手法などがある。
【００１５】
見かけ特徴生成部３０は、前景抽出部２０により得られた前景領域に含まれる物体の画像から、物体の見かけ上の特徴を見かけ特徴として抽出する機能を備える。特徴を抽出する処理で利用する手法としては、例えば、ニューラルネットワークによる特徴抽出の手法や、勾配情報やＨｏｇ（Histograms of Oriented Gradients）を特徴量として抽出する手法や、Haar-Like特徴量を抽出する手法などがある。なお、見かけ特徴生成部３０が見かけ特徴を抽出する撮像画像は、前景抽出部２０が処理を実行した全ての撮影画像でなくともよい。
【００１６】
移動特徴生成部４０は、前景抽出部２０により得られた前景領域の画像を用いて、移動物体（例えばドローン等の飛行体や、車や、鳥）の移動に関連する情報（移動特徴）を算出する機能を備える。図３は、移動特徴を算出する処理の一例を説明する図である。図３を利用して、移動特徴生成部４０による移動特徴の算出手法の一例を以下に説明する。なお、図３に表されているフレームＤ１０，Ｄ１１，Ｄ１２は、撮像画像（動画）における時間的に連続しているフレームであり、時間順に配置されている。
【００１７】
移動特徴生成部４０は、例えば、前景抽出部２０により得られたフレームＤ１０（Ｔ−１フレーム）の前景領域Ｄ１０ａとフレームＤ１１（Ｔフレーム）の前景領域Ｄ１１ａを用いて、移動物体の撮像画像での移動量Ｖを算出する。そして、移動特徴生成部４０は、算出した移動量Ｖを、前景領域Ｄ１０ａ，Ｄ１１ａの矩形の面積Ｓ１０，Ｓ１１を利用して正規化し、正規化により得られた値Ｍを移動特徴として生成（算出）する。具体的には、例えば、移動特徴生成部４０は、数式（１）に従って、移動量を正規化した値Ｍを算出する。
Ｍ＝Ｖ／（Ｓ１０＋Ｓ１１）１／２ ・・・・・・ （１）
あるいは、移動特徴生成部４０は、数式（２）に従って、移動量を正規化した値Ｍを算出してもよい。
Ｍ＝Ｖ／（Ｓ１０／Ｓ１１） ・・・・・・ （２）
なお、数式（１）、（２）におけるＶは移動物体の撮像画像での移動量を表し、Ｍは移動量Ｖを正規化した値を表す。また、Ｓ１０は撮像画像における前景領域Ｄ１０ａの面積（あるいはピクセル数）を表し、Ｓ１１は撮像画像における前景領域Ｄ１１ａの面積（あるいはピクセル数）を表す。
【００１８】
移動物体が撮像装置に対して遠近方向に移動している場合には、同じ移動物体であっても撮像装置による撮像画像における移動物体の面積は変化する。このため、上述したように、撮像画像における移動物体の移動量を、撮像画像における移動物体の面積を利用して正規化することにより、撮像装置に対して遠近方向に移動している移動物体と撮像装置との間の距離の変動を吸収した移動特徴が得られる。
【００１９】
なお、移動特徴生成部４０が移動特徴の算出に利用するフレームは、時間的に連続したフレームでなくともよい。また、移動特徴生成部４０が移動特徴の算出に利用するフレームの数は３以上であってもよい。さらに、数式（１）に従って移動量を正規化して値Ｍを算出する場合には、複数のフレームにおける前景領域の面積の和の平方根が利用されている。これに代えて、複数のフレームにおける前景領域の面積の平均値や、中央値や、中央値の平方根などが利用されて移動量Ｖが正規化されてもよい。さらにまた、移動特徴生成部４０は、例えば４枚以上のフレームにおいて、複数のフレーム（例えば２枚のフレーム）から成るグループを複数グループ設定し、グループ毎に、移動量を正規化した値Ｍを算出し、さらに、それら算出した複数の値Ｍの平均や分散や中央値や代表値や合算値などを移動特徴として算出してもよい。グループ毎に値Ｍを算出する手法は、例えば、前述したような、複数のフレームにおける前景領域の面積比率や、面積和の平方根や、面積の平均値や中央値や、中央値の平方根などが利用される。ところで、飛行中の鳥は、羽ばたきや向きの変化などに起因して撮影画像における画像の面積が不規則に変化する。このように、撮像画像における移動物体の面積が変化する場合であっても、移動特徴の算出に利用するフレーム数の数を増加することにより、移動物体の画像の面積変化の影響が抑制された移動特徴が得られる。
【００２０】
特徴結合部５０は、見かけ特徴生成部３０により抽出された物体の見かけ上の特徴（見かけ特徴）と、移動特徴生成部４０により算出された移動特徴とを結合する機能を備える。例えば、その結合により得られた情報は、見かけ特徴をベクトルとして表し当該ベクトルの末尾に移動特徴を結合した態様や、グラフ構造により表される。
【００２１】
特徴量記憶部６０は、特徴結合部５０により得られた情報を移動物体の特徴量として保持する。
【００２２】
辞書記憶部７０は、特徴量記憶部６０に格納されている情報を利用して学習した識別モデルである辞書を格納している。識別モデルには、ニューラルネットワークやサポートベクトルマシン等の複数種のモデルの中から、撮像画像の解像度や装置性能などを考慮して適宜に選択されたモデルが採用され、当該採用された識別モデルによる辞書が辞書記憶部７０に格納される。
【００２３】
識別部８０は、辞書記憶部７０に格納されているモデルを参照し、撮像画像に撮像されている移動物体について特徴結合部５０により得られた情報を利用して、撮像画像における移動物体の種類を識別する機能を備える。
【００２４】
提示部９０は、識別部８０の結果を、ユーザに提示する。
【００２５】
なお、特徴量記憶部６０と辞書記憶部７０は、磁気ディスク装置や半導体メモリ等の記憶装置４により実現される。また、前景抽出部２０と見かけ特徴生成部３０と移動特徴生成部４０と特徴結合部５０と識別部８０は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサを含む制御装置３により実現される。換言すれば、制御装置３のプロセッサは、記憶装置４から読み出したコンピュータプログラムを実行することにより、前景抽出部２０と見かけ特徴生成部３０と移動特徴生成部４０と特徴結合部５０と識別部８０としての機能を持つことができる。さらに、提示部９０が識別部８０の結果を提示する手法は、ユーザが移動物体の識別結果を理解できれば特に限定されないが、提示手法の例を挙げると、スピーカーを利用した音声による提示手法や、ディスプレイを利用した文字や写真等の表示による提示手法や、そのような複数の提示手法を組み合わせた手法がある。
【００２６】
次に、第１実施形態における物体識別装置１の動作例を図４を利用して説明する。図４は、物体識別装置１が移動物体を識別する処理の工程例を示すフローチャートである。
【００２７】
例えば、受信部１０は、カメラ等の撮像装置や外部の記憶装置から、撮像画像を取得する（ステップＳ１０１）。前景抽出部２０は、受信部１０を通して得られた撮像画像を前景領域と背景領域に分け、当該撮像画像から前景領域を抽出する（ステップＳ１０２）。見かけ特徴生成部３０は、前景抽出部２０により得られた前景領域における移動物体の画像から見かけ特徴を抽出する（ステップＳ１０３）。
【００２８】
その後、移動特徴生成部４０は、前景抽出部２０により得られた前景領域および背景領域の画像情報を利用して、撮像範囲が同じ且つ撮影時間が異なる複数の撮像画像から、移動物体が抽出できるか否かを判断する（ステップＳ１０４）。移動物体を抽出できない場合には、物体識別装置１は、ステップＳ１０１以降の動作を再度行う。移動物体を抽出できる場合には、移動特徴生成部４０は、前景抽出部２０により得られた前景領域の画像から移動物体を抽出する（ステップＳ１０５）。そして、移動特徴生成部４０は、抽出した移動物体の画像から移動特徴を抽出する（ステップＳ１０６）。
【００２９】
そして、特徴結合部５０は、処理対象として指定された複数枚のフレーム（撮像画像）について、見かけ特徴生成部３０と移動特徴生成部４０によって見かけ特徴と移動特徴が抽出されたか否かを判断する（ステップＳ１０７）。抽出されていない場合には、物体識別装置１は、ステップＳ１０１以降の動作を再度行う。抽出されている場合には、特徴結合部５０は、処理対象の複数枚のフレーム（撮像画像）における見かけ特徴と移動特徴を結合し（ステップＳ１０８）、結合により得られた情報を特徴量記憶部６０へ格納する。
【００３０】
然る後に、識別部８０は、辞書記憶部７０の辞書を参照し、撮像画像に撮像されている移動物体について特徴結合部５０により得られた情報を利用して、撮像画像の移動物体の種類を識別する（ステップＳ１０９）。提示部９０は、識別部８０による識別結果をユーザに提示する（ステップＳ１１０）。
【００３１】
なお、ここで説明した処理の工程は一例であって、処理を実行する順番は適宜変更してもよい。
【００３２】
−効果の説明−
第１実施形態の物体識別装置１および物体識別装置１が実行する物体識別方法は、撮像装置に対して遠近方向に移動することによって撮像画像における面積が変動する移動物体であっても、撮像画像から高い精度で識別できる。その理由は、第１実施形態の物体識別装置１および物体識別方法では、撮像画像における移動物体の移動量を移動物体の面積を利用して正規化し、これにより、撮像装置に対して遠近方向に移動している移動物体と撮像装置との間の距離の変動を吸収するからである。言い換えれば、第１実施形態の物体識別装置１は、移動物体の物理的な大きさは変わらないことを利用して、撮像画像に写りこむ移動物体の大きさを物差しのように扱い、撮像装置に対して遠近方向に移動している移動物体と撮像装置の位置関係の違いを吸収する特徴を生成している。第１実施形態の物体識別装置１は、その特徴を利用して移動物体を識別するため、撮像画像における平面上の移動量だけでは判断できない物理的な移動量が等しい同一種類の物体を高い精度で識別できる。
【００３３】
＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の物体識別装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
【００３４】
第２実施形態では、移動特徴生成部４０が移動特徴を算出する手法が第１実施形態とは異なっている。第２実施形態の物体識別装置１におけるそれ以外の構成は第１実施形態と同様である。
【００３５】
図５は、第２実施形態における移動特徴を算出する手法を説明する図である。なお、図５に表されているフレームＤ２０，Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４は、撮像画像（動画）における時間的に連続しているフレームであり、時間順に配置されている。
【００３６】
移動特徴生成部４０は、指定されている処理対象のフレーム数（Ｎ枚（図５の例では、５枚））のフレームＤ２０〜Ｄ２４から、前景抽出部２０により検知された前景領域Ｄ２０ａ〜Ｄ２４ａを切り出し、それらを全て含む画像Ｄ３０を生成する。さらに、移動特徴生成部４０は、生成した画像Ｄ３０を移動量正規化画像Ｄ４０に変換することにより、撮像画像における移動物体の正規化した移動量を移動特徴として算出する。この特徴は、撮像装置と移動物体との間の距離の違いを吸収する特徴として生成される。なお、処理対象のフレーム数であるＮは、撮像装置により撮像される範囲の状況などを考慮して適宜に設定される。
【００３７】
画像Ｄ３０を移動量正規化画像Ｄ４０に変換する手法の具体例を次に述べる。ここで、移動量正規化画像Ｄ４０の横幅のサイズをＷＤ４０とし、縦幅のサイズをＨＤ４０とする。また、指定されている処理対象のフレーム数Ｎの２分の１の整数をｎとした場合に、−ｎよりも大きく、かつ、ｎ以下の範囲の整数である変数をｉとする（−ｎ＜ｉ≦ｎ）。さらに、Ｔ＋ｉフレームの撮像画像において、前景領域を囲む矩形の左上と右下の撮像画像における座標を，それぞれ（Xleft_i，Yleft_i），（Xright_i，Yright_i）とすると，全てのＴ＋ｉフレームの撮像画像における前景領域を含む画像Ｄ３０の横幅と縦幅のサイズＷＤ３０，ＨＤ３０は、ＷＤ３０＝Ｍａｘ（Xright_i）−Ｍｉｎ（Xleft_i），ＨＤ３０＝Ｍａｘ（Yleft_i）−Ｍｉｎ（Yright_i）と表せる。
【００３８】
移動特徴生成部４０は、画像Ｄ３０を移動量正規化画像Ｄ４０に変換するために、Ｔ＋ｉフレームの撮像画像における前景領域の横幅と縦幅のサイズに、横幅のスケール要素Ｓｗ＝ＷＤ４０／ＷＤ３０、縦幅のスケール要素ＳＨ＝ＨＤ４０／ＨＤ３０を乗算する。これにより、移動特徴生成部４０は、画像Ｄ３０を移動量正規化画像Ｄ４０に変換する。
【００３９】
第２実施形態の物体識別装置１および物体識別方法は、上述したように移動特徴生成部４０によって画像サイズを正規化することにより移動特徴を算出し、当該移動特徴を利用して撮像画像における移動物体を識別する。この第２実施形態の物体識別装置１および物体識別方法においても、第１実施形態の物体識別装置１および物体識別方法により得られる効果と同様の効果を得ることができる。
【００４０】
第１と第２の実施形態で述べた物体識別装置１および物体識別方法は、例えば物流におけるドローン等の飛行体の運行管理に必要なドローンや鳥の監視に適用することができる。
【００４１】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【符号の説明】
【００４２】
１  物体識別装置
１０  受信部
２０  前景抽出部
３０  見かけ特徴生成部
４０  移動特徴生成部
５０  特徴結合部
６０  特徴量記憶部
７０  辞書記憶部
８０  識別部
９０  提示部
【図１】
2020044448.tif 000003
【図２】
2020044448.tif 000004
【図３】
2020044448.tif 000005
【図４】
2020044448.tif 000006
【図５】
2020044448.tif 000007
【手続補正書】
【提出日】令和3年1月19日(2021.1.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項５
【補正方法】変更
【補正の内容】
【請求項５】
撮像画像における移動物体の画像から見かけ上の特徴を見かけ特徴として抽出する処理と、
前記撮像画像における前記移動物体の移動量を正規化し当該正規化により得られた値を移動特徴として算出する処理と、
前記見かけ特徴と前記移動特徴を結合する処理と、
前記見かけ特徴と前記移動特徴の結合により得られた情報を利用して前記移動物体を識別する処理と
をコンピュータに実行させるコンピュータプログラム。
【国際調査報告】
2020044448.tif 000008
2020044448.tif 000009
2020044448.tif 000010