(57)【要約】【課題】画像の背景領域の変化による対象物体の検出精度の低下を抑制可能な、物体検出プログラムを提供する。【解決手段】撮影された画像を取得する手順（ａ）と、画像に含まれる物体を含む領域の候補である候補領域を検出する手順（ｂ）と、画像に含まれる物体の数を検出する手順（ｃ）と、手順（ｂ）による検出結果と、手順（ｃ）による検出結果とに基づいて、画像に含まれる物体を検出する手順（ｄ）と、を有する処理を、コンピューターに実行させるための物体検出プログラム。【選択図】図８
2020027405.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像を取得する手順（ａ）と、
前記画像に含まれる物体を含む領域の候補である候補領域を検出する手順（ｂ）と、
前記画像に含まれる前記物体の数を検出する手順（ｃ）と、
前記手順（ｂ）による検出結果と、前記手順（ｃ）による検出結果とに基づいて、前記画像に含まれる前記物体を検出する手順（ｄ）と、
を有する処理を、コンピューターに実行させるための物体検出プログラム。
【請求項２】
前記処理は、前記画像から特徴量を抽出する手順（ｅ）をさらに有する、請求項１に記載の物体検出プログラム。
【請求項３】
前記手順（ｅ）は、第１の特徴量と、前記第１の特徴量と異なる第２の特徴量とを抽出する、請求項２に記載の物体検出プログラム。
【請求項４】
前記手順（ｃ）は、前記第１の特徴量に基づいて前記物体の数を検出する、請求項３に記載の物体検出プログラム。
【請求項５】
前記手順（ｂ）は、前記第２の特徴量に基づいて前記候補領域を検出する、請求項３または４に記載の物体検出プログラム。
【請求項６】
前記手順（ｂ）は、前記手順（ｅ）によって抽出された前記特徴量に基づいて前記候補領域を検出する、請求項２に記載の物体検出プログラム。
【請求項７】
前記手順（ｂ）および前記手順（ｃ）は、前記手順（ｅ）により抽出された前記特徴量に基づいて、それぞれ前記候補領域および前記物体の数を検出する、請求項２または６に記載の物体検出プログラム。
【請求項８】
前記手順（ｅ）は、畳み込みニューラルネットワークを用いて、前記画像から特徴量を抽出する、請求項２〜７のいずれか一項に記載の物体検出プログラム。
【請求項９】
前記手順（ｅ）により抽出される特徴量は、特徴マップおよび尤度マップの少なくともいずれか一方である、請求項８に記載の物体検出プログラム。
【請求項１０】
前記手順（ｄ）は、前記（ｃ）により検出された前記物体の数の前記候補領域を、前記手順（ｂ）により検出された前記候補領域の中から、尤度が高い順に選択し、選択された前記候補領域を、前記画像に含まれる前記物体として検出する、請求項９に記載の物体検出プログラム。
【請求項１１】
前記手順（ａ）は、複数の前記画像を取得し、
前記手順（ｄ）は、取得された前記複数の画像にそれぞれ対応する、前記手順（ｂ）による検出結果、および前記手順（ｃ）による検出結果に基づいて、前記画像に含まれる前記物体を検出する、請求項１〜１０のいずれか一項に記載の物体検出プログラム。
【請求項１２】
前記複数の画像は時系列で連続して撮影された画像であり、前記複数の画像の一部の画像の、前記時系列における前後の前記画像から、前記手順（ｃ）によりそれぞれ検出された前記物体の数が等しく、かつ前記一部の画像から前記手順（ｃ）により検出された前記物体の数が前記前後の前記画像から検出された前記物体の数と異なる場合、前記一部の画像から検出された前記物体の数を、前記前後の前記画像から検出された前記物体の数に置き換える、請求項１１に記載の物体検出プログラム。
【請求項１３】
前記手順（ｄ）は、置き換えられた前記物体の数に基づいて、前記画像に含まれる前記物体を検出する、請求項１２に記載の物体検出プログラム。
【請求項１４】
撮影された画像を取得する取得部と、
前記画像に含まれる物体を含む領域の候補である候補領域を検出する候補領域検出部と、
前記画像に含まれる前記物体の数を検出する物体数検出部と、
前記候補領域検出部による検出結果と、前記物体数検出部による検出結果とに基づいて、前記画像に含まれる前記物体を検出する物体検出部と、
を有する、物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出プログラム、および物体検出装置に関する。
【背景技術】
【０００２】
病院や老人福祉施設等の施設で、要介護者等の転倒や転落等が生じたときに介護士等のスタッフがすぐに駆けつけられるようにするために、各居室で撮影された撮影画像から要介護者等の状態等を検出するためのシステムの開発が進められている。
【０００３】
また、ショッピングモールやコンビニエンスストア等の施設で、マーケティング等を目的として、比較的広範囲を撮影する広角カメラ等で撮影された撮影画像から客の行動を検出するためのシステムの開発が進められている。
【０００４】
これらのシステムで、人の状態や行動等を検出するためには、撮影画像から、検出対象である人（対象物体）を高精度で検出する必要がある。
【０００５】
撮影画像から対象物体を検知する技術に関連し、下記特許文献１には、次の技術が開示されている。ニューラルネットワークを用いて、撮影画像から特徴マップを生成し、特徴マップに基づいて、物体（オブジェクト）が存在すると推定される領域である候補領域を検出する。そして、ニューラルネットワークを用いて、各候補領域について物体のカテゴリーごとの信頼度スコアを算出して出力する。これにより、撮影画像全体から生成した１つの特徴マップを利用して、候補領域および信頼度スコアの両方の算出を行うことで、高精度かつ高速に対象物体を検出できる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第２０１７／０２０６４３１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に開示された技術は、ニューラルネトワークによる対象物体の検出時の候補領域に含まれる背景領域が、当該ニューラルネットワークの学習時に用いた教師データの撮影画像の背景領域と異なる場合に、対象物体の信頼度スコアが低下し、対象物体の検出精度が低下するという問題がある。
【０００８】
本発明は、このような問題を解決するためになされたものである。すなわち、画像の背景領域の変化による対象物体の検出精度の低下を抑制可能な、物体検出プログラムおよび物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の上記課題は、以下の手段によって解決される。
【００１０】
（１）撮影された画像を取得する手順（ａ）と、前記画像に含まれる物体を含む領域の候補である候補領域を検出する手順（ｂ）と、前記画像に含まれる前記物体の数を検出する手順（ｃ）と、前記手順（ｂ）による検出結果と、前記手順（ｃ）による検出結果とに基づいて、前記画像に含まれる物体を検出する手順（ｄ）と、を有する処理を、コンピューターに実行させるための物体検出プログラム。
【００１１】
（２）前記処理は、前記画像から特徴量を抽出する手順（ｅ）をさらに有する、上記（１）に記載の物体検出プログラム。
【００１２】
（３）前記手順（ｅ）は、第１の特徴量と、前記第１の特徴量と異なる第２の特徴量とを抽出する、上記（２）に記載の物体検出プログラム。
【００１３】
（４）前記手順（ｃ）は、前記第１の特徴量に基づいて前記物体の数を検出する、上記（３）に記載の物体検出プログラム。
【００１４】
（５）前記手順（ｂ）は、前記第２の特徴量に基づいて前記候補領域を検出する、上記（３）または（４）に記載の物体検出プログラム。
【００１５】
（６）前記手順（ｂ）は、前記手順（ｅ）によって抽出された前記特徴量に基づいて前記候補領域を検出する、上記（２）に記載の物体検出プログラム。
【００１６】
（７）前記手順（ｂ）および前記手順（ｃ）は、前記手順（ｅ）により抽出された前記特徴量に基づいて、それぞれ前記候補領域および前記物体数を検出する、上記（２）または（６）に記載の物体検出プログラム。
【００１７】
（８）前記手順（ｅ）は、畳み込みニューラルネットワークを用いて、前記画像から特徴量を抽出する、上記（２）〜（７）のいずれかに記載の物体検出プログラム。
【００１８】
（９）前記手順（ｅ）により抽出される特徴量は、特徴マップおよび尤度マップの少なくともいずれか一方である、上記（８）に記載の物体検出プログラム。
【００１９】
（１０）前記手順（ｄ）は、前記（ｃ）により検出された前記物体の数の前記候補領域を、前記手順（ｂ）により検出された前記候補領域の中から、尤度が高い順に選択し、選択された前記候補領域を、前記画像に含まれる物体として検出する、上記（９）に記載の物体検出プログラム。
【００２０】
（１１）前記手順（ａ）は、複数の前記画像を取得し、前記手順（ｄ）は、取得された前記複数の画像にそれぞれ対応する、前記手順（ｂ）による検出結果、および前記手順（ｃ）による検出結果に基づいて、前記画像に含まれる物体を検出する、上記（１）〜（１０）のいずれかに記載の物体検出プログラム。
【００２１】
（１２）前記複数の画像は時系列で連続して撮影された画像であり、前記複数の画像の一部の画像の、前記時系列における前後の前記画像から、前記手順（ｃ）によりそれぞれ検出された前記物体の数が等しく、かつ前記一部の画像から前記手順（ｃ）により検出された前記物体の数が前記前後の前記画像から検出された前記物体の数と異なる場合、前記一部の画像から検出された前記物体の数を、前記前後の前記画像から検出された前記物体の数に置き換える、上記（１１）に記載の物体検出プログラム。
【００２２】
（１３）前記手順（ｄ）は、置き換えられた前記物体の数に基づいて、前記画像に含まれる物体を検出する、上記（１２）に記載の物体検出プログラム。
【００２３】
（１４）撮影された画像を取得する取得部と、前記画像に含まれる物体を含む領域の候補である候補領域を検出する候補領域検出部と、前記画像に含まれる前記物体の数を検出する物体数検出部と、前記候補領域検出部による検出結果と、前記物体数検出部による検出結果とに基づいて、前記画像に含まれる物体を検出する物体検出部と、を有する、物体検出装置。
【発明の効果】
【００２４】
候補領域と、対象物体の数とを、それぞれ画像から検出し、これらの検出結果に基づいて、画像に含まれる対象物体を検出する。これにより、画像の背景領域の変化による対象物体の検出精度の低下を抑制できる。
【図面の簡単な説明】
【００２５】
【図１】実施形態に係る物体出装置を含む物体検出システムの概略構成を示す図である。
【図２】物体検出装置のハードウェア構成を示すブロック図である。
【図３】物体検出装置の制御部の機能を示すブロック図である。
【図４】候補領域検出部、物体数検出部、および物体検出部の機能を説明するための説明図である。
【図５】教師データに含まれる撮影画像に対し背景領域の画像の変化がない撮影画像と、当該撮影画像から検出された候補領域の尤度の分布を示す説明図である。
【図６】教師データに含まれる撮影画像に対し背景領域の画像の変化がある撮影画像と、当該撮影画像から検出された候補領域の尤度の分布を示す説明図である。
【図７】時系列で連続して撮影された撮影画像からそれぞれ対象者を検出する場合の、物体数の平滑化処理について説明するための説明図である。
【図８】物体検出装置の動作を示すフローチャートである。
【図９】物体検出装置の制御部の機能を示すブロック図である。
【図１０】物体検出装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明の実施形態に係る物体検出プログラムおよび物体検出装置について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【００２７】
（第１実施形態）
図１は、実施形態に係る物体出装置を含む物体検出システムの概略構成を示す図である。
【００２８】
物体検出システム１０は、物体検出装置１００、撮影装置２００、および通信ネットワーク３００を備える。物体検出装置１００は、通信ネットワーク３００により撮影装置２００と相互に通信可能に接続される。本明細書において、対象物体とは、物体検出装置１００が検出対象とする物体である。対象物体には複数のカテゴリーが含まれ得る。カテゴリーとは、物体検出装置１００が認識可能な物体の種別であり、人、犬、猫、ベッド、机、椅子等が含まれる。カテゴリーには、対象物体以外の物体の種別も含まれる。以下、説明を簡単にするために、対象物体は対象者５０（すなわち、「人」）であるものとして説明する。
【００２９】
物体検出装置１００は、撮影装置２００により撮影された画像（以下、単に「撮影画像２５０」と称する（図５等参照））を、撮影装置２００から受信し、撮影画像２５０に含まれる対象者５００を対象物体として検出する。物体検出装置１００は、コンピューターにより構成される。例えば、物体検出装置１００は、サーバーとして構成され得る。
【００３０】
撮影装置２００は、例えば、近赤外線カメラにより構成され、所定の位置に設置されることで、当該所定の位置を視点として俯瞰される撮影領域（検出領域）を撮影する。すなわち、撮影装置２００は、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｅｖｉｃｅ）により近赤外線を撮影領域に向けて照射し、撮影領域内の物体により反射される近赤外線の反射光をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーにより受光することで撮影領域を撮影し得る。撮影画像２５０は近赤外線の反射率を各画素とするモノクロ画像であり得る。なお、撮影装置２００は、可視光カメラであってもよく、撮影画像２５０はカラー画像であってもよい。所定の位置は、たとえば対象者５００の居室の天井である。撮影領域は、たとえば居室の床全体を含む３次元の領域である。撮影装置２００は、たとえば１５ｆｐｓ〜３０ｆｐｓのフレームレートの動画として撮影領域を撮影し得る。撮影画像２５０は動画と静止画とを含む。撮影装置２００は、撮影画像２５０を物体検出装置１００等に送信する。
【００３１】
通信ネットワーク３００には、イーサネット（登録商標）などの有線通信規格によるネットワークインターフェースを使用し得る。通信ネットワーク３００には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信規格によるネットワークインターフェースを使用してもよい。
【００３２】
図２は、物体検出装置のハードウェア構成を示すブロック図である。物体検出装置１００は、制御部１１０、記憶部１２０、表示部１３０、入力部１４０、および通信部１５０を有する。これらの構成要素は、バス１６０を介して相互に接続される。
【００３３】
制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により構成され、プログラムにしたがって物体検出装置１００の各部の制御および演算処理を行う。制御部１１０の機能の詳細については後述する。
【００３４】
記憶部１２０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、およびＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）により構成され得る。ＲＡＭは、制御部１１０の作業領域として一時的にプログラムやデータを記憶する。ＲＯＭは、あらかじめ各種プログラムや各種データを格納する。ＳＳＤは、オペレーションシステムを含む各種プログラムおよび各種データを格納する。
【００３５】
表示部１３０は、たとえば液晶ディスプレイであり、各種情報を表示する。
【００３６】
入力部１４０は、たとえばタッチパネルや各種キーにより構成される。入力部１４０は、各種操作、入力のために使用される。
【００３７】
通信部１５０は、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ  Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いられ得る。その他、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースが用いられ得る。
【００３８】
制御部１１０の機能の詳細について説明する。
【００３９】
図３は、物体検出装置の制御部の機能を示すブロック図である。制御部１１０は、画像取得部１１１、特徴マップ抽出部１１２、候補領域検出部１１３、物体数検出部１１４、および物体検出部１１５を有する。画像取得部１１１は取得部を構成する。特徴マップ抽出部１１２および候補領域検出部１１３は、候補領域検出部を構成する。
【００４０】
画像取得部１１１は、通信部１５０を介して撮影装置２００から受信した撮影画像２５０を取得する。
【００４１】
特徴マップ抽出部１１２は、畳み込みニューラルネットワーク（以下、「ＣＮＮ」と称する）により構成され、撮影画像２５０から特徴マップ２５２（図４参照）を抽出する。特徴マップは、ＣＮＮにより撮影画像２５０が畳み込み演算されることで撮影画像２５０全体から抽出された、画素の特徴量のマップである。
【００４２】
候補領域検出部１１３は、ＣＮＮ（第２ＣＮＮ、第３ＣＮＮ）により構成され、特徴マップ２５２から撮影画像２５０上で対象者５００が含まれる領域の候補である候補領域２５３を検出する。候補領域検出部１１３は、例えば、対象者５００の画像（すなわち、対象物体である「人」の画像）を含む撮影画像２５０と、当該撮影画像２５０に対する対象者５００の検出結果の正解と、の組み合わせからなる教師データを用いて、特徴マップ抽出部１１２とともに予め学習される。これにより、候補領域検出部１１３は、撮影画像２５０から抽出された特徴マップ２５２から、候補領域２５３を検出する機能を備える。候補領域検出部１１３は、Ｆａｓｔｅｒ  Ｒ−ＣＮＮ、Ｆａｓｔ  Ｒ−ＣＮＮ、Ｒ−ＣＮＮ等のＣＮＮを用いた公知の技術により候補領域２５３を検出し得る。候補領域検出部１１３は対象者５００（すなわち、「人」のカテゴリー）が含まれる領域の候補を、候補領域２５３として検出する。候補領域検出部１１３は、さらに、候補領域２５３ごとに、対象者５００が含まれる確率を示す尤度を算出する。候補領域検出部１１３は、各候補領域２５３を、当該候補領域２５３に対応する尤度等とともに出力する。
【００４３】
物体数検出部１１４は、ＣＮＮ（第１ＣＮＮ）により構成され、特徴マップ２５２から撮影画像２５０に含まれる対象者５００の人数を物体の数（以下、「物体数」と称する）として検出する。物体数検出部１１４は、例えば、対象者５００の画像（すなわち、対象物体である「人」の画像）を含む撮影画像２５０と、当該撮影画像２５０に対する対象者５００の人数の正解と、の組み合わせからなる教師データを用いて、特徴マップ抽出部１１２とともに予め学習される。これにより、物体数検出部１１４は、撮影画像２５０の画像全体から抽出された特徴マップ２５２から、物体数を検出する機能を備える。
【００４４】
物体検出部１１５は、物体数検出部１１４により検出された物体数、ならびに、候補領域検出部１１３により検出された候補領域２５３および当該候補領域２５３に対応する尤度に基づいて、対象者５００を検出する。具体的には、物体検出部１１５は、検出された物体の候補領域２５３を、検出された候補領域２５３の中から尤度の高い順に選択する。これにより、選択された候補領域２５３を、対象者５００が含まれる領域である出力矩形２５４として検出し、対象者５００の検出結果として出力する。
【００４５】
候補領域検出部１１３、物体数検出部１１４、および物体検出部１１５の機能についてさらに詳細に説明する。
【００４６】
図４は、候補領域検出部、物体数検出部、および物体検出部の機能を説明するための説明図である。
【００４７】
候補領域検出部１１３は、ＣＮＮとして、第２ＣＮＮおよび第３ＣＮＮを含む。特徴マップ２５２は、第２ＣＮＮに入力され、第２ＣＮＮにより候補領域２５３が検出される。なお、図４においては、説明を簡単にするために、特徴マップ２５２等が、特徴が抽出される前の撮影画像２５０と同じ外観で示されている。しかし、特徴マップ２５２は、撮影画像２５０から抽出された画素の特徴量であり、撮影画像２５０よりも圧縮されているため、実際は撮影画像２５０と同じ外観にはならない。第２ＣＮＮにより検出された候補領域２５３は、第３ＣＮＮにそれぞれ入力される。第３ＣＮＮは、それぞれの候補領域２５３について、尤度を算出する。第３ＣＮＮは、さらに、各候補領域２５３について、候補領域２５３の撮影画像２５０における座標、ならびに候補領域２５３の大きさおよび形状（例えば、アスペクト比）を補正するための補正量を算出することで、補正後の候補領域２５３の座標、ならびに候補領域２５３の大きさおよび形状を算出し得る。第３ＣＮＮは、各候補領域２５３を、当該候補領域２５３に対応する尤度、ならびに補正後の座標、大きさ、および形状とともに出力する。
【００４８】
図４の例においては、候補領域２５３ａは、尤度０．２として出力され、候補領域２５３ｂは、尤度０．７として出力され、候補領域２５３ｃは、尤度０．４として出力されている。候補領域２５３ｃには対象者５００の比較的大きな部分が含まれているにもかかわらず、候補領域２５３ｃの尤度が低いのは、候補領域２５３ｃの画像の背景領域を含む全体の明度が低く、対象者５００が存在する領域とそれ以外の領域の明度の差が小さくなっているからであると考えられる。
【００４９】
なお、第２ＣＮＮは、候補領域２５３を検出する際、例えば、撮影画像２５０上に規則的に設定したアンカー（基準矩形）ごとに、対象物体が存在する可能性を示す物体スコアの算出と、当該アンカーの大きさおよび形状の補正等を行う。そして、補正後のアンカーを閾値処理することで候補領域２５３を検出し得る。当該物体スコアは、候補領域２５３ごとに候補領域２５３に対象物体が存在する確率を示すため、第３ＣＮＮにより算出される尤度と近い性質を有する。従って、第２ＣＮＮにより算出される物体スコアを、第３ＣＮＮにより候補領域２５３ごとに算出される尤度の代わりとして用い得る。しかし、第２ＣＮＮにより算出される物体スコアは撮影画像２５０全体から算出されるため、第３ＣＮＮにより候補領域２５３ごとに算出される尤度に対し精度が比較的低い。このため、第３ＣＮＮにより候補領域２５３ごとに算出される尤度を用いて、物体検出部１１５により対象者５００を検出することがより望ましい。
【００５０】
物体数検出部１１４は、ＣＮＮとして、第１ＣＮＮを含む。特徴マップ２５２は、第１ＣＮＮに入力され、第１ＣＮＮは、特徴マップ２５２に基づいて、撮影画像２５０の全体から、物体数を検出する。撮影画像２５０の全体から、対象者５００の位置等を検出せず、物体数のみを検出するため、高精度に物体数を検出できる。図４の例においては、物体数が２と検出されている。
【００５１】
物体検出部１１５は、検出された物体数の候補領域２５３を、検出された候補領域２５３の中から尤度の高い順に選択する。図４の例においては、物体検出部１１５は、物体数は２つと検出されているため、検出された３つの候補領域２５３のうち、尤度が高い順に２つの候補領域２５３ｂ、２５３ｃを選択し、出力矩形２５４として検出する。物体検出部１１５は、候補領域検出部１１３から取得した、候補領域２５３ｂ、２５３ｃの補正後の座標、大きさ、および形状に従って、候補領域２５３ｂ、２５３ｃの座標等を補正し、補正した候補領域２５３ｂ、２５３ｃを出力矩形２５４とし得る。図４に示すように、候補領域２５３ｂ、２５３ｃが補正されることで、出力矩形２５４には、対象者５００の全体が含まれるようになっており、対象者５００の検出精度が向上されている。
【００５２】
背景領域の画像が変化することにより、撮影画像２５０から検出された候補領域２５３の尤度が変動する理由について説明する。
【００５３】
図５は、教師データに含まれる撮影画像に対し背景領域の画像の変化がない撮影画像と、当該撮影画像から検出された候補領域の尤度の分布を示す説明図である。図６は、教師データに含まれる撮影画像に対し背景領域の画像の変化がある撮影画像と、当該撮影画像から検出された候補領域の尤度の分布を示す説明図である。以下、説明を簡単にするために、教師データに含まれる撮影画像は、全て、背景領域に何も映っていない画像であるものとして説明する。
【００５４】
図５のＡは、教師データに含まれる撮影画像２５０に対し背景領域の画像の変化がない撮影画像２５０を示している。図５のＢは、教師データに含まれる撮影画像に対し背景領域の画像の変化がない撮影画像２５０から検出された候補領域２５３の尤度の分布を示している。図５のＢの横軸は尤度を示し、縦軸は候補領域２５３の数を示している。また、黒で示す分布は対象者５００を含む候補領域２５３の分布であり、グレーで示す分布は対象者５００以外の物体等を含む候補領域２５３の分布である。
【００５５】
図５のＢに示す、教師データに含まれる撮影画像に対し背景領域の画像の変化がない撮影画像２５０から検出された、対象者５００を含む候補領域２５３の分布（黒で示す分布）を参照すれば、ほぼ全ての候補領域２５３の尤度が０．５以上となっている。一方、対象者５００以外の物体等を含む候補領域２５３の分布（グレーで示す分布）を参照すれば、ほぼ全ての候補領域２５３の尤度が０．５未満となっている。このため、両者の分布の境界は０．５の尤度であるといえる。従って、０．５以上の尤度の候補領域２５３を出力矩形２５４として検出する閾値処理により高精度に対象者５００を検出できる。これは、教師データにおいては、対象者５００を含む撮影画像２５０を尤度１の正解と対応させ、対象者５００を含まない撮影画像２５０は尤度０の正解と対応させており、このような教師データにより候補領域検出部１１３が学習されているからである。
【００５６】
図６のＡ１、Ａ２は、教師データに含まれる撮影画像に対し背景領域の画像の変化が比較的大きい撮影画像２５０を示している。図６のＢは、教師データに含まれる撮影画像に対し背景領域の画像の変化が比較的大きい撮影画像２５０から検出された候補領域２５３の尤度の分布を示している。図６のＢの横軸は尤度を示し、縦軸は候補領域２５３の数を示している。また、黒で示す分布は対象者５００を含む候補領域２５３の分布であり、グレーで示す分布は対象者５００以外の物体等を含む候補領域２５３の分布である。
【００５７】
図６のＡ１のように、背景領域において明度の高い領域と低い領域が存在するような撮影画像２５０は、教師データに含まれる撮影画像に対し背景領域の画像の変化が比較的大きい例である。図６のＡ２のように、背景領域において教師データの背景領域になかった物体の画像が加わっているような撮影画像２５０も、教師データに含まれる撮影画像に対し背景領域の画像の変化が比較的大きい例である。
【００５８】
図６のＢに示す、教師データに含まれる撮影画像に対し背景領域の画像の変化が比較的大きい撮影画像２５０から検出された、対象者５００を含む候補領域２５３の分布（黒で示す分布）を参照すれば、ほぼ全ての候補領域２５３が含まれる尤度は０．４以上となっている。一方、対象者５００以外の物体等を含む候補領域２５３の分布（グレーで示す分布）を参照すれば、ほぼ全ての候補領域２５３が含まれる尤度は０．４未満となっている。このため、両者の分布の境界は０．４の尤度であるといえる。このように、背景領域の画像の変化により候補領域２５３の尤度が変動するのは、背景領域の変化により、背景領域と対象者５００が存在する領域との明度の差が小さくなる等により、両者の特徴の差異が相対的に小さくなるためと考えられる。また、背景領域において教師データの背景領域になかった物体の画像が加わると、候補領域２５３に含まれる対象者５００以外の物体が尤度をもつことで、対象者５００の尤度が相対的に低下するためと考えられる。
【００５９】
図６の例においては、従来の物体検出方法では、０．４以上の尤度の候補領域２５３を出力矩形２５４として検出する閾値処理をする必要がある。しかし、尤度に関する閾値処理により、候補領域２５３の中から、対象者５００が含まれる出力矩形２５４を精度よく検出しようとすると、背景領域の画像の変化に応じて閾値を動的に変化させる必要があり、処理が非常に複雑になり、検出結果が不安定になる。
【００６０】
本実施形態においては、候補領域２５３と、物体数とを、それぞれ特徴マップ２５２から検出し、検出された物体数の候補領域２５３を、検出された候補領域２５３の中から尤度の高い順に選択し、選択した候補領域２５３を出力矩形２５４として検出する。これにより、上述した従来の物体検出方法における閾値処理において、背景領域の画像の変化に応じて閾値を動的に変化させることと、同様な効果が得られる。
【００６１】
時系列で順に撮影された複数の撮影画像２５０からそれぞれ対象者５００を検出する場合の、各撮影画像２５０から検出される物体数の平滑化処理について説明する。
【００６２】
図７は、時系列で順に撮影された撮影画像からそれぞれ対象者を検出する場合の、物体数の平滑化処理について説明するための説明図である。物体数の平滑化処理を行うために、制御部１１０の機能として、図３に示す制御部１１０の機能に対し、さらに、物体数平滑化部１１６の機能が追加され得る。
【００６３】
図７において、撮影画像Ａ、撮影画像Ｂ、および撮影画像Ｃは、時系列で、撮影画像Ａ、撮影画像Ｂ、撮影画像Ｃの順で撮影された撮影画像２５０である。撮影画像Ａ、撮影画像Ｂ、および撮影画像Ｃは、時系列で連続的に撮影された撮影画像２５０であり得る。撮影画像Ａ、撮影画像Ｂ、および撮影画像Ｃは、時系列で連続的に撮影された複数の撮影画像２５０から、間欠的に選択された撮影画像２５０であってもよい。
【００６４】
撮影画像Ａ、撮影画像Ｂ、および撮影画像Ｃから、特徴マップ抽出部１１２（図３参照）によりそれぞれ抽出された特徴マップ２５２は、候補領域検出部１１３と、物体数検出部１１４にそれぞれ入力される。物体数検出部１１４は、撮影画像Ａ、撮影画像Ｂ、および撮影画像Ｃの特徴マップ２５２からそれぞれ物体数を検出する。物体数平滑化部１１６は、撮影画像Ａおよび撮影画像Ｃの特徴マップ２５２から物体数検出部１１４によりそれぞれ算出された物体数と、撮影画像Ｂの特徴マップ２５２から算出された物体数とが異なる場合は、物体数の平滑化処理を行う。すなわち、時系列で連続して撮影された複数の撮影画像２５０の一部の撮影画像Ｂの、時系列における前後の撮影画像Ａ、Ｃから検出された物体数が等しく、かつ当該一部の撮影画像Ｂから検出された物体数が異なる場合、物体数の平滑化処理を行う。具体的には、撮影画像Ｂから検出された物体数（１つ）を、撮影画像Ａ、Ｃからそれぞれ検出された物体数（２つ）で置き換える、物体数の平滑化処理を行う。物体検出部１１５は、候補領域検出部１１３で検出された撮影画像Ａ、撮影画像Ｂ、および撮影画像Ｃに関する候補領域２５３と、物体数平滑化部１１６により平滑化処理がなされることで得られた物体数（２つ）とに基づいて、撮影画像Ａ、撮影画像Ｂ、および撮影画像Ｃのそれぞれに関する出力矩形２５４を検出する。なお、物体数の平滑化処理は、次のように行ってもよい。例えば、時系列で連続して撮影された複数の撮影画像２５０の物体数検出部１１４によりそれぞれ算出された物体数の平均値または中央値を、当該複数の撮影画像２５０の物体数とする平滑化処理を行ってもよい。
【００６５】
物体数の平滑化処理をするのは次の理由による。時系列で連続する撮影画像２５０では、画像中の物体数が急激に変化することは少なく、連続的に安定して変化することが多い。このため、時系列で連続する撮影画像２５０で画像中の物体数が急激に変化した場合、ノイズ等により物体数の誤検出（誤って少なく検出された場合と、誤って多く検出された場合とを含む）が発生した可能性が比較的高い。そこで、物体数の平滑化処理をすることで、誤検出された物体数を、正しい物体数と推定される、上述した急激な変化の前後の撮影画像２５０から検出された物体数に補正する。これにより、ノイズ等により物体数の誤検出の影響を抑制することで、安定した物体検出を実現する。
【００６６】
物体検出装置１００の動作について説明する。
【００６７】
図８は、物体検出装置の動作を示すフローチャートである。本フローチャートは、記憶部１２０に記憶されたプログラムに従い、制御部１１０により実行される。
【００６８】
制御部１１０は、撮影装置２００から、通信部１５０を介して撮影画像２５０を取得する（Ｓ１０１）。
【００６９】
制御部１１０は、撮影画像２５０から特徴マップを抽出する（Ｓ１０２）。
【００７０】
制御部１１０は、第１ＣＮＮにより、特徴マップ２５２に基づいて物体数を検出する。制御部１１０は、第２ＣＮＮにより、特徴マップ２５２に基づいて候補領域２５３を検出する（Ｓ１０３）。
【００７１】
制御部１１０は、第３ＣＮＮにより、候補領域２５３ごとに尤度を算出する（Ｓ１０４）。
【００７２】
制御部１１０は、時系列で順に撮影された複数の撮影画像２５０に基づいて、物体数の平滑化処理が必要であると判断した場合は（Ｓ１０５：ＹＥＳ）、検出された物体数に対し平滑化処理を行い、検出された物体数を平滑化した物体数で置換する（Ｓ１０６）。その後、制御部１１０は、ステップＳ１０７の処理へ移行する。
【００７３】
制御部１１０は、複数の撮影画像２５０に基づいて、物体数の平滑化処理が不要であると判断した場合は（Ｓ１０５：ＮＯ）、ステップＳ１０７の処理へ移行する。
【００７４】
制御部１１０は、得られた物体数の候補領域２５３を、尤度が高い順に選択する（Ｓ１０７）。
【００７５】
制御部１１０は、選択された候補領域２５３を、物体の検出結果である出力矩形２５４として出力する（Ｓ１０８）。
【００７６】
（第２実施形態）
第２実施形態について説明する。第２実施形態が第１実施形態と異なる点は次の点である。第１実施形態は、候補領域検出部１１３と物体数検出部１１４とで、共通の特徴量（図３の例では、特徴マップ２５２）を用いる。一方、第２実施形態は、候補領域検出部１１３と物体数検出部１１４とで、異なる特徴量を用いる点である。その他の点については、第２実施形態は第１実施形態と同様であるため、重複となる説明は省略または簡略化する。
【００７７】
図９は、物体検出装置の制御部の機能を示すブロック図である。制御部１１０は、画像取得部１１１、特徴マップ抽出部１１２、候補領域検出部１１３、物体数検出用特徴量抽出部１１７、物体数検出部１１４、および物体検出部１１５を有する。物体数検出用特徴量抽出部１１７は物体数検出部１１４とともに、物体数検出部を構成する。
【００７８】
画像取得部１１１は、通信部１５０を介して撮影装置２００から受信した撮影画像２５０を取得する。
【００７９】
特徴マップ抽出部１１２は、ＣＮＮ（第５ＣＮＮ）により構成され、撮影画像２５０から特徴マップ２５２（第２の特徴量）を抽出する。
【００８０】
候補領域検出部１１３は、ＣＮＮ（第２ＣＮＮおよび第３ＣＮＮ）により構成され、特徴マップ２５２から候補領域２５３を検出する。候補領域検出部１１３は、例えば、対象者５００の画像を含む撮影画像２５０と、当該撮影画像２５０に対する対象者５００の検出結果の正解と、の組み合わせからなる教師データを用いて、特徴マップ抽出部１１２とともに予め学習される。これにより、候補領域検出部１１３は、撮影画像２５０から抽出された特徴マップ２５２から、候補領域２５３を検出する機能を備える。候補領域検出部１１３は、Ｆａｓｔｅｒ  Ｒ−ＣＮＮ等のＣＮＮを用いた公知の技術により候補領域２５３を検出し得る。候補領域検出部１１３は対象者５００が含まれる領域の候補を、候補領域２５３として検出する。候補領域検出部１１３は、さらに、候補領域２５３ごとに、尤度を算出する。候補領域検出部１１３は、各候補領域２５３を、当該候補領域２５３に対応する尤度等とともに出力する。
【００８１】
物体数検出用特徴量抽出部１１７は、ＣＮＮ（第４ＣＮＮ）により構成され、撮影画像２５０から物体数を検出するための、物体数検出用特徴量（第１の特徴量）を抽出する。物体数検出用特徴量は、例えば尤度マップであり得る。尤度マップは、撮影画像２５０の画素（または複数の画素）ごとの尤度の分布を示すマップである。物体数検出用特徴量は、物体数の検出に適した特徴量であれば限定されない。
【００８２】
なお、特徴マップ抽出部１１２を構成する第５ＣＮＮと物体数検出用特徴量抽出部１１７を構成する第４ＣＮＮは、一部のネットワークを共有してもよい。すなわち、例えば、物体数検出用特徴量抽出部１１７は、特徴マップ抽出部１１２を構成する第５ＣＮＮの比較的下位のレイヤーによる処理結果を利用して、ＣＮＮにより物体数検出用特徴量を抽出してもよい。
【００８３】
物体数検出部１１４は、ＣＮＮ（第１ＣＮＮ）により構成され、物体数検出用特徴量から撮影画像２５０に含まれる対象者５００の人数を物体数として検出する。物体数検出部１１４は、例えば、対象者５００の画像を含む撮影画像２５０と、当該撮影画像２５０に対する対象者５００の人数の正解と、の組み合わせからなる教師データを用いて、物体数検出用特徴量抽出部１１７とともに予め学習される。これにより、物体数検出部１１４は、物体数検出用特徴量から、物体数を検出する機能を備える。
【００８４】
物体検出部１１５は、物体数検出部１１４により検出された物体数、ならびに、候補領域検出部１１３により検出された候補領域２５３および当該候補領域２５３に対応する尤度、に基づいて、対象者５００を検出する。具体的には、物体検出部１１５は、検出された物体数の候補領域２５３を、検出された候補領域２５３の中から尤度の高い順に選択する。これにより、選択された候補領域２５３を、対象者５００が含まれる領域である出力矩形２５４を検出し、対象者５００の検出結果として出力する。
【００８５】
図１０は、物体検出装置の動作を示すフローチャートである。本フローチャートは、記憶部１２０に記憶されたプログラムに従い、制御部１１０により実行される。
【００８６】
制御部１１０は、撮影装置２００から、通信部１５０を介して撮影画像２５０を取得する（Ｓ２０１）。
【００８７】
制御部１１０は、第４ＣＮＮにより、撮影画像２５０から物体数検出用特徴量を抽出する。制御部１１０は、第５ＣＮＮにより、特徴マップを抽出する（Ｓ２０２）。
【００８８】
制御部１１０は、第１ＣＮＮにより、物体数検出用特徴量に基づいて物体数を検出する。制御部１１０は、第２ＣＮＮにより、特徴マップ２５２に基づいて候補領域２５３を検出する（Ｓ２０３）。
【００８９】
制御部１１０は、第３ＣＮＮにより、候補領域２５３ごとに尤度を算出する（Ｓ２０４）。
【００９０】
制御部１１０は、時系列で順に撮影された複数の撮影画像２５０に基づいて、物体数の平滑化処理が必要であると判断した場合は（Ｓ２０５：ＹＥＳ）、検出された物体数に対し平滑化処理を行い、検出された物体数を平滑化した物体数で置換する（Ｓ２０６）。その後、制御部１１０は、ステップＳ２０７の処理へ移行する。
【００９１】
制御部１１０は、複数の撮影画像２５０に基づいて、物体数の平滑化処理が不要であると判断した場合は（Ｓ２０５：ＮＯ）、ステップＳ２０７の処理へ移行する。
【００９２】
制御部１１０は、得られた物体数の候補領域２５３を、尤度が高い順に選択する（Ｓ２０７）。
【００９３】
制御部１１０は、選択された候補領域２５３を、物体の検出結果である出力矩形２５４として出力する（Ｓ２０８）。
【００９４】
本発明に係る実施形態は、以下の効果を奏する。
【００９５】
候補領域と対象物体の物体数を、それぞれ撮影画像から検出し、これらの検出結果に基づいて、撮影画像に含まれる対象物体を検出する。これにより、画像の背景領域の変化による対象物体の検出精度の低下を抑制できる。
【００９６】
さらに、撮影画像から特徴量を抽出する。これにより、撮影画像から抽出した特徴量を、候補領域の検出および物体数の検出に利用できる。
【００９７】
さらに、撮影画像から、互いに異なる第１の特徴量および第２の特徴量を抽出する。これにより、候補領域の検出および物体数の検出にそれぞれ適した特徴量を利用して、高精度に候補領域の検出および物体数の検出ができる。
【００９８】
さらに、撮影画像から抽出した、互いに異なる第１の特徴量および第２の特徴量のうち、第１の特徴量に基づいて物体数を検出する。これにより、画像の背景領域の変化による対象物体の検出精度の低下を効果的に抑制できる。
【００９９】
さらに、撮影画像から抽出した、互いに異なる第１の特徴量および第２の特徴量のうち、第２の特徴量に基づいて候補領域を検出する。これにより、画像の背景領域の変化による対象物体の検出精度の低下を効果的に抑制できる。
【０１００】
さらに、撮影画像から抽出した特徴量に基づいて候補領域を検出する。これにより、候補領域を高精度に検出できる。
【０１０１】
さらに、撮影画像から抽出した特徴量に基づいて候補領域および物体数を検出する。これにより、候補領域および物体数を検出するためのネットワーク構成を単純化でき、高速かつ高精度に対象物体を検出できる。
【０１０２】
さらに、ＣＮＮを用いて、撮影画像から特徴量を抽出する。これにより、高精度に撮影画像の特徴を抽出できる。
【０１０３】
さらに、撮影画像から、特徴マップおよび尤度マップの少なくともいずれか一方の特徴量を抽出する。これにより、高精度に、候補領域および物体数を検出できる。
【０１０４】
さらに、検出された物体数の候補領域を、検出された候補領域の中から、尤度が高い順に選択し、選択された候補領域を、画像に含まれる対象物体として検出する。これにより、画像の背景領域の変化による対象物体の検出精度の低下をより効果的に抑制できる。
【０１０５】
さらに、複数の撮影画像を取得し、当該複数の画像にそれぞれ対応する、候補領域の検出結果、および物体数の検出結果に基づいて、撮影画像に含まれる物体を検出する。これにより、撮影画像に含まれ得るノイズ等による対象物体の検出精度の低下を抑制できる。
【０１０６】
さらに、複数の撮影画像を時系列で連続して撮影された撮影画像とし、当該複数の画像の一部の画像の、時系列における前後の撮影画像から、それぞれ検出された物体数が等しく、かつ当該一部の画像から検出された物体数が当該前後の撮影画像から検出された物体数と異なる場合、当該一部の画像から検出された物体数を、当該前後の撮影画像から検出された物体数に置き換える。これにより、撮影画像に含まれ得るノイズ等による対象物体の検出精度の低下を効果的に抑制できる。
【０１０７】
さらに、置き換えられた物体数に基づいて、撮影画像に含まれる対象物体を検出する。これにより、撮影画像に含まれ得るノイズ等による対象物体の検出精度の低下を効果的に抑制できる。
【０１０８】
以上に説明した物体検出システム１０の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な物体検出システムが備える構成を排除するものではない。
【０１０９】
例えば、物体検出装置１００が有する機能を、コンピューターを内蔵する撮影装置２００が備えるようにしてもよい。
【０１１０】
また、物体検出装置１００、および撮影装置２００は、それぞれ複数の装置により構成されてもよく、いずれか複数の装置が単一の装置として構成されてもよい。
【０１１１】
また、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。
【０１１２】
また、特徴マップ抽出部１１２は、特徴マップ以外の特徴量を抽出してもよい。例えば、特徴マップ抽出部１１２は、尤度マップを抽出してもよい。この場合、候補領域検出部１１３は、尤度マップに基づいて候補領域を検出する。
【０１１３】
また、対象物体は、人に限定されず、猫、または犬等であってもよく、対象物体に複数のカテゴリーが含まれてもよい。
【０１１４】
また、上述した実施形態においてＣＮＮにより実現していた機能を、ＣＮＮ以外の機械学習手段により実現してもよい。
【０１１５】
また、上述した実施形態においては、第１〜第５ＣＮＮは別々のネットワークとして記載しているが、一部または全部が１つのネットワークとして構成されてもよい。
【０１１６】
また、候補領域検出部１１３は、人を含むあらゆる物体（オブジェクト）を含む候補領域２５３を検出してもよい。その際、候補領域２５３ごとにオブジェクトごとの尤度を算出してもよい。そして、物体検出部１１５により、人に関する尤度が人以外に関する尤度よりも相対的に高くなっている候補領域２５３を、人を含む領域として出力矩形２５４を検出してもよい。
【０１１７】
また、撮影画像２５０において家具が配置されている等の理由により、対象者５００が存在し得ない領域が予め判っているような場合は、物体数の検出にあたり、当該領域をマスクする処理をする等により、補正された物体数が検出されるようにしてもよい。
【０１１８】
また、上述した物体検出システム１０における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検出部等の装置のソフトウエアに組み込まれてもよい。
【符号の説明】
【０１１９】
１０    物体検出システム、
１００    物体検出装置、
１１０    制御部、
１１１    画像取得部、
１１２    特徴マップ抽出部、
１１３    候補領域検出部、
１１４    物体数検出部、
１１５    物体検出部、
１１６    物体数平滑化部、
１１７    物体数検出用特徴量抽出部、
１２０    記憶部、
１３０    表示部、
１４０    入力部、
１５０    通信部、
２００    撮影装置、
２５０    撮影画像、
２５２    特徴マップ、
２５３、２５３ａ、２５３ｂ、２５３ｃ    候補領域、
２５４    出力矩形、
３００    通信ネットワーク、
５００    対象者。
【図１】
2020027405.tif 000003
【図２】
2020027405.tif 000004
【図３】
2020027405.tif 000005
【図４】
2020027405.tif 000006
【図５】
2020027405.tif 000007
【図６】
2020027405.tif 000008
【図７】
2020027405.tif 000009
【図８】
2020027405.tif 000010
【図９】
2020027405.tif 000011
【図１０】
2020027405.tif 000012