(57)【要約】【課題】画像内のオブジェクト数に依存しない処理時間でＩｎｓｔａｎｃｅ  ｓｅｇｍｅｎｔａｔｉｏｎを実現する。【解決手段】画像供給部はカメラから画像を供給する。オブジェクトの存在確率およびオフセット位置算出部は、画像から特定種類のオブジェクトの存在確率および個々のオブジェクトのアンカー位置に対するオフセット位置を、画素単位で算出する。オブジェクト領域検出部は、算出されたオブジェクトの存在確率とオフセット位置とを統合して、個々のオブジェクトの画素位置を検出する。【選択図】図５
2020052476.tif 000002
【特許請求の範囲】
【請求項１】
画像から特定種類のオブジェクトの位置を画素単位で検出するオブジェクト検出装置であって、
前記画像から、前記特定種類のオブジェクトの存在確率および個々のオブジェクトのアンカー位置に対するオフセット位置を、画素単位で算出する算出手段と、
算出された前記オブジェクトの存在確率が所定の閾値以上の画素の、画像内位置と前記オフセット位置とを加算した位置の集合を用いて、個々のオブジェクトの画素位置を検出するオブジェクト領域検出手段とを有する、オブジェクト検出装置。
【請求項２】
前記アンカー位置は、個々のオブジェクトの中心位置である、請求項1に記載のオブジェクト検出装置。
【請求項３】
前記オフセット位置は、前記画像の水平方向と垂直方向とに分離して算出される、請求項1に記載のオブジェクト検出装置。
【請求項４】
前記算出手段は、畳み込みニューラルネットワークであり、前記画像を入力として、前記画像の各画素における前記オブジェクトの存在確率および前記アンカー位置に対するオフセット位置を出力することが可能なニューラルネットワークである、請求項1に記載のオブジェクト検出装置。
【請求項５】
前記画素単位は、前記畳み込みニューラルネットワークの出力画像を、前記画像のサイズにリサイズして求められた、請求項4に記載のオブジェクト検出装置。
【請求項６】
前記オブジェクト領域検出手段は、前記集合を、オブジェクト個数にクラスタリングすることによって、個々のオブジェクトの画素位置を検出する、請求項1に記載のオブジェクト検出装置。
【請求項７】
前記オブジェクト個数として、前記画像内で前記オフセット位置の値の正負が反転する中心位置の個数を用いる、請求項6に記載のオブジェクト検出装置。
【請求項８】
前記画像は、可視光画像、赤外光画像、視差画像、距離画像、熱画像、スペクトル画像のうちの少なくともいずれか１つを含むことを特徴とする、請求項1に記載のオブジェクト検出装置。
【請求項９】
前記算出手段は、さらにはオブジェクトに含まれる特定器官の存在確率を画素単位で算出する特定器官検出手段を有する、請求項1に記載のオブジェクト検出装置。
【請求項１０】
前記特定器官検出手段は、前記特定器官の存在確率の前記画像内のピーク位置を検出することで、特定器官の位置を検出する、請求項9に記載のオブジェクト検出装置。
【請求項１１】
前記特定器官がどのオブジェクトに具備されるものであるかを、前記オブジェクト領域検出手段によって出力された個々のオブジェクトの画素位置によって判定する、請求項9に記載のオブジェクト検出装置。
【請求項１２】
前記オブジェクト個数として、前記特定器官検出手段によって検出された特定器官の個数を用いる、請求項6、請求項9に記載のオブジェクト検出装置。
【請求項１３】
画像から特定種類のオブジェクトの位置を画素単位で検出するオブジェクト検出プログラムであって、
前記画像からその種類のオブジェクトの存在確率および、
個々のオブジェクトのアンカー位置に対するオフセット位置を、画素単位で算出する算出ステップと、
算出された前記オブジェクトの存在確率が所定の閾値以上の画素の、画像内位置と前記オフセット位置とを加算した位置の集合を用いて、個々のオブジェクトの画素位置を検出するオブジェクト領域検出ステップとを有する、オブジェクト検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から人物等のオブジェクトの位置を検出する技術に関する。より詳細には、オブジェクトの領域を検出する技術に関する。
【背景技術】
【０００２】
近年、カメラが撮像した画像から、写っているオブジェクトの位置、種類、状態、領域などを推定する技術が提案されている。これらの技術は民生機器や産業機器、Ｗｅｂサービスなどに組み込まれ、様々な機能やアプリケーションをユーザに提供することができる。
【０００３】
例えば、監視カメラにおいて人物を検出し、進入禁止エリアへの侵入検知や、異常行動の検出および予知、あるいは小売店での購買行動観測に使用される。さらには人物のプライバシー保護のため人物領域のみマスクした合成画像の生成にも使用される。これらに使用される技術として、下記の特許文献1〜2に開示された発明および非特許文献1〜6に開示された技術がある。
【０００４】
特許文献1は、２つのニューラルネットワークを有し、第一のニューラルネットワークであるＲｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋによって画像中のオブジェクトの位置候補を推定し、第二のニューラルネットワークによってそのオブジェクトのカテゴリと信頼度を推定する。
【０００５】
特許文献2は、商品画像のセグメンテーション方法であり、商品画像のカテゴリを推定し、カテゴリに応じた重み分布を用いて画像内の商品の領域を画像セグメンテーションする。
【０００６】
非特許文献1は、画像からＥｎｃｏｄｅｒネットワークによって特徴を抽出し、Ｄｅｃｏｄｅｒネットワークによって画像内の道路、歩行者、標識といったカテゴリを画素単位で推定する。
【０００７】
非特許文献2および非特許文献3は、特許文献1の発展技術であり、第一のニューラルネットワークで推定された位置候補ごとに、画像セグメンテーションおよび人物の各器官のＵＶ座標を推定する。
【０００８】
非特許文献4は、画像から人物の各器官の位置と、器官間が接続されるベクトルマップを出力するニューラルネットワークによって、複数人の各器官の位置を検出する。
【０００９】
非特許文献5は、画像からまず候補領域ではなく人物の各器官の位置を推定し、人物ごとに画像をアフィン変換して各器官の位置も用いることにより、個々の人物の画像セグメンテーションする。
【００１０】
非特許文献6は、再帰型ニューラルネットワークを用い、次々に個々のオブジェクトの候補領域に注目し、画像セグメンテーションを行う。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】米国特許第9858496号明細書
【特許文献２】特願2017-522490号公報
【非特許文献】
【００１２】
【非特許文献１】Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla, "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation"、［平成３０年９月１３日検索］、<URL:https://arxiv.org/pdf/1511.00561.pdf>
【非特許文献２】Kaiming He, Georgia Gkioxari, Piotr Dollr, Ross Girshick, "Mask R-CNN"、［平成３０年９月１３日検索］、<URL:https://arxiv.org/pdf/1703.06870.pdf>
【非特許文献３】Rza Alp Gler, Natalia Neverova, Iasonas Kokkinos, "DensePose: Dense Human Pose Estimation In The Wild"、［平成３０年９月１３日検索］、<URL:https://arxiv.org/pdf/1802.00434.pdf>
【非特許文献４】Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields"、［平成３０年９月１３日検索］、<URL:https://arxiv.org/pdf/1611.08050.pdf>
【非特許文献５】Ruilong Li, Xin Dong, Zixi Cai, Dingcheng Yang, Haozhi Huang, Song-Hai Zhang, Paul L. Rosin, Shi-Min Hu, "Pose2Seg: Human Instance Segmentation Without Detection"、［平成３０年９月１３日検索］、<URL:https://arxiv.org/pdf/1803.10683.pdf>
【非特許文献６】Mengye Ren, Richard S. Zemel, "End-to-End Instance Segmentation with Recurrent Attention"、［平成３０年９月１３日検索］、<URL:https://arxiv.org/pdf/1605.09410.pdf>
【発明の概要】
【発明が解決しようとする課題】
【００１３】
特許文献1では複数のオブジェクトの種類と位置を検出することが可能である。しかしながらオブジェクトの領域をセグメンテーションすることはできない。
【００１４】
特許文献2では単一のオブジェクトである商品を画像セグメンテーションすることが可能である。
【００１５】
非特許文献1では道路、歩行者、標識といった種類で、画素ごとに画像セグメンテーションすることが可能である。この技術はＳｅｍａｎｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎと呼ばれるが、個々のオブジェクトを判別することはできず、例えば複数の歩行者がいた場合は同一のものとして出力される。
【００１６】
非特許文献2、非特許文献3、非特許文献5、非特許文献6では、個々のオブジェクトを判別し画像セグメンテーションするＩｎｓｔａｎｃｅ  ｓｅｇｍｅｎｔａｔｉｏｎが可能である。しかしながらいずれの技術も、初めにまずオブジェクトの位置を検出し、各オブジェクトにおいてオブジェクトの種類や領域を推定する、Ｔｏｐ−Ｄｏｗｎ手法により実現している。Ｔｏｐ−Ｄｏｗｎ手法では第一の位置検出手段に加えて、オブジェクトの数だけ必要な第二の領域検出手段が必要であり、処理時間が増大するという問題があった。
【００１７】
監視カメラ、産業機器などの組み込み機器においては、サービスの性能の厳密性、継続性、品質保証が重要であり、一定時間で処理が終了されることが望ましい。このため画像内のオブジェクトの個数に依存しない技術構成がより良い。また近年、畳み込みニューラルネットワークや再帰型ニューラルネットワークによって画像処理が実現されるが、演算量は従来に比べ多く、複数よりも単一のニューラルネットワークで目的を実現することが望まれる。
【００１８】
非特許文献1では道路、歩行者、標識といった既定の種類で、画素ごとの存在確率を出力するため単一のニューラルネットワークで実現できている。しかし個別のオブジェクトごとに、画素ごとの存在確率を出力するには、画像内のオブジェクト数が未知であり、オブジェクトごとの存在確率を出力するのは困難である。このためＴｏｐ−Ｄｏｗｎ手法では、オブジェクトの数だけ第二の領域検出手段を実行する必要があった。
【００１９】
非特許文献4では、単一の処理で複数のオブジェクトの器官を検出する、Ｂｏｔｔｏｍ−Ｕｐ手法であるが、個々のオブジェクトのセグメンテーションをすることはできない。
【課題を解決するための手段】
【００２０】
本発明の一実施例によれば、画像から特定種類のオブジェクトの位置を画素単位で検出するオブジェクト検出装置が提供される。画像供給部はカメラから画像を供給する。オブジェクトの存在確率およびオフセット位置算出部は、画像から特定種類のオブジェクトの存在確率および個々のオブジェクトのアンカー位置に対するオフセット位置を、画素単位で算出する。オブジェクト領域検出部は、算出されたオブジェクトの存在確率とオフセット位置とを統合して、個々のオブジェクトの画素位置を検出する。
【発明の効果】
【００２１】
本発明によれば、画像内に複数存在する個々のオブジェクトの画像セグメンテーションを、単一の算出部で実行し、オブジェクトの個数に依存しない処理時間で処理することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第1の実施の形態におけるオブジェクト検出装置を含んだ監視カメラシステムの一例である。
【図２】オブジェクト検出装置の機能的構成を示すブロック図である。
【図３】オブジェクト検出装置の詳細な処理手順を説明するためのフローチャートである。
【図４】オブジェクト検出装置の入出力を説明するための図である。
【図５】オブジェクトの存在確率およびオフセット位置算出部を説明するための図である。
【図６】オフセット位置を説明するための図である。
【図７】クラスタリングを説明するための図である。
【図８】オブジェクトに含まれる特定器官の存在確率の算出を示す図である。
【図９】特定器官の存在確率のピーク位置検出を説明するための図である。
【図１０】特定器官がどのオブジェクトに具備されるかを説明するための図である。
【発明を実施するための形態】
【００２３】
(第1の実施の形態)
図1は、本発明の第1の実施の形態におけるオブジェクト検出装置を含んだ監視カメラシステムのブロック図の一例である。監視カメラシステムはカメラI/F102、CPU103、メモリ104、ＲＯＭ105、オブジェクト検出装置106、LCD I/F107、警告灯I/F108、画像合成装置109とを含み、これらがバス101を介して接続されている。
【００２４】
カメラI/F102はカメラモジュールに接続されており、カメラモジュールが撮像した画像を監視カメラシステムに入力する。カメラモジュールが撮像する画像は、可視光画像、赤外光画像、視差画像、距離画像、熱画像、スペクトル画像のいずれか一つまたは組み合わせでもよい。
【００２５】
CPU103は、メモリ104やＲＯＭ105に格納されたデータおよびプログラムを実行して、システムの制御を行う。なお図1ではオブジェクト検出装置106および画像合成装置109をハードウェアとして実現する場合の構成を示しているが、メモリ104やＲＯＭ105に格納されたプログラムをCPU103が実行することで実現してもよい。あるいはＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）のような汎用処理回路で実現してもよい。
【００２６】
オブジェクト検出装置106は、カメラI/F102により供給された画像から、個々のオブジェクトの画素単位の位置を検出する。なおオブジェクト検出装置106内で使用されるプログラムおよびデータは、メモリ104やＲＯＭ105に格納されていてもよい。
【００２７】
CPU103は、オブジェクト検出装置106の結果に応じて、LCD I/F107を介してLCDにユーザのための情報を描画する。あるいはCPU103は、警告灯I/F108を介して警告灯を点灯させ、ユーザに警告する。
【００２８】
画像合成装置109は、オブジェクト検出装置106の結果であるオブジェクトの画素単位の位置情報を用いて、画像から消去したいオブジェクトの画素領域にカメラI/F102が撮像した画像を合成することで、検出したオブジェクトを消去した画像を生成する。これによりプライバシー保護したいオブジェクトを消去した画像を出力可能である。
【００２９】
またオブジェクト検出装置106は個々のオブジェクトの画素単位の領域を出力可能であるため、画像合成装置109は、必要に応じて消去するオブジェクトとしないオブジェクトとを選択することが可能である。
【００３０】
図2は、図1に示す監視カメラシステム内のオブジェクト検出装置の機能的構成を示すブロック図である。オブジェクト検出装置は、画像供給部201と、オブジェクトの存在確率およびオフセット位置算出部202と、オブジェクト領域検出部203とを含む。
【００３１】
画像供給部201は、カメラモジュールが撮像した画像をカメラI/F102を介して取得する。あるいはメモリ104、ＲＯＭ105に格納された画像を取得してもよい。
【００３２】
オブジェクトの存在確率およびオフセット位置算出部202は、画像供給部201から供給された画像を入力として、そのオブジェクトの種類の存在確率および個々のオブジェクトのアンカー位置に対するオフセット位置を、画素単位で算出する。このオブジェクトの存在確率およびオフセット位置算出部202の詳細は後述する。
【００３３】
オブジェクト領域検出部203は、オブジェクトの存在確率およびオフセット位置算出部202が算出した、オブジェクトの種類の存在確率およびオフセット位置を統合して、個々のオブジェクトの画素位置を検出する。このオブジェクト領域検出部203の詳細は後述する。
【００３４】
図3は、本発明の第1の実施の形態におけるオブジェクト検出装置の詳細な処理手順を説明するためのフローチャートである。図4〜図7を適宜参照しながらその処理手順について説明する。
【００３５】
図4は、オブジェクト検出装置の入出力を示した図である。入力画像401には、人物402および403が含まれている。出力404および406は入力画像401と同じ解像度を持った数列であり、出力画像と呼ぶ。なお出力画像は入力画像と異なる解像度で算出され、出力画像と同じ解像度になるようリサイズしてもよい。
【００３６】
出力404では人物という種類の領域405が出力されている。人物402と403とで区別はされない。他方、出力406では人物402に対して領域407、人物403に対して領域408が出力されており、個々の人物が区別されている。本発明におけるオブジェクト検出装置は、出力画像406を出力する。
【００３７】
画像供給部201は、カメラモジュールが撮像した画像をカメラI/F102を介して取得する（S301）。この画像がオブジェクトの存在確率およびオフセット位置算出部202に入力される（S302）。
【００３８】
図5は、オブジェクトの存在確率およびオフセット位置算出部を説明するための図である。入力画像501が入力されると、算出部504は出力画像506、507、508を出力する。
【００３９】
算出部504は畳み込みニューラルネットワークで実現される。畳み込みニューラルネットワークは畳み込み層、活性化層、プーリング層などを複数重ねて構成され、入力に対し非線形の演算を施し出力する。また畳み込みニューラルネットワークは教師あり機械学習の一手法であり、事前に算出された学習モデル505を必要とする。学習モデル505は、オブジェクト領域検出部203内部、あるいはメモリ104やＲＯＭ105に格納されている。
【００４０】
算出部504は、画素単位の人物オブジェクトの存在確率である出力画像506を出力する。出力画像506は例えば値0〜1であり、値が大きいほどその画素が人物カテゴリの領域であることを意味する。入力画像501内の人物502、503に対し出力画像506内の人物領域509、510を出力する。しかしながら出力画像506は個々の人物によって区別はされておらず、領域509、510の各画素がどの人物のものであるかは、出力画像506のみでは不明である。
【００４１】
算出部504は、個々のオブジェクトのアンカー位置に対する水平オフセット位置を出力画像507に、垂直オフセット位置を出力画像508に出力する。
【００４２】
図6は、個々のオブジェクトのアンカー位置とオフセット位置を説明するための図である。入力画像601内の人物オブジェクト602のアンカー位置を、人物オブジェクト602の中心位置である座標604とする。同様に、人物オブジェクト603のアンカー位置を、人物オブジェクト603の中心位置である座標607とする。
【００４３】
入力画像601内の人物オブジェクト602に含まれる各画素の座標605において、この人物の中心座標604へのベクトル606が、オフセット位置である。同様に、人物オブジェクト603に含まれる各画素の座標608において、この人物の中心座標607へのベクトル609が、オフセット位置である。算出部504は、これらのベクトルを画素ごとに水平方向、垂直方向に分離し、それぞれ出力画像507、508に出力する。
【００４４】
オブジェクト領域検出部203は、オブジェクトの存在確率およびオフセット位置算出部202が算出した、オブジェクトの種類の存在確率およびオフセット位置を入力とする。画像の各画素において（S303）、算出された存在確率が閾値以上のものを選択する（S304）。選択された画素において、その画素の座標と算出されたオフセット位置を加算しが座標位置を保持する（S305）。
【００４５】
オブジェクト領域検出部203は、入力画像内のその種類のオブジェクトの個数を設定する（S306）。より具体的には、出力画像507、508において、オフセット位置の正負が反転する中心位置の個数を、オブジェクトの個数とする。あるいはオブジェクト検出装置外部で定められた数をオブジェクトの個数としてもよい。
【００４６】
図7は、出力画像701において、ステップS305で保持された座標位置を2次元空間に描画したものである。理想的にオブジェクトの存在確率およびオフセット位置算出部202が動作した場合、これらの座標位置は人物オブジェクトの中心位置のみに描画されるはずである。しかしながら予測誤差のため、座標位置は座標群702、704に示すようにある程度ばらついて分布される。
【００４７】
オブジェクト領域検出部203は、ステップS306で設定したオブジェクト個数のクラスタに分離するよう、ステップS305で保持された座標位置をクラスタリングする（S307）。クラスタリングには例えばｋ−ｍｅａｎｓ法を使用する。座標群702はクラスタ703、座標群704はクラスタ705となる。
【００４８】
オブジェクト領域検出部203は、各クラスタ703、705を個々のオブジェクトとして扱い、それらに含まれる座標群702、704の画素にそれぞれのオブジェクトのオブジェクトIDを割り当てる（S308）。
【００４９】
第1の実施の形態においては、オブジェクトの種類の存在確率および個々のオブジェクトのアンカー位置に対するオフセット位置を用いたが、さらには、オブジェクトの部分領域であるサブオブジェクトごとに同様の算出処理を行い、サブオブジェクトの存在確率および個々のサブオブジェクトのアンカー位置に対するオフセット位置を用いて、個々のオブジェクトの画素位置を検出してもよい。
【００５０】
(第2の実施の形態)
本発明の第2の実施の形態におけるシステム構成、その機能的構成およびその処理手順は、図1〜図7に示す第1の実施の形態において説明したものと同様であり、オブジェクト検出装置106のみが異なる。したがって、重複する構成および機能の詳細な説明は繰り返さない。
【００５１】
第2の実施の形態において、オブジェクト検出装置106は、第1の実施の形態の機能に加えて、オブジェクトに含まれる特定器官の検出を行う。
【００５２】
図8は、第2の実施の形態におけるオブジェクトの存在確率およびオフセット位置算出部202である。図5に示した出力画像506、507、508に加えて、特定器官の存在確率を示す出力画像801、802、803を出力する。算出部504は共通である。出力画像801は人物の鼻器官の存在確率を画素単位で出力する。出力画像801は例えば値0〜1であり、値が大きいほどその画素が鼻器官の中心位置であることを意味する。同様に出力画像802、出力画像803はそれぞれ左手、右足の存在確率を示している。特定器官の存在確率の出力は必ずしもこの3器官である必要は無く、必要な器官の出力画像を必要な器官の数だけ出力すればよい。
【００５３】
図9は、算出部504が出力した特定器官の存在確率の出力画像から、特定器官の位置を算出する方法を示す。存在確率の出力画像から値のピーク位置が計算される。例えばＮｏｎ−Ｍａｘｉｍｕｍ  Ｓｕｐｐｒｅｓｓｉｏｎが算出方法として使用される。座標903周辺の存在確率から位置905が、座標904周辺の存在確率から位置906が推定される。
【００５４】
図10は、検出した特定器官がどの人物オブジェクトに含まれるか判定する方法を示す。オブジェクト検出装置106によって、画像1001内の人物オブジェクトの領域1002および別の人物オブジェクトの領域1003が得られている。またオブジェクト検出装置106によって、特定器官である左手の位置1004および1005が得られている。これらの情報を統合すると、位置情報から、左手1004は人物1002、左手1005は人物1003に属すると判定される。同様に他の器官も判定される。
【００５５】
またステップS306において、設定するオブジェクト個数を、検出された特定器官の個数としてもよい。あるいは器官の中で検出された最大個数としてもよい。
【００５６】
今回開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００５７】
101 バス、102 カメラ I/F、103 CPU、104 メモリ、105 ROM、106 オブジェクト検出装置、107 LCD I/F、108 警告灯 I/F、109 画像合成装置、201 画像供給部、202 オブジェクトの存在確率およびオフセット位置算出部、203 オブジェクト領域検出部
【図１】
2020052476.tif 000003
【図２】
2020052476.tif 000004
【図３】
2020052476.tif 000005
【図４】
2020052476.tif 000006
【図５】
2020052476.tif 000007
【図６】
2020052476.tif 000008
【図７】
2020052476.tif 000009
【図８】
2020052476.tif 000010
【図９】
2020052476.tif 000011
【図１０】
2020052476.tif 000012