(57)【要約】      （修正有）【課題】ノイズ等に頑健な背景／前景の判別を行う画像処理装置、方法及びプログラム、並びに学習装置、学習方法及びプログラムを提供する。【解決手段】画像処理装置は、生成部と、推定部と、出力部とを有する。生成部は、背景および前景の判別対象となる対象画像と、背景にかかる背景画像との差分画像を生成する。推定部は、対象画像から背景および前景を区別するマップ画像と、差分画像との差を示す残差をニューラル・ネットワークを用いて推定する。出力部は、生成された差分画像と、推定された残差とに基づくマップ画像を出力する。【選択図】図５
2019153057.tif 000002
【特許請求の範囲】
【請求項１】
背景および前景の判別対象となる対象画像と、前記背景にかかる背景画像との差分画像を生成する生成部と、
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定する推定部と、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する出力部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成部は、前記対象画像および前記背景画像それぞれの各画素に基づく特徴量の差分をもとに前記差分画像を生成する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
背景および前景の判別対象となる対象画像と前記背景にかかる背景画像との差分画像、および、前記差分画像との差を示す残差に基づいて、ニューラル・ネットワークによって推定された、前記対象画像から前記背景および前記前景を区別するマップ画像を受け付け、当該マップ画像と、教師データとの誤差を算出する算出部と、
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する更新部と、
を有することを特徴とする学習装置。
【請求項６】
背景および前景の判別対象となる対象画像と、前記背景にかかる背景画像との差分画像を生成し、
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定し、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。
【請求項７】
背景および前景の判別対象となる対象画像と前記背景にかかる背景画像との差分画像、および、前記差分画像との差を示す残差に基づいて、ニューラル・ネットワークによって推定された、前記対象画像から前記背景および前記前景を区別するマップ画像を受け付け、当該マップ画像と、教師データとの誤差を算出し、
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する、
処理をコンピュータが実行することを特徴とする学習方法。
【請求項８】
背景および前景の判別対象となる対象画像と、前記背景にかかる背景画像との差分画像を生成し、
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定し、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項９】
背景および前景の判別対象となる対象画像と前記背景にかかる背景画像との差分画像、および、前記差分画像との差を示す残差に基づいて、ニューラル・ネットワークによって推定された、前記対象画像から前記背景および前記前景を区別するマップ画像を受け付け、当該マップ画像と、教師データとの誤差を算出し、
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する、
処理をコンピュータに実行させることを特徴とする学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラムに関する。
【背景技術】
【０００２】
従来、カメラで撮影された動画像から前景として映り込む動物体（以後、前景とも呼ぶ）を検出する手法として、背景差分法が知られている。背景差分法では、カメラで撮影された動画像から検出対象物体が撮影されていない背景画像（背景モデルとも呼ぶ）を検出して記憶しておく。そして、カメラで撮影された動画像から背景画像の差分を求めることで、前景に対応する画像領域を検出する。
【０００３】
このように、画像から背景／前景を判別する手法としては、画像センサから出力された画像情報並びに時間的に遅延させた画像情報を入力層に取り込み、その差異に応じた情報を出力層から出力するニューラル・ネットワークを用いた手法が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２−１７３８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術では、背景と類似する類似色が前景に含まれる場合や、ノイズ等に対して頑健に背景／前景の判別を行うことが困難であるという問題がある。
【０００６】
例えば、ニューラル・ネットワークにおける中間層の層数が少ない場合、エッジや色などの局所的な特徴をもとに判別することから、背景と類似する類似色が前景に含まれる場合に背景／前景の判別が困難となる。また、ノイズ等の影響を受けやすく、誤検出を生じることがある。
【０００７】
また、ニューラル・ネットワークにおける中間層の層数を増やすと、学習に初期においては、結合重みが小さな値の乱数で初期化されているため、入力信号が層を経るごとに拡散していくことから、ニューラル・ネットワークからはほぼ０のノイズしか得られないこととなる。このため、教師データと比較しても有意味な情報が得られず、ニューラル・ネットワークの学習が進まないことから、ニューラル・ネットワークにおける中間層の層数を単純に増やすことは難しい。
【０００８】
１つの側面では、ノイズ等に頑健な背景／前景の判別を可能とする画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１の案では、画像処理装置は、生成部と、推定部と、出力部とを有する。生成部は、背景および前景の判別対象となる対象画像と、背景にかかる背景画像との差分画像を生成する。推定部は、対象画像から背景および前景を区別するマップ画像と、差分画像との差を示す残差をニューラル・ネットワークを用いて推定する。出力部は、生成された差分画像と、推定された残差とに基づくマップ画像を出力する。
【発明の効果】
【００１０】
本発明の１実施態様によれば、ノイズ等に頑健な背景／前景の判別を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施形態の概要を説明する説明図である。
【図２】図２は、背景画像、対象画像および教師画像の一例を説明する説明図である。
【図３】図３は、ニューラル・ネットワークで前景マップを推定する従来手法の説明図である。
【図４】図４は、高次の特徴／低次の特徴による判別を説明する説明図である。
【図５】図５は、実施形態にかかる画像処理装置の機能構成例を示すブロック図である。
【図６】図６は、実施形態にかかる画像処理装置の動作例を示すフローチャートである。
【図７】図７は、残差推定部のニューラル・ネットワークを説明する説明図である。
【図８】図８は、実施形態にかかる学習装置の機能構成例を示すブロック図である。
【図９】図９は、学習フローを例示するフローチャートである。
【図１０】図１０は、プログラムを実行するコンピュータの一例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、実施形態にかかる画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラムを説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラムは、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。
【００１３】
図１は、実施形態の概要を説明する説明図である。図１に示すように、本実施形態では、背景および前景の判別対象となる対象画像Ｇ１と、事前に撮影しておいた背景の背景画像Ｇ２とを入力し、対象画像Ｇ１に含まれる背景および前景を区別する前景マップＧ５を得る。
【００１４】
図２は、対象画像Ｇ１、背景画像Ｇ２および教師画像Ｇ６の一例を説明する説明図である。図２に示すように、対象画像Ｇ１は、撮影範囲にいる人物Ｈなどの前景と、背景との判別を行う画像データであり、例えば、不審者を検知するための監視カメラの画像データなどである。背景画像Ｇ２は、背景を事前に撮影しておいた画像データなどである。なお、背景画像Ｇ２については、幾つかの画像を重ね合わせて生成した背景モデルであってもよい。
【００１５】
前景マップＧ５は、マップ画像の一例であり、例えば対象画像Ｇ１における背景に対応する領域を黒画素とし、前景に対応する領域を白画素とする画像データである。このようにして得られた前景マップＧ５に対象画像Ｇ１を掛け合わせることで、例えば対象画像Ｇ１に含まれる前景を識別することができる。例えば、対象画像Ｇ１に含まれる前景の識別結果を用いることで、自由視点映像生成技術における被写体のシルエットの抽出や、映像監視技術における不審者の抽出に応用できる。
【００１６】
具体的には、前景マップＧ５を得るための推論フェーズでは、入力された対象画像Ｇ１と、背景画像Ｇ２との差分を生成する差分生成（Ｓ１）を行い、差分画像Ｇ３を生成する。また、入力された対象画像Ｇ１および背景画像Ｇ２により、対象画像Ｇ１から背景および前景を区別する前景マップＧ５と、差分画像Ｇ３との差を示す残差Ｇ４（差分画像Ｇ３では、正解とする前景マップＧ５に足りない情報）をニューラル・ネットワークを用いて推定する残差推定（Ｓ２）を行う。次いで、差分生成（Ｓ１）で生成された差分画像Ｇ３と、残差推定（Ｓ２）で推定された残差Ｇ４とを足し合わせることで前景マップＧ５を得る（Ｓ３）。
【００１７】
なお、残差推定（Ｓ２）を行うニューラル・ネットワークの学習を行う学習フェーズでは、前景マップＧ５と教師画像Ｇ６との比較により、ニューラル・ネットワークを構成する各ノードの結合重みを調整する。
【００１８】
図２に示すように、教師画像Ｇ６は、ニューラル・ネットワークの学習時において入力された対象画像Ｇ１における背景／前景についての正解を示す教師データである。一例として、教師画像Ｇ６には、対象画像Ｇ１に含まれる前景（人物Ｈ）に対応した前景領域Ｒ１を白画素、前景領域Ｒ１以外の領域（背景領域）を黒画素とする画像データなどがある。
【００１９】
この教師画像Ｇ６を用いた教師付き学習を行うことで、正解とする前景マップＧ５に足りない部分の残差Ｇ４を適正に推定するように残差推定部１１のニューラル・ネットワークの学習が行われる。
【００２０】
図３は、ニューラル・ネットワークで前景マップを推定する従来手法の説明図である。図３に示すように、従来手法では、対象画像Ｇ１および背景画像Ｇ２をニューラル・ネットワーク２００の入力層２０１に入力し、中間層２０２を経て出力層２０３から背景／前景の判別結果Ｇ４ａが直接出力される。
【００２１】
ニューラル・ネットワーク２００における中間層２０２の層数が少ない場合、入力された画像からは高次の特徴が得られず、低次の特徴、すなわちエッジや色などの局所的な特徴をもとに判別することとなる。ここで、高次の特徴とは、画像上のある領域が人物なのか車なのか、その内部・外部であるかなど、セマンティック（Ｓｅｍａｎｔｉｃ）な情報を含む特徴である。低次の特徴とは、縦・横方向のエッジや平坦な領域なのかなど、画像の局所的な構造の特徴である。
【００２２】
図４は、高次の特徴／低次の特徴による判別を説明する説明図である。図４に示すように、ケースＣ１では、中間層を多層とするディープ・ニューラル・ネットワーク（ＤＮＮ）のニューラル・ネットワーク２００ａを用いて入力画像Ｇ１０から人物の領域を白画素とする判別結果Ｇ１１を得ている。ＤＮＮでは、対象画像Ｇ１から層を経ることで、エッジ→四角や丸（エッジの組み合わせ）→タイヤや顔（四角や丸の組み合わせ）→…のように徐々に特徴が抽象化されていき、高次の特徴を抽出できる。このような高次の特徴をもとに判別を行う場合は、ノイズ等に対して頑健に背景／前景の判別を行うができる。
【００２３】
これに対し、ケースＣ２では、３層型のニューラル・ネットワーク２００ｂを用いて入力画像Ｇ１０から判別結果Ｇ１１を得ている。３層型のニューラル・ネットワーク２００ｂでは、局所的な低次の特徴をもとに判別を行うことから、ノイズ等の影響を受けやすく、誤検出を生じる。例えば、入力画像Ｇ１０は、コートのラインを跨いでプレーする人物の画像であり、ライン右側の領域ではコートの色と類似する類似色が人物に含まれている。また、ライン左側の領域では、コートの色と、人物（左足）との色は類似していない。したがって、ケースＣ２の判別結果Ｇ１１では、背景と類似する類似色が前景に含まれる部分については前景として判別されていない（左足の一部が前景として正しく判別されている）。
【００２４】
図３に戻り、ニューラル・ネットワーク２００における中間層２０２の層数を増やす場合は、学習に初期においては、結合重みが小さな値の乱数で初期化されているため、入力層２０１からの入力信号（対象画像Ｇ１、背景画像Ｇ２）が層を経るごとに拡散していき、弱まることとなる。このため、出力層２０３から得られる判別結果Ｇ４ａは、学習初期において、ほぼ０のノイズとなる。したがって、教師画像Ｇ６と比較しても有意味な情報が得られず（勾配の方向が定まらないため）、ニューラル・ネットワーク２００における各ノードの結合重みを示すパラメータを調整することが困難となり、学習が進まないこととなる。
【００２５】
これに対し、本実施形態では、図１に示すように、対象画像Ｇ１から背景および前景を区別する前景マップＧ５と、差分画像Ｇ３との差を示す残差Ｇ４（差分画像Ｇ３では、正解とする前景マップＧ５に足りない情報）をニューラル・ネットワークを用いて推定する。そして、差分画像Ｇ３と、残差Ｇ４とを足し合わせることで前景マップＧ５を得ている。
【００２６】
このため、例えば学習の初期に得られる残差Ｇ４が０であっても、差分画像Ｇ３が足し合わされていることから、有意味な出力（前景マップＧ５）が得られ、教師画像Ｇ６との比較によりニューラル・ネットワークの学習を進めることができる。したがって、ＤＮＮを用いて高次な特徴をもとに判別した残差Ｇ４による前景マップＧ５を得ることができ、背景類似色やノイズ等が含まれる場合においても、頑健に背景／前景を判別することができる。
【００２７】
図５は、実施形態にかかる画像処理装置の機能構成例を示すブロック図である。図５に示すように、画像処理装置１は、差分生成部１０と、残差推定部１１と、出力部１２とを有する。
【００２８】
差分生成部１０は、入力された対象画像Ｇ１と、背景画像Ｇ２との差分により差分画像Ｇ３を生成する。すなわち、差分生成部１０は、生成部の一例である。例えば、差分生成部１０は、対象画像Ｇ１および背景画像Ｇ２において互いに対応する画素における画素値の差分を求めることで差分画像Ｇ３を生成する。この差分については、画素値のＬ１ノルム（差の絶対値）や、Ｌ２ノルムなどを用いることができる。
【００２９】
また、差分生成部１０が差分をとる対象は、互いに対応する画素における画素値に限定しない。例えば、差分生成部１０は、対象画像Ｇ１および背景画像Ｇ２それぞれの各画素から計算した特徴量の差分を求め、差分画像Ｇ３を生成してもよい。
【００３０】
一例として、次の文献に示すように、局所特徴量を用いてもよい。
・SIFT(Scale-Invariant  Feature  Transform):  David  G.Lowe,  “Distinctive  image  features  from  scale-invariant  keypoints”,  Int.Journal  of  Computer  Vision,Vol.60,  No.2,  pp.91-110,  2004．
・SURF  (Speeded-Up  Robust  Features):  H.  Bay,  T.  Tuytelaars,  and  L.  Van  Gool,  “SURF:  Speeded  Up  Robust.  Features”,  In  ECCV  ,  pp.404-417,  2006.
・BRIEF  (Features  from  Accelerated  Segment  Test):  M.Calonder,  V.Lepetit  and  C.Strecha  and  P.Fua,  “BRIEF:  Binary  Robust  Independent  Elementary  Features”,  In  Proc.  European  Conference  on  Computer  Vision,  pp.778-792,  2010.
・ORB  (Oriented  FAST  and  Rotated  BRIEF):  E.Rublee,  V.Rabaud,  K.Konolige  and  G.Bradski  “ORB:  an  efficient  alternative  to  SIFT  or  SURF”,  In  Proc.  International  Conference  on  Computer  Vision,  2011.
【００３１】
また、差分生成部１０は、次の文献に示すように、一般物体認識向けに学習済みのＤＮＮの中間層の値を特徴量として用いてもよい。
・AlexNet：  Krizhevsky,  Alex,  Ilya  Sutskever,  and  Geoffrey  E.  Hinton.  "Imagenet  classification  with  deep  convolutional  neural  networks."  Advances  in  neural  information  processing  systems.  2012.
・GoogLeNet：    Szegedy,  Christian,  et  al.  "Going  deeper  with  convolutions."  Cvpr,  2015.
・VGG：  Simonyan,  Karen,  and  Andrew  Zisserman.  "Very  deep  convolutional  networks  for  large-scale  image  recognition."  arXiv  preprint  arXiv:1409.1556  (2014).
・ResNet：  He,  Kaiming,  et  al.  "Deep  residual  learning  for  image  recognition."  Proceedings  of  the  IEEE  conference  on  computer  vision  and  pattern  recognition.  2016.
【００３２】
残差推定部１１は、入力された対象画像Ｇ１および背景画像Ｇ２より、対象画像Ｇ１から背景および前景を区別する前景マップＧ５と、差分画像Ｇ３との差を示す残差Ｇ４をニューラル・ネットワークを用いて推定する。すなわち、残差推定部１１は、推定部の一例である。
【００３３】
出力部１２は、差分生成部１０より生成された差分画像Ｇ３と、残差推定部１１より推定された残差Ｇ４との基づく前景マップＧ５を出力する。具体的には、出力部１２は、差分画像Ｇ３および残差Ｇ４において互いに対応する画素における画素値を加算して得られた前景マップＧ５を出力する。この加算については、重み付き加算であってもよい。この重みは、予め設計者が定めた値であってもよいし、可変のパラメータであってもよい。可変のパラメータについては、残差推定部１１のニューラル・ネットワークを学習するときに一緒に最適化を行ってもよい。
【００３４】
図６は、実施形態にかかる画像処理装置１の動作例を示すフローチャートである。図６に示すように、処理が開始されると、画像処理装置１は、メモリ、ハードディスク、データベースもしくはネットワーク上のストレージ等に予め格納されている背景画像Ｇ２を取得する（Ｓ１０）。同様に、画像処理装置１は、対象画像Ｇ１を取得する（Ｓ１１）。
【００３５】
なお、監視カメラからの画像を対象画像Ｇ１とする場合、画像処理装置１は、監視カメラと接続するインタフェースを介して監視カメラより対象画像Ｇ１を直接取得してもよい。また、画像処理装置１は、対象画像Ｇ１および背景画像Ｇ２の取得時にノイズ除去や色補正などの前処理を施してもよい。
【００３６】
次いで、画像処理装置１は、対象画像Ｇ１および背景画像Ｇ２を差分生成部１０に入力する（Ｓ１２、Ｓ１３）。次いで、差分生成部１０は、対象画像Ｇ１と背景画像Ｇ２の差分を生成し（Ｓ１４）、差分画像Ｇ３を得る。
【００３７】
次いで、画像処理装置１は、対象画像Ｇ１および背景画像Ｇ２を残差推定部１１に入力する（Ｓ１５、Ｓ１６）。次いで、残差推定部１１は、入力された対象画像Ｇ１および背景画像Ｇ２より、前景マップＧ５と差分画像Ｇ３の差を示す残差Ｇ４をニューラル・ネットワークを用いて推定する（Ｓ１７）。
【００３８】
残差推定部１１のニューラル・ネットワークは、後述する学習装置による学習フェーズにより、残差Ｇ４を適正に推定するようにパラメータ調整が施されている。
【００３９】
図７は、残差推定部１１のニューラル・ネットワークを説明する説明図である。図１１に示すように、ニューラル・ネットワーク１１ａは、脳のニューロンを模したユニットを階層的に結合したネットワーク構造を有する。脳には、多数のニューロン（神経細胞）が存在する。各ニューロンは、他のニューロンから信号を受け取り、他のニューロンへ信号を受け渡す。脳は、この信号の流れによって、様々な情報処理を行う。ニューラル・ネットワーク１１ａは、このような脳の機能の特性を計算機上で実現したモデルである。
【００４０】
具体的には、ニューラル・ネットワーク１１ａは、対象画像Ｇ１および背景画像Ｇ２が入力される層から残差Ｇ４を出力する層までの中間層を多層とするディープ・ニューラル・ネットワークであってもよい。複数の中間層は、例えば、畳み込み層、活性化関数層、プーリング層、全結合層およびソフトマックス層を含む。各層の数及び位置は、要求されるアーキテクチャに応じて随時変更され得る。すなわち、ニューラル・ネットワーク１１ａの階層構造や各層の構成は、識別する対象などに応じて、設計者が予め定めることができる。
【００４１】
また、ニューラル・ネットワーク１１ａにおいては、入力された画像データからの特徴抽出を可能とするように、畳み込み層と、プーリング層とを交互に積み重ねたＣＮＮ（畳み込みニューラル・ネットワーク）としての構成を有してもよい。また、ニューラル・ネットワーク１１ａは、ＣＮＮではなく、全結合層を多層に並べたもので構成してもよい。この場合、対象画像Ｇ１および背景画像Ｇ２については、ラスタスキャン順などの特定の方法に従って一列に並べたベクトルを入力とすればよい。
【００４２】
例えば、ニューラル・ネットワーク１１ａは、次の文献に示すようなネットワーク構造を用いてもよい。
・FCN（Fully  Convolutional  Networks）：Long,  Jonathan,  Evan  Shelhamer,  and  Trevor  Darrell.  "Fully  convolutional  networks  for  semantic  segmentation."  Proceedings  of  the  IEEE  conference  on  computer  vision  and  pattern  recognition.  2015.
・U-Net：Ronneberger,  Olaf,  et  al.  "U-net:  Convolutional  networks  for  biomedical  image  segmentation."  International  Conference  on  Medical  image  computing  and  computer-assisted  intervention.  Springer,  Cham,  2015.
【００４３】
図７のニューラル・ネットワーク１１ａは、上記のＵ−Ｎｅｔを適用した場合のネットワーク構造の一例である。例えば、ニューラル・ネットワーク１１ａでは、対象画像Ｇ１および背景画像Ｇ２をＲＧＢ３チャンネルのカラー画像とする場合、入力はそれらを重ねた６チャンネルとなる。この入力に対して、畳み込み層、拡大畳み込み層、プーリング層、Batch  normalization層、活性化関数層などを経て、１チャンネルの残差Ｇ４を出力する。
【００４４】
図６に戻り、Ｓ１７に次いで、出力部１２は、差分画像Ｇ３と残差Ｇ４を加算し（Ｓ１８）、前景マップＧ５を出力する（Ｓ１９）。
【００４５】
画像処理装置１では、得られた前景マップＧ５を、自由視点映像生成技術における被写体のシルエットの抽出や、映像監視技術における不審者の抽出に適用することができる。
【００４６】
例えば、複数視点のカメラ映像から任意の視点の映像を作り出す技術は自由視点映像生成と呼ばれる。この自由視点映像生成技術を用いることで、撮影したカメラ以外の視点での映像の生成や、現実では不可能なカメラワークの映像などを生成でき、ダイナミックで臨場感のある映像コンテンツを生成や、ユーザーが各自で好きなアングルから視聴などに応用できる。
【００４７】
この自由視点映像生成技術への適用例としては、次のようなものがある。各カメラ画像に対して前景マップＧ５を求め、得られた前景マップＧ５をもとに、人物などの前景物体のシルエットを抽出する。次いで、Visual  Hullという手法を用いて前景物体の３次元構造を復元し、任意に設定した視点からの映像をレンダリングする。
【００４８】
また、映像監視技術における不審者の抽出への適用例としては、次のようなものがある。監視カメラの画像に対して前景マップＧ５を求め、前景領域の画素数を求める。この前景領域の画素数が所定の閾値以上であった場合、不審物を検出したものとして検出信号を出力する。
【００４９】
次に、ニューラル・ネットワーク１１ａの学習（学習フェーズ）を行う学習装置の詳細について説明する。図８は、実施形態にかかる学習装置の機能構成例を示すブロック図である。
【００５０】
なお、学習フェーズにおける対象画像Ｇ１、背景画像Ｇ２および教師画像Ｇ６については、学習用に予め設定された学習データセットのデータを用いるものとする。この学習データセットは、例えば、メモリ、ハードディスク、データベースもしくはネットワーク上のストレージ等に予め格納されているものを読み出して用いる。また、学習データセットについては、画像の回転やスケーリングなどの幾何学的変換やノイズを付加するなど、擬似的にデータの多様性を増やす処理（Data  augumentation）を行ってもよい。また、ミニバッチ学習をする場合、対象画像Ｇ１、背景画像Ｇ２および教師画像Ｇ６については、ミニバッチ数分を取得してもよい。
【００５１】
図８に示すように、学習装置２は、誤差算出部２０と、勾配算出部２１と、更新部２２とを有する。
【００５２】
誤差算出部２０は、画像処理装置１が出力した前景マップＧ５と、教師画像Ｇ６との入力を受け付ける。誤差算出部２０は、入力された前景マップＧ５と、教師画像Ｇ６とを比較して誤差を算出する。すなわち、誤差算出部２０は、算出部の一例である。
【００５３】
例えば、誤差算出部２０は、前景マップＧ５および教師画像Ｇ６において互いに対応する画素における画素値の二乗誤差を求めることで、誤差を算出する。この誤差については、二乗誤差に限定するものではなく、Ｌ１ノルム誤差や、ロバスト統計で用いられるＨｕｂｅｒノルム誤差などを用いてもよい。
【００５４】
勾配算出部２１は、誤差算出部２０が算出した誤差をもとに、教師あり学習で一般的に使用される誤差逆伝搬法に基づいてニューラル・ネットワーク１１ａ全体の勾配を算出する。
【００５５】
更新部２２は、勾配算出部２１が算出した勾配をもとに、ニューラル・ネットワーク１１ａを構成する各ノードの結合重み（パラメータ）の更新量を算出する。更新部２２は、算出した更新量をもとに、ニューラル・ネットワーク１１ａにおけるパラメータを更新する。
【００５６】
更新部２２における更新量の算出には、例えば、次の文献に示すような最適化手法を用いることができる。
・Momentum付きのSGD（stocastic  gradient  descent）：  Goodfellow,  Ian,  et  al.  Deep  learning.  Vol.  1.  Cambridge:  MIT  press,  2016.
・RMSProp：  Geoffrey  Hinton,  Nitish  Srivastava,  Kevin  Swersky.  2014.  Lecture  6e:  Rmsprop:  Divide  the  gradient  by  a  running  average  of  its  recent  magnitude  (CSC321  Winter  2014).
・Adam：  Diederik  Kingma,  Jimmy  Ba.  2015.  Adam:  a  method  for  stochastic  optimization.  the  3rd  International  Conference  for  Learning  Representations  (ICLR  2015).
【００５７】
図９は、学習フローを例示するフローチャートである。図９に示すように、処理が開始されると、学習データセットから対象画像Ｇ１および背景画像Ｇ２を取得する（Ｓ２０、Ｓ２１）。次いで、画像処理装置１は、Ｓ１２〜Ｓ１９と同様の処理を行い、前景マップＧ５を出力する（Ｓ２２〜Ｓ２９）。画像処理装置１より出力された前景マップＧ５は、学習装置２の誤差算出部２０に入力される。
【００５８】
次いで、学習装置２の誤差算出部２０は、学習データセットから教師画像Ｇ６を取得する（Ｓ３０）。次いで、誤差算出部２０は、画像処理装置１より出力された前景マップＧ５と、教師画像Ｇ６とを比較して誤差を計算する（Ｓ３１）。
【００５９】
次いで、勾配算出部２１は、誤差算出部２０が計算した誤差をもとに、ニューラル・ネットワーク１１ａ全体の勾配を算出する（Ｓ３２）。次いで、更新部２２は、差分生成部１０のニューラル・ネットワーク１１ａにおける各ノードの結合重みを勾配算出部２１が計算した勾配に応じて更新する（Ｓ３３）。
【００６０】
次いで、学習装置２は、学習データセットに含まれる全てのデータを用いた学習が終了したか否かなど、所定の学習終了の条件を満たすかを判定する（Ｓ３４）。満たさない場合（Ｓ３４：ＮＯ）、学習装置２は、Ｓ２０へ処理を戻し、学習を継続する。満たす場合（Ｓ３４：ＹＥＳ）、学習装置２は、学習を終了する。
【００６１】
以上のように、画像処理装置１の差分生成部１０は、背景および前景の判別対象となる対象画像Ｇ１と、背景にかかる背景画像Ｇ２との差分画像Ｇ３を生成する。画像処理装置１の残差推定部１１は、入力された対象画像Ｇ１および背景画像Ｇ２より、対象画像Ｇ１から背景および前景を区別する前景マップＧ５と、差分画像Ｇ３との差を示す残差Ｇ４をニューラル・ネットワーク１１ａを用いて推定する。画像処理装置１の出力部１２は、差分生成部１０により生成された差分画像Ｇ３と、残差推定部１１により推定された残差Ｇ４とに基づく前景マップＧ５を出力する。
【００６２】
これにより、画像処理装置１は、高次な特徴を判別する多層な残差推定部１１を用いることができ、背景と類似する類似色が前景に含まれる場合や、ノイズ等に対して頑健に背景／前景の判別を行うことが可能となる。
【００６３】
また、残差推定部１１のニューラル・ネットワーク１１ａは、中間層を多層とするディープ・ニューラル・ネットワーク（ＤＮＮ）である。これにより、残差推定部１１は、入力された対象画像Ｇ１および背景画像Ｇ２に含まれる高次な特徴をもとに残差Ｇ４を推定することができる。したがって、画像処理装置１は、ノイズ等に対してより頑健な背景／前景の判別を行うことが可能となる。
【００６４】
また、残差推定部１１のニューラル・ネットワーク１１ａは、畳み込みニューラル・ネットワークである。これにより、残差推定部１１は、入力された対象画像Ｇ１および背景画像Ｇ２の抽象化を行い、高次の特徴を得ることができる。
【００６５】
また、差分生成部１０は、対象画像Ｇ１および背景画像Ｇ２それぞれの各画素に基づく特徴量の差分をもとに差分画像Ｇ３を生成する。このように差分画像Ｇ３は、対象画像Ｇ１および背景画像Ｇ２における特徴量の差分であってもよい。
【００６６】
また、学習装置２の誤差算出部２０は、差分生成部１０により生成された差分画像Ｇ３、および、残差推定部１１のニューラル・ネットワーク１１ａにより推定された残差Ｇ４に基づいた前景マップＧ５を受け付ける。学習装置２は、受け付けた前景マップＧ５と、教師画像Ｇ６との誤差を算出する。学習装置２の更新部２２は、算出された誤差に基づいてニューラル・ネットワーク１１ａにかかるパラメータを更新する。これにより、学習装置２は、対象画像Ｇ１から背景および前景を区別する前景マップＧ５と、差分画像Ｇ３との差を示す残差Ｇ４を推定するニューラル・ネットワーク１１ａの学習を行うことができる。
【００６７】
なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００６８】
画像処理装置１、学習装置２で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro  Controller  Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、画像処理装置１、学習装置２で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。
【００６９】
ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータ（ハードウェア）の一例を説明する。図１０は、プログラムを実行するコンピュータの一例を示す説明図である。
【００７０】
図１０に示すように、コンピュータ３は、各種演算処理を実行するＣＰＵ１０１と、データ入力を受け付ける入力装置１０２と、モニタ１０３と、スピーカ１０４とを有する。また、コンピュータ３は、記憶媒体からプログラム等を読み取る媒体読取装置１０５と、各種装置と接続するためのインタフェース装置１０６と、有線または無線により外部機器と通信接続するための通信装置１０７とを有する。また、コンピュータ３は、各種情報を一時記憶するＲＡＭ１０８と、ハードディスク装置１０９とを有する。また、コンピュータ３内の各部（１０１〜１０９）は、バス１１０に接続される。
【００７１】
ハードディスク装置１０９には、上記の実施形態で説明した差分生成部１０、残差推定部１１、出力部１２、誤差算出部２０、勾配算出部２１および更新部２２等の機能部における各種処理を実行するためのプログラム１１１が記憶される。また、ハードディスク装置１０９には、プログラム１１１が参照する各種データ１１２が記憶される。入力装置１０２は、例えば、コンピュータ３の操作者から操作情報の入力を受け付ける。モニタ１０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置１０６は、例えば印刷装置等が接続される。通信装置１０７は、ＬＡＮ（Local  Area  Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。
【００７２】
ＣＰＵ１０１は、ハードディスク装置１０９に記憶されたプログラム１１１を読み出して、ＲＡＭ１０８に展開して実行することで、差分生成部１０、残差推定部１１、出力部１２、誤差算出部２０、勾配算出部２１および更新部２２等にかかる各種の処理を行う。なお、プログラム１１１は、ハードディスク装置１０９に記憶されていなくてもよい。例えば、コンピュータ３が読み取り可能な記憶媒体に記憶されたプログラム１１１を、コンピュータ３が読み出して実行するようにしてもよい。コンピュータ３が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal  Serial  Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にプログラム１１１を記憶させておき、コンピュータ３がこれらからプログラム１１１を読み出して実行するようにしてもよい。
【００７３】
以上の実施形態に関し、さらに以下の付記を開示する。
【００７４】
（付記１）背景および前景の判別対象となる対象画像と、前記背景にかかる背景画像との差分画像を生成する生成部と、
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定する推定部と、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する出力部と、
を有することを特徴とする画像処理装置。
【００７５】
（付記２）前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする付記１に記載の画像処理装置。
【００７６】
（付記３）前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする付記２に記載の画像処理装置。
【００７７】
（付記４）前記生成部は、前記対象画像および前記背景画像それぞれの各画素に基づく特徴量の差分をもとに前記差分画像を生成する、
ことを特徴とする付記１乃至３のいずれか一に記載の画像処理装置。
【００７８】
（付記５）背景および前景の判別対象となる対象画像と前記背景にかかる背景画像との差分画像、および、前記差分画像との差を示す残差に基づいて、ニューラル・ネットワークによって推定された、前記対象画像から前記背景および前記前景を区別するマップ画像を受け付け、当該マップ画像と、教師データとの誤差を算出する算出部と、
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する更新部と、
を有することを特徴とする学習装置。
【００７９】
（付記６）前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする付記５に記載の学習装置。
【００８０】
（付記７）前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする付記６に記載の学習装置。
【００８１】
（付記８）背景および前景の判別対象となる対象画像と、前記背景にかかる背景画像との差分画像を生成し、
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定し、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。
【００８２】
（付記９）前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする付記８に記載の画像処理方法。
【００８３】
（付記１０）前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする付記９に記載の画像処理方法。
【００８４】
（付記１１）前記生成する処理は、前記対象画像および前記背景画像それぞれの各画素に基づく特徴量の差分をもとに前記差分画像を生成する、
ことを特徴とする付記８乃至１０のいずれか一に記載の画像処理方法。
【００８５】
（付記１２）背景および前景の判別対象となる対象画像と前記背景にかかる背景画像との差分画像、および、前記差分画像との差を示す残差に基づいて、ニューラル・ネットワークによって推定された、前記対象画像から前記背景および前記前景を区別するマップ画像を受け付け、当該マップ画像と、教師データとの誤差を算出し、
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する、
処理をコンピュータが実行することを特徴とする学習方法。
【００８６】
（付記１３）前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする付記１２に記載の学習方法。
【００８７】
（付記１４）前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする付記１３に記載の学習方法。
【００８８】
（付記１５）背景および前景の判別対象となる対象画像と、前記背景にかかる背景画像との差分画像を生成し、
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定し、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【００８９】
（付記１６）前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする付記１５に記載の画像処理プログラム。
【００９０】
（付記１７）前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする付記１６に記載の画像処理プログラム。
【００９１】
（付記１８）前記生成する処理は、前記対象画像および前記背景画像それぞれの各画素に基づく特徴量の差分をもとに前記差分画像を生成する、
ことを特徴とする付記１５乃至１７のいずれか一に記載の画像処理プログラム。
【００９２】
（付記１９）背景および前景の判別対象となる対象画像と前記背景にかかる背景画像との差分画像、および、前記差分画像との差を示す残差に基づいて、ニューラル・ネットワークによって推定された、前記対象画像から前記背景および前記前景を区別するマップ画像を受け付け、当該マップ画像と、教師データとの誤差を算出し、
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する、
処理をコンピュータに実行させることを特徴とする学習プログラム。
【００９３】
（付記２０）前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする付記１９に記載の学習プログラム。
【００９４】
（付記２１）前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする付記２０に記載の学習プログラム。
【符号の説明】
【００９５】
１…画像処理装置
２…学習装置
３…コンピュータ
１０…差分生成部
１１…残差推定部
１１ａ、２００、２００ａ、２００ｂ…ニューラル・ネットワーク
１２…出力部
２０…誤差算出部
２１…勾配算出部
２２…更新部
１０１…ＣＰＵ
１０２…入力装置
１０３…モニタ
１０４…スピーカ
１０５…媒体読取装置
１０６…インタフェース装置
１０７…通信装置
１０８…ＲＡＭ
１０９…ハードディスク装置
１１０…バス
１１１…プログラム
１１２…各種データ
２０１…入力層
２０２…中間層
２０３…出力層
Ｃ１、Ｃ２…ケース
Ｇ１…対象画像
Ｇ２…背景画像
Ｇ３…差分画像
Ｇ４…残差
Ｇ４ａ…判別結果
Ｇ５…前景マップ
Ｇ６…教師画像
Ｇ１０…入力画像
Ｇ１１…判別結果
Ｈ…人物
Ｒ１…前景領域
【図１】
2019153057.tif 000003
【図２】
2019153057.tif 000004
【図３】
2019153057.tif 000005
【図４】
2019153057.tif 000006
【図５】
2019153057.tif 000007
【図６】
2019153057.tif 000008
【図７】
2019153057.tif 000009
【図８】
2019153057.tif 000010
【図９】
2019153057.tif 000011
【図１０】
2019153057.tif 000012