(57)【要約】【課題】画像から抽出対象の画素領域を抽出する抽出精度を向上させる。【解決手段】画像処理プログラムは、抽出対象を含む第１の画像と、抽出対象を含まない第２の画像とを取得し、抽出対象を含む複数の識別対象を識別するように学習されたニューラルネットワークに、前記第１の画像と前記第２の画像とをそれぞれ入力し、該ニューラルネットワークの複数の層のうちの所定の層から、前記第１の画像に対応する第１の中間画像と、前記第２の画像に対応する第２の中間画像とを取得し、前記第１の中間画像と、前記第２の中間画像との差分に基づき、抽出対象の画素領域を抽出する、処理をコンピュータに実行させる。【選択図】図１
2020004179.tif 000002
【特許請求の範囲】
【請求項１】
抽出対象を含む第１の画像と、抽出対象を含まない第２の画像とを取得し、
抽出対象を含む複数の識別対象を識別するように学習されたニューラルネットワークに、前記第１の画像と前記第２の画像とをそれぞれ入力し、該ニューラルネットワークの複数の層のうちの所定の層から、前記第１の画像に対応する第１の中間画像と、前記第２の画像に対応する第２の中間画像とを取得し、
前記第１の中間画像と、前記第２の中間画像との差分に基づき、抽出対象の画素領域を抽出する、
処理をコンピュータに実行させるための画像処理プログラム。
【請求項２】
前記第１の中間画像と、前記第２の中間画像との差分を算出することで、差分画像を生成し、前記第１の画像と前記差分画像とを用いて、前記第１の画像から前記抽出対象の画素領域を抽出することを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記第１の中間画像に含まれる複数の特徴マップと、前記第２の中間画像に含まれる複数の特徴マップそれぞれの差の絶対値を加算することで、前記差分画像を生成することを特徴とする請求項２に記載の画像処理プログラム。
【請求項４】
抽出対象を含む第１の画像と、抽出対象を含まない第２の画像とを取得する取得部と、
抽出対象を含む複数の識別対象を識別するように学習されたニューラルネットワークに、前記第１の画像と前記第２の画像とをそれぞれ入力し、該ニューラルネットワークの複数の層のうちの所定の層から、前記第１の画像に対応する第１の中間画像と、前記第２の画像に対応する第２の中間画像とを取得する識別部と、
前記第１の中間画像と、前記第２の中間画像との差分に基づき、抽出対象の画素領域を抽出する抽出部と
を有することを特徴とする画像処理装置。
【請求項５】
抽出対象を含む第１の画像と、抽出対象を含まない第２の画像とを取得し、
抽出対象を含む複数の識別対象を識別するように学習されたニューラルネットワークに、前記第１の画像と前記第２の画像とをそれぞれ入力し、該ニューラルネットワークの複数の層のうちの所定の層から、前記第１の画像に対応する第１の中間画像と、前記第２の画像に対応する第２の中間画像とを取得し、
前記第１の中間画像と、前記第２の中間画像との差分に基づき、抽出対象の画素領域を抽出する、
処理をコンピュータが実行する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来より、所定の被写体を抽出対象として、撮影画像から画素領域を抽出する背景差分技術が知られている。背景差分技術とは、抽出対象を含む撮影画像である入力画像と、抽出対象を含まない撮影画像である背景画像との差分をとることで、抽出対象の画素領域を抽出する技術である。背景差分技術を適用した場合、抽出対象の画素領域を抽出できる一方で、抽出対象に付随する抽出対象以外の画素領域（例えば、被写体の影等）も抽出されることになる。
【０００３】
これに対して、例えば、下記特許文献では、抽出対象となる被写体と、該被写体の影とのテクスチャ成分（交流成分）の差に着目して背景差分技術を適用することで、被写体の影を除外した画素領域を抽出する抽出方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１４１５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記抽出方法の場合、例えば、抽出対象となる被写体のうちテクスチャ成分が小さい領域は、該被写体の影と同様に除外されるなど、抽出対象となる被写体の画素領域を適切に（過不足なく）抽出することができないという問題がある。
【０００６】
一つの側面では、画像から抽出対象の画素領域を抽出する抽出精度を向上させることを目的としている。
【課題を解決するための手段】
【０００７】
一態様によれば、画像処理プログラムは、
抽出対象を含む第１の画像と、抽出対象を含まない第２の画像とを取得し、
抽出対象を含む複数の識別対象を識別するように学習されたニューラルネットワークに、前記第１の画像と前記第２の画像とをそれぞれ入力し、該ニューラルネットワークの複数の層のうちの所定の層から、前記第１の画像に対応する第１の中間画像と、前記第２の画像に対応する第２の中間画像とを取得し、
前記第１の中間画像と、前記第２の中間画像との差分に基づき、抽出対象の画素領域を抽出する、
処理をコンピュータに実行させる。
【発明の効果】
【０００８】
画像から抽出対象の画素領域を抽出する抽出精度を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムのシステム構成及び画像処理装置の機能構成の一例を示す図である。
【図２】画像処理装置のハードウェア構成の一例を示す図である。
【図３】学習用画像情報の具体例を示す図である。
【図４】第１画像取得部により取得される第１画像の具体例を示す図である。
【図５】第２画像取得部により取得される第２画像の具体例を示す図である。
【図６】物体識別部による処理の具体例を示す第１の図である。
【図７】識別対象及び非識別対象と、抽出対象及び非抽出対象との関係を示す図である。
【図８】物体識別部による処理の具体例を示す第２の図である。
【図９】物体識別部による処理の具体例を示す第３の図である。
【図１０】領域抽出部による処理の具体例を示す図である。
【図１１】画像処理部による画像処理の流れを示すフローチャートである。
【図１２】画像処理システムの適用例を示す第１の図である。
【図１３】画像処理システムの適用例を示す第２の図である。
【発明を実施するための形態】
【００１０】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００１１】
［第１の実施形態］
＜画像処理システムのシステム構成及び画像処理装置の機能構成＞
はじめに、画像処理システムのシステム構成及び画像処理装置の機能構成について説明する。図１は、画像処理システムのシステム構成及び画像処理装置の機能構成の一例を示す図である。
【００１２】
図１に示すように、画像処理システム１００は、撮像装置１１０と、画像処理装置１２０と、学習用画像情報格納部１３０とを有する。撮像装置１１０と画像処理装置１２０とは、通信可能に接続される。同様に、画像処理装置１２０と学習用画像情報格納部１３０とは、通信可能に接続される。
【００１３】
撮像装置１１０は、所定の位置に設置され、固定した撮影方向で撮影を行い、撮影した画像（撮影画像）を画像処理装置１２０に送信する。撮像装置１１０により送信される撮影画像には、
・抽出対象を含むか否かを画像処理装置１２０が判定する「第１画像」（いわゆる入力画像）と、
・第１画像を撮影した際の撮影条件と同じ撮影条件のもとで、異なるタイミングで撮影された、抽出対象を含まない「第２画像」（いわゆる背景画像）と、
が含まれる。
【００１４】
なお、抽出対象とは、撮像装置１１０により撮影される被写体のうち、画像処理システム１００の管理者が指定した被写体であって、撮影中に変化する被写体（一般的には、動物体）を指すものとする。
【００１５】
画像処理装置１２０には、画像処理プログラムがインストールされており、当該プログラムが実行されることで、画像処理装置１２０は、取得部の一例である第１画像取得部１２１及び第２画像取得部１２２として機能する。また、画像処理装置１２０は、識別部の一例である物体識別部１２３及び中間画像取得部１２４として機能する。更に、画像処理装置１２０は、抽出部の一例である領域抽出部１２５として機能する。
【００１６】
第１画像取得部１２１は、撮像装置１１０より送信される第１画像を取得する。第１画像取得部１２１は、取得した第１画像を物体識別部１２３及び領域抽出部１２５に通知する。
【００１７】
第２画像取得部１２２は、撮像装置１１０より送信される第２画像を取得する。第２画像取得部１２２は、取得した第２画像を物体識別部１２３に通知する。
【００１８】
物体識別部１２３は、学習用画像情報格納部１３０に格納された学習用画像情報を読み出し、ニューラルネットワークを学習させる機能と、第１画像及び第２画像を入力し、学習済みのニューラルネットワークを実行させる機能とを有する。
【００１９】
中間画像取得部１２４は、第１画像及び第２画像を入力することで、物体識別部１２３が、学習済みのニューラルネットワークを実行させることで、所定の層から出力される中間画像を取得する。
【００２０】
物体識別部１２３が、第１画像を入力することで、学習済みのニューラルネットワークを実行させた場合、中間画像取得部１２４は、所定の層から出力される第１中間画像を取得する。
【００２１】
また、物体識別部１２３が、第２画像を入力することで、学習済みのニューラルネットワークを実行させた場合、中間画像取得部１２４は、所定の層から出力される第２中間画像を取得する。
【００２２】
中間画像取得部１２４は、取得した第１中間画像及び第２中間画像を領域抽出部１２５に通知する。
【００２３】
領域抽出部１２５は、中間画像取得部１２４から通知された第１中間画像及び第２中間画像を用いて、第１画像取得部１２１から通知された第１画像において、抽出対象の画素領域を抽出する。なお、第１の実施形態において、“抽出対象の画素領域を抽出する”とは、抽出対象の画素領域を、第１画像から切り出すことのほか、抽出対象の画素領域の各画素の座標を、第１画像において特定することも含まれるものとする。
【００２４】
学習用画像情報格納部１３０は、物体識別部１２３がニューラルネットワークを学習させる際に用いる、学習用画像情報を格納する。
【００２５】
なお、上記説明では、物体識別部１２３が、ニューラルネットワークを学習させる機能と、学習済みのニューラルネットワークを実行させる機能の両方を有するものとした。しかしながら、物体識別部１２３は、少なくとも学習済みのニューラルネットワークを実行させる機能を有していれば足り、ニューラルネットワークを学習させる機能は、他の装置が有していてもよい。この場合、画像処理装置１２０は、学習用画像情報格納部１３０と通信可能に接続されている必要はなく、他の装置が、学習用画像情報を用いて学習させた学習済みのニューラルネットワークまたはニューラルネットワークの重みを取得する機能を有していればよい。
【００２６】
＜画像処理装置のハードウェア構成＞
次に、画像処理装置１２０のハードウェア構成について説明する。図２は、画像処理装置のハードウェア構成の一例を示す図である。図２に示すように、画像処理装置１２０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only
Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
【００２７】
また、画像処理装置１２０は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、画像処理装置１２０の各ハードウェアは、バス２０９を介して相互に接続されている。
【００２８】
ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、画像処理プログラム等）を実行する演算デバイスである。
【００２９】
ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible
Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
【００３０】
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static
Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【００３１】
補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
【００３２】
表示装置２０５は、画像処理装置１２０の内部状態を表示する表示デバイスである。操作装置２０６は、画像処理装置１２０の管理者が画像処理装置１２０に対して各種指示を入力するための入力デバイスである。
【００３３】
Ｉ／Ｆ装置２０７は、撮像装置１１０と接続され、撮像装置１１０と画像処理装置１２０との間で撮影画像の送受信を行う。また、Ｉ／Ｆ装置２０７は、学習用画像情報格納部１３０と接続され、画像処理装置１２０と学習用画像情報格納部１３０との間で、学習用画像情報の送受信を行う。
【００３４】
ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００３５】
なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。あるいは、補助記憶装置２０４にインストールされる各種プログラムは、ネットワークよりダウンロードされることでインストールされてもよい。
【００３６】
＜学習用画像情報の具体例＞
次に、学習用画像情報格納部１３０に格納される学習用画像情報の具体例について説明する。図３は、学習用画像情報の具体例を示す図である。図３に示すように、学習用画像情報３００には、情報の項目として、“画像データＩＤ”、“ファイル名”、“識別対象”、“格納先”が含まれる。
【００３７】
“画像データＩＤ”には、画像データを識別するための識別子が格納される。図１の例は、学習用画像情報格納部１３０に、Ｎ個の画像データが格納されていることを示している。
【００３８】
“ファイル名”には、画像データのファイル名が格納される。“識別対象”には、各画像データに含まれる一般的な物体（以下、「一般物体」と称す）であって、物体識別部１２３がニューラルネットワークを学習させる際に、正解となる一般物体を示す情報が格納される。例えば、物体識別部１２３は、画像データＩＤ＝“ＩＤ００１”の画像データをニューラルネットワークに入力した際に、“対象Ａ”と識別されるように、ニューラルネットワークを学習させる。なお、第１の実施形態では、説明を簡略化するために、物体識別部１２３は４種類の一般物体（“対象Ａ”、“対象Ｂ”、“対象Ｃ”、“対象Ｄ”）を識別するように、ニューラルネットワークを学習させるものとする。
【００３９】
“格納先”には、画像データを学習用画像情報格納部１３０に格納した格納先を示すフォルダ名が格納される。
【００４０】
なお、図３に示す学習用画像情報３００の場合、各画像データが、いずれかの識別対象を含むものとして示されているが、学習用画像情報３００の各画像データには、識別対象を含まない画像データが含まれていてもよい。また、学習用画像情報３００の各画像データには、非識別対象（識別対象以外の一般物体）を含む画像データが含まれていてもよい。
【００４１】
また、図３に示す学習用画像情報３００の各画像データには、抽出対象を含む画像データが含まれている必要があるが、抽出対象を含まない画像データが含まれていてもよい。更に、学習用画像情報３００の各画像データには、非抽出対象（撮像装置１１０により撮影される被写体のうち、抽出対象以外の被写体）を含む画像データが含まれていてもよい。
【００４２】
＜第１画像及び第２画像の具体例＞
次に、第１画像取得部１２１により取得される第１画像と、第２画像取得部１２２により取得される第２画像の具体例について説明する。
【００４３】
（１）第１画像の具体例
図４は、第１画像取得部により取得される第１画像の具体例を示す図である。図４に示すように、入力画像の具体例である第１画像４００は、一般物体を複数含む。図４の例は、第１画像４００が、一般物体として、“対象Ａ”、“対象Ｆ”、“対象Ｇ”、“対象Ｈ”を含むことを示している。
【００４４】
なお、上述したとおり、第１画像４００が含む一般物体のうち、“対象Ａ”は、物体識別部１２３が学習済みのニューラルネットワークを実行させる際に、識別対象となる一般物体である。また、第１の実施形態において、“対象Ａ”は、領域抽出部１２５が抽出する抽出対象となる一般物体でもある。一方、第１画像４００が含む一般物体のうち、“対象Ｆ”、“対象Ｇ”、“対象Ｈ”は、物体識別部１２３が学習済みのニューラルネットワークを実行させる際に非識別対象となる一般物体であり、領域抽出部１２５が抽出しない非抽出対象の一般物体でもある。
【００４５】
（２）第２画像の具体例
図５は、第２画像取得部により取得される第２画像の具体例を示す図である。図５に示すように、背景画像の具体例である第２画像５００は、一般物体を複数含む。図５の例は、第２画像５００が、一般物体として、“対象Ｆ”、“対象Ｉ”を含むことを示している。
【００４６】
第２画像５００が含む一般物体（“対象Ｆ”、“対象Ｉ”）は、いずれも、物体識別部１２３が学習済みのニューラルネットワークを実行させる際に非識別対象となる一般物体であり、領域抽出部１２５が抽出しない非抽出対象の一般物体でもある。このように、第２画像５００は、抽出対象となる一般物体を含まない。
【００４７】
なお、第１画像４００が、識別対象となる一般物体であって、非抽出対象となる一般物体（“対象Ｂ”、“対象Ｃ”、“対象Ｄ”）を含む場合には、第２画像５００も、当該一般物体（“対象Ｂ”、“対象Ｃ”、“対象Ｄ”）を含むことが必要となる。
【００４８】
＜物体識別部による処理の具体例＞
次に、物体識別部１２３による処理の具体例として、学習用画像情報を読み出し、一般物体を識別するためにニューラルネットワークを学習させる処理と、第１画像及び第２画像を入力し、学習済みのニューラルネットワークを実行させる処理と、について説明する。
【００４９】
（１）ニューラルネットワークを学習させる処理の具体例
はじめに、学習用画像情報を読み出し、一般物体を識別するためにニューラルネットワークを学習させる処理の具体例について説明する。図６は、物体識別部による処理の具体例を示す第１の図である。
【００５０】
図６（ａ）に示すように、物体識別部１２３は、第１層から第３層までの各層を有する畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を有し、学習用画像情報３００の各画像データが入力される。
【００５１】
なお、参考までに、図６（ｂ）に一般的な畳み込みニューラルネットワークの処理を示す図を記載する。第１の実施形態では、説明の簡略化のため、４種類の識別対象を例示しているが、実際には、図６（ｂ）に示すように、１０００種類程度の識別対象が取り扱われることになる。
【００５２】
図６（ａ）の説明に戻る。上述したとおり、学習用画像情報３００の各画像データは、いずれかの識別対象を含む既知の画像データである。図６（ａ）の例は、学習用画像情報３００の各画像データとして、画像データＩＤ＝“ＩＤ００１”〜“ＩＤ００Ｎ”のＮ個の画像データが入力される様子を示している。
【００５３】
また、物体識別部１２３は、入力されたＮ個の画像データが含む識別対象が、適切に識別されるよう、畳み込みニューラルネットワークのフィルタ係数を学習させる。図６（ａ）の例は、“対象Ａ”、“対象Ｂ”、“対象Ｃ”、“対象Ｄ”の４種類の一般物体が識別されるように、フィルタ係数を学習させる様子を示している。
【００５４】
畳み込みニューラルネットワークでは、畳み込みにより抽出された局所特徴量が、階層を経るごとに、高次な特徴量へと変換され、最終的に識別結果が得られる。このため、学習された畳み込みニューラルネットワークの各層からは、識別対象の識別に寄与する特徴量を含む画像（特徴マップ）が出力される。
【００５５】
具体的には、畳み込みニューラルネットワークの各層から出力される各特徴マップには、識別対象（“対象Ａ”、“対象Ｂ”、“対象Ｃ”、“対象Ｄ”）の識別に寄与する特徴量が含まれている。一方で、畳み込みニューラルネットワークの各層から出力される各特徴マップからは、非識別対象（“対象Ｆ”、“対象Ｇ”、“対象Ｈ”、“対象Ｉ”）の識別に寄与する特徴量が排除されている。なお、第１の実施形態では、畳み込みニューラルネットワークの各層から出力される特徴マップの集合を、中間画像と称する。
【００５６】
このように、畳み込みニューラルネットワークの各層からは、識別対象を識別するのに必要な特徴量を含む画像である中間画像が出力される。このため、第１画像から抽出対象の画素領域を抽出するにあたり、領域抽出部１２５が当該中間画像を利用する場合、物体識別部１２３が学習させる畳み込みニューラルネットワークは、
・識別対象の中に、抽出対象が含まれていること（抽出対象が非識別対象でないこと）、
・識別対象の中に、抽出対象に付随する非抽出対象等、撮影中に変化する非抽出対象が含まれてないこと、
が条件となる。
【００５７】
なお、抽出対象に付随する非抽出対象とは、抽出対象となる被写体の影等のように、撮影中の被写体の変化に伴って変化する被写体を指す。
【００５８】
図７は、識別対象及び非識別対象と、抽出対象及び非抽出対象との関係を示す図である。このうち、図７（ａ）は、畳み込みニューラルネットワークの識別対象の集合を示している。図７（ａ）に示す一般物体を識別対象とする畳み込みニューラルネットワークの場合、中間画像には、“人”、“自動車”、“犬”等を識別するのに寄与する特徴量が含まれる。
【００５９】
また、図７（ａ）に示す一般物体を識別対象とする畳み込みニューラルネットワークの場合、中間画像には、“人”、“自動車”、“犬”等以外（非識別対象）を識別するのに寄与する特徴量が含まれない。例えば、中間画像には、“影”を識別するのに寄与する特徴量が含まれない。
【００６０】
このため、図７（ｂ）に示すように、第１画像において、抽出対象である“人”と、抽出対象に付随する非抽出対象である“影”とが含まれていた場合、中間画像には、“人”を識別するのに寄与する特徴量が残る。一方、中間画像において、“影”を識別するのに寄与する特徴量は除外されることになる。
【００６１】
（２）ニューラルネットワークを実行させる処理の具体例１
次に、学習済みのニューラルネットワークを実行させる処理の具体例１について説明する。図８は、物体識別部による処理の具体例を示す第２の図である。図８において、物体識別部１２３は、学習済みの畳み込みニューラルネットワークを有し、第１画像取得部１２１により取得された第１画像が入力される。図８の例は、“対象Ａ”、“対象Ｆ”、“対象Ｇ”、“対象Ｈ”を含む第１画像４００が入力される様子を示している。
【００６２】
ここで、物体識別部１２３が有する畳み込みニューラルネットワークは、識別対象として“対象Ａ”、“対象Ｂ”、“対象Ｃ”、“対象Ｄ”が適切に識別されるように学習されている。このため、第１画像４００が入力されることで、第１層または第２層において出力される各特徴マップには、“対象Ａ”、“対象Ｂ”、“対象Ｃ”、“対象Ｄ”のいずれかの識別対象の特徴量が含まれる。換言すると、第１層または第２層において出力される各特徴マップにおいて、“対象Ａ”、“対象Ｂ”、“対象Ｃ”、“対象Ｄ”のいずれにも該当しない非識別対象の特徴量は除外される。
【００６３】
第１画像４００には、学習済みの畳み込みニューラルネットワークの識別対象である、“対象Ａ”、“対象Ｂ”、“対象Ｃ”、“対象Ｄ”のうち、“対象Ａ”が含まれる。このため、第１層または第２層において出力される各特徴マップには、“対象Ａ”の特徴量が含まれ、“対象Ａ”以外の非識別対象である“対象Ｆ”、“対象Ｇ”、“対象Ｈ”の特徴量は除外される。
【００６４】
図８の例は、物体識別部１２３が、学習済み畳み込みニューラルネットワークを実行させることで、第１層または第２層より、特徴マップの集合である第１中間画像８００が出力された様子を示している。なお、第１層または第２層より出力された第１中間画像８００は、中間画像取得部１２４によって取得され、領域抽出部１２５に通知される。
【００６５】
（３）ニューラルネットワークを実行させる処理の具体例２
次に、学習済みのニューラルネットワークを実行させる処理の具体例２について説明する。図９は、物体識別部による処理の具体例を示す第３の図である。図８との違いは、図９の場合、物体識別部１２３が、第２画像取得部１２２により取得された第２画像を入力する点である。なお、図９の例は、物体識別部１２３が、“対象Ｆ”、“対象Ｉ”を含む第２画像５００を入力する様子を示している。
【００６６】
上述したとおり、物体識別部１２３が有する畳み込みニューラルネットワークは、識別対象として“対象Ａ”、“対象Ｂ”、“対象Ｃ”、“対象Ｄ”が適切に識別されるように学習されている。このため、第２画像５００が入力されることで、第１層または第２層において出力される各特徴マップには、“対象Ａ”、“対象Ｂ”、“対象Ｃ”、“対象Ｄ”のいずれかの識別対象の特徴量が含まれる。換言すると、第１層または第２層において出力される各特徴マップにおいて、“対象Ａ”、“対象Ｂ”、“対象Ｃ”、“対象Ｄ”のいずれにも該当しない非識別対象の特徴量は除外される。
【００６７】
第２画像５００には、学習済みの畳み込みニューラルネットワークの識別対象である“対象Ａ”、“対象Ｂ”、“対象Ｃ”、“対象Ｄ”のいずれも含まれていない。このため、第１層または第２層において出力される各特徴マップにおいて、“対象Ａ”、“対象Ｂ”、“対象Ｃ”、“対象Ｄ”のいずれかの特徴量が含まれることはない。また、非識別対象である“対象Ｆ”、“対象Ｉ”の特徴量は除外される。
【００６８】
図９の例は、物体識別部１２３が、学習済み畳み込みニューラルネットワークを実行させることで、第１層または第２層より、特徴マップの集合である第２中間画像９００が出力された様子を示している。なお、第１層または第２層より出力された第２中間画像９００は、中間画像取得部１２４によって取得され、領域抽出部１２５に通知される。このように、物体識別部１２３では、第ｉ層から中間画像を取り出した場合、第ｉ＋１層以降の処理を実行しない。
【００６９】
＜領域抽出部による処理の具体例＞
次に、領域抽出部１２５による処理の具体例について説明する。図１０は、領域抽出部による処理の具体例を示す図である。
【００７０】
図１０（ａ）に示すように、領域抽出部１２５は、中間画像取得部１２４から通知された第１中間画像８００及び第２中間画像９００を用いて差分画像１０１０を生成する。第１中間画像８００と第２中間画像９００の相違点は、第１中間画像８００には、識別対象の特徴量が含まれている点である。
【００７１】
図１０（ａ）の例の場合、第１中間画像８００には、識別対象の“対象Ａ”の特徴量が含まれているため、第１中間画像８００と第２中間画像９００との差の絶対値を算出することで得られる差分画像１０１０には、“対象Ａ”の画素領域が含まれる。
【００７２】
なお、図１０（ａ）の例では、明示していないが、第１中間画像８００及び第２中間画像９００にそれぞれ含まれる識別対象の特徴量のうち、撮影中に変化しない非抽出対象の特徴量は、差の絶対値を算出することで除外される。
【００７３】
第１中間画像８００の各画素の画素値をＦ１（ｃ，ｘ，ｙ）、第２中間画像９００の各画素の画素値をＦ２（ｃ，ｘ，ｙ）とすると、差分画像１０１０は、｜Ｆ１（ｃ，ｘ，ｙ）−Ｆ２（ｃ，ｘ，ｙ）｜と表すことができる。ｃは、複数の特徴マップのいずれかを示し、ｘ、ｙは各画素の座標を示している。
【００７４】
なお、第１中間画像８００及び第２中間画像９００が、例えば、ｎ個の特徴マップが含まれるとすると、ｎ個の差分画像が生成される。このため、領域抽出部１２５は、それらの差分画像を加算することで、差分画像１０１０が生成される。つまり、差分画像１０１０の各画素の画素値は、
【００７５】
【数１】
2020004179.tif 000003
と表すことができる。
【００７６】
領域抽出部１２５は、差分画像１０１０において、“対象Ａ”の画素領域の各画素の画素値を、“１”とおき、差分画像１０１０において、“対象Ａ”の画素領域以外の各画素の画素値を“０”とおく（つまり、抽出対象の画素領域の各画素の座標を特定する）。
【００７７】
また、図１０（ｂ）に示すように、領域抽出部１２５は、第１画像取得部１２１より通知された第１画像４００に、差分画像１０１０をかけ合わせることで、抽出画像１０２０を生成する。上述したとおり、差分画像１０１０において、“対象Ａ”の画素領域の各画素の画素値は、“１”であり、“対象Ａ”の画素領域以外の各画素の画素値は、“０”である。このため、第１画像４００に差分画像１０１０をかけあわせることで、領域抽出部１２５は、第１画像４００の“対象Ａ”の画素領域が含まれる抽出画像１０２０を生成することができる（つまり、抽出対象の画素領域を切り出すことができる）。
【００７８】
＜画像処理の流れ＞
次に、画像処理装置１２０による画像処理（ニューラルネットワークを実行させる処理）の流れについて説明する。図１１は、画像処理装置による画像処理の流れを示すフローチャートである。
【００７９】
ステップＳ１１０１において、第１画像取得部１２１は、撮像装置１１０より送信される第１画像を取得する。
【００８０】
ステップＳ１１０２において、第１画像取得部１２１は、取得した第１画像を、物体識別部１２３に入力する。
【００８１】
ステップＳ１１０３において、物体識別部１２３は、学習済みの畳み込みニューラルネットワークを実行させることで、第１層または第２層より第１中間画像を出力し、中間画像取得部１２４は、出力された第１中間画像を取得する。
【００８２】
ステップＳ１１０４において、第２画像取得部１２２は、撮像装置１１０より送信される第２画像を取得する。
【００８３】
ステップＳ１１０５において、第２画像取得部１２２は、取得した第２画像を、物体識別部１２３に入力する。
【００８４】
ステップＳ１１０６において、物体識別部１２３は、学習済みの畳み込みニューラルネットワークを実行させることで、第１層または第２層より第２中間画像を出力し、中間画像取得部１２４は、出力された第２中間画像を取得する。
【００８５】
ステップＳ１１０７において、領域抽出部１２５は、第１中間画像と第２中間画像との差分を算出することで、差分画像を生成する。
【００８６】
ステップＳ１１０８において、領域抽出部１２５は、第１画像に差分画像をかけ合わせることで、抽出画像を生成する。
【００８７】
＜一般的な画像処理との違い＞
次に、画像処理装置１２０により実行される上記画像処理（図１１）と、一般的な画像処理との違いについて説明する。
【００８８】
（１）一般的な画像処理その１（画像のテクスチャ成分について背景差分技術を適用する画像処理）との違い
画像のテクスチャ成分について背景差分技術を適用する画像処理の場合、抽出対象となる被写体のうちテクスチャ成分が小さい領域は除外される。この結果、抽出対象の輪郭線のみが抽出され、輪郭線の内側の画素領域を抽出することができない。
【００８９】
これに対して、画像処理装置１２０による画像処理によれば、抽出対象となる被写体のうち、テクスチャ成分が小さい領域についても画素領域を抽出することができる。また、抽出対象に付随する被写体の影の画素領域が抽出されることもない。
【００９０】
（２）一般的な画像処理その２（ニューラルネットワークを用いた識別処理）との違い
ニューラルネットワークを用いた識別処理の場合、第１画像を入力して学習済みのニューラルネットワークを実行させることで、第１画像が、抽出対象を含むか否かを判定することはできる。しかしながら、ニューラルネットワークを用いた識別処理の場合、第１画像から抽出対象となる被写体の画素領域を抽出することまではできない。
【００９１】
これに対して、画像処理装置１２０による画像処理によれば、第１画像から抽出対象となる被写体の画素領域を過不足なく抽出することができる。
【００９２】
＜画像処理システムの適用例＞
次に、画像処理システム１００の適用例について説明する。
【００９３】
（１）適用例１
図１２は、画像処理システムの適用例を示す第１の図である。図１２に示すように、画像処理システム１００を、自由視点映像生成装置１２１０に接続することで、自由視点映像生成システム１２００を形成することができる。
【００９４】
なお、自由視点映像生成システム１２００を形成するにあたり、画像処理装置１２０には、複数の撮像装置（撮像装置１１０に加えて、撮像装置１２２０＿１〜１２２０＿ｍ）が接続され、識別対象の１つである被写体１２３０を異なる方向から撮影するものとする。また、複数の撮像装置それぞれから出力される画像データに対しては、同様の画像処理が施され、領域抽出部１２５では、被写体１２３０の画素領域（撮像装置の数に応じた数の画素領域であって、いずれも影を含まない画素領域）が抽出されるものとする。
【００９５】
図１２に示すように、自由視点映像生成装置１２１０は、ＶｉｓｕａｌＨｕｌｌ部１２１１、レンダリング部１２１２、出力部１２１３を有する。
【００９６】
ＶｉｓｕａｌＨｕｌｌ部１２１１は、領域抽出部１２５にて抽出された、被写体１２３０の画素領域（撮像装置の数に応じた数の画素領域）を用いて、被写体１２３０の３次元構造を復元する。
【００９７】
レンダリング部１２１２は、ＶｉｓｕａｌＨｕｌｌ部１２１１において復元された３次元構造を用いて、任意の視点からの映像をレンダリングする。
【００９８】
出力部１２１３は、レンダリング部１２１２によりレンダリングされた任意の視点からの映像のうち、指示された視点からの映像を出力する。
【００９９】
このように、画像処理システム１００を、自由視点映像生成装置１２１０に接続して自由視点映像生成システム１２００を形成することで、被写体１２３０の任意視点の映像を適切に（過不足なく）出力することが可能となる。
【０１００】
（２）適用例２
図１３は、画像処理システムの適用例を示す第２の図である。図１３に示すように、画像処理システム１００を、映像監視装置１３１０に接続することで、映像監視システム１３００を形成することができる。
【０１０１】
また、図１３に示すように、映像監視装置１３１０は、判定部１３１１を有する。判定部１３１１は、領域抽出部１２５にて抽出された抽出対象の画素領域に含まれる画素数をカウントし、画素数が所定の閾値以上であった場合に、不審者または不審物であると判定し、メッセージを出力する。
【０１０２】
このように、画像処理システム１００を、映像監視装置１３１０に接続して映像監視システム１３００を形成することで、不審者または不審物の画素領域を適切に（過不足なく）判定することが可能となる。
【０１０３】
以上の説明から明らかなように、第１の実施形態に係る画像処理装置１２０は、抽出対象を含む第１画像と、抽出対象を含まない第２画像とを取得し、抽出対象を含む複数の識別対象を識別するように学習されたニューラルネットワークに入力する。
【０１０４】
また、第１の実施形態に係る画像処理装置１２０は、ニューラルネットワークの所定の層から、第１画像に対応する第１中間画像と、第２画像に対応する第２中間画像とを取得する。更に、第１の実施形態に係る画像処理装置１２０は、第１中間画像と第２中間画像との差分から得られる差分画像を、第１画像にかけ合わせることで、第１画像から、抽出対象の画素領域を抽出する。
【０１０５】
これにより、第１の実施形態に係る画像処理装置１２０によれば、画像から抽出対象の画素領域を適切に（過不足なく）抽出することが可能となる。つまり、抽出対象の画素領域を抽出する抽出精度を向上させることができる。
【０１０６】
［第２の実施形態］
上記第１の実施形態では、第１画像及び第２画像を取得するタイミングについて特に言及しなかったが、例えば、第２画像は、第１画像を取得する直前または直後に取得することが望ましい。天候や時間帯等、周囲環境が同じ条件のもとで、差分画像を生成することで、抽出対象の画素領域を抽出する抽出精度をより向上させることができるからである。つまり、上記第１の実施形態において記載した“撮影条件”には、撮像装置１１０側の条件に加え、撮像装置１１０の周囲環境の条件も含まれるものとする。
【０１０７】
また、上記第１の実施形態では、第１画像取得部１２１及び第２画像取得部１２２が、撮像装置１１０から、直接、第１画像及び第２画像を取得するものとして説明した。しかしながら、第１画像取得部１２１及び第２画像取得部１２２は、撮像装置１１０から送信された画像データが格納される格納先から、第１画像及び第２画像を取得してもよい。また、第１画像取得部１２１及び第２画像取得部１２２は、第１画像及び第２画像を取得する際、ノイズ除去処理や色補正処理等の各種前処理を行ってもよい。
【０１０８】
また、上記第１の実施形態では、第１画像に対応する第１中間画像と、第２画像に対応する第２中間画像とを、同じ層から取得するものとして説明したが、異なる層から取得してもよい。ただし、異なる層から取得する場合、各種補間処理を行うことで、中間画像を拡大する処理が行われるものとする。
【０１０９】
また、上記第１の実施形態では、差分画像を生成するにあたり、第１中間画像と第２中間画像の差の絶対値を加算するものとして説明したが、第１中間画像と第２中間画像の差の２乗を加算してもよい。
【０１１０】
また、上記第１の実施形態では、差分画像を生成するにあたり、第１中間画像に含まれる複数の特徴マップと第２中間画像に含まれる複数の特徴マップを全て用いるものとして説明したが、複数の特徴マップの一部を用いて差分画像を生成するようにしてもよい。
【０１１１】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
抽出対象を含む第１の画像と、抽出対象を含まない第２の画像とを取得し、
抽出対象を含む複数の識別対象を識別するように学習されたニューラルネットワークに、前記第１の画像と前記第２の画像とをそれぞれ入力し、該ニューラルネットワークの複数の層のうちの所定の層から、前記第１の画像に対応する第１の中間画像と、前記第２の画像に対応する第２の中間画像とを取得し、
前記第１の中間画像と、前記第２の中間画像との差分に基づき、抽出対象の画素領域を抽出する、
処理をコンピュータに実行させるための画像処理プログラム。
（付記２）
前記第１の中間画像と、前記第２の中間画像との差分を算出することで、差分画像を生成し、前記第１の画像に前記差分画像をかけ合わせることで、前記第１の画像において前記抽出対象の画素領域を抽出することを特徴とする付記１に記載の画像処理プログラム。
（付記３）
前記第１の中間画像に含まれる複数の特徴マップと、前記第２の中間画像に含まれる複数の特徴マップそれぞれの差の絶対値を加算することで、前記差分画像を生成することを特徴とする付記２に記載の画像処理プログラム。
（付記４）
前記第１の画像と前記第２の画像は、同じ位置に設置された撮像装置が、同じ撮影条件のもとで異なるタイミングで撮影した画像であることを特徴とする付記１乃至３のいずれかの付記に記載の画像処理プログラム。
（付記５）
前記複数の識別対象は、前記抽出対象に付随する非抽出対象を含まないことを特徴とする付記１乃至４のいずれかの付記に記載の画像処理プログラム。
（付記６）
前記第１の画像が、前記複数の識別対象のうちのいずれかの識別対象であって、かつ、非抽出対象である物体を含む場合、該物体を含む前記第２の画像を取得することを特徴とする付記５に記載の画像処理プログラム。
（付記７）
抽出対象を含む第１の画像と、抽出対象を含まない第２の画像とを取得する取得部と、
抽出対象を含む複数の識別対象を識別するように学習されたニューラルネットワークに、前記第１の画像と前記第２の画像とをそれぞれ入力し、該ニューラルネットワークの複数の層のうちの所定の層から、前記第１の画像に対応する第１の中間画像と、前記第２の画像に対応する第２の中間画像とを取得する識別部と、
前記第１の中間画像と、前記第２の中間画像との差分に基づき、抽出対象の画素領域を抽出する抽出部と
を有することを特徴とする画像処理装置。
（付記８）
抽出対象を含む第１の画像と、抽出対象を含まない第２の画像とを取得し、
抽出対象を含む複数の識別対象を識別するように学習されたニューラルネットワークに、前記第１の画像と前記第２の画像とをそれぞれ入力し、該ニューラルネットワークの複数の層のうちの所定の層から、前記第１の画像に対応する第１の中間画像と、前記第２の画像に対応する第２の中間画像とを取得し、
前記第１の中間画像と、前記第２の中間画像との差分に基づき、抽出対象の画素領域を抽出する、
処理をコンピュータが実行する画像処理方法。
【０１１２】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１１３】
１００                      ：画像処理システム
１１０                      ：撮像装置
１２０                      ：画像処理装置
１２１                      ：第１画像取得部
１２２                      ：第２画像取得部
１２３                      ：物体識別部
１２４                      ：中間画像取得部
１２５                      ：領域抽出部
３００                      ：学習用画像情報
４００                      ：第１画像
５００                      ：第２画像
８００                      ：第１中間画像
９００                    ：第２中間画像
１０１０                    ：差分画像
１０２０                    ：抽出画像
１２００                    ：自由視点映像生成システム
１２１０                    ：自由視点映像生成装置
１２２０＿１〜１２２０＿ｍ  ：撮像装置
１２３０                    ：被写体
１３００                    ：映像監視システム
１３１０                    ：映像監視装置
１３１１                    ：判定部
【図１】
2020004179.tif 000004
【図２】
2020004179.tif 000005
【図３】
2020004179.tif 000006
【図４】
2020004179.tif 000007
【図５】
2020004179.tif 000008
【図６】
2020004179.tif 000009
【図７】
2020004179.tif 000010
【図８】
2020004179.tif 000011
【図９】
2020004179.tif 000012
【図１０】
2020004179.tif 000013
【図１１】
2020004179.tif 000014
【図１２】
2020004179.tif 000015
【図１３】
2020004179.tif 000016