(57)【要約】      （修正有）【課題】背景領域の影響を十分に低減した画像から特徴量を抽出し、これによって、特徴量をより精度よく抽出して、より高精度に物体を認識することを可能にする。【解決手段】学習装置においてデータ処理部は、背景特定部１０と、物体認識部２０とを備える。背景特定部１０は、物体画像中の背景領域を特定する。物体認識部２０は、背景置換画像生成部３０と、特徴抽出識別部４０と、パラメータ更新部５０とを有する。背景置換画像生成部３０は、物体画像中の背景領域を、背景領域とは異なる画像で置換して、背景置換画像を生成する。特徴抽出識別部４０は、畳み込み型ニューラルネットワークで構成され、背景置換画像から物体の特徴量を抽出し、特徴量に基づいて物体を識別する。パラメータ更新部５０は、特徴抽出識別部４０での識別結果に基づいて、認識パラメータを更新する。【選択図】図２
2020086626.tif 000002
【特許請求の範囲】
【請求項１】
物体画像から物体を認識するための認識パラメータを学習する学習装置であって、
前記物体画像中の背景領域を特定する背景特定部と、
前記物体画像から前記認識パラメータを用いて前記物体を認識する物体認識部とを備え、
前記物体認識部は、
前記物体画像中の前記背景領域を、前記背景領域とは異なる画像で置換して、背景置換画像を生成する背景置換画像生成部と、
畳み込み型ニューラルネットワークで構成され、前記背景置換画像から前記物体の特徴量を抽出し、前記特徴量に基づいて前記物体を識別する特徴抽出識別部と、
前記特徴抽出識別部での識別結果に基づいて、前記認識パラメータを更新するパラメータ更新部とを有することを特徴とする学習装置。
【請求項２】
前記パラメータ更新部は、前記認識パラメータとして、前記特徴抽出識別部にて前記物体を識別するための識別パラメータと、前記特徴抽出識別部にて前記特徴量を抽出するための特徴抽出パラメータと、前記背景置換画像生成部にて前記背景領域を置換するための背景置換パラメータとを更新することを特徴とする請求項１に記載の学習装置。
【請求項３】
前記背景特定部は、
背景のみの背景画像と前記物体画像との差分をとることにより、前記背景領域を含む背景差分画像を生成する背景差分画像生成部と、
前記背景差分画像中の前記背景領域と残りの領域とを反転させて背景反転画像を生成する背景反転画像生成部とを有し、
前記背景置換画像生成部は、
前記物体画像と前記背景差分画像とで、同じ画素位置の画素値同士を乗算して、背景置換の対象となる対象画像を生成する乗算部と、
前記背景反転画像の前記背景領域の各画素値を別の値で置換して反転置換画像を生成する反転置換画像生成部と、
前記対象画像と前記反転置換画像とで、同じ画素位置の画素値同士を加算して、前記背景置換画像を生成する加算部とを有することを特徴とする請求項２に記載の学習装置。
【請求項４】
前記反転置換画像生成部は、前記背景反転画像の前記背景領域の各画素値を、背景置換フィルタを用いた演算によって前記別の値に置換し、
前記背景置換パラメータは、前記背景置換フィルタの重みであることを特徴とする請求項３に記載の学習装置。
【請求項５】
前記背景置換画像生成部は、前記物体画像中の前記背景領域を、単色または特定模様の画像で置換して前記背景置換画像を生成することを特徴とする請求項１から４のいずれかに記載の学習装置。
【請求項６】
物体画像から物体を認識するための認識パラメータを学習する学習方法であって、
前記物体画像中の背景領域を特定する背景特定工程と、
前記物体画像から前記認識パラメータを用いて前記物体を認識する物体認識工程とを含み、
前記物体認識工程は、
前記物体画像中の前記背景領域を、前記背景領域とは異なる画像で置換して、背景置換画像を生成する背景置換画像生成工程と、
畳み込み型ニューラルネットワークを用いて、前記背景置換画像から前記物体の特徴量を抽出し、前記特徴量に基づいて前記物体を識別する特徴抽出識別工程と、
前記特徴抽出識別工程での識別結果に基づいて、前記認識パラメータを更新するパラメータ更新工程とを有することを特徴とする学習方法。
【請求項７】
前記パラメータ更新工程では、前記認識パラメータとして、前記特徴抽出識別工程にて前記物体を識別するための識別パラメータと、前記特徴抽出識別工程にて前記特徴量を抽出するための特徴抽出パラメータと、前記背景置換画像生成工程にて前記背景領域を置換するための背景置換パラメータとを更新することを特徴とする請求項６に記載の学習方法。
【請求項８】
前記背景特定工程は、
背景のみの背景画像と前記物体画像との差分をとることにより、前記背景領域を含む背景差分画像を生成する背景差分画像生成工程と、
前記背景差分画像中の前記背景領域と残りの領域とを反転させて背景反転画像を生成する背景反転画像生成工程とを有し、
前記背景置換画像生成工程は、
前記物体画像と前記背景差分画像とで、同じ画素位置の画素値同士を乗算して、背景置換の対象となる対象画像を生成する乗算工程と、
前記背景反転画像の前記背景領域の各画素値を別の値で置換して反転置換画像を生成する反転置換画像生成工程と、
前記対象画像と前記反転置換画像とで、同じ画素位置の画素値同士を加算して、前記背景置換画像を生成する加算工程とを有することを特徴とする請求項７に記載の学習方法。
【請求項９】
前記反転置換画像生成工程では、前記背景反転画像の前記背景領域の各画素値を、背景置換フィルタを用いた演算によって前記別の値に置換し、
前記背景置換パラメータは、前記背景置換フィルタの重みであることを特徴とする請求項８に記載の学習方法。
【請求項１０】
前記背景置換画像生成工程では、前記物体画像中の前記背景領域を、単色または特定模様の画像で置換して前記背景置換画像を生成することを特徴とする請求項６から９のいずれかに記載の学習方法。
【請求項１１】
請求項６から１０のいずれかに記載の学習方法をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体画像から物体を認識するための認識パラメータを学習する学習装置と、学習方法と、プログラムと、記録媒体とに関する。
【背景技術】
【０００２】
近年、セキュリティまたはマーケティング調査のために、カメラでの撮影によって取得された画像から物体（例えば人物）の位置、姿勢または行動を自動で検出したり、さらに属性（例えば人物の性別、年齢層）を自動で識別する技術が求められている。物体認識を頑健に行うために機械学習が広く用いられ、中でも、ＣＮＮ（Convolutional Neural Network）と呼ばれる畳み込み型ニューラルネットワークを用いる技術が近年多く提案されている。
【０００３】
ところで、物体の移動または変形（例えば姿勢の変化）によって物体付近の背景が大きく変化する状況で取得された画像、または学習データに無い背景下で取得された画像から物体を認識する場合、背景の影響を受けて物体の認識精度が低下しやすい。そこで、従来、物体認識において背景の影響を低減する技術が、例えば特許文献１または２に開示されている。
【０００４】
特許文献１の技術では、取得手段が、オブジェクトを含む入力画像（例えばＲＧＢの画像）を取得する。第１の抽出手段は、入力画像から、背景画像を用いて、変化する領域の画像である変化領域画像を抽出する。第２の抽出手段は、入力画像と変化領域画像とを結合し、結合して得られた画像から、ＣＮＮを利用することによって複数の特徴画像を抽出する。検出手段は、複数の特徴画像からオブジェクトの位置を検出する。特許文献１では、ＣＮＮの入力に変化領域画像を含ませることにより、特徴画像の抽出の際に背景領域の影響を低減し、オブジェクトの検出精度を向上させるよう試みている。
【０００５】
特許文献２の技術では、画像取得手段が、物体の画像を取得する。特徴抽出手段は、上記画像から物体の特徴量を求める。背景特定手段は、上記画像中の背景領域を特定する。背景置換手段は、上記特徴量について上記背景領域に相当する特徴量成分を別の値で置換する。識別パラメータ更新手段は、置換された特徴量を用いて識別パラメータを更新する。特許文献２では、物体の背景を置換した特徴量データを利用して識別パラメータを学習することにより、背景の変化の影響を抑えた識別パラメータを得るよう試みている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−１９１５０１号公報（請求項１、２、６、段落〔００１４〕〜〔００２２〕、図２〜図４等参照）
【特許文献２】特開２００８−５９１１０号公報（請求項１、段落〔００１０〕、〔００１２〕、〔００５６〕、図１〜図６等参照）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、特許文献１の技術では、ＣＮＮの入力にＲＧＢの画像が含まれており、ＲＧＢの画像には背景領域の情報が含まれている。このため、ＣＮＮでの畳み込み演算では、背景領域の影響を含んだ状態で、つまり、背景領域の影響を低減することが不十分な状態で、特徴量（特徴画像）が抽出されることになる。その結果、特徴量をより精度よく抽出することができず、より高精度に物体を認識することができない。
【０００８】
また、特許文献２の技術においても、特徴抽出手段が特徴量を抽出する対象となる画像に背景領域の情報が含まれており、背景領域の影響を含んだ状態で特徴量が抽出されている。このため、たとえ抽出した特徴量の一部の成分を置換して識別パラメータを更新しても、置換されていない特徴量成分に背景領域の影響が含まれている以上、より高精度に物体を認識することができない。
【０００９】
本発明は、上記の問題点を解決するためになされたもので、その目的は、特徴量を抽出する対象となる画像において背景領域の影響を十分に低減し、これによって、上記画像から特徴量を精度よく抽出して、従来よりも高精度に物体を認識することができる学習装置、学習方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一側面に係る学習装置は、物体画像から物体を認識するための認識パラメータを学習する学習装置であって、前記物体画像中の背景領域を特定する背景特定部と、前記物体画像から前記認識パラメータを用いて前記物体を認識する物体認識部とを備え、前記物体認識部は、前記物体画像中の前記背景領域を、前記背景領域とは異なる画像で置換して、背景置換画像を生成する背景置換画像生成部と、畳み込み型ニューラルネットワークで構成され、前記背景置換画像から前記物体の特徴量を抽出し、前記特徴量に基づいて前記物体を識別する特徴抽出識別部と、前記特徴抽出識別部での識別結果に基づいて、前記認識パラメータを更新するパラメータ更新部とを有する。
【００１１】
本発明の他の側面に係る学習方法は、物体画像から物体を認識するための認識パラメータを学習する学習方法であって、前記物体画像中の背景領域を特定する背景特定工程と、前記物体画像から前記認識パラメータを用いて前記物体を認識する物体認識工程とを含み、前記物体認識工程は、前記物体画像中の前記背景領域を、前記背景領域とは異なる画像で置換して、背景置換画像を生成する背景置換画像生成工程と、畳み込み型ニューラルネットワークを用いて、前記背景置換画像から前記物体の特徴量を抽出し、前記特徴量に基づいて前記物体を識別する特徴抽出識別工程と、前記特徴抽出識別工程での識別結果に基づいて、前記認識パラメータを更新するパラメータ更新工程とを有する。
【００１２】
本発明のさらに他の側面に係るプログラムは、上記学習方法をコンピュータに実行させるためのプログラムである。
【００１３】
本発明のさらに他の側面に係る記録媒体は、上記プログラムを記録したコンピュータ読取可能な記録媒体である。
【発明の効果】
【００１４】
特徴量を抽出する対象となる背景置換画像は、物体画像中の背景領域を、背景領域とは異なる画像で置換した画像である。このため、背景置換画像においては、背景領域の影響が十分に低減される。したがって、上記背景置換画像から特徴量を抽出することにより、特徴量を精度よく抽出でき、従来よりも高精度に物体を認識することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の一形態に係る学習装置の概略の構成を示すブロック図である。
【図２】上記学習装置のデータ処理部の構成を示すブロック図である。
【図３】上記データ処理部の特徴抽出識別部を構成するＣＮＮを模式的に示す説明図である。
【図４】上記ＣＮＮの１つのノードに対する入力および出力の関係を模式的に示す説明図である。
【図５】上記学習装置の学習方法による処理の流れを示すフローチャートである。
【図６】背景置換画像を生成する処理の流れを模式的に示す説明図である。
【図７】背景置換フィルタのサイズを拡大した場合に得られる反転置換画像を示す説明図である。
【発明を実施するための形態】
【００１６】
本発明の各実施の形態について、図面に基づいて説明すれば、以下の通りである。
【００１７】
〔１．学習装置の構成〕
図１は、本実施形態の学習装置１の概略の構成を示すブロック図である。本実施形態の学習装置１は、例えばパーソナルコンピュータで構成されており、カメラＣＡと通信回線を介して接続されている。カメラＣＡは、物体を撮影して物体の画像（以下、物体画像と称する）を取得する。物体画像は、ここではカラー画像とし、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画像データは、例えば８ビット（０〜２５５）のデータとする。通信回線は、例えば無線ＬＡＮ（Local Area Network）で構成されるが、有線ＬＡＮやインターネット回線で構成されてもよい。
【００１８】
学習装置１は、データ処理部２と、記憶部３と、入力部４と、表示部５と、通信部６と、読取部７と、制御部８とを備えている。データ処理部２は、物体画像から物体を認識するための認識パラメータを学習し、上記認識パラメータを用いて物体画像中の物体を認識する。なお、データ処理部２の詳細については後述する。
【００１９】
記憶部３は、各種の情報および制御部８の動作プログラムを記憶するメモリであり、例えばハードディスク、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を含んで構成される。入力部４は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成され、ユーザによる各種の指示入力を受け付ける。表示部５は、例えば液晶表示装置で構成され、各種の情報を表示する。例えば、データ処理部２での物体の認識結果は、表示部５に表示される。
【００２０】
通信部６は、外部との間で情報を送受信するための通信インターフェースであり、入出力ポート、送信回路、受信回路、アンテナ、変調回路、復調回路などを含んで構成される。例えば、カメラＣＡで取得された物体画像のデータは、通信部６を介して学習装置１に取り込まれる。上記物体画像のデータは、記憶部３に一時的に記憶されてデータ処理部２に送られる。
【００２１】
読取部７は、記録媒体Ｒに記録された情報を読み取る装置であり、例えばディスクドライブで構成される。なお、記録媒体Ｒが可搬型の不揮発性メモリである場合、上記不揮発性メモリの接続部が指し込まれる接続ポートも読取部７に含まれるとする。記録媒体Ｒには、例えば学習装置１の動作プログラム（特にデータ処理部２の機能を学習装置１に実行させるためのプログラム）が記録されていてもよいし、カメラＣＡで取得された物体画像のデータが記録されていてもよい。制御部８は、例えばＣＰＵ（Central Processing Unit；中央演算処理装置）で構成されており、記録媒体Ｒから読み取った動作プログラム、または記憶部３に記憶された動作プログラムを実行する。
【００２２】
〔２．データ処理部の構成〕
次に、上述したデータ処理部２の詳細について説明する。図２は、データ処理部２の構成を示すブロック図である。データ処理部２は、例えばＧＰＵ（Graphics Processing Unit）で構成される。ＧＰＵは、リアルタイムな画像処理に特化した演算装置（プロセッサ）である。なお、データ処理部２は、ＧＰＵに加えてＣＰＵをさらに含んでいてもよい。このデータ処理部２は、背景特定部１０と、物体認識部２０とを含んで構成される。
【００２３】
背景特定部１０は、物体画像中の背景領域を特定する。具体的には、背景特定部１０は、背景差分画像生成部１１と、背景反転画像生成部１２とを含む。背景差分画像生成部１１は、背景のみの背景画像と物体画像との差分（同じ画素位置の画素値同士の差分）をとる、いわゆる背景差分法により、背景領域を含む背景差分画像を生成する。背景反転画像生成部１２は、背景差分画像中の背景領域と残りの領域（例えば物体の領域）とを反転させて背景反転画像を生成する。
【００２４】
物体認識部２０は、物体画像から認識パラメータを用いて物体を認識する。なお、認識パラメータとは、後述する背景置換パラメータと、特徴抽出パラメータと、識別パラメータとを含む。このような物体認識部２０は、背景置換画像生成部３０と、特徴抽出識別部４０と、パラメータ更新部５０とを含む。
【００２５】
背景置換画像生成部３０は、物体画像中の物体領域をそのまま維持しつつ、物体画像中の背景領域を、背景領域とは異なる画像で置換して、背景置換画像を生成する。この背景置換画像生成部３０は、乗算部３１と、反転置換画像生成部３２と、加算部３３とを含む。
【００２６】
乗算部３１は、物体画像と背景差分画像とで、同じ画素位置の画素値同士を乗算して、背景置換の対象となる対象画像を生成する。反転置換画像生成部３２は、背景反転画像の背景領域の各画素値を別の値で置換して反転置換画像を生成する。特に、反転置換画像生成部３２は、背景反転画像の背景領域の各画素値を、背景置換フィルタを用いた演算によって上記別の値に置換する。背景置換フィルタは、ｍ×ｍ（ｍは１以上の整数）のフィルタである。フィルタのサイズ、つまり、ｍの値は、任意に設定可能であり、ここではｍ＝１とする。したがって、本実施形態では、背景反転画像の背景領域の各画素値に、背景置換フィルタの重み（係数）がそのまま掛けられることにより、各画素値が別の値に置換される。上記した背景置換パラメータとは、背景置換フィルタの重みのことである。加算部３３は、上記対象画像と上記反転置換画像とで、同じ画素位置の画素値同士を加算して、上記背景置換画像を生成する。
【００２７】
特徴抽出識別部４０は、畳み込み型ニューラルネットワーク（ＣＮＮ）で構成され、上記の背景置換画像から物体の特徴量を抽出し、抽出した特徴量に基づいて物体を識別する。図３は、特徴抽出識別部４０を構成するＣＮＮを模式的に示す説明図である。ＣＮＮ（特徴抽出識別部４０）は、入力層４１と、畳み込み層４２と、プーリング層４３と、出力層４４とを有して構成される。なお、畳み込み層４２およびプーリング層４３は、少なくとも１組あればよい。
【００２８】
ＣＮＮを構成する各層（入力層４１、畳み込み層４２、プーリング層４３、出力層４４）はそれぞれ、複数のノード（またはユニット）を有する。ニューラルネットワークとは、人間の神経ネットワークを模倣した情報処理システムのことであるが、上記のノードは、人間の神経細胞に相当する工学的なニューロンのモデルを表す。
【００２９】
図４は、１つのノードＵに対する入力および出力の関係を模式的に示している。ノードＵとしては、通常、多入力１出力の素子が用いられる。信号は一方向にだけ伝わり、ある重み（結合荷重：ｗｉ）をつけられて、ノードＵに入力される。この重みによって、階層的に並ぶノードＵ・Ｕ間の結合の強さが表される。上記の重みは、学習によって変化させることができる。ノードＵからは、重みをつけられたそれぞれの入力値（ｗｉｘｉ）の総和から閾値θを引いた値Ｘが応答関数ｆ（Ｘ）による変形を受けて出力される。つまり、ノードＵの出力値ｙは、以下の数式で表される。
ｙ＝ｆ（Ｘ）
ここで、
Ｘ＝Σ（ｗｉｘｉ−θ）
である。なお、応答関数としては、例えばシグモイド関数を用いることができる。
【００３０】
入力層４１の各ノードＵには、上記背景置換画像の各画素のデータ（画素値）がそれぞれ入力される。畳み込み層４２は、前の層の所定のノードＵから出力される値に対してフィルタ処理を行って特徴マップ（特徴量）を得る。プーリング層４３は、畳み込み層４２から出力された特徴マップをさらに縮小して新たな特徴マップを得る。出力層４４は、ＣＮＮの最終層であり、前の層のノードＵの値と、エッジの重みと、出力層４４が持つ応答関数とから、物体の識別結果を出力する。このような出力層４４は、例えば１つ前の層の全ノードＵからの出力を結合し、所定の演算を行って識別結果を出力する全結合層で構成される。なお、全結合層は、２層以上であってもよい。
【００３１】
ＣＮＮの学習アルゴリズムとしては、例えば、正解付きの画像データを用い、上記画像データを入力したときに得られる出力層４４からの出力値と、正解を示す値との２乗誤差が最小となるように、最急降下法を用いて、各層（エッジ）の重みを出力層４４側から入力層４１側に向かって順次変化させていく誤差逆伝播法（バックプロパゲーション）を用いることができる。
【００３２】
なお、各層のエッジの重みのことを、ここではパラメータとも称する。特に、出力層４４とその直前の層（入力側に１つ前の層）とを結合するエッジの重みのことを、特徴抽出識別部４０にて物体を識別するための識別パラメータと称する。また、畳み込み層４２とその直前の層とを結合するエッジの重み、およびプーリング層４３と前の層とを結合するエッジの重みのことを、特徴抽出識別部４０にて特徴量を抽出するための特徴抽出パラメータと称する。
【００３３】
パラメータ更新部５０は、特徴抽出識別部４０での識別結果に基づいて、認識パラメータを更新する。特に、パラメータ更新部５０は、上記の誤差逆伝搬法により、上記認識パラメータとして、特徴抽出識別部４０の上記識別パラメータおよび上記特徴抽出パラメータと、背景置換画像生成部３０にて背景領域を置換するための背景置換パラメータとを更新する。すなわち、本実施形態では、誤差逆伝搬法を利用したパラメータの更新対象を、特徴抽出識別部４０のみならず、背景置換画像生成部３０（特に反転置換画像生成部３２）にまで広げている。
【００３４】
〔３．学習方法について〕
次に、上記構成の学習装置１の学習方法について説明する。図５は、本実施形態の学習方法による処理の流れを示すフローチャートである。また、図６は、背景置換画像を生成する処理の流れを模式的に示す説明図である。本実施形態の学習方法は、物体画像取得工程（Ｓ１）と、背景特定工程（Ｓ１０）と、物体認識工程（Ｓ２０）とを含む。
【００３５】
（Ｓ１；物体画像取得工程）
Ｓ１では、学習装置１において、外部から物体画像Ｐ（画像データ）が取得される。ここでは、物体画像Ｐとして、カメラＣＡ（図１参照）から学習装置１に出力されたカラー画像（例えば８ビット）を考える。なお、物体画像Ｐは、外部の端末装置（例えばパーソナルコンピュータ）やサーバーに予め記憶され、上記端末装置等から学習装置１に出力された画像であってもよい。また、物体画像Ｐは、電子メールに添付されて学習装置１に送信された画像であってもよいし、記録媒体Ｒから読み取られた画像であってもよい。
【００３６】
（Ｓ１０；背景特定工程）
Ｓ１０では、背景特定部１０が物体画像Ｐ中の背景領域ｐａを特定する。より詳しくは、背景特定部１０の背景差分画像生成部１１が、予め用意した背景のみの背景画像と、Ｓ１で取得した物体画像Ｐとの画素値の差分をとることにより、背景差分画像Ｍ１を生成する（Ｓ１１；背景差分画像生成工程）。背景差分画像Ｍ１は、背景領域ｍａの画素値が０（黒）であり、残りの物体領域ｍｂの画素値が１（白）である２値画像である。背景領域ｍａおよび物体領域ｍｂを含む背景差分画像Ｍ１を得ることにより、背景領域ｍａに基づいて、物体画像Ｐ中の背景領域ｐａを特定する、つまり、物体以外の領域がどこであるかを特定することができる。
【００３７】
続いて、背景特定部１０の背景反転画像生成部１２は、背景差分画像Ｍ１中の背景領域ｍａと残りの物体領域ｍｂとを（白黒）反転させて背景反転画像Ｍ２を生成する（Ｓ１２；背景反転画像生成工程）。このとき、背景反転画像Ｍ２において、反転後の背景領域をｍａ’とし、反転後の物体領域をｍｂ’とすると、背景反転画像生成部１２は、背景領域ｍａ’の画素値を、後述する対象画像Ｑ’ （８ビット）と同じビット数に変換して背景反転画像Ｍ２を生成する。したがって、背景反転画像Ｍ２では、背景領域ｍａ’の画素値は８ビットで例えば２５５（白）となり、残りの物体領域ｍｂ’の画素値は８ビットで例えば０（黒）となる。なお、背景領域ｍａ’の画素値は、８ビットで２５５以外の値（１など）であってもよいが、８ビットで２５５の値としたほうが、精度が安定しやすい傾向にある（背景置換フィルタの重みが−１〜１あたりの値に集中しやすいため）。
【００３８】
（Ｓ２０；物体認識工程）
Ｓ２０では、物体認識部２０が物体画像Ｐから認識パラメータを用いて物体を認識する。この物体認識工程は、背景置換画像生成工程（Ｓ３０）と、特徴抽出識別工程（Ｓ４０）と、パラメータ更新工程（Ｓ５０）とを含む。
【００３９】
《Ｓ３０；背景置換画像生成工程》
Ｓ３０では、背景置換画像生成部３０は、物体画像Ｐ中の背景領域ｐａを、背景領域ｐａとは異なる画像で置換して、背景置換画像Ｑを生成する。より詳しくは、背景置換画像生成部３０の乗算部３１が、物体画像Ｐと背景差分画像Ｍ１とで、同じ画素位置の画素値同士を乗算して、背景置換の対象となる対象画像Ｑ’を生成する（Ｓ３１；乗算工程）。背景差分画像Ｍ１では、上述のように、背景領域ｍａの画素値が０であり、残りの物体領域ｍｂの画素値が１であるため、物体画像Ｐと背景差分画像Ｍ１とで、同じ画素位置の画素値同士を乗算すると、画素値が０である背景領域ｐｃと、物体画像Ｐの画素値がそのまま維持された物体領域ｐｂとを含む対象画像Ｑ’（８ビット）が生成される。
【００４０】
次に、反転置換画像生成部３２は、背景反転画像Ｍ２の背景領域ｍａ’の各画素値を、背景置換フィルタを用いて別の値に置換して反転置換画像Ｍ３を生成する（Ｓ３２；反転置換画像生成工程）。このとき、反転置換画像生成部３２は、背景反転画像Ｍ２を、物体画像ＰのＲＧＢに対応して３チャンネルに拡張し、各チャンネルのそれぞれに対して背景置換フィルタを用意し、各背景反転画像Ｍ２の各画素値に対して、対応する背景置換フィルタの重み（パラメータ）を掛け合わせる演算を行う。なお、各背景置換フィルタのパラメータは、予め任意の値に設定されているか、１回でも学習が行われた場合は、学習によって更新された値とする。
【００４１】
反転置換画像Ｍ３において、置換後の背景領域をｍｃとすると、物体領域ｍｂ’の画素値は０であり、背景領域ｍｃの各画素値は、背景領域ｍａ’とは異なる値となる。例えば、反転置換画像Ｍ３において、背景領域ｍｃの色は、物体画像Ｐにおける物体領域ｐｂのうちで大部分を占める色の補色となる。
【００４２】
次に、加算部３３は、対象画像Ｑ’と反転置換画像Ｍ３とで、同じ画素位置の画素値同士を加算して、背景置換画像Ｑを生成する（Ｓ３３；加算工程）。上述のように、対象画像Ｑ’では、背景領域ｐｃの画素値は０であり、反転置換画像Ｍ３では、物体領域ｍｂ’の画素値は０である。したがって、対象画像Ｑ’と反転置換画像Ｍ３とで、同じ画素位置の画素値同士を加算すると、対象画像Ｑ’の物体領域ｐｂと、反転置換画像Ｍ３の背景領域ｍｃとが足し合された背景置換画像Ｑが生成される。つまり、物体画像Ｐ中の背景領域ｐａを、背景領域ｐａとは異なる画像である背景領域ｍｃで置換した背景置換画像Ｑが生成される。
【００４３】
《Ｓ４０；特徴抽出識別工程》
Ｓ４０では、特徴抽出識別部４０が背景置換画像Ｑから物体の特徴量を抽出する（Ｓ４１；特徴抽出工程）。そして、特徴抽出識別部４０は、抽出した特徴量に基づいて物体を識別する（Ｓ４２；識別工程）。Ｓ４１における特徴量の抽出およびＳ４２における物体の識別は上述したＣＮＮを用いて行われる。なお、各ノードの重み、つまり、特徴抽出パラメータおよび識別パラメータは、予め任意の値に設定されているか、１回でも学習が行われた場合は、学習によって更新された値とする。
【００４４】
《Ｓ５０；パラメータ更新工程》
Ｓ５０では、パラメータ更新部５０が、Ｓ４０での物体の識別結果に基づいて、認識パラメータを更新する。つまり、Ｓ４０での識別結果を示すスコアと正解データとの誤差が最小となるように、誤差逆伝播法を用いて、ＣＮＮのパラメータ（識別パラメータおよび特徴抽出パラメータ）を更新するとともに、背景置換画像生成部３２の背景置換フィルタのパラメータ（フィルタの重み、係数）を更新する。なお、更新した各パラメータの値は、記憶部３に記憶されてもよいし、学習装置１の外部の記憶装置（図示せず）に記憶されてもよい。
【００４５】
〔４．効果〕
以上のように、特徴抽出識別部４０は、背景置換後の画像（背景置換画像Ｑ）に対してＣＮＮによる畳み込み演算を行って特徴量を抽出する。上記の背景置換画像Ｑは、物体画像Ｐ中の背景領域ｐａを、これとは異なる画像（背景領域ｍｃ）に置換した画像であり、背景領域ｐａの影響を十分に低減した画像であると言える。したがって、畳み込み演算による特徴量の抽出においては、背景領域ｐａの影響を十分に低減して特徴量を抽出できる。よって、特徴抽出識別部４０は、上記画像から特徴量（特に物体領域ｐｂのエッジ部分）を精度よく抽出することができ、抽出した特徴量に基づいて、物体画像Ｐ中の物体を精度よく識別することができる。その結果、パラメータ更新部５０が、特徴抽出識別部４０の識別結果に基づいて認識パラメータを更新することにより、更新後の認識パラメータを用いて、より高精度に物体を認識することができる。
【００４６】
また、パラメータ更新部５０は、ユーザによる指示入力に基づいて認識パラメータを更新するのではなく、特徴抽出識別部４０の識別結果に基づいて認識パラメータを更新する。これにより、高精度に認識が可能な認識パラメータをデータドリブンに（人の手に頼ることなくデータ主導で）導き出すことができる。
【００４７】
特に、パラメータ更新部５０は、認識パラメータとして、特徴抽出識別部４０の識別パラメータおよび特徴抽出パラメータと、背景置換画像生成部３０の背景置換パラメータとを更新する。このように、識別パラメータおよび特徴抽出パラメータと併せて背景置換パラメータを更新することにより、背景置換パラメータの学習回数が特徴抽出識別部４０の学習回数と同じ１回で済む。これにより、少ない学習回数で最適な背景置換パラメータを得ることができる。
【００４８】
また、背景特定部１０は、背景差分画像生成部１１と、背景反転画像生成部１２とを有する。そして、背景置換画像生成部３０は、乗算部３１と、反転置換画像生成部３２と、加算部３３とを有する。背景特定部１０および背景置換画像生成部３０が上記構成を備えることにより、特徴量を抽出する前に背景領域ｐａの影響を十分に低減した、上述の背景置換画像Ｑを確実に得ることができる。
【００４９】
また、反転置換画像生成部３２は、背景反転画像Ｍ２の背景領域ｍａ’の少なくとも１つの画素値を、背景置換フィルタを用いた演算によって別の値に置換する。このとき、上記背景置換パラメータは、背景置換フィルタの重みである。背景置換フィルタの重みを更新することで、背景反転画像Ｍ２の背景領域ｍａ’の画素値に、背景置換フィルタの重みを掛け合わせて、背景領域ｐａの影響を十分に低減した反転置換画像Ｍ３を確実に得ることができる。
【００５０】
〔５．背景置換パラメータの他の更新例〕
上述のＳ５０では、パラメータ更新部５０が、Ｓ４０での物体の識別結果に基づいて背景置換パラメータを更新する際に、背景置換フィルタのサイズはそのままで（１×１のサイズのままで）、フィルタの重み（係数）を更新する例について説明したが、用いる背景置換フィルタのサイズを変更してもよい。例えば、１×１の背景置換フィルタを、Ｎを２以上の整数として、Ｎ×Ｎの背景置換フィルタに変更してもよい。また、複数サイズの背景置換フィルタを用意しておき、パラメータ更新部５０が、Ｓ４０での物体の識別結果に基づいて適切なサイズの背景置換フィルタを選択することで、用いる背景置換フィルタのサイズを変更するようにしてもよい。
【００５１】
１×１の背景置換フィルタのサイズはそのままで重みを更新した場合、その後の新たな入力画像に対する物体認識の際に、Ｓ３２の反転置換画像生成工程では、背景反転画像Ｍ２の背景領域ｍａ’の各画素値が一様に同じ値に変更される。このため、得られた反転置換画像Ｍ３の背景領域ｍｃは、単色の画像となる（図６の反転置換画像Ｍ３参照）。
【００５２】
一方、図７は、ＲＧＢごとに、背景置換フィルタのサイズを１×１から２×２に変更した場合に得られる反転置換画像Ｍ３を示している。背景置換フィルタのサイズを２×２に変更すると、解像度（画素数）が２×２＝４倍に増大する。そして、２×２の各画素の重み（係数）が全て同じである場合を除き、得られた反転置換画像Ｍ３の背景領域ｍｃは、特定模様のテクスチャ画像となる。
【００５３】
このように、背景置換フィルタのパラメータ更新の際に、パラメータ更新部５０が背景置換フィルタのサイズを変更することも加味すると、背景置換画像生成部３０は、物体画像Ｐと反転置換画像Ｍ３とから、物体画像Ｐ中の背景領域ｐａを、単色または特定模様の画像（背景領域ｍｃ）で置換して背景置換画像Ｑを生成することができると言える。背景領域ｐａを単色および特定模様のいずれの画像で置換する場合でも、物体認識に最適な背景置換画像Ｑを取得できることが期待される。また、背景置換フィルタのサイズを変更することで、背景領域ｍｃとして単色の画像が得られるような背景置換フィルタのパラメータの学習を行うこともできるし、背景領域ｍｃとして特定模様の画像が得られるような背景置換フィルタのパラメータの学習を行うこともできる。
【００５４】
なお、複数サイズの背景置換フィルタを併用し、パラメータ更新部５０は、Ｓ４０での物体の識別結果に基づいて、各サイズの背景置換フィルタの重みを同時に更新するようにしてもよい。
【００５５】
〔６．プログラムおよび記録媒体〕
本実施形態で説明した学習装置１（特にデータ処理部２）は、例えば、所定のプログラム（アプリケーションソフトウェア）をインストールしたコンピュータ（ＰＣ）で構成することができる。上記プログラムをコンピュータ（例えばＰＣの制御部８）が読み取って実行することにより、上述した学習方法の各処理（各工程）をコンピュータに実行させることができる。つまり、学習装置１のデータ処理部２を機械学習させて、本実施形態の学習方法を実現することができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されて記憶部３に記憶される。また、上記プログラムは、例えばＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読取可能な記録媒体Ｒ（図１参照）に記録され、この記録媒体Ｒから上記プログラムをコンピュータが読み取って記憶部３に記憶する形態であってもよい。
【００５６】
〔７．その他〕
以上で説明した学習装置、学習方法、プログラムおよび記録媒体は、以下のように表現することができる。
【００５７】
１．物体画像から物体を認識するための認識パラメータを学習する学習装置であって、
前記物体画像中の背景領域を特定する背景特定部と、
前記物体画像から前記認識パラメータを用いて前記物体を認識する物体認識部とを備え、
前記物体認識部は、
前記物体画像中の前記背景領域を、前記背景領域とは異なる画像で置換して、背景置換画像を生成する背景置換画像生成部と、
畳み込み型ニューラルネットワークで構成され、前記背景置換画像から前記物体の特徴量を抽出し、前記特徴量に基づいて前記物体を識別する特徴抽出識別部と、
前記特徴抽出識別部での識別結果に基づいて、前記認識パラメータを更新するパラメータ更新部とを有することを特徴とする学習装置。
【００５８】
２．前記パラメータ更新部は、前記認識パラメータとして、前記特徴抽出識別部にて前記物体を識別するための識別パラメータと、前記特徴抽出識別部にて前記特徴量を抽出するための特徴抽出パラメータと、前記背景置換画像生成部にて前記背景領域を置換するための背景置換パラメータとを更新することを特徴とする前記１に記載の学習装置。
【００５９】
３．前記背景特定部は、
背景のみの背景画像と前記物体画像との差分をとることにより、前記背景領域を含む背景差分画像を生成する背景差分画像生成部と、
前記背景差分画像中の前記背景領域と残りの領域とを反転させて背景反転画像を生成する背景反転画像生成部とを有し、
前記背景置換画像生成部は、
前記物体画像と前記背景差分画像とで、同じ画素位置の画素値同士を乗算して、背景置換の対象となる対象画像を生成する乗算部と、
前記背景反転画像の前記背景領域の各画素値を別の値で置換して反転置換画像を生成する反転置換画像生成部と、
前記対象画像と前記反転置換画像とで、同じ画素位置の画素値同士を加算して、前記背景置換画像を生成する加算部とを有することを特徴とする前記２に記載の学習装置。
【００６０】
４．前記反転置換画像生成部は、前記背景反転画像の前記背景領域の各画素値を、背景置換フィルタを用いた演算によって前記別の値に置換し、
前記背景置換パラメータは、前記背景置換フィルタの重みであることを特徴とする前記３に記載の学習装置。
【００６１】
５．前記背景置換画像生成部は、前記物体画像中の前記背景領域を、単色または特定模様の画像で置換して前記背景置換画像を生成することを特徴とする前記１から４のいずれかに記載の学習装置。
【００６２】
６．物体画像から物体を認識するための認識パラメータを学習する学習方法であって、
前記物体画像中の背景領域を特定する背景特定工程と、
前記物体画像から前記認識パラメータを用いて前記物体を認識する物体認識工程とを含み、
前記物体認識工程は、
前記物体画像中の前記背景領域を、前記背景領域とは異なる画像で置換して、背景置換画像を生成する背景置換画像生成工程と、
畳み込み型ニューラルネットワークを用いて、前記背景置換画像から前記物体の特徴量を抽出し、前記特徴量に基づいて前記物体を識別する特徴抽出識別工程と、
前記特徴抽出識別工程での識別結果に基づいて、前記認識パラメータを更新するパラメータ更新工程とを有することを特徴とする学習方法。
【００６３】
７．前記パラメータ更新工程では、前記認識パラメータとして、前記特徴抽出識別工程にて前記物体を識別するための識別パラメータと、前記特徴抽出識別工程にて前記特徴量を抽出するための特徴抽出パラメータと、前記背景置換画像生成工程にて前記背景領域を置換するための背景置換パラメータとを更新することを特徴とする前記６に記載の学習方法。
【００６４】
８．前記背景特定工程は、
背景のみの背景画像と前記物体画像との差分をとることにより、前記背景領域を含む背景差分画像を生成する背景差分画像生成工程と、
前記背景差分画像中の前記背景領域と残りの領域とを反転させて背景反転画像を生成する背景反転画像生成工程とを有し、
前記背景置換画像生成工程は、
前記物体画像と前記背景差分画像とで、同じ画素位置の画素値同士を乗算して、背景置換の対象となる対象画像を生成する乗算工程と、
前記背景反転画像の前記背景領域の各画素値を別の値で置換して反転置換画像を生成する反転置換画像生成工程と、
前記対象画像と前記反転置換画像とで、同じ画素位置の画素値同士を加算して、前記背景置換画像を生成する加算工程とを有することを特徴とする前記７に記載の学習方法。
【００６５】
９．前記反転置換画像生成工程では、前記背景反転画像の前記背景領域の各画素値を、背景置換フィルタを用いた演算によって前記別の値に置換し、
前記背景置換パラメータは、前記背景置換フィルタの重みであることを特徴とする前記８に記載の学習方法。
【００６６】
１０．前記背景置換画像生成工程では、前記物体画像中の前記背景領域を、単色または特定模様の画像で置換して前記背景置換画像を生成することを特徴とする前記６から９のいずれかに記載の学習方法。
【００６７】
１１．前記６から１０のいずれかに記載の学習方法（による各工程）をコンピュータに実行させるためのプログラム。
【００６８】
１２．前記１１に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
【００６９】
以上、本実施形態によれば、畳み込み演算による特徴量抽出を行うＣＮＮにおいて、物体画像の背景領域を別の画像に置換した背景置換画像を入力として、学習、推論を行う仕組みが確立される。これにより、物体画像中の背景領域の影響を十分に低減して、より高精度な物体認識が可能となる。
【００７０】
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。
【産業上の利用可能性】
【００７１】
本発明は、ＣＮＮを用いて物体画像から物体を認識するシステムに利用可能である。
【符号の説明】
【００７２】
１      学習装置
１０      背景特定部
１１      背景差分画像生成部
１２      背景反転画像生成部
２０      物体認識部
３０      背景置換画像生成部
３１      乗算部
３２      反転置換画像生成部
３３      加算部
４０      特徴抽出識別部
５０      パラメータ更新部
【図１】
2020086626.tif 000003
【図２】
2020086626.tif 000004
【図３】
2020086626.tif 000005
【図４】
2020086626.tif 000006
【図５】
2020086626.tif 000007
【図６】
2020086626.tif 000008
【図７】
2020086626.tif 000009