(57)【要約】より高い識別能力を持った識別器を生成する。画像処理装置は、背景画像と、該背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像とを合成する合成部と、合成画像と背景画像との差分画像を生成する生成部と、生成した差分画像を学習用データとして機械学習を行う機械学習部とを備える。
2017154630.tif 000002
【特許請求の範囲】
【請求項１】
背景画像と、該背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像とを合成し、合成画像を生成する合成手段と、
前記背景画像と前記合成画像との差分画像を生成する生成手段と、
前記差分画像を学習用データとして機械学習を行う機械学習手段と、
を備える画像処理装置。
【請求項２】
前記合成手段は、前記合成画像にノイズを付加するノイズ付加手段を備え、
前記生成手段は、前記背景画像と前記ノイズが付加された合成画像との差分画像を生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記ノイズは、擬似的な影、インパルスノイズ、およびガウシアンノイズのうちの少なくとも一つである、
請求項２に記載の画像処理装置。
【請求項４】
前記ノイズ付加手段は、前記物体画像を変形し、前記合成画像と、変形した前記物体画像とを用いて、前記合成画像における物体の影の部分の領域を推定し、該合成画像のうち、前記推定した影の部分の領域の輝度を前記合成画像に応じて変化させることにより、前記擬似的な影をノイズとして前記合成画像に付加する、
請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、前記背景画像および前記合成画像にぼかし処理を行うぼかし処理手段を備え、
前記生成手段は、前記ぼかし処理が行われた、前記背景画像と前記合成画像との差分画像を生成する、
請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
前記生成手段は、生成した前記差分画像にぼかし処理を行うぼかし処理手段を備え、
前記機械学習手段は、前記ぼかし処理が行われた前記差分画像を前記学習用データとして機械学習を行う、
請求項１から４の何れか１項に記載の画像処理装置。
【請求項７】
前記物体画像は、人物画像である、
請求項１から６の何れか１項に記載の画像処理装置。
【請求項８】
前記機械学習には、ニューラルネットワークを用いる、
請求項１から７の何れか１項に記載の画像処理装置。
【請求項９】
背景画像と、該背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像とを合成し、合成画像を生成し、
前記背景画像と前記合成画像との差分画像を生成し、
前記差分画像を学習用データとして機械学習を行う、
ことを特徴とする画像処理方法。
【請求項１０】
背景画像と、該背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像とを合成し、合成画像を生成する処理と、
前記背景画像と前記合成画像との差分画像を生成する処理と、
前記差分画像を学習用データとして機械学習を行う処理と、
をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、機械学習を行う画像処理装置、画像処理方法および記録媒体に関する。
【背景技術】
【０００２】
監視カメラ等の撮影装置で撮影した映像は、防犯や犯罪捜査の分野、あるいはマーケティング分野など、種々の用途に活用することができる。それらの分野において、解析をコンピュータが自動で行うシステムの開発が進んでいるが、高度な解析に不可欠な機能として、特定物体の検出があげられる。【０００３】
特定物体の検出に際して利用される方法として、例えば、背景画像と、別フレームの画像などとの差分をとり、差分が大きい部分を検出する方法が提案されている（特許文献１）。この差分の大きさを判断するための閾値等のパラメータは、照明条件など、環境によって変化する。このパラメータを、背景画像および仮想物体画像を合成した合成画像を用いて設定する方法が提案されている（特許文献２）。【０００４】
また、上記差分は目的としない物体（検出対象としない物体）の動きなどでも現れる。このように差分が算出された物体（検出された）が、検出対象の物体か否かを識別する場合、機械学習等を利用する方法が開示されている（特許文献３）。【０００５】
しかしながら、機械学習による識別の問題点として、十分に学習データを準備する必要がある、という点があげられる。この十分な学習データを準備する方法として、合成画像を生成する方法が提案されている（特許文献４、非特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１９００１２号公報
【特許文献２】特開２０１５−０１９１３３号公報
【特許文献３】特許第３６１２２２０号公報
【特許文献４】特開平０５−３０３６４５号公報
【非特許文献】
【０００７】
【非特許文献１】土屋成光、山内悠嗣、藤吉弘亘、「人検出のための生成型学習とNegative-Bag MILBoost による学習の効率化」、電気学会論文誌．Ｃ、一般社団法人  電気学会、２０１４年、Ｖｏｌ．１３４、Ｎｏ．３、ｐｐ．４５０−４５８
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、合成により得られた画像（合成画像）は、実環境に含まれるノイズ等が考慮されておらず、正確すぎる画像になることが多い。したがって、このような合成画像を学習用データとして用いた場合、実際の撮影画像（実データと呼ぶ）と学習用データとの乖離が生じ、その影響で識別能力が低下してしまう課題がある。【０００９】
本開示のいくつかの態様は前述の課題に鑑みてなされたものであり、より高い識別能力を持った識別器を生成することを目的の１つとする。
【課題を解決するための手段】
【００１０】
本開示の一態様に係る画像処理装置は、背景画像と、該背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像とを合成し、合成画像を生成する合成手段と、前記背景画像と前記合成画像との差分画像を生成する生成手段と、前記差分画像を学習用データとして機械学習を行う機械学習手段と、備える。【００１１】
また、本開示の一態様に係る画像処理方法は、背景画像と、該背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像とを合成し、合成画像を生成し、前記背景画像と前記合成画像との差分画像を生成し、前記差分画像を学習用データとして機械学習を行う。【００１２】
なお、上記装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
【発明の効果】
【００１３】
本開示によれば、より高い識別能力を持った識別器が生成できる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。
【図２】第１の実施の形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。
【図３】第２の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。
【図４】第２の実施の形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。
【図５】第２の実施の形態における各処理の経過の例を模式的に示した図である。
【図６】第３の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。
【図７】図６のノイズ付加部の機能構成の一例を示す機能ブロック図である。
【図８】第３の実施の形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。
【図９】第３の実施の形態における各処理の経過の例を模式的に示した図である。
【図１０】第４の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。
【図１１】第４の実施の形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。
【図１２】第４の実施の形態に係る画像処理装置の処理の流れの他の例を示すフローチャートである。
【図１３】本開示の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
【発明を実施するための形態】
【００１５】
（１  第１の実施の形態）
以下に本開示の第１の実施の形態を説明する。図１は、本実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図１に示す通り、画像処理装置１００は、合成部１１０と、生成部１２０と、機械学習部１３０と、を備える。合成部１１０は、背景画像および物体画像を入力とする。物体画像は、例えば、人物画像である。該物体画像は、背景画像の少なくとも一部分に色彩および明度の少なくとも何れかが、該物体画像の少なくとも一部分に類似する画像である。合成部１１０は、背景画像と物体画像とを合成し、合成画像を生成する。そして、合成部１１０は、合成画像を、生成部１２０に供給する。
【００１６】
生成部１２０は、合成部１１０に入力された背景画像と同様の背景画像と、合成部１１０から供給された合成画像とを入力とする。生成部１２０は、背景画像と合成画像との差分を取ることにより、差分画像を生成する。生成部１２０は生成した差分画像を機械学習部１３０に供給する。
【００１７】
機械学習部１３０は、生成部１２０から供給された差分画像を学習用データとして機械学習を行う。
【００１８】
図２は、本実施の形態に係る画像処理装置１００の処理の流れの一例を示すフローチャートである。図２に示す通り、合成部１１０が背景画像と物体画像とを合成することにより、合成画像を生成する（ステップＳ２１）。上述した通り、物体画像は、該物体画像の少なくとも一部分が、背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが類似する画像である。
【００１９】
そして、生成部１２０が背景画像と合成画像との差分を取ることにより、差分画像を生成する（ステップＳ２２）。そして、機械学習部１３０がこの差分画像を学習用データとして用いて、機械学習を実行する（ステップＳ２３）。これにより画像処理装置１００は、識別器（識別辞書）を出力することができる。
【００２０】
実環境では、人物などの物体は、例えば、実環境に存在する色と同じ色の服を着ているなど、実環境に存在する色彩と同じ色彩の部分を有している場合がある。このような場合において、撮影された物体を含む画像の物体の部分には、色彩および／または明度が実環境を撮影した画像（背景画像）の少なくとも一部分と類似した箇所を含んでいる場合がある。
【００２１】
本実施の形態に係る画像処理装置１００は、物体の部分からなり、背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像を用いて、背景画像との合成画像を生成する。そして、画像処理装置１００は、合成画像と背景画像との差分画像を生成する。物体画像のうち、背景画像の少なくとも一部分に色彩および明度の少なくとも何れかが類似した部分に対する差分は、他の部分より小さくなる。そのため、画像処理装置１００は、差分画像内の物体画像に対応する領域において、上記差分が小さくなった部分に、物体が存在しないかのような差分画像を生成する。このような差分画像を学習用データとして機械学習を行うことにより、画像処理装置１００は、識別器を出力する。
【００２２】
この識別器は、上述した通り、背景と色彩および／または明度が類似した部分を有している物体の物体画像から生成した差分画像を学習用データとしても用いている。したがって、背景画像と色彩および明度の少なくとも何れかが類似した部分を有する物体を撮影した画像と背景画像との差分を取ることにより、該物体を識別する際において、この識別器は、物体に含まれる欠けを考慮することができる。これにより、画像処理装置１００が出力する識別器は、背景と色彩および／または明度が類似した部分を有している物体を含む画像であっても、該画像に含まれる物体を識別することができる。したがって、画像処理装置１００は、より高い識別能力を持った識別器を生成することができる。
【００２３】
（２  第２の実施の形態）
次に、上述した第１の実施の形態を基本とする第２の実施の形態について説明する。なお、本実施の形態および後述する他の実施の形態において、説明が煩雑になるのを避けるため、以下では識別対象の物体（対象物体）が人物であるとして説明するが、各実施形態では、対象物体は人物に限らない。各実施の形態において識別対象の物体は、任意の物体に応用することが可能である。つまり、人物以外の物体を識別する際は、以下の説明における「人物」やそれに相当する単語を対象とする物体に置き換えて処理を行えばよい。
【００２４】
（２．１  概要）
第２の実施の形態に係る画像処理装置では、背景用の画像（以下、背景画像）に人物画像（物体画像）を合成し、合成した合成画像と背景画像との差分をとることで、差分画像を生成する。差分画像は、人の体が存在する部分の画像の輝度値が背景部分の画像よりも大きくなることが一般的であるが、本開示による方法により取得した差分画像は、人の体が存在する部分のうち、背景画像と類似した色を持つ箇所の輝度値が小さくなる。すなわち、その箇所に人の体がないかのような画像が得られる。背景画像と類似した色を持つ箇所は実際の画像でも存在しうるため、本実施の形態に係る画像処理装置は、そのような状態を再現し、得られた差分画像を学習用データとして用いて機械学習を行うことで、より高い識別能力を持った識別器（識別辞書）を生成することができる。
【００２５】
（２．２  画像処理装置の構成）
図３を参照して、本実施の形態に係る画像処理装置２００の機能構成について説明する。図３は、本実施の形態に係る画像処理装置２００の機能構成の一例を示す機能ブロック図である。図３に示す通り、本実施の形態に係る画像処理装置２００は、取得部２１０と、合成部２２１と、生成部２３１と、機械学習部２４１と、記憶部２５０とを備える。合成部２２１は、上述した合成部１１０に相当する。生成部２３１は、上述した生成部１２０に相当する。機械学習部２４１は、上述した機械学習部１３０に相当する。
【００２６】
記憶部２５０は、学習用データの背景となる背景画像がデータベースとして記憶している。なお、背景画像は、データベース以外の形式で記憶されていてもよい。この背景画像を１以上含むデータベースを、背景画像データベース（以下、背景画像ＤＢと記載）２５１と呼ぶ。この背景画像には、任意の画像が含まれていてよく、一般に公開されている画像データベースサーバの画像等を利用してもよいが、人物が画像中に映っていない画像を利用することが好ましい。
【００２７】
また、記憶部２５０は、人物を撮影した画像から、該人物を切り出した画像（人物画像）をデータベースとして記憶している。なお、人物画像は、データベース以外の形式で記憶されていてもよい。この人物画像を１以上含むデータベースを人物画像データベース（以下、人物画像ＤＢと記載）２５２と呼ぶ。この人物画像には、任意の画像が含まれていてもよいが、該人物画像は、少なくとも一部分において、色彩および明度の少なくとも何れかが、上記１以上の背景画像のうちの少なくとも１枚の背景画像における少なくとも一部分と類似していることが好ましい。これは、後述する生成部２３１が生成する差分画像において、実際の画像で起こり得る差分の欠けを再現するためである。
【００２８】
なお、記憶部２５０は、画像処理装置２００とは別個の記憶装置で実現されてもよい。また、背景画像ＤＢ２５１と人物画像ＤＢ２５２とは異なる記憶部で実現されてもよい。
【００２９】
取得部２１０は、背景画像取得部２１１と、人物画像取得部２１２とを含む。なお、背景画像取得部２１１と人物画像取得部２１２とは一つの取得部として機能するものであってもよい。
【００３０】
背景画像取得部２１１は、背景画像ＤＢ２５１から背景画像を取得する。背景画像取得部２１１は、背景画像ＤＢ２５１から取得した背景画像を、合成部２２１に供給する。また、背景画像取得部２１１は、背景画像を生成部２３１に供給してもよい。なお、背景画像取得部２１１は、取得した背景画像そのものを供給してもよい。また背景画像取得部２１１は、取得した背景画像の一部分を切り出した画像を背景画像としてもよい。また、背景画像取得部２１１は、取得した背景画像から色彩等を変化させた画像を作成し、該作成した画像を背景画像としてもよい。
【００３１】
人物画像取得部２１２は、人物画像ＤＢ２５２から人物画像を取得する。人物画像取得部２１２は、人物画像ＤＢ２５２から取得した人物画像を、合成部２２１に供給する。なお、人物画像取得部２１２は、取得した人物画像をそのまま背景画像取得部２１１に供給してもよいし、取得した人物画像を拡大または縮小した画像を作成し、該作成した画像を人物画像としてもよい。
【００３２】
なお、背景画像取得部２１２が取得する人物画像は、背景画像取得部２１１が取得した背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する画像であることが好ましい。なぜならば、後述する生成部２３１が生成する差分画像において、実際の画像で起こり得る差分の欠けを再現するためである。
【００３３】
したがって、本実施の形態における人物画像取得部２１２は、背景画像取得部２１１が取得した背景画像に基づいて、人物画像ＤＢ２５２から人物画像を取得してもよい。また、人物画像取得部２１２が先に人物画像を取得し、背景画像取得部２１１が該人物画像に基づいて、人物画像の少なくとも一部分において、色彩および明度の少なくとも何れかが、少なくとも一部分類似する背景画像を、背景画像ＤＢ２５１から取得してもよい。なお、後述する生成部２３１が生成する差分画像において、実際の画像で起こり得る差分の欠けを再現する差分画像と再現しない差分画像との両方を学習用データとして用いる場合、人物画像取得部２１２または背景画像取得部２１１は任意の人物画像または背景画像を取得してもよい。
【００３４】
合成部２２１は、背景画像取得部２１１から供給された背景画像に、人物画像入力部２１２から供給された人物画像を合成し、合成画像を生成する。そして、合成部２２１は、生成した合成画像を、生成部２３１に供給する。このとき、合成部２２１は、合成画像を生成する元となった背景画像を示す情報を合成画像と共に供給してもよい。また、背景画像取得部２１１は、合成画像を生成する元となった背景画像を、合成画像と共に供給してもよい。
【００３５】
生成部２３１は、合成部２２１が生成した合成画像を受け取る。そして、生成部２３１は、合成画像と共に受け取った情報が背景画像を示す情報の場合、背景画像取得部２１１から受け取った背景画像のうち、上記情報によって示される背景画像を特定する。この特定された背景画像が差分画像の生成の際に利用される背景画像となる。なお、生成部２３１は、合成画像と共に受け取った情報が背景画像の場合、この受け取った背景画像を差分画像の生成に用いてもよい。
【００３６】
生成部２３１は、合成画像と、背景画像との差分を計算することにより、差分画像を生成する。差分の計算手法としては、一般的に用いられている手法を利用してもよいし、その他の手法を用いてもよい。なお、生成部２３１が用いる差分の計算手法は、後述する機械学習部２４１が出力する識別辞書を用いて、人物検出を行う際に用いる差分の計算手法と、同一の計算手法を用いることが好ましい。生成部２３１は、生成した差分画像を機械学習部２４１に供給する。
【００３７】
機械学習部２４１は、生成部２３１が生成した差分画像を学習用データとて、機械学習を行う。このとき、機械学習部２４１は、機械学習を行う際に用いる学習用データの量（差分画像の枚数）が、十分あるか否か（例えば、所定の閾値以上か否か）を確認し、十分である場合に、機械学習を行う。そして、機械学習部２４１は、機械学習の結果、撮影された画像内の物体を識別する識別器（識別辞書）を出力する。なお、機械学習の手法は、どのような手法を用いてもよく、たとえば、ニューラルネットワークによる学習の手法を用いてもよい。また、機械学習部２４１は、人物画像および／または合成画像を学習用データに含めて機械学習を行ってもよい。
【００３８】
（２．３  処理の流れ）
以下、画像処理装置２００の処理の流れを、図４および図５を参照しながら説明する。図４は、画像処理装置２００の処理の流れの一例を示すフローチャートである。また、図５は、各処理の経過の例を模式的に示した図である。
【００３９】
背景画像取得部２１１と人物画像取得部２１２とは、夫々、背景画像ＤＢ２５１と人物画像ＤＢ２５２とから新しい背景画像と人物画像とを取得する（ステップＳ４１、以下単にＳ４１と記載する）。なお、背景画像取得部２１１が背景画像を取得するタイミングと、人物画像取得部２１２が背景画像を取得するタイミングとは、同じであってもよいし異なっていてもよい。例えば、人物画像取得部２１２が、上述した通り背景画像に基づいて人物画像を取得する場合、人物画像取得部２１２が人物画像を取得するタイミングは背景画像取得部２１１が背景画像を取得するタイミングよりも後になる。本実施の形態では、人物画像取得部２１２が取得する人物画像は、背景画像の少なくとも一部分において、色彩および明度の少なくとも何れかが、少なくとも一部分類似する画像である。ステップＳ４１の処理で取得された背景画像１１および人物画像１２は図５に示す画像であるとする。
【００４０】
次に、合成部２２１は、背景画像取得部２１１が取得した背景画像１１と人物画像取得部２１２が取得した人物画像１２とを合成し、合成画像１３を生成する（Ｓ４２）。図５に示す通り、合成画像１３は、背景画像１１と人物画像１２とを合成した画像である。
【００４１】
生成部２３１は、合成部２２１が生成した合成画像１３と背景画像取得部２１１が取得した背景画像１１との差分を計算することにより、差分画像１４を生成する（Ｓ４３）。図５に示す通り、差分画像１４は、人物の領域のうち背景画像１１の一部分と色彩および／または明度が類似している部分と、背景の部分とが、黒くなっていることがわかる。黒くなっている部分は、差分の値が所定の閾値よりも小さい箇所であり、生成部２３１によって差分が無いと判定された箇所である。このように、生成部２３１は、実際の画像で起こり得る差分の欠けを再現した差分画像１４を生成する。
【００４２】
そして、画像処理装置２００は、差分画像１４の数が所定数であるか否かを確認し、所定数を下回る場合、所定数になるまでステップＳ４１〜４３を繰り返す（ループＳ４４）。なお、画像処理装置２００が判定の際に用いる差分画像１４の数は、背景画像１１の少なくとも一部分と人物画像１２の少なくとも一部分とが、色彩および／または明度が類似する画像から生成された差分画像１４のみの数であってもよい。また差分画像１４の数は、人物画像１２と背景画像１１とが類似していない画像から生成された差分画像１４を含んだ数であってもよい。
【００４３】
このように、ステップＳ４１、Ｓ４２およびＳ４３の各処理が所定の回数繰り返されることにより、画像処理装置２００は、機械学習に必要な枚数分の複数の学習用データを生成することができる。
【００４４】
機械学習部２４１は、ステップＳ４１、Ｓ４２およびＳ４３を繰り返して得られた学習用データの集合（複数の差分画像１４）を用いて機械学習を実行する（Ｓ４５）。これにより、画像処理装置２００は、識別辞書を出力することができる。
【００４５】
（２．４  本実施の形態に係る効果）
以上のように、本実施の形態に係る画像処理装置２００は、背景画像と人物画像とを合成し、合成画像と背景画像との差分をとることで、実環境で起こりうる差分の欠けを再現する差分画像を生成することができる。これにより、画像処理装置２００は、差分の欠けを再現した差分画像を大量に生成することができるため、これらの差分画像を学習用データとして用いて機械学習を行うことができる。この学習用データは、差分の欠けを再現した、実環境に近いデータであるため、この学習用データを用いた機械学習により生成された識別器（識別辞書）は高い識別能力を有することができる。したがって、本実施の形態に係る２００は、高い識別能力を持った識別器（識別辞書）を生成することが可能になる。
【００４６】
（３  第３の実施の形態）
本実施の形態では、影のことをノイズと呼称する。なお、影のことをノイズと呼称することは一般的ではないが、以下の説明中では目的の物体以外に差分画像に表れ得る要素をすべてノイズと称することとする。
【００４７】
（３．１  概要）
第３の実施の形態に係る画像処理装置では、第２の実施の形態に係る画像処理装置２００が生成した合成画像に実環境で発生しうる影などのノイズを付加し、ノイズを付加した画像と背景画像との差分をとることで、差分画像を生成する。実際の画像では、影の誤検出に代表されるように、ノイズを誤って前景として検出する場合がある。しかしながら、本実施の形態に係る画像処理装置が生成する差分画像は、ノイズを再現し、得られた差分画像を学習用データとして用いて機械学習を行うことで、より高い識別能力を持った識別器（識別辞書）を生成することができる。
【００４８】
なお、本実施の形態では、上述する第２の実施の形態において説明した部材と同じ機能を有する部材には同じ符号を付し、その詳細な説明を省略する。
【００４９】
（３．２  画像処理装置の構成）
図６および図７を参照して、本実施の形態に係る画像処理装置３００の機能構成について説明する。図６は、本実施の形態に係る画像処理装置３００の機能構成の一例を示す機能ブロック図である。また、図７は、図６のノイズ付加部の更に詳細な機能構成の一例を示す機能ブロック図である。以下、両図を参照しながら、第３の実施の形態における画像処理装置３００について説明を行う。
【００５０】
図６に示す通り、画像処理装置３００は、取得部２１０と、合成部３２０と、生成部２３１と、機械学習部２４１と、記憶部２５０とを備える。本実施の形態に係る画像処理装置３００は、上述した第２の実施の形態に係る画像処理装置２００の合成部２２１に代えて、合成部３２０を備える構成である。
【００５１】
合成部３２０は、画像合成部３２１と、ノイズ付加部３２２とを備える。画像合成部３２１は、上述した第２の実施の形態における合成部２２１と同様の機能を有するため、説明を省略する。
【００５２】
ノイズ付加部３２２は、合成画像に影などのノイズを付加する。以降、ノイズが付加された合成画像を、ノイズ付加画像と呼ぶ。そして、ノイズ付加部３２２は、ノイズ付加画像を生成部２３１に出力する。
【００５３】
なお、ノイズ付加部３２２がノイズとして影を付加する場合、人物画像を用いて影の領域を仮定して付加する。つまり、本実施の形態において、ノイズとして付加する影は、擬似的な影であると言い換えることができる。この擬似的な影を付加する場合におけるノイズ付加部３２２の機能構成を、図７を用いてさらに説明する。
【００５４】
図７に示す通り、ノイズ付加部３２２は、変形部３２３および輝度調整部３２４を含む。
【００５５】
変形部３２３は、人物画像取得部２１２が取得した人物画像を変形し、変形した人物画像を生成する。変形部３２３が行う変形の方法は、例えば、人物画像から人物画像に含まれる人物の足の部分を推定し、この人物画像に対し、推定した足の部分（足元）を固定したうえで射影変換を行う方法が挙げられる。変形部３２３は、このように人物画像に対して射影変換を行うことによって、変形画像を生成する。そして、変形部３２３は、変形画像を輝度調整部３２４に供給する。
【００５６】
輝度調整部３２４は、合成画像と、変形画像とを入力とする。輝度調整部３２４は、合成画像と変形画像とを用いて、合成画像のうち、影の領域と仮定した領域の輝度を調整する（変化させる）ことにより、ノイズ付加画像を生成する。例えば、輝度調整部３２４は、合成画像に含まれる人物の領域から該人物の足の部分を推定し、この足元を基準として、合成画像において、変形画像に相当しうる部分を影の領域であると仮定する。そして、輝度調整部３２４は、合成画像のうち、影の領域と仮定した領域（変形画像の部分に対応する領域）の輝度を合成画像に応じて変化させる。例えば、輝度調整部３２４は、上記影の領域と仮定した領域の輝度を合成画像に応じて減少させる。そして、この影の領域と仮定した領域の輝度を変化させた合成画像を、ノイズ付加画像として生成部２３１に供給する。
【００５７】
なお、ノイズ付加部３２２は、人物画像を用いずに擬似的な影を生成してもよいし、合成画像に用いた人物画像とは別の人物画像を人物画像ＤＢ２５２から取得して上記擬似的な影を生成してもよい。また、ノイズ付加部３２２は、上述した擬似的な影ではなく、インパルスノイズまたはガウシアンノイズなど任意のノイズを付加してもよい。さらに、ノイズ付加部３２２は、複数のノイズを組み合わせてもよい。ノイズ付加部３２２は、実際の画像で起こりうるノイズを付加すればよい。
【００５８】
生成部２３１は、上述した第２の実施の形態における生成部２３１と同様に、背景画像と合成画像との差分画像を生成する。本実施の形態では、この合成画像が、ノイズが付加された合成画像（つまり、ノイズ付加画像）となる。したがって、生成部２３１は、合成部３２０のノイズ付加部３２２により生成された、ノイズ付加画像と、背景画像取得部２１１により取得された背景画像との差分を計算することにより、差分画像を生成する。なお、生成部２３１は、生成した差分画像にさらに任意のノイズを加えても構わない。
【００５９】
生成部２３１が差分を計算する計算手法は第２の実施の形態と同様だが、付加した種類のノイズを除去する処理が含まれない差分の計算手法を用いることが望ましい。ノイズ付加部３２２によって擬似的に付加されたノイズは、ノイズ除去アルゴリズムの想定通りのノイズになってしまう可能性があり、除去される可能性があるためである。
【００６０】
（３．３  処理の流れ）
以下、画像処理装置３００の処理の流れを、図８および図９を参照しながら説明する。図８は、画像処理装置３００の処理の流れの一例を示すフローチャートである。また、図９は、各処理の経過の例を模式的に示した図である。なお、以下では、ノイズが擬似的な影であるとして説明を行う。
【００６１】
ステップＳ８１およびＳ８２は第２の実施の形態におけるステップＳ４１およびＳ４２と同様である。
【００６２】
ノイズ付加部３２２の変形部３２３は、人物画像１２を変形し、変形画像１５を生成する（Ｓ８３）。輝度調整部３２４は変形部３２３が変形させた人物画像（変形画像１５）と、合成画像１３とを用いて、合成画像１３における該変形画像１５に相当する部分（擬似的な影の部分）の輝度を調整する（変化させる）（Ｓ８４）。このステップＳ８３およびＳ８４によって、ノイズ付加部３２２は、画像合成部３２１が生成した合成画像１３にノイズを付加したノイズ付加画像１６を生成することができる。
【００６３】
生成部２３１は、ノイズ付加部３２２が生成したノイズ付加画像（ノイズが付加された合成画像）１６と背景画像取得部２１１が取得した背景画像１１との差分を計算することにより、差分画像１７を生成する（Ｓ８５）。
【００６４】
図９に示す通り、差分画像１７は、人物の領域のうち背景画像１１の一部分と色彩および／または明度が類似している部分と、背景の部分のうち、影の部分以外の部分とが、黒くなっていることがわかる。黒くなっている部分は、差分の値が所定の閾値よりも小さい箇所であり、生成部２３１によって差分が無いと判定された箇所である。このように、生成部２３１は、実際の画像で起こり得る差分の欠けを再現した差分画像１７を生成する。
【００６５】
そして、画像処理装置３００は、差分画像１７の数が所定数であるか否かを確認し、所定数を下回る場合、所定数になるまでステップＳ８１〜８５を繰り返す（ループＳ８６）。なお、画像処理装置３００が判定の際に用いる差分画像１７の数は、背景画像１１の少なくとも一部分と人物画像１２の少なくとも一部分とが、色彩および／または明度が類似する画像から生成された差分画像１４のみの数であってもよい。また差分画像１４の数は、人物画像１２と背景画像１１とが類似していない画像から生成された差分画像１７を含んだ数であってもよい。
【００６６】
このように、ステップＳ８１〜８５の各処理が所定の回数繰り返されることにより、画像処理装置３００は、機械学習に必要な枚数分の複数の学習用データを生成することができる。
【００６７】
機械学習部２４１は、ステップＳ８１〜８５を繰り返して得られた学習用データの集合（複数の差分画像１７）を用いて機械学習を実行する（Ｓ８７）。これにより、画像処理装置３００は、識別辞書を出力することができる。
【００６８】
（３．４  本実施の形態に係る効果）
本実施形態に係る画像処理装置３００によれば、第１の実施の形態に係る画像処理装置２００の生成部１２０によって生成される合成画像に、実環境で起こりうる差分の過検出を再現した画像も生成することができる。なぜならば、ノイズ付加部３２２が合成画像にノイズを付加するからである。差分の過検出には、影等見た目でわかる原因だけでなく、照明条件が微妙に変化している等、見た目では気づきにくい原因がある。しかしながら、ノイズ付加部３２２が、合成画像にノイズを付加することで、このような状況も再現することができる。これにより、画像処理装置３００は、差分の欠けを再現した差分画像を生成することができる。よって、画像処理装置３００は、この差分画像を学習用データとして用いて機械学習を行うため、上述した第１および第２の実施の形態に係る画像処理装置の効果に加え、より頑健な識別器（識別辞書）を構築することが可能になる。
【００６９】
（４  第４の実施の形態）
（４．１  概要）
第４の実施の形態に係る画像処理装置は、第１から第３の実施の形態において取得または生成された画像に対し、ぼかし処理などの画像処理を加える。本実施の形態に係る画像処理装置は、取得または生成された画像に対し、このような画像処理を加えることで、合成画像特有の不自然さを抑え、より自然な画像を得ることができる。画像処理装置は、その自然な画像を用いて学習を行うことにより、より高い識別能力を持った識別器（識別辞書）を生成することができる。
【００７０】
なお、本実施の形態では、上述する第２の実施の形態において説明した部材と同じ機能を有する部材には同じ符号を付し、その詳細な説明を省略する。
【００７１】
（４．２  画像処理装置の構成）
図１０を参照して、本実施の形態に係る画像処理装置４００の機能構成について説明する。図１０は、本実施の形態に係る画像処理装置４００の機能構成の一例を示す機能ブロック図である。
【００７２】
図１０に示す通り、画像処理装置４００は、取得部２１０と、合成部２２１と、機械学習部２４１と、記憶部２５０と、生成部４３０とを備える。つまり、本実施の形態に係る画像処理装置４００は、上述した第２の実施の形態における画像処理装置２００の生成部２３１に代えて、生成部４３０を備える構成である。なお、本実施の形態に係る画像処理装置４００は、上述した第３の実施の形態における画像処理装置３００の生成部２３１に代えて、生成部４３０を備える構成であってもよい。
【００７３】
生成部４３０は、図１０に示す通り、差分画像生成部４３１と、ぼかし処理部４３２とを含む。差分画像生成部４３１は、上述した第２または第３の実施の形態における生成部２３１と同様の機能を有するため、説明を省略する。
【００７４】
ぼかし処理部４３２は、合成画像と背景画像との両方に対して、ぼかし処理などの画像処理を行う。また、ぼかし処理部４３２は、差分画像生成部４３１が生成した差分画像にぼかし処理などの画像処理を行ってもよい。また画像処理装置４００が、画像処理装置３００の生成部２３１に代えて生成部４３０を備える構成の場合、ぼかし処理部４３２は、ノイズが付加された合成画像（ノイズ付加画像）と背景画像との両方に対してぼかし処理などの画像処理を行ってもよい。また、画像処理装置４００が、画像処理装置３００の生成部２３１に代えて生成部４３０を備える構成の場合も、ぼかし処理部４３２は、差分画像生成部４３１が生成した差分画像にぼかし処理などの画像処理を行ってもよい。
【００７５】
なお、画像処理は任意の方法を用いて構わないが、画像処理としてたとえば、ガウシアンフィルタによる平滑化処理などを採用してもよい。
【００７６】
（４．３  処理の流れ）
以下、画像処理装置４００の処理の流れを、図１１を参照しながら説明する。図１１は、画像処理装置４００の処理の流れの一例を示すフローチャートである。図１１の処理は、ぼかし処理を合成画像と背景画像との両方に施す場合の例である。
【００７７】
ステップＳ１１１およびＳ１１２は第２の実施の形態におけるステップＳ４１およびＳ４２と同様である。
【００７８】
ぼかし処理部４３２は、ステップＳ１１１で取得された背景画像と、ステップＳ１１２で生成された合成画像との両方に対し、ぼかし処理を実行する（Ｓ１１３）。このとき、ぼかし処理が実行される合成画像は、例えば、図５に示す合成画像１３であってもよいし、図９に示すノイズ付加画像１６のようなノイズが付加された合成画像であってもよい。そして、ぼかし処理部４３２は、ぼかし処理が行われた背景画像および合成画像を、差分画像生成部４３１に供給する。その後、差分画像生成部４３１は、ぼかし処理部４３２によってぼかし処理が行われた背景画像と、ぼかし処理が行われた合成画像との差分を計算することにより、差分画像を生成する（Ｓ１１４）。そして、画像処理装置４００は、差分画像の数が所定数であるか否かを確認し、所定数を下回る場合、所定数になるまでステップＳ１１１〜１１４を繰り返す（ループＳ１１５）。
【００７９】
機械学習部２４１は、ステップＳ１１１〜１１４を繰り返して得られた学習用データの集合（複数の差分画像）を用いて機械学習を実行する（Ｓ１１６）。これにより、画像処理装置４００は、識別辞書を出力することができる。
【００８０】
また、上述した通り、ぼかし処理は差分画像に施されるものであってもよい。以下、画像処理装置４００の処理の流れの他の例を、図１２を参照しながら説明する。図１２は、画像処理装置４００の処理の流れの他の一例を示すフローチャートである。図１２の処理は、ぼかし処理を差分画像に施す場合の例である。
【００８１】
ステップＳ１２１〜Ｓ１２３は夫々第２の実施の形態におけるステップＳ４１〜Ｓ４３と同様である。なお、ステップＳ１２１〜Ｓ１２３の代わりに、ステップＳ８１〜Ｓ８５を行ってもよい。
【００８２】
ぼかし処理部４３２は、ステップＳ１２３で生成された差分画像に対し、ぼかし処理を実行する（Ｓ１２４）。そして、ぼかし処理部４３２は、ぼかし処理が行われた差分画像を、機械学習部２４１に出力する。そして、上述したループＳ１１５およびステップＳ１１６と同様に、所定数の差分画像を学習用データとし、機械学習部２４１は、機械学習を行う（Ｓ１２５、Ｓ１２６）。
【００８３】
（４．４  本実施形態に係る効果）
画像の合成を行う場合、画像の境界部分の輝度などに不自然な部分が出てくる場合がある。しかしながら、本実施の形態に係る画像処理装置４００のぼかし処理部４３２によって画像にぼかし処理のような画像処理を加えることで、そのような不自然な部分をなめらかにし、より実際の画像に近い、自然な画像を得ることができる。本実施の形態に係る画像処理装置４００は、その画像を用いて機械学習を行うため、上述した第１から第３の実施の形態に係る画像処理装置の効果に加え、さらに頑健な識別辞書を構築することが可能になる。
【００８４】
（５  ハードウェア構成について）
本開示の各実施の形態において、各画像処理装置の各構成要素は、機能単位のブロックを示している。各画像処理装置の各構成要素の一部又は全部は、例えば図１３に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１３は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
【００８５】
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各画像処理装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各画像処理装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＡＭ９０３に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
【００８６】
各画像処理装置の実現方法には、様々な変形例がある。例えば、各画像処理装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各画像処理装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
【００８７】
また、各画像処理装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【００８８】
各画像処理装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【００８９】
各画像処理装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【００９０】
（６  付記事項）
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
【００９１】
この出願は、２０１６年３月９日に出願された日本出願特願２０１６−０４５８２１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００９２】
１１    背景画像
１２    人物画像
１３    合成画像
１４    差分画像
１５    変形画像
１６    ノイズ付加画像
１７    差分画像
１００    画像処理装置
１１０    合成部
１２０    生成部
１３０    機械学習部
２００    画像処理装置
２１０    取得部
２１１    背景画像取得部
２１２    人物画像取得部
２２１    合成部
２３１    生成部
２４１    機械学習部
２５０    記憶部
２５１    背景画像データベース（背景画像ＤＢ）
２５２    人物画像データベース（人物画像ＤＢ）
３２０    合成部
３２１    画像合成部
３２２    ノイズ付加部
３２３    変形部
３２４    輝度調整部
４００    画像処理装置
４３０    生成部
４３１    差分画像生成部
４３２    ぼかし処理部
【図１】
2017154630.tif 000003
【図２】
2017154630.tif 000004
【図３】
2017154630.tif 000005
【図４】
2017154630.tif 000006
【図５】
2017154630.tif 000007
【図６】
2017154630.tif 000008
【図７】
2017154630.tif 000009
【図８】
2017154630.tif 000010
【図９】
2017154630.tif 000011
【図１０】
2017154630.tif 000012
【図１１】
2017154630.tif 000013
【図１２】
2017154630.tif 000014
【図１３】
2017154630.tif 000015
【国際調査報告】
2017154630.tif 000016
2017154630.tif 000017