(57)【要約】【課題】画像処理装置及び画像処理方法を提供する。【解決手段】  画像処理装置は、入力画像に対して自己符号化を行い、複数の特徴マップを生成する自己符号化部と、該複数の特徴マップに基づいて、畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成するパラメータ生成部と、該畳み込みニューラルネットワークを用いて、該入力画像及び該複数の畳み込みカーネルに基づいて該入力画像の出力結果を生成する出力部とを含む。本発明の画像処理装置及び画像処理方法によれば、ＣＮＮネットワークによる画像処理の正確性を向上させることができる。【選択図】図１
2019079514.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して自己符号化を行い、複数の特徴マップを生成する自己符号化手段と、
前記複数の特徴マップに基づいて、畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成するパラメータ生成手段と、
前記畳み込みニューラルネットワークを用いて、前記入力画像及び前記複数の畳み込みカーネルに基づいて前記入力画像の出力結果を生成する出力手段と、を含む、画像処理装置。
【請求項２】
前記自己符号化手段は、複数の第１畳み込み手段を含み、
前記自己符号化手段は、入力画像を前記複数の第１畳み込み手段を順次通過させて、前記複数の特徴マップをそれぞれ生成する、請求項１に記載の画像処理装置。
【請求項３】
前記パラメータ生成手段は、
前記複数の特徴マップの各特徴マップについて、前記特徴マップに対応する局所特徴及び大域特徴を生成する特徴生成手段と、
前記複数の特徴マップの各特徴マップについて、前記特徴マップの局所特徴及び大域特徴に基づいて前記特徴マップに対応する畳み込みカーネルを生成する畳み込みカーネル生成手段と、を含む、請求項１に記載の画像処理装置。
【請求項４】
前記特徴生成手段は、各特徴マップに対応する局所特徴及び大域特徴を生成する際に、
前記複数の特徴マップの各特徴マップについて、前記特徴マップに対応する局所特徴を生成し、
前記複数の特徴マップの各特徴マップについて、生成された複数の局所特徴に基づいて前記特徴マップに対応する大域特徴を生成する、請求項３に記載の画像処理装置。
【請求項５】
前記特徴生成手段は、特徴マップに対してプーリング処理を行って前記特徴マップに対応する局所特徴を生成する、請求項４に記載の画像処理装置。
【請求項６】
前記特徴生成手段は、各特徴マップに対応する大域特徴を生成する際に、
生成された複数の局所特徴を結合し、
結合された複数の局所特徴を全結合ネットワークを通過させて前記大域特徴を生成し、
特徴マップに対応する大域特徴を生成する際に局所特徴を通過させる全結合ネットワークは、特徴マップ毎に異なる、請求項４に記載の画像処理装置。
【請求項７】
前記畳み込みカーネル生成手段は、各特徴マップに対応する畳み込みカーネルを生成する際に、
結合された局所特徴と大域特徴に対して非線形マッピングを行って重み行列を生成し、
前記重み行列及び基準畳み込みカーネル集合に基づいて、前記特徴マップに対応する畳み込みカーネルを生成し、
前記基準畳み込みカーネル集合は、複数の畳み込みカーネルを含み、
前記重み行列は、前記基準畳み込みカーネル集合における各畳み込みカーネルの重みを含む、請求項３に記載の画像処理装置。
【請求項８】
前記出力手段は、複数の第２畳み込み手段を含み、
前記出力手段は、前記入力画像を前記複数の第２畳み込み手段を順次通過させて、出力画像を生成し、
前記複数の畳み込みカーネルは、それぞれ前記複数の第２畳み込み手段に用いられる、請求項１に記載の画像処理装置。
【請求項９】
入力画像に対して自己符号化を行い、複数の特徴マップを生成するステップと、
前記複数の特徴マップに基づいて、畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成するステップと、
前記畳み込みニューラルネットワークを用いて、前記入力画像及び前記複数の畳み込みカーネルに基づいて前記入力画像の出力結果を生成するステップと、を含む、画像処理方法。
【請求項１０】
コンピュータ読み取り可能な命令コードを含むプログラムプロダクトを記録したコンピュータ読み取り可能な記憶媒体であって、前記命令コードがコンピュータにより読み取られて実行される場合、前記コンピュータに請求項９に記載の画像処理方法を実行させることができる、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施例は、画像処理の分野に関し、具体的には、画像処理装置及び画像処理方法に関し、より具体的には、顔の特徴点を検出することができる画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
この部分は、本発明に関連する背景情報を提供するが、必ずしも従来技術ではない。
【０００３】
深層学習（ｄｅｅｐ  ｌｅａｒｎｉｎｇ）技術は、既にコンピュータビジョンの分野で広く適用されている。深層学習技術の１つとして、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）は、画像分類及び画像認識の正確性を大幅に改善し、入力を出力に直接変換するというエンドツーエンド（ｅｎｄ−ｔｏ−ｅｎｄ）の学習メカニズムを実現し、画像処理に質的変化をもたらした。ＣＮＮネットワークは、例えば画像検出／認識及びシーケンス信号の処理アプリケーション等の分野に適用できる。例えば、顔の特徴点（ｌａｎｄｍａｒｋ）の検出では、顔画像を含む入力画像をＣＮＮネットワークに入力し、顔の特徴点を出力することができる。
【０００４】
従来のＣＮＮネットワークでは、畳み込み処理（畳み込み演算）に用いられる畳み込みカーネルは固定的なものである。即ち、異なる入力画像について用いられる畳み込みカーネルは変化しない。しかし、画像検出／認識及びシーケンス信号の処理アプリケーション等の分野では、入力画像が変動性及び複雑性を有する（例えば、顔の特徴点の検出では、頭の異なる姿勢が現れる可能性はある）ため、ＣＮＮネットワークの学習の複雑さが高くなる。また、異なる入力画像について同一の畳み込みカーネルを用いて処理を行うと、出力結果が不正確になる可能性はある。
【０００５】
上記の問題点を鑑み、ＣＮＮネットワークによる画像処理の正確性を向上させることができるものが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この部分は、本発明の一般的な概要を提供し、その全範囲又はその全ての特徴を完全に開示するものではない。
【０００７】
本発明は、ＣＮＮネットワークによる画像処理の正確性を向上させることができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の１つの態様では、入力画像に対して自己符号化を行い、複数の特徴マップを生成する自己符号化手段と、前記複数の特徴マップに基づいて、畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成するパラメータ生成手段と、前記畳み込みニューラルネットワークを用いて、前記入力画像及び前記複数の畳み込みカーネルに基づいて前記入力画像の出力結果を生成する出力手段と、を含む、画像処理装置を提供する。
【０００９】
本発明のもう１つの態様では、入力画像に対して自己符号化を行い、複数の特徴マップを生成するステップと、前記複数の特徴マップに基づいて、畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成するステップと、前記畳み込みニューラルネットワークを用いて、前記入力画像及び前記複数の畳み込みカーネルに基づいて前記入力画像の出力結果を生成するステップと、を含む、画像処理方法を提供する。
【００１０】
本発明のもう１つの態様では、コンピュータ読み取り可能な命令コードを含むプログラムプロダクトであって、前記命令コードがコンピュータにより読み取られて実行される際に、前記コンピュータに、本発明の画像処理方法を実行させることができる、プログラムプロダクトを提供する。
【００１１】
本発明のもう１つの態様では、コンピュータ読み取り可能な命令コードを含むプログラムプロダクトを記録したコンピュータ読み取り可能な記憶媒体であって、前記命令コードがコンピュータにより読み取られて実行される場合、前記コンピュータに本発明の画像処理方法を実行させることができる、コンピュータ読み取り可能な記憶媒体を提供する。
【００１２】
本発明の画像処理装置及び画像処理方法では、入力画像について複数の特徴マップを生成し、複数の特徴マップに基づいて畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成し、畳み込みニューラルネットワークを用いて入力画像の出力結果を生成する。これによって、畳み込みニューラルネットワークにおける畳み込みカーネルは固定的なものではない。即ち、特定の入力画像について該入力画像に対応する畳み込みカーネルを生成でき、生成された畳み込みカーネルと該入力画像との整合性を向上させることができ、畳み込みニューラルネットワークによる画像処理（例えば画像認識及び画像検出など）の正確性を向上させることができる。
【００１３】
この部分における説明及び特定の例は、単なる例示するためのものであり、本発明の範囲を限定するものではない。
【図面の簡単な説明】
【００１４】
ここで説明される図面は、好ましい実施例を例示するためのものであり、全ての可能な実施例ではなく、本発明の範囲を限定するものではない。
【図１】本発明の実施例に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の実施例に係る画像処理装置における自己符号化部の構成を示すブロック図である。
【図３】本発明の他の実施例に係る画像処理装置における自己符号化部の構成を示すブロック図である。
【図４】本発明の実施例に係る自己符号化部における再構築部の構成を示すブロック図である。
【図５】本発明の実施例に係る画像処理装置におけるパラメータ生成部の構成を示すブロック図である。
【図６】本発明の実施例に係る各特徴マップに対応する局所特徴及び大域特徴の生成を示す図である。
【図７】本発明の実施例に係る各特徴マップに対応する畳み込みカーネルの生成を示す図である。
【図８】本発明の実施例に係る画像処理装置における出力部の構成を示すブロック図である。
【図９】本発明の他の実施例に係る画像処理装置における出力部の構成を示すブロック図である。
【図１０】本発明の実施例に係る出力部における予測部の構成を示すブロック図である。
【図１１】本発明の実施例に係る畳み込み部の構成を示すブロック図である。
【図１２】本発明の実施例に係る画像処理装置による画像処理の全体的な機能を示す図である。
【図１３】本発明の実施例に係る画像処理方法を示すフローチャートである。
【図１４】本発明に係る画像処理方法を実現可能な汎用パーソナルコンピュータの例示的な構成を示すブロック図である。  本発明に対して各種の変更及び代替を行うことができるが、その特定の実施例は図面を参照しながら詳細に説明される。なお、特定の実施例の説明は本発明を開示の具体的な態様に限定するものではなく、本発明の主旨及び範囲内で各種の変更、均等的なものへの変形、代替を行ってもよい。なお、図面において、同一の構成部は同一の符号で示されている。
【発明を実施するための形態】
【００１５】
以下は、図面を参照しながら本発明の例示的な実施例を詳細に説明する。以下の説明は単なる例示的なものであり、本発明、応用及び用途を限定するものではない。
【００１６】
以下は、本発明を詳細に説明し、当業者が本発明の範囲を十分に理解するために、例示的な実施例を提供する。本発明の実施例を詳細に理解させるために、多くの特定の細部、例えば特定の手段、装置及び方法の例を説明する。なお、当業者が分かるように、特定の細部を用いる必要がなく、異なる方式を用いて例示的な実施例を実施してもよく、これらの実施例は本発明の範囲を制限するものではない。一部の例示的な実施例では、周知のプロセス、周知の構成及び周知の技術が詳細に説明されていない。
【００１７】
以下は、図１を参照しながら本発明の画像処理装置１００を説明する。
【００１８】
本発明の画像処理装置１００は、自己符号化部１１０、パラメータ生成部１２０及び出力部１３０を含んでもよい。
【００１９】
本発明の実施例では、自己符号化部１１０は、入力画像に対して自己符号化を行い、複数の特徴マップを生成してもよい。ここで、自己符号化部１１０の入力は入力画像、即ち画像処理すべき画像であり、出力は複数の特徴マップである。本発明の実施例では、自己符号化部１１０は、本分野における周知の任意の自己符号化方法を用いて複数の特徴マップを生成してもよい。また、自己符号化部１１０は、生成された複数の特徴マップをパラメータ生成部１２０に入力してもよい。
【００２０】
本発明の実施例では、パラメータ生成部１２０は、複数の特徴マップに基づいて、畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成してもよい。ここで、パラメータ生成部１２０の入力は複数の特徴マップであり、出力は畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルである。本発明の実施例では、パラメータ生成部１２０は、自己符号化部１１０から複数の特徴マップを受信し、生成された複数の畳み込みカーネルを出力部１３０に出力してもよい。
【００２１】
本発明の実施例では、出力部１３０は、畳み込みニューラルネットワークを用いて、入力画像及び複数の畳み込みカーネルに基づいて前記入力画像の出力結果を生成してもよい。ここで、出力部１３０の入力は入力画像及び複数の畳み込みカーネルであり、出力は入力画像の出力結果である。本発明の実施例では、出力部１３０は、パラメータ生成部１２０から複数の畳み込みカーネルを受信し、生成された出力結果を画像処理装置１００から出力してもよい。また、出力部１３０に入力された入力画像と自己符号化部１１０に入力された入力画像は同一の画像である。即ち、自己符号化部１１０及びパラメータ生成部１２０により入力画像に対応する複数の畳み込みカーネルを生成でき、出力部１３０により入力画像に対応する出力結果を生成できる。
【００２２】
上述したように、本発明の画像処理装置１００では、入力画像について複数の特徴マップを生成し、複数の特徴マップに基づいて畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成し、畳み込みニューラルネットワークを用いて入力画像の出力結果を生成する。これによって、畳み込みニューラルネットワークにおける畳み込みカーネルは固定的なものではない。即ち、特定の入力画像について該入力画像に対応する畳み込みカーネルを生成でき、生成された畳み込みカーネルと該入力画像との整合性を向上させることができ、畳み込みニューラルネットワークによる画像処理（例えば画像認識及び画像検出など）の正確性を向上させることができる。
【００２３】
図２は本発明の実施例に係る画像処理装置１００における自己符号化部１１０の構成を示すブロック図である。図２に示すように、自己符号化部１１０は、複数の第１畳み込み部１１１を含んでもよく、自己符号化部１１０は、入力画像を複数の第１畳み込み部１１１を順次通過させて、複数の特徴マップをそれぞれ生成してもよい。
【００２４】
本発明の実施例では、畳み込みニューラルネットワーク（ＣＮＮ）を用いて自己符号化部１１０を実現してもよく、即ち、自己符号化部１１０における第１畳み込み部１１１は畳み込みニューラルネットワーク（ＣＮＮ）における畳み込み層である。ここで、実際の要求に応じて自己符号化部１１０における第１畳み込み部１１１の数を設定してもよく、本発明はこれに限定されない。
【００２５】
図２に示すように、入力画像は左から右へ複数の第１畳み込み部１１１に順次入力される。具体的には、入力画像が１番目の第１畳み込み部１１１に入力され、１番目の特徴マップが生成され、自己符号化部１１０の外部及び２番目の第１畳み込み部１１１に出力される。そして、２番目の第１畳み込み部１１１により２番目の特徴マップが生成され、自己符号化部１１０の外部及び３番目の第１畳み込み部１１１に出力される。このように、前の第１畳み込み部１１１の出力をその次の第１畳み込み部１１１の入力とし、生成された特徴マップの数は第１畳み込み部１１１の数と同じである。
【００２６】
図３は本発明の他の実施例に係る画像処理装置１００における自己符号化部１１０の構成を示すブロック図である。図３に示すように、自己符号化部１１０は、入力画像の再構築画像を生成する再構築部１１２をさらに含んでもよい。具体的には、自己符号化部１１０における最後の第１畳み込み部１１１の出力は再構築部１１２の入力とされ、再構築部１１２の出力は入力画像の再構築画像である。
【００２７】
図４は本発明の実施例に係る自己符号化部１１０における再構築部１１２の構成を示すブロック図である。図４に示すように、再構築部１１２は、複数の第３畳み込み部１１２１及び処理部１１２２を含んでもよい。自己符号化部１１０における最後の第１畳み込み部１１１の出力は複数の第３畳み込み部１１２１及び処理部１１２２を順次通過し、入力画像の再構築画像を生成する。ここで、実際の要求に応じて再構築部１１２における第３畳み込み部１１２１の数を設定してもよく、本発明はこれに限定されない。
【００２８】
本発明の実施例では、再構築部１１２は主に訓練段階に用いられ、実際のテスト段階において入力画像の出力結果を生成する際に再構築部１１２を用いられない。また、自己符号化部１１０における第１畳み込み部１１１は、抽出された特徴マップの特徴をよりコンパクトにするために、ダウンサンプリング処理を行ってもよく、再構築部１１２における第３畳み込み部１１２１は、再構築画像の大きさが入力画像の大きさと一致するように、アップサンプリング処理を行ってもよい。
【００２９】
上述したように、畳み込みニューラルネットワーク（ＣＮＮ）を一例にして自己符号化部１１０を説明した。なお、本発明はこのような実施例に限定されず、自己符号化機能を実現し、複数の特徴マップを出力することができる任意のものは自己符号化部１１０として用いられてもよい。
【００３０】
図５は本発明の実施例に係る画像処理装置１００におけるパラメータ生成部１２０の構成を示すブロック図である。図５に示すように、パラメータ生成部１２０は、特徴生成部１２１及び畳み込みカーネル生成部１２２を含んでもよい。
【００３１】
本発明の実施例では、特徴生成部１２１は、複数の特徴マップの各特徴マップについて、該特徴マップに対応する局所特徴及び大域特徴を生成してもよい。ここで、特徴生成部１２１は、自己符号化部１１０から複数の特徴マップを受信し、各特徴マップについて局所特徴及び大域特徴を生成してもよい。そして、特徴生成部１２１は、各特徴マップに対応する局所特徴及び大域特徴を畳み込みカーネル生成部１２２に送信してもよい。
【００３２】
本発明の実施例では、畳み込みカーネル生成部１２２は、複数の特徴マップの各特徴マップについて、該特徴マップの局所特徴及び大域特徴に基づいて、該特徴マップに対応する畳み込みカーネルを生成してもよい。ここで、パラメータ生成部１２０は、１つの畳み込みカーネル生成部１２２を含んでもよいし、複数の畳み込みカーネル生成部１２２を含んでもよい。パラメータ生成部１２０に１つの畳み込みカーネル生成部１２２が含まれている場合、特徴生成部１２１は、各特徴マップに対応する局所特徴及び大域特徴を畳み込みカーネル生成部１２２に順次送信し、畳み込みカーネル生成部１２２は、各特徴マップに対応する畳み込みカーネルを順次生成してもよい。パラメータ生成部１２０に含まれる畳み込みカーネル生成部１２２の数が自己符号化部１１０により生成された特徴マップの数に等しい場合、特徴生成部１２１は、各特徴マップに対応する局所特徴及び大域特徴を複数の畳み込みカーネル生成部１２２にそれぞれ送信し、各畳み込みカーネル生成部１２２は、１つの特徴マップに対応する畳み込みカーネルを生成してもよい（図５に示す例）。パラメータ生成部１２０に含まれる畳み込みカーネル生成部１２２の数が１よりも大きく、且つ自己符号化部１１０により生成された特徴マップの数よりも小さい場合、特徴生成部１２１は、各グループの特徴マップの局所特徴及び大域特徴を対応する畳み込みカーネル生成部１２２にそれぞれ送信するように、複数の特徴マップをグループ分けしてもよく、グループの数は畳み込みカーネル生成部１２２の数に等しい。
【００３３】
本発明の実施例では、特徴生成部１２１は、各特徴マップに対応する局所特徴及び大域特徴を生成する際に、複数の特徴マップの各特徴マップについて、該特徴マップに対応する局所特徴を生成し、複数の特徴マップの各特徴マップについて、生成された複数の局所特徴に基づいて該特徴マップに対応する大域特徴を生成してもよい。
【００３４】
本発明の実施例では、局所特徴は各特徴マップの特徴を表す。即ち、１つの特徴マップの局所特徴は、該特徴マップにのみ関連する。このため、特徴生成部１２１は、複数の特徴マップについて、該特徴マップに対応する局所特徴をそれぞれ生成してもよい。また、１つの特徴マップの大域特徴は、自己符号化部１１０により出力された全ての特徴マップに関連する。このため、特徴生成部１２１は、各特徴マップの大域特徴を生成する際に、全ての特徴マップの局所特徴を考慮する必要がある。
【００３５】
本発明の実施例では、特徴生成部１２１は、各特徴マップに対応する局所特徴を生成する際に、該特徴マップに対してプーリング処理を行って、該特徴マップに対応する局所特徴を生成してもよい。
【００３６】
本発明の実施例では、特徴生成部１２１は、特徴マップに対して平均プーリング処理を行ってもよいし、特徴マップに対して最大プーリング処理を行ってもよく、本発明はこれに限定されない。ここで、特徴マップは３次元の行列と見なされてもよく、特徴マップに対する平均プーリング処理は３次元の行列の各層の平均値を求めることであり、これによって１つの特徴ベクトルを局所特徴として取得でき、特徴マップに対する最大プーリング処理は３次元の行列の各層の最大値を求めることであり、これによって１つの特徴ベクトルを局所特徴として取得できる。このように、特徴生成部１２１は各特徴マップに対応する局所特徴を生成することができる。
【００３７】
本発明の実施例では、特徴生成部１２１は、各特徴マップに対応する大域特徴を生成する際に、生成された複数の局所特徴を結合し、結合された複数の局所特徴を全結合（ＦＣ：Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）ネットワークを通過させて大域特徴を生成してもよく、ここで、特徴マップに対応する大域特徴を生成する際に局所特徴を通過させる全結合ネットワークは、特徴マップ毎に異なる。
【００３８】
図６は本発明の実施例に係る各特徴マップに対応する局所特徴及び大域特徴の生成を示す図である。図６に示すように、Ｌ１〜Ｌｎは１〜ｎ番目（ｎは１よりも大きい整数である）の特徴マップの局所特徴をそれぞれ表し、Ｇ１〜Ｇｎは１〜ｎ番目の大域特徴をそれぞれ表し、ＦＣ１〜ＦＣｎは１〜ｎ番目の全結合ネットワークをそれぞれ表す。
【００３９】
図６に示すように、各特徴マップについての局所特徴Ｌ１〜Ｌｎを生成した後に、このｎ個の局所特徴を結合し、結合されたｎ個の局所特徴をｎ個の全結合ネットワークをそれぞれ通過させて、ｎ個の大域特徴をそれぞれ生成する。即ち、結合されたＬ１〜ＬｎをＦＣ１に入力してＧ１を生成し、Ｇ１は１番目の特徴マップに対応する大域特徴であり、結合されたＬ１〜ＬｎをＦＣ２に入力してＧ２を生成し、Ｇ２は２番目の特徴マップに対応する大域特徴であり、それと同様に、結合されたＬ１〜ＬｎをＦＣｎに入力してＧｎを生成し、Ｇｎはｎ番目の特徴マップに対応する大域特徴である。このように、各特徴マップの大域特徴は何れも全ての特徴マップの局所特徴に関連する。
【００４０】
本発明の実施例では、畳み込みカーネル生成部１２２は、各特徴マップに対応する畳み込みカーネルを生成する際に、結合された局所特徴と大域特徴に対して非線形マッピングを行って重み行列を生成し、重み行列及び基準畳み込みカーネル集合に基づいて、該特徴マップに対応する畳み込みカーネルを生成する。ここで、基準畳み込みカーネル集合は、複数の畳み込みカーネルを含み、重み行列は、基準畳み込みカーネル集合における各畳み込みカーネルの重みを含む。
【００４１】
図７は本発明の実施例に係る各特徴マップに対応する畳み込みカーネルの生成を示す図である。図７に示すように、Ｌは任意の１つの特徴マップについての局所特徴を表し、Ｇは任意の１つの特徴マップについての大域特徴を表し、ＭＬＰは多層パーセプトロン（Ｍｕｌｔｉ−Ｌａｙｅｒ  Ｐｅｒｃｅｐｔｒｏｎ）を表し、ｔａｎｈ関数の出力値は［−１，１］範囲内に制限され、ＭＬＰ＋ｔａｎｈは非線形マッピングの機能を実現できる。まず、結合されたＬとＧに対して非線形マッピングを行って重み行列を生成し、重み行列及び基準畳み込みカーネル集合に基づいて該特徴マップに対応する畳み込みカーネルを生成する。具体的には、重み行列と基準畳み込みカーネル集合に対して畳み込み処理を行い、該特徴マップに対応する畳み込みカーネルを生成する。ここで、基準畳み込みカーネル集合は、複数の畳み込みカーネルを含んでもよく、該複数の畳み込みカーネルは訓練により取得されてもよく、重み行列は、基準畳み込みカーネル集合における各畳み込みカーネルの重みを含む。即ち、基準畳み込みカーネル集合における複数の畳み込みカーネルに対して重み付け処理を行い、各特徴マップのための畳み込みカーネルを生成し、重み付けの係数は特徴マップの局所特徴及び大域特徴により決定される。このように、生成された畳み込みカーネルと入力画像との整合性を向上させることができ、画像処理装置１００の処理の正確性を向上させることができる。
【００４２】
図８は本発明の実施例に係る画像処理装置１００における出力部１３０の構成を示すブロック図である。図８に示すように、出力部１３０は、複数の第２畳み込み部１３１を含んでもよい。出力部１３０は、入力画像を複数の第２畳み込み部１３１を順次通過させて、出力画像を生成する。ここで、パラメータ生成部１２０により生成された複数の畳み込みカーネルは、それぞれ複数の第２畳み込み部１３１に用いられる。
【００４３】
本発明の実施例では、畳み込みニューラルネットワーク（ＣＮＮ）を用いて出力部１３０を実現してもよく、即ち、出力部１３０における第２畳み込み部１３１は畳み込みニューラルネットワーク（ＣＮＮ）における畳み込み層である。ここで、実際の要求に応じて出力部１３０における第２畳み込み部１３１の数を設定してもよく、本発明はこれに限定されない。
【００４４】
図８に示すように、入力画像は左から右へ複数の第２畳み込み部１３１に順次入力される。ここの入力画像は、自己符号化部１１０に入力された入力画像と同じである。具体的には、入力画像が１番目の第２畳み込み部１３１に入力され、１番目の特徴マップが生成され、２番目の第２畳み込み部１３１に出力される。そして、２番目の第２畳み込み部１３１により２番目の特徴マップが生成され、３番目の第２畳み込み部１３１に出力される。このように、前の第２畳み込み部１３１の出力をその次の第２畳み込み部１３１の入力とする。
【００４５】
図９は本発明の他の実施例に係る画像処理装置１００における出力部１３０の構成を示すブロック図である。図９に示すように、出力部１３０は、入力画像の出力結果を生成する予測部１３２をさらに含んでもよい。具体的には、出力部１３０における最後の第２畳み込み部１３１の出力は予測部１３２の入力とされ、予測部１３２の出力は入力画像の出力結果である。
【００４６】
図１０は本発明の実施例に係る出力部１３０における予測部１３２の構成を示すブロック図である。図１０に示すように、予測部１３２は、複数の第４畳み込み部１３２１及び処理部１３２２を含んでもよい。出力部１３０における最後の第２畳み込み部１３１の出力は複数の第４畳み込み部１３２１及び処理部１３２２を順次通過し、入力画像の出力結果を生成する。ここで、実際の要求に応じて予測部１３２における第４畳み込み部１３２１の数を設定してもよく、本発明はこれに限定されない。
【００４７】
上述したように、自己符号化部１１０は複数の第１畳み込み部１１１を含み、自己符号化部１１０における再構築部１１２は複数の第３畳み込み部１１２１を含んでもよく、出力部１３０は複数の第２畳み込み部１３１を含み、出力部１３０における予測部１３２は複数の第４畳み込み部１３２１を含んでもよい。本発明の実施例では、第１畳み込み部１１１、第２畳み込み部１３１、第３畳み込み部１１２１及び第４畳み込み部１３２１は同一の構成を用いてもよく、相違点としては、畳み込み処理のための畳み込みカーネルが異なる。
【００４８】
図１１は本発明の実施例に係る畳み込み部の構成を示すブロック図である。図１１に示すように、第１畳み込み部１１１、第２畳み込み部１３１、第３畳み込み部１１２１及び第４畳み込み部１３２１の各畳み込み部は、該畳み込み部に入力された画像と該畳み込み部に用いられる畳み込みカーネルに対して畳み込み処理を行い、畳み込み結果に対して正規化処理を行い、正規化結果に対して非線形マッピング処理を行ってもよい。
【００４９】
本発明の実施例では、第１畳み込み部１１１に用いられる畳み込みカーネルは訓練により取得されてもよく、第２畳み込み部１３１に用いられる畳み込みカーネルはパラメータ生成部１２０により生成されてもよく、第３畳み込み部１１２１に用いられる畳み込みカーネルは訓練により取得されてもよく、第４畳み込み部１３２１に用いられる畳み込みカーネルも訓練により取得されてもよい。
【００５０】
以上は、本発明の実施例に係る画像処理装置１００の自己符号化部１１０、パラメータ生成部１２０及び出力部１３０を詳細に説明した。以下は、図１２を参照しながら画像処理装置１００の全体的な処理流れを説明する。
【００５１】
図１２は本発明の実施例に係る画像処理装置１００による画像処理の全体的な機能を示す図である。画像処理装置１００が画像を処理する前に、２回の訓練段階が必要となる。１回目の訓練段階では、複数の訓練画像を用いて、各訓練画像を自己符号化部１１０に入力し、複数の第１畳み込み部１１１及び再構築部１１２を通過させ、訓練画像の再構築画像を生成してもよい。訓練画像及びその再構築画像を学習することで、自己符号化部１１０を訓練でき、例えば自己符号化部１１０における複数の第１畳み込み部１１１に用いられる各畳み込みカーネル及び再構築部１１２における複数の第３畳み込み部１１２１に用いられる各畳み込みカーネルを取得できる。なお、１回目の訓練段階では、取得された畳み込みカーネルは最適化すべき畳み込みカーネルであり、画像処理装置１００が画像を実際に処理する際に用いられる畳み込みカーネルではない。次に、２回目の訓練段階では、既知の出力結果を有する複数の訓練画像を用いて、各訓練画像を自己符号化部１１０及び出力部１３０に入力してもよい。具体的には、各訓練画像を複数の第１畳み込み部１１１及び再構築部１１２を通過させて、複数の特徴マップ及び訓練画像の再構築画像を生成する。訓練画像及びその再構築画像を学習することで、自己符号化部１１０を再度訓練でき、例えば１回目の訓練段階で取得された各第１畳み込み部１１１に用いられる各畳み込みカーネル及び各第３畳み込み部１１２１に用いられる各畳み込みカーネルを最適化でき、画像処理装置１００が画像を実際に処理する際に用いられる畳み込みカーネルを取得できる。また、自己符号化部１１０により取得された複数の特徴マップをパラメータ生成部１２０及び出力部１３０に入力し、訓練画像の出力結果を取得する。訓練画像の既知の出力結果と得られた出力結果とを比較することで、パラメータ生成部１２０及び出力部１３０を訓練でき、例えばパラメータ生成部１２０に用いられる全結合ネットワークのパラメータ（重み等）、パラメータ生成部１２０に用いられるＭＬＰにおけるパラメータ及び基準畳み込みカーネル集合に含まれる畳み込みカーネル、並びに出力部１３０の予測部１３２に含まれる複数の第４畳み込み部１３２１に用いられる各畳み込みカーネル等のパラメータを取得できる。
【００５２】
上述した２回の訓練プロセスが完了した後に、画像処理装置１００は入力画像を処理してもよい。まず、入力画像を自己符号化部１１０を通過させて複数の特徴マップを生成し、パラメータ生成部１２０により複数の特徴マップに基づいて各特徴マップに対応する畳み込みカーネルを生成する。そして、入力画像を出力部１３０に入力し、出力部１３０がパラメータ生成部１２０により生成された畳み込みカーネルを用いて入力画像の出力結果を出力する。
【００５３】
本発明の実施例では、画像処理装置１００は顔の特徴点（ｌａｎｄｍａｒｋ）の検出に適用されてもよい。この場合は、入力画像は、顔画像を含み、出力結果は、顔画像の特徴認識結果を含む。ここで、出力結果は画像の形であってもよいし、座標の形であってもよい。画像を出力する場合は、出力結果は複数の出力画像を含んでもよく、ここで、各出力画像は顔の１つの特徴点を表す。例えば、出力画像では、特徴点の位置の画素値は１であり、他の位置の画素値は０である。座標を出力する場合は、出力結果は各特徴点の座標値を含んでもよい。ここで、顔は、複数の特徴点、例えば左目、右目、鼻、左口元及び右口元を含んでもよい。
【００５４】
なお、本発明は他の分野、例えば画像検出／認識及びシーケンス信号の処理アプリケーション等に適用されてもよい。異なる入力画像について、その出力の形式も異なる場合はあり、本発明はこれに限定されない。しかし、通常、出力結果は、入力画像から認識する必要のある情報を含む。
【００５５】
以上は本発明の実施例に係る画像処理装置１００を詳細に説明した。次に、本発明の実施例に係る画像処理方法を詳細に説明する。
【００５６】
図１３は本発明の実施例に係る画像処理方法を示すフローチャートである。
【００５７】
図１３に示すように、ステップＳ１３１０において、入力画像に対して自己符号化を行い、複数の特徴マップを生成する。
【００５８】
次に、ステップＳ１３２０において、複数の特徴マップに基づいて、畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成する。
【００５９】
次に、ステップＳ１３３０において、畳み込みニューラルネットワークを用いて、入力画像及び複数の畳み込みカーネルに基づいて入力画像の出力結果を生成する。
【００６０】
好ましくは、入力画像に対して自己符号化を行い、複数の特徴マップを生成するステップは、入力画像を複数の畳み込み手段を順次通過させて、複数の特徴マップをそれぞれ生成するステップ、を含む。
【００６１】
好ましくは、複数の特徴マップに基づいて、畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成するステップは、複数の特徴マップの各特徴マップについて、該特徴マップに対応する局所特徴及び大域特徴を生成するステップと、局所特徴及び大域特徴に基づいて該特徴マップに対応する畳み込みカーネルを生成するステップと、を含む。
【００６２】
好ましくは、該特徴マップに対応する局所特徴及び大域特徴を生成するステップは、複数の特徴マップの各特徴マップについて、該特徴マップに対応する局所特徴を生成するステップと、複数の特徴マップの各特徴マップについて、生成された複数の局所特徴に基づいて前記特徴マップに対応する大域特徴を生成するステップと、を含む。
【００６３】
好ましくは、特徴マップに対してプーリング処理を行って該特徴マップに対応する局所特徴を生成する。
【００６４】
好ましくは、生成された複数の局所特徴に基づいて該特徴マップに対応する大域特徴を生成するステップは、生成された複数の局所特徴を結合するステップと、結合された複数の局所特徴を全結合ネットワークを通過させて大域特徴を生成するステップと、を含み、特徴マップに対応する大域特徴を生成する際に局所特徴を通過させる全結合ネットワークは、特徴マップ毎に異なる。
【００６５】
好ましくは、局所特徴及び大域特徴に基づいて該特徴マップに対応する畳み込みカーネルを生成するステップは、結合された局所特徴と大域特徴に対して非線形マッピングを行って重み行列を生成するステップと、重み行列及び基準畳み込みカーネル集合に基づいて、該特徴マップに対応する畳み込みカーネルを生成するステップと、を含み、基準畳み込みカーネル集合は、複数の畳み込みカーネルを含み、重み行列は、基準畳み込みカーネル集合における各畳み込みカーネルの重みを含む。
【００６６】
好ましくは、入力画像及び複数の畳み込みカーネルに基づいて出力画像を生成するステップは、入力画像を畳み込みニューラルネットワークにおける複数の畳み込み部を順次通過させて、出力画像を生成するステップ、を含み、複数の畳み込みカーネルは、それぞれ畳み込みニューラルネットワークにおける複数の畳み込み手段に用いられる。
【００６７】
好ましくは、入力画像を各畳み込み部を通過させるステップは、該畳み込み部に入力された画像と畳み込み部に用いられる畳み込みカーネルに対して畳み込み処理を行うステップと、畳み込み結果に対して正規化処理を行うステップと、正規化結果に対して非線形マッピングを行うステップと、を含む。
【００６８】
好ましくは、入力画像は、顔画像を含み、出力結果は、前記顔画像の特徴認識結果を含む。
【００６９】
上述した画像処理方法は画像処理装置１００により実現されてもよいため、上述した画像処理装置１００の各態様は全て適用でき、ここでその説明を省略する。
【００７０】
以上のことから、本発明の画像処理装置及び画像処理方法では、入力画像について複数の特徴マップを生成し、複数の特徴マップに基づいて畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成し、畳み込みニューラルネットワークを用いて入力画像の出力結果を生成する。これによって、畳み込みニューラルネットワークにおける畳み込みカーネルは固定的なものではない。即ち、特定の入力画像について該入力画像に対応する畳み込みカーネルを生成でき、生成された畳み込みカーネルと該入力画像との整合性を向上させることができ、畳み込みニューラルネットワークによる画像処理（例えば画像認識及び画像検出など）の正確性を向上させることができる。
【００７１】
なお、本発明の画像処理方法の各処理は、各種のコンピュータ（機器）が読み取り可能な記憶媒体に記憶されたコンピュータが実行可能なプログラムにより実現されてもよい。
【００７２】
また、本発明の目的は、上記実行可能なプログラムコードを記憶した記憶媒体をシステム又は装置に直接的又は間接的に提供し、該システム又は装置におけるコンピュータ又は中央処理装置（ＣＰＵ）が該プログラムコードを読み出して実行することによって実現されてもよい。この場合は、該システム又は装置はプログラムを実行可能な機能を有すればよく、本発明の実施形態はプログラムに限定されない。また、該プログラムは任意の形であってもよく、例えばオブジェクトプログラム、インタプリタによって実行されるプログラム、又はオペレーティングシステムに提供されるスクリプトプログラム等であってもよい。
【００７３】
上記のコンピュータが読み取り可能な記憶媒体は、各種のメモリ、記憶部、半導体装置、光ディスク、磁気ディスク及び光磁気ディスクのようなディスク、及び他の情報を記憶可能な媒体等を含むが、これらに限定されない。
【００７４】
また、コンピュータがインターネット上の対応するウェブサイトに接続し、本発明のコンピュータプログラムコードをコンピュータにダウンロードしてインストールして実行することによって、本発明の実施形態を実現することもできる。
【００７５】
図１４は本発明に係る画像処理方法を実現可能な汎用パーソナルコンピュータの例示的な構成を示すブロック図である。
【００７６】
図１４に示すように、ＣＰＵ１４０１は、読み出し専用メモリ（ＲＯＭ）１４０２に記憶されているプログラム、又は記憶部１４０８からランダムアクセスメモリ（ＲＡＭ）１４０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ１４０３には、必要に応じて、ＣＰＵ１４０１が各種の処理を実行するに必要なデータが記憶されている。ＣＰＵ１４０１、ＲＯＭ１４０２、及びＲＡＭ１４０３は、バス１４０４を介して互いに接続されている。入力／出力インターフェース１４０５もバス１４０４に接続されている。
【００７７】
入力部１４０６（キーボード、マウスなどを含む）、出力部１４０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部１４０８（例えばハードディスクなどを含む）、通信部１４０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース１４０５に接続されている。通信部１４０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ部１４１０は、入力／出力インターフェース１４０５に接続されてもよい。取り外し可能な媒体１４１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライブ部１４１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部１４０８にインストールされている。
【００７８】
ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体１４１１を介してソフトウェアを構成するプログラムをインストールする。
【００７９】
なお、これらの記憶媒体は、図１４に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体１４１１に限定されない。取り外し可能な媒体１４１１は、例えば磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（光ディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ１４０２、記憶部１４０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。
【００８０】
なお、本発明のシステム及び方法では、各ユニット又は各ステップを分解且つ、或いは再組み合わせてもよい。これらの分解及び／又は再組み合わせは、本発明と同等であると見なされる。また、本発明の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本発明の技術的な範囲を限定するものではない。
【００８１】
以上は本発明の具体的な実施例の説明を通じて本発明を開示するが、上記の全ての実施例及び例は例示的なものであり、制限的なものではない。当業者は、特許請求の範囲の主旨及び範囲内で本発明に対して各種の修正、変更を行ってもよい。これらの修正、変更は本発明の保護範囲に含まれるものである。
【００８２】
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
入力画像に対して自己符号化を行い、複数の特徴マップを生成する自己符号化手段と、
前記複数の特徴マップに基づいて、畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成するパラメータ生成手段と、
前記畳み込みニューラルネットワークを用いて、前記入力画像及び前記複数の畳み込みカーネルに基づいて前記入力画像の出力結果を生成する出力手段と、を含む、画像処理装置。
（付記２）
前記自己符号化手段は、複数の第１畳み込み手段を含み、
前記自己符号化手段は、入力画像を前記複数の第１畳み込み手段を順次通過させて、前記複数の特徴マップをそれぞれ生成する、付記１に記載の画像処理装置。
（付記３）
前記パラメータ生成手段は、
前記複数の特徴マップの各特徴マップについて、前記特徴マップに対応する局所特徴及び大域特徴を生成する特徴生成手段と、
前記複数の特徴マップの各特徴マップについて、前記特徴マップの局所特徴及び大域特徴に基づいて前記特徴マップに対応する畳み込みカーネルを生成する畳み込みカーネル生成手段と、を含む、付記１に記載の画像処理装置。
（付記４）
前記特徴生成手段は、各特徴マップに対応する局所特徴及び大域特徴を生成する際に、
前記複数の特徴マップの各特徴マップについて、前記特徴マップに対応する局所特徴を生成し、
前記複数の特徴マップの各特徴マップについて、生成された複数の局所特徴に基づいて前記特徴マップに対応する大域特徴を生成する、付記３に記載の画像処理装置。
（付記５）
前記特徴生成手段は、特徴マップに対してプーリング処理を行って前記特徴マップに対応する局所特徴を生成する、付記４に記載の画像処理装置。
（付記６）
前記特徴生成手段は、各特徴マップに対応する大域特徴を生成する際に、
生成された複数の局所特徴を結合し、
結合された複数の局所特徴を全結合ネットワークを通過させて前記大域特徴を生成し、
特徴マップに対応する大域特徴を生成する際に局所特徴を通過させる全結合ネットワークは、特徴マップ毎に異なる、付記４に記載の画像処理装置。
（付記７）
前記畳み込みカーネル生成手段は、各特徴マップに対応する畳み込みカーネルを生成する際に、
結合された局所特徴と大域特徴に対して非線形マッピングを行って重み行列を生成し、
前記重み行列及び基準畳み込みカーネル集合に基づいて、前記特徴マップに対応する畳み込みカーネルを生成し、
前記基準畳み込みカーネル集合は、複数の畳み込みカーネルを含み、
前記重み行列は、前記基準畳み込みカーネル集合における各畳み込みカーネルの重みを含む、付記３に記載の画像処理装置。
（付記８）
前記出力手段は、複数の第２畳み込み手段を含み、
前記出力手段は、前記入力画像を前記複数の第２畳み込み手段を順次通過させて、出力画像を生成し、
前記複数の畳み込みカーネルは、それぞれ前記複数の第２畳み込み手段に用いられる、付記１に記載の画像処理装置。
（付記９）
前記複数の第２畳み込み手段の各第２畳み込み手段は、
前記第２畳み込み手段に入力された画像と前記第２畳み込み手段に用いられる畳み込みカーネルに対して畳み込み処理を行い、
畳み込み結果に対して正規化処理を行い、
正規化結果に対して非線形マッピングを行う、付記８に記載の画像処理装置。
（付記１０）
前記入力画像は、顔画像を含み、
前記出力結果は、前記顔画像の特徴認識結果を含む、付記１に記載の画像処理装置。
（付記１１）
入力画像に対して自己符号化を行い、複数の特徴マップを生成するステップと、
前記複数の特徴マップに基づいて、畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成するステップと、
前記畳み込みニューラルネットワークを用いて、前記入力画像及び前記複数の畳み込みカーネルに基づいて前記入力画像の出力結果を生成するステップと、を含む、画像処理方法。
（付記１２）
入力画像に対して自己符号化を行い、複数の特徴マップを生成するステップは、
入力画像を複数の畳み込み手段を順次通過させて、前記複数の特徴マップをそれぞれ生成するステップ、を含む、付記１１に記載の画像処理方法。
（付記１３）
前記複数の特徴マップに基づいて、畳み込みニューラルネットワークに用いられる複数の畳み込みカーネルを生成するステップは、
前記複数の特徴マップの各特徴マップについて、前記特徴マップに対応する局所特徴及び大域特徴を生成するステップと、
前記局所特徴及び前記大域特徴に基づいて前記特徴マップに対応する畳み込みカーネルを生成するステップと、を含む、付記１１に記載の画像処理方法。
（付記１４）
前記特徴マップに対応する局所特徴及び大域特徴を生成するステップは、
前記複数の特徴マップの各特徴マップについて、前記特徴マップに対応する局所特徴を生成するステップと、
前記複数の特徴マップの各特徴マップについて、生成された複数の局所特徴に基づいて前記特徴マップに対応する大域特徴を生成するステップと、を含む、付記１３に記載の画像処理方法。
（付記１５）
特徴マップに対してプーリング処理を行って前記特徴マップに対応する局所特徴を生成する、付記１４に記載の画像処理方法。
（付記１６）
生成された複数の局所特徴に基づいて前記特徴マップに対応する大域特徴を生成するステップは、
生成された複数の局所特徴を結合するステップと、
結合された複数の局所特徴を全結合ネットワークを通過させて前記大域特徴を生成するステップと、を含み、
特徴マップに対応する大域特徴を生成する際に局所特徴を通過させる全結合ネットワークは、特徴マップ毎に異なる、付記１４に記載の画像処理方法。
（付記１７）
前記局所特徴及び前記大域特徴に基づいて前記特徴マップに対応する畳み込みカーネルを生成するステップは、
結合された局所特徴と大域特徴に対して非線形マッピングを行って重み行列を生成するステップと、
前記重み行列及び基準畳み込みカーネル集合に基づいて、前記特徴マップに対応する畳み込みカーネルを生成するステップと、を含み、
前記基準畳み込みカーネル集合は、複数の畳み込みカーネルを含み、
前記重み行列は、前記基準畳み込みカーネル集合における各畳み込みカーネルの重みを含む、付記１３に記載の画像処理方法。
（付記１８）
前記入力画像及び前記複数の畳み込みカーネルに基づいて出力画像を生成するステップは、
前記入力画像を前記畳み込みニューラルネットワークの複数の畳み込み手段を順次通過させて、出力画像を生成するステップ、を含み、
前記複数の畳み込みカーネルは、それぞれ前記畳み込みニューラルネットワークにおける複数の畳み込み手段に用いられる、付記１１に記載の画像処理方法。
（付記１９）
前記入力画像を各畳み込み手段を通過させるステップは、
前記畳み込み手段に入力された画像と前記畳み込み手段に用いられる畳み込みカーネルに対して畳み込み処理を行うステップと、
畳み込み結果に対して正規化処理を行うステップと、
正規化結果に対して非線形マッピングを行うステップと、を含む、付記１８に記載の画像処理方法。
（付記２０）
コンピュータ読み取り可能な命令コードを含むプログラムプロダクトを記録したコンピュータ読み取り可能な記憶媒体であって、前記命令コードがコンピュータにより読み取られて実行される場合、前記コンピュータに付記１１〜１９の何れかに記載の画像処理方法を実行させることができる、コンピュータ読み取り可能な記憶媒体。
【図１】
2019079514.tif 000003
【図２】
2019079514.tif 000004
【図３】
2019079514.tif 000005
【図４】
2019079514.tif 000006
【図５】
2019079514.tif 000007
【図６】
2019079514.tif 000008
【図７】
2019079514.tif 000009
【図８】
2019079514.tif 000010
【図９】
2019079514.tif 000011
【図１０】
2019079514.tif 000012
【図１１】
2019079514.tif 000013
【図１２】
2019079514.tif 000014
【図１３】
2019079514.tif 000015
【図１４】
2019079514.tif 000016