(57)【要約】  系列性のある画像に対してより少ない計算負荷で画像認識を可能とする画像認識システムを提供する。画像情報回帰部は、基準画像Ｉ（ｔ）を入力として、基準画像情報回帰関数により、基準画像情報ｙ（ｔ）を出力する。変化量算出部は、基準画像Ｉ（ｔ）と、近接基準画像Ｉ（ｔ＋Δｔ）とから、画像の変化量ΔＩを算出する。差分画像情報回帰部は、その変化量ΔＩを入力として、差分画像情報回帰関数により、差分画像情報Δｙを出力する。画像情報統合部は、差分画像情報回帰部から出力された差分画像情報Δｙと、画像情報回帰部から出力された基準画像情報ｙ（ｔ）とを統合する。
2020084684.tif 000002
【特許請求の範囲】
【請求項１】
基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する画像情報回帰部と、
前記基準画像と、近接基準画像とから、画像の変化量を算出する変化量算出部と、
前記変化量を入力として、差分画像情報回帰関数により、差分画像情報を出力する差分画像情報回帰部と、
前記差分画像情報回帰部から出力された前記差分画像情報と、前記画像情報回帰部から出力された前記基準画像情報とを統合する画像情報統合部とを備える
ことを特徴とする画像認識システム。
【請求項２】
系列画像列の中の一枚以上の画像を基準画像として入力する基準画像入力部と、
前記系列画像列の中で前記基準画像に近い系列に属する画像を、近接基準画像として入力する系列画像入力部と、
差分画像情報と基準画像情報とを統合することで得られた画像情報を出力する出力部とを備える
請求項１に記載の画像認識システム。
【請求項３】
差分画像情報回帰部は、所定の画像処理システムによって推定された差分画像情報回帰関数により、差分画像情報を出力し、
前記所定の画像処理システムは、
学習用系列画像列の中の一枚以上の画像を学習用基準画像として入力する学習用基準画像入力部と、
前記学習用系列画像列の中で前記学習用基準画像に近い系列に属する一枚以上の画像を、学習用近接基準画像として入力する学習用系列画像入力部と、
教師データとなる画像情報を教師画像情報として入力する教師画像情報入力部と、
前記学習用基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する画像情報回帰部と、
前記学習用基準画像と前記学習用近接基準画像とから、画像の変化量を算出する変化量算出部と、
前記教師画像情報と前記基準画像情報とから、教師差分画像情報を算出する教師差分画像情報算出部と、
前記変化量と前記教師差分画像情報とから、差分画像情報回帰関数を推定する差分画像情報回帰関数推定部と、
推定した前記差分画像情報回帰関数を出力する差分画像情報回帰関数出力部とを備える
画像処理システムである
請求項１または請求項２に記載の画像認識システム。
【請求項４】
コンピュータが、
基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する画像情報回帰処理、
前記基準画像と、近接基準画像とから、画像の変化量を算出する変化量算出処理、
前記変化量を入力として、差分画像情報回帰関数により、差分画像情報を出力する差分画像情報回帰処理、および、
前記差分画像情報回帰処理で出力された前記差分画像情報と、前記画像情報回帰処理で出力された前記基準画像情報とを統合する画像情報統合処理を実行する
ことを特徴とする画像認識方法。
【請求項５】
基準画像は、系列画像列の中の画像であり、
近接基準画像は、前記系列画像列の中で前記基準画像に近い系列に属する画像であり、
コンピュータが、
差分画像情報と基準画像情報とを統合することで得られた画像情報を出力する
請求項４に記載の画像認識方法。
【請求項６】
コンピュータが、
差分画像情報回帰処理で、所定の画像処理システムによって推定された差分画像情報回帰関数により、差分画像情報を出力し、
前記所定の画像処理システムは、
学習用系列画像列の中の一枚以上の画像を学習用基準画像として入力する学習用基準画像入力部と、
前記学習用系列画像列の中で前記学習用基準画像に近い系列に属する一枚以上の画像を、学習用近接基準画像として入力する学習用系列画像入力部と、
教師データとなる画像情報を教師画像情報として入力する教師画像情報入力部と、
前記学習用基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する画像情報回帰部と、
前記学習用基準画像と前記学習用近接基準画像とから、画像の変化量を算出する変化量算出部と、
前記教師画像情報と前記基準画像情報とから、教師差分画像情報を算出する教師差分画像情報算出部と、
前記変化量と前記教師差分画像情報とから、差分画像情報回帰関数を推定する差分画像情報回帰関数推定部と、
推定した前記差分画像情報回帰関数を出力する差分画像情報回帰関数出力部とを備える
画像処理システムである
請求項４または請求項５に記載の画像認識方法。
【請求項７】
コンピュータに、
基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する画像情報回帰処理、
前記基準画像と、近接基準画像とから、画像の変化量を算出する変化量算出処理、
前記変化量を入力として、差分画像情報回帰関数により、差分画像情報を出力する差分画像情報回帰処理、および、
前記差分画像情報回帰処理で出力された前記差分画像情報と、前記画像情報回帰処理で出力された前記基準画像情報とを統合する画像情報統合処理
を実行させるための画像認識プログラム。
【請求項８】
基準画像は、系列画像列の中の画像であり、
近接基準画像は、前記系列画像列の中で前記基準画像に近い系列に属する画像であり、
コンピュータに、
差分画像情報と基準画像情報とを統合することで得られた画像情報を出力する処理を実行させる
請求項７に記載の画像認識プログラム。
【請求項９】
コンピュータに、
差分画像情報回帰処理で、所定の画像処理システムによって推定された差分画像情報回帰関数により、差分画像情報を出力させ、
前記所定の画像処理システムは、
学習用系列画像列の中の一枚以上の画像を学習用基準画像として入力する学習用基準画像入力部と、
前記学習用系列画像列の中で前記学習用基準画像に近い系列に属する一枚以上の画像を、学習用近接基準画像として入力する学習用系列画像入力部と、
教師データとなる画像情報を教師画像情報として入力する教師画像情報入力部と、
前記学習用基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する画像情報回帰部と、
前記学習用基準画像と前記学習用近接基準画像とから、画像の変化量を算出する変化量算出部と、
前記教師画像情報と前記基準画像情報とから、教師差分画像情報を算出する教師差分画像情報算出部と、
前記変化量と前記教師差分画像情報とから、差分画像情報回帰関数を推定する差分画像情報回帰関数推定部と、
推定した前記差分画像情報回帰関数を出力する差分画像情報回帰関数出力部とを備える
画像処理システムである
請求項７または請求項８に記載の画像認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識システム、画像認識方法および画像認識プログラムに関する。
【背景技術】
【０００２】
画像認識や画像処理の分野において、深層学習を用いた手法が数多く提案されている。深層学習を用いることで、人物や物体の画像に対する高精度な認識、または、より高精度な画像復元が可能となった。しかし、一般に、深層学習を用いる手法では、モデル（深層学習で用いるネットワーク構造）が大規模であるため、多くの計算量を必要とする。そのため、高速カメラのようにフレームレートが大きな動画像や、複数の照明条件で物体を撮像した画像群等を入力とした場合、非常に多くの計算負荷を要するという課題があった。【０００３】
非特許文献１では、既に学習済みの高精度なモデル（以下、教師モデルと呼ぶこともある）から、より計算負荷が小さなモデル（以下、生徒モデルと呼ぶこともある。）を生成する手法が開示されている。この手法は、蒸留学習と呼ばれる。【０００４】
具体的には、非特許文献１には、どのように汎化しているかを表す情報(以下、特権情報と呼ぶこともある。)を用い、この特権情報を手掛かりに生徒モデルを学習することで早く学習処理を収束させ、かつ教師モデルに近い精度を得る手法が開示されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Geoffrey Hilton, Oriol Vinyals, Jeff Dean, “Distilling the Knowledge in a Neural Network”, arXiv preprint arXiv 1503.02531, ２０１５年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
高速カメラを用い取得したフレームレートが大きな動画像や、複数の照明条件で物体を撮像した画像群等を入力として、非特許文献１に記載の手法に適用した場合、非特許文献１に記載の手法では、これらの入力画像全てに対して、生徒モデルを適用し推論することが必要である。そのため、冗長な計算が多く、計算負荷が大きいという問題がある。【０００７】
そこで、本発明は、系列性のある画像に対してより少ない計算負荷で画像認識を可能とする画像認識システム、画像認識方法および画像認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明による画像認識システムは、基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する画像情報回帰部と、基準画像と、近接基準画像とから、画像の変化量を算出する変化量算出部と、その変化量を入力として、差分画像情報回帰関数により、差分画像情報を出力する差分画像情報回帰部と、差分画像情報回帰部から出力された差分画像情報と、画像情報回帰部から出力された基準画像情報とを統合する画像情報統合部とを備えることを特徴とする。【０００９】
本発明による画像認識方法は、コンピュータが、基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する画像情報回帰処理、基準画像と、近接基準画像とから、画像の変化量を算出する変化量算出処理、その変化量を入力として、差分画像情報回帰関数により、差分画像情報を出力する差分画像情報回帰処理、および、差分画像情報回帰処理で出力された差分画像情報と、画像情報回帰処理で出力された基準画像情報とを統合する画像情報統合処理を実行することを特徴とする。【００１０】
本発明による画像認識プログラムは、コンピュータに、基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する画像情報回帰処理、基準画像と、近接基準画像とから、画像の変化量を算出する変化量算出処理、その変化量を入力として、差分画像情報回帰関数により、差分画像情報を出力する差分画像情報回帰処理、および、差分画像情報回帰処理で出力された差分画像情報と、画像情報回帰処理で出力された基準画像情報とを統合する画像情報統合処理を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、系列性のある画像に対してより少ない計算負荷で画像認識を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態の画像認識システムの構成例を示すブロック図である。
【図２】図１に示す画像認識システムで用いられる関数（差分画像情報回帰関数）を推定する画像処理システムの構成例を示すブロック図である。
【図３】図１に示す本実施形態の画像認識システムの処理経過の例を示すフローチャートである。
【図４】図２に示す画像処理システムの処理経過の例を示すフローチャートである。
【図５】本発明の効果を示す模式図である。
【図６】本発明の画像認識システムの概要を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を図面を参照して説明する。
【００１４】
図１は、本発明の実施形態の画像認識システムの構成例を示すブロック図である。図２は、図１に示す画像認識システムで用いられる関数（後述の差分画像情報回帰関数）を推定する画像処理システムの構成例を示すブロック図である。
【００１５】
図１に示すように、本実施形態の画像認識システムは、基準画像入力部１０１と、系列画像列入力部１０２と、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）２０と、出力部３０１とを備える。
【００１６】
そして、コンピュータ２０は、画像情報回帰部２０１と、変化量算出部２０２と、差分画像情報回帰部２０３と、画像情報統合部２０４とを備える。
【００１７】
また、図２に示すように、画像処理システムは、学習用基準画像入力部１０３と、学習用系列画像列入力部１０４と、教師画像情報入力部１０５と、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）２１と、差分画像情報回帰関数出力部３０２とを備える。
【００１８】
そして、コンピュータ２１は、画像情報回帰部２０１と、変化量算出部２０２と、教師差分画像情報算出部２０５と、差分画像情報回帰関数推定部２０６とを備える。
【００１９】
図２に示す画像情報回帰部２０１および変化量算出部２０２は、図１に示す画像情報回帰部２０１および変化量算出部２０２と同様の要素である。
【００２０】
まず、各要素について説明する前に、図１に示す画像認識システムと図２に示す画像処理システムとの関係について説明する。後述するように、図１に示す差分画像情報回帰部２０３は、差分画像情報回帰関数を使用する。この差分画像情報回帰関数は、利用者によって手動で決定された関数であってもよい。あるいは、図２に示す画像処理システムの差分画像情報回帰関数出力部３０２から出力される差分画像情報回帰関数を、差分画像情報回帰部２０３が使用してもよい。
【００２１】
すなわち、図１に示す画像認識システムは、画像認識処理における推論処理（あるいはインファレンス処理）を実行する推論システムに相当する。図２に示す画像処理システムは、画像認識処理における学習処理（あるいはインファレンス処理）を実行する学習システムに相当する。
【００２２】
以下、図１に示す各要素について説明する。
【００２３】
［基準画像入力部１０１］
基準画像入力部１０１は、系列画像列の中の一枚以上の画像を基準画像として入力する。ここでいう系列画像列とは、ある一定の規則に基づき、被写体または撮影環境を時間的または空間的に変化させた一連の画像列であればよい。例えば、系列画像列は、ビデオカメラや高速カメラ等で撮影した１フレーム以上の動画像等であってもよい。また、例えば、系列画像列は、顔、人物または物体等の被写体の姿勢を変化させて撮影した一連の画像列であってもよい。また、例えば、系列画像列は、照明やカメラの位置を変化させて、顔、人物または物体等の被写体を撮影した一連の画像列であってもよい。また、例えば、系列画像列は、顔、人物または物体等の被写体を複数のスペクトル帯域で撮影したマルチスペクトル画像やハイパースペクトル画像であってもよい。基準画像入力部１０１が、基準画像として入力する画像の数は、一枚であってもよい。
【００２４】
以下に示す説明では、基準画像をベクトルI（ｔ）＝（I1(t), I2(t),・・・,In(t),・・・,IN(t)）と表す。ここで、ｔは系列を順序づけるためのパラメタであり、ｔは、例えば、時刻、照明や姿勢の角度、物体の姿勢、スペクトルの周波数等であればよい。なお、以下に示す説明では、ｔを系列パラメタと呼ぶこともある。また、下付き添え字は、画素のインデックスを表す。また、N は、画像の画素数である。
【００２５】
なお、本実施形態では説明を簡単にするため、画像を例にして説明する。ただし、本発明に適用されるデータ、画像に限定されない。例えば、N 個の要素からなる音声信号が本発明に適用されてもよい。また、例えば、N 個の要素からなる顧客データ等の非構造データが本発明に適用されてもよい。すなわち、N 個の要素からなるデータであれば本発明にて適用可能である。
【００２６】
基準画像入力部１０１は、系列画像列の中から、一枚以上の画像を基準画像として選択する。基準画像入力部１０１が基準画像を選択する方法は、例えば、最もｔが小さい画像を基準画像として選択する方法であってもよい。また、例えば、基準画像入力部１０１が系列画像列の中から基準画像を選択する方法は、系列画像列の中からランダムに選択した画像を基準画像とする方法であってもよい。また、例えば、基準画像入力部１０１が系列画像列の中から基準画像を選択する方法は、予め利用者に決められた画像を基準画像として選択する方法であってもよい。また、例えば、基準画像入力部１０１が系列画像列の中から基準画像を選択する方法は、明度やボケ強度等の画像を特徴づける量を予め算出し、これらの値が大きい画像、または、これらの値が小さい画像を優先的に基準画像として選択する方法であってもよい。そして、基準画像入力部１０１は、選択した基準画像をメモリ（図示せず）に記録する。
【００２７】
［系列画像列入力部１０２］
系列画像列入力部１０２は、上記の系列画像列の中で基準画像に近い系列に属する一枚以上の画像を、近接基準画像として入力する。系列画像列入力部１０２が系列画像列の中から基準画像に近い画像を選択する方法は、例えば、基準画像の系列パラメタｔと近い系列パラメタを持つ系列画像を優先的に１枚以上選択し、その画像を入力する方法であってもよい。また、系列画像列入力部１０２が系列画像列の中から基準画像に近い画像を選択する方法は、まずランダムに系列画像列から画像を選択し、次に基準画像のパラメタｔと近い系列パラメタを持つ画像を一枚以上選択し、選択した画像を系列画像として入力する方法であってもよい。以下では、系列画像列入力部１０２で入力された画像が１枚である場合について説明するが、系列画像列入力部１０２で入力される画像は１枚に限定されない。また、以下に示す説明では、系列画像列入力部１０２で入力された画像をI(ｔ＋Δｔ)と表し、以下に示す説明では、この画像を近接基準画像と呼ぶこともある。
【００２８】
［画像情報回帰部２０１］
画像情報回帰部２０１は、基準画像入力部１０１にて入力した基準画像と、基準画像情報回帰関数により、基準画像情報を出力する。ここでいう基準画像情報とは、例えば、照合結果や認識結果、特徴ベクトル、高画質画像等である。より具体的には、例えば、基準画像情報が照合結果である場合には、基準画像情報は、入力した基準画像と別途用意した画像との相違度や類似度である。また、基準画像情報が認識結果である場合は、入力された基準画像に含まれている物体、人物または文字等の情報が、基準画像情報に相当する。
【００２９】
なお、例えば、基準画像情報が認識結果である場合、画像情報回帰部２０１で出力される基準画像情報は、人、物体または文字等のクラスに相当するベクトルで表される。この場合、画像情報回帰部２０１は、ベクトルの各要素の値として、０または１を定める。ベクトルの要素の値が０である場合には、その要素に対応する物体等が存在しないことを示し、ベクトルの要素の値が１である場合には、その要素に対応する物体等存在することを示す。また、例えば、基準画像情報が認識結果である場合、画像情報回帰部２０１で出力される基準画像情報は、人、物体または文字等のクラスに相当するベクトルで表される。この点は、上記の場合と同様である。この場合、画像情報回帰部２０１は、ベクトルの各要素の値として、各要素に対応する物体等の信頼度を定めてもよい。なお、信頼度が大きければ大きいほど、物体等が存在する可能性が高いことを示す。
【００３０】
画像情報回帰部２０１は、このようなベクトルを、基準画像情報として出力すればよい。以下の説明では、基準画像情報をｙ（ｔ）＝（ｙ1(t), ｙ2(t),・・・,ｙd(t),・・・,ｙD(t)）と表す。ここで、D は基準画像情報の次元であり、1,2, ・・・,d, ・・・,Dは各次元を区別するための添え字である。例えば、基準画像情報が認識結果である場合、D はクラスの数を表す。
【００３１】
画像情報回帰部２０１は、基準画像入力部１０１にて入力した基準画像と、基準画像情報回帰関数により、基準画像情報を出力する。ここで、基準画像情報回帰関数は、利用者が手動で定めてもよい。あるいは、基準画像情報回帰関数は、非特許文献１に記載の手法を用いて定められてもよい。あるいは、基準画像情報回帰関数として、例えば、ディープニューラルネットワークによる回帰関数を用いてもよいし、ランダムフォレストを用いた回帰関数を用いてもよい。あるいは、サポートベクトル回帰により、基準画像情報回帰関数を獲得してもよい。
【００３２】
［変化量算出部２０２］
変化量算出部２０２は、基準画像と、近接基準画像とから、画像の変化量を算出する。ここでいう変化量とは、基準画像と近接基準画像との変化を表す量である。具体的には、この変化量は、例えば、基準画像と近接基準画像の画素値の差分値、差分の二乗、または、差分の絶対値等であってもよい。あるいは、変化量算出部２０２は、基準画像と近接基準画像の画素値の差分値を、線形関数または非線形関数によって変換し、その値を変化量として定めてもよい。あるいは、変化量算出部２０２は、基準画像の画素値と近接基準画像の画素値のそれぞれを、線形関数または非線形関数によって変換した値を算出し、これらの値の差分値を変化量として定めてもよいし、これらの値の差分値をさらに線形関数または非線形関数を用いて変換した値を、変化量として定めてもよい。
【００３３】
また、変化量算出部２０２は、基準画像の画素値と近接基準画像の画素値を引数とする関数を用いて、変化量を算出してもよい。また、変化量算出部２０２は、正規化相互相関等の相関値を求める関数をもとに変化量を算出してもよい。あるいは、変化量算出部２０２は、基準画像の画素値と近接基準画像の画素値から、画像の幾何変換や移動量（すなわちオプティカルフロー）を算出し、これを変化量としてもよい。なお、変化量算出部２０２における変化量算出動作は上記の例に限定されない。変化量算出部２０２は、基準画像と近接基準画像のそれぞれの画素値を引数とする関数を用いて、変化量を算出すればよい。なお、以下に示す説明では、変化量算出部２０２で算出された変化量をΔI(ｔ)と表し、変化量算出部２０２で算出された変化量を単に変化量と呼ぶこともある。
【００３４】
［差分画像情報回帰部２０３］
差分画像情報回帰部２０３は、上記の変化量を入力として、差分画像情報回帰関数により、差分画像情報を出力する。なお、差分画像情報回帰部２０３で出力される差分画像情報は、近接基準画像I(ｔ＋Δｔ)に対し、画像情報回帰部２０１で使用される基準画像情報回帰関数と同様の基準画像情報回帰関数を用いることで得られる出力と、基準画像情報との差分に相当する情報である。以下、説明を簡単にするために、近接基準画像I(ｔ＋Δｔ)に対し、画像情報回帰部２０１で使用される基準画像情報回帰関数と同様の基準画像情報回帰関数を用いることで得られる出力を、近接基準画像情報ｙ(ｔ＋Δｔ)と呼ぶことがある。
【００３５】
なお、以下に示す説明では、差分画像情報を、Δｙ(ｔ)と表すこととする。その場合、差分画像情報量Δｙ(ｔ)を、近接基準画像情報ｙ(ｔ＋Δｔ)と基準画像情報ｙ(ｔ)との差分値として表現してもよい。
【００３６】
なお、差分画像情報Δｙ(ｔ)は、基準画像情報ｙ(ｔ)と同様に、例えば、照合結果や認識結果、特徴ベクトル、高画質画像等の差分値である。より具体的には、例えば、差分画像情報が照合結果の差分である場合には、差分画像情報は、入力した基準画像と別途用意した画像との相違度や類似度の差分値を表す。また、差分画像情報が認識結果の差分である場合は、入力した基準画像に含まれている物体、人物または文字等における、基準画像情報ｙ(ｔ)と近接基準画像情報ｙ(ｔ＋Δｔ)との間の相違が差分画像情報に相当する。また、例えば、人、物体または文字等のクラスに相当する信頼度を算出する場合、基準画像情報ｙ(ｔ)と近接基準画像情報ｙ(ｔ＋Δｔ)との間の信頼度の相違が差分画像情報Δｙ(ｔ)に相当する。また、基準画像情報ｙ(ｔ)と近接基準画像情報ｙ(ｔ＋Δｔ)とが、高画質化された画像を表す場合は、それらの値の差分値が、差分画像情報Δｙ(ｔ)に相当する。
【００３７】
なお、差分画像情報回帰部２０３が差分画像情報Δｙ(ｔ)を算出するために用いる差分画像情報回帰関数は、予め利用者によって与えられた関数であってもよい。あるいは、差分画像情報回帰関数は、図２に示す画像処理システムによって推定された差分画像情報回帰関数であってもよい。
【００３８】
［画像情報統合部２０４］
画像情報統合部２０４は、差分画像情報回帰部２０３から出力された差分画像情報Δｙ(ｔ)と、画像情報回帰部２０１から出力された基準画像情報ｙ(ｔ)とを統合し、画像情報を出力する。なお、ここでいう画像情報は、基準画像情報等と同様に、照合結果や認識結果、特徴ベクトル、高画質画像等である。より具体的には、例えば、画像情報が照合結果である場合には、画像情報は、入力した近接基準画像または基準画像と、別途用意した画像との相違度や類似度である。また、画像情報が認識結果である場合は、入力された基準画像に含まれている物体、人物または文字等の情報が、画像情報に相当する。
【００３９】
なお、例えば、画像情報が認識結果である場合、画像情報は、人、物体または文字等のクラスに相当するベクトルで表される。この場合、画像情報統合部２０４は、ベクトルの各要素の値として、０または１を定める。ベクトルの要素の値が０である場合には、その要素に対応する物体等が存在しないことを示し、ベクトルの要素の値が１である場合には、その要素に対応する物体等存在することを示す。画像情報統合部２０４は、このようなベクトルを画像情報として出力すればよい。また、例えば、画像情報が認識結果である場合、画像情報は、人、物体または文字等のクラスに相当するベクトルで表される。この点は、上記の場合と同様である。画像情報統合部２０４は、ベクトルの各要素の値として、各要素に対応する各物体の信頼度を定めてもよい。なお、信頼度は大きければ大きいほど、物体等が存在する可能性が高いことを示す。画像情報統合部２０４は、このようなベクトルを画像情報として出力してもよい。
【００４０】
なお、画像情報統合部２０４が基準画像情報ｙ(ｔ)と差分画像情報Δｙ(ｔ)とを統合する方法は、例えば、これらの和を算出することによってこれらを統合する方法であってもよい。また、画像情報統合部２０４が基準画像情報ｙ(ｔ)と差分画像情報Δｙ(ｔ)とを統合する方法は、例えば、これらの積を算出することによってこれらを統合する方法であってもよい。また、画像情報統合部２０４が基準画像情報ｙ(ｔ)と差分画像情報Δｙ(ｔ)とを統合する方法は、基準画像情報と差分画像情報の画素値とを引数とする何らかの線形関数または非線形関数を設定し、この関数に基準画像情報と差分画像情報の画素値を代入することで得られた算出結果を画像情報として定める方法であってもよい。
【００４１】
［出力部３０１］
出力部３０１は、画像情報統合部２０４による統合結果として得られる画像情報を出力する。例えば、出力部３０１は、画像情報統合部２０４によって得られた画像情報を他のシステムに送信するための通信インタフェースによって実現されてもよい。また、例えば、出力部３０１は、画像情報統合部２０４によって得られた画像情報を記憶し、他のシステムからの要求に応じてその画像情報を提供可能な記録媒体（例えば、オプティカルディスク、磁気ディスク等）であってもよい。
【００４２】
画像情報回帰部２０１、変化量算出部２０２、差分画像情報回帰部２０３および画像情報統合部２０４は、例えば、画像認識プログラムに従って動作するコンピュータのＣＰＵ（Central Processing unit ）によって実現される。例えば、ＣＰＵが、コンピュータのプログラム記憶装置等のプログラム記録媒体から画像認識プログラムを読み込み、その画像認識プログラムを、例えば、ＲＡＭ（Random Access Memory）に展開する。そして、ＣＰＵは、その画像認識プログラムに従って、画像情報回帰部２０１、変化量算出部２０２、差分画像情報回帰部２０３および画像情報統合部２０４として動作すればよい。また、基準画像入力部１０１および系列画像列入力部１０２は、例えば、上記のように画像認識プログラムに従って動作するコンピュータのＣＰＵとデータ入力デバイスとによって、実現される。データ入力デバイスの例としては、例えば、系列画像列を記憶した記録媒体から系列画像列を読み込むデータ読み込み装置（オプティカルディスクドライブ等の種々のデータ読み込み装置）が挙げられる。また、プログラム記録媒体の例として、オプティカルディスク、磁気ディスク、半導体メモリ装置、ハードディスク装置等が挙げられる。
【００４３】
次に、図２に示す画像処理システムが備える各要素について説明する。なお、図２に示す画像情報回帰部２０１および変化量算出部２０２は、図１に示す画像情報回帰部２０１および変化量算出部２０２と同様の要素である。そのため、画像情報回帰部２０１および変化量算出部２０２についての説明は省略する。
【００４４】
［学習用基準画像入力部１０３］
学習用基準画像入力部１０３は、学習用に予め用意した系列画像列（以下、学習用系列画像列と呼ぶこともある。）の中の一枚以上の画像を学習用基準画像として入力する。ここでいう学習用系列画像列とは、ある一定の規則に基づき、被写体または撮影環境を時間的または空間的に変化させた一連の画像列であればよい。例えば、学習用系列画像列は、ビデオカメラや高速カメラ等で撮影した１フレーム以上の動画像等であってもよい。また、例えば、学習用系列画像列は、顔、人物または物体等の被写体の姿勢を変化させて撮影した一連の画像列であってもよい。また、例えば、学習用系列画像列は、照明やカメラの位置を変化させて、顔、人物または物体等の被写体を撮影した一連の画像列であってもよい。また、例えば、学習用系列画像列は、顔、人物または物体等の被写体を複数のスペクトル帯域で撮影したマルチスペクトル画像やハイパースペクトル画像であってもよい。
【００４５】
なお、以下に示す説明では、学習用基準画像入力部１０３で入力された画像の集合を{Ik(ｔ)}=(I1(ｔ), ・・・,Ik(ｔ), ・・・,IK(ｔ))と表し、以下、この集合を学習用基準画像群と呼ぶこともある。また、1,・・・,k,・・・,Kは、入力した学習用基準画像を区別するための添え字であり、K は入力した学習用基準画像の総数である。
【００４６】
［学習用系列画像列入力部１０４］
学習用系列画像列入力部１０４は、学習用に予め用意した系列画像列の中で、学習用基準画像入力部１０３にて入力した学習用基準画像に近い系列に属する一枚以上の画像を、近接基準画像として入力する。学習用系列画像列入力部１０４が系列画像列の中から基準画像に近い画像を選択する方法は、例えば、基準画像の系列パラメタｔと近い系列パラメタを持つ系列画像を優先的に１枚以上選択し、その画像を入力する方法であってもよい。また、学習用系列画像列入力部１０４が系列画像列の中から基準画像に近い画像を選択する方法は、まずランダムに系列画像列から画像を選択し、次に基準画像のパラメタｔと近い系列パラメタを持つ画像を一枚以上選択し、選択した画像を系列画像として入力する方法であってもよい。以下では、学習用系列画像列入力部１０４で入力された画像が１枚である場合について説明するが、学習用系列画像列入力部１０４で入力される画像は１枚に限定されない。また、以下に示す説明では、学習用系列画像列入力部１０４で入力された画像の集合を{Ik(ｔ＋Δｔ)}=(I1(ｔ＋Δｔ), ・・・,Ik(ｔ＋Δｔ), ・・・,IK(ｔ＋Δｔ))と表し、以下に示す説明では、この集合を学習用近接基準画像群と呼ぶこともある。
【００４７】
［教師画像情報入力部１０５］
教師画像情報入力部１０５は、教師データとなる画像情報を教師画像情報として入力する。本発明における教師画像情報とは、学習用基準画像群{Ik(ｔ)} または学習用近接基準画像群{Ik(ｔ＋Δｔ)}に対し、画像情報回帰部２０１で使用される基準画像情報回帰関数と同様の基準画像情報回帰関数を用いることで期待される出力（すなわち正解値または教師信号）と同様の情報である。
【００４８】
すなわち、教師画像情報入力部１０５にて入力する教師画像情報は、照合結果や認識結果、特徴ベクトル、高画質画像等の正解値（または教師信号）である。より具体的には、例えば、教師画像情報が照合結果である場合には、教師画像情報は、入力した近接基準画像または基準画像と、別途用意した画像との相違度や類似度である。また、教師画像情報が認識結果である場合は、入力された基準画像に含まれている物体、人物または文字等の情報が、教師画像情報に相当する。
【００４９】
なお、例えば、教師画像情報が認識結果である場合、教師画像情報は、人、物体または文字等のクラスに相当するベクトルで表される。この場合、ベクトルの各要素の値として、０または１が定められる。ベクトルの要素の値が０である場合には、その要素に対応する物体等が存在しないことを示し、ベクトルの要素の値が１である場合には、その要素に対応する物体等存在することを示す。また、例えば、教師画像情報が認識結果である場合、教師画像情報は、人、物体または文字等のクラスに相当するベクトルで表される。この点は、上記の場合と同様である。この場合、ベクトルの各要素の値として、各要素に対応する物体等の信頼度が定められる。なお、信頼度が大きければ大きいほど、物体等が存在する可能性が高いことを示す。
【００５０】
教師画像情報入力部１０５は、教師画像情報として、基準画像I(ｔ＋Δｔ)および近接基準画像I(ｔ＋Δｔ)に対応する教師画像情報を入力してもよいし、基準画像I(ｔ＋Δｔ) または近接基準画像I(ｔ＋Δｔ)のどちらか一方に対応する教師画像情報を入力してもよい。
【００５１】
［教師差分画像情報算出部２０５］
教師差分画像情報算出部２０５は、教師画像情報から、教師差分画像情報を算出する。より具体的には、教師差分画像情報算出部２０５は、近接基準画像I(ｔ＋Δｔ)および基準画像情報I(ｔ)に対応する教師画像情報から、両者の差分を算出することで、教師差分画像情報を算出する。以下、教師差分画像情報をｚ(ｔ)と表す。
【００５２】
［差分画像情報回帰関数推定部２０６］
差分画像情報回帰関数推定部２０６は、変化量算出部２０２で算出された学習用基準画像｛Ik(ｔ)｝と学習用近接基準画像｛Ik (ｔ＋Δｔ)｝との間の変化量{ΔIk (ｔ)}と、教師差分画像情報算出部２０５で算出された教師差分画像情報｛ｚk (ｔ)｝とから、差分画像情報回帰関数を推定する。すなわち、差分画像情報回帰関数推定部２０６は、変化量{ΔIk (ｔ)}と教師差分画像情報｛ｚk (ｔ)｝を入力とし、差分画像情報回帰関数を推定する。差分画像情報回帰関数推定部２０６が差分画像情報回帰関数を推定する方法は、例えば、深層学習によって差分画像情報回帰関数を推定する方法であってもよい。より具体的には、例えば、差分画像情報回帰関数推定部２０６は、オートエンコーダや変分オートエンコーダ（Variational Autoencoder：ＶＡＥ）等の手法を用いて、差分画像情報回帰関数を回帰してもよい。あるいは、差分画像情報回帰関数推定部２０６は、サポートベクトル回帰やランダムフォレスト等の方法を用いて、差分画像情報回帰関数を算出してもよい。
【００５３】
[差分画像情報回帰関数出力部３０２]
差分画像情報回帰関数出力部３０２は、差分画像情報回帰関数推定部２０６によって推定された差分画像情報回帰関数を出力する。例えば、差分画像情報回帰関数出力部３０２は、推定された差分画像情報回帰関数を他のシステム（例えば、図１に示す画像認識システム）に送信するための通信インタフェースによって実現されてもよい。また、例えば、差分画像情報回帰関数出力部３０２は、推定された差分画像情報回帰関数を記憶し、他のシステム（例えば、図１に示す画像認識システム）からの要求に応じてその差分画像情報回帰関数を提供可能な記録媒体（例えば、オプティカルディスク、磁気ディスク等）であってもよい。
【００５４】
画像情報回帰部２０１、変化量算出部２０２、教師差分画像情報算出部２０５および差分画像情報回帰関数推定部２０６は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが、コンピュータのプログラム記憶装置等のプログラム記録媒体から画像処理プログラムを読み込み、その画像処理プログラムを、例えば、ＲＡＭに展開する。そして、ＣＰＵは、その画像処理プログラムに従って、画像情報回帰部２０１、変化量算出部２０２、教師差分画像情報算出部２０５および差分画像情報回帰関数推定部２０６として動作すればよい。また、学習用基準画像入力部１０３、学習用系列画像列入力部１０４および教師画像情報入力部１０５は、例えば、上記のように画像処理プログラムに従って動作するコンピュータのＣＰＵとデータ入力デバイスとによって、実現される。データ入力デバイスの例としては、例えば、系列画像列や教師画像情報を記憶した記録媒体から系列画像列を読み込むデータ読み込み装置（オプティカルディスクドライブ等の種々のデータ読み込み装置）が挙げられる。また、プログラム記録媒体の例として、オプティカルディスク、磁気ディスク、半導体メモリ装置、ハードディスク装置等が挙げられる。
【００５５】
次に、本実施形態の処理経過の例を説明する。図３は、図１に示す本実施形態の画像認識システムの処理経過の例を示すフローチャートである。
【００５６】
まず、基準画像入力部１０１が、系列画像列の中の一枚以上の画像を基準画像として入力する（ステップＳ１０１）。
【００５７】
次に、系列画像列入力部１０２が、系列画像列の中で基準画像に近い系列に属する一枚以上の画像を、近接基準画像として入力する（ステップＳ１０２）。
【００５８】
次に、画像情報回帰部２０１が、基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する（ステップＳ１０３）。
【００５９】
次に、変化量算出部２０２が、基準画像と近接基準画像とから、画像の変化量を算出する（ステップＳ１０４）。
【００６０】
次に、差分画像情報回帰部２０３が、ステップＳ１０４で算出された変化量を入力として、差分画像情報回帰関数により、差分画像情報を出力する（ステップＳ１０５）。
【００６１】
次に、画像情報統合部２０４が、差分画像情報回帰部２０３から出力された差分画像情報と、画像情報回帰部２０１から出力された基準画像情報とを統合する（ステップＳ１０６）。
【００６２】
次に、出力部３０１が、ステップＳ１０６での統合によって得られた画像情報を出力する（ステップＳ１０７）。
【００６３】
図４は、図２に示す画像処理システムの処理経過の例を示すフローチャートである。
【００６４】
まず、学習用基準画像入力部１０３が、学習用系列画像列の中の一枚以上の画像を学習用基準画像として入力する（ステップＳ２０１）。
【００６５】
次に、学習用系列画像列入力部１０４が、学習用系列画像列の中で基準画像に近い系列に属する一枚以上の画像を、学習用近接基準画像として入力する（ステップＳ２０２）。
【００６６】
次に、教師画像情報入力部１０５が、教師データとなる画像情報を教師画像情報として入力する（ステップＳ２０３）。
【００６７】
次に、画像情報回帰部２０１が、学習用基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する（ステップＳ２０４）。
【００６８】
次に、変化量算出部２０２が、学習用基準画像と学習用近接基準画像とから、画像の変化量を算出する（ステップＳ２０５）。
【００６９】
次に、教師差分画像情報算出部２０５が、教師画像情報と基準画像情報とから、教師差分画像情報を算出する（ステップＳ２０６）。
【００７０】
次に、差分画像情報回帰関数推定部２０６が、ステップＳ２０５で算出された変化量と教師差分画像情報とから、差分画像情報回帰関数を推定する（ステップＳ２０７）。
【００７１】
次に、差分画像情報回帰関数出力部３０２が、ステップＳ２０７で推定された差分画像情報回帰関数を出力する（ステップＳ２０８）。
【００７２】
次に、本発明の効果について説明する。図５は、本発明の効果を示す模式図である。
【００７３】
本発明における第一の効果は、高速カメラを用いて取得したフレームレートが大きな動画像や、複数の照明条件で物体を撮像した画像群等を入力とした場合、より少ない計算負荷で画像認識を行うことが可能であるという点である。
【００７４】
以下に、その理由について述べる。本発明では、まず、変化量算出部２０２が、基準画像と近接基準画像とから画像の変化量を算出し、次に、差分画像情報回帰部２０３が、その変化量についてのみ、差分画像情報回帰関数により差分画像情報を出力する。さらに、画像情報統合部２０４が、差分画像情報から所望する画像情報を算出する。
【００７５】
一般的に、画像そのものの値（すなわち画素値）に比べ、系列に沿った画像間の画素値の変化は小さい。このように、相対的に変化量が小さい場合には、差分画像情報回帰関数における関数の計算負荷も小さくてすむ。そのため、結果として、差分画像情報回帰関数の推定や実行（推論）に必要とされる計算コストも小さくてすむ。すなわち、より高速に推定や実行（すなわち推論）を行うことが可能となる。
【００７６】
さらに、本発明における第二の効果として、画像認識を安定的かつに行えるという点がある。なぜならば、上述のように、一般的に、画像そのものの値（すなわち画素値）に比べ、系列に沿った画像間の画素値の変化は小さいため、変化量算出部２０２で算出される変化量は相対的に小さい。このように、相対的に変化量が小さい場合には、差分画像情報回帰関数の推定を行う場合に、関数の探索範囲が小さくてすむ。そのため、より安定に関数の推定を行うことが可能となる。
【００７７】
さらに、本発明における第三の効果として、画像認識をより少ない学習データから行えるという点がある。なぜならば、上述のように、一般的に、画像そのものの値（すなわち画素値）に比べ、系列に沿った画像間の画素値の変化は小さいため、変化量算出部２０２で算出される変化量は相対的に小さい。このように、相対的に変化量が小さい場合には、差分画像情報回帰関数の推定を行う場合に、関数の探索範囲が小さくてすむ。そのため、安定的に関数の推定を行うために必要な学習データが少なくてすむためである。
【００７８】
次に、本発明の概要について説明する。図６は、本発明の画像認識システムの概要を示すブロック図である。本発明の画像認識システムは、画像情報回帰部２０１と、変化量算出部２０２と、差分画像情報回帰部２０３と、画像情報統合部２０４とを備える。
【００７９】
画像情報回帰部２０１は、基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する。
【００８０】
変化量算出部２０２は、基準画像と、近接基準画像とから、画像の変化量を算出する。
【００８１】
差分画像情報回帰部２０３は、その変化量を入力として、差分画像情報回帰関数により、差分画像情報を出力する。
【００８２】
画像情報統合部２０４は、差分画像情報回帰部２０３から出力された差分画像情報と、画像情報回帰部２０１から出力された基準画像情報とを統合する。
【００８３】
そのような構成により、系列性のある画像に対してより少ない計算負荷で画像認識を行うことができる。
【００８４】
また、系列画像列の中の一枚以上の画像を基準画像として入力する基準画像入力部と、その系列画像列の中で基準画像に近い系列に属する画像を、近接基準画像として入力する系列画像入力部と、差分画像情報と基準画像情報とを統合することで得られた画像情報を出力する出力部とを備える構成であってもよい。
【００８５】
また、差分画像情報回帰部２０３は、所定の画像処理システムによって推定された差分画像情報回帰関数により、差分画像情報を出力し、その所定の画像処理システムが、学習用系列画像列の中の一枚以上の画像を学習用基準画像として入力する学習用基準画像入力部と、学習用系列画像列の中で学習用基準画像に近い系列に属する一枚以上の画像を、学習用近接基準画像として入力する学習用系列画像入力部と、教師データとなる画像情報を教師画像情報として入力する教師画像情報入力部と、学習用基準画像を入力として、基準画像情報回帰関数により、基準画像情報を出力する画像情報回帰部と、学習用基準画像と学習用近接基準画像とから、画像の変化量を算出する変化量算出部と、教師画像情報と基準画像情報とから、教師差分画像情報を算出する教師差分画像情報算出部と、その変化量と教師差分画像情報とから、差分画像情報回帰関数を推定する差分画像情報回帰関数推定部と、推定した差分画像情報回帰関数を出力する差分画像情報回帰関数出力部とを備える画像処理システムであってもよい。
【００８６】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用の可能性】
【００８７】
本発明は、画像認識システムに好適に適用される。
【符号の説明】
【００８８】
２０  コンピュータ
２１  コンピュータ
１０１  基準画像入力部
１０２  系列画像列入力部
１０３  学習用基準画像入力部
１０４  学習用系列画像列入力部
１０５  教師画像情報入力部
２０１  画像情報回帰部
２０２  変化量算出部
２０３  差分画像情報回帰部
２０４  画像情報統合部
２０５  教師差分画像情報算出部
２０６  差分画像情報回帰関数推定部
３０１  出力部
３０２  差分画像情報回帰関数出力部
【図１】
2020084684.tif 000003
【図２】
2020084684.tif 000004
【図３】
2020084684.tif 000005
【図４】
2020084684.tif 000006
【図５】
2020084684.tif 000007
【図６】
2020084684.tif 000008
【国際調査報告】
2020084684.tif 000009
2020084684.tif 000010