(57)【要約】【課題】低解像度の画像に対する高精度な画像認識処理を低負荷で行うことが可能な画像認識システムを提供する。【解決手段】高解像度認識処理部１０２は、学習対象を表す学習用高解像度画像に対して認識処理を行う。辞書部２００は、認識処理の認識結果と、学習用高解像度画像よりも解像度が低く、上記の学習対象を表す学習用低解像度画像とを対応付けた対応情報の集合を格納する。【選択図】図１
2016192110.tif 000002
【特許請求の範囲】
【請求項１】
学習対象を表す高解像度画像に対して認識処理を行う認識処理部と、
前記認識処理の認識結果と、前記高解像度画像よりも解像度が低く、前記学習対象を表す低解像度画像とを対応付けた対応情報を格納する格納部と、を備える画像認識システム。
【請求項２】
元画像から当該元画像内の一部領域に対応するパッチ画像を生成する生成規則を用いて、前記高解像度画像を前記元画像としたときの前記パッチ画像に関する前記認識結果を認識結果学習パッチとして生成する第１の生成部と、
前記生成規則を用いて、前記低解像度画像を前記元画像としたときの前記パッチ画像を低解像度学習パッチとして生成する第２の生成部と、を備え、
前記格納部は、前記認識結果学習パッチと前記低解像度学習パッチとの組を前記対応情報として格納する、請求項１に記載の画像認識システム。
【請求項３】
前記元画像は、静止画像、または、複数のフレームを含む動画像であり、
前記一部領域は、前記静止画像または単一の前記フレームにおける所定の画素領域である、請求項２に記載の画像認識システム。
【請求項４】
前記元画像は、複数のフレームを含む動画像であり、
前記一部領域は、前記複数のフレームのうちの所定数のフレームのそれぞれにおける所定の画素領域である、請求項２に記載の画像認識システム。
【請求項５】
学習対象を表す高解像度画像に対する認識処理の認識結果と、前記高解像度画像よりも解像度が低く前記学習対象を表す低解像度画像とを対応付けた対応情報の集合を格納する格納部と、
認識対象画像と前記集合内の対応情報のそれぞれが示す低解像度画像との類似度を用いて、前記集合内の対応情報のそれぞれが示す認識結果から、前記認識対象画像に対する前記認識処理の認識結果となる対象認識結果を選択する検索部と、
前記対象認識結果を出力する出力部と、を備える画像認識システム。
【請求項６】
前記対応情報は、元画像から当該元画像内の一部領域に対応するパッチ画像を生成する生成規則を用いて、前記高解像度画像を前記元画像としたときの前記パッチ画像に関する前記認識結果である認識結果学習パッチと、前記生成規則を用いて、前記低解像度画像を前記元画像としたときの前記パッチ画像である低解像度学習パッチとの組であり、
前記生成規則を用いて、前記認識対象画像を前記元画像としたときの前記パッチ画像を認識対象パッチとして生成する生成部を備え、
前記検索部は、前記類似度として、前記認識対象パッチと前記低解像度学習パッチとの類似度であるパッチ間類似度を用いて、前記対象認識結果として、前記認識対象パッチに対する前記認識処理の結果を表す前記認識結果学習パッチを選択する、請求項５に記載の画像認識システム。
【請求項７】
学習対象を表す高解像度画像に対して認識処理を行い、
前記認識処理の認識結果と、前記高解像度画像よりも解像度が低く、前記学習対象を表す低解像度画像とを対応付けた対応情報を格納する、画像認識方法。
【請求項８】
学習対象を表す高解像度画像に対する認識処理の認識結果と、前記高解像度画像よりも解像度が低く前記学習対象を表す低解像度画像とを対応付けた対応情報の集合を格納し、
認識対象画像と前記集合内の対応情報のそれぞれが示す低解像度画像との類似度を用いて、前記集合内の対応情報のそれぞれが示す認識結果から、前記認識対象画像に対する前記認識処理の認識結果となる対象認識結果を選択し、
前記対象認識結果を出力する、画像認識方法。
【請求項９】
コンピュータに、
学習対象を表す高解像度画像に対して認識処理を行う手順と、
前記認識処理の認識結果と、前記高解像度画像よりも解像度が低く、前記学習対象を表す低解像度画像とを対応付けた対応情報を格納する手順と、を実行させるためのプログラム。
【請求項１０】
コンピュータに、
学習対象を表す高解像度画像に対する認識処理の認識結果と、前記高解像度画像よりも解像度が低く前記学習対象を表す低解像度画像とを対応付けた対応情報の集合を格納する手順と、
認識対象画像と前記集合内の対応情報のそれぞれが示す低解像度画像との類似度を用いて、前記集合内の対応情報のそれぞれが示す認識結果から、前記認識対象画像に対する前記認識処理の認識結果となる対象認識結果を選択する手順と、
前記対象認識結果を出力する手順と、を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識システム、画像認識方法およびプログラムに関する。
【背景技術】
【０００２】
人などの対象物を検知する検知システムにおいて、赤外線等を用いて熱を検知する熱検知素子をアレイ状に配置した光アレイセンサを使用したものが注目されている。光アレイセンサは、検知範囲の２次元的な温度分布を検知することができ、検知システムは、その温度分布を示す温度分布画像に基づいて対象物を検知する。
【０００３】
例えば、図１４Ａに示すように、センサが天井に設置され、破線で示されている検知範囲に人が２人存在する状況を仮定する。この状況において、センサとして一般的なカメラが使用された場合、図１４Ｂに示すような撮影画像が取得され、その撮影画像から人が検知される。一方、センサとして光アレイセンサが使用された場合、図１４Ｃに示すような温度分布画像が取得される。図１４Ｃに示す温度分布画像は、６４（８×８）画素の光アレイセンサにて取得された温度分布画像であり、破線で囲まれた円内の領域が他の領域と比べて温度が高いことを示している。この場合、この円内の領域に人が存在していることが検知される。
【０００４】
光アレイセンサは熱を検知するため、暗闇でも対象物を検知することができ、さらにカメラと比べてプライバシーを侵害することも少ない。このため、防犯システムや見守りシステムのような監視用途の検知システムへの光アレイセンサの適用が進んでいる。また、光アレイセンサには、一般的なカメラに比べ消費電力が少なく、給電配線を用いて電力を供給しなくても、電池で駆動することができるため、設置が容易であるという利点もある。
【０００５】
しかしながら、光アレイセンサにて取得される温度分布画像は、一般的なカメラで取得される撮影画像よりも画素数が少なく、解像度が低い。このため、対象物を検知する精度が低いという問題があった。特に、光アレイセンサでは、ある程度以上接近した複数の対象物を個別に検知することが困難であるため、対象物の数を高精度に検知することが困難であった。
【０００６】
これに対して低解像度画像から高解像度画像を構築する超解像技術と呼ばれる技術が知られている。超解像技術は、単一の低解像度画像から高解像度画像を構築するフレーム内超解像技術と、複数の低解像度画像から単一の高解像度画像を構築するフレーム間超解像技術と、事前に学習した辞書部を用いて高解像度画像を構築する学習型超解像技術とに大別できる。
【０００７】
非特許文献１には、学習型超解像技術を用いて低解像度画像から高解像度画像を構築する学習型超解像システムが記載されている。図１５は、非特許文献１に記載の学習型超解像システムを示す図である。図１５に示す学習型超解像システムは、学習部１０と、辞書部２０と、復元部３０とを有する。
【０００８】
学習部１０は、学習用高解像度画像入力部１１と、認識結果学習パッチ生成部１２と、学習用低解像度画像入力部１３と、低解像度学習パッチ生成部１４と、学習制御部１５とを有する。復元部３０は、対象用低解像度画像入力部３１と、低解像度対象パッチ生成部３２と、パッチ検索・変換部３３と、高解像度画像出力部３４とを備える。
【０００９】
学習用高解像度画像入力部１１は、学習対象を表す高解像度画像である学習用高解像度画像を取得する。認識結果学習パッチ生成部１２は、学習用高解像度画像内の一部領域を表す画像を高解像度学習パッチとして生成する。
【００１０】
学習用低解像度画像入力部１３は、学習対象を表す低解像度画像である学習用低解像度画像を取得する。学習用低解像度画像は、学習用高解像度画像よりも解像度の低い画像である。低解像度学習パッチ生成部１４は、学習用低解像度画像内の一部領域を表す画像を低解像度学習パッチとして生成する。学習制御部１５は、互いに対応する一部領域を表す高解像度学習パッチと低解像度学習パッチとの組を辞書部２０に格納する。
【００１１】
学習型超解像システムは、学習用高解像度画像および学習用低解像度画像を繰り返し取得して、辞書部２０に高解像度学習パッチと低解像度学習パッチとの組を多数格納する。
【００１２】
対象用低解像度画像入力部３１は、復元（高解像度化）する対象の低解像度画像である対象用低解像度画像を取得する。低解像度対象パッチ生成部３２は、対象用低解像度画像内の一部領域を表す低解像度対象パッチを生成する。
【００１３】
パッチ検索・変換部３３は、低解像度対象パッチとの類似度が最も高い低解像度学習パッチを辞書部２０から検索し、その検索した低解像度学習パッチと同じ組の認識結果学習パッチを高解像度対象パッチとして辞書部２０から取得する。高解像度画像出力部３４は、パッチ検索・変換部３３にて取得された高解像度対象パッチの集合を高解像度画像として構築して出力する。これにより、対象用低解像度画像から高解像度画像が構築できる。
【００１４】
以上説明した学習型超解像技術は、以下の特徴１〜３を有する。
特徴１．所望の低解像度画像に特化することで、高解像度化を精度良く行うことができる。
特徴２．復元する対象用低解像度画像以外の情報を用いるため、他の超解像技術とは異なり、対象用低解像度画像に備わった情報量以上の情報量で復元できる。
特徴３．学習パッチのパターンが多い場合、辞書部２０のデータ量が膨大になり、処理負荷が高くなる。
【００１５】
学習型超解像技術は、特徴１を有するため、光アレイセンサを使用した検知システムに対しては、温度分布画像に特化することで、高解像度化を精度良く行うことができる。
また、学習型超解像技術は、特徴２を有するため、カメラによる撮影画像と比べて低解像度で情報量が少ない温度分布画像に対しても、高解像度化を精度良く行うことができる。
また、学習型超解像技術は、特徴３を有するが、カメラによる撮影画像が各画素についてＲＧＢの３つの色情報と輝度情報との４つの情報を有するのに対して、光アレイセンサによる温度分布画像は各画素について温度情報だけを有するため、学習パッチのパターンを比較的少なくすることができ、その結果、辞書部２０のデータ量や処理負荷を抑制することができる。
【００１６】
したがって、光アレイセンサによる低解像度の温度分布画像を高解像度化する超解像技術としては、学習型超解像技術を用いることが好適である。なお、学習型超解像技術は、非特許文献１だけでなく、特許文献１にも記載されている。また、高解像度画像から対象物を認識する認識アルゴリズムとしては、非特許文献２や非特許文献３に記載のアルゴリズムなどが挙げられる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】国際公開第ＷＯ２０１４／０８７６５２号
【非特許文献】
【００１８】
【非特許文献１】仙田修司、柴田剛志、池谷彰彦、「高倍率・高精細を実現する事例ベースの学習型超解像方式」、ＮＥＣ技報、２０１２年９月、Ｖｏｌ．６５、Ｎｏ．２
【非特許文献２】尾形一気、大矢晃久、「巡回警備ロボットのための赤外線カメラを用いた人間検出」、日本機会学会ロボティクス・メカトロニクス講演会、２０１１年、２Ａ１−ＬＯ２
【非特許文献３】山内悠嗣、藤吉弘亘、山下隆義、Boosting に基づく特徴量の共起表現による人検出」、画像の認識・理解シンポジウム(ＭＩＲＵ２００８)、２００８年
【発明の概要】
【発明が解決しようとする課題】
【００１９】
しかしながら、非特許文献２および３に記載されているような高解像度画像用の認識アルゴリズムは、高解像度画像を扱うが故に、処理負荷が高い。特に複数の対象物を検知する際には、処理負荷が非常に高くなる。このため、検知システムにおいて、非特許文献１や特許文献１に記載の学習型超解像技術を用いて高解像度画像を構築しても、その高解像度画像から対象物を認識するための処理負荷が高くなってしまう。その結果、検知システムに大量の計算リソースや電力が使用となるため、検知システムのハードウェアの高性能化や、検知システムに電力を供給する給電配線の設置などが必要となり、検知システムの設置に難が生じるという問題がある。
【００２０】
なお、学習部１０は辞書部２０に対して事前にデータを格納するために使用されるので、検知システムとは別の装置に組み込むことができる。このため、学習部１０のための計算リソースや電力は検知システムとは別に用意することができるため、学習部１０の処理負荷が多くなっても上記の問題には影響を与えない。
【００２１】
本発明は、上記の課題を鑑みてなされたものである、低解像度の画像に対する高精度な画像認識処理を低負荷で行うことが可能な画像認識システム、画像認識方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
本発明による第１の画像認識システムは、学習対象を表す高解像度画像に対して認識処理を行う認識処理部と、前記認識処理の認識結果と、前記高解像度画像よりも解像度が低く、前記学習対象を表す低解像度画像とを対応付けた対応情報を格納する格納部と、を備える。
【００２３】
本発明による第２の画像認識システムは、学習対象を表す高解像度画像に対する認識処理の認識結果と、前記高解像度画像よりも解像度が低く前記学習対象を表す低解像度画像とを対応付けた対応情報の集合を格納する格納部と、認識対象画像と前記集合内の対応情報のそれぞれが示す低解像度画像との類似度を用いて、前記集合内の対応情報のそれぞれが示す認識結果から、前記認識対象画像に対する前記認識処理の認識結果となる対象認識結果を選択する検索部と、前記対象認識結果を出力する出力部と、を備える
【００２４】
本発明による第１の画像認識方法は、学習対象を表す高解像度画像に対して認識処理を行い、前記認識処理の認識結果と、前記高解像度画像よりも解像度が低く、前記学習対象を表す低解像度画像とを対応付けた対応情報を格納する。
【００２５】
本発明による第２の画像認識方法は、学習対象を表す高解像度画像に対する認識処理の認識結果と、前記高解像度画像よりも解像度が低く前記学習対象を表す低解像度画像とを対応付けた対応情報の集合を格納し、認識対象画像と前記集合内の対応情報のそれぞれが示す低解像度画像との類似度を用いて、前記集合内の対応情報のそれぞれが示す認識結果から、前記認識対象画像に対する前記認識処理の認識結果となる対象認識結果を選択し、前記対象認識結果を出力する。
【００２６】
本発明による第１のプログラムは、コンピュータに、学習対象を表す高解像度画像に対して認識処理を行う手順と、前記認識処理の認識結果と、前記高解像度画像よりも解像度が低く、前記学習対象を表す低解像度画像とを対応付けた対応情報を格納する手順と、を実行させる。
【００２７】
本発明による第２のプログラムは、コンピュータに、学習対象を表す高解像度画像に対する認識処理の認識結果と、前記高解像度画像よりも解像度が低く前記学習対象を表す低解像度画像とを対応付けた対応情報の集合を格納する手順と、認識対象画像と前記集合内の対応情報のそれぞれが示す低解像度画像との類似度を用いて、前記集合内の対応情報のそれぞれが示す認識結果から、前記認識対象画像に対する前記認識処理の認識結果となる対象認識結果を選択する手順と、前記対象認識結果を出力する手順と、を実行させる。
【発明の効果】
【００２８】
本発明によれば、低解像度の画像に対する高精度な画像認識処理を低負荷で行うことが可能になる。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１の実施形態の画像認識システムを示すブロック図である。
【図２】本発明の第１の実施形態にかかる学習部の動作を説明するためのフローチャートである。
【図３】本発明の第１の実施形態にかかる認識部の動作を説明するためのフローチャートである。
【図４】生成規則の具体例を説明するための図である。
【図５】認識結果学習パッチの一例を示す図である。
【図６】辞書の一例を示す図である。
【図７Ａ】学習用高解像度画像の一例を示す図である。
【図７Ｂ】認識結果の一例を示す図である。
【図７Ｃ】認識結果学習パッチを示す図である。
【図８Ａ】習用低解像度画像の一例を示す図である。
【図８Ｂ】低解像度学習パッチの一例を示す図である。
【図９Ａ】対象用低解像度画像の一例を示す図である。
【図９Ｂ】参考用画像を示す図である。
【図９Ｃ】低解像度対象パッチの一例を示す図である。
【図９Ｄ】認識結果学習パッチの一例を示す図である。
【図１０】発明の第２の実施形態の画像認識システムを示すブロック図である。
【図１１】辞書の他の例を示す図である。
【図１２】本発明の第１の実施形態にかかる学習部の動作を説明するためのフローチャートである。
【図１３】本発明の第１の実施形態にかかる認識部の動作を説明するためのフローチャートである。
【図１４Ａ】関連技術の検知システムを示す図である。
【図１４Ｂ】関連技術の検知システムを説明するための図である。
【図１４Ｃ】関連技術の検知システムを説明するための図である。
【図１５】非特許文献１に記載の学習型超解像システムを示す図である。
【発明を実施するための形態】
【００３０】
以下、本発明の実施形態について図面を参照して説明する。なお、以下の説明では、同じ機能を有するものには同じ符号を付け、その説明を省略する場合がある。
【００３１】
（第１の実施形態）
［構成の説明］
図１は、本発明の第１の実施形態の画像認識システムを示すブロック図である。図１に示すように画像認識システムは、学習部１００と、辞書部２００と、認識部３００とを備える。学習部１００は、学習用高解像度画像入力部１０１と、高解像度認識処理部１０２と、認識結果学習パッチ生成部１０３と、学習用低解像度画像入力部１０４と、低解像度学習パッチ生成部１０５と、学習制御部１０６とを備える。認識部３００は、対象用低解像度画像入力部３０１と、低解像度対象パッチ生成部３０２と、パッチ検索・変換部３０３と、認識結果統合部３０４と、認識結果出力部３０５とを備える。
【００３２】
学習用高解像度画像入力部１０１は、学習対象を表す高解像度画像である学習用高解像度画像を取得する。学習用高解像度画像入力部１０１としては、例えば、一般的なカメラが挙げられるが、以下で説明する認識処理に必要な解像度を有する画像が取得できるものであればよい。学習用高解像度画像は、静止画像でもよいし、複数のフレームを含む動画像でもよい。
【００３３】
高解像度認識処理部１０２は、学習用高解像度画像入力部１０１にて取得された学習用高解像度画像に対して認識処理を行う認識処理部である。認識処理は、所定の認識対象を認識する処理である。認識処理の認識結果は、認識対象の有無、認識対象の数、認識対象が存在する存在領域などを示す。存在領域は、空間的な領域でもよいし、時間的な領域でもよいし、それらの組み合せでもよい。空間的な領域とは、単一の画像（静止画像または動画像内の単一のフレーム）における画素領域のことであり、時間的な領域とは、動画像内の特定のフレームのことである。
【００３４】
認識結果学習パッチ生成部１０３は、第１の生成部の一例である。認識結果学習パッチ生成部１０３は、予め定められた生成規則を用いて、高解像度認識処理部１０２による認識処理の認識結果に応じた認識結果学習パッチを生成する。
【００３５】
生成規則は、具体的には、元画像から、その元画像内の一部領域に対応するパッチ画像を生成する規則である。一部領域は、空間的な領域でも、時間的な領域でも、それらの組合せでもよい。また、一部領域は複数あってもよく、この場合、パッチ画像は一部領域ごとに生成される。認識結果学習パッチ生成部１０３は、生成規則を用いて、学習用高解像度画像を元画像としたときのパッチ画像に関する認識結果を認識結果学習パッチとして生成する。パッチ画像に関する認識結果は、例えば、そのパッチ画像に対応する一部領域における学習対象の存在する存在領域が占める割合などである。なお、生成規則については第２の実施形態でより詳細に説明する。また、以下では、認識結果学習パッチ生成部１０３が認識結果学習パッチを生成するために使用する生成規則を使用生成規則と称する。
【００３６】
学習用低解像度画像入力部１０４は、学習用高解像度画像に対応する低解像度画像である学習用低解像度画像を取得する。学習用低解像度画像は、学習用高解像度画像よりも解像度が低く、学習用高解像度画像が示す学習対象と同じ学習対象を表す画像である。学習用低解像度画像入力部１０４は、学習用高解像度画像入力部１０１を構成するカメラよりも低解像度のカメラ、または、学習用高解像度画像に対して解像度を下げる画像処理（例えば、縮小処理）を行う画像処理装置である。低解像度のカメラとしては、一般的なカメラでもよいし、温度分布を示す温度分布画像を取得する光アレイセンサでもよい。学習用低解像度画像入力部１０４として光アレイセンサを用いる場合、この光アレイセンサは、後述する対象用低解像度画像入力部３０１と同じ光アレイセンサであることが望ましい。
【００３７】
低解像度学習パッチ生成部１０５は、認識結果学習パッチ生成部１０３が使用する使用生成規則を用いて、学習用低解像度画像入力部１０４にて取得された学習用低解像度画像を元画像としたときのパッチ画像を低解像度学習パッチとして生成する。
【００３８】
学習制御部１０６は、認識結果学習パッチ生成部１０３にて生成された認識結果学習パッチと、低解像度学習パッチ生成部１０５にて生成された低解像度学習パッチとの組を、認識処理の認識結果と学習用低解像度画像とを対応付けた対応情報として辞書部２００に格納する。このとき、使用生成規則が複数の一部領域のそれぞれに対応する複数のパッチ画像を生成する規則の場合、一部領域ごと（パッチ画像ごと）に、認識結果学習パッチと低解像度学習パッチとの組を格納する。この対応情報は、低解像度学習パッチを高解像度化して認識処理を行うと、低解像度学習パッチと同じ組の認識結果学習パッチが認識結果として得られることを示す。
【００３９】
辞書部２００は、上記の対応情報（認識結果学習パッチと低解像度学習パッチとの組）を格納する格納部である。本実施形態では、辞書部２００は、この対応情報を多数格納する。また、対応情報の集合を辞書と称する。
【００４０】
認識部３００の対象用低解像度画像入力部３０１は、認識対象を表す認識対象画像である対象用低解像度画像を取得する。対象用低解像度画像入力部３０１としては、一般的なカメラが挙げられる。なお、このカメラは、学習用高解像度画像入力部１０１を構成するカメラよりも低解像度である必要はない。これは、全体的として高解像度な画像であっても、認識対象が小さく撮影され、認識対象の画像としては低解像度画像という状況もあり得るからである。また、対象用低解像度画像入力部３０１は、光アレイセンサでもよい。
【００４１】
低解像度対象パッチ生成部３０２は、認識結果学習パッチ生成部１０３の使用生成規則を用いて、対象用低解像度画像入力部３０１にて取得された対象用低解像度画像を元画像としたときのパッチ画像である認識対象パッチを低解像度対象パッチとして生成する。
【００４２】
パッチ検索・変換部３０３は、対象用低解像度画像入力部３０１にて取得された対象用低解像度画像と辞書部２００に格納された辞書内の各対応情報が示す学習用低解像度画像との類似度を用いて、辞書内の各対応情報が示す認識結果から、対象用低解像度画像に対する認識処理の認識結果となる対象認識結果を選択する検索部である。
【００４３】
具体的には、パッチ検索・変換部３０３は、上記の類似度として、低解像度対象パッチ生成部３０２にて生成された低解像度対象パッチと、辞書内の対応情報内の低解像度学習パッチとの類似度であるパッチ間類似度を算出する。パッチ検索・変換部３０３は、パッチ間類似度を用いて、統合認識結果として、低解像度対象パッチに対する画像認識の認識結果を表す認識結果学習パッチを選択し、低解像度対象パッチを選択した認識結果学習パッチに変換する。なお、低解像度学習パッチが複数ある場合、パッチ検索・変換部３０３は、低解像度学習パッチごとに認識結果学習パッチを選択する。
【００４４】
認識結果統合部３０４は、パッチ検索・変換部３０３にて変換された認識結果学習パッチの集合を１つの統合認識結果として結合する。認識結果出力部３０５は、認識結果統合部３０４にて結合された統合認識結果を出力する。
【００４５】
［動作の説明］
先ず、学習部１００の動作について説明する。図２は、学習部１００を説明するためのフローチャートである。
学習用高解像度画像入力部１０１は、学習用高解像度画像を取得し、取得した学習用高解像度画像を高解像度認識処理部１０２に送信する（ステップＳ２０１）。
【００４６】
高解像度認識処理部１０２は、学習用高解像度画像を受信する。高解像度認識処理部１０２は、受信した学習用高解像度画像に対して認識処理を行い、その認識結果を認識結果学習パッチ生成部１０３に送信する（ステップＳ２０２）。
【００４７】
認識結果学習パッチ生成部１０３は、認識結果を受信する。認識結果学習パッチ生成部１０３は、受信した認識結果から認識結果学習パッチを生成し、生成した認識結果学習パッチを学習制御部１０６に送信する（ステップＳ２０３）。
【００４８】
一方、学習用低解像度画像入力部１０４は、学習用低解像度画像を取得し、取得した学習用低解像度画像を低解像度学習パッチ生成部１０５に送信する（ステップＳ２０４）。
【００４９】
低解像度学習パッチ生成部１０５は、学習用低解像度画像を受信する。低解像度学習パッチ生成部１０５は、受信した学習用低解像度画像から低解像度学習パッチを生成し、生成した低解像度学習パッチを学習制御部１０６に送信する（ステップＳ２０５）。
【００５０】
学習制御部１０６は、ステップＳ２０３で認識結果学習パッチ生成部１０３から送信された認識結果学習パッチと、ステップＳ２０５で低解像度学習パッチ生成部１０５から送信された低解像度学習パッチとを受信する。学習制御部１０６は、認識結果学習パッチと低解像度学習パッチとの組を辞書部２００に格納する（ステップＳ２０６）。
【００５１】
学習部１００は、以上の動作を繰り返すことで、認識結果学習パッチと低解像度学習パッチとの組を辞書部２００に多数格納する。
【００５２】
次に認識部３００の動作について説明する。図３は、認識部３００を説明するためのフローチャートである。
対象用低解像度画像入力部３０１は、対象用低解像度画像を取得し、取得した対象用低解像度画像を低解像度対象パッチ生成部３０２に送信する（ステップＳ３０１）。
【００５３】
低解像度対象パッチ生成部３０２は、対象用低解像度画像を受信する。低解像度対象パッチ生成部３０２は、受信した対象用低解像度画像から低解像度対象パッチを複数生成し、生成した複数の低解像度対象パッチをパッチ検索・変換部３０３に送信する（ステップＳ３０２）。
【００５４】
パッチ検索・変換部３０３は、複数の低解像度対象パッチを受信する。パッチ検索・変換部３０３は、辞書部２００内の辞書を用いて、受信した複数の低解像度対象パッチのそれぞれを認識結果学習パッチに変換し、変換した複数の認識結果学習パッチを認識結果統合部３０４に送信する（ステップＳ３０３）。
【００５５】
認識結果統合部３０４は、複数の認識結果学習パッチを受信する。認識結果統合部３０４は、受信した複数の認識結果学習パッチを１つの統合認識結果に統合して認識結果出力部３０５に送信する（ステップＳ３０４）。認識結果出力部３０５は、統合認識結果を受信し、受信した統合認識結果を出力する（ステップＳ３０５）。
【００５６】
［効果の説明］
以上説明したように本実施形態によれば、高解像度認識処理部１０２は、学習対象を表す学習用高解像度画像に対して認識処理を行う。辞書部２００は、認識処理の認識結果と、学習用高解像度画像よりも解像度が低く、上記の学習対象を表す学習用低解像度画像とを対応付けた対応情報の集合を格納する。パッチ検索・変換部３０３は、対象用低解像度画像と集合内の対応情報のそれぞれが示す学習用低解像度画像との類似度を用いて、集合内の対応情報のそれぞれが示す認識結果から、対象用認識対象画像に対する認識処理の認識結果である統合認識結果を特定する。認識結果出力部３０５は、統合認識結果を出力する。
【００５７】
したがって、学習用高解像度画像に対する認識処理の認識結果と、学習用高解像度画像が表す学習対象と同じ学習対象を表す学習用低解像度画像と格納されるため、対象用低解像度画像を高解像度画像に変換しなくても、認識結果学習用高解像度画像に対する認識処理の認識結果に変換することが可能になる。このため、低解像度の画像に対する高精度な画像認識処理を低負荷で行うことが可能になる。
【００５８】
（第２の実施形態）
本実施形態は、第１の実施形態の画像認識システムをより具体的に説明する。なお、本実施形態の画像認識システムは、図１で示した第１の実施形態の画像認識システムと同様な構成を有する。
学習用高解像度画像入力部１０１は、本実施形態では一般的なカメラであり、学習用高解像度画像を取得する。高解像度認識処理部１０２は、学習用高解像度画像入力部１０１にて取得された学習用高解像度画像に対して認識処理を行う。本実施形態では、人を認識する人認識処理である。この場合、認識処理の処理結果は、人が存在する存在領域、または存在領域がないことを示す。なお、人認識処理で使用されるアルゴリズムとしては、非特許文献２および非特許文献３に記載の高解像度向け人認識アルゴリズムを使用することができるが、本アルゴリズムはこれらの人認識アルゴリズムに限定されるものではない。なお、高解像度向け人認識アルゴリズムは既に様々なアルゴリズムが多く知られているため、説明は省略する。
【００５９】
認識結果学習パッチ生成部１０３は、学習用高解像度画像入力部１０１にて取得された学習用高解像度画像から予め定められた生成規則を用いて、高解像度認識処理部１０２による認識処理の認識結果を示す認識結果学習パッチを生成する。
【００６０】
図４は、生成規則の具体例を説明するための図である。
（第１の生成規則）
第１の生成規則は、単一の元画像（静止画像または単一のフレーム）を空間的に分割した複数の画素領域のそれぞれを一部領域とし、その一部領域を表す画像をパッチ画像とする。例えば、図４（ａ）に示すように、時刻ｔの元画像Ｉ（ｔ）が空間的にｎ個の一部領域ｄ（ｔ｜１），ｄ（ｔ｜２），…，ｄ（ｔ｜２）に分割され、それぞれの一部領域を表す画像がパッチ画像Ｐ（ｔ｜１），Ｐ（ｔ｜２），…，Ｐ（ｔ｜３）となる。この場合、当然ながらＰ（ｔ｜ｘ）＝ｄ（ｔ｜ｘ）となる（１≦ｘ≦ｍ）。この生成規則は、最も単純なため、処理負荷が軽いという特徴がある。
【００６１】
（第２の生成規則）
第２の生成規則は、元画像が動画像である場合に適用できる。第２の生成規則は、動画像の各フレームのそれぞれを単一の元画像とみなし、時間的に連続する所定数のフレームのそれぞれを空間的に分割した複数の画素領域のそれぞれを一部領域とし、各フレームにおける同じ空間的な一部領域を表す画像の集合（連結）をパッチ画像とする。例えば、図４（ｂ）に示すように、時刻ｔから時刻ｔ−ｍまで時間的に連続するｍ枚の画像Ｉ（ｔ），Ｉ（ｔ―１），…，Ｉ（ｔ−ｍ）がそれぞれ空間的にｎ個の領域ｄ（ｔ｜１）, ｄ（ｔ｜２）,…, ｄ（ｔ｜ｎ）,ｄ（ｔ―１｜１），ｄ（ｔ―１｜２），・・・，ｄ（ｔ―１｜ｎ），ｄ（ｔ−ｍ｜１），ｄ（ｔ−ｍ｜２）,…, ｄ（ｔ−ｍ｜ｎ）に分割され、空間的に同じ領域の集合がそれぞれパッチ画像Ｐ（ｔ｜１）, Ｐ（ｔ｜２）,…,Ｐ（ｔ｜ｎ）となる。この場合、Ｐ（ｔ｜ｎ）＝｛ｄ（ｔ｜ｎ）,ｄ（ｔ―１｜ｎ）,…,ｄ（ｔ−ｍ｜ｎ）｝となる。この生成規則は、時間変化を考慮しているため、空間的な限界を超えた高精度な判定が可能という特徴がある。
【００６２】
（第３の生成規則）
第３の生成規則は、元画像が動画像である場合に適用できる。第３の生成規則は、動画像の各フレームのそれぞれを単一の元画像とみなし、時間的に連続する所定数のフレームのそれぞれを空間的に分割した複数の分割領域のそれぞれを一部領域とし、各フレームにおける同じ空間的な一部領域を表す画像の加算平均をパッチ画像とする。例えば、図４（ｃ）に示すように、時刻ｔから時刻ｔ−ｍまで時間的に連続するｍ枚の画像Ｉ（ｔ），Ｉ（ｔ―１），…，Ｉ（ｔ−ｍ）がそれぞれ空間的にｎ個の領域ｄ（ｔ｜１）, ｄ（ｔ｜２）,…, ｄ（ｔ｜ｎ）,ｄ（ｔ―１｜１），ｄ（ｔ―１｜２），・・・，ｄ（ｔ―１｜ｎ），ｄ（ｔ−ｍ｜１），ｄ（ｔ−ｍ｜２）,…, ｄ（ｔ−ｍ｜ｎ）に分割され、空間的に同じ領域の加算平均がそれぞれパッチ画像Ｐ（ｔ｜１）, Ｐ（ｔ｜２）,…,Ｐ（ｔ｜ｎ）となる。この場合、Ｐ（ｔ｜ｎ）＝｛ｄ（ｔ｜ｎ）＋ｄ（ｔ―１｜ｎ）＋…＋ｄ（ｔ−ｍ｜ｎ）｝／ｎとなる。この生成規則は、加算平均を行うため、連続する画像にランダムに表れるノイズを減衰することができるため、ランダムノイズに強いという特徴がある。
【００６３】
（第４の生成方法）
第４の生成規則は、元画像が動画像である場合に適用できる。第４の生成規則は、動画像の各フレームのそれぞれを単一の元画像とみなし、時間的に連続する２つのフレームのそれぞれを空間的に分割した２つの分割領域のそれぞれを一部領域とし、各フレームにおける同じ空間的な一部領域を表す画像の差分をパッチ画像とする。例えば、図４（ｄ）に示すように、時刻ｔから時刻ｔ−１まで時間的に連続する２枚の画像Ｉ（ｔ），Ｉ（ｔ―１）がそれぞれ空間的にｎ個の領域ｄ（ｔ｜１）,ｄ（ｔ｜２）,…,ｄ（ｔ｜ｎ）,ｄ（ｔ―１｜１），ｄ（ｔ―１｜２），・・・，ｄ（ｔ―１｜ｎ）に分割され、空間的に同じ領域の差分がパッチ画像Ｐ（ｔ｜１）,Ｐ（ｔ｜２）,…,Ｐ（ｔ｜ｎ）となる。この場合、Ｐ（ｔ｜ｎ）＝ｄ（ｔ｜ｎ）−ｄ（ｔ―１｜ｎ）となる。この生成規則は、差分の結果、連続する画像にランダムに表れるノイズを減衰することができるため、ランダムノイズに強いという特徴がある。
【００６４】
以下では、ｎ＝４とした第１の生成規則が使用されるものとする。この場合、認識結果学習パッチ生成部１０３は、パッチ画像Ｐ（ｔ｜１）,Ｐ（ｔ｜２）,Ｐ（ｔ｜３）,Ｐ（ｔ｜４）のそれぞれに関する認識結果を認識結果学習パッチＰＧ（ｔ｜１）,ＰＧ（ｔ｜２）,ＰＧ（ｔ｜３）,ＰＧ（ｔ｜４）として生成する。認識結果学習パッチは、パッチ画像全体に対する、パッチ画像における人が存在する存在領域が示す割合に、その存在領域内に存在する人の人数を乗算した値を人数として示す。
【００６５】
図５は、認識結果学習パッチの一例を示す図である。学習用高解像度画像において、図５（ａ）に示すように、線で囲まれた領域５００が人の存在領域として認識された領域であり、図５（ｂ）に示すように、パッチ画像Ｐ（ｔ｜１）,Ｐ（ｔ｜２）,Ｐ（ｔ｜３）,Ｐ（ｔ｜４）に分割されている。ここで、各パッチにおける存在領域が占める面積Ｓ（ｔ｜１）,Ｓ（ｔ｜２）,Ｓ（ｔ｜３）,Ｓ（ｔ｜４）＝０．４：０．０：０．５：０．１とする。この場合、各認識結果学習パッチは、ＰＧ（ｔ｜１）＝０．４人, ＰＧ（ｔ｜２）＝０．０人,ＰＧ（ｔ｜３）＝０．５人,ＰＧ（ｔ｜４）＝０．１人となる。
【００６６】
学習用低解像度画像入力部１０４は、８×８＝６４画素の光アレイセンサであり、低解像度の温度分布画像を学習用低解像度画像として取得する。
【００６７】
低解像度学習パッチ生成部１０５は、認識結果学習パッチ生成部１０３が使用する使用生成規則（本実施形態では、ｎ＝４としたときの第１の生成規則）を用いて、学習用低解像度画像入力部１０４にて取得された学習用低解像度画像を元画像としたときのパッチ画像を低解像度学習パッチとして生成する。
このとき、低解像度学習パッチ生成部１０５は、所定の手順で正規化したパッチ画像を低解像度学習パッチとして生成することが望ましい。正規化を行う手順としては、例えば、学習用低解像度画像の全ての画素の画素値（温度値）の平均値を算出し、各画素の画素値と平均値の差分を算出する手順などである。
【００６８】
正規化を行わずに、温度値がそのまま低解像度学習パッチの画素値として使用されると、パッチ検索・変換部３０３にて低解像度対象パッチと類似する低解像度学習パッチを検索する際に、バイアスの変化によっては低解像度学習パッチを精度良く検索することができない。バイアスとは、撮影される領域の全体的な温度を示す。人体の温度は、常に摂氏３６度程度であるが、光アレイセンサで取得される温度分布画像の温度値は、光アレイセンサと人との距離や周辺の気温の影響を受けるため、人が常に同程度の温度で検知されるとは限らない。人の温度は、周辺の気温が高いほど高く検知され、距離が離れるほど低く検知される。正規化を行うことで、このバイアスが変化しても、低解像度学習パッチを精度良く検索することができる。
【００６９】
学習制御部１０６は、一部領域ごとに、その一部領域と対応する認識結果学習パッチと低解像度学習パッチとの組を辞書部２００に格納する。図６は、辞書部２００に格納されている辞書の一例を示す図である。図６に示す辞書６００は、認識結果学習パッチ６０１と低解像度学習パッチ６０２とを含む。認識結果学習パッチ６０１は人数を示す。低解像度学習パッチ６０２はパッチ画像を示す。低解像度学習パッチ６０２は、具体的には、学習用低解像度画像全体の画素数（６４画素）の４分の１の画素数（１６画素）の画像であり、各画素の画素値として、正規化された温度値ｐｘ１，ｐｘ２，…，ｐｘ３を有する。
【００７０】
対象用低解像度画像入力部３０１としては、学習用低解像度画像入力部１０４と同様の８×８＝６４画素の光アレイセンサを用いる。よって、対象用低解像度画像も低解像度温度分布画像となる。
【００７１】
低解像度対象パッチ生成部３０２は、低解像度学習パッチ生成部１０５が使用する使用生成規則を用いて、対象用低解像度画像から４つの低解像度対象パッチを生成する。
【００７２】
パッチ検索・変換部３０３は、先ず、低解像度対象パッチごとに、その低解像度対象パッチとの類似度が最も高い低解像度学習パッチを辞書部２００から検索する。例えば、パッチ検索・変換部３０３は、低解像度対象パッチと低解像度学習パッチとの距離を「画素ごとの各パッチの差分の二乗和」のように定義し、低解像度対象パッチとの距離が最短となる低解像度学習パッチを類似度が最も高い低解像度学習パッチとして検索する。この場合、類似度は、距離の逆数となる。なお、類似度はこの例に限らず、適宜変更可能である。
【００７３】
続いてパッチ検索・変換部３０３は、低解像度対象パッチごとに、その低解像度対象パッチを、検索した低解像度学習パッチと対応する認識結果学習パッチ（つまり、人数）に変換する。
【００７４】
認識結果統合部３０４は、パッチ検索・変換部３０３にて変換された認識結果学習パッチの集合を１つの統合認識結果として統合する。これにより、統合認識結果は、対象用低解像度画像全体に含まれる人の人数を示すことになる。認識結果出力部３０５は、認識結果統合部３０４にて統合された統合認識結果を出力する。
【００７５】
［動作の説明］
以下では、本実施形態の画像認識システムの動作について、第１の実施形態と同様に図２および図３を使用して説明する。
先ず、図２を用いて学習部１００の動作について説明する。
学習用高解像度画像入力部１０１は、学習用高解像度画像を取得し、取得した学習用高解像度画像を高解像度認識処理部１０２に送信する（ステップＳ２０１）。図７Ａは、学習用高解像度画像の一例を示す図である。図７Ａの例では、学習用高解像度画像は、１人の人が画面の左側に立っていることを示している。
【００７６】
高解像度認識処理部１０２は、学習用高解像度画像を受信する。高解像度認識処理部１０２は、受信した学習用高解像度画像に対して認識処理を行い、その認識結果を認識結果学習パッチ生成部１０３に送信する（ステップＳ２０２）。図７Ｂは、認識結果の一例を示す図である。図７Ｂの例では、線で囲まれた領域７００が一人の人が存在すると認識した存在領域であり、それ以外の領域が人がいないと認識した領域である。
【００７７】
認識結果学習パッチ生成部１０３は、認識結果を受信する。認識結果学習パッチ生成部１０３は、受信した認識結果から認識結果学習パッチを生成し、生成した認識結果学習パッチを学習制御部１０６に送信する（ステップＳ２０３）。図７Ｃは認識結果学習パッチを示す図である。図７Ｃにおいて、認識結果学習パッチは、４つのパッチ画像における存在領域７００が占める面積に応じて、ＰＧ（ｔ｜１）＝０．４人, ＰＧ（ｔ｜２）＝０．０人,ＰＧ（ｔ｜３）＝０．５人,ＰＧ（ｔ｜４）＝０．１人となる。
【００７８】
一方、学習用低解像度画像入力部１０４は、学習用低解像度画像を取得し、取得した学習用低解像度画像を低解像度学習パッチ生成部１０５に送信する（ステップＳ２０４）。図８Ａは、学習用低解像度画像の一例を示す図である。図８Ａに示すように、学習用低解像度画像は光アレイセンサで取得されているため、低解像度の温度分布画像となる。
【００７９】
低解像度学習パッチ生成部１０５は、学習用低解像度画像を受信する。低解像度学習パッチ生成部１０５は、受信した学習用低解像度画像から低解像度学習パッチを生成し、生成した低解像度学習パッチを学習制御部１０６に送信する（ステップＳ２０５）。図８Ｂは、低解像度学習パッチの一例を示す図である。図８Ｂにおいて学習用低解像度画像は、４つの低解像度学習パッチｐ（ｔ｜１）, ｐ（ｔ｜２）, ｐ（ｔ｜３）,ｐ（ｔ｜４）に分割されている。
【００８０】
学習制御部１０６は、ステップＳ２０３で認識結果学習パッチ生成部１０３から送信された認識結果学習パッチと、ステップＳ２０５で低解像度学習パッチ生成部１０５から送信された低解像度学習パッチとを受信する。学習制御部１０６は、認識結果学習パッチと低解像度学習パッチとの組を辞書部２００に格納する（ステップＳ２０６）。
【００８１】
次に図３を用いて認識部３００の動作について説明する。
対象用低解像度画像入力部３０１は、対象用低解像度画像を取得し、取得した対象用低解像度画像を低解像度対象パッチ生成部３０２に送信する（ステップＳ３０１）。図９Ａは、対象用低解像度画像の一例を示す図であり、図９Ｂは、参考用画像を示す図である。図９Ｂに示す参考用画像は、図９Ａに示す対象用低解像度画像に対応する高解像度画像であり、人が二人並んでいることを示している。
【００８２】
低解像度対象パッチ生成部３０２は、対象用低解像度画像を受信する。低解像度対象パッチ生成部３０２は、受信した対象用低解像度画像から低解像度対象パッチを複数生成し、生成した複数の低解像度対象パッチをパッチ検索・変換部３０３に送信する（ステップＳ３０２）。図９Ｃは、低解像度対象パッチの一例を示す図である。図９Ｃに示すように、対象用低解像度画像が４つの低解像度学習パッチＰＳ（ｔ｜１）, ＰＳ（ｔ｜２）, ＰＳ（ｔ｜３）, ＰＳ（ｔ｜４）に分割されている。
【００８３】
パッチ検索・変換部３０３は、複数の低解像度対象パッチを受信する。パッチ検索・変換部３０３は、辞書部２００内の辞書を用いて、受信した複数の低解像度対象パッチのそれぞれを認識結果学習パッチに変換し、変換した複数の認識結果学習パッチを認識結果統合部３０４に送信する（ステップＳ３０３）。図９Ｄは、認識結果学習パッチの一例を示す図である。図９Ｄに示されたように、低解像度学習パッチがそれぞれ認識結果学習パッチＰＧ（ｔ｜１）＝０．４人, ＰＧ（ｔ｜２）＝０．４人,ＰＧ（ｔ｜３）＝０．５人,ＰＧ（ｔ｜４）＝０．６人に変換されている。
【００８４】
認識結果統合部３０４は、複数の認識結果学習パッチを受信する。認識結果統合部３０４は、受信した複数の認識結果学習パッチを１つの統合認識結果に統合して認識結果出力部３０５に送信する（ステップＳ３０４）。図９Ｄの場合、認識結果統合部３０４は、認識結果学習パッチのそれぞれが示す人数を加算し、その加算した値を四捨五入して、統合認識結果として２人を算出する。
【００８５】
認識結果出力部３０５は、統合認識結果を受信し、受信した統合認識結果を出力する（ステップＳ３０５）。認識部は低解像度画像を低負荷かつ高精度に認識する。
【００８６】
［効果の説明］
以上説明したように本実施形態でも、学習用高解像度画像に対する認識処理の認識結果と、学習用高解像度画像が表す学習対象と同じ学習対象を表す学習用低解像度画像と格納されるため、対象用低解像度画像を高解像度画像に変換しなくても、認識結果学習用高解像度画像に対する認識処理の認識結果に変換することが可能になる。このため、低解像度の画像に対する高精度な画像認識処理を低負荷で行うことが可能になる。
【００８７】
（第３の実施形態）
図１０は、本発明の第２の実施形態の画像認識システムを示すブロック図である。図１０に示すように画像認識システムは、学習部１００Ａと、辞書部２００と、認識部３００Ａとを備える。
学習部１００Ａは、学習用高解像度画像入力部１０１と、高解像度認識処理部１０２と、認識結果学習パッチ生成部１０３−１〜１０３−ｘと、学習用低解像度画像入力部１０４と、低解像度学習パッチ生成部１０５−１〜１０５−ｘと、多種学習制御部１０６Ａとを備える。認識部３００Ａは、対象用低解像度画像入力部３０１と、低解像度対象パッチ生成部３０２−１〜３０２−ｘと、パッチ検索・変換部３０３と、多種認識結果統合部３０４Ａと、認識結果出力部３０５とを備える。なお、学習用高解像度画像入力部１０１、高解像度認識処理部１０２、学習用低解像度画像入力部１０４、対象用低解像度画像入力部３０１、パッチ検索・変換部３０３および認識結果出力部３０５は第１の実施形態と同様な機能を有するため、その説明は省略する。
【００８８】
認識結果学習パッチ生成部１０３−１〜１０３−ｘは、それぞれ異なる生成規則を用いて認識結果学習パッチを生成する。低解像度学習パッチ生成部１０５−１〜１０５−ｘは、それぞれ異なる生成規則を用いて低解像度学習パッチを生成する。低解像度対象パッチ生成部３０２−１〜３０２−ｘは、それぞれ異なる生成規則を用いて低解像度対象パッチを生成する。
【００８９】
生成規則は、例えば、第２の実施形態で説明した第１〜第４の生成規則などである。また、認識結果学習パッチ生成部１０３−ｐ、低解像度学習パッチ生成部１０５−ｐ、低解像度対象パッチ生成部３０２−ｐはそれぞれ同じパッチ生成方法を使用するものとする。例えば、認識結果学習パッチ生成部１０３−１、低解像度学習パッチ生成部１０５−１および低解像度対象パッチ生成部３０２−１は同じ生成規則を使用する。
【００９０】
多種学習制御部１０６Ａは、生成規則ごとに、その生成規則を用いて生成された認識結果学習パッチと低解像度学習パッチとの組を辞書部２００に格納する。図１１は、辞書部２００に格納されている辞書の一例を示す図である。図１１に示す辞書１１００は、認識結果学習パッチ１１０１と低解像度学習パッチ１１０２−１〜１１０２−ｘとを含む。認識結果学習パッチ１１０１は、人数を示す。低解像度学習パッチ１１０２−１〜１１０２−ｘはそれぞれ異なる生成規則で生成された低解像度学習パッチである。
【００９１】
多種認識結果統合部３０４Ａは、パッチ検索・変換部３０３にて変換された複数の認識結果学習パッチを１つの統合認識結果に統合する。
【００９２】
複数の認識結果学習パッチを統合認識結果に統合する統合方法としては、以下で説明する第１の統合方法および第２の統合方法が挙げられる。
第１の統合方法は、生成規則ごとに、その生成規則を用いて生成された認識結果学習パッチの集合を第１の実施形態と同様な方法で１つの規則認識結果に統合し、その後、生成規則ごとの複数の規則認識結果を１つの統合認識結果に統合する方法である。
【００９３】
複数の規則認識結果を統合認識結果に統合する規則間統合方法には、以下の３つの方法が挙げられる。
第１の規則間統合方法は、規則間認識結果の加算平均を統合認識結果として算出する方法である。この場合、規則間認識結果をＲ１〜Ｒｘとすると、統合認識結果Ｒは（Ｒ１＋Ｒ２＋…＋Ｒｘ）／ｘとなる。例えば、認識処理が第２の実施形態で説明したような人認識処理であり、Ｒ１＝２．４人、Ｒ２＝２．０人、Ｒ３＝１．９人の場合、統合認識結果Ｒは（２．４＋２．０＋１．９）／３＝２．１人となる。
【００９４】
第２の規則間統合方法は、同じ規則間認識結果を要素として有するグループを生成し、最も要素の数が多いグループに所属する規則間認識結果を統合認識結果として算出する方法である。例えば、認識処理が第２の実施形態で説明したような人認識処理であり、Ｒ１＝２．１人、Ｒ２＝１．８人、Ｒ３＝２．１人の場合、統合認識結果Ｒは２．１人となる。また、認識処理が文字を認識する文字認識処理であり、Ｒ１＝「あ」、Ｒ２＝「め」、Ｒ３＝「あ」の場合、統合認識結果Ｒは「あ」となる。
【００９５】
第３の規則間統合方法は、規則間認識結果の重み付き加算を統合認識結果として算出する方法である。この場合、例えば、規則間認識結果をＲ１〜Ｒｘとし、規則間認識結果をＲ１〜Ｒｘのそれぞれの重み値をｋ１〜ｋｘとすると、統合認識結果Ｒはｋ１Ｒ１＋ｋ２ｒ２＋…＋ｋｘＲｘとなる。重み値は、予め定められた固定値、または、対象用低解像度画像を解析した解析結果などに応じて決定する変動値などである。なお、対象用低解像度画像を解析する方法としては、対象用低解像度画像が動画像であると仮定した場合、対象用低解像度画像における時間的に連続する複数のフレームを比較する方法が挙げられる。この場合、多種認識結果統合部３０４Ａは、各フレーム間の距離（画素ごとの差分の二乗和など）の平均値を求め、各フレーム間の距離と平均値との差が一定値以上になった場合、フレーム内にランダムノイズが発生したとみなして、第３の生成規則に対応する規則間認識結果の重み値を大きくする。なお、ここで説明した重み値を決定する方法は単なる一例であって、これに限定されるものではない。
【００９６】
第２の統合方法は、空間的に同じ一部領域に対応する認識結果学習パッチを所定の規則間統合方法を用いて統合し、その後、統合した認識結果学習パッチを第１の実施形態と同様な方法で統合認識結果に統合する方法である。
【００９７】
［動作の説明］
先ず、学習部１００Ａの動作について説明する。図１２は、学習部１００Ａを説明するためのフローチャートである。
学習用高解像度画像入力部１０１は、学習用高解像度画像を取得し、取得した学習用高解像度画像を高解像度認識処理部１０２に送信する（ステップＳ１２０１）。
【００９８】
高解像度認識処理部１０２は、学習用高解像度画像を受信する。高解像度認識処理部１０２は、受信した学習用高解像度画像に対して認識処理を行い、その認識結果を認識結果学習パッチ生成部１０３−１〜１０３−ｘに送信する（ステップＳ１２０２）。
【００９９】
認識結果学習パッチ生成部１０３−１〜１０３−ｘは、認識結果を受信する。認識結果学習パッチ生成部１０３−１〜１０３−ｘは、それぞれ異なる生成規則を用いて、受信した認識結果から認識結果学習パッチを生成し、生成した認識結果学習パッチを多種学習制御部１０６Ａに送信する（ステップＳ１２０３）。
【０１００】
一方、学習用低解像度画像入力部１０４は、学習用低解像度画像を取得し、取得した学習用低解像度画像を低解像度学習パッチ生成部１０５−１〜１０５−ｘに送信する（ステップＳ１２０４）。
【０１０１】
低解像度学習パッチ生成部１０５−１〜１０５−ｘは、学習用低解像度画像を受信する。低解像度学習パッチ生成部１０５は、それぞれ異なる生成規則を用いて、受信した学習用低解像度画像から低解像度学習パッチを生成し、生成した低解像度学習パッチを多種学習制御部１０６Ａに送信する（ステップＳ１２０５）。
【０１０２】
多種学習制御部１０６Ａは、ステップＳ１２０３で認識結果学習パッチ生成部１０３−１〜１０３−ｘから送信された認識結果学習パッチと、ステップＳ１２０５で低解像度学習パッチ生成部１０５−１〜１０５−ｘから送信された低解像度学習パッチとを受信する。学習制御部１０６は、生成規則ごと、かつ、一部領域ごとに、認識結果学習パッチと低解像度学習パッチの組を生成して辞書部２００に格納する（ステップＳ１２０６）。
【０１０３】
次に認識部３００Ａの動作について説明する。図１３は、認識部３００Ａを説明するためのフローチャートである。
対象用低解像度画像入力部３０１は、対象用低解像度画像を取得し、取得した対象用低解像度画像を低解像度対象パッチ生成部３０２−１〜３０２ｘに送信する（ステップＳ１３０１）。
【０１０４】
低解像度対象パッチ生成部３０２−１〜３０２−ｘは、対象用低解像度画像を受信する。低解像度対象パッチ生成部３０２−１〜３０２−ｘは、それぞれ異なる生成規則を用いて、受信した対象用低解像度画像から低解像度対象パッチを複数生成し、生成した複数の低解像度対象パッチをパッチ検索・変換部３０３に送信する（ステップＳ１３０２）。
【０１０５】
パッチ検索・変換部３０３は、複数の低解像度対象パッチを受信する。パッチ検索・変換部３０３は、生成規則ごとに、辞書部２００内の辞書を用いて、受信した複数の低解像度対象パッチのそれぞれを認識結果学習パッチに変換し、変換した複数の認識結果学習パッチを認識結果統合部３０４に送信する（ステップＳ１３０３）。
【０１０６】
多種認識結果統合部３０４Ａは、複数の認識結果学習パッチを受信する。多種認識結果統合部３０４Ａは、受信した複数の認識結果学習パッチを１つの統合認識結果に統合して認識結果出力部３０５に送信する（ステップＳ３０４）。認識結果出力部３０５は、統合認識結果を受信し、受信した統合認識結果を出力する（ステップＳ３０５）。
【０１０７】
［効果の説明］
本実施形態は、第１および第２の実施形態と同様に、学習用高解像度画像に対する認識処理の認識結果と、学習用高解像度画像が表す学習対象と同じ学習対象を表す学習用低解像度画像と格納されるため、低解像度の画像に対する高精度な画像認識処理を低負荷で行うことが可能になる。
【０１０８】
さらに本実施形態では、複数の生成規則を用いて各パッチが正背されるので、特定の方法による認識結果の偏りを軽減することが可能になるで、より高精度に認識処理を実現できる。
【０１０９】
（その他の実施形態）
以上、本発明の実施形態について説明したが、本発明は、上記の各実施形態に限定されたものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更を行うことができる。
また、各実施形態で説明した画像認識システムの各機能は、ハードウェア的に実現することはもちろん、その機能を実現するためのプログラムを、コンピュータにて読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ実行させることで、実現されてもよい。
また、上記の各実施形態の一部又は全部は、以下の付記のように記載することが可能であるが、以下には限定されない。
【０１１０】
［付記１］
学習対象を表す高解像度画像に対して認識処理を行う認識処理部と、
前記認識処理の認識結果と、前記高解像度画像よりも解像度が低く、前記学習対象を表す低解像度画像とを対応付けた対応情報を格納する格納部と、を備える画像認識システム。
［付記２］
元画像から当該元画像内の一部領域に対応するパッチ画像を生成する生成規則を用いて、前記高解像度画像を前記元画像としたときの前記パッチ画像に関する前記認識結果を認識結果学習パッチとして生成する第１の生成部と、
前記生成規則を用いて、前記低解像度画像を前記元画像としたときの前記パッチ画像を低解像度学習パッチとして生成する第２の生成部と、を備え、
前記格納部は、前記認識結果学習パッチと前記低解像度学習パッチとの組を前記対応情報として格納する、付記１に記載の画像認識システム。
［付記３］
前記元画像は、静止画像、または、複数のフレームを含む動画像であり、
前記一部領域は、前記静止画像または単一の前記フレームにおける所定の画素領域である、付記２に記載の画像認識システム。
［付記４］
前記元画像は、複数のフレームを含む動画像であり、
前記一部領域は、前記複数のフレームのうちの所定数のフレームのそれぞれにおける所定の画素領域である、付記２に記載の画像認識システム。
［付記５］
前記パッチ画像は、前記元画像から前記所定数のフレームのそれぞれにおける画素領域のそれぞれを表す複数の画像の集合である、付記４に記載の画像認識システム。
［付記６］
前記パッチ画像は、前記元画像から前記所定数のフレームのそれぞれにおける前記画素領域を抽出した複数の画像の加算平均である、付記４に記載の画像認識システム。
［付記７］
前記所定数は、２であり、
前記パッチ画像は、前記パッチ画像は、前記元画像から前記２つのフレームのそれぞれにおける前記画素領域を抽出した複数の画像の差分である、付記４に記載の画像認識システム。
［付記８］
前記パッチ画像は、複数あり、
前記第１の生成部は、前記パッチ画像ごとに、前記認識結果学習パッチを生成し、
前記第２の生成部は、前記パッチ画像ごとに、前記低解像度学習パッチを生成し、
前記格納部は、前記パッチ画像ごとに、前記認識結果学習パッチと前記低解像度学習パッチとの組を格納する、付記２ないし７のいずれか１項に記載の画像認識システム。
［付記９］
前記生成規則は、複数あり、
前記第１の生成部は、前記生成規則ごとに、前記認識結果学習パッチを生成し、
前記第２の生成部は、前記生成規則ごとに、前記低解像度学習パッチを生成し、
前記格納部は、前記生成規則ごとに、前記認識結果学習パッチと前記低解像度学習パッチとの組を格納する、付記２ないし８のいずれか１項に記載の画像認識システム。
［付記１０］
前記認識処理は、認識対象が存在する存在領域を特定し、
前記一部領域に関する認識結果は、前記一部領域内の前記存在領域の割合を示す、付記２ないし９のいずれか１項に記載の１項に記載の画像認識システム。
［付記１１］
学習対象を表す高解像度画像に対する認識処理の認識結果と、前記高解像度画像よりも解像度が低く前記学習対象を表す低解像度画像とを対応付けた対応情報の集合を格納する格納部と、
認識対象画像と前記集合内の対応情報のそれぞれが示す低解像度画像との類似度を用いて、前記集合内の対応情報のそれぞれが示す認識結果から、前記認識対象画像に対する前記認識処理の認識結果となる対象認識結果を選択する検索部と、
前記対象認識結果を出力する出力部と、を備える画像認識システム。
［付記１２］
前記対応情報は、元画像から当該元画像内の一部領域に対応するパッチ画像を生成する生成規則を用いて、前記高解像度画像を前記元画像としたときのパッチ画像に関する前記認識結果である認識結果学習パッチと、前記生成規則を用いて、前記低解像度画像を前記元画像としたときの前記パッチ画像である低解像度学習パッチとの組であり、
前記生成規則を用いて、前記認識対象画像を前記元画像としたときの前記パッチ画像を認識対象パッチとして生成する生成部を備え、
前記検索部は、前記類似度として、前記認識対象パッチと前記低解像度学習パッチとの類似度であるパッチ間類似度を用いて、前記対象認識結果として、前記認識対象パッチに対する前記認識処理の結果を表す前記認識結果学習パッチを特定する、付記１１に記載の画像認識システム。
［付記１３］
前記パッチ画像は、複数あり、
前記格納部は、前記パッチ画像ごとに、前記認識結果学習パッチと前記低解像度学習パッチとの組を格納し、
前記検索部は、前記パッチ画像ごとに、前記処理結果を特定する、付記１２に記載の画像認識システム。
［付記１４］
前記生成規則は、複数あり、
前記格納部は、前記生成規則ごとに、前記認識結果学習パッチと前記低解像度学習パッチとの組を格納し、
前記生成部は、前記生成規則ごとに、前記認識対象パッチを生成し、
前記検索部は、前記生成規則ごとに、前記処理結果を特定する、付記１２または付記１３に記載の画像認識システム。
［付記１５］
前記処理結果を統合する統合部を備え、
前記出力部は、前記統合された処理結果を出力する、付記１３または１４に記載の画像認識システム。
［付記１６］
学習対象を表す高解像度画像に対して認識処理を行い、
前記認識処理の認識結果と、前記高解像度画像よりも解像度が低く、前記学習対象を表す低解像度画像とを対応付けた対応情報を格納する、画像認識方法。
［付記１７］
学習対象を表す高解像度画像に対する認識処理の認識結果と、前記高解像度画像よりも解像度が低く前記学習対象を表す低解像度画像とを対応付けた対応情報の集合を格納し、
認識対象画像と前記集合内の対応情報のそれぞれが示す低解像度画像との類似度を用いて、前記集合内の対応情報のそれぞれが示す認識結果から、前記認識対象画像に対する前記認識処理の認識結果となる対象認識結果を選択し、
前記対象認識結果を出力する、画像認識方法。
［付記１８］
コンピュータに、
学習対象を表す高解像度画像に対して認識処理を行う手順と、
前記認識処理の認識結果と、前記高解像度画像よりも解像度が低く、前記学習対象を表す低解像度画像とを対応付けた対応情報を格納する手順と、を実行させるためのプログラム。
［付記１９］
コンピュータに、
学習対象を表す高解像度画像に対する認識処理の認識結果と、前記高解像度画像よりも解像度が低く前記学習対象を表す低解像度画像とを対応付けた対応情報の集合を格納する手順と、
認識対象画像と前記集合内の対応情報のそれぞれが示す低解像度画像との類似度を用いて、前記集合内の対応情報のそれぞれが示す認識結果から、前記認識対象画像に対する前記認識処理の認識結果となる対象認識結果を選択する手順と、
前記対象認識結果を出力する手順と、を実行させるためのプログラム。
【符号の説明】
【０１１１】
１００    学習部
１０１  学習用高解像度画像入力部
１０２  高解像度認識処理部
１０３、１０３−１〜１０３−ｘ  認識結果学習パッチ生成部
１０４  学習用低解像度画像入力部
１０５、１０５−１〜１０５−ｘ  低解像度学習パッチ生成部
１０６  学習制御部
１０６Ａ  多種学習制御部
２００  辞書部
３００  認識部学習部
３０１  対象用低解像度画像入力部
３０２、３０２−１〜３０２−ｘ  低解像度対象パッチ生成部
３０３  パッチ検索・変換部
３０４  認識結果統合部
３０５  認識結果出力部
【図１】
2016192110.tif 000003
【図２】
2016192110.tif 000004
【図３】
2016192110.tif 000005
【図４】
2016192110.tif 000006
【図１０】
2016192110.tif 000007
【図１１】
2016192110.tif 000008
【図１２】
2016192110.tif 000009
【図１３】
2016192110.tif 000010
【図１５】
2016192110.tif 000011
【図５】
2016192110.tif 000012
【図６】
2016192110.tif 000013
【図７Ａ】
2016192110.tif 000014
【図７Ｂ】
2016192110.tif 000015
【図７Ｃ】
2016192110.tif 000016
【図８Ａ】
2016192110.tif 000017
【図８Ｂ】
2016192110.tif 000018
【図９Ａ】
2016192110.tif 000019
【図９Ｂ】
2016192110.tif 000020
【図９Ｃ】
2016192110.tif 000021
【図９Ｄ】
2016192110.tif 000022
【図１４Ａ】
2016192110.tif 000023
【図１４Ｂ】
2016192110.tif 000024
【図１４Ｃ】
2016192110.tif 000025