(57)【要約】【課題】監視カメラ等で用いられる画像の歪を解消する。【解決手段】魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された撮像画像の歪を補正する画像補正装置において、フィルタ演算部と、画像補正演算部と、前記フィルタ演算部に対して前記撮像画像を入力とした第１のフィルタ演算を実行させることにより、前記撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得する注目点認識部と、前記フィルタ演算部に対して前記注目点情報を入力とした第２のフィルタ演算を実行させることにより、前記撮像画像の歪を補正するための変形パラメータを取得するとともに、前記変形パラメータを用いて前記撮像画像を補正する補正処理を前記画像補正演算部に実行させる画像補正部と、を有することを特徴とする画像補正装置。【選択図】図１
2018201146.tif 000002
【特許請求の範囲】
【請求項１】
魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された撮像画像の歪を補正する画像補正装置において、
フィルタ演算部と、
画像補正演算部と、
前記フィルタ演算部に対して前記撮像画像を入力とした第１のフィルタ演算を実行させることにより、前記撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得する注目点認識部と、
前記フィルタ演算部に対して前記注目点情報を入力とした第２のフィルタ演算を実行させることにより、前記撮像画像の歪を補正するための変形パラメータを取得するとともに、前記変形パラメータを用いて前記撮像画像を補正する補正処理を前記画像補正演算部に実行させる画像補正部と、
を有することを特徴とする画像補正装置。
【請求項２】
前記フィルタ演算部は、1層以上の畳み込みフィルタを有しており、前記第１のフィルタ演算を行う際に予め定められた注目点認識フィルタ情報をパラメータとして利用し、前記第２のフィルタ演算を行う際に予め定められた補正量推定フィルタ情報をパラメータとして利用することを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記注目点情報は、前記撮像画像のうち前記注目点の存在する確信度を画像で表した注目点画像、又は前記撮像画像のうち前記注目点を座標で表した注目点座標であることを特徴とする請求項１又は２に記載の画像補正装置。
【請求項４】
前記撮像機器は、監視エリアに配置される監視カメラであることを特徴とする請求項１乃至３のうちいずれか一つに記載の画像補正装置。
【請求項５】
請求項４に記載の画像補正装置と、
前記画像補正装置によって得られた補正後の画像及び／又は前記注目点情報から特徴量を算出する特徴抽出部と、
前記特徴量に基づき、異常の有無を判別する異常判別部と、
を有することを特徴とする異常検知システム。
【請求項６】
魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された撮像画像の歪を補正する画像補正方法において、
前記撮像画像を入力とした第１のフィルタ演算を行うことにより、前記撮像画像に含まれる複数の注目点に関する注目点情報を取得するステップと、
前記注目点情報を入力とした第２のフィルタ演算を行うことにより、前記撮像画像の歪を補正するための変形パラメータを取得するステップと、
前記変形パラメータを用いて前記撮像画像を補正する補正処理を行うステップと、
を有することを特徴とする画像補正方法。
【請求項７】
魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された歪のある撮像画像から注目点を認識する注目点認識装置であって、
フィルタ演算部と、
画像補正演算部と、
前記フィルタ演算部に対して第１の撮像画像を入力とした第１のフィルタ演算を実行させることにより、前記第１の撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得する注目点認識部と、
前記フィルタ演算部に対して前記注目点情報を入力とした第２のフィルタ演算を実行させることにより、前記第１の撮像画像の歪を補正可能な変形パラメータを取得する画像補正部と、を有し、
前記画像補正部は、前記変形パラメータを用いて前記第１の撮像画像の次のフレームの第２の撮像画像を補正する補正処理を前記画像補正演算部に実行させ、
前記注目点認識部は、前記フィルタ演算部に対して補正がされた前記第２の撮像画像を入力とした前記第１のフィルタ演算を実行させることにより、補正がされた前記第２の撮像画像に含まれる一つ以上の注目点に関する注目点情報を推定する処理を行わせることを特徴とする注目点認識装置。
【請求項８】
前記フィルタ演算部は、1層以上の畳み込みフィルタを有しており、前記第１のフィルタ演算を行う際に予め定められた注目点認識フィルタ情報をパラメータとして利用し、前記第２のフィルタ演算を行う際に予め定められた補正量推定フィルタ情報をパラメータとして利用することを特徴とする請求項７に記載の注目点認識装置。
【請求項９】
前記注目点情報は、前記撮像画像のうち前記注目点の存在する確信度を画像で表した注目点画像、又は前記撮像画像のうち前記注目点を座標で表した注目点座標であることを特徴とする請求項７又は８に記載の注目点認識装置。
【請求項１０】
魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された歪のある撮像画像から注目点を認識する注目点認識方法であって、
第１の撮像画像を入力とした第１のフィルタ演算を行うことにより、前記第１の撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得するステップと、
前記注目点情報を入力とした第２のフィルタ演算を行うことにより、前記第１の撮像画像の歪を補正可能な変形パラメータを取得するステップと、
前記変形パラメータを用いて前記第１の撮像画像の次のフレームの第２の撮像画像を補正する補正処理を行うステップと、
補正がされた前記第２の撮像画像を入力とした前記第１のフィルタ演算を行うことにより、補正がされた前記第２の撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得するステップと、
を有することを特徴とする注目点認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歪みのある広角・魚眼画像の補正方法等に関するものである。
【背景技術】
【０００２】
近年、生活の安全・安心のために監視カメラの増設が進んでおり、膨大な映像データが蓄積されるようになっている。この膨大なデータの全てを人間が解析することは困難であるため、映像から自動的に異常を検知する技術が求められている。
【０００３】
この種の検知方法として、認識対象を含む矩形内から特徴抽出を行い、正常値及び異常値を互いに比較する方法（以下、「特徴量抽出方法」という場合がある）が知られている。
【０００４】
別の検知方法として、画像中における認識対象の顔、肘、手首などの注目点座標を利用する方法（以下、「注目点認識方法」という場合がある）が検討されている。特許文献１には、映像又は画像に含まれる人物の部位を認識する部位認識装置において、前記映像又は画像に含まれる少なくとも１人の人物の人体領域を検出する人体領域検出手段と、前記人体領域検出手段により得られる人体領域から所定の部位を認識する部位認識手段とを有し、前記部位認識手段は、前記人体領域検出手段により得られる人体領域の画像のうち、予め設定された形状と一致する領域を、前記形状に対応して設定された前記所定の部位として認識することを特徴とする部位認識装置が開示されている。
【０００５】
具体的には、カメラ等の撮像手段により撮影された映像中に含まれる所定の画像をキャプチャし、キャプチャした画像に含まれる人体領域を検出し、人体領域が存在する場合には、その人体領域に対して人体の所定の部位（手先等）を認識し、その認識した部位を時系列的に追跡し、その結果から挙動認識を行う部位認識手段が提案されている。
【０００６】
注目点座標を利用する方法は、認識対象の撮像条件が異なっていても認識対象の姿勢自体は不変であるため、特徴量を再現良く得ることができ、従来法と比べて異常検知の高精度化が期待できる。
【０００７】
これらの検出方法では、民生用モーションキャプチャなどに応用されている距離画像を利用する方法、或いは２次元画像を利用する方法により、注目点認識が行われている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１２−１３３６６６号公報
【特許文献２】特許第５５６９３２９号明細書
【特許文献３】特許第４８９７９３９号明細書
【特許文献４】特許第４４８７９５２号明細書
【特許文献５】特開２０１５−７９３３９号公報
【特許文献６】特開２０１２−４８５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特徴量抽出方法では、カメラの設置場所やカメラに対する認識対象の向きによって、認識精度が低下する問題がある。
【００１０】
距離画像を利用する方法は、特殊な撮像機器（例えば、ステレオカメラ、赤外線カメラ）を必要とすることや、焦点距離の長いレンズを使って撮像された歪の少ない画像を利用しないと、精度よく距離画像を取得できないため、画角が狭く限られる問題がある。
【００１１】
２次元画像を利用する方法では、撮影光学系に魚眼レンズ等の広角レンズを用いることで、画角を広くすることができ、広範囲もしくは近距離に存在する被写体を撮像することができる。しかしながら、キャプチャした画像が湾曲している場合には、従来の特徴量抽出方法、注目点認識方法を適用することが困難であった。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本願発明に係る画像補正装置は、（１）  魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された撮像画像の歪を補正する画像補正装置において、フィルタ演算部と、画像補正演算部と、前記フィルタ演算部に対して前記撮像画像を入力とした第１のフィルタ演算を実行させることにより、前記撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得する注目点認識部と、前記フィルタ演算部に対して前記注目点情報を入力とした第２のフィルタ演算を実行させることにより、前記撮像画像の歪を補正するための変形パラメータを取得するとともに、前記変形パラメータを用いて前記撮像画像を補正する補正処理を前記画像補正演算部に実行させる画像補正部と、を有することを特徴とする画像補正装置。
【００１３】
（２）前記フィルタ演算部は、1層以上の畳み込みフィルタを有しており、前記第１のフィルタ演算を行う際に予め定められた注目点認識フィルタ情報をパラメータとして利用し、前記第２のフィルタ演算を行う際に予め定められた補正量推定フィルタ情報をパラメータとして利用することを特徴とする上記（１）に記載の画像補正装置。
【００１４】
（３）前記注目点情報は、前記撮像画像のうち前記注目点の存在する確信度を画像で表した注目点画像、又は前記撮像画像のうち前記注目点を座標で表した注目点座標であることを特徴とする上記（１）又は（２）に記載の画像補正装置。
【００１５】
（４）前記撮像機器は、監視エリアに配置される監視カメラであることを特徴とする上記（１）乃至（３）のうちいずれか一つに記載の画像補正装置。
【００１６】
（５）上記（４）に記載の画像補正装置と、前記画像補正装置によって得られた補正後の画像及び／又は前記注目点情報から特徴量を算出する特徴抽出部と、前記特徴量に基づき、異常の有無を判別する異常判別部と、を有することを特徴とする異常検知システム。
【００１７】
（６）魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された撮像画像の歪を補正する画像補正方法において、前記撮像画像を入力とした第１のフィルタ演算を行うことにより、前記撮像画像に含まれる複数の注目点に関する注目点情報を取得するステップと、前記注目点情報を入力とした第２のフィルタ演算を行うことにより、前記撮像画像の歪を補正するための変形パラメータを取得するステップと、前記変形パラメータを用いて前記撮像画像を補正する補正処理を行うステップと、を有することを特徴とする画像補正方法。
【００１８】
（７）魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された歪のある撮像画像から注目点を認識する注目点認識装置であって、フィルタ演算部と、画像補正演算部と、前記フィルタ演算部に対して第１の撮像画像を入力とした第１のフィルタ演算を実行させることにより、前記第１の撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得する注目点認識部と、前記フィルタ演算部に対して前記注目点情報を入力とした第２のフィルタ演算を実行させることにより、前記第１の撮像画像の歪を補正可能な変形パラメータを取得する画像補正部と、を有し、前記画像補正部は、前記変形パラメータを用いて前記第１の撮像画像の次のフレームの第２の撮像画像を補正する補正処理を前記画像補正演算部に実行させ、前記注目点認識部は、前記フィルタ演算部に対して補正がされた前記第２の撮像画像を入力とした前記第１のフィルタ演算を実行させることにより、補正がされた前記第２の撮像画像に含まれる一つ以上の注目点に関する注目点情報を推定する処理を行わせることを特徴とする注目点認識装置。
【００１９】
（８）前記フィルタ演算部は、1層以上の畳み込みフィルタを有しており、前記第１のフィルタ演算を行う際に予め定められた注目点認識フィルタ情報をパラメータとして利用し、前記第２のフィルタ演算を行う際に予め定められた補正量推定フィルタ情報をパラメータとして利用することを特徴とする上記（７）に記載の注目点認識装置。
【００２０】
（９）前記注目点情報は、前記撮像画像のうち前記注目点の存在する確信度を画像で表した注目点画像、又は前記撮像画像のうち前記注目点を座標で表した注目点座標であることを特徴とする上記（７）又は（８）に記載の注目点認識装置。
【００２１】
（１０）魚眼レンズまたは広角レンズを撮像光学系に含む撮像機器により撮像された歪のある撮像画像から注目点を認識する注目点認識方法であって、第１の撮像画像を入力とした第１のフィルタ演算を行うことにより、前記第１の撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得するステップと、前記注目点情報を入力とした第２のフィルタ演算を行うことにより、前記第１の撮像画像の歪を補正可能な変形パラメータを取得するステップと、前記変形パラメータを用いて前記第１の撮像画像の次のフレームの第２の撮像画像を補正する補正処理を行うステップと、補正がされた前記第２の撮像画像を入力とした前記第１のフィルタ演算を行うことにより、補正がされた前記第２の撮像画像に含まれる一つ以上の注目点に関する注目点情報を取得するステップと、
を有することを特徴とする注目点認識方法。
【発明の効果】
【００２２】
上述の（１）、（６）の構成によれば、広角画像特有の歪が注目点情報を利用したフィルタ演算によって補正されるため、広範囲または近距離に存在する対象物を、より正確に認識することができる。上述の（７）、（１０）の構成によれば、広角画像特有の歪が変形パラメータによって補正され、この補正後の画像に基づき注目点情報を取得することができる。
【図面の簡単な説明】
【００２３】
【図１】画像補正装置の機能ブロック図である。
【図２】（ａ）は広角・魚眼画像に対する畳み込みフィルタ演算により注目点画像を生成する方法を説明した処理図であり、（ｂ）は広角・魚眼画像に対する畳み込みフィルタ演算により注目点座標を生成する方法を説明した処理図である。
【図３】（ａ）は注目点画像に対する畳み込みフィルタ演算により変形パラメータを生成する方法を説明した処理図であり、（ｂ）は注目点座標に対する畳み込みフィルタ演算により変形パラメータを生成する方法を説明した処理図である。
【図４】（ａ）は補正前の歪のある広角・魚眼画像であり、（ｂ）は補正後の歪を改善した画像である。
【図５】（ａ）は歪のある広角・魚眼画像をパン方向に補正した図であり、（ｂ）は歪のある広角・魚眼画像をティルト方向に補正した図であり、（ｃ）は歪のある広角・魚眼画像をロール方向に補正した図であり、（ｄ）は歪のある広角・魚眼画像に対してズーム補正した図である。
【図６】異常検知システムの機能ブロック図である。
【図７】注目点認識装置の機能ブロック図である。
【図８】近距離に位置する対象物を撮像装置で撮像する様子を模試的に示した模式図である。
【図９】広範囲に位置する対象物を撮像装置で撮像する様子を模式的に示した模式図である。
【発明を実施するための最良の形態】
【００２４】
（第１実施形態）
図１の機能ブロック図を参照しながら、画像の歪みを補正する画像補正装置について詳細に説明する。画像補正装置１は、注目点認識部２１、画像補正部２２、フィルタ演算部３０及び画像補正演算部６０を含む。画像補正装置１は、撮像装置１０に対して通信可能に接続されている。また、画像補正装置１は、記憶媒体４０に対して種々の情報を記憶し、記憶媒体４０から種々の情報を読み出すことができる。
【００２５】
撮像装置１０には、魚眼レンズを撮影光学系に含むカメラ、広角レンズを撮影光学系に含むカメラを用いることができる。この種の広角カメラを用いることにより、近距離に位置する対象物を撮像したり（例えば、図８参照）、広範囲に位置する対象物を撮像する（例えば、図９参照）ことができる。
【００２６】
撮像装置１０は、例えば、監視カメラとして用いることができる。監視カメラとは、監視が必要とされる所定の監視エリアを撮像範囲とし、天井、壁等に設置されることにより、監視を行う撮像装置のことである。本実施形態の撮像装置は、広角カメラであるため、例えば近距離に位置する対象物の認識が必要とされる用途（例えば、自動券売機）に好適に用いることができる。
【００２７】
フィルタ演算部３０には、例えば、１層以上の畳み込みフィルタ（例えば、ニューラルネットワーク）を用いることができる。
【００２８】
注目点認識部２１は、撮像装置１０で撮像された広角・魚眼画像から一つ以上の注目点に関する注目点情報を生成する処理をフィルタ演算部３０に対して実行させる（第１のフィルタ演算に相当する）。注目点情報とは、画像の主要部位を特定した位置情報であり、例えば主要部位の存在する確信度を画像で表した注目点画像、主要部位を座標で表した注目点座標を用いることができる。
【００２９】
フィルタ演算部３０は、記憶媒体４０に記憶された注目点認識フィルタ情報を用いた１層以上の畳み込みフィルタにより、前記の注目点情報を生成する。注目点認識フィルタ情報は、畳み込みフィルタのパラメータである。このパラメータは、ニューラルネットワークおよび誤差逆伝搬法等の方法により、画像およびその画像における既知の注目点の位置の真値を示す教師データから成るデータセットを利用して、学習により予め設定することができる。
【００３０】
注目点認識部２１は、取得した注目点情報を記憶媒体４０に記憶させることができる。
【００３１】
図２を参照しながら、注目点情報の生成方法について詳細に説明する。図２（ａ）は注目点画像に対応しており、図２（ｂ）は注目点座標に対応している。
【００３２】
図２（ａ）を参照して、フィルタ演算部３０は、例えば、注目点認識フィルタ情報を用いて、畳み込みフィルタ演算により撮像画像Aから注目点画像A´を推定する。本実施形態では、対象物（人体）の主要部位の存在する確信度が高い位置と、確信度が低い位置とを濃淡で区別して、注目点画像Ａ´としている。本実施形態では、顔、首、肩、肘、手先、鼠蹊部及び膝を主要部位としているが、これに限るものではなく、適宜変更することができる。また、本実施形態では、主要部位を複数としているが、一つであってもよい。例えば、撮像画像の全体を単純に中央に向かって回転させるだけで、歪を少なくできる場合には、主要部位を一つ（例えば、腹のみ）とすることもできる。
【００３３】
図２（ｂ）を参照して、フィルタ演算部３０は、例えば、注目点認識フィルタ情報を用いて、畳み込みフィルタ演算により撮像画像Bから注目点座標B´を推定する。本実施形態では、対象物（人体）の主要部位を座標データで表すことにより、注目点座標Ｂ´としている。すなわち、本実施形態では、X座標及びY座標からなる座標データにより各主要部位を二次元座標により特定している。X座標及びY座標は紙面に沿った互いに直交する二軸に対応している。ただし、座標データは、二次元に限るものではなく、三次元であってもよい。
【００３４】
画像補正部２２は、フィルタ演算部３０に対して、記憶媒体４０に記憶された注目点情報を入力として広角・魚眼画像を補正するための変形パラメータを推定する処理を行わせる（第２のフィルタ演算に相当する）。フィルタ演算部３０は、記憶媒体４０に記憶された補正量推定フィルタ情報を用いた畳み込みフィルタ演算により、前記の変形パラメータを推定する。補正量推定フィルタ情報は、畳み込みフィルタのパラメータである。このパラメータは、ニューラルネットワークおよび誤差逆伝搬法等の方法により、魚眼画像もしくは広角画像中の注目点、およびその画像に対して注目点認識部２１による処理を行った際に「適切に画像が補正されるような既知の補正量」の教師データから成るデータセットを用いて、予め学習により設定することができる。ここで、前記「適切に画像が補正されるような既知の補正量」は、前記魚眼画像もしくは広角画像を入力として、前記注目点認識フィルタを利用した畳み込みフィルタ演算から推測された注目点画像もしくは注目点座標と、真値の注目点画像もしくは注目点座標との合致度から得られる認識スコアを利用したニューラルネットワークおよび誤差逆伝搬法による学習により得られる。
【００３５】
図３を参照しながら、変形パラメータの生成方法について詳細に説明する。図３（ａ）は注目点画像に対応しており、図３（ｂ）は注目点座標に対応している。
【００３６】
図３（ａ）を参照して、フィルタ演算部３０は、例えば、補正量推定フィルタ情報を用いた畳み込みフィルタ演算により注目点画像A´から変形パラメータを推定する。図３（ｂ）を参照して、フィルタ演算部３０は、例えば、補正量推定フィルタ情報を用いた畳み込みフィルタ演算により注目点座標B´から変形パラメータを推定する。
【００３７】
画像補正部２２は、取得した変形パラメータを、記憶媒体４０に記憶させることができる。
【００３８】
ここで、変形パラメータは、撮像画像の歪を改善するアフィン変換のような線形変換および透視変換のような非線形変換に必要な情報のことであり、線形変換は認識対象の位置および、カメラの角度に起因する歪みを補正するような役割を担い、非線形変換はレンズの焦点距離や射影方式等の光学系に起因する歪みを補正する役割を担うことで、仮想的にパン、ティルト、ロール、ズーム等の機能を実現するのに用いられる。本実施形態では、線形変換に必要なパラメータとしてアフィン変換行列の各成分、非線形変換のために必要なパラメータとしてレンズの焦点距離等の数値を変形パラメータとしている。
【００３９】
画像補正部２２は、画像補正演算部６０に対して、記憶媒体４０に記憶された変形パラメータを用いて、広角・魚眼画像を補正する処理を行わせる（補正処理に相当する）。画像補正部２２は、補正された画像を記憶媒体４０に記憶させることができる。図４（ａ）は図２の撮像画像Aに対応しており、図４（ｂ）は変形パラメータを用いて補正された補正後の画像に対応している。
【００４０】
ここで、変形パラメータは、当然のことながら、補正前の広角・魚眼画像の歪み方によって変化する。例えば、変形パラメータがパンに関連する数値のみである場合には、図５（ａ）に示すように、広角・魚眼画像が補正される。また、変形パラメータがティルトに関連する数値のみである場合には、図５（ｂ）に示すように、広角・魚眼画像が補正される。さらに、変形パラメータがロールに関連する数値のみである場合には、図５（ｃ）に示すように、広角・魚眼画像が補正される。そして、変形パラメータがズームに関連する数値のみである場合には、図５（ｄ）に示すように、広角・魚眼画像が補正される。
【００４１】
このように、本実施形態の構成によれば、広角画像特有の歪が注目点情報を利用して補正されるため、広範囲または近距離に存在する対象物を、より正確に認識することができる。
【００４２】
上述の補正画像を用いた異常検知方法について、図６の機能ブロック図を参照しながら、詳細に説明する。異常検知システム２は、画像補正装置１、特徴抽出部５１及び異常判定部５２を含む。特徴抽出部５１は、記憶媒体４０に記憶された注目点情報及び／又は補正後の広角・魚眼画像に基づき、特徴量を算出する処理を行うことができる。
【００４３】
具体的には、特徴抽出部５１は、例えば、特徴抽出フィルタ情報を用いた畳み込みフィルタ演算により、上述の注目点情報及び／又は補正後の広角・魚眼画像から特徴量を算出することができる。特徴抽出フィルタ情報は、記憶媒体４０に記憶させておくことができる。
【００４４】
異常判定部５２は、特徴抽出部５１が抽出した特徴量から異常スコアを算出し、この異常スコアが所定の閾値よりも高い場合には異常と判定し、異常スコアが所定の閾値よりも小さい場合には異常がないと判定することができる。所定の閾値は、記憶媒体４０に記憶させておくことができる。
【００４５】
ただし、上述の異常検知方法は一例であり、これに代えて他の公知技術を用いることができる。すなわち、補正後の画像を用いた異常検知方法は、本明細書に記載された方法に限定されるものではなく、種々の公知技術を用いることができる。
【００４６】
本実施形態によれば、注目点情報を用いた特徴抽出が行われるため、特徴抽出を再現よく行うことが可能となり、異常検知の精度を高めることができる。
【００４７】
（第２実施形態）
次に、変形パラメータを利用して、注目点情報を推定する方法について図７を参照しながら説明する。図７は、注目点認識装置の機能ブロック図であり、図１の画像補正装置と同一の機能を有する構成要素には、同一符号を付している。注目点認識装置１００の基本的な構成は、画像補正装置１と同じである。
【００４８】
記憶媒体４０には、予め変形パラメータ（以下、既存変形パラメータと称する）が記憶されているものとする。この既存変形パラメータは、例えば、最初のフレーム画像（広角・魚眼画像であり、第１の撮像画像に相当する）に対して第１実施形態で説明した第１のフィルタ演算及び第２のフィルタ演算を行うことにより取得できる。
【００４９】
画像補正部２２は、画像補正演算部６０に対して、記憶媒体４０に記憶された既存変形パラメータを用いて、撮像装置１０で取得された次のフレーム画像（広角・魚眼画像であり、第２の撮像画像に相当する）を補正する処理を行わせる。注目点認識部２１は、この補正後の広角・魚眼画像から注目点情報を推定する処理をフィルタ演算部３０に対して実行させる（第１のフィルタ演算に相当する）。注目点認識部２１は、この推定した注目点情報に基づき、記憶媒体４０に記憶された注目点情報を更新する。
【００５０】
ここで、最初のフレーム画像と次のフレーム画像との差異が小さい場合には、前記の最初のフレーム画像で得られた既存変形パラメータを使って前記の次のフレーム画像（歪のある広角・魚眼画像）を歪みの少ない画像に補正することができる。したがって、この補正後の画像を入力として、より正確な注目点情報を推定することができる。この注目点情報は、例えば、認識対象が人であれば、顔や、手先を注目部位とすることで、その人物の身体的特徴や、その人物の把持している物を認識すること等に応用できる。また、認識対象が車両であれば、ナンバープレートの位置情報を特定するために用いることができる。
【００５１】
画像補正部２２は、フィルタ演算部３０に対して、記憶媒体４０に記憶された注目点情報を入力として前記の次のフレーム画像を補正するための変形パラメータを推定する処理を行わせる。画像補正部２２は、この推定した変形パラメータに基づき、記憶媒体４０に記憶された既存変形パラメータを更新する。
【００５２】
上述の処理を繰り返すことにより、記憶媒体４０に記憶された注目点情報及び変形パラメータを新しいフレーム画像が取得される度に更新することができる。
【符号の説明】
【００５３】
１  画像補正装置        
２  異常検知システム
１０  撮像装置
２１  注目点認識部
２２  画像補正部
３０  フィルタ演算部
４０  記憶媒体
５１  特徴抽出部
５２  異常判定部
６０  画像補正演算部
１００  注目点認識装置
【図１】
2018201146.tif 000003
【図２】
2018201146.tif 000004
【図３】
2018201146.tif 000005
【図４】
2018201146.tif 000006
【図５】
2018201146.tif 000007
【図６】
2018201146.tif 000008
【図７】
2018201146.tif 000009
【図８】
2018201146.tif 000010
【図９】
2018201146.tif 000011