(57)【特許請求の範囲】
【請求項１】
光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標を入力するパラメタ入力部と、複数の前記第１の電子データから自己相関情報を算出し、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を算出し、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する学習部と、前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するパラメタ推定部とを含むパラメタ推定装置。
【請求項２】
前記学習部が、前記第１の電子データを走査順に並べたベクトルパターンである第１の教示ベクトルを算出する第１の教示ベクトル計算部と、第１の特徴点の座標を順に並べたベクトルパターンである第２の教示ベクトルを算出する第２の教示ベクトル計算部と、複数の前記第１の教示ベクトルを平均した第１の平均ベクトルを算出し、複数の前記第２の教示ベクトルを平均した第２の平均ベクトルを算出する平均ベクトル計算部と、複数の前記第１の教示ベクトル及び第１の平均ベクトルを入力し、前記第１の教示ベクトルの自己相関情報である第１の共分散行列の擬似逆行列を算出する自己相関情報計算部と、複数の前記第１の教示ベクトル、前記第１の平均ベクトル、複数の前記第２の教示ベクトル及び前記第２の平均ベクトルを入力し、前記第１の教示ベクトルと前記第２の教示ベクトルの相互相関情報である第２の共分散行列を算出する相互相関情報計算部と、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列を入力し、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列から特徴抽出行列を算出する特徴抽出行列計算部とを含む請求項１記載のパラメタ推定装置。
【請求項３】
前記パラメタ推定部が、前記第２の電子データを入力し、前記第２の電子データを走査順に並べたベクトルパターンである入力ベクトルを算出するベクトル計算部と、前記入力ベクトル、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列から前記第２の特徴点の座標を含む期待値ベクトルを算出するパラメタ計算部と、前記期待値ベクトルから前記第２の特徴点の座標を算出するテンプレートマッチング部とを具備したことを特徴とする請求項１または請求項２記載のパラメタ推定装置。
【請求項４】
光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標周辺の画像を入力するパラメタ入力部と、複数の前記第１の電子データから自己相関情報を算出し、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標周辺の画像から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出し、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標周辺の画像から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する学習部と、前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するパラメタ推定部とを含むパラメタ推定装置。
【請求項５】
前記学習部が、前記第１の電子データを走査順に並べたベクトルパターンである第１の教示ベクトルを算出する第１の教示ベクトル計算部と、第１の特徴点の座標周辺の画像を順に並べたベクトルパターンである第２の教示ベクトルを算出する第２の教示ベクトル計算部と、複数の前記第１の教示ベクトルを平均した第１の平均ベクトルを算出し、複数の前記第２の教示ベクトルを平均した第２の平均ベクトルを算出する平均ベクトル計算部と、複数の前記第１の教示ベクトル及び第１の平均ベクトルを入力し、前記第１の教示ベクトルの自己相関情報である第１の共分散行列の擬似逆行列を算出する自己相関情報計算部と、複数の前記第１の教示ベクトル、前記第１の平均ベクトル、複数の前記第２の教示ベクトル及び前記第２の平均ベクトルを入力し、前記第１の教示ベクトルと前記第２の教示ベクトルの相互相関情報である第２の共分散行列を算出する相互相関情報計算部と、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列を入力し、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列から特徴抽出行列を算出する特徴抽出行列計算部と、を含む請求項４記載のパラメタ推定装置。
【請求項６】
前記パラメタ推定部が、前記第２の電子データを入力し、前記第２の電子データを走査順に並べたベクトルパターンである入力ベクトルを算出するベクトル計算部と、前記入力ベクトル、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列から第２の特徴点の座標周辺の画像を含む期待値ベクトルを算出するパラメタ計算部と、前記期待値ベクトルから前記第２の特徴点の座標周辺の画像を算出し、前記第２の特徴点の座標周辺の画像と一致する前記第２の電子データの画像領域である照合領域を検索し、前記照合領域から前記第２の特徴点の座標を算出するテンプレートマッチング部とを含む請求項４または請求項５記載のパラメタ推定装置。
【請求項７】
光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標及び第１の特徴点の座標周辺の画像を入力するパラメタ入力部と、複数の前記第１の電子データから自己相関情報を算出し、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標と複数の前記第１の特徴点の座標周辺の画像との結合ベクトルから相互相関情報を算出し、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標及び第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出し、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記結合ベクトルから算出する第２の平均ベクトル及び前記特徴抽出行列を出力する学習部と、前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するパラメタ推定部と、を含むパラメタ推定装置。
【請求項８】
前記学習部が、前記第１の電子データを走査順に並べたベクトルパターンである第１の教示ベクトルを算出する第１の教示ベクトル計算部と、結合ベクトルを順に並べたベクトルパターンである第２の教示ベクトルを算出する第２の教示ベクトル計算部と、複数の前記第１の教示ベクトルを平均した第１の平均ベクトルを算出し、複数の前記第２の教示ベクトルを平均した第２の平均ベクトルを算出する平均ベクトル計算部と、複数の前記第１の教示ベクトル及び第１の平均ベクトルを入力し、前記第１の教示ベクトルの自己相関情報である第１の共分散行列の擬似逆行列を算出する自己相関情報計算部と、複数の前記第１の教示ベクトル、前記第１の平均ベクトル、複数の前記第２の教示ベクトル及び前記第２の平均ベクトルを入力し、前記第１の教示ベクトルと前記第２の教示ベクトルの相互相関情報である第２の共分散行列を算出する相互相関情報計算部と、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列から特徴抽出行列を算出する特徴抽出行列計算部とを含む請求項７記載のパラメタ推定装置。
【請求項９】
前記パラメタ推定部が、前記第２の電子データを入力し、前記第２の電子データを走査順に並べたベクトルパターンである入力ベクトルを算出するベクトル計算部と、前記入力ベクトル、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列から第２の特徴点の座標及び第２の特徴点の座標周辺の画像を含む期待値ベクトルを算出するパラメタ計算部と、前記期待値ベクトルから第２の特徴点の座標及び第２の特徴点の座標周辺の画像を推定し、推定された前記第２の特徴点の座標周辺を推定された前記第２の特徴点の座標周辺の画像と一致する前記第２の電子データの画像領域である照合領域を検索し、前記照合領域から前記第２の特徴点の座標を算出するテンプレートマッチング部とを含む請求項７または請求項８記載のパラメタ推定装置。
【請求項１０】
光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標を入力するパラメタ入力部と、前記第１の電子データと前記第１の特徴点の座標との合成情報の集合を複数の分布に分け、前記分布毎に、複数の前記第１の電子データから自己相関情報及び複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を前記分布毎に算出し、前記分布毎に求めた複数の前記第１の電子データから算出される第１の平均ベクトル、前記分布毎に求めた複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記分布毎に求めた前記特徴抽出行列を出力する学習部と、前記分布毎に求めた前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を前記分布毎に推定するパラメタ推定部とを含むパラメタ推定装置。
【請求項１１】
前記学習部が、前記第１の電子データを走査順に並べたベクトルパターンである第１の教示ベクトルを算出する第１の教示ベクトル計算部と、第１の特徴点の座標を順に並べたベクトルパターンである第２の教示ベクトルを算出する第２の教示ベクトル計算部と、複数の前記第１の教示ベクトル及び複数の前記第２の教示ベクトルから複数の合成ベクトルを作成し、前記合成ベクトルの集合の確率分布により、前記第１の教示ベクトル及び第２の教示ベクトルを複数の分布に分ける分布要素計算部と、前記分布毎に複数の前記第１の教示ベクトルを平均した第１の平均ベクトルを算出し、前記分布毎に複数の前記第２の教示ベクトルを平均した第２の平均ベクトルを算出する平均ベクトル計算部と、前記分布毎に、複数の前記第１の教示ベクトル及び第１の平均ベクトルを入力し、前記第１の教示ベクトルの自己相関情報である第１の共分散行列の擬似逆行列を前記分布毎に算出する自己相関情報計算部と、複数の前記第１の教示ベクトル、前記第１の平均ベクトル、複数の前記第２の教示ベクトル及び前記第２の平均ベクトルを前記分布毎に入力し、前記第１の教示ベクトルと前記第２の教示ベクトルの相互相関情報である第２の共分散行列を前記分布毎に算出する相互相関情報計算部と、前記分布毎に、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列を入力し、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列から特徴抽出行列を前記分布毎に算出する特徴抽出行列計算部と、を含む請求項１０記載のパラメタ推定装置。
【請求項１２】
前記パラメタ推定部が、前記第２の電子データを入力し、前記第２の電子データを走査順に並べたベクトルパターンである入力ベクトルを算出するベクトル計算部と、前記入力ベクトル、分布毎に分類した第１の平均ベクトル、分布毎に分類した第２の平均ベクトル及び分布毎に分類した特徴抽出行列から前記第２の特徴点の座標を含む期待値ベクトルを算出するパラメタ計算部と、前記期待値ベクトルから前記第２の特徴点の座標を算出するテンプレートマッチング部とを含む請求項１０または請求項１１記載のパラメタ推定装置。
【請求項１３】
光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標周辺の画像を入力するパラメタ入力部と、前記第１の電子データと第１の特徴点の座標周辺の画像との合成情報の集合を複数の分布に分け、前記分布毎に、複数の前記第１の電子データから自己相関情報及び複数の前記第１の電子データ及び複数の前記第１の特徴点の座標周辺の画像から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を前記分布毎に算出し、前記分布毎に求めた複数の前記第１の電子データから算出される第１の平均ベクトル、前記分布毎に求めた複数の前記第１の特徴点の座標周辺の画像から算出する第２の平均ベクトル及び前記分布毎に求めた前記特徴抽出行列を出力する学習部と、前記分布毎に求めた前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を前記分布毎に推定するパラメタ推定部とを含むパラメタ推定装置。
【請求項１４】
前記学習部が、前記第１の電子データを走査順に並べたベクトルパターンである第１の教示ベクトルを算出する第１の教示ベクトル計算部と、第１の特徴点の座標周辺の画像を順に並べたベクトルパターンである第２の教示ベクトルを算出する第２の教示ベクトル計算部と、複数の前記第１の教示ベクトル及び複数の前記第２の教示ベクトルから複数の合成ベクトルを作成し、前記合成ベクトルの集合の確率分布により、前記第１の教示ベクトル及び第２の教示ベクトルを複数の分布に分ける分布要素計算部と、前記分布毎に複数の前記第１の教示ベクトルを平均した第１の平均ベクトルを算出し、前記分布毎に複数の前記第２の教示ベクトルを平均した第２の平均ベクトルを算出する平均ベクトル計算部と、前記分布毎に、複数の前記第１の教示ベクトル及び第１の平均ベクトルを入力し、前記第１の教示ベクトルの自己相関情報である第１の共分散行列の擬似逆行列を前記分布毎に算出する自己相関情報計算部と、複数の前記第１の教示ベクトル、前記第１の平均ベクトル、複数の前記第２の教示ベクトル及び前記第２の平均ベクトルを前記分布毎に入力し、前記第１の教示ベクトルと前記第２の教示ベクトルの相互相関情報である第２の共分散行列を前記分布毎に算出する相互相関情報計算部と、前記分布毎に、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列を入力し、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列から特徴抽出行列を前記分布毎に算出する特徴抽出行列計算部とを含む請求項１３記載のパラメタ推定装置。
【請求項１５】
前記パラメタ推定部が、前記第２の電子データを入力し、前記第２の電子データを走査順に並べたベクトルパターンである入力ベクトルを算出するベクトル計算部と、前記入力ベクトル、分布毎に分類した第１の平均ベクトル、分布毎に分類した第２の平均ベクトル及び分布毎に分類した特徴抽出行列から前記第２の特徴点の座標周辺の画像を含む期待値ベクトルを算出するパラメタ計算部と、前記期待値ベクトルから前記第２の特徴点の座標周辺の画像を算出し、前記第２の特徴点の座標周辺の画像と一致する前記第２の電子データの画像領域である照合領域を検索し、前記照合領域から前記第２の特徴点の座標を算出するテンプレートマッチング部とを含む請求項１３または請求項１４記載のパラメタ推定装置。
【請求項１６】
光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標及び第１の特徴点の座標周辺の画像を入力するパラメタ入力部と、前記第１の電子データと第１の特徴点の座標及び第１の特徴点の座標周辺の画像との合成情報の集合を複数の分布に分け、前記分布毎に、複数の前記第１の電子データから自己相関情報及び複数の前記第１の電子データ及び複数の前記第１の特徴点の座標及び第１の特徴点の座標周辺の画像から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標及び第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を前記分布毎に算出し、前記分布毎に求めた複数の前記第１の電子データから算出される第１の平均ベクトル、前記分布毎に求めた複数の前記第１の特徴点の座標及び第１の特徴点の座標周辺の画像から算出する第２の平均ベクトル及び前記分布毎に求めた前記特徴抽出行列を出力する学習部と、前記分布毎に求めた前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を前記分布毎に推定するパラメタ推定部とを含むパラメタ推定装置。
【請求項１７】
前記学習部が、前記第１の電子データを走査順に並べたベクトルパターンである第１の教示ベクトルを算出する第１の教示ベクトル計算部と、第１の特徴点の座標及び第１の特徴点の座標周辺の画像を順に並べたベクトルパターンである第２の教示ベクトルを算出する第２の教示ベクトル計算部と、複数の前記第１の教示ベクトル及び複数の前記第２の教示ベクトルから複数の合成ベクトルを作成し、前記合成ベクトルの集合の確率分布により、前記第１の教示ベクトル及び第２の教示ベクトルを複数の分布に分ける分布要素計算部と、前記分布毎に複数の前記第１の教示ベクトルを平均した第１の平均ベクトルを算出し、前記分布毎に複数の前記第２の教示ベクトルを平均した第２の平均ベクトルを算出する平均ベクトル計算部と、前記分布毎に、複数の前記第１の教示ベクトル及び第１の平均ベクトルを入力し、前記第１の教示ベクトルの自己相関情報である第１の共分散行列の擬似逆行列を前記分布毎に算出する自己相関情報計算部と、複数の前記第１の教示ベクトル、前記第１の平均ベクトル、複数の前記第２の教示ベクトル及び前記第２の平均ベクトルを前記分布毎に入力し、前記第１の教示ベクトルと前記第２の教示ベクトルの相互相関情報である第２の共分散行列を前記分布毎に算出する相互相関情報計算部と、前記分布毎に、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列を入力し、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列から特徴抽出行列を前記分布毎に算出する特徴抽出行列計算部とを含む請求項１６記載のパラメタ推定装置。
【請求項１８】
前記パラメタ推定部が、前記第２の電子データを入力し、前記第２の電子データを走査順に並べたベクトルパターンである入力ベクトルを算出するベクトル計算部と、前記入力ベクトル、分布毎に分類した第１の平均ベクトル、分布毎に分類した第２の平均ベクトル及び分布毎に分類した特徴抽出行列から前記第２の特徴点の座標及び第２の特徴点の座標周辺の画像を含む期待値ベクトルを算出するパラメタ計算部と、前記期待値ベクトルから前記第２の特徴点の座標及び第２の特徴点の座標周辺の画像を算出し、前記第２の特徴点の座標周辺の画像と一致する前記第２の電子データの画像領域である照合領域を検索し、前記照合領域から前記第２の特徴点の座標を算出するテンプレートマッチング部とを含む請求項１６または請求項１７記載のパラメタ推定装置。
【請求項１９】
光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標を入力するパラメタ入力部と、複数の前記第１の電子データから自己相関情報を算出し、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を算出し、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する学習部と、前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するパラメタ推定部と、前記第１の電子データを蓄積する画像データベースと、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出し、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合する照合部とを含むデータ照合装置。
【請求項２０】
光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標周辺の画像を入力するパラメタ入力部と、複数の前記第１の電子データから自己相関情報を算出し、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標周辺の画像から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出し、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標周辺の画像から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する学習部と、前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するパラメタ推定部と、前記第１の電子データを蓄積する画像データベースと、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出し、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合する照合部とを含むデータ照合装置。
【請求項２１】
光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標及び第１の特徴点の座標周辺の画像を入力するパラメタ入力部と、複数の前記第１の電子データから自己相関情報を算出し、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標と複数の前記第１の特徴点の座標周辺の画像との結合ベクトルから相互相関情報を算出し、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標及び第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出し、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記結合ベクトルから算出する第２の平均ベクトル及び前記特徴抽出行列を出力する学習部と、前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するパラメタ推定部と、前記第１の電子データを蓄積する画像データベースと、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出し、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合する照合部とを含むデータ照合装置。
【請求項２２】
光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標を入力するパラメタ入力部と、前記第１の電子データと前記第１の特徴点の座標との合成情報の集合を複数の分布に分け、前記分布毎に、複数の前記第１の電子データから自己相関情報及び複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を前記分布毎に算出し、前記分布毎に求めた複数の前記第１の電子データから算出される第１の平均ベクトル、前記分布毎に求めた複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記分布毎に求めた前記特徴抽出行列を出力する学習部と、前記分布毎に求めた前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を前記分布毎に推定するパラメタ推定部と、前記第１の電子データを蓄積する画像データベースと、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出し、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合する照合部とを含むデータ照合装置。
【請求項２３】
光学データを電子データに変換する変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標を入力し、複数の前記第１の電子データから自己相関情報を算出するステップと、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出するステップと、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を算出するステップと、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力された前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合する照合ステップと、を有することを特徴とするデータ照合方法。
【請求項２４】
光学データを電子データに変換する変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標周辺の画像を入力し、複数の前記第１の電子データから自己相関情報を算出するステップと、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標周辺の画像から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出するステップと、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標周辺の画像から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合する照合ステップと、を有することを特徴とするデータ照合方法。
【請求項２５】
光学データを電子データに変換する変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標及び第１の特徴点の座標周辺の画像を入力し、複数の前記第１の電子データから自己相関情報を算出するステップと、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標と複数の前記第１の特徴点の座標周辺の画像との結合ベクトルから相互相関情報を算出するステップと、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標及び第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出するステップと、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記結合ベクトルから算出する第２の平均ベクトル及び前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合するステップと、を有することを特徴とするデータ照合方法。
【請求項２６】
光学データを電子データに変換する変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標を入力し、前記第１の電子データと前記第１の特徴点の座標との合成情報の集合を複数の分布に分け、前記分布毎に、複数の前記第１の電子データから自己相関情報及び複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を前記分布毎に算出するステップと、前記分布毎に求めた複数の前記第１の電子データから算出される第１の平均ベクトル、前記分布毎に求めた複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記分布毎に求めた前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力される前記分布毎に求めた前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を前記分布毎に推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合するステップと、を有する特徴とするデータ照合方法。
【請求項２７】
コンピュータに、光学データを電子データに変換する変換ステップと、前記変換ステップにより変換された第１の電子データから第１の特徴点の座標を入力し、複数の前記第１の電子データから自己相関情報を算出するステップと、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、前記自己相関情報及び前記相互相関情報から入力された第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を算出するステップと、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積した前記第１の電子データとの一致を照合するステップと、を行わせることを特徴とするプログラム。
【請求項２８】
コンピュータに、光学データを電子データに変換させる変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標周辺の画像を入力し、複数の前記第１の電子データから自己相関情報を算出するステップと、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標周辺の画像から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出するステップと、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標周辺の画像から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合するステップと、を行わせることを特徴とするプログラム。
【請求項２９】
コンピュータに、光学データを電子データに変換させる変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標及び第１の特徴点の座標周辺の画像を入力し、複数の前記第１の電子データから自己相関情報を算出するステップと、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標と複数の前記第１の特徴点の座標周辺の画像との結合ベクトルから相互相関情報を算出するステップと、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標及び第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出するステップと、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記結合ベクトルから算出する第２の平均ベクトル及び前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合するステップと、を行わせることを特徴とするプログラム。
【請求項３０】
コンピュータに、光学データを電子データに変換させる変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標を入力し、前記第１の電子データと前記第１の特徴点の座標との合成情報の集合を複数の分布に分け、前記分布毎に、複数の前記第１の電子データから自己相関情報及び複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を前記分布毎に算出するステップと、前記分布毎に求めた複数の前記第１の電子データから算出される第１の平均ベクトル、前記分布毎に求めた複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記分布毎に求めた前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力された前記分布毎に求めた前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を前記分布毎に推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合するステップと、を行わせることを特徴とするプログラム。
【請求項３１】
サンプルとなるサンプル顔画像を入力するサンプル顔画像入力手段と、前記サンプル顔画像の特徴点を入力する特徴点入力手段と、新たに前記特徴点を推定する照合対象顔画像を入力する照合顔画像入力手段と、前記サンプル顔画像と前記特徴点との合成情報を複数の顔画像分布に分け、前記サンプル顔画像の顔画像自己相関情報と、前記サンプル顔画像と前記特徴点との顔画像相互相関情報とを前記顔画像分布毎に求める顔画像学習手段と、前記顔画像分布毎に求めた前記顔画像自己相関情報と前記顔画像相互相関情報とを用いて前記照合対象顔画像の前記特徴点を推定する顔画像パラメタ推定手段と、前記サンプル顔画像を蓄積する画像データベースと、照合対象顔画像及び前記照合対象顔画像の特徴点の座標から照合に用いる画像である照合領域を算出し、前記照合領域と前記画像データベースに蓄積されたサンプル顔画像との一致を照合する照合手段と、を含むデータ照合装置。
【請求項３２】
前記顔画像学習手段は、前記サンプル顔画像をベクトル化した第１の教示ベクトルおよび前記サンプル顔画像の特徴点をベクトル化した第２の教示ベクトルの顔画像合成ベクトルを構成し、前記顔画像合成ベクトルの複数の顔画像要素分布を集合した顔画像混合分布モデルを推定し、前記顔画像要素分布毎に属する前記顔画像自己相関情報を前記第１の教示ベクトルの共分散行列を求めることで求め、前記顔画像相互相関情報を前記第１の教示ベクトルと前記第２の教示ベクトルとの共分散行列を求めることで求め、
前記顔画像パラメタ推定手段は、前記顔画像要素分布毎に属する前記顔画像自己相関情報および前記顔画像相互相関情報を用いて前記照合対象顔画像の前記特徴点を推定することを特徴とする請求項３１記載のデータ照合装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力パターンから特定のパラメタを抽出するパラメタ推定装置及びこれを用いたデータ照合装置に関する。
【０００２】
【従来の技術】
入力パターンから特定のパラメタを抽出する処理は、パターン情報処理において非常に一般的な処理である。例えば、人物顔画像から目や鼻の位置を取り出す処理や、車両画像からナンバープレートの位置を抽出する処理がパラメタを抽出する処理にあたる。
【０００３】
従来、このような処理に対して最もポピュラーな方法は、以下に要約されるような照合フィルター法と言われるもので、非常に多くの使用例が提案されている。顔の特徴抽出方法を例に、図２６を用いて説明する。
【０００４】
図２６の動作フローに示すように、まず目や鼻の部分のテンプレートをテンプレートデータベース１６０１に用意しておく。テンプレートデータベース１６０１には、図２７に示すように目のテンプレート１７０１が複数格納されている。
【０００５】
まず、カメラから入力画像が与えられると（Ｓ８１）、テンプレートデータベース１６０１から１つのテンプレート画像１７０１を得る（Ｓ８２）。次に、図２８に示すように、入力画像２００１を探索窓２００２で探索し、探索窓２００２内画像とテンプレート１７０１との類似度を求める（Ｓ８３）。類似度の算出には、探索窓２００２内の画像とテンプレート１７０１との正規化相関などを用いることが多い。
【０００６】
そして、この処理を入力画像２００１全体について行ったか判断し（Ｓ８４）、入力画像２００１全体について行うまで、入力画像２００１を探索窓２００２でスキャンし（Ｓ８５）、Ｓ８３の処理を行う。
【０００７】
次に、テンプレートデータベース１６０１に含まれる全てのテンプレート１７０１について、上述した探索を行ったか判断し（Ｓ８６）、全てのテンプレート１７０１について処理を行っていない場合は、処理対象のテンプレート１７０１を変更し（Ｓ８７）、Ｓ８３の処理に移行し、全てのテンプレートに対してＳ８３〜Ｓ８５の処理をする。
【０００８】
次に、Ｓ８３〜Ｓ８７の処理によって求めた探索窓２００２内画像とテンプレート１７０１との類似度をもとに、入力画像２００１から最もテンプレート１７０１に類似した局所エリア（探索窓２００２領域）位置を見出し、その局所エリアに対応する位置を出力する（Ｓ８８）。
【０００９】
このような方法に基づく方法として、例えば、非特許文献１に記載されたものがある。
【００１０】
【非特許文献１】
Ｒ．  Ｂｒｕｎｅｌｌｉ，  Ｔ．  Ｐｏｇｇｉｏ，“Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ：  Ｆｅａｔｕｒｅｓ  ｖｅｒｓｕｓ  Ｔｅｍｐｌａｔｅ”，ＩＥＥＥ  Ｔｒａｎｓ．  Ｐａｔｔ．  Ａｎａｌ．  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌ．，  ｖｏｌ．  ＰＡＭＩ−８，  ｐｐ．３４−４３，  １９９３
【００１１】
【発明が解決しようとする課題】
上記のような従来方法における課題は、コンピュータの処理コストである。探索対象とする入力画像のサイズをＳ、テンプレートサイズをＴとし、正規化相関を類似度基準とする場合、時間計算量は乗算を単位演算とすると２×Ｔ×Ｓ回の演算回数を必要とする。例えば、典型的な顔画像の特徴点の座標抽出において、Ｔ＝５０×２０＝１０００（ｐｅｌ）、Ｓ＝１５０×１５０＝２２５００（ｐｅｌ）の場合を考えてみても、乗算だけで２×１０００×２２５００＝４５×１００万回＝４５００万回となる。これは、コンピュータの演算速度が向上したといえ、莫大な演算コストを要するものとなる。
【００１２】
また、処理に用いるテンプレートは、全学習データの平均等の典型的データを用いるものが多く、環境よって照合がうまくいかない場合が多い。このため入力パターンに応じてテンプレートを複数用意して、複数のテンプレートによる類似度計算を行う手法がある。しかしながら、この手法は、テンプレートの数に応じて処理数が増大するため、コンピュータの処理コストからみても負荷が大きいものになってしまう。
【００１３】
本発明はかかる点に鑑みてなされたものであり、少ない処理コストで入力データの特徴点の座標を正確に求めることを目的とする。
【００１４】
【課題を解決するための手段】
本発明は、サンプルのデータとこのデータ内における特徴点の座標との相関を予め学習しておき、この学習により求めた相関を用いて、入力されたデータの特徴点の座標がどこであるかを推定するようにしたものである。
【００１５】
同じ種類のデータと、このデータ内における特徴点の座標とは、一定の相関があるので、上述したように求めた相関を用いることにより、データの特徴点の座標がどこであるかを少ない処理コストで、かつ正確に求めることができる。
【００１６】
【発明の実施の形態】
本発明の第１の態様にかかるパラメタ推定装置は、光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標を入力するパラメタ入力部と、複数の前記第１の電子データから自己相関情報を算出し、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を算出し、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する学習部と、前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するパラメタ推定部とを含む。
【００１７】
これにより、行列演算だけだけで固有なパラメタの計算で構成され、少ない処理コストで特徴点の座標を正確に求めることができるという作用を有する。
【００１８】
本発明の第２の態様は、第１の態様にかかるパラメタ推定装置において、前記学習部が、前記第１の電子データを走査順に並べたベクトルパターンである第１の教示ベクトルを算出する第１の教示ベクトル計算部と、第１の特徴点の座標を順に並べたベクトルパターンである第２の教示ベクトルを算出する第２の教示ベクトル計算部と、複数の前記第１の教示ベクトルを平均した第１の平均ベクトルを算出し、複数の前記第２の教示ベクトルを平均した第２の平均ベクトルを算出する平均ベクトル計算部と、複数の前記第１の教示ベクトル及び第１の平均ベクトルを入力し、前記第１の教示ベクトルの自己相関情報である第１の共分散行列の擬似逆行列を算出する自己相関情報計算部と、複数の前記第１の教示ベクトル、前記第１の平均ベクトル、複数の前記第２の教示ベクトル及び前記第２の平均ベクトルを入力し、前記第１の教示ベクトルと前記第２の教示ベクトルの相互相関情報である第２の共分散行列を算出する相互相関情報計算部と、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列を入力し、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列から特徴抽出行列を算出する特徴抽出行列計算部とを含む。
【００１９】
これにより、特徴点の座標を求めるための特徴抽出行列が、行列演算により算出できるため、処理コストの削減ができるという作用を有する。
【００２０】
本発明の第３の態様は、第１の態様または第２の態様にかかるパラメタ推定装置において、前記パラメタ推定部が、前記第２の電子データを入力し、前記第２の電子データを走査順に並べたベクトルパターンである入力ベクトルを算出するベクトル計算部と、前記入力ベクトル、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列から前記第２の特徴点の座標を含む期待値ベクトルを算出するパラメタ計算部と、前記期待値ベクトルから前記第２の特徴点の座標を算出するテンプレートマッチング部とを具備した構成を採る。
【００２１】
これにより、複数のテンプレートを用いることなく、行列演算により特徴点の座標を算出することできるという作用を有する。
【００２２】
本発明の第４の態様にかかるパラメタ推定装置は、光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標周辺の画像を入力するパラメタ入力部と、複数の前記第１の電子データから自己相関情報を算出し、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標周辺の画像から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出し、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標周辺の画像から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する学習部と、前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するパラメタ推定部とを含む。
【００２３】
これにより、１枚のテンプレートから特徴点の座標を求めるため、処理コストの削減ができるという作用を有する。
【００２４】
本発明の第５の態様は、第４の態様にかかるパラメタ推定装置において、前記学習部が、前記第１の電子データを走査順に並べたベクトルパターンである第１の教示ベクトルを算出する第１の教示ベクトル計算部と、第１の特徴点の座標周辺の画像を順に並べたベクトルパターンである第２の教示ベクトルを算出する第２の教示ベクトル計算部と、複数の前記第１の教示ベクトルを平均した第１の平均ベクトルを算出し、複数の前記第２の教示ベクトルを平均した第２の平均ベクトルを算出する平均ベクトル計算部と、複数の前記第１の教示ベクトル及び第１の平均ベクトルを入力し、前記第１の教示ベクトルの自己相関情報である第１の共分散行列の擬似逆行列を算出する自己相関情報計算部と、複数の前記第１の教示ベクトル、前記第１の平均ベクトル、複数の前記第２の教示ベクトル及び前記第２の平均ベクトルを入力し、前記第１の教示ベクトルと前記第２の教示ベクトルの相互相関情報である第２の共分散行列を算出する相互相関情報計算部と、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列を入力し、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列から特徴抽出行列を算出する特徴抽出行列計算部と、を含む。
【００２５】
これにより、テンプレートを作成するための演算が、行列演算のみで構成でき、処理コストの削減ができるという作用を有する。
【００２６】
本発明の第６の態様は、第４の態様または第５の態様にかかるパラメタ推定装置において、前記パラメタ推定部が、前記第２の電子データを入力し、前記第２の電子データを走査順に並べたベクトルパターンである入力ベクトルを算出するベクトル計算部と、前記入力ベクトル、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列から第２の特徴点の座標周辺の画像を含む期待値ベクトルを算出するパラメタ計算部と、前記期待値ベクトルから前記第２の特徴点の座標周辺の画像を算出し、前記第２の特徴点の座標周辺の画像と一致する前記第２の電子データの画像領域である照合領域を検索し、前記照合領域から前記第２の特徴点の座標を算出するテンプレートマッチング部とを含む。
【００２７】
これにより、照合の対象となる画像からテンプレートを作成するため、１枚のテンプレートで照合ができ、処理コストの削減ができるという作用を有する。
【００２８】
本発明の第７の態様にかかるパラメタ推定装置は、光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標及び第１の特徴点の座標周辺の画像を入力するパラメタ入力部と、複数の前記第１の電子データから自己相関情報を算出し、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標と複数の前記第１の特徴点の座標周辺の画像との結合ベクトルから相互相関情報を算出し、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標及び第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出し、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記結合ベクトルから算出する第２の平均ベクトル及び前記特徴抽出行列を出力する学習部と、前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するパラメタ推定部と、を含む。
【００２９】
これにより、特徴点の座標とテンプレートを同時に求めることができるという作用を有する。
【００３０】
本発明の第８の態様は、第７の態様にかかるパラメタ推定装置において、前記学習部が、前記第１の電子データを走査順に並べたベクトルパターンである第１の教示ベクトルを算出する第１の教示ベクトル計算部と、結合ベクトルを順に並べたベクトルパターンである第２の教示ベクトルを算出する第２の教示ベクトル計算部と、複数の前記第１の教示ベクトルを平均した第１の平均ベクトルを算出し、複数の前記第２の教示ベクトルを平均した第２の平均ベクトルを算出する平均ベクトル計算部と、複数の前記第１の教示ベクトル及び第１の平均ベクトルを入力し、前記第１の教示ベクトルの自己相関情報である第１の共分散行列の擬似逆行列を算出する自己相関情報計算部と、複数の前記第１の教示ベクトル、前記第１の平均ベクトル、複数の前記第２の教示ベクトル及び前記第２の平均ベクトルを入力し、前記第１の教示ベクトルと前記第２の教示ベクトルの相互相関情報である第２の共分散行列を算出する相互相関情報計算部と、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列から特徴抽出行列を算出する特徴抽出行列計算部とを含む。
【００３１】
これにより、特徴点の座標とテンプレートを行列演算のみで求めることができ、処理コストの削減ができるという作用を有する。
【００３２】
本発明の第９の態様は、第７の態様または第８の態様にかかるパラメタ推定装置において、前記パラメタ推定部が、前記第２の電子データを入力し、前記第２の電子データを走査順に並べたベクトルパターンである入力ベクトルを算出するベクトル計算部と、前記入力ベクトル、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列から第２の特徴点の座標及び第２の特徴点の座標周辺の画像を含む期待値ベクトルを算出するパラメタ計算部と、前記期待値ベクトルから第２の特徴点の座標及び第２の特徴点の座標周辺の画像を推定し、推定された前記第２の特徴点の座標周辺を推定された前記第２の特徴点の座標周辺の画像と一致する前記第２の電子データの画像領域である照合領域を検索し、前記照合領域から前記第２の特徴点の座標を算出するテンプレートマッチング部とを含む。
【００３３】
これにより、推定した特徴点の座標の周辺を照合の対象画像から作成したテンプレートで検索するため、検索の処理コストが削減できるという作用を有する。
【００３４】
本発明の第１０にかかるパラメタ推定装置は、光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標を入力するパラメタ入力部と、前記第１の電子データと前記第１の特徴点の座標との合成情報の集合を複数の分布に分け、前記分布毎に、複数の前記第１の電子データから自己相関情報及び複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を前記分布毎に算出し、前記分布毎に求めた複数の前記第１の電子データから算出される第１の平均ベクトル、前記分布毎に求めた複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記分布毎に求めた前記特徴抽出行列を出力する学習部と、前記分布毎に求めた前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を前記分布毎に推定するパラメタ推定部とを含む。
【００３５】
これにより、第１の電子データの特性が分散している場合でも、第２の電子データの特徴点の座標を求めることができるという作用を有する。
【００３６】
本発明の第１１の態様は、第１０の態様にかかるパラメタ推定装置において、前記学習部が、前記第１の電子データを走査順に並べたベクトルパターンである第１の教示ベクトルを算出する第１の教示ベクトル計算部と、第１の特徴点の座標を順に並べたベクトルパターンである第２の教示ベクトルを算出する第２の教示ベクトル計算部と、複数の前記第１の教示ベクトル及び複数の前記第２の教示ベクトルから複数の合成ベクトルを作成し、前記合成ベクトルの集合の確率分布により、前記第１の教示ベクトル及び第２の教示ベクトルを複数の分布に分ける分布要素計算部と、前記分布毎に複数の前記第１の教示ベクトルを平均した第１の平均ベクトルを算出し、前記分布毎に複数の前記第２の教示ベクトルを平均した第２の平均ベクトルを算出する平均ベクトル計算部と、前記分布毎に、複数の前記第１の教示ベクトル及び第１の平均ベクトルを入力し、前記第１の教示ベクトルの自己相関情報である第１の共分散行列の擬似逆行列を前記分布毎に算出する自己相関情報計算部と、複数の前記第１の教示ベクトル、前記第１の平均ベクトル、複数の前記第２の教示ベクトル及び前記第２の平均ベクトルを前記分布毎に入力し、前記第１の教示ベクトルと前記第２の教示ベクトルの相互相関情報である第２の共分散行列を前記分布毎に算出する相互相関情報計算部と、前記分布毎に、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列を入力し、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列から特徴抽出行列を前記分布毎に算出する特徴抽出行列計算部と、を含む。
【００３７】
これにより、分散している第１の電子データの特性に適した特徴抽出行列を求めることができるという作用を有する。
【００３８】
本発明の第１２の態様は、第１０の態様または第１１の態様にかかるパラメタ推定装置において、前記パラメタ推定部が、前記第２の電子データを入力し、前記第２の電子データを走査順に並べたベクトルパターンである入力ベクトルを算出するベクトル計算部と、前記入力ベクトル、分布毎に分類した第１の平均ベクトル、分布毎に分類した第２の平均ベクトル及び分布毎に分類した特徴抽出行列から前記第２の特徴点の座標を含む期待値ベクトルを算出するパラメタ計算部と、前記期待値ベクトルから前記第２の特徴点の座標を算出するテンプレートマッチング部とを含む。
【００３９】
これにより、第２の電子データの特性が分散していても、分散した特性に適した特徴抽出行列を用いるため、処理コストの削減ができるという作用を有する。
【００４０】
本発明の第１３の態様にかかるパラメタ推定装置は、光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標周辺の画像を入力するパラメタ入力部と、前記第１の電子データと第１の特徴点の座標周辺の画像との合成情報の集合を複数の分布に分け、前記分布毎に、複数の前記第１の電子データから自己相関情報及び複数の前記第１の電子データ及び複数の前記第１の特徴点の座標周辺の画像から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を前記分布毎に算出し、前記分布毎に求めた複数の前記第１の電子データから算出される第１の平均ベクトル、前記分布毎に求めた複数の前記第１の特徴点の座標周辺の画像から算出する第２の平均ベクトル及び前記分布毎に求めた前記特徴抽出行列を出力する学習部と、前記分布毎に求めた前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を前記分布毎に推定するパラメタ推定部とを含む。
【００４１】
これにより、第１の電子データの特性が分散している場合でも、１枚のテンプレートで第２の電子データの特徴点の座標を求めることができるという作用を有する。
【００４２】
本発明の第１４の態様は、第１３の態様にかかるパラメタ推定装置において、前記学習部が、前記第１の電子データを走査順に並べたベクトルパターンである第１の教示ベクトルを算出する第１の教示ベクトル計算部と、第１の特徴点の座標周辺の画像を順に並べたベクトルパターンである第２の教示ベクトルを算出する第２の教示ベクトル計算部と、複数の前記第１の教示ベクトル及び複数の前記第２の教示ベクトルから複数の合成ベクトルを作成し、前記合成ベクトルの集合の確率分布により、前記第１の教示ベクトル及び第２の教示ベクトルを複数の分布に分ける分布要素計算部と、前記分布毎に複数の前記第１の教示ベクトルを平均した第１の平均ベクトルを算出し、前記分布毎に複数の前記第２の教示ベクトルを平均した第２の平均ベクトルを算出する平均ベクトル計算部と、前記分布毎に、複数の前記第１の教示ベクトル及び第１の平均ベクトルを入力し、前記第１の教示ベクトルの自己相関情報である第１の共分散行列の擬似逆行列を前記分布毎に算出する自己相関情報計算部と、複数の前記第１の教示ベクトル、前記第１の平均ベクトル、複数の前記第２の教示ベクトル及び前記第２の平均ベクトルを前記分布毎に入力し、前記第１の教示ベクトルと前記第２の教示ベクトルの相互相関情報である第２の共分散行列を前記分布毎に算出する相互相関情報計算部と、前記分布毎に、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列を入力し、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列から特徴抽出行列を前記分布毎に算出する特徴抽出行列計算部とを含む。
【００４３】
これにより、分散している第１の電子データの特性に適した特徴抽出行列を求めることができるという作用を有する。
【００４４】
本発明の第１５の態様は、第１３の態様または第１４の態様にかかるパラメタ推定装置において、前記パラメタ推定部が、前記第２の電子データを入力し、前記第２の電子データを走査順に並べたベクトルパターンである入力ベクトルを算出するベクトル計算部と、前記入力ベクトル、分布毎に分類した第１の平均ベクトル、分布毎に分類した第２の平均ベクトル及び分布毎に分類した特徴抽出行列から前記第２の特徴点の座標周辺の画像を含む期待値ベクトルを算出するパラメタ計算部と、前記期待値ベクトルから前記第２の特徴点の座標周辺の画像を算出し、前記第２の特徴点の座標周辺の画像と一致する前記第２の電子データの画像領域である照合領域を検索し、前記照合領域から前記第２の特徴点の座標を算出するテンプレートマッチング部とを含む。
【００４５】
これにより、第２の電子データの特性が分散していても、１枚のテンプレートで第２の特徴点の座標を求めることができるという作用を有する。
【００４６】
本発明の第１６の態様にかかるパラメタ推定装置は、光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標及び第１の特徴点の座標周辺の画像を入力するパラメタ入力部と、前記第１の電子データと第１の特徴点の座標及び第１の特徴点の座標周辺の画像との合成情報の集合を複数の分布に分け、前記分布毎に、複数の前記第１の電子データから自己相関情報及び複数の前記第１の電子データ及び複数の前記第１の特徴点の座標及び第１の特徴点の座標周辺の画像から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標及び第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を前記分布毎に算出し、前記分布毎に求めた複数の前記第１の電子データから算出される第１の平均ベクトル、前記分布毎に求めた複数の前記第１の特徴点の座標及び第１の特徴点の座標周辺の画像から算出する第２の平均ベクトル及び前記分布毎に求めた前記特徴抽出行列を出力する学習部と、前記分布毎に求めた前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を前記分布毎に推定するパラメタ推定部とを含む。
【００４７】
これにより、第１の電子データの特性が分散している場合でも、第２の特徴点の座標とテンプレートが推定できるため、テンプレートによる検索の処理コストを削減することができるという作用を有する。
【００４８】
本発明の第１７の態様は、第１６の態様にかかるパラメタ推定装置において、前記学習部が、前記第１の電子データを走査順に並べたベクトルパターンである第１の教示ベクトルを算出する第１の教示ベクトル計算部と、第１の特徴点の座標及び第１の特徴点の座標周辺の画像を順に並べたベクトルパターンである第２の教示ベクトルを算出する第２の教示ベクトル計算部と、複数の前記第１の教示ベクトル及び複数の前記第２の教示ベクトルから複数の合成ベクトルを作成し、前記合成ベクトルの集合の確率分布により、前記第１の教示ベクトル及び第２の教示ベクトルを複数の分布に分ける分布要素計算部と、前記分布毎に複数の前記第１の教示ベクトルを平均した第１の平均ベクトルを算出し、前記分布毎に複数の前記第２の教示ベクトルを平均した第２の平均ベクトルを算出する平均ベクトル計算部と、前記分布毎に、複数の前記第１の教示ベクトル及び第１の平均ベクトルを入力し、前記第１の教示ベクトルの自己相関情報である第１の共分散行列の擬似逆行列を前記分布毎に算出する自己相関情報計算部と、複数の前記第１の教示ベクトル、前記第１の平均ベクトル、複数の前記第２の教示ベクトル及び前記第２の平均ベクトルを前記分布毎に入力し、前記第１の教示ベクトルと前記第２の教示ベクトルの相互相関情報である第２の共分散行列を前記分布毎に算出する相互相関情報計算部と、前記分布毎に、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列を入力し、前記第１の共分散行列の擬似逆行列及び前記第２の共分散行列から特徴抽出行列を前記分布毎に算出する特徴抽出行列計算部とを含む。
【００４９】
これにより、分散している第１の電子データの特性に適した特徴抽出行列を求めることができるという作用を有する。
【００５０】
本発明の第１８の態様は、第１６の態様または第１７の態様にかかるパラメタ推定装置において、前記パラメタ推定部が、前記第２の電子データを入力し、前記第２の電子データを走査順に並べたベクトルパターンである入力ベクトルを算出するベクトル計算部と、前記入力ベクトル、分布毎に分類した第１の平均ベクトル、分布毎に分類した第２の平均ベクトル及び分布毎に分類した特徴抽出行列から前記第２の特徴点の座標及び第２の特徴点の座標周辺の画像を含む期待値ベクトルを算出するパラメタ計算部と、前記期待値ベクトルから前記第２の特徴点の座標及び第２の特徴点の座標周辺の画像を算出し、前記第２の特徴点の座標周辺の画像と一致する前記第２の電子データの画像領域である照合領域を検索し、前記照合領域から前記第２の特徴点の座標を算出するテンプレートマッチング部とを含む。
【００５１】
これにより、第２の電子データの特性が分散していても、推定した特徴点の座標の周辺を照合の対象画像から作成したテンプレートで検索するため、検索の処理コストが削減できるという作用を有する。
【００５２】
本発明の第１９の態様は、光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標を入力するパラメタ入力部と、複数の前記第１の電子データから自己相関情報を算出し、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を算出し、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する学習部と、前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するパラメタ推定部と、前記第１の電子データを蓄積する画像データベースと、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出し、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合する照合部とを含むデータ照合装置である。
【００５３】
これにより、行列演算により推定した特徴点の座標により照合領域が算出することができ、処理コストの削減ができるという作用を有する。
【００５４】
本発明の第２０の態様は、光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標周辺の画像を入力するパラメタ入力部と、複数の前記第１の電子データから自己相関情報を算出し、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標周辺の画像から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出し、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標周辺の画像から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する学習部と、前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するパラメタ推定部と、前記第１の電子データを蓄積する画像データベースと、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出し、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合する照合部とを含むデータ照合装置である。
【００５５】
これにより、１枚のテンプレートにより求められた特徴点の座標により照合領域が算出することができ、処理コストの削減ができるという作用を有する。
【００５６】
本発明の第２１の態様は、光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標及び第１の特徴点の座標周辺の画像を入力するパラメタ入力部と、複数の前記第１の電子データから自己相関情報を算出し、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標と複数の前記第１の特徴点の座標周辺の画像との結合ベクトルから相互相関情報を算出し、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標及び第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出し、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記結合ベクトルから算出する第２の平均ベクトル及び前記特徴抽出行列を出力する学習部と、前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するパラメタ推定部と、前記第１の電子データを蓄積する画像データベースと、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出し、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合する照合部とを含むデータ照合装置である。
【００５７】
これにより、推定した特徴点の座標周辺を１枚のテンプレートにより検索することで、検索処理コストの削減と、テンプレートマッチングにより求められた特徴点の座標により照合領域の算出ができ、処理コストの削減ができるという作用を有する。
【００５８】
本発明の第２２の態様は、光学データを電子データに変換する画像入力部と、前記画像入力部から入力された第１の電子データから第１の特徴点の座標を入力するパラメタ入力部と、前記第１の電子データと前記第１の特徴点の座標との合成情報の集合を複数の分布に分け、前記分布毎に、複数の前記第１の電子データから自己相関情報及び複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記画像入力部から入力される第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を前記分布毎に算出し、前記分布毎に求めた複数の前記第１の電子データから算出される第１の平均ベクトル、前記分布毎に求めた複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記分布毎に求めた前記特徴抽出行列を出力する学習部と、前記分布毎に求めた前記学習部から入力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を蓄積する相関情報データベースと、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を前記分布毎に推定するパラメタ推定部と、前記第１の電子データを蓄積する画像データベースと、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出し、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合する照合部とを含むデータ照合装置である。
【００５９】
これにより、第１の電子データの特性が分散している場合でも、行列演算により推定した特徴点の座標により照合領域が算出することができ、処理コストの削減ができるという作用を有する。
【００６０】
本発明の第２３の態様は、光学データを電子データに変換する変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標を入力し、複数の前記第１の電子データから自己相関情報を算出するステップと、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出するステップと、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を算出するステップと、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力された前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合する照合ステップと、を有することを特徴とするデータ照合方法である。
【００６１】
これにより、行列演算により推定した特徴点の座標により照合領域が算出することができ、処理コストの削減ができるという作用を有する。
【００６２】
本発明の第２４の態様は、光学データを電子データに変換する変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標周辺の画像を入力し、複数の前記第１の電子データから自己相関情報を算出するステップと、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標周辺の画像から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出するステップと、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標周辺の画像から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合する照合ステップと、を有することを特徴とするデータ照合方法である。
【００６３】
これにより、推定した特徴点の座標周辺を１枚のテンプレートにより検索することで、検索処理コストの削減と、テンプレートマッチングにより求められた特徴点の座標により照合領域の算出ができ、処理コストの削減ができるという作用を有する。
【００６４】
本発明の第２５の態様は、光学データを電子データに変換する変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標及び第１の特徴点の座標周辺の画像を入力し、複数の前記第１の電子データから自己相関情報を算出するステップと、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標と複数の前記第１の特徴点の座標周辺の画像との結合ベクトルから相互相関情報を算出するステップと、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標及び第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出するステップと、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記結合ベクトルから算出する第２の平均ベクトル及び前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合するステップと、を有することを特徴とするデータ照合方法である。
【００６５】
これにより、推定した特徴点の座標周辺を１枚のテンプレートにより検索することで、検索処理コストの削減と、テンプレートマッチングにより求められた特徴点の座標により照合領域の算出ができ、処理コストの削減ができるという作用を有する。
【００６６】
本発明の第２６の態様は、光学データを電子データに変換する変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標を入力し、前記第１の電子データと前記第１の特徴点の座標との合成情報の集合を複数の分布に分け、前記分布毎に、複数の前記第１の電子データから自己相関情報及び複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を前記分布毎に算出するステップと、前記分布毎に求めた複数の前記第１の電子データから算出される第１の平均ベクトル、前記分布毎に求めた複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記分布毎に求めた前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力される前記分布毎に求めた前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を前記分布毎に推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合するステップと、を有する特徴とするデータ照合方法である。
【００６７】
これにより、第１の電子データの特性が分散している場合でも、行列演算により推定した特徴点の座標により照合領域が算出することができ、処理コストの削減ができるという作用を有する。
【００６８】
本発明の第２７の態様は、コンピュータに、光学データを電子データに変換する変換ステップと、前記変換ステップにより変換された第１の電子データから第１の特徴点の座標を入力し、複数の前記第１の電子データから自己相関情報を算出するステップと、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、前記自己相関情報及び前記相互相関情報から入力された第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を算出するステップと、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積した前記第１の電子データとの一致を照合するステップと、を行わせることを特徴とするプログラムである。
【００６９】
これにより、行列演算により推定した特徴点の座標により照合領域が算出することができ、処理コストの削減ができるという作用を有する。
【００７０】
本発明の第２８の態様は、コンピュータに、光学データを電子データに変換させる変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標周辺の画像を入力し、複数の前記第１の電子データから自己相関情報を算出するステップと、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標周辺の画像から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出するステップと、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記第１の特徴点の座標周辺の画像から算出する第２の平均ベクトル及び前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合するステップと、を行わせることを特徴とするプログラムである。
【００７１】
これにより、推定した特徴点の座標周辺を１枚のテンプレートにより検索することで、検索処理コストの削減と、テンプレートマッチングにより求められた特徴点の座標により照合領域の算出ができ、処理コストの削減ができるという作用を有する。
【００７２】
本発明の第２９の態様は、コンピュータに、光学データを電子データに変換させる変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標及び第１の特徴点の座標周辺の画像を入力し、複数の前記第１の電子データから自己相関情報を算出するステップと、複数の前記第１の電子データ及び複数の前記第１の特徴点の座標と複数の前記第１の特徴点の座標周辺の画像との結合ベクトルから相互相関情報を算出するステップと、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標及び第２の特徴点の座標周辺の画像を推定するための特徴抽出行列を算出するステップと、複数の前記第１の電子データから算出される第１の平均ベクトル、複数の前記結合ベクトルから算出する第２の平均ベクトル及び前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力される前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合するステップと、を行わせることを特徴とするプログラムである。
【００７３】
これにより、推定した特徴点の座標周辺を１枚のテンプレートにより検索することで、検索処理コストの削減と、テンプレートマッチングにより求められた特徴点の座標により照合領域の算出ができ、処理コストの削減ができるという作用を有する。
【００７４】
本発明の第３０の態様は、コンピュータに、光学データを電子データに変換させる変換ステップと、前記変換ステップにおいて変換された第１の電子データから第１の特徴点の座標を入力し、前記第１の電子データと前記第１の特徴点の座標との合成情報の集合を複数の分布に分け、前記分布毎に、複数の前記第１の電子データから自己相関情報及び複数の前記第１の電子データ及び複数の前記第１の特徴点の座標から相互相関情報を算出し、更に、前記自己相関情報及び前記相互相関情報から前記変換ステップにおいて変換された第２の電子データの第２の特徴点の座標を推定するための特徴抽出行列を前記分布毎に算出するステップと、前記分布毎に求めた複数の前記第１の電子データから算出される第１の平均ベクトル、前記分布毎に求めた複数の前記第１の特徴点の座標から算出する第２の平均ベクトル及び前記分布毎に求めた前記特徴抽出行列を出力する出力ステップと、前記出力ステップにおいて出力された前記分布毎に求めた前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を相関情報データベースに蓄積し、前記第２の電子データ、前記第１の平均ベクトル、前記第２の平均ベクトル及び前記特徴抽出行列を用いて前記第２の特徴点の座標を前記分布毎に推定するステップと、前記第１の電子データを画像データベースに蓄積し、前記第２の電子データ及び前記第２の特徴点の座標から照合に用いる画像である照合領域を算出するステップと、前記照合領域と前記画像データベースに蓄積された前記第１の電子データとの一致を照合するステップと、を行わせることを特徴とするプログラムである。
【００７５】
これにより、第１の電子データの特性が分散している場合でも、行列演算により推定した特徴点の座標により照合領域が算出することができ、処理コストの削減ができるという作用を有する。
本発明の第３１の態様は、サンプルとなるサンプル顔画像を入力するサンプル顔画像入力手段と、前記サンプル顔画像の特徴点を入力する特徴点入力手段と、新たに前記特徴点を推定する照合対象顔画像を入力する照合顔画像入力手段と、前記サンプル顔画像と前記特徴点との合成情報を複数の顔画像分布に分け、前記サンプル顔画像の顔画像自己相関情報と、前記サンプル顔画像と前記特徴点との顔画像相互相関情報とを前記顔画像分布毎に求める顔画像学習手段と、前記顔画像分布毎に求めた前記顔画像自己相関情報と前記顔画像相互相関情報とを用いて前記照合対象顔画像の前記特徴点を推定する顔画像パラメタ推定手段と、前記サンプル顔画像を蓄積する画像データベースと、照合対象顔画像及び前記照合対象顔画像の特徴点の座標から照合に用いる画像である照合領域を算出し、前記照合領域と前記画像データベースに蓄積されたサンプル顔画像との一致を照合する照合手段と、を含むデータ照合装置である。
本発明の第３２の態様は、前記顔画像学習手段は、前記サンプル顔画像をベクトル化した第１の教示ベクトルおよび前記サンプル顔画像の特徴点をベクトル化した第２の教示ベクトルの顔画像合成ベクトルを構成し、前記顔画像合成ベクトルの複数の顔画像要素分布を集合した顔画像混合分布モデルを推定し、前記顔画像要素分布毎に属する前記顔画像自己相関情報を前記第１の教示ベクトルの共分散行列を求めることで求め、前記顔画像相互相関情報を前記第１の教示ベクトルと前記第２の教示ベクトルとの共分散行列を求めることで求め、前記顔画像パラメタ推定手段は、前記顔画像要素分布毎に属する前記顔画像自己相関情報および前記顔画像相互相関情報を用いて前記照合対象顔画像の前記特徴点を推定することを特徴とする請求項３１記載のデータ照合装置である。
【００７６】
（実施の形態１）
本発明の実施の形態１では、パラメタ推定装置をデータ照合装置に応用した場合について説明する。
【００７７】
図１は、本発明の実施の形態１によるデータ照合装置を示す図である。
【００７８】
画像入力部１０１は、光学データを電子データに変換し、出力する。
【００７９】
パラメタ入力部１０２は、画像入力部１０１から入力された第１の電子データから特徴点の座標を入力する。
【００８０】
学習部１０３は、画像入力部１０１から入力される第１の電子データ及びパラメタ入力部１０２から入力される特徴点の座標から第１の電子データに関する情報を算出する。
【００８１】
相関情報データベース１０４は、学習部１０３で算出した第１の電子データに関する情報を蓄積する。
【００８２】
パラメタ推定部１０５は、画像入力部１０１から入力される第２の電子データ及び相関情報データベース１０４に蓄積された第１の電子データに関する情報から第２の電子データにおける特徴点の座標を推定する。
【００８３】
画像データベース１０６は、第１の電子データを蓄積する。
【００８４】
照合部１０７は、パラメタ推定部１０５が推定した第２の電子データにおける特徴点の座標に一致する第１の電子データを照合する。
【００８５】
出力部１０８は、照合部１０７が照合した照合結果を表示する。
【００８６】
以下に、実施の形態１にかかるデータ照合装置について説明する。顔画像の照合では、画像入力部１０１から入力された電子データから、顔が存在する位置を正確に求めることが重要である。
【００８７】
そこで、実施の形態１は、入力された電子データである顔画像と、顔画像内における固有なパラメタである眼、鼻、眉、口などの特徴点の座標には相関関係があることに着目したものである。つまり、顔画像の固有なパラメタの座標の相関関係を予め求めておけば、未知の顔画像が入力されても、固有なパラメタである特徴点の座標を得ることが可能であるということに着目したものである。
【００８８】
即ち、実施の形態１は、予めサンプルである顔画像と、サンプルの顔画像における特徴点の座標との相関関係を学習しておき、予め学習した相関を用いて、画像入力部１０１で撮影した第２の電子データである照合用の顔画像における特徴点の座標を推定し、推定した特徴点の座標を用いて照合に用いる領域である顔領域を求めるものである。そして、実施の形態１は、求めた顔領域の画像と、予め用意してある顔画像データベース１０６内の画像と比較することで、顔画像の照合を行うものである。
【００８９】
更に、実施の形態１では、複数のサンプルである顔画像と、これらの複数の顔画像内における特徴点の座標の相関を学習しておくことで、照合用顔画像における特徴点の座標の推定精度を向上している。
【００９０】
具体的には、実施の形態１のデータ照合装置の処理は、オフライン処理とオンライン処理に大別される。
【００９１】
オフライン処理は、複数のサンプルの顔画像とこの顔画像の特徴点の座標との相関を予め計算する。
【００９２】
オンライン処理は、オフライン処理で計算した相関を用いて、画像入力部１０１から入力された照合用顔画像から特徴点の座標を推定し、特徴点の座標から決定される顔領域の画像と、予めオフライン処理により登録された画像データベース１０６の顔画像との照合処理を行う。
【００９３】
次に、オフライン処理について説明する。オフライン処理は、画像入力部１０１、学習部１０３、相関情報データベース１０４及び画像データベース１０６を用いた処理である。
【００９４】
次に、データ照合装置が行うオフライン処理について、図２及び図３を用いて詳細に説明する。図２は、学習部１０３の構成を示す図である。図３は、実施の形態１によるデータ照合装置のオフライン処理の動作フロー図である。
【００９５】
まず、学習部１０３の構成について説明する。
【００９６】
学習部１０３には、第１の電子データである顔画像における特徴点の座標より得られる第２の教示ベクトルを算出し、出力する第２の教示ベクトル計算部２０１が設けられている。
【００９７】
また、学習部１０３には、第１の電子データである顔画像より得られる第１の教示ベクトルを算出し、出力する第１の教示ベクトル計算部が設けられている。
【００９８】
平均ベクトル算出部２０３ａは、第２の教示ベクトル計算部２０１が求めた第２の教示ベクトルの平均ベクトルを算出する。また、平均ベクトル算出部２０３ｂは、第１の教示ベクトル計算部２０２が求めた第１の教示ベクトルの平均ベクトルを算出する。
【００９９】
相互相関情報計算部２０４は、第１の教示ベクトル計算部２０２が算出した第１の教示ベクトルと第２の教示ベクトル計算部２０１が算出した第２の教示ベクトルの相互相関情報である共分散行列を算出する。
【０１００】
自己相関情報計算部２０５は、第１の教示ベクトル計算部２０２が求めた第１の教示ベクトルの自己相関情報である共分散行列の擬似逆行列を算出する。
【０１０１】
特徴抽出行列計算部２０６は、自己相関情報計算部２０５が算出した自己相関情報の共分散行列の擬似逆行列と、相互相関情報計算部２０４が算出した相互相関情報の共分散行列から特徴抽出行列を算出する。
【０１０２】
次に、データ照合装置のオフライン処理の動作について図３を用いて説明する。
【０１０３】
まず、画像入力部１０１が、第１の電子データであるサンプルとなる顔画像を入力し、パラメタ入力部１０２、学習部１０３及び画像データベース１０６に入力する（Ｓ１０）。
【０１０４】
ただし、第１の電子データとは異なる電子データを画像データベース１０６に入力することも可能である。
【０１０５】
次に、学習部１０３の第１の教示ベクトル計算部２０２が、入力されたサンプルとなる顔画像における各画素の値を、（数１）を用いることで、ラスタスキャン順に並べたベクトルパターンに変換して教示ベクトルＶ1を求め（Ｓ１１）、平均ベクトル計算部２０３ｂに出力する。
【０１０６】
【数１】
0003725508.tif 000002
次に、パラメタ入力部１０２に含まれるディスプレイが、サンプルとなる顔画像を表示する。そして、使用者が、パラメタ入力部１０２に含まれるマウスを用いて、顔画像から顔の特徴点の座標を選択すると、パラメタ入力部１０２は、使用者が選択した顔の特徴点座標を学習部１０３に出力する（Ｓ１２）。
【０１０７】
ここで、入力された顔の特徴点の座標を、図４に示す。顔画像１２０１の原点Ｏ１２０８を基準に、右眉１２０２、右目１２０３、左眉１２０４、左目１２０５、鼻１２０６及び口１２０７のそれぞれの座標（Ｘ座標、Ｙ座標）が、使用者により特徴点の座標として選択される。
【０１０８】
次に、学習部１０３の第２の教示ベクトル計算部２０１が、入力された特徴点の座標に、（数１）を用いて、入力した各特徴点の座標をデータ照合装置として定めた順番、例えば、右眉、右目、左眉、左目、鼻、口の順に並べることで連結してひとつのベクトルデータを作成し、これを教示ベクトルＶ2とし（Ｓ１３）、平均ベクトル計算部２０３ａに出力する。
【０１０９】
次に、パラメタ入力部１０２、学習部１０３の第２の教示ベクトル計算部２０１及び学習部１０３の第１の教示ベクトル計算部２０２は、以上Ｓ１０からＳ１３までの処理を、必要とするＮ個分繰り返し、処理が終了した場合は、（Ｓ１６）に進み、終了していない場合は、Ｓ１１からＳ１４を繰り返す（Ｓ１５）。
【０１１０】
次に、平均ベクトル計算部２０３ａ及び２０３ｂは、Ｎ個分の教示ベクトルＶ1、Ｖ2の集合｛Ｖ1｝、｛Ｖ2｝に、（数２）及び（数３）を用いて、教示ベクトルＶ1の平均ベクトルである平均ベクトルＭ1と、教示ベクトルＶ2の平均ベクトルである平均ベクトルＭ2を計算する（Ｓ１６）。
【０１１１】
そして、平均ベクトル計算部２０３ｂは、平均ベクトルＭ1を、自己相関情報計算部２０５及び相互相関情報計算部２０４に出力し、平均ベクトル計算部２０３ａは、平均ベクトルＭ2を、相互相関情報計算部２０４に出力する。
【０１１２】
【数２】
0003725508.tif 000003
【数３】
0003725508.tif 000004
次に、自己相関情報計算部２０５は、Ｎ個分の教示ベクトルＶ1の集合｛Ｖ1｝及び平均ベクトルＭ1を（数４）に代入し、教示ベクトルＶ1の分布である共分散行列Ｃ1を計算することで、画像入力部１０１から入力したＮ個の顔画像の分布を算出する。また、自己相関情報計算部２０５は、共分散行列Ｃ1を、擬似逆行列Ｃ1*に変形し、特徴抽出行列計算部２０６に出力する。
【０１１３】
【数４】
0003725508.tif 000005
更に、相互相関情報計算部２０４は、Ｎ個の教示ベクトルＶ1と教示ベクトルＶ2、平均ベクトルＭ1及び平均ベクトルＭ2を（数５）に代入し、教示ベクトルＶ1及びＶ2の相関である共分散行列Ｃ2を計算することで、Ｎ個の顔画像と顔画像における特徴点の座標との相関を算出し、特徴抽出行列計算部２０６に出力する（Ｓ１７）。
【０１１４】
【数５】
0003725508.tif 000006
次に、特徴抽出行列計算部２０６は、Ｓ１７において求めた擬似逆行列Ｃ1*及び共分散行列Ｃ2と、オンライン処理で入力される照合用顔画像とから特徴点の座標を抽出するパラメタである特徴抽出行列Ｃ3を、（数６）に従って計算する（Ｓ１８）。
【０１１５】
【数６】
0003725508.tif 000007
そして、特徴抽出行列計算部２０６は、求めた平均ベクトルＭ1、Ｍ2及び特徴抽出行列Ｃ3を相関情報データベース１０４に出力する（Ｓ１９）。このようにして、オフライン処理は終了する。
【０１１６】
次に、オンライン処理について、図５及び図６を用いて説明する。図５は、パラメタ推定部１０５の構成を示す図である。図６は、実施の形態１にかかるデータ照合装置のオンライン処理の動作フロー図である。
【０１１７】
パラメタ推定部１０５には、第２の電子データから入力ベクトルＸを計算し、出力するベクトル計算部３０１が設けられている。
【０１１８】
また、パラメタ計算部３０２は、パラメタ推定部１０５が計算した入力ベクトルＸ、平均ベクトルＭ1、Ｍ2及び特徴抽出行列Ｃ3から特徴点の座標を含む期待値ベクトルを計算し、出力する。
【０１１９】
また、テンプレートマッチング部３０３は、パラメタ計算部３０２が計算した期待値ベクトルから特徴点の座標を算出し、出力する。
【０１２０】
オンライン処理の目的は、入力された顔画像から、入力に対して固有なパラメタである特徴点の座標を推定し、推定した特徴点の座標から照合に用いる顔の領域画像である顔領域を求め、求めた顔領域と画像データベース１０６に登録された画像と照合することにある。
【０１２１】
まず、画像入力部１０１が、第２の電子データである照合用画像を入力し（Ｓ２０）、パラメタ推定部１０５のベクトル計算部３０１に出力する。次に、ベクトル計算部３０１は、第２の電子データにおける各画素の値をラスタスキャン順に並べて入力ベクトルデータＸに変換し（Ｓ２１）、パラメタ計算部３０２に出力する。
【０１２２】
次に、パラメタ計算部３０２は、入力ベクトルデータＸ、オフライン処理で求めた特徴抽出行列Ｃ3、平均ベクトルＭ1及び平均ベクトルＭ2を（数７）に代入し、入力ベクトルデータＸに対する特徴点の座標を含む期待値ベクトルＥを計算し（Ｓ２２）、テンプレートマッチング部３０３に出力する。
【０１２３】
【数７】
0003725508.tif 000008
ここで、（数７）は、オフライン処理で求めたＮ個の顔画像と顔画像の特徴点の座標との相互相関を用いて、照合用画像の特徴点の座標を算出する式である。
【０１２４】
ここで、テンプレートマッチによる計算コスト算出の場合と、同じ例で本発明の計算コストを算出する。入力画像サイズを縦１５０×横１５０画素＝２２５００画素として、入力に対し両目の座標（右眼Ｘ座標、右眼Ｙ座標、左眼Ｘ座標、左眼Ｙ座標）計４次元を推定する場合を想定する。この場合、１５０×１５０の入力画像を縦一列に変換したベクトルを（数７）に代入し、乗算を単位演算とした場合、Ｃ3は縦２２５００×横４の行列、（Ｘ−Ｍ1）は２２５００次元のベクトルであるため、乗算回数は４×２２５００＝９００００（ｐｅｌ）となる。つまり、乗算だけでテンプレートマッチの５００分の１の計算コストとなり、その効果は大きい。
【０１２５】
ここで、（数７）を用いた計算によって特徴点の座標の推定が可能な理由を説明する。
【０１２６】
（数７）で得られる特徴点の座標を示す期待値ベクトルＥは、教示ベクトルＶ1と教示ベクトルＶ2との関係を、２つのベクトルの分布が正規分布であるという仮定の元でベイズ推定を用いて学習した時の、入力ベクトルデータＸに対して得られる出力の期待値に等しい。
【０１２７】
また、ベイズ推定とは、母数の分布と適当な損失関数を定義し、損失関数の期待値が最小となるように推定する統計的推定法をいう。即ち、（数７）によって、入力ベクトルデータＸに対して一番尤もらしい出力値を推定することができると言える。
【０１２８】
次に、テンプレートマッチング部３０３は、各特徴点の座標の合成ベクトルである期待値ベクトルＥから入力ベクトルデータの特徴点の座標を算出し（Ｓ２３）、特徴点の座標を照合部１０７に出力する。
【０１２９】
次に、照合部１０７は、Ｓ２３で求めた特徴点の座標を用いて、オフライン処理により画像データベース１０６に登録した顔画像との照合に用いる画像である顔領域を決定する（Ｓ２４）。
【０１３０】
ここで、検出された照合用の顔領域の例を図７に示す。本実施の形態では、鼻の座標１３０３を中心として、一辺の長さが両眼の間隔ａの２倍であり、上下の辺が両眼を結ぶ直線と平行であるような正方形領域を、照合に用いる領域である照合領域１３０２として決定する。
【０１３１】
次に、照合部１０７は、顔領域１３０２の画像と予めオフライン処理により登録した画像データベース１０６との画像を、例えば統計的手法である主成分分析を利用した固有顔（Ｅｉｇｅｎｆａｃｅ）法などの照合手法を用いて照合し（Ｓ２５）、結果を出力部１０８に出力する（Ｓ２６）。
【０１３２】
なお、固有顔法は、参照画像のサイズを正規化して全画素の濃淡値をＮ次元ベクトルとし、全ての参照画像から０＜Ｆ＜ＮであるＦ次元の情報として、情報量を圧縮し、顔部分空間を主成分分析という統計的手法により生成する。そして、入力画像から顔の存在確率の高い領域を正規化し、顔部分空間との直交距離を類似度とし、顔部分空間への射影先の位置により人物を認識するというものである。
【０１３３】
出力部１０８の出力例を図８に示す。ディスプレイ１５０１上には、入力された入力顔画像１５０２と、照合結果１５０４、１５０５が表示される。
【０１３４】
以上のように実施の形態１によれば、予めオフライン処理により学習した第１の電子データであるサンプルの顔画像と、サンプルの顔画像における特徴点の座標との相関を用いて、画像入力部１０１で撮影した第２の電子データである照合用の顔画像における特徴点の座標を推定することができる。
【０１３５】
そして、上述したように推定した特徴点の座標より照合用の顔領域を求め、求めた照合用の顔領域画像と、予めオフライン処理により登録した画像データベース１０６内の顔画像を比較し、照合することができる。
【０１３６】
また、入力ベクトルに対して固有なパラメタを、３回の行列演算で推定することが出来る。つまり、従来のテンプレートマッチングを用いた探索に比べ格段に小さな計算コストで推定できるため、従来法に比べ格段に少ない演算で所望のパラメタを推定し、少ない演算で顔画像の照合ができる。
【０１３７】
また、実施の形態１によれば、第１の教示ベクトルの共分散行列から自己相関情報を求め、第１の教示ベクトルと第２の教示ベクトルとの共分散行列から相互相関情報を求め、自己相関情報と相互相関情報から特徴抽出行列を求め、第１の教示ベクトルの平均ベクトル、第２の教示ベクトルの平均ベクトル、特徴抽出行列及び入力ベクトルデータから、照合用顔画像の特徴点の座標を算出することができる。このように、自己相関情報、相互相関情報、特徴抽出行列、第１の教示ベクトルの平均ベクトル、第２の教示ベクトルの平均ベクトル、照合用顔画像の特徴点の座標を、単純に行列演算だけ、つまり乗算だけで計算できるため、コンピュータの処理コストが非常に小さくなる。
【０１３８】
なお、実施の形態１では、上述した（数１）〜（数７）を用いてパラメタの推定を行ったが、予めサンプルの顔画像とサンプルの顔画像における特徴点の座標との相関を求め、求めた相関を使ってパラメタの推定を行う式であれば（数１）〜（数７）以外の式を用いても同様の効果を得ることができる。
【０１３９】
なお、サンプルの画像データである第１の電子データ以外でも、特徴点の座標の推定を行うことは可能である。
【０１４０】
（実施の形態２）
本発明の実施の形態２は、実施の形態１では教示ベクトルＶ2を顔の各特徴点の座標から求めるのに対し、実施の形態２では顔の特徴点の座標周辺の領域画像から教示ベクトルＶ2を求め、照合用顔画像に適したテンプレートを照合用画像から自動的に生成するようにしたものである。
【０１４１】
これにより、一枚のテンプレートでのマッチング処理が可能になるというものであり、従来のように複数のテンプレートを用いる場合に比べ各段に計算コストを減少させることができるというものである。
【０１４２】
具体的には、まず、実施の形態２は、予め画像入力部１０１で撮影した第１の電子データであるサンプルの顔画像とサンプルの顔画像における眼、鼻、口及び眉などの特徴点の座標周辺の画像である領域画像との相関を調べる。次に、実施の形態２は、この相関を用いて画像入力部１０１で撮影した第２の電子データである照合用の顔画像からマッチング処理に使う特定の領域画像をテンプレートとして求める。
【０１４３】
次に、実施の形態２は、求めたテンプレートと照合用の顔画像とのマッチングを行うことで、照合用顔画像の特徴点の座標を推定し、照合に用いる領域である顔領域画像を求める。
【０１４４】
そして、実施の形態２は、顔領域画像と予め用意してある画像データベース１０６内の画像とを比較することで、第２の電子データである顔画像の照合を行う。
【０１４５】
以下、実施の形態２によるデータ照合装置について詳細に説明する。
【０１４６】
また、実施の形態２にかかるデータ照合装置の構成を示す図は、実施の形態１のデータ照合装置と同様であるので、説明は省略する。
【０１４７】
また、実施の形態２によるデータ照合装置は、実施の形態１と同様に、オフライン処理とオンライン処理に大別される。ここで、特に、実施の形態１との差異について、図９から図１１を用いて説明する。
【０１４８】
図９は、実施の形態２によるオフライン処理の動作フローを示す図であり、図１０は、第１の電子データであるサンプルの顔画像から特徴点の座標周辺の画像である領域画像を示す図であり、図１１は、オンライン処理の動作フローを示す図である。
【０１４９】
実施の形態２のオフライン処理では、Ｓ９０からＳ９２の処理は図３に示すＳ１０からＳ１２の処理、Ｓ９４からＳ９８までの処理は、図３に示すＳ１５〜Ｓ１９の処理と同様の処理であるので、ここでの説明は省略する。
【０１５０】
次に、学習部１０３の第２の教示ベクトル計算部２０１が、Ｓ９２において選択された特徴点の座標から、図１０に示すように、特徴点の座標周辺の画像である領域画像を選択する。
【０１５１】
顔画像１４０１の原点Ｏ１４０２を基準に、右眉１４０３ａ、右目１４０４ａ、左眉１４０５ａ、左目１４０６ａ、鼻１４０７ａ及び口１４０８ａのそれぞれの座標（Ｘ座標、Ｙ座標）を特徴点の座標として、第２の教示ベクトル計算部２０１に入力される。
【０１５２】
また、第２の教示ベクトル計算部２０１は、入力された特徴点の座標１４０３ａ〜１４０８ａから顔の各特徴点の座標のテンプレート画像である右眉領域画像１４０３ｂ、右目領域画像１４０４ｂ、左眉領域画像１４０５ｂ、左目領域画像１４０６ｂ、鼻領域画像１４０７ｂ及び口領域画像１４０８ｂを作成する。
【０１５３】
各領域画像を矩形とする場合の決定方法としては、図７で、求めた両眼の間隔ａを基準として、各領域の幅と高さを決定し、特徴点の座標を中心として領域を設定する。眉の幅はａ／２であり、高さはａ／４となり、眼の幅はａ／２であり、高さはａ／４となり、鼻の幅はａ×２／３であり、高さはａ×２／３となり、口の幅はａであり、高さはａ／２となる。
【０１５４】
このように、両眼の間隔ａを基準にすることで、図１０の顔画像に表示される顔の大きさに因らずに各領域画像を決定することが可能となる。
【０１５５】
次に、第２の教示ベクトル計算部２０１が、作成した顔の各特徴点の座標のテンプレート画像１４０３ｂ〜１４０８ｂにおける各画素の値を、（数１）を用いてラスタスキャン順に並び替え、ベクトルデータ化した合成ベクトルを作成し、これを教示ベクトルＶ2とする（Ｓ９３）。
【０１５６】
ただし、Ｓ９７において、求められる特徴抽出行列Ｃ3は、教示ベクトルＶ2を用いて作成されるので、領域画像を抽出するパラメタである。
【０１５７】
次に、実施の形態２にかかるオンライン処理について図１１を用いて説明する。Ｓ１１０からＳ１１２の処理は図６のＳ２０からＳ２２の処理と同様であるので、ここでの説明は省略する。
【０１５８】
Ｓ１１２おいて作成した期待値ベクトルＥは、オフライン処理Ｓ９５で求めた教示ベクトルＶ1、Ｖ2の平均ベクトルＭ1、Ｍ2と、Ｓ９７で求めた特徴抽出行列Ｃ3と、オンライン処理のＳ１１１で求めたベクトルＸを用いた第２の電子データである照合用の顔画像における各特徴点の座標のテンプレート画像の合成ベクトルとなっている。このため、パラメタ計算部３０２は、期待値ベクトルＥより顔の各特徴点の座標のテンプレート画像を得る（Ｓ１１３）。
【０１５９】
次に、テンプレートマッチング部３０３は、Ｓ１１３において得たテンプレート画像と、Ｓ１１０において得た画像入力部１０１から入力した照合用の画像とをテンプレートマッチを行い、テンプレート画像にマッチする領域を検出し、この検出した領域から、顔の各特徴点の座標を決定する（Ｓ１１４）。
【０１６０】
なお、テンプレートマッチ処理は、図２８に示すように入力画像２００１上を探索窓２００２でスキャンし、探索窓内の画像を入力とした際に、テンプレート画像との相関が最も高い領域を選ぶ処理である。テンプレートマッチに用いる相関演算は、例えば、ＳＡＤ相関演算（数８）や正規化相関演算（数９）などを用いる。なお、（数８）及び（数９）において、Ｘは探索窓内の画像、Ｔはテンプレート画像である。
【０１６１】
【数８】
0003725508.tif 000009
【数９】
0003725508.tif 000010
以後の、Ｓ１１５からＳ１１７の処理は図６のＳ２４からＳ２６の処理と同様であるので、ここでの説明は省略する。
【０１６２】
以上実施の形態２によれば、サンプルの画像と、サンプルの画像の特定領域画像との相関を学習し、この相関を用いて照合用顔画像の特定領域画像を推定し、推定した照合用顔画像の特定領域画像をテンプレート画像とできる。これにより、照合用顔画像自身からテンプレート画像を自動的に生成できるため、一枚のテンプレートでのマッチング処理が可能になり、従来のようにマルチテンプレートなど複数のテンプレートを用いる場合に比べ各段に計算コストを減少させることが可能となる。
【０１６３】
更に、実施の形態２によれば、第１の教示ベクトル及び第２の教示ベクトルの自己相関情報及び相互相関情報から求めた特徴抽出行列、第１の教示ベクトルの平均ベクトル、第２の教示ベクトルの平均ベクトル、及び照合用顔画像のベクトルデータから、照合用顔画像の特徴点の座標を算出することができる。このように、単純に行列演算だけ、つまり乗算だけで固有なパラメタの計算ができるため、コンピュータの処理コストが非常に小さくなる。
【０１６４】
また、テンプレートマッチングにおけるテンプレート画像推定に本発明の実施の形態２を用いた場合、入力画像から想定される特定の画像を推定し、これをテンプレートに用いたマッチング処理が可能になる。つまり、テンプレートパターン１つで処理が行えるため、従来のテンプレートマッチングのように、入力画像の多様性に対応した、パターン及び大きさの異なる複数個のテンプレートを用意するマルチテンプレート法と比較して、計算コストの削減が可能である。
【０１６５】
（実施の形態３）
本発明の実施の形態３は、教示ベクトルＶ2を実施の形態１では顔の各特徴点の座標から求め、実施の形態２では顔の特徴点の座標周辺の領域画像から求めるのに対して、顔の特徴点の座標及び顔の特徴点の座標周辺における領域画像の結合ベクトルから教示ベクトルＶ2を求めるようにしたものである。
【０１６６】
そして、このように求めた教示ベクトルＶ2から照合用顔画像の特徴点の座標を推定し、更に、照合用顔画像に適したテンプレートを照合用画像から自動的に生成し、この推定した特徴点の座標の周辺領域を自動生成したテンプレートを用いてマッチングをするものである。
【０１６７】
これにより、テンプレートの探索範囲を限定し、一枚のテンプレートでのマッチング処理が可能になるというものである。この結果、従来のように、照合用顔画像の全領域を探索したり、複数のテンプレートを使用したりするのに比べ、各段に計算コストを減少させることができるというものである。
【０１６８】
以下、実施の形態３によるデータ照合装置について詳細に説明する。
【０１６９】
また、実施の形態３にかかるデータ照合装置の構成を示す図は、実施の形態１のデータ照合装置と同様であるので、説明は省略する。
【０１７０】
また、実施の形態３によるデータ照合装置は、実施の形態１と同様に、オフライン処理とオンライン処理に大別される。ここで、特に、実施の形態１及び実施の形態２との差異について、図１２及び図１３を用いて説明する。
【０１７１】
図１２は、実施の形態３によるオフライン処理の動作フローを示す図であり、図１３は、オンライン処理の動作フローを示す図である。
【０１７２】
オフライン処理では、Ｓ１２００からＳ１２０２までの処理は，図３に示すＳ１０からＳ１２の処理と同様であり、Ｓ１２０５からＳ１２０９までの処理は図３に示すＳ１５からＳ１９までの処理と同様であるので、ここでの説明は省略する。
【０１７３】
Ｓ１２０２により、選択された特徴点の座標から、パラメタ入力部１０２が、図１０に示すように、特徴点の座標周辺の画像である領域画像を選択する（Ｓ１２０３）。
【０１７４】
次に、学習部１０３は、（数１）を用いて、顔の各特徴点の座標を順に並べて連結してひとつのベクトルデータにしたものと、作成した顔の各特徴点の座標のテンプレート画像１４０３ｂ〜１４０８ｂを構成する各画素の値をラスタスキャン順に並べることでベクトルデータ化したベクトルデータとを合成した合成ベクトルを作成し、これを教示ベクトルＶ2とする（Ｓ１２０４）。
【０１７５】
ただし、Ｓ１２０８において、求められる特徴抽出行列Ｃ3は、教示ベクトルＶ2を用いて作成されるので、特徴点の座標及び領域画像を抽出するパラメタである。
【０１７６】
次に、オンライン処理について図１３を用いて説明する。Ｓ１３００からＳ１３０３の処理は図６のＳ２０からＳ２３の処理、Ｓ１３０６からＳ１３０８の処理は図６のＳ２４からＳ２６の処理と同様であるので、ここでの説明は省略する。
【０１７７】
Ｓ１３０２において作成した期待値ベクトルＥは、オフライン処理Ｓ１６で求めた教示ベクトルＶ1、Ｖ2の平均ベクトルＭ1、Ｍ2と、Ｓ１２０８で求めた特徴点の座標及び領域画像を抽出する特徴抽出行列Ｃ3と、オンライン処理のＳ１３０１で求めたベクトルＸを用いた第２の電子データである照合用の顔画像における各特徴点の座標のテンプレート画像の合成ベクトルとなっている。このため、パラメタ計算部３０２は、期待値ベクトルＥより、Ｓ１３０３において、照合用の顔画像における特徴点の座標を得て、Ｓ１３０４において、領域画像であるテンプレート画像を得る。
【０１７８】
次に、テンプレートマッチング部３０３は、Ｓ１３０３で得られた特徴点の座標周辺において、Ｓ１３０４において得たテンプレート画像と、Ｓ１３００において得た画像入力部１０１から入力した照合用の画像とをテンプレートマッチを行い、テンプレート画像にマッチする領域を検出する。そして、テンプレートマッチング部３０３は、この検出した領域から、顔の各特徴点の座標を決定する（Ｓ１３０５）。
【０１７９】
なお、実施の形態１と同様に、テンプレートマッチに用いる相関演算は、ＳＡＤ相関演算（数８）や正規化相関演算（数９）などを用いる。
【０１８０】
以上説明したように、実施の形態３によれば、照合用の顔画像における各特徴点の座標の座標と各特徴点の座標の領域画像の合成ベクトルを推定しておき、推定した顔の各特徴点の座標における座標の周辺に探索範囲を限定できる。
【０１８１】
さらに、この限定した探索範囲に対して、推定された各特徴点の座標の領域画像をテンプレートとして用いてテンプレートマッチング探索をするといった階層的な探索を行うことができる。
【０１８２】
このように、階層的な探索により検出精度も向上するほか、探索範囲を縮小でき、かつ使用するテンプレートも推定された一枚となり、従来に比べ少ない計算コストで検出が可能となる。
【０１８３】
また、実施の形態３によれば、第１の教示ベクトルの共分散行列を求めることで自己相関情報を、第１の教示ベクトルと第２の教示ベクトルとの共分散行列を求めることで相互相関情報を求められる。これにより、単純に行列演算だけ、つまり乗算だけで自己相関情報及び相互相関情報を求められ、処理コストが非常に小さくなる。
【０１８４】
（実施の形態４）
本発明の実施の形態４は、パラメタ推定装置を、車両画像の照合に応用した車両画像照合装置である。
【０１８５】
車両画像照合装置は、画像入力部１０１により撮影された道路上の車両を含む濃淡パターンなどの画像からナンバープレート、ライト及び運転席などの特徴点の座標をベイズ推定により検出する。そして、車両画像照合装置は、得られた特徴点の座標に基づいて得られる車両全体の画像及びナンバープレート番号などの特徴が、予め登録された車両のものと一致するかを照合するものである。
【０１８６】
また、車両画像照合装置の構成を示す図は、実施の形態１による図１と同様であるので、ここでの説明は省略する。
【０１８７】
車両画像照合装置の処理は、オフライン処理とオンライン処理に大別することができる。以下、特に、実施の形態１と異なる部分について図１４から図１６を用いて説明する。
【０１８８】
図１４は、実施の形態４によるオフライン処理の動作フローを示す図である。図１４のＳ１４０１、Ｓ１４０５〜Ｓ１４０８の処理は、実施の形態１と同様で、図３のＳ１１、Ｓ１６〜Ｓ１９の処理と同様であるので、ここでの説明は省略する。
【０１８９】
まず、画像入力部１０１が、入力される第１の電子データとして、照合の対象となるＮ台の車両画像をパラメタ入力部１０２、学習部１０３及び画像データベースに入力する（Ｓ１４００）。
【０１９０】
次に、学習部１０３の第１の教示ベクトル計算部２０２が、教示ベクトルＶ1を算出する（Ｓ１４０１）。
【０１９１】
次に、車両画像の特徴点の座標をパラメタ入力部１０２に含まれるディスプレイが、車両画像の特徴点の座標を一枚ずつ表示する。そして、使用者が、表示された車両画像からパラメタ入力部１０２に含まれるマウスを用いて手動で車両画像の特徴点の座標を選択すると、パラメタ入力部１０２が選択された特徴点の座標を学習部１０３に出力する（Ｓ１４０２）。
【０１９２】
ここで、図１５に、車両画像の特徴点の座標を示す。入力画像１７０１上の車両における特徴点の座標として、フロント部１７０８と車両の各頂点の座標Ａ１７０２〜座標Ｆ１７０７が入力される。
【０１９３】
次に、学習部１０３の第２の教示ベクトル計算部２０１が、入力された特徴点の座標から教示ベクトルＶ2を算出する（Ｓ１４０３）。
【０１９４】
次に、パラメタ入力部１０２、学習部１０３の第２の教示ベクトル計算部２０１及び学習部１０３の第１の教示ベクトル計算部２０２は、Ｎ台分の処理が終了したかを判定し（Ｓ１４０４）、終了したらＳ１４０５に進み、終了していない場合はＳ１４００に進む。
【０１９５】
以後、Ｓ１４０５からＳ１４０８の処理は、図３に示すＳ１６からＳ１９の処理と同様であり、実施の形態１と同様の処理であるため、ここでの説明は省略する。
【０１９６】
次に、オンライン処理について、図１６に示す動作フローを用いて説明する。
【０１９７】
オンライン処理の目的は、入力された車両画像から求める特徴点の座標を推定し、この特徴点の座標を用いて車両画像、ナンバープレート及びフロント部の画像の解析・保存をすることにある。
【０１９８】
図１６のＳ１９００からＳ１９０３、Ｓ１９０７の処理は、図６のＳ２０からＳ２３、Ｓ２６の処理と同様であり、実施の形態１と同様の処理であるので、ここでの説明は省略する。
【０１９９】
照合部１０７は、Ｓ１９０３で求めた特徴点の座標から基準となる間隔を決定し、これに基づき、車両画像、ナンバープレート部領域画像及びフロント部領域画像を切り出す（Ｓ１９０４）。
【０２００】
次に、照合部１０７は、ナンバープレート部領域画像を文字読み取り装置などにかけて、車両のナンバープレート番号を読み取る（Ｓ１９０５）。
【０２０１】
更に、照合部１０７は、車両画像及びナンバープレートと、予めオフライン処理により登録した画像データベース１０６との画像を、例えば固有顔法などの照合手法を用いて照合する（Ｓ１９０６）。
【０２０２】
ここで、図１７に、入力画像１８０２、車両画像１８０４、ナンバープレート部領域画像及び読み取り結果１８０５、照合結果１８０６、及びフロント部領域画像１８０７の表示例を示す。
【０２０３】
以上説明したように実施の形態４により、入力された車両画像及び推定された特徴点の座標の座標を図示し、特徴点の座標を基準に車両全体の画像、ナンバープレート部の画像及びナンバープレート部の文字の読み取り、予め登録された車両との照合結果、運転席及び助手席の画像の拡大画像を表示することにより、車両の情報及び運転者の状況を簡易に把握することができる。
【０２０４】
なお、実施の形態４では、実施の形態１のパラメタ推定方法を用いたが、実施の形態２または実施の形態３を車両画像照合装置に適用した形態であっても良い。
【０２０５】
（実施の形態５）
本発明の実施の形態５は、サンプルの入力画像である入力ベクトルの分布にバラツキが存在する場合に、様々な分布を持つ照合用の入力画像に対応したものである。
【０２０６】
具体的には、サンプルの入力画像と、特徴点の座標との合成情報を複数の分布に分け、それぞれの分布毎に、照合用画像と、照合用画像の特徴点の座標との相関を調べ、これらの相関を用いて照合用画像の特徴点の座標を求めるものである。
【０２０７】
また、実施の形態５によるデータ照合装置は、実施の形態１と同様に、オフライン処理と、オンライン処理に大別される。ここでは、特に、実施の形態１との差異について、図１８から図２０を用いて説明する。
【０２０８】
また、データ照合装置の構成を示す図は、実施の形態１のデータ照合装置と同様であるため、ここでの説明は省略する。ただし、学習部１０３は図２０に示す構成とする。ここで、４０１に示すものは、複数の第１の教示ベクトル及び第２の教示ベクトルを確率分布に基づいた要素分布に分類するための分布要素計算部である。
【０２０９】
また、図１８は、実施の形態５によるオフライン処理の動作フローを示す図であり、図１９は、オンライン処理の動作フローを示す図である。
【０２１０】
オフライン処理における、Ｓ２１００からＳ２１０４の処理は、図３に示すＳ１０からＳ１５までの処理と同じであり、実施の形態１と同様であるので、ここでの説明は省略する。
【０２１１】
Ｓ２１０４によるＮ個分の第１の電子データの入力を確認した後に、分布要素計算部４０１は、Ｎ人分の教示ベクトルＶ1、Ｖ2の合成ベクトルを構成する。
【０２１２】
次に、分布要素計算部４０１は、Ｎ人分の合成ベクトルの集合における確率分布を混合ガウシアンモデル（以下ＧＭＭと呼ぶ）でＲ個の分布を持つ要素分布にモデル化する。そして、分布要素計算部４０１は、要素分布毎に第１の教示ベクトル及び第２の教示ベクトルを平均ベクトル計算部２０３ａに出力する。
【０２１３】
平均ベクトル計算部２０３ａ、平均ベクトル計算部２０３ｂ、相互相関情報計算部２０４及び自己相関情報計算部２０５は、モデル化した際のｋ（ｋ＝１・・Ｒ）番目の要素分布のパラメタを計算する。
【０２１４】
即ち、平均ベクトル計算部２０３ｂは、ｋ番目の要素分布に属するベクトルＶ1の平均ベクトルＭ1kを計算し、平均ベクトル計算部２０３ａは、ｋ番目の要素分布に属するベクトルＶ2の平均ベクトルＭ2kを計算し、相互相関情報計算部は、ベクトルＶ1の共分散行列Ｃ1kの擬似逆行列であるＣ1k*を計算し、自己相関情報計算部は、ベクトルＶ1、Ｖ2の相互相関行列Ｃ12kを計算する（Ｓ２１０５）。
【０２１５】
また、平均ベクトル計算部２０３ｂは、平均ベクトルＭ1kを、自己相関情報計算部２０５及び相互相関情報計算部２０４に出力し、平均ベクトル計算部２０３ａは、平均ベクトルＭ2kを、相互相関情報計算部２０４に出力する。
【０２１６】
この計算には、通常ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ  Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムが用いられるが、これは文献：Ｃｈｒｉｓｔｏｐｈｅｒ  Ｍ．Ｂｉｓｈｏｐ，  Ｏｘｆｏｒｄ出版“Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ”５９〜７３頁（１９９５）に詳細に記述されている。
【０２１７】
次に、自己相関情報計算部２０６は、求めたベクトルＶ1の共分散行列の擬似逆行列Ｃ1k*と、相互相関行列Ｃ12kから（数１０）に従って特徴抽出行列Ｃ3kを計算する（Ｓ２１０６）。
【０２１８】
【数１０】
0003725508.tif 000011
次に、特徴抽出行列計算部２０６は、平均ベクトルＭ1k、Ｍ2k及び特徴抽出行列Ｃ3kを相互情報データベースに出力する（Ｓ２１０７）。
【０２１９】
次に、学習部１０３は、Ｒ個の分布の平均ベクトルＭ1k、Ｍ2k及び特徴抽出行列Ｃ3kが相互情報データベースに蓄積されている場合は、オフライン処理を終了し、Ｒ個の分布の平均ベクトルＭ1k、Ｍ2k及び特徴抽出行列Ｃ3kが相互情報データベースに蓄積されていない場合は、Ｓ２１０５からＳ２１０７を繰り返す（Ｓ２１０８）。
【０２２０】
次に、実施の形態５におけるオンライン処理について、図１９に示す動作フローを用いて説明する。
【０２２１】
実施の形態５のオンライン処理における、Ｓ２２００、Ｓ２２０１、Ｓ２２０３〜Ｓ２２０６の処理は、図６のＳ２０、Ｓ２１、Ｓ２３からＳ２６までの処理と同じであり、実施の形態１と同様であるので、ここでの説明は省略する。
【０２２２】
パラメタ計算部３０２は、Ｓ２２０１により算出した入力ベクトルデータＸに対して、オフラインで求めた特徴抽出行列Ｃ3k及び平均ベクトルＭ1k、Ｍ2kから、（数１１）に従って入力ベクトルデータＸに対する特徴点の座標の期待値ベクトルＥを計算する（Ｓ２２０２）。
【０２２３】
【数１１】
0003725508.tif 000012
（数１１）で得られる特徴点の座標の期待値ベクトルＥは、教示ベクトルＶ1と教示ベクトルＶ2の関係を、２つのベクトルの合成ベクトルにおける分布が混合正規分布であるという仮定の下で、ベイズ推定を用いて学習した時の、入力ベクトルデータＸに対して得られる出力の期待値に等しい。ベイズ推定とは、母数の分布と適当な損失関数を定義し、損失関数の期待値が最小となるように推定する統計的推定法をいう。すなわち、（数１１）によって、入力ベクトルデータＸに対して一番尤もらしい出力値を推定することができると言える。
【０２２４】
以後のＳ２２０３からＳ２２０６の処理は、実施の形態１と同様であるので、ここでの説明は省略する。
【０２２５】
以上のように実施の形態５によれば、サンプルの入力画像を複数の分布に分け、それぞれの分布毎にサンプルの入力画像と、この入力画像の特徴点の座標との相関を調べるようにし、これらの相関を用いて照合用の入力画像の特徴点の座標を推定することができる。これにより、照合用の入力画像の分布、つまり特性にバラツキがあっても、正確に特徴点の座標を推定することができる。
【０２２６】
また、（数１１）に示されるように、行列演算による直接計算によって、入力ベクトルの固有なパラメタを推定することが出来る。このように、従来のテンプレートマッチングを用いた繰り返し演算による探索に比べ、格段に小さな計算コストで、かつ、混合分布モデルを用いているため非常に高精度に推定できるため、その効果は非常に大きい。
【０２２７】
また、実施の形態５によれば、単純に行列演算だけ、つまり乗算だけで要素分布毎の相互相関情報が求められる。
【０２２８】
（実施の形態６）
本発明の実施の形態６は、実施の形態５と同様に、サンプルの入力画像である入力ベクトルの分布にバラツキが存在する場合に対応するものである。実施の形態５は教示ベクトルＶ2顔を各特徴点の座標から求めるのに対し、実施の形態６は、実施の形態２と同様に、顔の特徴点の座標周辺の領域画像から教示ベクトルＶ2を求め、照合用顔画像に適したテンプレートを照合用画像から自動的に生成するようにしたものである。
【０２２９】
具体的には、サンプルの入力画像と、顔の特徴点の座標周辺の領域画像との合成情報を複数の分布に分け、それぞれの分布毎に、照合用画像と、照合用画像の特徴点の座標との相関を調べ、これらの相関を用いて照合用画像の特徴点の座標を求めるものである。
【０２３０】
また、実施の形態６によるデータ照合装置は、実施の形態２及び実施の形態５と同様に、オフライン処理と、オンライン処理に大別される。ここでは、特に、実施の形態１との差異について、図２１及び図２２を用いて説明する。
【０２３１】
実施の形態６のオフライン処理における、Ｓ２４００からＳ２４０２、Ｓ２４０４の処理は、図３のＳ１０からＳ１２、Ｓ１５の処理と同様であり、実施の形態１と同様であるので、ここでの説明は省略する。また、Ｓ２４０５からＳ２４０８の処理は、図１８のＳ２１０５からＳ２１０８の処理と同様であるので、説明を省略する。
【０２３２】
学習部１０３の第２の教示ベクトル計算部２０１が、Ｓ２４０２により入力した特徴点の座標から、顔の各部位における周辺領域の画像を切り出し、教示ベクトルＶ2を算出する（Ｓ２４０３）。
【０２３３】
次にＳ２４０４において、Ｎ個分の入力の終了を確認した後に、学習部１０３は、図２１に示すＳ２４０５からＳ２４０８の処理を行い、Ｒ個の分布の平均ベクトルＭ1k、Ｍ2k及び特徴抽出行列Ｃ3kが相互情報データベースに蓄積を行う。
【０２３４】
ただし、ここでの特徴抽出行列Ｃ3kは、顔の特徴点の座標周辺の領域画像により産出されたものである。
【０２３５】
次に、実施の形態６におけるオンライン処理について、図２２に示す動作フローを用いて説明する。
【０２３６】
実施の形態６のオンライン処理における、Ｓ２５００、Ｓ２５０１、Ｓ２５０５からＳ２５０７までの処理は、図６のＳ２０、Ｓ２１、Ｓ２４からＳ２６の処理と同様であり、実施の形態１と同様であるので、ここでの説明は省略する。
【０２３７】
パラメタ計算部３０２は、Ｓ２５０１において算出されたベクトルＸに、（数１１）を用いて、期待値ベクトルＥを算出する（Ｓ２５０２）。
【０２３８】
次に、テンプレートマッチング部３０３は、Ｒ個の分布を持つ要素分布にモデル化したテンプレート画像を作成し（Ｓ２５０３）、テンプレートマッチングを実行し、第２の電子データにおける特徴点の座標を算出する（Ｓ２５０４）。
【０２３９】
以後のＳ２５０５からＳ２５０７の処理は、実施の形態１と同様であるので、ここでの説明は省略する。
【０２４０】
以上説明したように実施の形態６によれば、サンプルの画像を複数の分布に分け、それぞれの分布毎にサンプル画像とこの画像の各部位の画像との相関を調べるようにし、これらの相関を用いることにより、照合用の入力画像の各部位における画像を推定することができる。これにより、照合用の入力画像の分布、つまり特性にバラツキがあっても、正確に各部位を推定できる。そして、この推定した各部位の画像をテンプレートとしてテンプレートマッチングを行うことで、照合用の入力画像における特徴点の座標を検出できる。
【０２４１】
（実施の形態７）
本発明の実施の形態７は、実施の形態５と同様に、サンプルの入力画像である入力ベクトルの分布にバラツキが存在する場合に対応したものである。教示ベクトルＶ2を、実施の形態５では、顔の各特徴点の座標から求め、実施の形態６では、顔の特徴点の座標周辺の領域画像から求めるのに対して、実施の形態７では、実施の形態３と同様に、顔の特徴点の座標及び顔の特徴点の座標周辺における領域画像の結合ベクトルから教示ベクトルＶ2を求める。そして、求めた教示ベクトルＶ2を用いて、照合用顔画像の特徴点の座標を推定し、更に、照合用顔画像に適したテンプレートを照合用画像から自動的に生成する。そして、この推定した特徴点の座標の周辺領域を自動生成したテンプレートを用いてマッチングをするものである。
【０２４２】
これにより、テンプレートの探索範囲を限定し、一枚のテンプレートでのマッチング処理が可能になるというものであり、従来のように、照合用顔画像の全領域の探索、複数のテンプレートの使用に比べ各段に計算コストを減少させることができるというものである。
【０２４３】
また、実施の形態７によるデータ照合装置は、実施の形態３及び実施の形態５と同様に、オフライン処理と、オンライン処理に大別される。ここでは、特に、実施の形態１との差異について、図２３及び図２４を用いて説明する。
【０２４４】
実施の形態７のオフライン処理における、Ｓ２６００からＳ２６０２、Ｓ２６０５の処理は、図３のＳ１０からＳ１２、Ｓ１５の処理と同様であり、実施の形態１と同様であるので、ここでの説明は省略する。
【０２４５】
学習部１０３の第２の教示ベクトル計算部２０１は、Ｓ２６０２において入力された特徴点の座標を用いて、第１の電子データにおける各部位の周辺領域の画像を切り出し（Ｓ２６０３）、Ｓ２６０２において入力された特徴点の座標と、Ｓ２６０３により切り出された画像の合成ベクトルである教示ベクトルＶ2を算出する（Ｓ２６０４）。
【０２４６】
Ｓ２６０５において、Ｎ個分の入力の終了を確認した後に、学習部１０３は、図２１のＳ２４０５からＳ２４０８と同様の処理を行い、Ｒ個の分布の平均ベクトルＭ1k、Ｍ2k及び特徴抽出行列Ｃ3kが相互情報データベースに蓄積を行う（Ｓ２６０６からＳ２６０９）。
【０２４７】
ただし、ここでの特徴抽出行列Ｃ3kは、第１の電子データにおける特徴点の座標と特徴点の座標周辺の領域画像の合成ベクトルにより産出されたものである。
【０２４８】
次に、実施の形態７におけるオンライン処理について、図２４に示す動作フローを用いて説明する。
【０２４９】
実施の形態７のオンライン処理における、Ｓ２７００、Ｓ２７０１、Ｓ２７０５からＳ２７０７の処理は、図６のＳ２０、Ｓ２１、Ｓ２４からＳ２６までの処理と同様であり、実施の形態１と同様であるので、ここでの説明は省略する。
【０２５０】
パラメタ計算部３０２は、Ｓ２７０１において算出されたベクトルＸから、（数１１）を用いて、期待値ベクトルＥを算出する（Ｓ２７０２）。
【０２５１】
次に、テンプレートマッチング部３０３は、Ｒ個の分布を持つ要素分布にモデル化したテンプレート画像を作成し（Ｓ２７０３）、Ｓ２７０３によりベクトルＥで得られた特徴点の座標周辺でテンプレートマッチングを実行し、第２の電子データにおける特徴点の座標を算出する（Ｓ２７０４）。
【０２５２】
以後のＳ２７０５からＳ２７０７の処理は、実施の形態１と同様であるので、ここでの説明は省略する。
【０２５３】
以上説明したように実施の形態７によれば、サンプルの画像を複数の分布に分け、それぞれの分布毎にサンプル画像と、この画像の各特徴点の座標と各特徴点の座標の画像との相関を調べるようにできる。そして、調べた相関を使用して照合用の入力画像の顔における各特徴点の座標を推定できる。そして、さらに推定した特徴点の座標の周辺領域を推定されたテンプレートを用いてマッチングをするという階層的な探索処理により、照合用画像の特徴点の座標の推定ができる。
【０２５４】
これにより、特徴点の座標の推定における精度の向上が可能であり、テンプレートマッチングの範囲を限定した領域に絞り、しかも一枚のテンプレートだけで行える。この結果、従来の全探索する手法に比べ計算コストの削減が可能となる。
【０２５５】
（実施の形態８）
本発明の実施の形態８は、サンプルの入力画像が車両であり、実施の形態５と同様に、サンプルの入力画像である入力ベクトルの分布にバラツキが存在する場合に、様々な分布を持つ照合用の入力画像に対応したものである。
【０２５６】
また、実施の形態８によるデータ照合装置は、実施の形態４及び実施の形態５と同様に、オフライン処理と、オンライン処理に大別される。ここでは、特に、実施の形態１との差異について、図２５を用いて説明する。
【０２５７】
実施の形態８のオフライン処理は、実施の形態５と同様であるので、ここでの説明は省略する。ただし、Ｒ個の分布の平均ベクトルＭ1k、Ｍ2k及び特徴抽出行列Ｃ3kは、車両画像、ナンバープレート部領域画像及びフロント部領域画像からなる。
【０２５８】
次に、実施の形態８におけるオンライン処理について、図２５に示す動作フローを用いて説明する。
【０２５９】
実施の形態８のオンライン処理における、Ｓ２８００、Ｓ２８０１、Ｓ２８０３からＳ２８０７の処理は、図６のＳ２０、Ｓ２１、Ｓ２３及びＳ２６の処理と同様であり、実施の形態１と同様であるので、ここでの説明は省略する。
【０２６０】
パラメタ計算部３０２は、Ｓ２８０１において算出されたベクトルＸから、（数１１）を用いて、期待値ベクトルＥを算出する（Ｓ２８０２）。
【０２６１】
照合部１０７は、Ｓ２８０３において算出された特徴点の座標から、車両画像、ナンバープレート部領域画像及びフロント部領域画像を算出し（Ｓ２８０４）、ナンバープレートを読取り（Ｓ２８０５）、車両画像及びナンバープレートの照合を行う（Ｓ２８０６）。
【０２６２】
以上説明したように、実施の形態８によれば、サンプルの車両画像を複数の分布に分け、それぞれの分布毎にサンプルの車両画像と、この画像の各特徴点の座標の画像との相関を調べるようにし、これらの相関を用いて照合用の車両画像の各特徴点の座標における画像を推定することができる。
【０２６３】
これにより、照合用の車両画像の分布、つまり特性にバラツキがあっても、正確に各特徴点の座標を推定できる。そして、この推定した各特徴点の座標の画像をテンプレートとしてテンプレートマッチングを行うことで、照合用の車両画像における特徴点の座標を検出できる。
【０２６４】
なお、実施の形態８では、実施の形態５のデータ照合装置を車両画像照合装置に適用した形態で説明したが、実施の形態６または実施の形態７のデータ照合装置を車両画像照合装置に適用した形態であっても良い。
【０２６５】
なお、本発明は、上述の実施の形態に限定されるものではない。
【０２６６】
なお、本発明では、コンピュータがプログラムを読み込むことで実現し、これをフレキシブル等の記憶媒体に記憶して移送することにより、独立した他のコンピュータシステムで容易に実施することができる。
【０２６７】
また、本発明を実施するコンピュータをプログラムするために使用できる命令を含む記憶媒体であるコンピュータプログラム製品が本発明の範囲に含まれる。この記憶媒体は、フレキシブルディスク、光ディスク、ＣＤＲＯＭ、磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気光カード、メモリカード又はＤＶＤ等であるが、特にこれらに限定されるものではない。
【０２６８】
また、本発明のパラメタ推定装置を顔画像及び車両画像以外の画像の照合に使用しても良い。
【０２６９】
また、本発明では、パラメタ推定装置を画像照合に用いたが、入力データとして画像以外のデータを入力することで、本パラメタ推定装置を画像照合以外の照合装置に用いても良い。例えば、入力データとして音声データなどを入力することで、本パラメタ推定装置を音声照合装置に用いても良い。
【０２７０】
【発明の効果】
以上説明したように本発明によれば、少ない処理コストで入力画像の特徴点の座標を正確に求めることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるデータ照合装置を示す図
【図２】実施の形態１における学習部を示す図
【図３】実施の形態１にかかるデータ照合装置のオフライン処理の動作フロー図
【図４】実施の形態１においてユーザにより入力される顔の特徴点の座標を示す図
【図５】実施の形態１におけるパラメタ推定部を示す図
【図６】実施の形態１にかかるデータ照合装置のオンライン処理の動作フロー図
【図７】実施の形態１において検出された顔領域を示す図
【図８】実施の形態１においてディスプレイへ出力される図
【図９】本発明の実施の形態２にかかるデータ照合装置のオフライン処理の動作フロー図
【図１０】実施の形態２においてユーザにより入力される顔の特徴点の座標を示す図
【図１１】実施の形態２にかかるデータ照合装置のオンライン処理の動作フロー図
【図１２】本発明の実施の形態３にかかるデータ照合装置のオフライン処理の動作フロー図
【図１３】実施の形態３にかかるデータ照合装置のオンライン処理の動作フロー図
【図１４】本発明の実施の形態４にかかる車両画像照合装置のオフライン処理の動作フロー図
【図１５】実施の形態４においてユーザにより入力される車両画像の特徴点の座標を示す図
【図１６】実施の形態４にかかる車両画像照合装置のオンライン処理の動作フロー図
【図１７】実施の形態４においてディスプレイへ出力される図
【図１８】本発明の実施の形態５にかかるデータ照合装置のオフライン処理の動作フロー図
【図１９】実施の形態５にかかるデータ照合装置のオンライン処理の動作フロー図
【図２０】実施の形態５にかかる学習部を示す図
【図２１】本発明の実施の形態６にかかるデータ照合装置のオフライン処理の動作フロー図
【図２２】実施の形態６にかかるデータ照合装置のオンライン処理の動作フロー図
【図２３】本発明の実施の形態７にかかるデータ照合装置のオフライン処理の動作フロー図
【図２４】実施の形態７にかかるデータ照合装置のオンライン処理の動作フロー図
【図２５】実施の形態８にかかる車両画像照合装置のオンライン処理の動作フロー図
【図２６】従来の顔の特徴抽出方法の動作フロー図
【図２７】目のテンプレートを示す図
【図２８】テンプレートによる探索を示す図
【符号の説明】
１０１  画像入力部
１０２  パラメタ入力部
１０３  学習部
１０４  相関情報データベース
１０５  パラメタ推定部
１０６  画像データベース
１０７  照合部
１０８  出力部
２０１  第２の教示ベクトル計算部
２０２  第１の教示ベクトル計算部
２０３ａ、２０３ｂ  平均ベクトル計算部
２０４  相互相関情報計算部
２０５  自己相関情報計算部
２０６  特徴抽出行列計算部
３０１  ベクトル計算部
３０２  パラメタ計算部
３０３  テンプレートマッチング部
４０１  分布要素計算部
１３０２  照合領域
【図１】
0003725508.tif 000013
【図２】
0003725508.tif 000014
【図３】
0003725508.tif 000015
【図４】
0003725508.tif 000016
【図５】
0003725508.tif 000017
【図６】
0003725508.tif 000018
【図７】
0003725508.tif 000019
【図８】
0003725508.tif 000020
【図９】
0003725508.tif 000021
【図１０】
0003725508.tif 000022
【図１１】
0003725508.tif 000023
【図１２】
0003725508.tif 000024
【図１３】
0003725508.tif 000025
【図１４】
0003725508.tif 000026
【図１５】
0003725508.tif 000027
【図１６】
0003725508.tif 000028
【図１７】
0003725508.tif 000029
【図１８】
0003725508.tif 000030
【図１９】
0003725508.tif 000031
【図２０】
0003725508.tif 000032
【図２１】
0003725508.tif 000033
【図２２】
0003725508.tif 000034
【図２３】
0003725508.tif 000035
【図２４】
0003725508.tif 000036
【図２５】
0003725508.tif 000037
【図２６】
0003725508.tif 000038
【図２７】
0003725508.tif 000039
【図２８】
0003725508.tif 000040