(57)【要約】【課題】入力画像に合成画像を良好に合成可能とする。【解決手段】レンズ歪みを考慮した参照画像の特徴点辞書を用いて、入力画像と参照画像の特徴点のマッチングを行う。マッチングで見つけられた対応点について、入力画像の特徴点の座標をレンズ歪データに基づいて補正した後、各対応点に基づいてホモグラフィ（射影関係）を算出する。入力画像にレンズ歪みが存在する場合にあっても、入力画像に合成画像を良好に合成できる。また、入力画像にレンズ歪補正を行うものではなく、入力画像の特徴点の座標にレンズ歪補正を行うものであり、計算量の大幅な抑制が可能となる。【選択図】図２
2013156722.tif 000002
【特許請求の範囲】
【請求項１】
カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出部と、
参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出部で抽出された入力画像の特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定部と、
上記対応関係決定部で決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪データに基づいて補正する特徴点座標歪補正部と、
上記対応関係決定部で決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正部で補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出部と、
上記射影関係算出部で算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換部と、
上記入力画像に上記合成画像座標変換部で生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成部とを備える
画像処理装置。
【請求項２】
上記特徴点辞書は、上記カメラのレンズ歪みの他に、さらにインターレース画像を考慮して生成されている
請求項１に記載の画像処理装置。
【請求項３】
カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出ステップと、
参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出ステップで抽出された特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定ステップと、
上記対応関係決定ステップで決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪データに基づいて補正する特徴点座標歪補正ステップと、
上記対応関係決定ステップで決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正ステップで補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出ステップと、
上記射影関係算出ステップで算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換ステップと、
上記入力画像に上記合成画像座標変換ステップで生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成ステップとを備える
画像処理方法。
【請求項４】
コンピュータを、
カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出手段と、
参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出手段で抽出された特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定手段と、
上記対応関係決定手段で決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪みデータに基づいて補正する特徴点座標歪補正手段と、
上記対応関係決定手段で決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正手段で補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出手段と、
上記射影関係算出手段で算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換手段と、
上記入力画像に上記合成画像座標変換手段で生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成手段と
して機能させるプログラム。
【請求項５】
参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換部と、
上記画像変換部で変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録部とを備える
学習装置。
【請求項６】
上記辞書登録部は、
上記画像変換部で変換された画像の特徴点を求める特徴点計算部と、
上記特徴点計算部で求められた特徴点の座標を上記参照画像上の座標に変換する特徴点座標変換部と、
上記画像変換部で変換された参照画像毎の上記特徴点座標変換部で変換された特徴点座標に基づいて、各特徴点の出現頻度を更新する出現頻度更新部と、
上記出現頻度更新部で出現頻度が更新された各特徴点のうち、出現頻度が上位から任意の数の特徴点を取り出して上記辞書に登録する特徴点登録部を有する
請求項５に記載の学習装置。
【請求項７】
上記画像変換部は、
上記参照画像に、上記幾何変換および上記レンズ歪変換と共に、プログレッシブ画像からインターレース画像に変換するプログレッシブ／インターレース変換を選択的に施して上記複数の変換画像を生成する
請求項５に記載の学習装置。
【請求項８】
上記画像変換部は、
複数のレンズ歪データからランダムに選択されたレンズ歪データに基づいて上記レンズ歪変換を施して上記複数の変換画像を生成する
請求項５に記載の学習装置。
【請求項９】
参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換ステップと、
上記画像変換ステップで変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録ステップとを備える
学習方法。
【請求項１０】
コンピュータを、
参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換手段と、
上記画像変換手段で変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録手段と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、学習装置、学習方法およびプログラムに関し、特に、入力画像の指定領域に所定の画像を合成し得る画像処理装置等に関する。
【背景技術】
【０００２】
近年、拡張現実感に対するニーズが生じてきた。拡張現実感を実現するためにいくつかの方法がある。例えば、ＧＰＳ（Global Positioning System）などの位置情報を用いたものや、画像解析を用いたものなどが挙げられる。その１つに、特定物体認識の技術を用いて、特定物体の姿勢・位置を基準にＣＧ（Computer Graphics）の合成を行う拡張現実感がある。例えば、特許文献１には、姿勢・位置の推定結果に基づく画像処理装置が記載されている。
【０００３】
拡張現実感の品質を決める主な要素として、幾何学的整合性が挙げられる。幾何学的整合性とは、幾何的に違和感なく映像中にＣＧを合成することである。「幾何的に違和感が無い」とは、例えば、特定物体の姿勢・位置の推定の正確さのことであり、対象の領域が移動する場合に、追従してＣＧを動かす、または、カメラが動いたときに動きに追従してＣＧを動かすことである。
【０００４】
簡単のために、以下ではＣＧに画像を想定して、指定の平面領域に画像を貼り付けることを考える。例えば、屋外の広告看板を指定領域として、その上に画像を貼り付けるような場合である。幾何的整合性を達成するには、画像を貼り付けるための指定の領域の位置を推定することが必要である。特定の領域は、マーカーと呼ばれる特殊な２次元コードや任意の画像で定めるのが一般的である。以下では、指定領域をマーカーと呼ぶ。
【０００５】
マーカーを認識して画像を貼り付けるためのアルゴリズムでは、マーカーのデータを参照用の画像（参照画像）や、その特徴を表した辞書としてプログラムに記憶させておき、参照画像と入力画像を照合して、入力画像中のマーカーを探し出すという枠組みが一般に用いられる。マーカーの位置を認識する手法は、大きくわけて、（１）参照画像と入力画像間の各画像の密な濃淡の差分評価に基づく手法、（２）参照画像の事前学習に基づく手法の２つがある。
【０００６】
（１）の手法は、推定精度の面では有利だが、計算量が多く、リアルタイム処理に適さない。一方、（２）の手法は、事前に行う学習で多くの計算を行い、参照画像を解析する。そのため、各時刻の入力映像に対する認識処理が少ない計算で済むので、リアルタイムでの動作が期待される。
【０００７】
図１９は、撮像画像に合成画像を合成し得る画像処理装置４００の構成例を示している。この画像処理装置４００は、特徴点抽出部４０１と、マッチング部４０２と、ホモグラフィ算出部４０３と、合成画像座標変換部４０４と、出力画像生成部４０５と、記憶部４０６を有している。
【０００８】
特徴点抽出部４０１は、入力画像（撮像画像）の特徴点を抽出する。ここで、特徴点とは、輝度値を見たときに角（コーナー）となるような画素のことをいう。マッチング部４０２は、記憶部４０６に記憶されている、事前学習で作成された参照画像の特徴点辞書に基づいて、マッチング処理、つまり入力画像の特徴点が参照画像の特徴点に対応しているかを計算し、２画像間の特徴点の対応点を得る。
【０００９】
ホモグラフィ算出部４０３は、マッチング部４０２で求められた２つの画像の対応点を用いて、２画像間の画像変換であるホモグラフィを算出する。合成画像座標変換部４０４は、記憶部４０６に記憶されている合成画像を、ホモグラフィを用いて変換する。出力画像生成部４０５は、入力画像に変換された合成画像を合成して、出力画像を得る。
【００１０】
図２０のフローチャートは、図１９に示す画像処理装置４００における処理の流れの一例を示している。まず、画像処理装置４００は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２において、入力画像（撮像画像）を入力し、その後に、ステップＳＴ３の処理に移る。
【００１１】
画像処理装置４００は、ステップＳＴ３において、特徴点抽出部４０１により、入力画像の特徴点を抽出する。次に、画像処理装置４００は、ステップＳＴ４において、マッチング部４０２により、記憶部４０６に記憶されている参照画像の特徴点辞書と、特徴点抽出部４０１で抽出された入力画像の特徴点に基づいて、入力画像と参照画像の間で特徴点をマッチングする。このマッチング処理により、入力画像および参照画像の特徴点の対応点が求められる、
【００１２】
次に、画像処理装置４００は、ステップＳＴ５において、ホモグラフィ算出部４０３により、マッチング部４０２で求められた２つの画像の対応点を用いて、２画像間の画像変換であるホモグラフィを算出する。そして、画像処理装置４００は、ステップＳＴ６において、ホモグラフィ行列を算出できたか否かを判断する。
【００１３】
ホモグラフィ行列を算出できたとき、画像処理装置４００は、ステップＳＴ７において、このホモグラフィ行列に基づき、記憶部４０６に記憶されている合成画像を、ステップＳＴ５で算出されたホモグラフィ行列を用いて変換する。そして、画像処理装置４００は、ステップＳＴ８において、出力画像生成部４０５により、変換された合成画像を入力画像に合成して、出力画像を得る。
【００１４】
次に、画像処理装置４００は、ステップＳＴ９において、ステップＳＴ８で得られた出力画像を出力し、その後に、ステップＳＴ１０において、処理を終了する。一方、ステップＳＴ６でホモグラフィ行列を算出できなかったとき、画像処理装置４００は、ステップＳＴ１１において、入力画像をそのまま出力し、その後に、ステップＳＴ１０において、処理を終了する。
【００１５】
上述のマッチング処理において、マーカーが回転などして姿勢が変化しても頑強（ロバスト）に対応点を得ることができるかが技術的なポイントとなり、姿勢に頑強に対応点を得るための手法が様々提案されている。マーカーの姿勢変化にロバストな手法として、例えば、（１）非特許文献１に記載されるSIFT特徴量、（２）非特許文献２に記載される“Random Ferns”の２つが挙げられる。
【００１６】
SIFT特徴量は、特徴点周辺の画素の勾配方向を用いて特徴点を記述することで、マーカーの回転にロバストに認識を行うことができる。また、“Random Ferns”は、ベイズ統計を利用して参照画像を画像変換して事前に学習することでマーカーの姿勢変化にロバストに認識を行うことができる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００７−２１９７６４号公報
【非特許文献】
【００１８】
【非特許文献１】D. G. Lowe, “Object recognition from localscale invariant features”, Proc. of IEEE International
【非特許文献２】M. ?zuysal, M. Calonder, V. Lepetit, P. Fua Fast KeypointRecognition using Random Ferns  IEEE Transactions on Pattern Analysis andMachine Intelligence, Vol. 32, Nr. 3, pp. 448 - 461, March 2010
【発明の概要】
【発明が解決しようとする課題】
【００１９】
従来手法の問題点の一つとして、入力画像がインターレースの場合やレンズ歪がある場合に対応していない点が挙げられる。この問題に起因するデメリットは、特徴点抽出の前処理として入力画像に対してＩＰ変換や、歪補正を行う必要があり、計算量が大幅に増加することにある。
【００２０】
この問題の原因は、事前学習に基づいた手法では、認識対象の画像上での見え方を考慮して学習を行うが、画像上での見え方は認識対象の姿勢変化とカメラの姿勢変化、特性によって決定されるのに対して、従来手法ではカメラの姿勢変化、特性を考慮していない点にある。このうち、認識対象の姿勢変化とカメラの姿勢変化は、相対的でありカメラの姿勢変化は認識対象の姿勢変化によって表現することができる。したがって、従来手法の問題点の原因は、カメラの特性を考慮していないことに集約される。
【００２１】
図２１の画像処理装置４００Ａは、特徴点抽出の前処理として入力画像（インターレース画像）に対してＩＰ変換や歪補正を行うようにした画像処理装置４００Ａの構成例を示している。この図２１において、図１９と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【００２２】
この画像処理装置４００Ａは、特徴点抽出部４０１の前段に、ＩＰ変換部４１１およびレンズ歪み補正部４１２を有する。ＩＰ変換部４１１は、入力画像をインターレース画像からプログレッシブ画像に変換する。また、レンズ歪補正部４１２は、記憶部４０６に記憶されているレンズ歪データに基づいて、プログレッシブ画像に変換された入力画像のレンズ歪みを補正する。この場合のレンズ歪データは、入力画像を撮像したカメラのレンズ歪を示すデータであり、予め測定されて、記憶部４０６に記憶されている。
【００２３】
また、この画像処理装置４００Ａは、出力画像生成部４０５の後段に、レンズ歪変換部４１３およびＰＩ変換部４１４を有する。レンズ歪変換部４１３は、記憶部４０６に記憶されているレンズ歪データに基づいて、出力画像生成部４０５で生成された出力画像にレンズ歪みが付加されるように、レンズ歪変換を行う。上述したようレンズ歪補正部４１２により出力画像生成部４０５で生成された出力画像はレンズ歪みが除去されたものとなっている。
【００２４】
レンズ歪補正部４１３では、このように除去されたレンズ歪みを元の状態に戻し、撮影者が意図して撮影した画像に戻すためのものである。ＰＩ変換部４１４は、レンズ歪変換された出力画像をプログレッシブ画像からインターレース画像に変換して出力する。詳細説明は省略するが、この図２１に示す画像処理装置４００Ａのその他は、図１９に示す画像処理装置４００と同様に構成されている。
【００２５】
図２２のフローチャートは、図２１に示す画像処理装置４００Ａにおける処理の流れを示している。この図２２において、図２０と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。画像処理装置４００Ａは、ステップＳＴ１において、処理を開始し、ステップＳＴ２において、インターレース画像である入力画像（撮像画像）を入力し、その後に、ステップＳＴ２１の処理に移る。このステップＳＴ２１において、画像処理装置４００Ａは、入力画像をインターレース画像からプログレッシブ画像に変換する。
【００２６】
次に、画像処理装置４００Ａは、ステップＳＴ２２において、レンズ歪み補正部４１２により、記憶部４０６に記憶されているレンズ歪データに基づいて、プログレッシブ画像に変換された入力画像のレンズ歪みを補正する。そして、画像処理装置４００Ａは、ステップＳＴ３において、ＩＰ変換およびレンズ歪補正された入力画像の特徴点を抽出する。
【００２７】
また、画像処理装置４００Ａは、ステップＳＴ８の処理の後、ステップＳＴ２３において、レンズ歪変換部４１３により、記憶部４０６に記憶されているレンズ歪データに基づいて、得られた出力画像にレンズ歪変換を行ってレンズ歪みを付加する。次に、画像処理装置４００Ａは、ステップＳＴ２４において、レンズ歪変換された出力画像をプログレッシブ画像からインターレース画像に変換する。
【００２８】
そして、画像処理装置４００Ａは、ステップＳＴ９において、レンズ歪変換およびＰＩ変換が施された出力画像を出力する。詳細説明は省略するが、図２２のフローチャートのその他のステップは、図２０のフローチャートと同様である。
【００２９】
本技術の目的は、入力画像に合成画像を良好に合成可能とすることにある。
【課題を解決するための手段】
【００３０】
本技術の概念は、
カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出部と、
参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出部で抽出された入力画像の特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定部と、
上記対応関係決定部で決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪データに基づいて補正する特徴点座標歪補正部と、
上記対応関係決定部で決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正部で補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出部と、
上記射影関係算出部で算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換部と、
上記入力画像に上記合成画像座標変換部で生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成部とを備える
画像処理装置にある。
【００３１】
本技術において、特徴点抽出部により、入力画像の特徴点が抽出される。この入力画像は、カメラの撮像画像であり、例えば、カメラから直接得られるか、あるいはストレージから読み出されて得られるものである。対応関係決定部により、抽出された入力画像の特徴点と参照画像の特徴点との対応関係が決定される。すなわち、この対応関係決定部では、入力画像および参照画像の特徴点のマッチングが行われて対応点が得られる。この対応関係の決定は、参照画像からカメラのレンズ歪みを考慮して生成された特徴点辞書を用いて行われる。
【００３２】
特徴点座標歪補正部により、対応関係決定部で決定された、参照画像の特徴点に対応した入力画像の特徴点の座標が、カメラのレンズ歪データに基づいて補正される。そして、射影関係算出部により、決定された対応関係で、参照画像の特徴点の座標と特徴点座標変換部で変換された入力画像の特徴点の座標に基づいて、入力画像と参照画像の射影関係（ホモグラフィ）が算出される。そして、合成画像座標変換部により、算出された射影関係とカメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像が生成される。そして、出力画像生成部により、入力画像に生成された貼り合わせ用の合成画像が合成され、出力画像が得られる。
【００３３】
このように本技術においては、レンズ歪みを考慮した参照画像の特徴点辞書を用いて特徴点のマッチングが行われるものであり、入力画像にレンズ歪みが存在する場合にあっても、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。この場合、入力画像にレンズ歪補正を行うものではなく、入力画像の特徴点の座標にレンズ歪補正を行うものであり、計算量の大幅な抑制が可能となる。
【００３４】
なお、本技術において、例えば、特徴点辞書は、カメラのレンズ歪みの他に、さらにインターレース画像を考慮して生成されていてもよい。この場合、インターレース画像を考慮した参照画像の特徴点辞書を用いて特徴点のマッチングが行われるものであり、入力画像がインターレース画像であっても、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。この場合、インターレースの入力画像をプログレッシブ画像に変換するものではなく、計算量の大幅な抑制が可能となる。
【００３５】
なお、本技術の他の概念は、
参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換部と、
上記画像変換部で変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録部とを備える
学習装置にある。
【００３６】
本技術においては、画像変換部により、参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換が施される。そして、辞書登録部により、変換された複数の変換画像に基づいて所定数の特徴点が抽出されて辞書に登録される。
【００３７】
例えば、辞書登録部は、画像変換部で変換された参照画像の特徴点を求める特徴点計算部と、この画像変換部で変換された画像の特徴点を求める特徴点計算部と、この特徴点計算部で求められた特徴点の座標を参照画像上の座標に変換する特徴点座標変換部と、画像変換部で変換された参照画像毎の特徴点座標変換部で変換された特徴点座標に基づいて、各特徴点の出現頻度を更新する出現頻度更新部と、この出現頻度更新部で出現頻度が更新された各特徴点のうち、出現頻度が上位から任意の数の特徴点を取り出して辞書に登録する特徴点登録部を有する、ようにされてもよい。
【００３８】
このように本技術においては、レンズ歪変換が施された複数の変換画像に基づいて所定数の特徴点が抽出されて辞書の登録が行われる。そのため、カメラのレンズ歪みを考慮した参照画像の特徴点辞書を良好に得ることができる。
【００３９】
なお、本技術において、例えば、画像変換部は、参照画像に、幾何変換およびレンズ歪変換と共に、プログレッシブ画像からインターレース画像に変換するプログレッシブ／インターレース変換を選択的に施して複数の変換画像を生成する、ようにされてもよい。この場合、カメラのレンズ歪みと、プログレッシブおよびインターレースの双方の画像を考慮した特徴点辞書を良好に得ることができる。
【００４０】
また、本技術において、例えば、画像変換部は、複数のレンズ歪みデータからランダムに選択されたレンズ歪データに基づいてレンズ歪み変換を施して複数の変換画像を生成する、ようにされてもよい。この場合、複数のカメラのレンズ歪みを考慮した特徴点辞書を良好に得ることができる。
【発明の効果】
【００４１】
本技術によれば、入力画像に合成画像を良好に合成できる。
【図面の簡単な説明】
【００４２】
【図１】この発明の実施の形態としての画像処理システムの構成例を示すブロック図である。
【図２】画像処理システムを構成する画像処理装置の構成例を示すブロック図である。
【図３】画像処理装置における処理の流れの一例を示すフローチャートである。
【図４】入力画像および参照画像の一例を示す図である。
【図５】入力画像および参照画像の特徴点のマッチング例を示す図である。
【図６】合成画像および出力画像の一例を示す図である。
【図７】画像処理システムを構成する学習装置の構成例を示すブロック図である。
【図８】学習装置を構成する特徴点抽出部の構成例を示すブロック図である。
【図９】特徴点の出現頻度を説明するための図である。
【図１０】特徴点抽出部における処理の流れの一例を示すフローチャートである。
【図１１】学習装置を構成する画像特徴学習部の構成例を示すブロック図である。
【図１２】画像特徴学習部における処理の流れの一例を示すフローチャートである。
【図１３】ＰＩ変換を行うか否かの判断処理を入れる場合における特徴点抽出部の処理の流れの一例を示すフローチャートである。
【図１４】ＰＩ変換を行うか否かの判断処理を入れる場合における画像特徴学習部の処理の流れの一例を示すフローチャートである。
【図１５】複数のカメラのレンズ歪変換が施された変換画像を用いる場合における特徴点抽出部の処理の流れの一例を示すフローチャートである。
【図１６】複数のカメラのレンズ歪変換が施された変換画像を用いる場合における画像特徴学習部の処理の流れの一例を示すフローチャートである。
【図１７】ＰＩ変換を行うか否かの判断処理を入れると共に、複数のカメラのレンズ歪変換が施された変換画像を用いる場合における特徴点抽出部の処理の流れの一例を示すフローチャートである。
【図１８】ＰＩ変換を行うか否かの判断処理を入れると共に、複数のカメラのレンズ歪変換が施された変換画像を用いる場合における画像特徴学習部の処理の流れの一例を示すフローチャートである。
【図１９】撮像画像に合成画像を合成し得る画像処理装置の構成例を示すブロック図である。
【図２０】画像処理装置における処理の流れの一例を示すフローチャートである。
【図２１】撮像画像に合成画像を合成し得る画像処理装置の他の構成例を示すブロック図である。
【図２２】他の構成例の画像処理装置における処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００４３】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００４４】
＜１．実施の形態＞
［画像処理システムの構成例］
図１は、実施の形態としての画像処理システム１０の構成例を示している。この画像処理システム１０は、画像処理装置１００と学習装置２００により構成されている。
【００４５】
学習装置２００は、参照画像の画像特徴を抽出してデータベースとしての特徴点辞書を生成する。このとき、認識対象の姿勢変形とカメラの特性を考慮して画像特徴を抽出する。このように学習装置２００で参照画像の解析を行うことにより、認識対象の姿勢変化にロバストでカメラの特性に適した認識処理を行うことができる。この学習装置における処理は、オフライン処理であり、リアルタイム性は要求されない。画像処理装置１００は、特徴点辞書を用いて、入力画像の認識対象の位置を検出して、その位置に合成画像を重畳して出力画像を生成する。この画像処理装置１００における処理は、オンライン処理であり、リアルタイム性が要求される。
【００４６】
［画像処理装置の詳細］
画像処理装置１００の詳細を説明する。最初に、画像処理装置１００における処理の概要を述べる。画像処理装置１００での目標は、入力画像内の認識対象（マーカー）に対して、合成画像を貼り合わせて、出力画像を生成することである。どのように貼り合わせを行えばよいかを決めるためには、参照画像から入力画像内の認識対象への幾何的な変換を求めて、その変換を合成画像に対して行えばよい。
【００４７】
本技術では、認識対象を平面とするので、上述の幾何的な変換は、ホモグラフィと呼ばれる３＊３の行列で表現される。ホモグラフィは、入力画像内の認識対象と参照画像で、４つ以上の対応する点（同一である点）があれば求められることが知られている。点同士の対応関係を探す処理は、一般にマッチングと呼ばれる。マッチングは、学習装置２００で得られた辞書を用いて行う。また、点には、マッチングの精度を良くするために、特徴点と呼ばれる輝度で見て角（コーナー）となる点を用いる。したがって、入力画像、参照画像に対して特徴点を抽出する処理が必要となる。ここで、参照画像の特徴点に関しては、学習装置２００で事前に求めておく。
【００４８】
次に、画像処理装置１００の詳細構成を説明する。図２は、画像処理装置１００の構成例を示している。この画像処理装置１００は、特徴点抽出部１０１と、マッチング部１０２と、特徴点座標歪補正部１０３と、ホモグラフィ算出部１０４と、合成画像座標変換部１０５と、出力画像生成部１０６を有している。なお、画像処理装置１００は、カメラ等の画像入力装置と一体に構成されてもよく、あるいはディスプレイなどの画像表示装置と一体に構成されてもよい。
【００４９】
特徴点抽出部１０１は、入力画像（撮像画像）の特徴点を抽出して、特徴点の座標を得る。この場合、特徴点抽出部１０１は、入力画像のある時刻のフレームを対象として特徴点を抽出する。特徴点抽出の手法として、例えば、ハリスコーナー（Harris Corner)やＳＩＦＴ（Scale Invariant FeatureTransform）などの様々な手法が提案されている。ここでは、任意の手法を用いることができる。
【００５０】
マッチング部１０２は、記憶部１０７に記憶されている、学習装置２００において事前学習で作成された参照画像の特徴点辞書に基づいて、マッチング処理、つまり入力画像の特徴点が参照画像の特徴点に対応しているかを計算し、２画像間の特徴点の対応点を得る。ここで、特徴点辞書は、カメラのレンズ歪みと、インターレース画像およびプログレッシブ画像の双方を考慮して生成されたものである。
【００５１】
マッチング処理として様々な方法が提案されている。ここでは、例えば、一般に良く知られるベイズ統計に基づいた方法を用いる。このベイズ統計に基づいた方法では、以下の（１）式を満たす参照画像の特徴点を対応点とする。
【００５２】
【数１】
2013156722.tif 000003
【００５３】
ここで、I_kをk番目の特徴点とする。f_1，・・・，f_Nは、特徴点に対するテストを表している。テストとは特徴点周りのテクスチャを表すための操作で、例えば、特徴点周辺の２点間の大小関係が用いられ、f_1からf_NまでのＮ組の２点間の大小関係が比較される。テストには、他にも差分絶対値和（ＳＡＤ）やヒストグラムの比較など様々な手法が考えられる。ここでも、任意の手法を用いることができる。
【００５４】
（１）式が意味することは、入力画像のある特徴点に対して、f_1，・・・，f_Nのテスト（大小判定）を行い、その結果から確率分布Ｐが最も大きくなる参照画像の特徴点I_kを対応点とする。このとき、Ｐの分布が必要となるが、これは、学習装置２００において事前に求めておく。このＰの分布を辞書と呼ぶ。（１）式をそのまま用いると、辞書のデータ量が膨大になるので、一般にＰ０(f_1)，・・・，Ｐ(f_N)に対して、統計的独立やそれに準ずる仮定をして、同時分布の積などによって近似を行う。ここでは、そのような近似を用いることもできる。
【００５５】
特徴点座標歪補正部１０３は、マッチング部１０２で対応点が見つかった入力画像の特徴点に対して、記憶部１０７に記憶されているカメラのレンズ歪データに基づいて、座標値の歪み補正を行う。ホモグラフィ算出部１０４は、マッチング部１０２で見つかった対応点で、参照画像の特徴点の座標と、補正された入力画像の特徴点の座標に基づいて、入力画像と参照画像のホモグラフィ（射影関係）を算出する。ホモグラフィの求め方としては様々な手法が提案されている。ここでは、任意の手法を用いることができる。
【００５６】
合成画像座標変換部１０５は、ホモグラフィ算出部１０４で算出されたホモグラフィと、記憶部１０７に記憶されているカメラのレンズ歪データに基づいて、記憶部１０７に記憶されている合成画像から貼り合わせ用の合成画像を生成する。この場合、合成画像の３次元座標をＸg、ホモグラフィをＨ、レンズ歪変換をＴRとすると、座標変換後の座標Ｘ′gは、以下の（２）式のようになる。ただし、この（２）式において、ＴMは、以下の（３）式で表される。
【００５７】
【数２】
2013156722.tif 000004
【数３】
2013156722.tif 000005
【００５８】
この場合、座標変換後の合成画像Ｓ′gは、以下の（４）式のようになる。
【数４】
2013156722.tif 000006
【００５９】
出力画像生成部１０６は、入力画像に、合成画像座標変換部１０５で生成された変換された貼り合わせ用の合成画像を合成して、出力画像を得る。この場合、入力画像をＳ、合成のブレンド比率をαとすると、出力画像Ｓoは、以下の（５）式のようになる。
【数５】
2013156722.tif 000007
【００６０】
画像処理装置１００の各構成要素は、回路ロジックなどのハードウェアおよび／またはプログラムなどのソフトウェアとして構成される。ソフトウェアとして構成される構成要素は、例えば、図示しないＣＰＵ上でプログラムを実行することにより実現される。
【００６１】
図３のフローチャートは、図２に示す画像処理装置１００における処理の流れの一例を示している。まず、画像処理装置１００は、ステップＳＴ３１において、処理を開始し、その後に、ステップＳＴ３２において、入力画像（撮像画像）を入力し、その後に、ステップＳＴ３３の処理に移る。図４（ａ）は、入力画像Ｉ１の一例を示している。この入力画像Ｉ１には、マーカーＭとして斜めに吊り下げられた地図画像が含まれている。
【００６２】
画像処理装置１００は、ステップＳＴ３３において、特徴点抽出部１０１により、入力画像の特徴点を抽出する。次に、画像処理装置１００は、ステップＳＴ３４において、マッチング部１０２により、記憶部１０７に記憶されている参照画像の特徴点辞書と、特徴点抽出部１０１で抽出された入力画像の特徴点に基づいて、入力画像と参照画像の間で特徴点をマッチングする。このマッチング処理により、入力画像および参照画像の特徴点の対応点が求められる。
【００６３】
図４（ｂ）は、参照画像Ｒの一例を示している。また、図５は、特徴点のマッチング例を示している。この例では、入力画像Ｉ１中の特定領域（マーカーＭ）は、日本周辺の地図画像を示す参照画像Ｒにより指定されている。入力画像Ｉ１は、斜めに吊り下げられた地図画像（マーカーＭ）を斜め前方から捉えている。参照画像Ｒは、正立した状態のマーカーＭに対応する地図画像であり、輝度値のエッジ成分等、９つの特徴点Ｐ１〜Ｐ９が予め抽出されている。
【００６４】
なお、図では、便宜上、地図画像の輝度画像ではなく地図画像自体に特徴点Ｐが示されている。この例では、参照画像Ｒと入力画像Ｉ１の間で、対応関係にある同一の特徴点Ｐ（対応点）同士を結ぶ線分で示されるように、９つの特徴点Ｐ１〜Ｐ９のうち５つの特徴点Ｐ１〜Ｐ５がマッチングされたことを示している。
【００６５】
次に、画像処理装置１００は、ステップＳＴ３５において、特徴点座標歪補正部１０３により、マッチングされた入力画像の特徴点の座標を、記憶部１０７に記憶されているカメラのレンズ歪データに基づいて補正する。そして、画像処理装置１００は、ステップＳＴ３６において、参照画像の特徴点の座標と、補正された入力画像の特徴点の座標に基づいて、入力画像と参照画像のホモグラフィ行列を算出する。
【００６６】
次に、画像処理装置１００は、ステップＳＴ３７において、ホモグラフィ行列を算出できたか否かを判断する。ホモグラフィ行列を算出できたとき、画像処理装置１００は、ステップＳＴ３８において、このホモグラフィ行列に基づき、記憶部１０７に記憶されている合成画像を、ステップＳＴ３６で算出されたホモグラフィ行列および記憶部１０７に記憶されているカメラのレンズ歪データに基づいて変換し、貼り付け用の合成画像を得る。
【００６７】
次に、画像処理装置１００は、ステップＳＴ３９において、出力画像生成部１０６により、ステップＳＴ３８で生成された変換後の合成画像（貼り付け用の合成画像）を入力画像に合成して、出力画像を得る。図６（ａ）は、合成画像の一例を示している。また、図６（ｂ）は、入力画像Ｉ１に、変換された合成画像が合成されて得られた出力画像の一例を示している。
【００６８】
また、画像処理装置１００は、ステップＳＴ４０において、ステップＳＴ３９で得られた出力画像を出力し、その後に、ステップＳＴ４１において、処理を終了する。一方、ステップＳＴ３７でホモグラフィ行列を算出できなかったとき、画像処理装置１００は、ステップＳＴ４２において、入力画像をそのまま出力し、その後に、ステップＳＴ４１において、処理を終了する。
【００６９】
上述したように、図２に示す画像処理装置１００においては、マッチング部１０２で用いられる特徴点辞書は、カメラのレンズ歪みを考慮したものである。そのため、この画像処理装置１００においては、入力画像にレンズ歪みが存在する場合にあっても、そのレンズ歪みを考慮して特徴点のマッチングが行われるものであり、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。また、この場合、入力画像にレンズ歪補正を行うものではなく、特徴点座標歪補正部１０３で入力画像の特徴点の座標にレンズ歪補正を行うものであり、計算量の大幅な抑制が可能となる。
【００７０】
また、マッチング部１０２で用いられる特徴点辞書は、インターレース画像を考慮して生成されたものである。そのため、この画像処理装置１００においては、入力画像がインターレース画像であっても、インターレース画像を考慮して特徴点のマッチングが行われるものであり、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。また、この場合、インターレースの入力画像をプログレッシブ画像に変換するものではなく、計算量の大幅な抑制が可能となる。
【００７１】
［学習装置の詳細］
学習装置２００の詳細を説明する。学習装置２００は、図７に示すように、特徴点抽出部２００Ａおよび画像特徴学習部２００Ｂにより構成されている。特徴点抽出部２００Ａは、認識対象の姿勢変化やカメラの特性にロバストな特徴点の集合を算出する。画像特徴学習部２００Ｂでは、特徴点抽出部２００Ａで得られた各特徴点に対して、その周辺のテクスチャを解析することで、辞書を作成する。
【００７２】
「特徴点抽出部の詳細」
特徴点抽出部２００Ａについて説明をする。特徴点抽出部２００Ａでは、ロバストな特徴点の集合を算出することが目的である。そのために、参照画像に対して各種の変換を行った上で特徴点を求めることを、変換のパラメータをランダムに変化させながら複数回行う。複数回行った中で、出現頻度が高い特徴点をロバストな特徴点として辞書に登録する。
【００７３】
図８は、特徴点抽出部２００Ａの構成例を示している。この特徴点抽出部２００Ａは、変換パラメータ生成部２０１と、幾何変換部２０２と、レンズ歪変換部２０３と、ＰＩ変換部２０４と、特徴点計算部２０５と、特徴点座標変換部２０６と、特徴点出現頻度更新部２０７と、特徴点登録部２０８と、記憶部２０９を有している。
【００７４】
変換パラメータ生成部２０１は、幾何変換部２０２で用いる変換パラメータＨ（回転角や拡大率に相当）、レンズ歪変換部２０３で用いるδx, δy(レンズ中心)のパラメータ、さらに、ＰＩ変換部２０４で用いるδi(奇数と偶数のどちらのフィールドを用いるか)のパラメータをそれぞれ生成する。この場合、各パラメータは、乱数を用いてランダム値として生成される。
【００７５】
幾何変換部２０２は、変換パラメータＨに基づいて、追跡対象の姿勢変化に相当する変換ＴHで、記憶部２０９に記憶されている参照画像Ｓの回転、拡大等を行って、変換後の画像ＳH＝ＴH（Ｓ，Ｈ）を得る。変換ＴHには、想定する姿勢変化のクラスによって、アフィン変換やホモグラフィ変換などが用いられる。変換のパラメータは、想定する姿勢変化内でランダムに決められる。
【００７６】
レンズ歪変換部２０３は、画像ＳHに対して、記憶部２０９に記憶されているレンズ歪データに基づいて、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳR＝ＴR（ＳH，δx, δy）を得る。このとき、レンズ中心を参照画像の中心からx方向にδx、y方向にδy移動したとして変換を行う。δx, δyのパラメータは、想定するレンズ中心の変化内でランダムに決められる。なお、レンズ歪変換部２０３は、変換ＴRを、予めレンズ歪の測定を行って求めておく。
【００７７】
ＰＩ変換部２０４は、画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。この場合、変換ＴIは、ダウンサンプリングとなり、各種の実装（フィルタなど）を用いることができる。このとき、δiの値によって、奇数と偶数のどちらのフィールドを用いるかを決定する。特徴点計算部２０５は、画像ＳIの特徴点を算出する。特徴点座標変換部２０６は、画像ＳIの各特徴点に対して、ＴH，ＴR，ＴIの逆変換を行って、参照画像Ｓ上での特徴点座標を求める。
【００７８】
特徴点出現頻度更新部２０７は、参照画像Ｓ上での各座標において、特徴点の出現頻度を更新する。出現頻度は、図９に示すように、各特徴点の出現回数のヒストグラムである。ある特徴点が何番目の特徴点であるかは、参照画像Ｓ上での特徴点座標によって判定する。これは、参照画像Ｓ上での特徴点座標は、変換のパラメータによらず不変な量となるためである。特徴点登録部２０８は、Ｎ回の変換画像に対する特徴点抽出結果による各特徴点の出現頻度に基づいて、上位から任意の数の特徴点を、記憶部２０９の特徴点辞書に登録する。
【００７９】
特徴点抽出部２００Ａの各構成要素は、回路ロジックなどのハードウェアおよび／またはプログラムなどのソフトウェアとして構成される。ソフトウェアとして構成される構成要素は、例えば、図示しないＣＰＵ上でプログラムを実行することにより実現される。
【００８０】
図１０のフローチャートは、図８に示す特徴点抽出部２００Ａにおける処理の流れの一例を示している。まず、特徴点抽出部２００Ａは、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２において、変換パラメータ生成部２０１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、生成される変換パラメータは、幾何変換部２０２で用いる変換パラメータＨ（回転角や拡大率に相当）、レンズ歪変換部２０３で用いるδx, δy(レンズ中心)のパラメータ、さらに、ＰＩ変換部２０４で用いるδi(奇数と偶数のどちらのフィールドを用いるか)のパラメータである。
【００８１】
次に、特徴点抽出部２００Ａは、ステップＳＴ５３において、幾何変換部２０２により、変換パラメータＨに基づいて、追跡対象の姿勢変化に相当する変換ＴHで、参照画像Ｓの回転、拡大等を行って、変換後の画像ＳH＝ＴH（Ｓ，Ｈ）を得る。また、特徴点抽出部２００Ａは、ステップＳＴ５４において、画像ＳHに対して、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳR＝ＴR（ＳH，δx, δy）を得る。さらに、特徴点抽出部２００Ａは、ステップＳＴ５５において、画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。
【００８２】
次に、特徴点抽出部２００Ａは、ステップＳＴ５６において、特徴点計算部２０５により、ステップＳＴ５５で得られた画像ＳIの特徴点を算出する。そして、特徴点抽出部２００Ａは、ステップＳＴ５７において、特徴点座標変換部２０６により、ステップＳＴ５６で求められた画像ＳIの各特徴点に対して、ＴH，ＴR，ＴIの逆変換を行って、参照画像Ｓ上での特徴点座標を求める。そして、特徴点抽出部２００Ａは、ステップＳＴ５８において、特徴点出力頻度更新部２０７により、参照画像Ｓ上での各座標において、特徴点の出現頻度を更新する。
【００８３】
次に、特徴点抽出部２００Ａは、ステップＳ５９において、Ｎ回目の処理が終了したか否かを判断する。Ｎ回目に至っていないとき、特徴点抽出部２００Ａは、ステップＳＴ５２の処理に戻り、上述したと同様の処理を繰り返す。一方、Ｎ回目の処理が終了したとき、特徴点抽出部２００Ａは、ステップＳＴ６０において、特徴点登録部２０８により、各特徴点の出現頻度に基づいて、上位から任意の数の特徴点を、辞書に登録する。その後、特徴点抽出部２００Ａは、ステップＳＴ６１において、処理を終了する。
【００８４】
「画像特徴学習部の詳細」
画像特徴学習部２００Ｂについて説明をする。画像特徴学習部２００Ｂは、特徴点抽出部２００Ａで得られた各特徴点に対して、その周辺の画像特徴を解析して、辞書を作成することを目的とする。このとき、特徴点抽出部２００Ａと同様に参照画像に対して各種の変換を行って辞書を作成することによって、姿勢変化やカメラの特性に対して、ロバストな認識を行うことができる。
【００８５】
画像特徴学習部２００Ｂは、変換パラメータ生成部２１１と、幾何変換部２１２と、レンズ歪変換部２１３と、ＰＩ変換部２１４と、確率更新部２１５と、記憶部２１６を有している。変換パラメータ生成部２１１は、幾何変換部２１２で用いる変換パラメータＨ（回転角や拡大率に相当）、レンズ歪変換部２１３で用いるδx, δy(レンズ中心)のパラメータ、さらに、ＰＩ変換部２１４で用いるδi(奇数と偶数のどちらのフィールドを用いるか)のパラメータをそれぞれ生成する。この場合、各パラメータは、乱数を用いてランダム値として生成される。
【００８６】
詳細説明は省略するが、幾何変換部２１２、レンズ歪変換部２１３およびＰＩ変換部２１４は、それぞれ、図８に示す特徴点抽出部２００Ａにおける幾何変換部２０２、レンズ歪変換部２０３およびＰＩ変換部２０４と同様に構成されている。
【００８７】
確率更新部２１５は、変換画像ＳIにおいて、特徴点抽出部２００Ａで得られた各特徴点に対して、図２に示す画像処理装置１００のマッチング部１０２で述べたのと同様のテストを行って、記憶部２１６に記憶されている各特徴点の確率（辞書）を更新していく。確率更新部２１５は、Ｎ回の変換画像ＳIのそれぞれで各特徴点の確率（辞書）を更新していく。これにより、記憶部２１６には、特徴点と確率のデータをまとめた特徴点辞書が生成される。
【００８８】
上述の画像処理装置１００でのマッチング処理における確率の最大化はベイズ統計を用いて、以下の（６）式のように書ける。このことから、Ｐ(f_1,f_2,…,f_N | I_k)とＰ(I_k)が分かれば最大化が達成される。
【数６】
2013156722.tif 000008
【００８９】
ここで、Ｐ(f_1,f_2,…,f_N | I_k)は、特徴点I_kに関してテストが取りうる確率、Ｐ(I_k)は、I_kの出現確率を表している。前者に関しては、上述の各特徴点に対するテストを行えば求めることができ、後者は特徴点抽出部２００Ａの特徴点出現頻度がそれに値する。全特徴点に関してテスト処理を行う。
【００９０】
画像特徴学習部２００Ｂの各構成要素は、回路ロジックなどのハードウェアおよび／またはプログラムなどのソフトウェアとして構成される。ソフトウェアとして構成される構成要素は、例えば、図示しないＣＰＵ上でプログラムを実行することにより実現される。
【００９１】
図１２のフローチャートは、図１１に示す画像特徴学習部２００Ｂにおける処理の流れの一例を示している。まず、画像特徴学習部２００Ｂは、ステップＳＴ７１において、処理を開始し、その後に、ステップＳＴ７２において、変換パラメータ生成部２１１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、生成される変換パラメータは、幾何変換部２１２で用いる変換パラメータＨ（回転角や拡大率に相当）、レンズ歪変換部２１３で用いるδx, δy(レンズ中心)のパラメータ、さらに、ＰＩ変換部２１４で用いるδi(奇数と偶数のどちらのフィールドを用いるか)のパラメータである。
【００９２】
次に、画像特徴学習部２００Ｂは、ステップＳＴ７３において、幾何変換部２１２により、変換パラメータＨに基づいて、追跡対象の姿勢変化に相当する変換ＴHで、参照画像Ｓの回転、拡大等を行って、変換後の画像ＳH＝ＴH（Ｓ，Ｈ）を得る。また、画像特徴学習部２００Ｂは、ステップＳＴ７４において、画像ＳHに対して、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳR＝ＴR（ＳH，δx, δy）を得る。さらに、画像特徴学習部２００Ｂは、ステップＳＴ７５において、画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。
【００９３】
次に、画像特徴学習部２００Ｂは、ステップＳＴ７６において、確率更新部２１５により、ステップＳＴ７５で得られた変換画像ＳIにおいて、特徴点抽出部２００Ａで得られた各特徴点に対してテストを行って、記憶部２１６に記憶されている特徴点の確率（辞書）を更新する。
【００９４】
そして、画像特徴学習部２００Ｂは、ステップＳＴ７７において、全特徴点を処理したか否かを判断する。全特徴点を処理していないとき、ステップＳＴ７６に戻って、特徴点の確率を更新することを繰り返す。一方、全特徴点を処理したとき、画像特徴学習部２００Ｂは、ステップＳＴ７８において、Ｎ回目の処理が終了したか否かを判断する。Ｎ回目に至っていないとき、画像特徴学習部２００Ｂは、ステップＳＴ７２の処理に戻り、上述したと同様の処理を繰り返す。一方、Ｎ回目の処理が終了したとき、画像特徴学習部２００Ｂは、ステップＳＴ７９において、処理を終了する。
【００９５】
上述したように、図７に示す学習装置２００においては、レンズ歪変換が施された複数の変換画像に基づいて所定数の特徴点が抽出されて辞書の登録が行われる。そのため、カメラのレンズ歪みを考慮した参照画像の特徴点辞書を良好に得ることができる。また、図７に示す学習装置２００においては、プログレッシブからインターレースに画像変換された変換画像に基づいて所定数の特徴点が抽出されて辞書の登録が行われる。そのため、インターレースの画像を考慮した特徴点辞書を良好に得ることができる。
【００９６】
＜２．変形例＞
「変形例１」
なお、上述の図７に示す学習装置２００においては、プログレッシブからインターレースに画像変換された変換画像に基づいて所定数の特徴点を抽出して辞書の登録を行うことで、インターレースの画像を考慮した特徴点辞書を得る例を示した。しかし、ＰＩ変換を行うか否かの判断処理を入れることで、プログレッシブとインターレースのどちらの形式にも対応した辞書を作成することが可能となる。
【００９７】
図１３のフローチャートは、ＰＩ変換を行うか否かの判断処理を入れる場合における特徴点抽出部２００Ａの処理の流れの一例を示している。この図１３のフローチャートにおいて、図１０と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。
【００９８】
特徴点抽出部２００Ａは、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２Ａにおいて、変換パラメータ生成部２０１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、ランダムに生成される変換パラメータは、幾何変換部２０２で用いる変換パラメータＨ、レンズ歪変換部２０３で用いるδx, δyのパラメータ、ＰＩ変換部２０４で用いるδiのパラメータと共に、ＰＩ変換を行うか否かを示すパラメータである。特徴点抽出部２００Ａは、このステップＳＴ５２Ａの処理の後に、ステップＳＴ５３の処理に移る。
【００９９】
また、特徴点抽出部２００Ａは、ステップＳＴ５４の処理の後に、ステップＳＴ８１の処理に移る。このステップＳＴ８１において、特徴点抽出部２００Ａは、ステップＳＴ５２Ａで生成されたＰＩ変換を行うか否かのパラメータに基づいて、ＰＩ変換を行うか否かを判断する。ＰＩ変換を行うとき、特徴点抽出部２００Ａは、ステップＳＴ５５において、ステップＳＴ５４で得られた変換画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。
【０１００】
特徴点抽出部２００Ａは、ステップＳＴ５５の処理の後、ステップＳＴ５６の処理に移る。一方、ステップＳＴ８１でＰＩ変換を行わないとき、特徴点抽出部２００Ａは、直ちに、ステップＳＴ５６の処理に移る。詳細説明は省略するが、図１３のフローチャートのその他のステップは、図１０のフローチャートと同様である。
【０１０１】
また、図１４のフローチャートは、ＰＩ変換を行うか否かの判断処理を入れる場合における画像特徴学習部２００Ｂの処理の流れの一例を示している。この図１４のフローチャートにおいて、図１２と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。
【０１０２】
画像特徴学習部２００Ｂは、ステップＳＴ７１において、処理を開始した後に、ステップＳＴ７２Ａにおいて、変換パラメータ生成部２１１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、ランダムに生成される変換パラメータは、幾何変換部２１２で用いる変換パラメータＨ、レンズ歪変換部２１３で用いるδx, δyのパラメータ、ＰＩ変換部２１４で用いるδiのパラメータと共に、ＰＩ変換を行うか否かを示すパラメータである。画像特徴学習部２００Ｂは、このステップＳＴ７２Ａの処理の後に、ステップＳＴ７３の処理に移る。
【０１０３】
また、画像特徴学習部２００Ｂは、ステップＳＴ７４の処理の後に、ステップＳＴ８２の処理に移る。このステップＳＴ８２において、画像特徴学習部２００Ｂは、ステップＳＴ７２Ａで生成されたＰＩ変換を行うか否かのパラメータに基づいて、ＰＩ変換を行うか否かを判断する。ＰＩ変換を行うとき、画像特徴学習部２００Ｂは、ステップＳＴ７５において、ステップＳＴ７４で得られた変換画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。
【０１０４】
画像特徴学習部２００Ｂは、ステップＳＴ７５の処理の後、ステップＳＴ７６の処理に移る。一方、ステップＳＴ８２でＰＩ変換を行わないとき、画像特徴学習部２００Ｂは、直ちに、ステップＳＴ７６の処理に移る。詳細説明は省略するが、図１４のフローチャートのその他のステップは、図１２のフローチャートと同様である。
【０１０５】
このように、ＰＩ変換を行うか否かの判断処理を入れることで、インターレースおよびプログレッシブの双方の画像を考慮した特徴点辞書を得ることができる。図２に示す画像処理装置１００においては、この特徴点辞書を用いることにより、入力画像がインターレースおよびプログレッシブのどちらであっても対処でき、入力画像の形式を設定する必要がなくなる。つまり、入力画像がインターレースおよびプログレッシブのどちらであっても、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。
【０１０６】
「変形例２」
また、上述の図７に示す学習装置２００においては、あるカメラのレンズ歪変換が施された変換画像に基づいて所定数の特徴点を抽出して辞書の登録を行うことで、そのカメラのレンズ歪みを考慮した特徴点辞書を得る例を示した。しかし、複数のカメラのレンズ歪変換が施された変換画像を用いることで、それら複数のカメラのレンズ歪みに対応した辞書を作成することが可能となる。
【０１０７】
図１５のフローチャートは、複数のカメラのレンズ歪変換が施された変換画像を用いる場合における特徴点抽出部２００Ａの処理の流れの一例を示している。この図１５のフローチャートにおいて、図１０と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。
【０１０８】
特徴点抽出部２００Ａは、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２Ｂにおいて、変換パラメータ生成部２０１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、ランダムに生成される変換パラメータは、幾何変換部２０２で用いる変換パラメータＨ、レンズ歪変換部２０３で用いるδx, δyのパラメータ、ＰＩ変換部２０４で用いるδiのパラメータと共に、複数のカメラのレンズ歪データのうちどのレンズ歪みデータを用いるかを示すパラメータである。なお、複数のカメラのレンズ歪データは、予め測定され、記憶部２０９に登録しておく。特徴点抽出部２００Ａは、このステップＳＴ５２Ｂの処理の後に、ステップＳＴ５３の処理に移る。
【０１０９】
また、特徴点抽出部２００Ａは、ステップＳＴ５３の処理の後に、ステップＳＴ５４Ｂの処理に移る。特徴点抽出部２００Ａは、このステップＳＴ５４Ｂにおいて、ステップＳＴ５３の処理で得られた画像ＳHに対して、レンズ歪変換の処理を行う。この場合、特徴点抽出部２００Ａは、どのレンズ歪みデータを用いるかのパラメータが示すレンズ歪データに基づいて、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳRを得る。特徴点抽出部２００Ａは、このステップＳＴ５４Ｂの処理の後に、ステップＳＴ５５の処理に移る。詳細説明は省略するが、図１５のフローチャートのその他のステップは、図１０のフローチャートと同様である。
【０１１０】
また、図１６のフローチャートは、複数のカメラのレンズ歪変換が施された変換画像を用いる場合における画像特徴学習部２００Ｂの処理の流れの一例を示している。この図１６のフローチャートにおいて、図１２と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。
【０１１１】
画像特徴学習部２００Ｂは、ステップＳＴ７１において、処理を開始し、その後に、ステップＳＴ７２Ｂにおいて、変換パラメータ生成部２１１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、ランダムに生成される変換パラメータは、幾何変換部２１２で用いる変換パラメータＨ、レンズ歪変換部２１３で用いるδx, δyのパラメータ、ＰＩ変換部２１４で用いるδiのパラメータと共に、複数のカメラのレンズ歪データのうちどのレンズ歪みデータを用いるかを示すパラメータである。なお、複数のカメラのレンズ歪データは、予め測定され、記憶部２１６に登録しておく。画像特徴学習部２００Ｂは、このステップＳＴ７２Ｂの処理の後に、ステップＳＴ７３の処理に移る。
【０１１２】
また、画像特徴学習部２００Ｂは、ステップＳＴ７３の処理の後に、ステップＳＴ７４Ｂの処理に移る。画像特徴学習部２００Ｂは、このステップＳＴ７４Ｂにおいて、ステップＳＴ７３の処理で得られた画像ＳHに対して、レンズ歪変換の処理を行う。この場合、画像特徴学習部２００Ｂは、どのレンズ歪みデータを用いるかのパラメータが示すレンズ歪データに基づいて、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳRを得る。画像特徴学習部２００Ｂは、このステップＳＴ７４Ｂの処理の後に、ステップＳＴ７５の処理に移る。詳細説明は省略するが、図１６のフローチャートのその他のステップは、図１２のフローチャートと同様である。
【０１１３】
このように、複数のカメラのレンズ歪変換が施された変換画像を用いることで、それら複数のカメラのレンズ歪みを考慮した特徴点辞書を得ることができる。図２に示す画像処理装置１００においては、この特徴点辞書を用いることにより、複数のレンズ歪みのいずれにも対処できる。つまり、入力画像がそれら複数のレンズ歪みのいずれを持つ場合にあっても、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。
【０１１４】
「変形例３」
上述の変形例１のようにＰＩ変換を行うか否かの判断処理を入れることでプログレッシブとインターレースのどちらの形式にも対応した辞書を作成することが可能となる。また、上述の変形例２のように複数のカメラのレンズ歪変換が施された変換画像を用いることで、それら複数のカメラのレンズ歪みに対応した辞書を作成することが可能となる。
【０１１５】
図１７のフローチャートは、ＰＩ変換を行うか否かの判断処理を入れると共に、複数のカメラのレンズ歪変換が施された変換画像を用いる場合における特徴点抽出部２００Ａの処理の流れの一例を示している。この図１７のフローチャートにおいて、図１０と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。
【０１１６】
特徴点抽出部２００Ａは、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２Ｃにおいて、変換パラメータ生成部２０１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、ランダムに生成される変換パラメータは、幾何変換部２０２で用いる変換パラメータＨ、レンズ歪変換部２０３で用いるδx, δyのパラメータ、ＰＩ変換部２０４で用いるδiのパラメータである。
【０１１７】
さらに、ここで、ランダムに生成される変換パラメータは、ＰＩ変換を行うか否かを示すパラメータおよび複数のカメラのレンズ歪データのうちどのレンズ歪みデータを用いるかを示すパラメータである。なお、複数のカメラのレンズ歪データは、予め測定され、記憶部２０９に登録しておく。特徴点抽出部２００Ａは、このステップＳＴ５２Ｃの処理の後に、ステップＳＴ５３の処理に移る。
【０１１８】
また、特徴点抽出部２００Ａは、ステップＳＴ５３の処理の後に、ステップＳＴ５４Ｃの処理に移る。特徴点抽出部２００Ａは、このステップＳＴ５４Ｃにおいて、ステップＳＴ５３の処理で得られた画像ＳHに対して、レンズ歪変換の処理を行う。この場合、特徴点抽出部２００Ａは、どのレンズ歪みデータを用いるかのパラメータが示すレンズ歪データに基づいて、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳRを得る。
【０１１９】
また、特徴点抽出部２００Ａは、ステップＳＴ５４Ｃの処理の後に、ステップＳＴ８１の処理に移る。このステップＳＴ８１において、特徴点抽出部２００Ａは、ステップＳＴ５２Ｃで生成されたＰＩ変換を行うか否かのパラメータに基づいて、ＰＩ変換を行うか否かを判断する。ＰＩ変換を行うとき、特徴点抽出部２００Ａは、ステップＳＴ５５において、ステップＳＴ５４Ｃで得られた変換画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。
【０１２０】
特徴点抽出部２００Ａは、ステップＳＴ５５の処理の後、ステップＳＴ５６の処理に移る。一方、ステップＳＴ８１でＰＩ変換を行わないとき、特徴点抽出部２００Ａは、直ちに、ステップＳＴ５６の処理に移る。詳細説明は省略するが、図１７のフローチャートのその他のステップは、図１０のフローチャートと同様である。
【０１２１】
図１８のフローチャートは、ＰＩ変換を行うか否かの判断処理を入れると共に、複数のカメラのレンズ歪変換が施された変換画像を用いる場合における画像特徴学習部２００Ｂの処理の流れの一例を示している。この図１８のフローチャートにおいて、図１２と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。
【０１２２】
画像特徴学習部２００Ｂは、ステップＳＴ７１において、処理を開始し、その後に、ステップＳＴ７２Ｃにおいて、変換パラメータ生成部２１１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、ランダムに生成される変換パラメータは、幾何変換部２１２で用いる変換パラメータＨ、レンズ歪変換部２１３で用いるδx, δyのパラメータ、ＰＩ変換部２１４で用いるδiのパラメータである。
【０１２３】
さらに、ここで、ランダムに生成される変換パラメータは、ＰＩ変換を行うか否かを示すパラメータおよび複数のカメラのレンズ歪データのうちどのレンズ歪みデータを用いるかを示すパラメータである。なお、複数のカメラのレンズ歪データは、予め測定され、記憶部２０９に登録しておく。画像特徴学習部２００Ｂは、このステップＳＴ７２Ｃの処理の後に、ステップＳＴ７３の処理に移る。
【０１２４】
また、画像特徴学習部２００Ｂは、ステップＳＴ７３の処理の後に、ステップＳＴ７４Ｃの処理に移る。画像特徴学習部２００Ｂは、このステップＳＴ７４Ｃにおいて、ステップＳＴ７３の処理で得られた画像ＳHに対して、レンズ歪変換の処理を行う。この場合、画像特徴学習部２００Ｂは、どのレンズ歪みデータを用いるかのパラメータが示すレンズ歪データに基づいて、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳRを得る。
【０１２５】
また、画像特徴学習部２００Ｂは、ステップＳＴ７４Ｃの処理の後に、ステップＳＴ８２の処理に移る。このステップＳＴ８２において、画像特徴学習部２００Ｂは、ステップＳＴ７２Ｃで生成されたＰＩ変換を行うか否かのパラメータに基づいて、ＰＩ変換を行うか否かを判断する。ＰＩ変換を行うとき、画像特徴学習部２００Ｂは、ステップＳＴ７５において、ステップＳＴ７４Ｃで得られた変換画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。
【０１２６】
画像特徴学習部２００Ｂは、ステップＳＴ７５の処理の後、ステップＳＴ７６の処理に移る。一方、ステップＳＴ８２でＰＩ変換を行わないとき、画像特徴学習部２００Ｂは、直ちに、ステップＳＴ７６の処理に移る。詳細説明は省略するが、図１８のフローチャートのその他のステップは、図１２のフローチャートと同様である。
【０１２７】
このように、ＰＩ変換を行うか否かの判断処理を入れることで、インターレースおよびプログレッシブの双方の画像を考慮した特徴点辞書を得ることができる。また、複数のカメラのレンズ歪変換が施された変換画像を用いることで、それら複数のカメラのレンズ歪みを考慮した特徴点辞書を得ることができる。
【０１２８】
図２に示す画像処理装置１００においては、この特徴点辞書を用いることにより、入力画像がインターレースおよびプログレッシブのどちらであっても対処でき、また、複数のレンズ歪みのいずれにも対処できる。つまり、カメラの特性によらず、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。したがって、ユーザはカメラの特性（インターレース／プログレッシブ、レンズ歪み）を特定のものに設定しなくてもよくなり、利便性が向上する。
【０１２９】
また、本技術は、以下のような構成をとることもできる。
（１）カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出部と、
参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出部で抽出された入力画像の特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定部と、
上記対応関係決定部で決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪データに基づいて補正する特徴点座標歪補正部と、
上記対応関係決定部で決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正部で補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出部と、
上記射影関係算出部で算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換部と、
上記入力画像に上記合成画像座標変換部で生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成部とを備える
画像処理装置。
（２）上記特徴点辞書は、上記カメラのレンズ歪みの他に、さらにインターレース画像を考慮して生成されている
前記（１）に記載の画像処理装置。
（３）カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出ステップと、
参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出ステップで抽出された特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定ステップと、
上記対応関係決定ステップで決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪データに基づいて補正する特徴点座標歪補正ステップと、
上記対応関係決定ステップで決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正ステップで補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出ステップと、
上記射影関係算出ステップで算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換ステップと、
上記入力画像に上記合成画像座標変換ステップで生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成ステップとを備える
画像処理方法。
（４）コンピュータを、
カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出手段と、
参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出手段で抽出された特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定手段と、
上記対応関係決定手段で決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪データに基づいて補正する特徴点座標歪補正手段と、
上記対応関係決定手段で決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正手段で補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出手段と、
上記射影関係算出手段で算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換手段と、
上記入力画像に上記合成画像座標変換手段で生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成手段と
して機能させるプログラム。
（５）参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換部と、
上記画像変換部で変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録部とを備える
学習装置。
（６）上記辞書登録部は、
上記画像変換部で変換された画像の特徴点を求める特徴点計算部と、
上記特徴点計算部で求められた特徴点の座標を上記参照画像上の座標に変換する特徴点座標変換部と、
上記画像変換部で変換された参照画像毎の上記特徴点座標変換部で変換された特徴点座標に基づいて、各特徴点の出現頻度を更新する出現頻度更新部と、
上記出現頻度更新部で出現頻度が更新された各特徴点のうち、出現頻度が上位から任意の数の特徴点を取り出して上記辞書に登録する特徴点登録部を有する
前記（５）に記載の学習装置。
（７）上記画像変換部は、
上記参照画像に、上記幾何変換および上記レンズ歪変換と共に、プログレッシブ画像からインターレース画像に変換するプログレッシブ／インターレース変換を選択的に施して上記複数の変換画像を生成する
前記（５）または（６）に記載の学習装置。
（８）上記画像変換部は、
複数のレンズ歪データからランダムに選択されたレンズ歪データに基づいて上記レンズ歪変換を施して上記複数の変換画像を生成する
前記（５）から（７）のいずれかに記載の学習装置。
（９）参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換ステップと、
上記画像変換ステップで変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録ステップとを備える
学習方法。
（１０）コンピュータを、
参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換手段と、
上記画像変換手段で変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録手段と
して機能させるプログラム。
【符号の説明】
【０１３０】
１０・・・画像処理システム
１００・・・画像処理装置
１０１・・・特徴点抽出部
１０２・・・マッチング部
１０３・・・特徴点座標補正部
１０４・・・ホモグラフィ算出部
１０５・・・合成画像座標変換部
１０６・・・出力画像生成部
２００・・・学習装置
２００Ａ・・・特徴点抽出部
２００Ｂ・・・画像特徴学習部
２０１・・・変換パラメータ生成部
２０２・・・幾何変換部
２０３・・・レンズ歪変換部
２０４・・・ＰＩ変換部
２０５・・・特徴点計算部
２０６・・・特徴点座標変換部
２０７・・・特徴点出現頻度更新部
２０８・・・特徴点登録部
２０９・・・記憶部
２１１・・・変換パラメータ生成部
２１２・・・幾何変換部
２１３・・・レンズ歪変換部
２１４・・・ＰＩ変換部
２１５・・・確率更新部
２１６・・・記憶部
【図１】
2013156722.tif 000009
【図２】
2013156722.tif 000010
【図３】
2013156722.tif 000011
【図４】
2013156722.tif 000012
【図５】
2013156722.tif 000013
【図７】
2013156722.tif 000014
【図８】
2013156722.tif 000015
【図９】
2013156722.tif 000016
【図１０】
2013156722.tif 000017
【図１１】
2013156722.tif 000018
【図１２】
2013156722.tif 000019
【図１３】
2013156722.tif 000020
【図１４】
2013156722.tif 000021
【図１５】
2013156722.tif 000022
【図１６】
2013156722.tif 000023
【図１７】
2013156722.tif 000024
【図１８】
2013156722.tif 000025
【図１９】
2013156722.tif 000026
【図２０】
2013156722.tif 000027
【図２１】
2013156722.tif 000028
【図２２】
2013156722.tif 000029
【図６】
2013156722.tif 000030