(57)【要約】【課題】高価なレンズを使用せず、カメラキャリブレーションがすんでいない状態若しくはキャリブレーションデータの一部が未知のカメラにおいて、物体や図形の検出を可能とする。【解決手段】画像処理装置には、補正の基準となる物体像の幾何学情報を予めテーブル化して作成するテーブル作成部と、基準となる物体像と相似形状の対象物体像を含む補正対象画像を入手する画像入手部と、画像入手部により得られた補正対象画像を基に対象物体像のエッジ情報を取得するエッジ情報取得部と、これらを制御する制御部とが備えられている。制御部は、対象物体像のエッジ情報と、物体像の幾何学情報とを照合することで、物体像に対する対象物体像の拡大縮小率、回転角、平行移動位置を取得し、当該拡大縮小率、回転角、平行移動位置と、補正対象画像の撮影時の撮影条件とをパラメータとして補正対象画像に対し歪曲収差補正を施して、前記対象物体像を検出する。【選択図】図２
2008287338.tif 000002
【特許請求の範囲】
【請求項１】
補正の基準となる物体像の幾何学情報を予めテーブル化して作成するテーブル作成部と、
前記基準となる物体像と相似形状の対象物体像を含む補正対象画像を入手する画像入手部と、
前記画像入手部により得られた前記補正対象画像を基に対象物体像のエッジ情報を取得するエッジ情報取得部と、
前記テーブル作成部、前記画像入手部及び前記エッジ情報取得部を制御する制御部とを備え、
前記制御部は、
前記エッジ情報取得部により得られた前記対象物体像のエッジ情報と、前記テーブル作成部による前記物体像の幾何学情報とを照合することで、前記物体像に対する前記対象物体像の拡大縮小率、回転角、平行移動位置を取得し、当該拡大縮小率、回転角、平行移動位置と、前記補正対象画像撮影時の撮影条件とをパラメータとして前記補正対象画像に対し歪曲収差補正を施して、前記対象物体像を検出することを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記制御部は、前記補正対象画像からパラメータ算出処理に参加させない領域を設定することを特徴とする画像処理装置。
【請求項３】
請求項１又は２記載の画像処理装置において、
前記制御部は、前記歪曲収差補正として、前記拡大縮小率、回転角、平行移動位置と、前記画像入手部の撮影条件とをパラメータとして前記補正対象画像に対し一旦暫定歪曲収差補正を施した後に、逆歪曲収差補正を実行することを特徴とする画像処理装置。
【請求項４】
請求項３記載の画像処理装置において、
前記制御部は、前記逆歪曲収差補正を実行する際、前記暫定歪曲収差補正で使用した式及び値を用いることを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記制御部は、前記エッジ情報取得部を制御して、前記対象物体像のエッジ情報を取得させるとともに、当該対象物体像の直交軸に対する角度を前記歪曲収差補正以前に算出させることを特徴とする画像処理装置。
【請求項６】
請求項５記載の画像処理装置において、
前記制御部は、前記エッジ情報取得部で算出された直交軸に対する角度と、前記対象物体像を検出した際の推定算出した角度とを基に、前記検出した前記対象物体像が前記直交軸に平行となるように前記補正対象画像若しくは前記対象物体像を回転させることを特徴とする画像処理装置。
【請求項７】
請求項５記載の画像処理装置において、
前記制御部は、前記テーブル作成部が前記幾何学情報のテーブルを作成する際に、当該テーブル作成部を制御して、前記エッジ情報取得部で算出された直交軸に対する角度から、前記幾何学情報の角度を変換してテーブルを作成させ、当該テーブルと、前記検出した前記対象物体像を検出した際の推定算出した角度とを基に、検出した前記対象物体像が前記直交軸に平行となるように前記補正対象画像若しくは前記対象物体像を回転させることを特徴とする画像処理装置。
【請求項８】
請求項５記載の画像処理装置において、
前記制御部は、前記テーブル作成部が前記幾何学情報のテーブルを作成する前に、前記テーブル作成部を制御して、前記エッジ情報取得部で算出された直交軸に対して平行となるように前記幾何学情報の角度を変換してテーブルを作成し、当該テーブルを基に、前記検出した前記対象物体像が前記直交軸に平行となるように前記補正対象画像若しくは前記対象物体像を回転させることを特徴とする画像処理装置。
【請求項９】
請求項１〜８のいずれか一項に記載の画像処理装置において、
前記制御部の制御によって画像を表示する表示部を備え、
前記制御部は、前記暫定歪曲収差補正を施す前の前記補正対象画像に対して、前記検出した前記対象物体像の輪郭が描画されるように前記表示部を制御することを特徴とする画像処理装置。
【請求項１０】
請求項１〜９のいずれか一項に記載の画像処理装置において、
前記制御部は、前記対象物体像の検出を複数回実行する場合、２回目以降の前記撮影条件に１回目の推定処理結果を反映させることを特徴とする画像処理装置。
【請求項１１】
請求項１〜１０のいずれか一項に記載の画像処理装置において、
前記制御部は、前記補正対象画像から、前記検出した前記対象物体像を含む領域を抽出し、当該抽出領域に対してのみ後の画像処理を施すことを特徴とする画像処理装置。
【請求項１２】
請求項１１記載の画像処理装置において、
前記制御部は、前記抽出領域を複数に分割することを特徴とする画像処理装置。
【請求項１３】
請求項１１又は１２記載の画像処理装置において、
前記制御部は、４隅の特徴点がそれぞれ別領域に存在するように前記抽出領域を少なくとも４分割し、当該分割した領域のうち、前記特徴点が存在する領域にのみ画像処理を施して得られた特徴点位置から、他の全ての特徴点の位置を推定算出することを特徴とする画像処理装置。
【請求項１４】
請求項１２又は１３記載の画像処理装置において、
前記制御部は、前記分割した領域毎若しくは画像処理を施す領域毎に、異なる条件で画像処理を施すことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特にレンズの歪曲収差が影響した画像から、正しく物体像を検出するための画像処理装置である。
【背景技術】
【０００２】
画像処理で画像内の物体や図形を検出する方法として、幾何学情報を基に物体や図形を検出する技術が開発されている（例えば特許文献１〜３参照）。
例えば、特許文献１記載の技術は、参照画像および入力画像それぞれのエッジ方向画像に対してハフ変換、フーリエ変換を施すことで、平行移動量を算出するものである。
【０００３】
また、特許文献２記載の技術は、入力画像がカテゴリ内で変動を生じている場合における一般化ハフ変換出力のアキュムレータアレイ上での頻度分布の変動と、入力画像がカテゴリ相互間での異なる場合における一般化ハフ変換出力のアキュムレータアレイ上での頻度分布の変動とから決まる距離を用いて重みとし、その重みの高い順から特徴を組み合わせて適用し、その重み付き距離がある一定値以上になるかあるいはこれ以上改善されなくなるまで特徴の組み合わせを行うものである。
【０００４】
そして、特許文献３記載の技術は、テンプレート画像を入力し、この入力されたテンプレート画像のエッジ情報を抽出し、この抽出されたエッジ情報の歪みを補正し、この補正されたエッジ情報からＲテーブルを作成し、このＲテーブルを用いて２次元画像の欠陥検査テンプレートを作成し、一方、ワーク画像を入力し、このワーク画像のエッジ情報を抽出し、この抽出されたエッジ情報の歪みを補正し、この歪み補正されたエッジ情報を前記Ｒテーブルを用いて一般化ハフ変換し、その変換された情報の位置、角度、及び大きさを補正し、この補正されたエッジ情報からエッジ画像を再生し、この再生されたエッジ画像と前記欠陥検査テンプレートとを比較し、その差画像により欠陥検査を行うものである。
【特許文献１】特許第３０９８７１１号公報
【特許文献２】特許第２８５６５３９号公報
【特許文献３】特開２００３−１０９０１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上記の技術では、画像から物体を検出する際に、画像に歪みが存在していないことが前提、若しくは特許文献３記載の技術のようにキャリブレーションのデータから、予め歪曲収差を補正している。つまり、上記の技術においては歪曲収差のないレンズを使用するか、キャリブレーション実行後に、そのデータを使用して歪曲収差を補正し、物体を検出するものである。前者の場合、歪曲収差補正をする必要はないが、歪みのないレンズの設計に時間がかかってしまうし、レンズ自体が高価なものになってしまう可能性もある。一方、後者の場合は、キャリブレーション後でないと物体を検出できないことになってしまう。そのため、上記した技術を適用していないカメラであると、物体の検出精度が著しく低下してしまうおそれがあった。
【０００６】
本発明の課題は、高価なレンズを使用せず、カメラキャリブレーションがすんでいない状態若しくはキャリブレーションデータの一部が未知のカメラにおいて、物体や図形の検出を可能とすることである。
【課題を解決するための手段】
【０００７】
請求項１記載の発明における画像処理装置は、
補正の基準となる物体像の幾何学情報を予めテーブル化して作成するテーブル作成部と、
前記基準となる物体像と相似形状の対象物体像を含む補正対象画像を入手する画像入手部と、
前記画像入手部により得られた前記補正対象画像を基に対象物体像のエッジ情報を取得するエッジ情報取得部と、
前記テーブル作成部、前記画像入手部及び前記エッジ情報取得部を制御する制御部とを備え、
前記制御部は、
前記エッジ情報取得部により得られた前記対象物体像のエッジ情報と、前記テーブル作成部による前記物体像の幾何学情報とを照合することで、前記物体像に対する前記対象物体像の拡大縮小率、回転角、平行移動位置を取得し、当該拡大縮小率、回転角、平行移動位置と、前記補正対象画像の撮影時の撮影条件とをパラメータとして前記補正対象画像に対し歪曲収差補正を施して、前記対象物体像を検出することを特徴としている。
【０００８】
請求項２記載の発明は、請求項１記載の画像処理装置において、
前記制御部は、前記補正対象画像からパラメータ算出処理に参加させない領域を設定することを特徴としている。
【０００９】
請求項３記載の発明は、請求項１又は２記載の画像処理装置において、
前記制御部は、前記歪曲収差補正として、前記拡大縮小率、回転角、平行移動位置と、前記画像入手部の撮影条件とをパラメータとして前記補正対象画像に対し一旦暫定歪曲収差補正を施した後に、逆歪曲収差補正を実行することを特徴としている。
【００１０】
請求項４記載の発明は、請求項３記載の画像処理装置において、
前記制御部は、前記逆歪曲収差補正を実行する際、前記暫定歪曲収差補正で使用した式及び値を用いることを特徴としている。
【００１１】
請求項５記載の発明は、請求項１〜４のいずれか一項に記載の画像処理装置において、
前記制御部は、前記エッジ情報取得部を制御して、前記対象物体像のエッジ情報を取得させるとともに、当該対象物体像の直交軸に対する角度を前記歪曲収差補正以前に算出させることを特徴としている。
【００１２】
請求項６記載の発明は、請求項５記載の画像処理装置において、
前記制御部は、前記エッジ情報取得部で算出された直交軸に対する角度と、前記対象物体像を検出した際の推定算出した角度とを基に、前記検出した前記対象物体像が前記直交軸に平行となるように前記補正対象画像若しくは前記対象物体像を回転させることを特徴としている。
【００１３】
請求項７記載の発明は、請求項５記載の画像処理装置において、
前記制御部は、前記テーブル作成部が前記幾何学情報のテーブルを作成する際に、当該テーブル作成部を制御して、前記エッジ情報取得部で算出された直交軸に対する角度から、前記幾何学情報の角度を変換してテーブルを作成させ、当該テーブルと、前記検出した前記対象物体像を検出した際の推定算出した角度とを基に、検出した前記対象物体像が前記直交軸に平行となるように前記補正対象画像若しくは前記対象物体像を回転させることを特徴としている。
【００１４】
請求項８記載の発明は、請求項５記載の画像処理装置において、
前記制御部は、前記テーブル作成部が前記幾何学情報のテーブルを作成する前に、前記テーブル作成部を制御して、前記エッジ情報取得部で算出された直交軸に対して平行となるように前記幾何学情報の角度を変換してテーブルを作成し、当該テーブルを基に、前記検出した前記対象物体像が前記直交軸に平行となるように前記補正対象画像若しくは前記対象物体像を回転させることを特徴としている。
【００１５】
請求項９記載の発明は、請求項１〜８のいずれか一項に記載の画像処理装置において、
前記制御部の制御によって画像を表示する表示部を備え、
前記制御部は、前記暫定歪曲収差補正を施す前の前記補正対象画像に対して、前記検出した前記対象物体像の輪郭が描画されるように前記表示部を制御することを特徴としている。
【００１６】
請求項１０記載の発明は、請求項１〜９のいずれか一項に記載の画像処理装置において、
前記制御部は、前記対象物体像の検出を複数回実行する場合、２回目以降の前記撮影条件に１回目の推定処理結果を反映させることを特徴としている。
【００１７】
請求項１１記載の発明は、請求項１〜１０のいずれか一項に記載の画像処理装置において、
前記制御部は、前記補正対象画像から、前記検出した前記対象物体像を含む領域を抽出し、当該抽出領域に対してのみ後の画像処理を施すことを特徴としている。
【００１８】
請求項１２記載の発明は、請求項１１記載の画像処理装置において、
前記制御部は、前記抽出領域を複数に分割することを特徴としている。
【００１９】
請求項１３記載の発明は、請求項１１又は１２記載の画像処理装置において、
前記制御部は、４隅の特徴点がそれぞれ別領域に存在するように前記抽出領域を少なくとも４分割し、当該分割した領域のうち、前記特徴点が存在する領域にのみ画像処理を施して得られた特徴点位置から、他の全ての特徴点の位置を推定算出することを特徴としている。
【００２０】
請求項１４記載の発明は、請求項１２又は１３記載の画像処理装置において、
前記制御部は、前記分割した領域毎に異なる条件で画像処理を施すことを特徴としている。
【発明の効果】
【００２１】
ここで、撮影画像から所定の物体を検出する技術として、一般化ハフ変換が知られている。この一般化ハフ変換であると、対象物体像の拡大縮小率、回転角、平行移動位置を算出することができるが、これらの算出値はレンズの歪曲収差が影響した値となるために、このままでは正確に対象物体を検出することはできないのが実状である。ところが上記した本発明のように、拡大縮小率、回転角、平行移動位置と、補正対象画像の撮影時の撮影条件（例えばレンズ中心や焦点距離等）とをパラメータとして補正対象画像に対し歪曲収差補正を施すのであれば、物体検出に撮影条件が考慮されることになり、正確な位置検出が可能となる。したがって、高価なレンズを使用せず、カメラキャリブレーションがすんでいない状態若しくはキャリブレーションデータの一部が未知のカメラであっても、物体や図形の検出が可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、本実施形態における画像処理装置について説明する。なお、画像処理装置としては、例えばデジタルカメラや、デジタルビデオカメラ等が挙げられる。図１は、画像処理装置の主制御構成を表すブロック図である。図１に示すように画像処理装置１には、テーブル作成部２と、画像入手部３と、エッジ情報取得部４と、表示部５と、これらテーブル作成部２、画像入手部３、エッジ情報取得部４及び表示部５を制御する制御部６とが備えられている。
【００２３】
テーブル作成部２は、補正の基準となる物体像（基準物体像）の幾何学情報を予めテーブル化して作成するものである。具体的には、例えば図２に示すような基準物体像１０を検出する場合においては、当該基準物体像１０を含んだ画像を取得し、その画像内の基準物体像１０の境界線を形成する各画素位置Ｐ１と、重心位置Ｐ２との関係から幾何学情報を求める。幾何学情報としては、画素位置Ｐ１から重心位置Ｐ２まで向かう線Ｌ１と水平線Ｌ２との角度α、画素位置Ｐ１から重心位置Ｐ２までの距離Ｌ、濃淡勾配ベクトルＶ１と水平線Ｌ２との角度φが挙げられる。そして、テーブル作成部２は、濃淡勾配ベクトルＶ１と水平線Ｌ２との角度φをインデックスにして幾何学情報のテーブルを作成する。
【００２４】
画像入手部３は、基準となる物体像と相似形状の対象物体像を含む補正対象画像を入手するものである。画像入手部３は例えば対象物体像を直接撮影する撮影部である。なお、画像入手部３は、別の装置で撮影された補正対象画像が転送されることで入手するものであってもよい。
【００２５】
エッジ情報取得部４は、画像入手部３により得られた補正対象画像を基に対象物体像のエッジ情報を取得するものである。このエッジ情報の取得時においても、テーブル作成部２による幾何学情報取得方式と同様の方式が用いられて、対象物体像のエッジ情報である幾何学情報が取得される。
【００２６】
表示部５は制御部６の制御に基づき、各種画像の表示を行うものである。
【００２７】
制御部６は、エッジ情報取得部４により得られた対象物体像のエッジ情報と、テーブル作成部２による物体像の幾何学情報とを照合することで、物体像に対する対象物体像の拡大縮小率、回転角、平行移動位置を取得し、当該拡大縮小率、回転角、平行移動位置と、補正対象画像の撮影時の撮影条件とをパラメータとして補正対象画像に対し歪曲収差補正を施して、対象物体像を検出するものである。
【００２８】
以下、制御部６による対象物体像の検出処理について具体的に説明する。
まず、対象物体像の検出方法の基礎となる一般化ハフ変換について説明する。一般化ハフ変換は、ある検出したい物体が画像中のどの位置に、どの大きさで、どの角度を持って存在しているかを検出するアルゴリズムである。一般化ハフ変換は、基準物体像（例えば図２（ａ）の基準物体像１０）を基に当該基準物体像の幾何学情報のテーブルを作成する。
【００２９】
その後、パラメータ空間である拡大縮小率Ｓ、回転角θを設定する。ここでの設定とは各値（拡大縮小率Ｓ、回転角θ、平行移動位置（ｔｘ，ｔｙ））の許容範囲と、許容範囲における分割幅を設定することである。例えば、拡大縮小率Ｓの許容範囲を１．０の±０．１、分割幅を０．１と設定し、回転角θの許容範囲を０度の±１０度、分割幅を５度と設定する。これにより、拡大縮小率Ｓは０．９、１．０、１．１の３通り、回転角θは−１０度、−５度、０度、５度、１０度の５通りとなり、全ての組み合わせは１５通りとなる。平行移動位置（ｔｘ，ｔｙ）は基本的には画像サイズに設定するが、画像サイズから変更したものに設定してもよい。ここでは、３２０×２４０画像サイズに設定する場合を例示する。この場合、３２０×２４０個の投票箇所があるため、総投票数は、１１５２０００個（＝１５通り×３２０×２４０）となる。
【００３０】
次に投票作業を行う。基準物体像１０が撮影された画像の幾何学情報を取得し、デーブル作成時と同様に、幾何学情報の各点の濃淡勾配ベクトルωを算出する。これを拡大縮小率Ｓ、回転角θの全ての組み合わせに対して行い、濃淡勾配ベクトルω、回転角θに対応するテーブルを参照して、（Ｌ（φ・θ），α（φ・θ））を求める（例えば図２（ｂ））。ここで平行移動ベクトル（ｔｘ，ｔｙ）とし、各点の座標値をＸ，Ｙとすると、以下の式（１），（２）で平行移動ベクトルを求め、その拡大縮小率Ｓ、回転角θ、（ｔｘ，ｔｙ）の投票度数を１増やす。
【００３１】
ｔｘ＝Ｘ＋Ｌ（φ・θ）×Ｓ×ｃｏｓ（α（φ・θ）＋θ）・・・（１）
ｔｙ＝Ｘ＋Ｌ（φ・θ）×Ｓ×ｓｉｎ（α（φ・θ）＋θ）・・・（２）
【００３２】
この投票作業で投票度数が最も極大値を示しているパラメータの組み合わせ（Ｓ，θ，（ｔｘ，ｔｙ））が基準物体像１０の拡大縮小率Ｓ、回転角θ、座標値（ｔｘ、ｔｙ）を示すことになる、一般化ハフ変換によってこれらを同時に算出することができる。
【００３３】
ここで、画像を撮影した際、取得した画像にはレンズにより歪曲収差が影響することになる。歪曲収差には、半径方向の歪みと接線方向の歪みが存在している。具体的に、図３を参照し、同一のレンズを使用したカメラＡとカメラＢの各歪みを比較すると、カメラＡの半径方向の歪曲収差と、カメラＢの半径方向の歪曲収差とでは多少変化はあるものの同一の特性があることが分かる。それに対し、接線方向の歪曲収差には、同一のレンズを使用しているにもかかわらず、明らかに特性に違いがあることが分かる。さらに、半径方向の歪曲収差の方が接線方向の歪曲収差に比べ大きな歪みを持っていることも分かる。
【００３４】
ところで、上記の一般化ハフ変換であると、画像の歪曲収差の影響までも考慮できていないために、拡大縮小率Ｓや回転角θ、平行移動位置（ｔｘ，ｔｙ）を正確に算出できないのが現状であった。そこで、本発明においては暫定歪曲収差補正を施すことで、半径方向の歪みを補正し、歪みの少ない画像を生成する。
【００３５】
ここで、暫定歪曲収差補正には、補正対象画像撮影時の撮影条件（レンズ中心や焦点距離、座標軸の成す角度等）が既知でなければならない。しかし、補正前の時点ではこれらのパラメータが未知であるので、これら未知のパラメータに対しても一般化ハフ変換の原理に基づいて算出することで、誤差の少ない暫定歪曲収差を実現する。
また、例えば暫定的に歪曲収差を補正しても、図４に示すように補正対象画像１１の四隅１２については大きな歪みが残る可能性が非常に高い。四隅１２に大きな歪みが残る場合には当該四隅１２に予めマスク領域（図４中、斜線部）を設定することで、未知のパラメータを算出するためのパラメータ算出処理の投票に参加させない領域を設定し、投票の精度を高くする。
【００３６】
図５は制御部６による対象物体像の検出処理における流れを示すフローチャートである。なお、本実施形態では、半径方向の歪みのみを暫定歪曲収差で補正することで、歪みの影響による物体検出精度の低下を防ぐケースを例に説明する。ここでは、補正対象画像撮影時の撮影条件であるレンズ中心と焦点距離とが未知であるが、一般的にレンズ中心の変化の方が焦点距離の変化よりも大きいことが多いために、便宜上焦点距離は既知とし、座標軸の成す角度については９０度と設定して検出処理を実行する。
【００３７】
まず図５に示すように制御部６は、画像入手部３を制御して、対象物体を撮影することで補正対象画像を入手する（ステップＳ１）。例えば、図６に示す対象物体５０を撮影した場合、図７に示すように補正対象画像５１内の対象物体像５２は歪曲収差によって歪んでいる。
【００３８】
その後、制御部６は、エッジ情報取得部４を制御して、画像入手部３により得られた補正対象画像５１を基に対象物体像５２のエッジ情報を取得する（ステップＳ２）。
【００３９】
次に、制御部６は、パラメータ空間である拡大縮小率Ｓ、回転角θｔ、水平方向のレンズ中心位置ｃｘ、垂直方向のレンズ中心位置ｃｙの許容範囲と分割幅とを設定する（ステップＳ３）。例えば、補正対象画像５１が３２０×２４０の画像である場合には、図８に示すように、拡大縮小率Ｓの許容範囲を１．０の±０．０５、分割幅を０．０５と設定し、回転角θｔの許容範囲を０度の±１５度、分割幅を５度と設定し、レンズ中心位置ｃｘの許容範囲を１６０．５の±５、分割幅を１．０ｐｉｘｅｌと設定し、レンズ中心位置ｃｙの許容範囲を１２０．５の±５、分割幅を１．０ｐｉｘｅｌと設定する。
【００４０】
各パラメータの許容範囲と分割数を設定すると、制御部６は、組み合わせ総数Ｎを算出するとともに、組み合わせ番号Ｊを１に設定して、各投票値を０にリセットする（ステップＳ４）。上記の例の場合組み合わせ総数Ｎは２５４１通り（＝３×７×１１×１１）となる。
【００４１】
その後、制御部６は、組み合わせ番号Ｊのときのレンズ中心値で暫定歪曲収差補正を行う（ステップＳ５）。具体的には、下記の関係により暫定歪曲収差補正が実行される。
【００４２】
補正係数：ｋ１，ｋ２，ｋ３，ｋ４，ｋ５
【数１】
2008287338.tif 000003
【数２】
2008287338.tif 000004
軸の傾き：ａｌｐｈａ
【数３】
2008287338.tif 000005
距離：ｒ２＝ｘ２＋ｙ２
半径方向の歪曲収差補正式（水平方向、垂直方向）：
【数４】
2008287338.tif 000006
接線方向の歪曲収差補正式（水平方向）：
【数５】
2008287338.tif 000007
接線方向の歪曲収差補正式（垂直方向）：
【数６】
2008287338.tif 000008
歪曲収差（水平方向）：
【数７】
2008287338.tif 000009
歪曲収差（垂直方向）
【数８】
2008287338.tif 000010
理想的な水平方向の座標値：
【数９】
2008287338.tif 000011
理想的な垂直方向の座標値：
【数１０】
2008287338.tif 000012
撮影条件（カメラ内部パラメータ）
【数１１】
2008287338.tif 000013
補正式：
【数１２】
2008287338.tif 000014
【００４３】
例えば、補正係数ｋ１＝−０．０７５７、ｋ２＝−０．５４３２、ｋ３＝２．２０６５、焦点距離
【数１３】
2008287338.tif 000015
、レンズ中心
【数１４】
2008287338.tif 000016
である場合には、歪曲収差を取り除いた座標値ｘｐ＝１０、ｙｐ＝１０は、歪曲収差のある座標では９．５４０３、９．７００１に相当することになる。これを各座標値に実行することで対象物体像５２に対して暫定歪曲収差補正が施されることになる（図９参照）。
【００４４】
制御部６は、エッジ情報取得部４を制御して、歪曲収差補正が行われた補正対象画像５１を基に対象物体像５２のエッジ情報を取得する（ステップＳ６）。
【００４５】
そして、制御部６はステップＳ６で得られたエッジ情報と、テーブル作成部２で作成されたテーブルとを照合することで、組み合わせ数Ｊのときの座標値を算出し、投票する。
【００４６】
その後、制御部６は組み合わせ数Ｊと組み合わせ総数Ｎとを比較し（ステップＳ７）、組み合わせ総数Ｎの方が大きい場合にはステップＳ８に移行し、組み合わせ総数Ｎと組み合わせ数とが同数になった場合にはステップＳ９に移行する。これにより、全ての組み合わせ数で投票が実行され、例えば図１０（ａ）に示すような投票結果が得られることになる。
【００４７】
ステップＳ８では、制御部６は組み合わせ数Ｊを１だけカウントアップして、ステップＳ５に移行する。
【００４８】
ステップＳ９では、制御部６は、投票結果から投票値が最大となる組み合わせを検索する。例えば、図１０（ａ）に示す投票結果の場合には、投票値が１２６３で最大な、拡大縮小率Ｓ＝１．０、回転角θｔ＝５、水平方向のレンズ中心位置ｃｘ＝１５７．５、垂直方向のレンズ中心位置ｃｙ＝１２３．５が検索される。また同様に、図１０（ｂ）に示す通り、投票値が最大な平行移動位置ｔｘ，ｔｙ＝８０，１８０が算出される。この平行移動位置ｔｘ，ｔｙが対象物体像５２の補正後の重心位置（参照点座標Ｑ）となる。これにより暫定歪曲収差補正後の対象物体５０の位置が正確に判明し、物体形状も検出されることになる（図１１における点線部５３）。
【００４９】
その後、制御部６は、暫定歪曲収差補正後の画像に対して、上述した暫定歪曲収差補正で使用した式により、逆歪曲収差補正を実行することで、歪みを取り除く前の画像の座標値に変換する（ステップＳ１０）。
【００５０】
そして、制御部６は、暫定歪曲収差補正を施す前の補正対象画像５１に対して、検出した対象物体５０の輪郭が描画されるように表示部５を制御している（ステップＳ１１）。これにより、図１２に示す点線Ｌ３のように歪みのある画像のどの位置にどのような形で対象物体５０が存在しているかを示すことができる。
【００５１】
以上のように、本実施形態によれば、拡大縮小率、回転角、平行移動位置と、補正対象画像の撮影時の撮影条件（例えばレンズ中心や焦点距離等）とをパラメータとして補正対象画像に対し歪曲収差補正を施しているので、物体検出に撮影条件が考慮されることになり、正確な位置検出が可能となる。したがって、高価なレンズを使用せず、カメラキャリブレーションがすんでいない状態若しくはキャリブレーションデータの一部が未知のカメラであっても、物体や図形の検出が可能となる。
【００５２】
なお、本発明は上記実施の形態に限らず適宜変更可能であるのは勿論である。
例えば、暫定歪曲収差補正で使用する式や座標値は、レンズデータを使用してもよいし、同一レンズを使用したカメラのキャリブレーションから求めた補正係数を使用してもよい。また、本実施形態で例示した歪曲収差補正の式は、歪曲収差のある座標値から歪曲収差を取り除いた座標値を算出するものであるが、歪曲収差を取り除いた座標値から歪曲収差のある座標値に変換する補正式を使用することも可能である。また、例示した以外の歪曲収差補正式を使用してもよい。
【００５３】
また、上記の画像処理装置１は、カメラのキャリブレーション装置にも適用することが可能である。例えば、図１３に示すようにカメラ１００により既知のチャート１０１を撮影して、そのチャート１０１の特徴点１０２（格子点）からカメラ１００のキャリブレーションを行う場合、画像処理装置１での対象物体像の検出処理を適用することで、チャート１０１の特徴点１０２を抽出し、その特徴点１０２からキャリブレーションを行うようにすることが挙げられる。
【００５４】
図１４はキャリブレーション処理の流れを示すフローチャートである。
なお、キャリブレーション処理の前提として、予めテーブル作成部２がチャート１０１の幾何学情報のテーブルを作成しているとともに、画像入手部３がチャート像を含む画像を入手している。なお、テーブル作成時においては、制御部６は、エッジ情報取得部４を制御して、チャート像１０３の直交軸に対する角度θｓを歪曲収差補正以前に算出させる（図１５参照）。
【００５５】
まず、図１４に示すステップＳ２１では、制御部６は、チャート像１０３（図１６，１７参照）を含む画像に対して、上記した対象物体像の検出処理を施すことで、チャート像の位置情報（拡大縮小率Ｓ、回転角θｔ、平行移動位置ｔｘ，ｔｙ、レンズ中心ｃｘ，ｃｙ）を推定する。
【００５６】
その後、ステップＳ２２では、制御部６は撮影したチャート像１０３が直交座標に対して平行となるように回転角θｓ，θｔを基に回転角θｒを算出し（図１６参照）、撮影画像若しくはチャート像１０３をθｒ分変換する（図１７参照）。
【００５７】
そして、ステップＳ２３では、制御部６は、θｒだけ回転させたチャート像１０３に対し周知のテンプレートマッチング技術を用いて、チャート像１０３内の格子点である特徴点１０２を抽出する。ここでいう特徴点１０２とは図１８中の円弧１０４により囲まれた点である。例えば二値化してテンプレートマッチングを実行する場合には、図１９に示すように抽出したチャート像１０３だけからなる抽出領域Ｒ１を複数個に分割し、その分割した領域毎に閾値を独自に設定して、特徴点１０２の抽出精度を向上させることも可能である（図２０は領域Ｒ１を９分割した場合を例示している。）。
なお、チャート像１０３から特徴点１０２を抽出する際に、図２１，２２に示すように抽出領域Ｒ１を４分割し、当該分割した領域Ｒ２にのみ特徴点抽出処理である画像処理を施して、チャート像１０３の四隅の特徴点１０２を取得するようにして、得られた４隅の特徴点１０２を基に全ての特徴点１０２を算出する方式を使うことも可能である。この４隅の領域の閾値は任意に設定してもよい。なお、抽出領域Ｒ１の分割は、４分割に限定されるものではなく、４隅の特徴点１０２がそれぞれ別領域に存在するのであれば５分割以上であってもよい。この場合、当該分割した領域のうち、４隅の特徴点１０２が存在する領域にのみ画像処理を施して得られた特徴点位置から、他の全ての特徴点の位置を推定算出することが好ましい。
【００５８】
ステップＳ２４では、制御部６は抽出した特徴点１０２の座標値に対して逆歪曲収差補正を施すことにより、暫定歪曲収差補正を実行する前の座標値に変換する。このとき、さらに特徴点１０２の座標精度を高めるためにサブピクセル処理を施してもよい。
【００５９】
ステップＳ２５では、制御部６は、チャート像１０３を含む全ての画像に対して処理を行ったか否かを判断し、行っていない場合にはステップＳ２６に移行して、行っている場合にはステップＳ２７に移行する。
【００６０】
ステップＳ２６では、制御部６は、２枚目以降の画像に対して対象物体像の検出処理を施す。この際、ステップＳ２１の処理によりレンズ中心ｃｘ，ｃｙ等の撮影条件の推定を完了しているので、これらの推定値を流用して各画像の拡大縮小率Ｓ、回転角θｔ、平行移動位置ｔｘ，ｔｙを算出する。各画像のチャート位置を検出したらステップＳ２２に移行する。
【００６１】
ステップＳ２７では、制御部６は、取得した座標値を基にして周知のキャリブレーションを実行する。このキャリブレーション処理では、元画像の座標値を基に、本来あるべき特徴点１０２の座標値を算出し、その２種類の座標値を指標して、カメラの内部パラメータ（撮影条件）や、歪曲収差補正係数、カメラが複数ある場合には外部パラメータを算出する。
これにより、本発明を活用したキャリブレーション処理が完了する。
【００６２】
なお、上記のステップＳ２２では、チャート像１０３が直交座標に対して平行となるように、撮影画像若しくはチャート像１０３をθｒ分変換する場合を例示して説明したが、これ以外にも変換方式を用いることも可能である。
【００６３】
例えば、制御部６は、テーブル作成部２が幾何学情報のテーブルを作成する際に、当該テーブル作成部２を制御して、エッジ情報取得部４で算出された直交軸に対する角度から、幾何学情報の角度を変換してテーブルを作成させ、当該テーブルと、検出したチャート像１０３を検出した際の推定算出した角度とを基に、検出した対象物体像チャート像１０３が直交軸に平行となるように補正対象画像若しくはチャート像を回転させるようにしてもよい。具体的には、図２３に示すようにチャート像１０３が傾いている場合、幾何学情報テーブルは、チャート像１０３の必要なエッジの濃淡勾配ベクトルＶ１と水平軸Ｈとが成す角度φと、そのエッジからチャート像１０３の重心位置までの距離Ｌ、その距離Ｌと水平軸が成す角度θを有しているものとなる。そこで、回転角θｓ分をそれぞれ角度φ，θに組み込み、濃度勾配ベクトるＶ１と水平軸Ｈとを成す角度φをφ・θｓ、距離Ｌと水平軸Ｈとが成す角度θをθ・θｓにして、幾何学テーブルを作成することで、物体検出で検出した回転角θｔ分回転処理させれば、チャート像１０３は直交軸に対して平行にすることが可能となる。さらに必要なエッジに対してのみ処理を行うので処理速度が高速化されることにもなる。例えば、あるエッジの角度φが７０度で、θが−３０度であり、θｓが２０度だったとすると、濃淡勾配ベクトルＶ１と水平軸が成す角度は５０度、距離Ｌと水平軸が成す角度は−５０度になる。
【００６４】
また、テーブルを作成する前に、直交座標に対して平行となるようにチャート像１０３を回転させてから、テーブルを作成し、チャート像１０３の位置情報で算出された回転角θｔを使用して、θｔ分回転させて直交座標に平行になるように処理してもよい。
【図面の簡単な説明】
【００６５】
【図１】本実施形態に係る画像処理装置の主制御構成を表すブロック図である。
【図２】一般化ハフ変換のアルゴリズムを説明するための説明図であり、（ａ）は基準物体像の一例を示す概念図、（ｂ）はテーブルの一例を表す図である。
【図３】同一のレンズを使用したカメラＡとカメラＢとの半径方向の歪曲収差、接線方向の歪曲収差各歪みを比較した説明図である。
【図４】本実施形態の補正対象画像にマスク領域を設定した場合を一例を示す説明図である。
【図５】本実施形態に係る対象物体像の検出処理における流れを示すフローチャートである。
【図６】本実施形態に係る対象物体の一例を示す説明図である。
【図７】図６の対象物体を撮影したことにより得られた補正対象画像の一例を示す説明図である。
【図８】本実施形態に係る各パラメータの許容範囲と分割幅との例を示す表である。
【図９】本実施形態に係る暫定歪曲収差補正が施された対象物体像の一例を示す説明図である。
【図１０】本実施形態に係る投票の一例を示す説明図であり、（ａ）は投票結果、（ｂ）は最大投票値となるパラメータを示している。
【図１１】本実施形態に係る暫定歪曲収差補正後の対象物体の位置が検出された一例を示す説明図である。
【図１２】本実施形態に係る暫定歪曲収差補正を施す前の補正対象画像に対して、検出した対象物体の輪郭が描画された一例を示す説明図である。
【図１３】本実施形態に係るチャートがカメラにより撮影される状態を示す説明図である。
【図１４】本実施形態に係るキャリブレーション処理の流れを示すフローチャートである。
【図１５】本実施形態に係るチャート像の直交軸に対する傾き角度θｓを示す説明図である。
【図１６】本実施形態に係るチャート像の各角度θｓ，θｔ，θｒの関係を示す説明図である。
【図１７】本実施形態に係るチャート像が直交軸に対して平行となった状態を示す説明図である。
【図１８】本実施形態に係るチャート像の特徴点を示す説明図である。
【図１９】本実施形態に係るチャート像だけからなる抽出領域を示す説明図である。
【図２０】図１９の抽出領域を分割した場合の一例を示す説明図である。
【図２１】本実施形態に係るチャート像の特徴点抽出の他の一例を示す説明図である。
【図２２】本実施形態に係るチャート像の特徴点抽出の他の一例を示す説明図である。
【図２３】本実施に係るチャート像を直交軸に対して平行とする他の方式を示す説明図である。
【符号の説明】
【００６６】
１      画像処理装置
２      テーブル作成部
３      画像入手部
４      エッジ情報取得部
５      表示部
６      制御部
【図１】
2008287338.tif 000017
【図２】
2008287338.tif 000018
【図３】
2008287338.tif 000019
【図４】
2008287338.tif 000020
【図５】
2008287338.tif 000021
【図６】
2008287338.tif 000022
【図７】
2008287338.tif 000023
【図８】
2008287338.tif 000024
【図９】
2008287338.tif 000025
【図１０】
2008287338.tif 000026
【図１１】
2008287338.tif 000027
【図１２】
2008287338.tif 000028
【図１３】
2008287338.tif 000029
【図１４】
2008287338.tif 000030
【図１５】
2008287338.tif 000031
【図１６】
2008287338.tif 000032
【図１７】
2008287338.tif 000033
【図１８】
2008287338.tif 000034
【図１９】
2008287338.tif 000035
【図２０】
2008287338.tif 000036
【図２１】
2008287338.tif 000037
【図２２】
2008287338.tif 000038
【図２３】
2008287338.tif 000039