(57)【要約】画像補正装置（１）は、撮像素子によって複数の地点（ａ，ｂ）で撮像された複数の画像（２）から、特徴点の集合（ＱＡ０、ＱＡ１……）を検出する特徴点検出手段（３、４及び５）と、該検出された特徴点の集合に関する、画像間での相対的な位置の変化を検出する変化検出手段（７）と、該検出された変化に基づいて、撮像素子の地点間での回転量を特定する第１特定手段（８）とを備える画像補正装置である。特徴点検出手段は、平面状の静止物体（３１０）に属する点の集合を、特徴点の集合として検出する。
2008032375.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子によって複数の地点で撮像された複数の画像から、特徴点の集合を検出する特徴点検出手段と、
該検出された特徴点の集合に関する、前記画像間での相対的な位置の変化を検出する変化検出手段と、
該検出された変化に基づいて、前記撮像素子の前記地点間での回転量を特定する第１特定手段と
を備える画像補正装置であって、
前記特徴点検出手段は、平面状の静止物体に属する点の集合を、前記特徴点の集合として検出する
ことを特徴とする画像補正装置。
【請求項２】
前記第１特定手段は、前記画像間において、前記特徴点同士の相対位置が相似になるような回転量として、前記回転量を特定する
ことを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記第１特定手段は、
前記検出された特徴点の集合のうち、一の特徴点を基準点として決定し、
該決定された基準点から、他の特徴点の各々へと向かう相対ベクトルを計算し、
該計算された相対ベクトルが、前記画像間において、相似になるように、前記回転量を特定する
ことを特徴とする請求項２に記載の画像補正装置。
【請求項４】
前記特徴点検出手段は、既知の形状を構成する点の集合を、前記特徴点の集合として検出する
ことを特徴とする請求項１から３のいずれか一項に記載の画像補正装置。
【請求項５】
前記地点間の距離を計測する計測手段と、
該計測された前記地点間の距離及び前記特定された回転量に基づいて、前記撮像素子の前記地点間での平行移動量を特定する第２特定手段とを更に備える
ことを特徴とする請求項１に記載の画像補正装置。
【請求項６】
前記変化検出手段は、前記特徴点の集合に加えて、任意の特徴点に関する、前記変化を検出し、
前記任意の特徴点に関する該検出された変化に少なくとも基づいて、前記任意の特徴点までの距離を算出する算出手段を更に備える
ことを特徴とする請求項１に記載の画像補正装置。
【請求項７】
前記平面状の静止物体に関する前記変化、及び前記地点間の距離のうち少なくとも一方に基づいて、前記画像のうち前記変化を検出する対象となる領域を縮減する縮減手段を更に備える
ことを特徴とする請求項１から６のいずれか一項に記載の画像補正装置。
【請求項８】
前記平面状の静止物体及び前記特徴点のうち少なくとも一方の候補を記録する記録手段を更に備え、
前記特徴点検出手段は、該記録された候補を参照して、前記特徴点を検出する
ことを特徴とする請求項１から７のいずれか一項に記載の画像補正装置。
【請求項９】
撮像素子によって複数の地点で撮像された複数の画像から、特徴点の集合を検出する特徴点検出工程と、
該検出された前記特徴点の集合に関する、前記画像間での相対的な位置の変化を検出する変化検出工程と、
該検出された変化に基づいて、前記撮像素子の前記地点間での回転量及び平行移動量のうち少なくとも一方を特定する特定工程と
を備える画像補正方法であって、
前記特徴点検出工程において、平面状の静止物体に属する点の集合が、前記特徴点の集合として検出される
ことを特徴とする画像補正方法。
【請求項１０】
コンピュータを、
請求項１から８のいずれか一項に記載の画像補正装置として機能させる
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の移動パラメータ（例えば、回転量及び平行移動量）を特定し、撮像した画像の補正等に利用する画像補正装置及び方法、並びにコンピュータをそのような画像補正装置として機能させるコンピュータプログラムの技術分野に関する。
【背景技術】
【０００２】
この種の画像補正装置において、撮像素子が撮像地点間でどのように動いたかを示す移動パラメータを特定するにあたり、撮像された画像の中から特徴点がいくつか選択され、この特徴点の動きに着目して移動パラメータが特定される。ここで仮に、特徴点としてノイズを選択してしまうと、誤差の影響が無視できず、移動パラメータが正しく得られない虞がある。【０００３】
そこで、特徴点の画像間での動きを探索し、誤差の評価を行い、移動パラメータを統計的に検出する技術が知られている（非特許文献１参照）。【０００４】
また、この移動パラメータのうち、回転量と平行移動量とを別々に求めるために、互いに平行な垂直線分、水平線の消失点の動きを利用する技術も提案されている（非特許文献２参照）。【０００５】
更に、上記消失点を道路の白線を利用して検出する技術も提案されている（特許文献１参照）。【０００６】
【非特許文献１】IEEE TRANS. ON SYSTEM, MAN AND CYBERNETICS, VOL.19, NO.6, NOV./DEC. 1989 pp.1426-1446
【非特許文献２】電子通信学会論文誌’86/6 VOL.J-69-D NO.6 pp.967-974
【特許文献１】特開平７−７８２４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、前述の非特許文献１に開示されている技術では、計算量上の問題が生じる虞がある。例えば、多くの特徴点のオプティカルフローを求めるといった場合に、統計的な計算が必要であり、膨大な計算量が必要となる虞がある。【０００８】
また、非特許文献２に開示されている技術では、直線同士が実世界において平行である必要がある。従って、例えば円形の看板のように、平行でない直線を候補として選択してしまうと、誤差の原因となり得る。【０００９】
更に、特許文献１に開示されている技術では、白線が直線でないときには適応できずに誤差の原因となり得る。【００１０】
本発明は、例えば上述した問題点に鑑みてなされたものであり、上記移動パラメータの特定に要する計算量を好適に低減可能な画像補正装置及び方法、並びにコンピュータをそのような画像補正装置として機能させるコンピュータプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１１】
（画像補正装置）
本発明の画像補正装置は、上記課題を解決するために、撮像素子によって複数の地点で撮像された複数の画像から、特徴点の集合を検出する特徴点検出手段と、該検出された特徴点の集合に関する、前記画像間での相対的な位置の変化を検出する変化検出手段と、該検出された変化に基づいて、前記撮像素子の前記地点間での回転量を特定する第１特定手段とを備える画像補正装置であって、前記特徴点検出手段は、平面状の静止物体に属する点の集合を、前記特徴点の集合として検出する。【００１２】
本発明の画像補正装置によると、先ず、例えばカメラ等の撮像素子によって複数の地点で撮像された複数の画像から、メモリ及び演算素子等を有する特徴点検出手段によって、特徴点の集合が検出される。ここでいう「複数」とは、２以上であることを示し、典型的には２である。撮像素子は各地点間を移動して、複数の画像を撮像する。「画像」とは、被写体の２次元平面上での写像をいう。「移動」には、回転移動及び平行移動が含まれ、「移動パラメータ」には回転量及び平行移動量が含まれる。「特徴点」とは、画像処理上、検出し易い画像中の点或いは微少領域である。【００１３】
続いて、検出された特徴点の集合に関する、画像間での相対的な位置の変化が、メモリ及び演算素子等を有する変化検出手段によって、検出される。ここでいう「変化」とは、各特徴点の、画像間での相対的な位置の変化、言い換えれば互いの位置関係の変化のことである。撮像された地点或いは撮像素子の向きが異なれば、同一の被写体（この場合は特徴点）であっても、撮像された画像上での位置は異なる趣旨である。【００１４】
そして、検出された変化に基づいて、撮像素子の地点間での回転量が、メモリ及び演算素子等を有する第１特定手段によって、特定される。【００１５】
ここで一般に、特徴点検出手段が特徴点の集合を無作為に検出すると、上記回転量を特定するために、例えば統計的手法を用いることになり、計算量が膨大になる虞がある。【００１６】
然るに、本実施例に係る特徴点検出手段は、テンプレートマッチング等の認識手法を用いて、例えば看板或いは標識のような平面状の静止物体に属する点の集合を、特徴点の集合として検出する。ここに「平面状」とは、平らな面を有することを示す。但し、厳密な意味で平らであることまでは要求しているわけではない。例えば看板のように、表面に凸凹模様があれども、表面全体の曲率が、所定の曲率閾値よりも小さい場合は許容される趣旨である。また、上記「静止」には、撮像素子の移動速度に比べて無視し得る程に低い速度も含まれ、微動だにしないことまでは要求されない。どの程度「平面状」で、どの程度「静止」しているかは、要求される精度に応じて、予め実験若しくはシミュレーションにより設定されるとよい。そして、各特徴点が平面上の静止物体に属する点であることを前提として、上記回転量を特定するための計算が行われる。従って、上記移動パラメータの一例たる回転量の特定に要する計算量を好適に低減できる。このように好適に回転量が特定されれば、例えば各地点で撮像された画像を解析して特徴点までの距離を測定する際にも、特定された回転量で補正でき、実践上非常に有効である。【００１７】
本発明の画像補正装置の一態様では、前記第１特定手段は、前記画像間において、前記特徴点同士の相対位置が相似になるような回転量として、前記回転量を特定する。【００１８】
この態様によると、画像間において、特徴点同士の相対位置が相似になるような回転量が第１特定手段によって特定される。ここに「特徴点同士の相対位置」とは、ある特徴点を基準とした、特徴点同士の相対的な位置関係であり、言い換えれば特徴点の集合によって形成される図形の形状である。ここで、一般に平面同士（即ち、平面状の静止物体と撮像面）は回転のみで互いに平行にすることができる。平面同士が平行になれば、そのうち一の平面に属する特徴点の集合は、他の平面上で相似な形状として写像される。逆に、平面状の静止物体に属する特徴点の集合が、ある撮像面における写像と相似になるように、撮像素子の撮像面を回転させることもでき、そのときの回転量を、上述した回転量とするとよい。【００１９】
本発明の画像補正装置の他の態様では、前記第１特定手段は、前記検出された特徴点の集合のうち、一の特徴点を基準点として決定し、該決定された基準点から、他の特徴点の各々へと向かう相対ベクトルを計算し、該計算された相対ベクトルが、前記画像間において、相似になるように、前記回転量を特定する。【００２０】
この相似に着目する態様では、第１特定手段は、検出された特徴点の集合のうち、一の特徴点を基準点として決定し、該決定された基準点から、他の特徴点の各々へと向かう相対ベクトルを計算し、該計算された相対ベクトルが、画像間において、相似になるように、回転量を特定してもよい。【００２１】
この態様によると、上述した特徴点同士の相対位置が、相対ベクトルとして表現されるので、第１特定手段は、回転移動を「回転行列」とし、また平行移動をベクトルの加算として具体的に回転量を特定できる。【００２２】
この態様では、前記特徴点検出手段は、既知の形状を構成する点の集合を、前記特徴点の集合として検出してもよい。【００２３】
この態様によると、特徴点検出手段によって、既知の形状を構成する点の集合が、特徴点の集合として検出される。ここでいう「既知の形状」とは、例えば直線、円形或いは長方形のように、その形状を表現するための数式或いは図形特性が既知であるものをいう。例えば特徴点の集合が、長方形ならば、画像に撮像された特徴点の集合が、長方形になるように、回転量が特定される。この際、対辺が互いに平行であるという条件を用いれば、一段と正確かつ効率良く計算できる。【００２４】
本発明の画像補正装置の他の態様では、前記地点間の距離を計測する計測手段と、該計測された前記地点間の距離及び前記特定された回転量に基づいて、前記撮像素子の前記地点間での平行移動量を特定する第２特定手段とを更に備える。【００２５】
この態様によると、例えば変位センサを有する計測手段によって、撮像素子が移動する地点間の距離が計測される。この計測された地点間の距離と、上述のように特定された回転量とに基づいて、第２特定手段は、撮像素子の地点間での平行移動量を特定できる。具体的には、特定された回転量に基づいて、両地点における撮像素子の３次元座標軸を回転させることで、各軸を互いに平行にする。その結果、平行移動によって両座標軸を互いに一致させることができ、このときの平行移動量を、所望の平行移動量として特定できる。【００２６】
本発明の画像補正装置の他の態様では、前記変化検出手段は、前記特徴点の集合に加えて、任意の特徴点に関する、前記変化を検出し、前記任意の特徴点に関する該検出された変化に少なくとも基づいて、前記任意の特徴点までの距離を算出する算出手段を更に備える。【００２７】
この態様によると、変化検出手段によって、特徴点の集合に加えて、任意の特徴点に関する変化が検出される。ここでいう「任意の」とは、平面状の静止物体に属さない特徴点を含む趣旨である。そして、任意の特徴点に関する、検出された変化に少なくとも基づいて、任意の特徴点までの距離が、算出手段によって算出される。即ち、上記回転量等の結果を応用すれば、任意の特徴点までの距離も算出でき、実践上非常に有効である。【００２８】
本発明の画像補正装置の他の態様では、前記平面状の静止物体に関する前記変化、及び前記地点間の距離のうち少なくとも一方に基づいて、前記画像のうち前記変化を検出する対象となる領域を縮減する縮減手段を更に備える。【００２９】
この態様によると、例えばパターンマッチングによって平面状の静止物体に関する変化が、若しくは変位センサ等のハードウェアによって地点間の距離が、導出される。そのうち少なくとも一方に基づいて、例えばメモリ及び演算素子を有する縮減手段によって、画像のうち変化を検出する対象となる領域が縮減される。例えば、上記領域が平面状の静止物体が占める領域になるように縮減される。この結果、静止物体近傍のみをオプティカルフローの探索範囲と限定できるので、計算量の低下が期待でき、実践上有効である。【００３０】
本発明の画像補正装置の他の態様では、前記平面状の静止物体及び前記特徴点のうち少なくとも一方の候補を記録する記録手段を更に備え、前記特徴点検出手段は、該記録された候補を参照して、前記特徴点を検出する。【００３１】
この態様によると、例えばハードディスク等を有する記録手段によって、平面状の静止物体及び特徴点のうち少なくとも一方の候補が、いわゆるテンプレートとして記録される。そして、記録された候補を参照するので、平面状の静止物体の検出精度及び特徴点の検出精度が向上し、結果的に特徴点を精度良く検出可能となる。【００３２】
（画像補正方法）
本発明の画像補正方法は上記課題を解決するために、撮像素子によって複数の地点で撮像された複数の画像から、特徴点の集合を検出する特徴点検出工程と、該検出された前記特徴点の集合に関する、前記画像間での相対的な位置の変化を検出する変化検出工程と、該検出された変化に基づいて、前記撮像素子の前記地点間での回転量及び平行移動量のうち少なくとも一方を特定する特定工程とを備える画像補正方法であって、前記特徴点検出工程において、平面状の静止物体に属する点の集合が、前記特徴点の集合として検出される。【００３３】
尚、本発明の画像補正方法においても、上述した本発明の画像補正装置における各種態様と同様の各種態様を享有することが可能である。【００３４】
（コンピュータプログラム）
本発明のコンピュータプログラムは上記課題を解決するために、コンピュータを、請求項１から８のいずれか一項に記載の画像補正装置として機能させる。【００３５】
本発明のコンピュータプログラムによれば、当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明の画像補正装置を比較的簡単に実現できる。【００３６】
尚、本発明のコンピュータプログラムにおいても、上述した本発明の画像補正装置における各種態様と同様の各種態様を享有することが可能である。【００３７】
以上、説明したように、本発明の画像補正装置によれば、特徴点検出手段、変化検出手段、及び第１特定手段を備え、本発明の画像補正方法によれば、特徴点検出工程、変化検出工程、及び第１特定工程を備えるので、上記移動パラメータの特定に要する計算量を好適に低減可能となる。更に、本発明のコンピュータプログラムによれば、コンピュータを特徴点検出手段、変化検出手段、及び第１特定手段として機能させるので、上述した本発明の画像補正装置を、比較的容易に構築できる。【００３８】
コンピュータ読取可能な媒体内のコンピュータプログラム製品は上記課題を解決するために、上述した本発明の画像補正装置（但し、その各種形態も含む）に備えられたコンピュータにより実行可能なプログラム命令を明白に具現化し、該コンピュータを、前記画像補正装置の少なくとも一部（具体的には、例えば特徴点検出手段、変化検出手段、及び第１特定手段の少なくとも一方）として機能させる。【００３９】
本発明のコンピュータプログラム製品によれば、当該コンピュータプログラム製品を格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から、当該コンピュータプログラム製品をコンピュータに読み込めば、或いは、例えば伝送波である当該コンピュータプログラム製品を、通信手段を介してコンピュータにダウンロードすれば、上述した本発明の画像補正装置を比較的容易に実施可能となる。更に具体的には、当該コンピュータプログラム製品は、上述した本発明の画像補正装置として機能させるコンピュータ読取可能なコード（或いはコンピュータ読取可能な命令）から構成されてよい。【００４０】
本発明の作用及び他の利得は次に説明する実施するための最良の形態から明らかにされよう。
【図面の簡単な説明】
【００４１】
【図１】第１実施例に係る、座標系を示す斜視図である。
【図２】移動ステレオ法において撮像面が移動する様子を示す斜視図である。
【図３】第１実施例に係る、写像と変換写像との関係を示す概念図である。
【図４】本発明の第１実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。
【図５】第１実施例に係る、画像補正装置の動作処理を示すフローチャートである。
【図６】第１実施例に係る、画像補正装置の詳細な動作処理を示すフローチャートである。
【図７】第２実施例に係る、座標系を示す斜視図である。
【図８】第２実施例に係る、画像補正装置の動作処理を示すフローチャートである。
【図９】本発明の第３実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。
【図１０】本発明の第４実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。
【図１１】本発明の第５実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。
【図１２】本発明の第６実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。
【図１３】本発明の第７実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。
【図１４】本発明の第８実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。
【図１５】本発明の第９実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。
【符号の説明】
【００４２】
１  画像補正装置
３２０  撮像面
３００  平面
３１０  物体
２  画像
３  静止物体写像検出部、
４  静止物体平面検出部、
５  特徴点検出部
６  特徴点記録部
６５  特徴点移動量検出部
７  特徴点変化検出部
８  撮像素子回転量検出部
【発明を実施するための最良の形態】
【００４３】
以下、発明を実施するための最良の形態について実施例毎に順に図面に基づいて説明する。【００４４】
（１）第１実施例
第１実施例に係る画像補正装置の構成及び動作処理を図１から図６を参照して説明する。【００４５】
（１−１）移動ステレオ法と移動パラメータについて
画像補正装置の構成及び動作処理を説明するに先立ち、移動パラメータの利用例として、移動ステレオ法について説明する。ここに移動ステレオ法は、物体までの距離を測定する手法の一例である。移動ステレオ法によると、カメラ等の撮像素子を移動させて複数地点で撮影を行い、各地点で撮影された画像を用い、三角測量の原理に基づいて、物体までの距離が測定される。この測定の際、カメラが撮像地点間でどのように動いたかを示す移動パラメータ、即ち回転成分と平行移動成分を求める必要がある。【００４６】
移動ステレオ法について説明を加えるために、先ず図１を用いて、ピンホールを原点Ｏとした３次元座標系について考える。ここに、図１は、第１実施例に係る、座標系を示す斜視図である。
2008032375.tif 000003
【００４７】
【数１】
2008032375.tif 000004
写像された複数の点の集合が、画像を構成することになる。この画像を複数地点で撮影する様子を図２を用いて説明する。ここに、図２は、移動ステレオ法において画像を複数地点で撮影する様子を示す斜視図である。【００４８】
図２において、撮像面３２０を有する撮像素子は、ある特徴点Ｑの回りを地点ａから地点ｂへと移動し、両地点で特徴点Ｑを撮影している。ここで撮像素子の移動パラメータは、ヨー角φ、ピッチ角θ及びロール角ψによる３軸の回転行列と３軸の平行移動要素Δｘ、Δｙ及びΔｚに分解され、地点ａでの撮像面３２０の座標系（Ｘ，Ｙ，Ｚ）から、地点ｂでの撮像面３２０の座標系（Ｘ’，Ｙ’，Ｚ’）への変換は、数２で表される。【００４９】
【数２】
2008032375.tif 000005
ここで、数２はφ、θ、ψ、Δｘ、Δｙ及びΔｚの６元の未知数をもつ方程式である。従って、単純に、画像の中で６つの特徴点を選択し、この特徴点が、地点ａ及び地点ｂでの画像間で（ｕ，ｖ）平面上をどれだけ移動したかがわかれば、数１を用いて数２の方程式を解くことができるはずである。ところが、この方法で６つの特徴点を無作為に選択すると、特徴点としてノイズが選択される虞があり、誤差の影響が無視できない。この誤差を軽減するには、統計的な処理によって精度を向上させることも可能だが、計算量は膨大になる。【００５０】
そこで、本実施例では、特徴点の選択の仕方を工夫し、数２の方程式を解くために要する計算量を低減することを試みる。【００５１】
具体的には、図１において、例えば看板のような平面３００に属する物体３１０を撮像して、特徴点を平面３００に属する物体３１０に含まれる点の中から選択することにする。このように特徴点が選択されると、以下のように比較的簡単な計算で数２の移動パラメータを特定できる。即ち、平面３００に属する物体３１０と、その撮像面３２０での写像とは、平面３００と撮像面３２０とが平行になったときに相似になり、それは撮像位置とは無関係である。よって、平面３００に属する物体３１０の写像ならば、各画像で変換写像が互いに相似になるように回転行列を求めることができ、数２の回転行列を求めることができる。【００５２】
この相似に着目して回転行列を求める様子を、図３を用いて詳述する。ここに、図３は、第１実施例に係る、写像と変換写像との関係を示す概念図である。【００５３】
図３（ａ）において、画像Ａ，Ｂ中の写像Ａ，Ｂを回転行列ＲＡ、Ｂで変換して得られた変換写像を夫々変換写像Ａ，Ｂとする（順不同）。このとき、上述したように変換写像Ａと変換写像Ｂとが互いに相似になるという条件を用いて、回転行列ＲＡ、Ｂが求められる。従って、物体３１０に含まれる特徴点を検出する。物体３１０の写像が相似になるのであれば、特徴点同士（例えば、四角形ＱＡ０ＱＡ１ＱＡ２ＱＡ３と四角形ＱＢ０ＱＢ１ＱＢ２ＱＢ３）の相対位置が全て相似になるように回転行列ＲＡ、Ｂが求められる。【００５４】
また、この関係は、図３（ｂ）のように表現することもできる。即ち、写像Ａを回転行列ＲＡで変換して得られた変換写像Ａを平行移動すれば変換写像Ｂが得られる。変換写像ＡとＢとは相似だからである。この変換写像Ｂを回転行列ＲＢの逆行列ＲＢ−１で逆回転すると写像Ｂが得られる。従って、数２は、数３のように変形される。【００５５】
【数３】
2008032375.tif 000006
つまり、数２の代わりに数３を解いてもよいといえる。その結果、回転行列ＲＡ、ＲＢが求まれば、回転行列Ｒを求めることができる。このとき、ＲＡ，ＲＢは夫々、画像Ａ，Ｂを撮像した地点ａ，ｂで撮像面３２０と平面３００とを互いに平行にする回転行列であるといえる。【００５６】
以上説明したように、特徴点の選択の仕方を平面３００内に限定することで、主に以下の三つのメリットを享受できる。【００５７】
第一に、平面３００を基準の平面として、この平面３００と各撮像地点の撮像面３２０とが平行になるような相対角（例えば、回転行列ＲＡ、ＲＢ）が比較的容易に求められるので、回転角（例えば、回転行列Ｒ）の計算が簡略化される。【００５８】
第二に、各撮像地点の撮像面３２０が平面３００と平行になるように例えば、回転行列ＲＡ、ＲＢで回転変換されれば、変換後の特徴点の移動は平行移動による影響のみになるので、平行移動量（例えば、Δｘ、Δｙ及びΔｚ）の計算が簡略化される。【００５９】
第三に、上述のように回転変換されれば、平面３００に属する全ての特徴点は、撮像面３２０からの光軸上の距離が互いに等しくなる。このとき、平行移動量は各特徴点で一致するので、各特徴点の動き予測が可能になる。その結果、特徴点の候補から異常な動きするものを除くことができ、誤差に強くなる。【００６０】
上記メリットを享受すべく、実施例に係る画像補正装置を以下のように構成する。【００６１】
（１−２）基本構成
次に、本実施例に係る画像補正装置の基本構成について、図１から図３に加えて、図４を参照して説明する。ここに、図４は、本発明の第１実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。【００６２】
図４に示すように、本実施例に係る画像補正装置１は、本発明に係る「特徴点検出手段」の一例である静止物体写像検出部３、静止物体平面検出部４、特徴点検出部５、及び特徴点記録部６と、特徴点移動量検出部６５と、本発明に係る「変化検出手段」の一例である特徴点変化検出部７と、本発明に係る「第１特定手段」の一例である撮像素子回転量検出部８とを備えており、特徴点の選択をある平面に属するものだけに限定することで、撮像素子の移動パラメータの特定に要する計算量を好適に低減可能に構成されている。以下に各部の構成を詳述する。【００６３】
静止物体写像検出部３は、メモリ及び演算素子等を備え、撮像素子の撮像面３２０によって異なる地点で撮像された画像２から静止物体を検出するよう構成されている。ここでいう「静止物体」とは、本発明に係る「平面状の静止物体」の一例であり、静止している物体を示し、完全に静止している物体のみならず、画像補正装置１が移動する速度に比べて十分に小さい速度で移動している物体、或いは一般的に静止してると想定される物体をも含む包括的な概念である。静止物体を検出する方式には、例えば撮影された画像と一般的に静止してると想定される物体のテンプレートとを比較するテンプレートマッチングの他、各種方式のいずれも可能であり、その方式は特に限定されない。【００６４】
静止物体平面検出部４は、メモリ及び演算素子等を備え、検出された写像の中から同一平面３００に属する部分である物体３００を検出するよう構成されている。ここでいう「平面」とは、実空間において略平面構成を有するものであり、例えば看板、標識である。同一平面に属する部分を検出する方式には、例えば撮影された画像と、例えば看板、標識のように一般的に略平面構成を有する物体であると想定される物体のテンプレートとを比較するテンプレートマッチングの他、各種方式のいずれも可能であり、その方式は特に限定されない。【００６５】
特徴点検出部５は、メモリ及び演算素子等を備え、平面３００に属する部分である物体３００から所定の特徴を有する特徴点の集合（例えば、図３に示すＱＡ０、ＱＡ１、ＱＡ２、ＱＡ３、ＱＢ０、ＱＢ１、ＱＢ２、ＱＢ３）を検出するよう構成されている。各特徴点は、例えば画像から抽出されたエッジ交点の中から、所定の輝度値よりも大きい輝度値を有するものとして検出される。【００６６】
特徴点記録部６は、ハードディスク等を備え、上記特徴点の集合を記録保存するよう構成されている。【００６７】
特徴点移動量検出部６５は、メモリ及び演算素子等を備え、地点ａで撮像された画像Ａで検出された特徴点の集合が、地点ｂで撮像された画像Ｂにおいてどこに移動したか、その移動量を検出する。【００６８】
特徴点変化検出部７は、メモリ及び演算素子等を備え、画像Ａ，Ｂ間での特徴点の変化を検出するよう構成されている。この特徴点変化検出部７は、特徴点基準点決定部７１、特徴点間相対ベクトル計算部７２、特徴点間相対ベクトル変化検出部７３を備える。ここで特徴点基準点決定部７１は、相対ベクトルの基準となる特徴点を決定する。特徴点間相対ベクトル計算部７２は、基準として決定された特徴点と、他の特徴点とを結んでなる相対ベクトルを算出する。尚、各相対ベクトルは、互いに一次独立である。特徴点間相対ベクトル変化検出部７３は、特徴点の集合が画像間でどのように移動したかに基づいて、相対ベクトルがどのように変化したかを検出する。即ち、特徴点の変化が相対ベクトルとして検出される。【００６９】
撮像素子回転量検出部８は、メモリ及び演算素子等を備え、検出された特徴点の変化、即ち相対ベクトルの変化から、画像補正装置１を有する撮像素子の移動パラメータの一例として、撮像素子の回転量を検出するよう構成されている。【００７０】
以上、図４に示すように構成された画像補正装置１によると、平面３００に属する部分である物体３００から所定の特徴を有する特徴点の集合が検出されるので、撮像素子の回転量を比較的少ない計算量で求めることが可能となる。【００７１】
（１−３）動作処理
次に、以上のように構成された本実施例に係る画像補正装置１の動作処理について、図１から図４に加えて、図５及び図６を用いて説明する。ここに、図５は、第１実施例に係る、画像補正装置の動作処理を示すフローチャートである。また、図６は、第１実施例に係る、画像補正装置の詳細な動作処理を示すフローチャートである。【００７２】
図５において、先ず画像補正装置１は、画像２のうち、地点ａで撮像された画像Ａを読み込む（ステップＳ１）。静止物体写像検出部３及び静止物体平面検出部４は、同一平面３００に属する部分をもつ静止した物体３１０の写像を検出する（ステップＳ２）。特徴点検出部５は、物体３１０に属する特徴点の集合を検出し、検出された特徴点の集合が特徴点記録部６に記録される（ステップＳ３）。画像補正装置１は、次に画像Ｂを読み込み（ステップＳ４）、特徴点移動量検出部６５が画像Ａ，Ｂ間での特徴点の移動量を検出し、その検出結果を参照して、特徴点変化検出部７は、各特徴点の位置が、画像Ａ，Ｂ間でどのように変化しているか、その変化量を検出する（ステップＳ５）。従って、撮像素子回転量検出部８は、この変化量から、同一平面に属するという条件を用いて、撮像素子の回転量を検出することができる（ステップＳ６）。【００７３】
上記処理について、図６のステップに従い、数式を適宜用いて詳述する。【００７４】
図６において先ず、画像Ａ及び画像Ｂの中から平面３００に属する物体３１０に該当する箇所が、静止物体写像検出部３及び静止物体平面検出部４によって、夫々探索される（ステップＳ７）。【００７５】
物体３１０に含まれる特徴点｛Ｐ０，Ｐ１，Ｐ２・・・Ｐｎ｝が、特徴点検出部５によって、選択される（ステップＳ８）。【００７６】
ここで図１に示すように、撮像面３２０の２次元座標系を（ｕ，ｖ）、平面３００の２次元座標系を（ｓ，ｔ）とする。特徴点基準点決定部７１が、座標（ｓ，ｔ）においてＰ０を基準として決定し、特徴点間相対ベクトル計算部７２が、Ｐ０と他の特徴点とを結んだ相対ベクトルを計算する。この相対ベクトルは、数４で表され、この相対ベクトルの、撮像面３２０における写像は、数５で表される（ステップＳ９）。【００７７】
【数４】
2008032375.tif 000007
【００７８】
【数５】
2008032375.tif 000008
このとき、原点Ｏで回転行列Ｒによるヨー−ピッチ−ロール変換を行うと、撮像面３２０の座標（ｕ，ｖ）は座標（ｕ’，ｖ’）へと回転変換される。ここで、変換前後の各座標の関係は、回転行列Ｒの成分Ｒ１１からＲ３３及び焦点距離ｆを用いて、数６で表される。従って、変換後の座標（ｕ’，ｖ’）における、特徴点の相対ベクトルの写像は、数７で表される。【００７９】
【数６】
2008032375.tif 000009
【００８０】
【数７】
2008032375.tif 000010
撮像素子回転量検出部８は、このような回転変換を与える回転行列を、画像Ａ，Ｂ間で対応する相対ベクトルが相似になるように決定することで、撮像素子の回転量を検出する（ステップＳ１０）。具体的には、ＲＡ，ＲＢを用いて、画像Ａ，Ｂを撮像した地点ａ，ｂで撮像面３２０と平面３００とを互いに平行にするように回転変換を行う。このとき、上述したように、地点ａでの変換後の撮像面３２０と、地点ｂでの変換後の撮像面３２０とが平行になるので、平面３００に属する物体３１０は変換後の両撮像面において互いに相似になる。従って、数８が成り立つはずであり、数８に数７を代入して、数９を得る（ステップＳ１０）。【００８１】
【数８】
2008032375.tif 000011
【００８２】
【数９】
2008032375.tif 000012
ここに、下付の添え字「Ａｍ」は、画像Ａに属するｍ番目の特徴点に関することを示す。「Ｂｍ」についても同様である。他の特徴点についても同様に数９に相当する関係式が得られるので、これらを連立して回転行列ＲＡ、ＲＢが求められ、数２の右辺と数３の右辺とが等しいことから、回転行列Ｒも求められる。【００８３】
尚、これらを平面３００に含まれる多数の特徴点について行い、統計的に処理を行うことも可能である。その場合も、上述のように特徴点を平面３００に属する物体３１０の中から検出すれば、特徴点の動きの予想が容易になり、異常な動きをするものを予め除外できるので、誤差の影響を低減され得る。【００８４】
また、２平面（平面３００と撮像面３２０）を平行にするには、ヨー−ピッチ変換（即ち、２軸回転）だけでも可能であるので、数１０の関係が成り立つ。従って、相対ベクトルｑＡｍ、ｑＢｍに関して数１１を解くことでも所望の回転行列が得られる。【００８５】
【数１０】
2008032375.tif 000013
【００８６】
【数１１】
2008032375.tif 000014
以上、本実施例によると、必要な計算量を低減しつつ、移動パラメータを好適に算出可能となるので、実践上大変有利である。【００８７】
（２）第２実施例
第２実施例に係る画像補正装置の構成及び動作処理を図７及び図８を参照して説明する。ここに、図７は、第２実施例に係る、座標系を示す斜視図である。また、図８は、第２実施例に係る、画像補正装置の動作処理を示すフローチャートである。【００８８】
本実施例は特に、平面４００に属する物体が、本発明に係る「既知の形状を構成する点の集合」の一例としての長方形であることを特徴とする。尚、上述の実施例と同一の構成には同一の参照符号を付し、その説明は適宜省略する。【００８９】
図７において、撮像面４２０を有するピンホールカメラで、平面４００に属する長方形４１０の物体を撮像した場合を考える。ここで、ピンホールを原点Ｏ、光軸をＺ軸、撮像面４２０の横、縦方向をそれぞれＸ、Ｙ軸とする。このとき、長方形４１０の写像が長方形となるのは、撮像位置に関係なく、撮像面４２０が平面４００と平行になるときである。この性質を利用して回転行列Ｒを求めるための具体的な動作処理を図８に示す。【００９０】
図８において、先ず静止物体写像検出部３及び静止物体平面検出部４が、撮像面４２０で撮像された画像の中から、長方形を探索する（ステップＳ１１）。この長方形の４辺の撮像平面（ｕ，  ｖ）での写像を表す式として、数１２〜１５４を求める（ステップＳ１２）。【００９１】
【数１２】
2008032375.tif 000015
【００９２】
【数１３】
2008032375.tif 000016
【００９３】
【数１４】
2008032375.tif 000017
【００９４】
【数１５】
2008032375.tif 000018
続いて、平面４００と撮像面４２０とを平行にするために数１６で示すヨー−ピッチ変換を行う。【００９５】
【数１６】
2008032375.tif 000019
数１及び数１６より、変換後の写像（ｕ’，ｖ’）と変換前の写像（ｕ，ｖ）との関係は数１７で示される。数１７を数１２に代入し、ｕ’，ｖ’について整理して、数１８を得る。即ち、数１２の直線は、このヨー−ピッチ変換で、数１８の直線に変換される。数１３〜数１５の直線についても同様である。【００９６】
【数１７】
2008032375.tif 000020
【００９７】
【数１８】
2008032375.tif 000021
従って、上記変換後の４辺のうち、２組の対辺同士の傾きが夫々等しくなるようにヨー角φとピッチ角θの関係が数１９及び数２０のように求められる（ステップＳ１３）。次に、数１９及び数２０の右辺が等しいとの条件から、ヨー角φが求められ、さらにピッチ角θが求められる。【００９８】
【数１９】
2008032375.tif 000022
【００９９】
【数２０】
2008032375.tif 000023
またロール角ψは、ヨー−ピッチ変換後の直線の傾きが０になるようにすることで、比較的容易に求められる（ステップＳ１４）。【０１００】
以上、本実施例によると、物体の形状について上記回転角を決定できるのに十分な数式が既知であれば、ヨー角φ等の移動パラメータを一段と容易に算出可能になる。【０１０１】
（３）第３実施例
第３実施例に係る画像補正装置の構成及び動作処理について、図１及び図２に加えて、図９を参照して説明する。ここに図９は、本発明の第３実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。尚、上述の実施例と同一の構成には同一の参照符号を付し、その説明は適宜省略する。【０１０２】
図９において特に、本実施例に係る画像補正装置には、図４の構成に加えて、撮像素子移動距離検出部９１及び撮像素子平行移動量検出部９２が備わっており、撮像素子の平行移動量が好適に求められる。【０１０３】
撮像素子移動距離検出部９１は、本発明に係る「計測手段」の一例であり、例えば積算走行距離計（いわゆる、オドメータ）等を備え、地点ａからｂへの距離ｒを検出する。【０１０４】
撮像素子平行移動量検出部９２は、本発明に係る「第２特定手段」の一例であり、メモリ及び演算素子等を備え、検出された距離ｒから、数２における３元の平行移動量Δｘ、Δｙ及びΔｚを算出する。加えて、物体３１０のカメラからの相対位置も算出できる。この際、平面３００と撮像面３２０とが平行であれば、平面３００に属する全ての特徴点は撮像面３２０からの光軸上の距離が等しいので、Ｚ軸方向の平行移動分における写像の移動は、全ての特徴点で等しくなり、平行移動量の計算が非常に簡単になる。【０１０５】
以下、平行移動量の計算手順について詳述する。上述した回転行列ＲＡ、ＲＢによってヨー−ピッチ−ロール変換が行われると、ａ，ｂ両地点での撮像面３２０の座標系に係る各軸は互いに平行となる。従って、ａ，ｂ両地点での変換後の座標系は、数２１に示す平行移動のみで一致可能である。【０１０６】
【数２１】
2008032375.tif 000024
ここで、撮像面３２０での写像（ｕ’，ｖ’）は、数１に数２１を代入して得られる数２２及び２３で表される。【０１０７】
【数２２】
2008032375.tif 000025
【０１０８】
【数２３】
2008032375.tif 000026
よって、物体３１０上の地点ａ，ｂで撮像面３２０を平面３００に平行になるように変換したときの、特徴点の写像（ｕ１，ｖ１）及び（ｕ２，ｖ２）並びに（ｕ１’，ｖ１’）及び（ｕ２’，ｖ２’）を選択し、地点ａでの平面３００とピンホールＯとの距離をｚ（＞＝０）とすると、数２４の各式が成立し、平行移動量Δｘ、Δｙ及びΔｚが求められる。【０１０９】
【数２４】
2008032375.tif 000027
以上、本実施例によると、特徴点が平面３００に属しているので、撮像素子の平行移動量が比較的容易に求められ実践上大変有利である。【０１１０】
（４）第４実施例
第４実施例に係る画像補正装置１の構成及び動作処理を図１０を参照して説明する。ここに、図１０は、本発明の第４実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。尚、上述の実施例と同一の構成には同一の参照符号を付し、その説明は適宜省略する。【０１１１】
図１０において、特に、特徴点検出部５は、本発明に係る「任意の特徴点」の一例である任意の特徴点を検出する。例えば、画像２から平面３００に属する特徴点に加えて、属さない特徴点も検出する。特徴点距離検出部９３は、本発明に係る「算出手段」の一例であり、任意の特徴点の画像間での移動量を検出する。従って、上記実施例によって数２のパラメータ（即ち、平行移動量及び回転量）を求めることができれば、その値を所望の特徴点の画像間の移動に当てはめることによって、特徴点と撮像素子との距離を求めることが可能になる。具体的には、上記実施例にて求められた３軸の回転量と平行移動量を数６に代入することでｚが求まり、数１よりx,yについても求まる。【０１１２】
（５）第５実施例
第５実施例に係る画像補正装置１の構成及び動作処理を図１１を参照して説明する。ここに、図１１は、本発明の第５実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。尚、上述の実施例と同一の構成には同一の参照符号を付し、その説明は適宜省略する。【０１１３】
図１１において、特に、画像補正装置１は、本発明に係る「縮減手段」の一例である静止物体記録部３１及び静止物体写像移動検出部３２を更に備える。静止物体記録部３１は、パターンマッチングなどを用いて検出された静止物体を記録する。静止物体写像移動検出部３２は、記録された静止物体写像の移動を検出する。その結果、静止物体近傍のみをオプティカルフローの探索範囲と限定でき、特徴点が移動するウインドウを限定することができるので、特徴点移動の計算量と誤差の低減が望める。【０１１４】
（６）第６実施例
第６実施例に係る画像補正装置１の構成及び動作処理を図１２を参照して説明する。ここに、図１２は、本発明の第６実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。尚、上述の実施例と同一の構成には同一の参照符号を付し、その説明は適宜省略する。【０１１５】
図１２において、特に、静止物体テンプレート記録部３３は、本発明に係る「記録手段」の一例であり、静止物体の候補としてテンプレートを予め記録しておく。例えば、看板や標識のテンプレートを記録しておく。このテンプレートと照らし合わせて、静止物体写像検出部３が、画像２から静止物体の写像を検出するので、静止物体検出の精度が向上する。【０１１６】
（７）第７実施例
第７実施例に係る画像補正装置１の構成及び動作処理を図１３を参照して説明する。ここに、図１３は、本発明の第７実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。尚、上述の実施例と同一の構成には同一の参照符号を付し、その説明は適宜省略する。【０１１７】
図１３において、特に、静止物体テンプレート記録部３３によって記録されたテンプレートと照らし合わせて画像２から静止物体３１０の写像が検出され、検出された静止物体３１０の写像が静止物体記録部３１によって記録され、記録された静止物体３１０の写像がどのように移動するかが、静止物体写像移動検出部３２によって検出される。このように、精度良く検出された静止物体の写像を利用して、特徴点が移動するウインドウを限定することができるので、特徴点移動の計算量と誤差の低減が望める。【０１１８】
（８）第８実施例
第８実施例に係る画像補正装置１の構成及び動作処理を図１４を参照して説明する。ここに、図１４は、本発明の第８実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。尚、上述の実施例と同一の構成には同一の参照符号を付し、その説明は適宜省略する。【０１１９】
図１４において、特に、静止物体特徴点テンプレート記録部７１は、本発明に係る「記録手段」の一例であり、静止物体に含まれる特徴点のテンプレートを記録する。従って、予め精度のよい特徴点を選択しておけるので、特徴点検出の精度が向上し、もって回転量の算出精度も向上する。【０１２０】
（９）第９実施例
第９実施例に係る画像補正装置１の構成及び動作処理を図１５を参照して説明する。ここに、図１５は、本発明の第９実施例に係る、画像補正装置の基本構成を概念的に示すブロック図である。尚、上述の実施例と同一の構成には同一の参照符号を付し、その説明は適宜省略する。【０１２１】
図１５において、特に、撮像素子移動量検出部９４は、本発明に係る「縮減手段」の一例であり、撮像素子の移動量をセンサ等のハードウェアによって検出する。その結果、特徴点の変化の検出ウインドウを限定することができるので、計算量を削減可能となる。【０１２２】
以上説明したように、各実施例に係る画像補正装置１によると、撮像素子が撮像地点間でどのように動いたかを示す移動パラメータを求めるために必要な計算量を好適に低減できる。求められた移動パラメータは、撮像した画像の補正等に利用することができるので、実践上非常に有効である。【０１２３】
又、上記実施例に示す動作処理は、画像補正装置の内部に組み込まれた或いは外部に接続された画像補正装置によって実現してもよいし、特徴点検出工程、変化検出工程、及び第１特定工程を備えた画像補正方法に基づいて画像補正装置を動作させることによって実現してもよい。或いは、特徴点検出手段、変化検出手段、及び第１特定手段を備えた画像補正装置に設けられるコンピュータにコンピュータプログラムを読み込ませることで実現してもよい。【０１２４】
尚、本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨、或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像補正装置及び方法、並びにコンピュータプログラムもまた、本発明の技術的範囲に含まれるものである。
【産業上の利用可能性】
【０１２５】
本発明に係る画像補正装置及び方法、並びにコンピュータプログラムは、例えば車両に搭載されて周囲の障害物を検出する物体検出装置に利用可能であり、或いは物体をロボットハンド等によりピックアップする場合に物体の三次元位置を認識するための認識装置に利用可能であり、更に手振れ補正可能なデジタルカメラ等の撮像装置に利用可能である。また、例えば民生用或いは業務用の各種コンピュータ機器に搭載される又は各種コンピュータ機器に接続可能な画像補正装置等にも利用可能である。
【図１】
2008032375.tif 000028
【図２】
2008032375.tif 000029
【図３】
2008032375.tif 000030
【図４】
2008032375.tif 000031
【図５】
2008032375.tif 000032
【図６】
2008032375.tif 000033
【図７】
2008032375.tif 000034
【図８】
2008032375.tif 000035
【図９】
2008032375.tif 000036
【図１０】
2008032375.tif 000037
【図１１】
2008032375.tif 000038
【図１２】
2008032375.tif 000039
【図１３】
2008032375.tif 000040
【図１４】
2008032375.tif 000041
【図１５】
2008032375.tif 000042
【手続補正書】
【提出日】平成19年9月21日(2007.9.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像素子によって複数の地点で撮像された複数の画像から、特徴点の集合を検出する特徴点検出手段と、
該検出された特徴点の集合に関する、前記画像間での相対的な位置の変化を検出する変化検出手段と、
該検出された変化に基づいて、前記撮像素子の前記地点間での回転量を特定する第１特定手段と
を備える画像補正装置であって、
前記特徴点検出手段は、平面状の静止物体に属する点の集合を、前記特徴点の集合として検出し、
前記第１特定手段は、前記画像間において、前記特徴点同士の相対位置が相似になるような回転量として、前記回転量を特定する
ことを特徴とする画像補正装置。
【請求項２】
前記第１特定手段は、前記画像間において、前記特徴点の集合によって形成される図形の形状が相似になるような回転量として、
前記回転量を特定する
ことを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記第１特定手段は、
前記検出された特徴点の集合のうち、一の特徴点を基準点として決定し、
該決定された基準点から、他の特徴点の各々へと向かう相対ベクトルを計算し、
該計算された相対ベクトルが、前記画像間において、相似になるように、前記回転量を特定する
ことを特徴とする請求項１に記載の画像補正装置。
【請求項４】
前記特徴点検出手段は、既知の形状を構成する点の集合を、前記特徴点の集合として検出する
ことを特徴とする請求項１から３のいずれか一項に記載の画像補正装置。
【請求項５】
前記地点間の距離を計測する計測手段と、
該計測された前記地点間の距離及び前記特定された回転量に基づいて、前記撮像素子の前記地点間での平行移動量を特定する第２特定手段とを更に備える
ことを特徴とする請求項１に記載の画像補正装置。
【請求項６】
前記変化検出手段は、前記特徴点の集合に加えて、任意の特徴点に関する、前記変化を検出し、
前記任意の特徴点に関する該検出された変化に少なくとも基づいて、前記任意の特徴点までの距離を算出する算出手段を更に備える
ことを特徴とする請求項１に記載の画像補正装置。
【請求項７】
前記平面状の静止物体に関する前記変化、及び前記地点間の距離のうち少なくとも一方に基づいて、前記画像のうち前記変化を検出する対象となる領域を縮減する縮減手段を更に備える
ことを特徴とする請求項１から６のいずれか一項に記載の画像補正装置。
【請求項８】
前記平面状の静止物体及び前記特徴点のうち少なくとも一方の候補を記録する記録手段を更に備え、
前記特徴点検出手段は、該記録された候補を参照して、前記特徴点を検出する
ことを特徴とする請求項１から７のいずれか一項に記載の画像補正装置。
【請求項９】
撮像素子によって複数の地点で撮像された複数の画像から、特徴点の集合を検出する特徴点検出工程と、
該検出された前記特徴点の集合に関する、前記画像間での相対的な位置の変化を検出する変化検出工程と、
該検出された変化に基づいて、前記撮像素子の前記地点間での回転量及び平行移動量のうち少なくとも一方を特定する特定工程と
を備える画像補正方法であって、
前記特徴点検出工程において、平面状の静止物体に属する点の集合が、前記特徴点の集合として検出され、
前記特定工程では、前記画像間において、前記特徴点同士の相対位置が相似になるような回転量として、前記回転量が特定される
ことを特徴とする画像補正方法。
【請求項１０】
コンピュータを、
請求項１から８のいずれか一項に記載の画像補正装置として機能させる
ことを特徴とするコンピュータプログラム。
【手続補正書】
【提出日】平成21年1月8日(2009.1.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像素子によって複数の地点で撮像された複数の画像から、特徴点の集合を検出する特徴点検出手段と、
該検出された特徴点の集合に関する、前記画像間での相対的な位置の変化を検出する変化検出手段と、
該検出された変化に基づいて、前記撮像素子の前記地点間での回転量を特定する第１特定手段と
を備える画像補正装置であって、
前記特徴点検出手段は、平面状の静止物体に属する点の集合を、前記特徴点の集合として検出し、
前記第１特定手段は、前記画像間において、前記特徴点同士の相対位置が相似になるような回転量として、前記回転量を特定する
ことを特徴とする画像補正装置。
【請求項２】
前記第１特定手段は、前記画像間において、前記特徴点の集合によって形成される図形の形状が相似になるような回転量として、前記回転量を特定する
ことを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記第１特定手段は、
前記検出された特徴点の集合のうち、一の特徴点を基準点として決定し、
該決定された基準点から、他の特徴点の各々へと向かう相対ベクトルを計算し、
該計算された相対ベクトルが、前記画像間において、相似になるように、前記回転量を特定する
ことを特徴とする請求項１に記載の画像補正装置。
【請求項４】
前記特徴点検出手段は、既知の形状を構成する点の集合を、前記特徴点の集合として検出する
ことを特徴とする請求項１から３のいずれか一項に記載の画像補正装置。
【請求項５】
前記地点間の距離を計測する計測手段と、
該計測された前記地点間の距離及び前記特定された回転量に基づいて、前記撮像素子の前記地点間での平行移動量を特定する第２特定手段とを更に備える
ことを特徴とする請求項１に記載の画像補正装置。
【請求項６】
前記変化検出手段は、前記特徴点の集合に加えて、任意の特徴点に関する、前記変化を検出し、
前記任意の特徴点に関する該検出された変化に少なくとも基づいて、前記任意の特徴点までの距離を算出する算出手段を更に備える
ことを特徴とする請求項１に記載の画像補正装置。
【請求項７】
前記平面状の静止物体に関する前記変化、及び前記地点間の距離のうち少なくとも一方に基づいて、前記画像のうち前記変化を検出する対象となる領域を縮減する縮減手段を更に備える
ことを特徴とする請求項１から６のいずれか一項に記載の画像補正装置。
【請求項８】
前記平面状の静止物体及び前記特徴点のうち少なくとも一方の候補を記録する記録手段を更に備え、
前記特徴点検出手段は、該記録された候補を参照して、前記特徴点を検出する
ことを特徴とする請求項１から７のいずれか一項に記載の画像補正装置。
【請求項９】
撮像素子によって複数の地点で撮像された複数の画像から、特徴点の集合を検出する特徴点検出工程と、
該検出された前記特徴点の集合に関する、前記画像間での相対的な位置の変化を検出する変化検出工程と、
該検出された変化に基づいて、前記撮像素子の前記地点間での回転量及び平行移動量のうち少なくとも一方を特定する特定工程と
を備える画像補正方法であって、
前記特徴点検出工程において、平面状の静止物体に属する点の集合が、前記特徴点の集合として検出され、
前記特定工程では、前記画像間において、前記特徴点同士の相対位置が相似になるような回転量として、前記回転量が特定される
ことを特徴とする画像補正方法。
【請求項１０】
コンピュータを、
請求項１から８のいずれか一項に記載の画像補正装置として機能させる
ことを特徴とするコンピュータプログラム。
【国際調査報告】
2008032375.tif 000043
2008032375.tif 000044