(57)【要約】【課題】円を撮影した画像中における、当該円の中心に対応する位置を求めることができる画像解析方法を提供する。【解決手段】平面上の円Ｃ，Ｄを撮影した画像において、円Ｃ，Ｄの中心に対応する点ｃ０を求める画像解析方法であって、円Ｃ，Ｄの中心である第１の点Ｃ０，Ｄ０と、当該第１の点Ｃ０，Ｄ０を通る中心線と円Ｃ，Ｄとが交差する第２の点Ｅ，Ｆ及び第３の点Ｅ’，Ｆ’と、前記中心線と無限遠線Ｈとが交差する第４の点Ａとについての複比と、第１〜第４の点に対応する画像上の第１〜第４の対応点ｃ０，ｅ，ｆ，ｅ’，ｆ’についての複比との関係に基づいて、画像上の第１の対応点ｃ０の位置を求める処理工程を含む。【選択図】図３
2015170181.tif 000002
【特許請求の範囲】
【請求項１】
平面上の円を撮影した画像において、前記円の中心に対応する点を求める画像解析方法であって、
前記円の中心である第１の点と、当該第１の点を通る中心線と前記円とが交差する第２の点及び第３の点と、前記中心線と無限遠線とが交差する第４の点とについての複比と、前記第１〜第４の点に対応する前記画像上の第１〜第４の対応点についての複比との関係に基づいて、前記画像上の第１の対応点の位置を求めることを特徴とする画像解析方法。
【請求項２】
同一平面上又は平行な２平面上の２つの前記円に設定された互いに平行な一対の直線に対応する画像上の一対の直線の第１の交点と、２つの前記円に設定された互いに平行な他の一対の直線に対応する画像上の他の一対の直線の第２の交点とを求め、これら第１及び第２の交点を通る直線を前記無限遠線の像とし、この無限遠線の像と、画像上の第２及び第３の対応点を通る直線との交点を、前記第４の対応点に設定する、請求項１に記載の画像解析方法。
【請求項３】
前記互いに平行な一対の直線が、２つの前記円に共通する互いに対称な２つの接線と各円との交点同士を通る直線を含む、請求項２に記載の画像解析方法。
【請求項４】
前記互いに平行な一対の直線が、２つの前記円に共通する一の接線と各円との交点と、前記両円の中心を通る中心線と各円との交点と、を通る直線を含む、請求項２又は３に記載の画像解析方法。
【請求項５】
平面上の円を撮影した画像において、前記円の中心に対応する点を求める画像解析装置であって、
前記円の中心である第１の点と、当該第１の点を通る中心線と前記円とが交差する第２の点及び第３の点と、前記中心線と無限遠線とが交差する第４の点とについての複比と、前記第１〜第４の点に対応する前記画像上の第１〜第４の対応点についての複比との関係に基づいて、前記画像上の第１の対応点の位置を求める解析部を備えていることを特徴とする画像解析装置。
【請求項６】
平面上の円を撮影した画像において、前記円の中心に対応する点を求めるための画像解析プログラムであって、
前記円の中心である第１の点と、当該第１の点を通る中心線と前記円とが交差する第２の点及び第３の点と、前記中心線と無限遠線とが交差する第４の点とについての複比と、前記第１〜第４の点に対応する前記画像上の第１〜第４の対応点についての複比との関係に基づいて、前記画像上の第１の対応点の位置を求める解析部としてコンピュータを機能させることを特徴とする画像解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、円を撮影した画像における、当該円の中心に対応する位置を求めるための画像解析方法、画像解析装置、及び画像解析プログラムに関する。
【背景技術】
【０００２】
カメラで撮影した画像を処理して物体の位置を計測する場合、カメラのキャリブレーションが必要となる。このキャリブレーションの手法として、特定パターンのマーカーの画像からカメラの外部パラメータの一つである位置や姿勢を求めることが行われている。
マーカーとしては、方形状や円形状、格子状のものなど種々の形状のものが用いられているが、特に円形状のマーカーは形状が簡素であるため、簡単且つ精密に作成できるという利点がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１７１６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
円形状のマーカーを用いてカメラキャリブレーションを行う場合、そのマーカーの中心に対応する画像上の座標の情報が必要とされる。従来は、マーカーの中心が既知であるか、ある程度中心の位置が特定できるようにマーカーに工夫が施されている。例えば、特許文献１記載の技術では、円形状のマーカーの外周から中心へ向けて濃度勾配が設けられ、この濃度勾配を利用することによって円の中心に対応する画像上の座標を求めている。
したがって、従来においては、中心の位置が全く未知の円をマーカーとして利用することは困難であった。しかし、このような利用が可能になると、例えばカメラの撮影範囲内に存在するあらゆる円をマーカーにすることができるため、活用の幅が著しく拡がり、非常に有益である。
【０００５】
本発明は、円を撮影した画像中における、当該円の中心に対応する位置を求めることができる画像解析方法、画像解析装置、及び画像解析プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、平面上の円を撮影した画像において、前記円の中心に対応する点を求める画像解析方法であって、
前記円の中心である第１の点と、当該第１の点を通る中心線と前記円とが交差する第２の点及び第３の点と、前記中心線と無限遠線とが交差する第４の点とについての複比と、前記第１〜第４の点に対応する前記画像上の第１〜第４の対応点についての複比との関係に基づいて、前記画像上の第１の対応点の位置を求めることを特徴とする。
【０００７】
以上のような解析方法において、平面上に設けられた円に関する第１〜第４の点における複比と、これらを射影した画像上の第１〜第４の対応点における複比とは、不変（同一）の関係にある。一方、第１の点〜第２の点間の長さと、第１の点〜第３の点間の長さが同一であること、及び第４の点が無限遠点であることによって、第１〜第４の点における複比は所定の値（後述の式（３）参照）となる。したがって、本発明の解析方法では、実質的に第１〜第４の対応点のみを用いた関係式を得ることができ、画像から取得した第２〜第４の対応点の座標と、前記関係式とによって、円の中心（第１の点）の像である第１の対応点を容易に求めることが可能となる。
【０００８】
以上の本発明において、第４の対応点を設定するには次の方法を採用することができる。すなわち、同一平面上又は平行な２平面上の２つの前記円に設定された互いに平行な一対の直線に対応する画像上の一対の直線の第１の交点と、２つの前記円に設定された互いに平行な他の一対の直線に対応する画像上の他の一対の直線の第２の交点とを求め、これら第１及び第２の交点を通る直線を前記無限遠線の像とし、この無限遠線の像と、画像上の第２及び第３の対応点を通る直線との交点を、前記第４の対応点に設定することができる。
【０００９】
前記互いに平行な一対の直線は、２つの前記円に共通する互いに対称な２つの接線と各円との交点同士を通る直線を含んでいてもよい。
また、前記互いに平行な一対の直線は、２つの前記円に共通する一の接線と各円との交点と、前記両円の中心を通る中心線と各円との交点と、を通る直線を含んでいてもよい。
【００１０】
本発明は、平面上の円を撮影した画像において、前記円の中心に対応する点を求める画像解析装置であって、
前記円の中心である第１の点と、当該第１の点を通る中心線と前記円とが交差する第２の点及び第３の点と、前記中心線と無限遠線とが交差する第４の点とについての複比と、前記第１〜第４の点に対応する前記画像上の第１〜第４の対応点についての複比との関係に基づいて、前記画像上の第１の対応点の位置を求める解析部を備えていることを特徴とする画像解析装置。
【００１１】
また、本発明は、平面上の円を撮影した画像において、前記円の中心に対応する点を求めるための画像解析プログラムであって、
前記円の中心である第１の点と、当該第１の点を通る中心線と前記円とが交差する第２の点及び第３の点と、前記中心線と無限遠線とが交差する第４の点とについての複比と、前記第１〜第４の点に対応する前記画像上の第１〜第４の対応点についての複比との関係に基づいて、前記画像上の第１の対応点の位置を求める解析部としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、円を撮影した画像中における、当該円の中心に対応する位置を求めることができる。
【図面の簡単な説明】
【００１３】
【図１】（ａ）は本発明の一実施形態に係る画像解析装置の概略構成図、（ｂ）は平面上に設定された円の平面図である。
【図２】平面上の２つの円の関係を示す平面説明図である。
【図３】画像上の２つの楕円の関係を示す平面説明図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施形態について説明する。
図１（ａ）は本発明の一実施形態に係る画像解析装置の概略構成図、（ｂ）は平面上に設定された円の平面図である。
画像解析装置１０は、撮像対象を撮像するカメラ１１と、このカメラ１１の画像（映像）を解析処理する処理装置１２とを備えている。
そして、本実施形態の処理装置は、一の平面に設定された２つの円Ｃ，Ｄをカメラ１１によって撮像し、その画像を処理装置１２で解析することによって円Ｃ，Ｄの中心Ｃ０，Ｄ０に対応する画像上の点（座標）を求めるように構成されている。
【００１５】
図１に示す例では、任意の２つの円Ｃ，Ｄ（図１（ｂ）参照）が平面Ｐ上に設定されている。この円Ｃ，Ｄは、平面に直接描かれたものであってもよいし、平面上に設置された環状の物体であってもよいが、いずれも中心の位置Ｃ０，Ｄ０が未知とされている。そして、カメラ１１は、２つの円Ｃ，Ｄを含む領域を例えば斜め上方から撮像する。カメラ１１によって撮像された２つ円Ｃ，Ｄは、カメラ１１の焦点の方向に垂直な面Ｑに射影されるため、それぞれ楕円形状の像となる。
【００１６】
本実施形態の画像解析装置１０は、中心の位置が未知の円Ｃ，Ｄをカメラ１１で撮像し、その画像中の楕円における、前記円Ｃ，Ｄの中心Ｃ０，Ｄ０に対応する点（中心対応点）を処理装置１２によって求めるものである。そして、求められた中心対応点は、例えば、カメラ１１のキャリブレーションのために利用することができる。
【００１７】
処理装置１２は、例えば、パーソナルコンピュータにより構成され、ＣＰＵ等の演算部、ＲＡＭ、ＲＯＭ、ＨＤＤ等の記憶部、液晶パネル等の出力部、キーボードやマウス等の入力部、及び各種インターフェース等を備えている。そして、記憶部にインストールされたプログラムを演算部が実行することによって、カメラ１１によって撮像した画像を取り込み、その画像の解析、及び解析結果の出力等が行われる。特に、処理装置１２は、円Ｃ，Ｄの中心Ｃ０，Ｄ０に対応する画像上の点を求める解析部として機能する。
【００１８】
以下、処理装置１２による解析の手順について詳細に説明する。
まず、本実施形態の解析手法は、平面上の円と、この円の像である楕円との間では、「複比」が不変であることを利用する。複比とは、射影幾何学において、同じ直線上の４点で構成される有向線分の長さの比率をいう。例えば、図１において、平面上の２つの円Ｃ，Ｄの中心Ｃ０，Ｄ０を通る直線上の４点ａ，ｂ，ｃ，ｄの複比と、これに対応する画像上の２つの楕円の４点ａ’，ｂ’，ｃ’，ｄ’の複比とは不変であり、次の式（１）が満たされる。
【００１９】
【数１】
2015170181.tif 000003
式（１）の左辺が平面上の円Ｃ，Ｄの各点ａ，ｂ，ｃ，ｄにおける複比を示し、右辺が画像上の楕円ｃ、ｄの各点ａ’，ｂ’，ｃ’，ｄ’における複比を示している。
【００２０】
以上のことを踏まえ、実際の解析手法について具体的に説明する。
図２は、平面上の２つの円の関係を示す平面説明図である。図３は、画像上の２つの楕円の関係を示す平面説明図である。
図２において、２つの円Ｃ，Ｄに２本の接線（共通外接線）Ｓ１，Ｓ２を設けることを想定する。この場合、２本の接線Ｓ１，Ｓ２と円Ｃとの接点Ｃ１，Ｃ２を結ぶ直線（Ｃ１Ｃ２）と、接線Ｓ１，Ｓ２と円Ｄとの接点Ｄ１，Ｄ２を結ぶ直線（Ｄ１Ｄ２）とは互いに平行となる。
【００２１】
直線Ｃ１Ｃ２と直線Ｄ１Ｄ２とは平行であるが、射影幾何学においては両直線Ｃ１Ｃ２，Ｄ１Ｄ２は無限遠点Ｂで交わると考える。なお、図２においては紙面の制約上、無限遠点Ｂに到達する軌跡を湾曲した点線で示しているが、実際には直線である。
【００２２】
一方、図３において、２つの楕円ｃ，ｄに２本の接線ｓ１，ｓ２を設けた場合、この２本の接線ｓ１，ｓ２と楕円ｃとの接点ｃ１，ｃ２を結ぶ直線（ｃ１ｃ２）と、接線ｓ１，ｓ２と楕円ｄとの接点ｄ１，ｄ２を結ぶ直線（ｃ１ｃ２）とは、それぞれ図２における直線Ｃ１Ｃ２と、直線Ｄ１Ｄ２の像である。そして、直線ｃ１ｃ２と直線ｄ１ｄ２とは交点ｂを有する。したがって、この交点ｂは、図２における無限遠点Ｂに対応する。なお、図３においても、紙面の制約上、直線ｃ１ｃ２と直線ｄ１ｄ２との交点に到達する軌跡を湾曲した点線で示しているが、実際には直線となる。
【００２３】
ここで、式（１）で示した「複比」の関係を利用する。つまり、図２の円Ｃにおいて、点Ｃ１と点Ｃ２との間に中点Ｃｍを採り、点Ｃ１と点Ｃ２とを通る直線（以下、「直線Ｃ１Ｃ２」という）上における４点Ｂ，Ｃ１，Ｃｍ，Ｃ２の複比を考える。
【００２４】
一方、図３においては、点ｃ１と点ｃ２との間に中点ｃｍをとり、点ｃ１と点ｃ２とを通る直線（以下、「直線ｃ１ｃ２」という）上における４点ｂ，ｃ１，ｃｍ，ｃ２の複比を考える。そして、両複比は不変であるため、次の式（２）が満たされることになる。
【００２５】
【数２】
2015170181.tif 000004
【００２６】
式（２）の左辺において、点Ｂは、無限遠点であるため、線分ＢＣ１と線分ＢＣ２の長さはそれぞれ無限大∞となる。一方、点Ｃｍは、点Ｃ１と点Ｃ２との中点であるため、線分ＣｍＣ１と線分ＣｍＣ２の長さは同一寸法となる。したがって、上記の式（２）の左辺は、次の式（３）のように変形することができる。
【００２７】
【数３】
2015170181.tif 000005
【００２８】
すなわち、図２における４点Ｂ，Ｃ１，Ｃｍ，Ｃ２の複比は、１となる。
一方、式（２）の右辺に示される図３の４点ｂ，ｃ１，ｃｍ，ｃ２の複比は、次の式（４）のように変形することができる。
【００２９】
【数４】
2015170181.tif 000006
【００３０】
したがって、上記の式（２）は、式（３）と式（４）とから、次の式（５）のように書き換えることができる。
【００３１】
【数５】
2015170181.tif 000007
【００３２】
そして、式（５）を変形することによって、次の式（６）を得ることができる。
【００３３】
【数６】
2015170181.tif 000008
【００３４】
式（６）において、ｂ，ｃ１，ｃ２の各点の位置は、画像上の座標から求めることができるので、中点ｃｍの位置は、これらの各点ｂ，ｃ１，ｃ２の座標から式（６）によって演算で求めることができる。
【００３５】
同様に、図２における円Ｄと図３における楕円ｄについても、上記の式（２）〜（６）と同様の関係がある。したがって、式（６）と同様に、次の式（７）の関係を得ることができる。
【００３６】
【数７】
2015170181.tif 000009
【００３７】
そして、式（７）において、ｂ，ｄ１，ｄ２の各点の位置は、画像上の座標から求めることができるので、中点ｄｍの位置も、各点ｂ，ｄ１，ｄ２の座標から式（７）によって演算で求めることができる。なお、中点ｃｍ，ｄｍはあくまで線分ｃ１ｃ２及び線分ｄ１ｄ２の中点であり、円Ｃ，Ｄの中心に対応する点ではない。
【００３８】
次に、図２において、平面上の円Ｃ，Ｄにおける直線Ｃ２Ｅと直線Ｄ２Ｆとについて考える。点Ｅ及び点Ｆは、それぞれ点Ｃｍと点Ｄｍとを通る直線ＣｍＤｍが円Ｃ，Ｄと交わる点である。三角形ＣｍＣ２Ｅと三角形ＤｍＤ２Ｆとは相似の関係にあるため、直線Ｃ２Ｅと直線Ｄ２Ｆとは互いに平行となる。しかし、射影幾何学上、直線Ｃ２Ｅと直線Ｄ２Ｆとは、無限遠点（消失点）Ｇで交わるものとする。
【００３９】
直線Ｃ１Ｃ２と直線Ｄ１Ｄ２とが交わる無限遠点Ｂと、直線Ｃ２Ｅと直線Ｄ２Ｆとが交わる無限遠点Ｇとを通る直線Ｈは、平面上の全ての無限遠点が位置する無限遠線となる。したがって、直線ＣｍＤｍの無限遠点は、無限遠線Ｈと交わる点Ａとなる。なお、直線ＣｍＤｍは、円Ｃ，Ｄの中心をも通る直線となる。
【００４０】
一方、図３において、画像上の楕円ｃ，ｄにおける直線ｃ２ｅと直線ｄ２ｆは、それぞれ図２における直線Ｃ２Ｅと直線Ｄ２Ｆの像である。そして、直線ｃ２ｅと直線ｄ２ｆとは交点ｇを有する。この交点ｇは、図２における無限遠点Ｇに対応する。したがって、直線ｃ１ｃ２と直線ｄ１ｄ２とが交わる点ｂと、直線ｃ２ｅと直線ｄ２ｆとが交わる点ｇとを通る直線ｈは、図２における無限遠線Ｈの像となる。
そして、点ｃｍと点ｄｍとを通る直線ｃｍｄｍが、直線ｈと交わる点ａは、図２における直線ＣｍＤｍの無限遠点Ａの像となる。
【００４１】
そして、図２における直線ＣｍＤｍが円Ｃと交わる点Ｅ（第２の点）及び点Ｅ’（第３の点）と、無限遠点（第４の点）Ａと、円Ｃの中心（第１の点）Ｃ０との４点は、それぞれ図３における直線ｃｍｄｍが楕円ｃと交わる点ｅ（第２の対応点）及び点ｅ’（第３の対応点）と、前述の点ａ（第４の対応点）と、楕円ｃの中心（円Ｃの中心に対応する点；第１の対応点）ｃ０との４点と互いに対応しているため、それぞれの複比は不変の関係になる。したがって、上述の式（６）と同様に、次の式（８）の関係を得ることができる。
【００４２】
【数８】
2015170181.tif 000010
【００４３】
式（８）において、ａ，ｅ，ｅ’の各点の位置は、画像上の座標から求めることができるので、中心ｃ０の位置は、これらの各点ａ，ｅ，ｅ’の座標から式（８）によって演算で求めることができる。
【００４４】
円Ｄと楕円ｄについても上記と同様のことが言える。すなわち、図２における直線ＣｍＤｍが円Ｄと交わる点Ｆ（第２の点）及び点Ｆ’（第３の点）と、無限遠点（第４の点）Ａと、円Ｄの中心（第１の点）Ｄ０との４点は、それぞれ図３における直線ｃｍｄｍが楕円ｄと交わる点ｆ（第２の対応点）及び点ｆ’（第３の対応点）と、前述の点ａ（第４の対応点）と、楕円ｄの中心（円Ｄの中心Ｄ０に対応する点；第４の対応点）ｄ０の４点とは互いに対応しているため、それぞれの複比は不変の関係になる。したがって、上述の式（６）と同様に、次の式（９）の関係を得ることができる。
【００４５】
【数９】
2015170181.tif 000011
【００４６】
式（９）において、ａ，ｆ，ｆ’の各点の位置は、画像上の座標から求めることができるので、中心ｄ０の位置は、これらの各点ａ，ｅ，ｅ’の座標から式（９）によって演算で求めることができる。
【００４７】
以上の手順により、平面上の円Ｃ，Ｄの中心ｃ０，ｄ０を射影した画像上の楕円ｃ，ｄの中心ｃ０，ｄ０を求めることができる。
【００４８】
以上に説明した実施形態によれば、円Ｃ，Ｄの中心Ｃ０，Ｄ０を通る直線ＣｍＤｍ上の無限遠点Ａを含む４つの点における複比が「１」になることを利用し、これらに対応する画像上の４点ａ，ｅ，ｃ０，ｅ’（ａ，ｆ，ｄ０，ｆ’）の複比の演算（式（８）、（９））によって、楕円ｃ，ｄの中心ｃ０，ｄ０を容易に求めることが可能となる。
したがって、中心の位置が未知の円であっても、カメラキャリブレーションのためのマーカーとして利用することが可能となる。そのため、例えば、カメラの撮像範囲内に含まれるあらゆる円、例えば、街中に配置された看板、標識、モニュメント等をマーカーとして利用したり、水面の波紋のような自然に発生する円を利用したりすることが可能となる。また、人間の黒目をマーカーとして利用することが可能となり、この場合、頭部の姿勢に依存しない視線の方向の推定ができるようになる。そのため、このような利用法をヘッドマウントディスプレイ（ＨＭＤ）に適用すると、当該ＨＭＤに表示させる画像を視線の方向に応じて変化させることが可能となる。
【００４９】
また、中心の位置が未知の円をマーカーとしたカメラキャリブレーションが可能であるため、例えば複数のカメラを用いた多視点画像（映像）からパノラマ画像を生成したり、３次元情報の復元を行うことによって自由視点画像を生成したりすることもできる。
【００５０】
本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載された発明の範囲内において適宜変更することが可能である。
例えば、２つの円は、同一の平面上に設定されたものに限らず、互いに平行な２つの平面、例えば、高さが異なる２平面のそれぞれに設定されていてもよい。
２つの円は、その直径が同一であってもよい。また、２つの円は、完全な包含関係でなければ、一部が重複していてもよい。
また、平面上の円は、その一部が消失していてもよい。この場合、円の中心に対応する点（第１の対応点）を求めるに先だって、画像上に写っている円の像である部分楕円から、その方程式を求めればよい。
【００５１】
上記実施形態では、２つの円又は２つの楕円に共通外接線Ｓ１，Ｓ２，ｓ１，ｓ２を設けていたが、これに代えて又は加えて共通内接線を設けてもよい。共通外接線と共通内接線との双方を設ける場合、２つの円Ｃ，Ｄの中心Ｃ０，Ｄ０を通る直線の像は、共通外接線の交点と共通内接線の交点とを通る直線とすることができる。
【符号の説明】
【００５２】
１０：画像解析装置
１１：カメラ
１２：処理装置（解析部）
【図１】
2015170181.tif 000012
【図２】
2015170181.tif 000013
【図３】
2015170181.tif 000014