(57)【要約】【課題】  ２枚の類似した画像が、ステレオ画像かカメラ中心一定画像（ＰＡＮ、ズーム等）かを画像のみから判別する画像判別方法、画像判別装置、画像判別プログラム、及びその記録媒体を提供する。【解決手段】  画像１及び画像２を入力し（ＳＰ０００）、画像１に対し領域を設定し（ＳＰ１００）、画像１の前記領域に対し画像１の領域内幾何的配置を設定し（ＳＰ２００）、画像１の指定領域内で前記幾何的配置を満たす特徴点または画素ＦＰ１を検出し（ＳＰ３００）、画像２における前記特徴点の対応点ＦＰ２を検出し（ＳＰ４００）、前記対応点の幾何的配置により、撮影状況を判別する。ＦＰ２が全てある幾何的条件を満たせばカメラ中心固定画像と判断し、ＦＰ２が全てある幾何的条件を満たさなければステレオ画像と判断する（ＳＰ５００）。【選択図】      図１
2005309658.tif 000002
【特許請求の範囲】
【請求項１】
入力された２枚の類似した画像１及び画像２が、カメラ中心固定で撮影されたものか、または、カメラ中心が異なる位置で撮影されたものであるかを、演算手段を備えたコンピュータを用いて判別する方法であって、
前記演算手段は、
前記画像１に対し、直線を含む幾何的特徴を持つ領域を設定する手順と、
前記領域内において幾何的配置を設定する手順と、
前記領域内において前記幾何的配置を満足する特徴点あるいは画素を検出する手順と、
前記画像２において前記特徴点あるいは前記画素の対応点を検出する手順と、
前記対応点が前記幾何的配置を満足するかどうかを判定することにより、前記画像１及び前記画像２の撮影時のカメラ配置を判定する手順とを有する
ことを特徴とする画像判別方法。
【請求項２】
前記幾何的特徴を持つ領域を設定する手順がさらに、
前記画像１のスキャンラインに平行で、かつ、指定された画素数の幅を持つ帯状領域Ｈとして設定する手順と、
前記画像１のスキャンラインに垂直で、かつ、指定された画素数の幅を持つ帯状領域Ｖ
として設定する手順とを含む
ことを特徴とする請求項１記載の画像判別方法。
【請求項３】
前記幾何的特徴を持つ領域を設定する手順がさらに、
前記帯状領域Ｈ及び前記帯状領域Ｖを指定された位置に複数設定する手順、または、前
記帯状領域Ｈおよび帯状領域Ｖをランダムな位置に複数設定する手順を含む
ことを特徴とする請求項２記載の画像判別方法。
【請求項４】
入力された２枚の類似した画像１及び画像２が、カメラ中心固定で撮影されたものか、または、カメラ中心が異なる位置で撮影されたものであるかを判別する装置であって、
前記画像１に対し、直線を含む幾何的特徴を持つ領域を設定する手段と、
前記領域内において幾何的配置を設定する手段と、
前記領域内において前記幾何的配置を満足する特徴点あるいは画素を検出する手段と、
前記画像２において前記特徴点あるいは前記画素の対応点を検出する手段と、
前記対応点が前記幾何的配置を満足するかどうかを判定することにより、前記画像１及び前記画像２の撮影時のカメラ配置を判定する手段とを有する
ことを特徴とする画像判別装置。
【請求項５】
前記幾何的特徴を持つ領域を設定する手段がさらに、
前記画像１のスキャンラインに平行で、かつ、指定された画素数の幅を持つ帯状領域Ｈとして設定する手段と、
前記画像１のスキャンラインに垂直で、かつ、指定された画素数の幅を持つ帯状領域Ｖ
として設定する手段とを含む
ことを特徴とする請求項４記載の画像判別装置。
【請求項６】
前記幾何的特徴を持つ領域を設定する手段がさらに、
前記帯状領域Ｈ及び前記帯状領域Ｖを指定された位置に複数設定する手段、または、前
記帯状領域Ｈおよび帯状領域Ｖをランダムな位置に複数設定する手段を含む
ことを特徴とする請求項５記載の画像判別装置。
【請求項７】
請求項１乃至３の何れか１項記載の画像判別方法をコンピュータに実行させるプログラム。
【請求項８】
請求項７記載のプログラムを記録した媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２枚の類似した画像が、ステレオ画像かカメラ中心一定画像かを判定する画像判別方法、画像判別装置、画像判別プログラム、及びその記録媒体に関する。
【背景技術】
【０００２】
画像から３次元構造を復元する際に、２枚の画像を用いてステレオ視により復元する方法は広く開示されており、例えば非特許文献１に網羅的にまとめられている。
【０００３】
図９は、ステレオ視による撮影の原理を示しており、Ｉ、Ｉ´は画像であり、Ｏ、Ｏ´はそれぞれ、画像Ｉ、Ｉ´のカメラ中心である。Ｏwはワールド座標系の原点であり、ＸW（Ｘ、Ｙ、Ｚ）はワールド座標系における３次元の点、ｍ、ｍ´はそれぞれ画像Ｉ、Ｉ´におけるＸWの像である。また、ｅ、ｅ´は、エピポールである。図９において、ワールド座標系の点Ｘwが異なる複数の画像に撮影されている場合、それぞれの画像に写っているＸwの像を対応点と呼ぶ。即ち、図９においては、画像Ｉ上の点ｍの、画像Ｉ´上における対応点はｍ´であり、逆にｍ´のＩにおける対応点はｍである。もちろん、複数の画像に重複して撮影されている部分が多ければ、それだけ対応点の数は多い。
【０００４】
一方、複数の撮影画像から新たな１枚の画像を生成する、いわゆるモザイクあるいはパノラマと呼ばれる方法も非特許文献１に開示されている。
【０００５】
モザイクは、複数の画像を１枚の仮想的な平面に射影する方法であり、基本的にカメラ中心が一定である複数の画像から１枚の合成画像を生成する。
【非特許文献１】松山、久野、井宮、「コンピュータビジョン、技術評論と将来の展望」、新技術コミュニケーションズ出版、１９９８
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、ステレオ視による３次元復元の原理では、ステレオ視により３次元情報を復元するためには、相対的なスケールにおいても、絶対的なスケールにおいても、カメラ中心位置、即ち、ＯとＯ´がある程度離れている必要があり、両画像間において視差がないと、三角測量の原理を適用することができない。
【０００７】
また、ステレオ視を目的とした何らかのアプリケーションにおいて、カメラ中心が一定である２枚の画像、即ち、ズームやパン、チルトによって撮影された画像を用いると視差がないため、ステレオ視の原理を用いることができないばかりでなく、例えば、Ｆｕｎｄａｍｅｎｔａｌ  Ｍａｔｒｉｘと言うステレオ視の計算に用いられる行列の成分が全て０となる等、エピポーラ拘束式を求める際に数値的に不安定になる可能性がある。
【０００８】
同様に、モザイク画像を生成するアプリケーションにおいて、視差のある画像を用いると、両画像間で隠蔽が生じたり、１枚の画面への射影に支障をきたす状況が生じえるという問題がある。
【０００９】
また、カメラ中心固定でカメラの視軸をわずかに変えて撮影された２枚の画像と、ステレオ視への利用目的でカメラ中心をわずかに移動させて撮影された２枚の画像は、どちらもほぼ同じ被写体が撮像されており、一見、判断がしにくい。しかし、前記のように、いずれかの撮影条件を前提とした装置類に、条件に合致しない画像を入力すると、支障をきたすという問題がある。
【００１０】
そこで、本発明では、前記した問題を解決し、２枚の類似した画像が、ステレオ画像かカメラ中心一定画像（パン、チルト、ズーム等）かを前記画像のみから判別する画像判別方法、画像判別装置、画像判別プログラム、及びその記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記課題を解決するため、本発明では、入力された２枚の画像１及び画像２のうち、画像１に対し、直線を含む幾何的特徴をもつ領域を設定し、前記領域内において所定の幾何的配置を設定し、画像１においてある幾何的配置条件を満たすように特徴点を設定し、画像２において前記特徴点の対応点を検出した際に、前記対応点が画像１の特徴点と同一の幾何的配置条件を満たすかどうかにより、撮影時のカメラ配置を判別することを主要な特徴とする。
【発明の効果】
【００１２】
このような画像判別方法、画像判別装置、及び画像判別プログラムによれば、２枚の類似した画像が、ステレオ撮影かカメラ中心固定撮影かを容易に判別することが可能になる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の原理を述べる。
【００１４】
図２はステレオ視の場合の撮影状況を示し、図３はカメラ中心が固定されている場合の撮影状況を示している。以下、特に断らない限り、カメラ中心が離れた状態で撮影された状況を「ステレオ視撮影」あるいは単に「ステレオ撮影」と呼び、図３のようにカメラ中心が固定されている場合の撮影状況を「カメラ中心固定撮影」あるいは「モザイク撮影」と呼ぶことにする。
【００１５】
図２においては、２枚の画像の撮影時のカメラ中心はそれぞれＯL、ＯRである。また、２枚の画像はＩL、ＩRであり、その視野はＶL、ＶRであり、添字Ｌ、Ｒはそれぞれのカメラに対応している。Ｐ、Ｑはそれぞれ撮影像の３次元位置を示す。
【００１６】
図２から容易にわかるとおり、例えば点Ｐは、画像ＩRにはその像が撮影されているが、画像ＩLには、手前の物体に隠蔽されて点Ｑの像が撮影されることになる。即ち、ステレオ撮影においては、両画像における対応点は、必ずしも存在しない。
【００１７】
一方、図３において示すように、カメラ中心固定撮影の場合は、画像ＩLと画像ＩRは、あたかも仮想的な大きな視野Ｖのうち、ＶL、ＶRを撮影しているかのような状況であり、少なくとも両画像において撮影視野が重なっている部分においては、点Ｐは被写体は必ず両画像に撮影される。
【００１８】
図３から容易にわかるとおり、例えば点Ｐは、画像ＩLにも画像ＩRにもその像が撮影される。
【００１９】
このように、原理的には、同じ被写体を撮影した際に、カメラ中心固定撮影であれば、共通する視野に含まれている被写体で片方の画像に撮像されているものは、必ず他の画像にも撮像されている。また、ステレオ撮影であれば、両カメラの共通する視野に含まれていて、片方の画像に撮像されていたとしても、必ずしも他の画像にも撮像されているとは限らない。
【００２０】
従って、２枚の画像１（例えば、画像ＩL）及び画像２（例えば、画像ＩR）があるときに、画像１と画像２の（同じ視野内にある被写体像の）対応点を求めた場合に、ステレオ撮影であれば、対応点が全て見つかるとは限らず、カメラ中心撮影であれば、対応点があればディジタル化による誤差を除き、全て見つかることになる。
【００２１】
また、カメラ中心撮影であれば、共通する視野の両画像における像は、互いにアフイン変換の関係となっているため、例えば、画像１において特徴点が直線状に並んでいれば、画像２における特徴点も直線状に並ぶ。
【００２２】
図４はこの事情を表している。図４の（０）は画像１における、直線状に並んだ特徴点を示している。図４（１）はカメラ中心固定でパンまたはチルトによって、カメラの方向のみを変えて撮影した画像２における対応点を示し、対応点が直線状に並んでいることを示している。図４（２）はカメラ中心固定でズーム撮影された画像２における対応点を示し、やはり対応点が直線状に並んでいることを示している。図４（３）はステレオ撮影での状況を表し、対応点が視差により直線状になっていないことを示している。
【００２３】
図５は本実施形態でのコンピュータの基本的な手段を表しており、１００は画像領域を設定する領域設定手段、２００は画像の領域に対し幾何的配置をする幾何的配置設定手段、３００は画像領域の特徴点を検出する特徴点検出手段、４００は他の画像における対応点を検出する対応点検出手段、５００は撮影条件を判定する撮影条件判定手段である。各手段の詳細は後で詳しく説明する。
【００２４】
また，図１は本実施形態でコンピュータが行う具体的な処理手順を表しており、画像１及び画像２を入力し（ＳＰ０００）、画像１に対し領域を設定し（ＳＰ１００）、画像１の前記領域に対し画像１の領域内幾何的配置を設定し（ＳＰ２００）、画像１の指定領域内で前記幾何的配置を満たす特徴点または画素ＦＰ１を検出し（ＳＰ３００）、画像２における前記特徴点の対応点ＦＰ２を検出し（ＳＰ４００）、前記対応点の幾何的配置により、撮影状況を判別するものである。ＦＰ２が全てある幾何的条件を満たせばカメラ中心固定画像と判断し、ＦＰ２が全てある幾何的条件を満たさなければステレオ画像と判断する（ＳＰ５００）。
【００２５】
図７は本発明を実施する最良の形態を表す画像判別装置の構成図である。
【００２６】
画像入力／記憶装置０００は、画像を読み込み記憶する装置である。
【００２７】
図５の手段のように、画像判別装置は、領域設定手段１００、幾何的配置設定手段２００、特徴点検出手段３００、対応点検出手段４００、撮影条件判定手段５００があり、これらはさらに細かな手段よりなる。尚、これらの各手段は、コンピュータとしての画像判別装置が備える演算手段としてのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）にソフトウェア的に構成されるものとする。
【００２８】
領域設定手段１００は画像入力／記憶装置０００に接続し、領域図形設定手段１０１は、画像１において特徴点を検出する領域を設定する。この領域はスキャンラインに平行な１つの直線を含む帯状領域Ｈや、スキャンラインに垂直な１つの直線を含む帯状領域Ｖや
、両者の同時設定でもよい。帯の幅は，１画素としてもよい。以下は、帯状領域Ｈ及び帯状領域Ｖを設定するものとし、帯の長さは帯状領域Ｈにおいては、画像１の横幅と同一と
して、幅は１画素とし、帯状領域Ｖにおいては帯の長さは画像１の縦幅と同一として、幅
は１画素として説明を行う。ただし、帯の形状はこれに限定されるものではなく、例えば、帯状領域Ｈの長さは画像の横幅の半分であり、両端は画像の左から画像幅の４分の１と画像の右から画像幅の４分の１にあるという設定にしても良い。あるいは、特に直線状の領域ではなく、何らかの図形、例えば、円や矩形状の領域でもよいが、計算効率を考慮すると、前記の直線を含む帯状が良い。
【００２９】
領域配置設定手段１０２は、前記帯状領域Ｈ及び前記帯状領域Ｖを画像１のどこに配置するかを設定する。本発明はステレオ画像かどうかを判別することを目的としているため、２枚の画像は基本的に類似しているが、画像２において対応点が見つからない場合、視差による隠蔽によるものか、あるいは単に前記帯状領域Ｈ及び前記帯状領域Ｖが共通する視野の像を含んでいないかの区別がつきにくい。従って、帯状領域Ｈ及び帯状領域Ｖを画像１に複数設置することが望ましいが、その際の配置を設定する。
【００３０】
例えば、図６の左に示すように、スキャンラインに平行で幅が１画素程度分の帯状領域Ｈ、及び、スキャンラインに垂直で幅が１画素程度分の帯状領域Ｖのように設定される。
【００３１】
この場合、帯状領域Ｖや帯状領域Ｈの位置は、ランダムに決定してもよいし、例えば、
図６の左に示すように、帯状領域Ｖは画像幅を４分するような位置（Ｖ、Ｖ２、Ｖ３）、
Ｈは画像の高さを３分するような位置（Ｈ、Ｈ２）に複数置いてもよい。
【００３２】
幾何的配置設定手段２００は、画像１の前記設定された領域内において、特徴点あるいは画素を指定するための位置の条件を設定する。
【００３３】
例えば、図６の左のように、帯状領域Ｈ及び帯状領域Ｖに含まれる画像上の点であって
、エッジやコーナとなるような特徴点としてもよい。また、前記特徴点はサブピクセルレベルでもよく、あるいは前記特徴点を含む画素としても良い。あるいは、帯状領域Ｈ及び帯状領域Ｖに含まれ、一定間隔ごとにある画素としても良い。
【００３４】
特徴点検出手段３００における領域内特徴点検出手段３０１は、画像入力／記憶装置０００に接続しており、前記条件に合致する特徴点あるいは画素位置を検出する。特徴点を検出する際に、例えば、画素の輝度値の微分値を用いたり、一般に知られている、例えば、Ｓｏｂｅｌ、Ｃａｎｎｙ等のエッジ検出オペレータを用いて検出しても良い。どのように特徴点を検出するかは本発明の範囲ではない。
【００３５】
領域内特徴点記憶手段３０２は、前記検出された特徴点あるいは画素位置を記憶する。
【００３６】
対応点検出手段４００における領域内対応点検出手段４０１は、画像入力／記憶装置０００に接続しており、画像２において前記特徴点の対応点を探索し検出する。対応点の探索方法も、よく知られたオプティカルフローや相関値を用いるなど、公知技術を用いてよい。どのように対応点を検出するかは本発明の範囲ではない。また、前記特徴点はサブピクセルレベルでも良い。あるいは、特徴点を含む画素位置でも良い。
【００３７】
対応関係評価手段４０２は、領域内特徴点記憶手段３０２で記憶された特徴点と、領域内対応点検出手段４０１による対応点で、対応点が見つかったペアを記憶する。これは、画像２において対応点が見つからなかった場合を考慮している。
【００３８】
撮影条件判定手段５００における、評価誤差設定手段５０１は、画像２における対応点あるいは対応画素の配置が、直線からどれだけ離れていてもよいかを表す誤差δを設定する手段であり、例えば、予め１画素以内と決めておいても良いし、利用者からの入力を受け付けても良い。また、誤差δは画像の横幅または縦幅の数パーセントと指定してもよい。
【００３９】
対応点座標評価手段５０２は、前記対応点の位置関係が、もとの特徴点の幾何的配置と同一であるかどうかを評価する。例えば、前記説明したように、カメラ中心固定撮影であれば、画像１における特徴点あるいは画素の配置が直線上であるならば、画像２の対応点も（見つかったものは）全て直線上である。即ち、図６の右に示すように、カメラ中心固定であれば、画像１の帯状領域Ｈ及び帯状領域Ｖに含まれる特徴点（あるいは画素）の画
像２における対応点が、もし見つかれば、それらは誤差δの範囲内で直線上にあるはずである。
【００４０】
領域評価手段５０３は、設定した全ての領域で、対応点が見つかったものに対して、対応点座標評価手段５０２の評価を実行したかどうかを判定する。２つの画像において共通する視野ではない部分に帯状領域Ｈや帯状領域Ｖが設定されてしまうこともあるため、対
応点が全く見つからない領域も存在するが、対応点が全く見つからない領域は除外する。
【００４１】
領域評価手段５０３により設定した全ての領域で、対応点座標評価手段５０２の判定がカメラ中心固定撮影であるという条件を満たせば、カメラ中心固定撮影であると判別する。
【実施例】
【００４２】
以下、本発明の実施例を示す。
【００４３】
図８は本発明の実施例の処理のフローチャートである。発明を実施するための最良の形態でも例を示しながら説明したが、ここでは本発明をコンピュータプログラムとして処理した際の処理ステップのフローチャートを説明する。また、ここでは、図７を参照しながら、ハードウェアとソフトウェアの協働を明記する。
【００４４】
まず、例えば、ディジタルカメラで撮影されたＪＰＥＧ形式の２枚の画像１及び画像２を、画像判別装置が読み込み、記憶する（ＳＰ００１）。次に、領域図形設定手段１０１及び領域配置設定手段１０２により、画像１において、帯状領域Ｈ及び帯状領域Ｖをラン
ダムな位置に設定する（ＳＰ１０１）。帯状領域Ｈ及び帯状領域Ｖは、図６の左のような
、幅が１画素の直線で、帯状領域Ｈは長さが画像の横幅、帯状領域Ｖは長さが画像の縦幅
とする。尚、ランダムではなく規則的な配置にしてもよいし、図６の左のＶ２、Ｖ３やＨ２のように複数設定してもよい。
【００４５】
続いて、幾何的配置設定手段２００が、前記指定した帯状領域Ｈ及び帯状領域Ｖにおいて、どのような条件で画像１の特徴点を検出するかを設定する（ＳＰ２０１）。本実施例では、直線上のコーナやエッジ等の特徴点と設定する。あるいは、等間隔な画素としてもよい。次に、領域内特徴点検出手段３０１が、画像１で、帯状領域Ｈ及び帯状領域Ｖ内に
あり、直線上にある特徴点を検出する（ＳＰ３０１）。等間隔な画素とした場合、コーナでなくても、その位置にある画素位置でも良い。また、特徴点をサブピクセルレベルで求めた場合、座標値がある。画素に含まれる場合は、その画素位置をもって特徴点位置としても良い。
【００４６】
次に、領域内特徴点記憶手段３０２が、ＳＰ３０１の条件に合致する特徴点ＦＰ１を記憶する（ＳＰ３０２）。そして、領域内対応点検出手段４０１が、画像２における前記ＦＰ１の対応点を探索し検出する（ＳＰ４０１）。次に、対応関係評価手段４０２が、対応点が見つかった特徴点ペアのみ記憶する（ＳＰ４０２）。このときのＦＰ２の個数をＭとし、ＦＰ２＝Ｐ１、Ｐ２、・・・、ＰMで表す。また、複数の帯状領域Ｈ及び帯状領域Ｖ
において、対応点が１つも見つからなかったり、１つしか見つからなかったものについては、以下の処理における評価ができないため除外する。
【００４７】
次に、評価誤差設定手段５０１により誤差δの幅を設定する（ＳＰ６００）。この誤差δの幅は、帯状領域Ｈ及び帯状領域Ｖで異なる値でも同じ値でもよい。特に指定がなけれ
ば、例えば、誤差δを１画素としてもよい。ＳＰ５０１は、各領域について調べるループである。この実施例では、対応点が２つ以上発見された帯状領域Ｈ及び帯状領域Ｖ（３つ
以上あってもよい）について、以下の処理を繰り返すことを意味する。つまり、前記対応点が２つ以上発見された全ての帯状領域Ｈ及び帯状領域Ｖについて、領域評価手段５０３
により調査済みであれば、ＳＰ５０４ｂに進み、そうでなければＳＰ５０３に進む（ＳＰ５０２）。ＳＰ５０３では、対応点座標評価手段５０２が、前記Ｐiがδの誤差を許して直線上かどうかを判定し、１つでもＮｏであればＳＰ５０４ａに進む。ＳＰ５０４ａでは、２枚の画像はステレオ撮影であるという判断を行い、ＳＰ５０４ｂでは、カメラ中心固定であるという判断を行う。
【００４８】
尚、このプログラムは記録媒体に記録して持ち運び等行うことができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態の具体的な手順を表す図である。
【図２】ステレオ視の場合の同一点の見え方を表した図である。
【図３】カメラ中心固定の場合の同一点の見え方を表した図である。
【図４】対応点の違いの例を表した図である。
【図５】本発明の実施形態の基本手順を表す図である。
【図６】本発明の実施形態における領域の設定方法及び対応点評価の例を表す図である。
【図７】本発明の実施形態における画像判別装置の構成を示す図である。
【図８】本発明の実施形態における実施例のフローチャートを示す図である。
【図９】ステレオ視の原理を表した図である。
【図１】
2005309658.tif 000003
【図２】
2005309658.tif 000004
【図３】
2005309658.tif 000005
【図４】
2005309658.tif 000006
【図５】
2005309658.tif 000007
【図６】
2005309658.tif 000008
【図７】
2005309658.tif 000009
【図８】
2005309658.tif 000010
【図９】
2005309658.tif 000011