(57)【要約】【課題】照合画像表示装置で、２枚および３枚以上の多量の画像間変化検出を、視認性良く、画像間の対応を容易に取りながら行えるようにする。【解決手段】カメラやデータベースから取得した各画像を３次元空間に立体的に所定の位置関係で順次に配置して３次元空間の配置状態を生成する３Ｄ空間内配置手段と、この３次元空間の配置状態を、適当な変更可能な視点から見た２次元画面上の透視投影図に変換して表示装置のスクリーン上に表示させる投影図生成手段とを備える。【選択図】        図１
2004234515.tif 000002
【特許請求の範囲】
【請求項１】
カメラやデータベースから複数枚の画像を取得し、取得した各画像を並べて表示装置のスクリーン上に表示する照合画像表示装置において、
取得した各画像を３次元空間に立体的に所定の位置関係で順次に配置して３次元空間の配置状態を生成する３Ｄ空間内配置手段と、
この３次元空間の配置状態を、適当な変更可能な視点から見た２次元画面上の透視投影図に変換して前記表示装置のスクリーン上に表示させる投影図生成手段とを備えたことを特徴とする照合画像表示装置。
【請求項２】
３Ｄ空間内配置手段が、取得した各画像を順次にそれぞれの四角形ポリゴンにテクスチャマッピングし、各四角形ポリゴンと画像を一定間隔にあけて平行に配置して３次元空間の配置状態を形成することを特徴とする請求項１記載の照合画像表示装置。
【請求項３】
３Ｄ空間内配置手段が、取得した各画像を順次にそれぞれの四角形ポリゴンにテクスチャマッピングし、各四角形ポリゴンと画像をある軸の周りに放射状に配置して３次元空間の配置状態を形成することを特徴とする請求項１記載の照合画像表示装置。
【請求項４】
表示装置の透視投影図に表示された任意の画像上の注視したい領域をマウスやキーボード等で指定することにより、当該領域を視覚的に強調する対応関係指示形状を生成する注目領域強調手段を備え、
３Ｄ空間内配置手段が、３次元空間上の各画像の前記領域に対応する個所に前記対応関係指示形状を当てはめて配置し、前記透視投影図上の全画像に反映させるようにしたこと特徴とする請求項１から請求項３のうちのいずれか１項記載の照合画像表示装置。
【請求項５】
取得した各画像を３Ｄ空間内配置手段に取り込む際に前後の画像間の位置ずれ量を算出する位置ずれ算出手段を備え、
３Ｄ空間内配置手段が、画像を所定の位置関係で配置するときに、算出した位置ずれ量に応じて後から取り込む画像を位置合せして配置するようにしたことを特徴とする請求項１から請求項４のうちのいずれか１項記載の照合画像表示装置。
【請求項６】
カメラやデータベースから複数枚の画像を取得し、
取得した各画像を３次元空間に立体的に所定の位置関係で順次に配置して３次元空間の配置状態を生成し、
この３次元空間の配置状態を適当な変更可能な視点から見た２次元画面上の透視投影図に変換し、
変換された透視投影図を表示装置のスクリーン上に表示させるコンピュータの照合画像表示プログラム。
【請求項７】
表示装置の透視投影図に表示された任意の画像上の注視したい領域をマウスやキーボード等で指定した場合に、当該領域を視覚的に強調する対応関係指示形状を生成し、
前記透視投影図上の全画像に反映させるように、３次元空間上の各画像の前記領域に対応する個所に前記対応関係指示形状を当てはめて配置するようにしたことを特徴とする請求項６記載のコンピュータの照合画像表示プログラム。
【請求項８】
取得した各画像から３次元空間の配置状態を生成する際に取り込む前後の画像間の位置ずれ量を算出し、
画像を所定の位置関係で配置するときに、算出した位置ずれ量に応じて後から取り込む画像を位置合せして配置するようにしたことを特徴とする請求項６または請求項７記載のコンピュータの照合画像表示プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は同一地点を異なる時刻にカメラを用いて撮影した画像間の変化を検出するのを支援する照合画像表示装置およびコンピュータの照合画像表示プログラムに関するものである。
【０００２】
【従来の技術】
従来の画像の照合を支援する技術として、２枚の航空写真の画像を左右に並べて対応個所にマーキングを行うことや、交互に切り替えて表示することにより、目視による複数画像間の変化を検出するための手がかりを提供し、土地利用状況および家屋形状の変化判別を支援する変化判別支援システムがある（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平９−６１１６４号公報
【０００４】
【発明が解決しようとする課題】
従来の変化判別支援システムは以上のように構成されているが、このような変化検出支援システムを用いて目視による変化検出を行う場合、２枚の画像を左右に並べる２次元的な画像配置方法では、画像間の対応を一度に把握できず、何度も交互に２枚の画像を見比べるといった手間がかかる。また、２枚の画像を交互に切り替える表示方法では、切り替えによって生じる画面のちらつきによって視認性が悪化する。さらに、３枚以上の多量の画像間変化の検出には対応できないなどの問題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、２枚および３枚以上の多量の画像間変化検出を、視認性良く、画像間の対応を容易に取りながら行うことができる照合画像表示装置およびコンピュータの照合画像表示プログラムを得ることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る照合画像表示装置は、カメラやデータベースから複数枚の画像を取得し、取得した各画像を並べて表示装置のスクリーン上に表示する照合画像表示装置において、取得した各画像を３次元空間に立体的に所定の位置関係で順次に配置して３次元空間の配置状態を生成する３Ｄ空間内配置手段と、この３次元空間の配置状態を、適当な変更可能な視点から見た２次元画面上の透視投影図に変換して表示装置のスクリーン上に表示させる投影図生成手段とを備えたものである。
【０００７】
【発明の実施の形態】
以下、この発明の各実施の形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１乃至実施の形態３による照合画像表示装置の構成を示すブロック図である。この実施の形態１では、ある調査地域を一定期間ごとに撮影した複数のカラー航空写真からオペレータが目視で経年変化を検出する作業を支援する土地の経年変化検出支援システムへの適用例について述べるものである。
画像取得手段１はカメラやデータベースから画像を取得する手段である。画像格納手段２は取得した画像を複数枚格納しておく手段であり、３Ｄ空間内配置手段３は格納された各画像を取り出して３次元空間に立体的に所定の位置関係で配置する手段である。位置ずれ算出手段４は、取得した各画像を３Ｄ空間内配置手段３に取り込む際に前後の画像間の位置ずれ量を算出する手段である。投影図生成手段５は、３Ｄ空間内配置手段３で立体的に配置された各画像の配置状態を適当な変更可能な視点から見た２次元画面上の透視投影図に変換する手段である。表示装置６は２次元画面上の透視投影図を表示するＣＲＴなどのディスプレイである。注目領域強調手段７は視覚的な強調表示を行うための手段で、表示装置６の透視投影図に表示された任意の画像上の注視したい領域をオペレータがマウス等で指定することにより、その領域を視覚的に強調する対応関係指示形状を生成するものである。
【０００８】
図２は実施の形態１に係る動作手順について示すフローチャートで、以下その動作について説明する。
航空写真のディジタル画像が蓄えられたデータベースや航空写真をディジタル画像化するスキャナなどから、調査対象の時系列画像を画像取得手段１によって画像格納手段２に格納していく。すべての時系列画像を画像格納手段２に格納した後、それらの画像は３Ｄ空間内配置手段３によって以下の手順で３次元空間に立体的に配置される。
【０００９】
まず、３Ｄ空間内配置手段３は、画像格納手段２から撮影時刻の最も古いものを１枚取り出す（ステップＳＴ１）。この画像を四角形ポリゴンにテクスチャマッピングする（ステップＳＴ２）。テクスチャマッピングによって、画像を立体形状に位置するようにシールのように貼り付けることができる。画像がマッピングされた四角形ポリゴンは適当な初期座標に配置される（ステップＳＴ３）。次に、画像格納手段２から次の画像を取り出し、新たな四角形ポリゴンにテクスチャマッピングする。２枚目以降は四角形ポリゴンを、一つ前に配置した画像から一定間隔あけて平行に配置する（ステップＳＴ４）。この時、位置ずれ算出手段４によって、隣り合う２枚の画像間の位置ずれ量を算出する（ステップＳＴ５）。同じ地域を撮影したとしても、その時々のカメラの姿勢が異なるため、それらの画像間には位置ずれが生じる。位置ずれ量には、平行移動量と回転量が含まれるが、この位置ずれ量を算出し、３Ｄ空間内配置手段３において、画像を一定間隔ごとに配置するとき、位置ずれ量の分だけ画像をずらして位置合せして配置する（ステップＳＴ６）。このことによって、画像間の対応位置が把握しやすくなる。
【００１０】
位置ずれ算出手段３では、以下の手順で位置ずれ量を算出する。ある位置ずれ量であると仮定した分だけ画像をずらして重ね合わせ、重なった各画素の輝度差の絶対値を計算する。正しく位置合わせされている場合、輝度差の絶対値は０になる。そのため、ずらし量を変化させながら輝度差の絶対値が最も０に近くなるずらし量を見つければ、それが位置ずれ量となる。
以上の処理を、画像格納手段２に格納されているすべての画像に対して行うことにより、３Ｄ空間に航空写真画像が立体的に配置される。
【００１１】
これらの四角形ポリゴンの３次元配置は、投影図生成手段５により適当な視点から見た２次元画面上の透視投影図に変換され（ステップＳＴ７）、表示装置６のスクリーン上に表示される（ステップＳＴ８）。図３はスクリーンＳＣ１に表示された映像の例である。画像がテクスチャマッピングされた多数の四角形ポリゴンのうち、ＩＭ１〜ＩＭ１０の１０枚が見えるような視点で映像が作成されている。スクリーンＳＣ１のように、航空写真画像が３Ｄ空間に立体的に配置されている。オペレータはこのような表示を見て、マウスやキーボード操作によって視点を変えながら、画像間の変化を検出していく。
このように、３次元空間に配置された互いに位置合わせされた複数の画像を様々な視点から自由に眺められるようにしたことで、多くの時系列画像を一度に見渡して変化を検出することが可能となる。
【００１２】
次に、注視したい領域がある場合、オペレータは表示装置６の透視投影図に表示された複数画像の中の任意の画像上で該当領域をマウスで指定する。すると、注目領域強調手段７が動作し、図４に示すように、視覚的に強調するための半透明な立体形状である対応関係指示形状ＣＹ１を生成する。３Ｄ空間内配置手段３は、３次元空間上の各画像に対し、指定された該当領域に対応する画像の個所に前記対応関係指示形状を当てはめるよう配置する。結果として対応関係指示形状ＣＹ１は、投影図生成手段５を介して、透視投影図の全画像に反映されスクリーンＳＣ１に図４のように表示させる。図４は、図３における視点から前方に移動した視点において見た映像であり、スクリーンＳＣ１には四角形ポリゴンと画像ＩＭ４〜ＩＭ７が表示されている。例えば、オペレータが一つの四角形ポリゴンと画像ＩＭ６のＭＡ３の個所を注視したい場合、ＭＡ３をマウスで指定すると、他の画像における対応個所ＭＡ１，ＭＡ２，ＭＡ４の間を結ぶ対応関係指示形状ＣＹ１が表示される。なお、注目領域強調手段７は、オペレータが指示した注目領域以外の部分を、すべての画像に渡って暗く表示するように注目領域を強調表示するなどの画像処理を加えるようにしてもよい。このように、オペレータが注視したい領域を様々な形で強調表示するようにしたことで、画像間の変化がより検出しやすくなる。
【００１３】
以上のように、この実施の形態１によれば、３Ｄ空間内配置手段３により、取得した各画像を３次元空間に立体的に所定の位置関係で順次に配置して３次元空間の配置状態を生成し、この３次元空間の配置状態を、投影図生成手段５により適当な変更可能な視点から見た２次元画面上の透視投影図に変換して表示装置６のスクリーン上に表示させるので、スクリーン上には多数の画像が立体的に配置された映像が映し出される。このような映像から、画像間の対応を一度に把握できるため、何度も交互に２枚の画像を見比べるといった手間がかからず、視認性の良い状態で、２枚またはそれ以上の多数の画像間変化検出を行うことができる効果が得られる。
【００１４】
また、この実施の形態１によれば、注目領域強調手段７を設け、表示装置６の透視投影図に表示された任意の画像上の注視したい領域をマウスやキーボード等で指定することにより、当該領域を視覚的に強調する対応関係指示形状を生成し、３Ｄ空間内配置手段３において、この対応関係指示形状を３次元空間上の各画像の前記領域に対応する個所に当てはめて配置することで透視投影図上の全画像に反映させるようにしたので、画像間の対応個所を容易に比較でき、注視したい個所に意識を集中することで変化検出がより容易に行える効果が得られる。
【００１５】
さらに、位置ずれ算出手段４により、取得した各画像を３Ｄ空間内配置手段３に取り込む際に前後の画像間の位置ずれ量を算出し、３Ｄ空間内配置手段３が、画像を所定の位置関係で配置するときに、算出した位置ずれ量に応じて後から取り込む画像を位置合せして配置するようにしたので、画像間の位置の対応関係を把握しやすくなり、画像を見比べることが容易になる。また、画像間の位置ずれを補正する際に、従来のような人手で多数の対応点を指示する手間が削減できる効果が得られる。
【００１６】
実施の形態２．
この実施の形態２では、電子回路基盤の組み立てラインにおける目視による不良品検査の支援システムへの適用例について述べる。
上記実施の形態１では、予め撮影された画像データベースから画像取得手段１が画像格納手段２に複数の画像を格納していたが、この実施の形態２では、組み立てラインに設置されたディジタルカメラが次々と撮影する基盤写真画像を、画像取得手段１によって画像格納手段２に次々と格納されていく。次に、３Ｄ空間内配置手段３は、格納された画像を読み出して、それらの画像を四角形ポリゴンにそれぞれテクスチャマッピングして３Ｄ空間に配置していく。ただし、この実施の形態２の場合、新たに四角形ポリゴンを３Ｄ空間に配置するごとに、配置されたすべての四角形ポリゴンを法線方向に配置間隔だけ移動させる。また、規定の分量以上の画像および四角形ポリゴンは、古いものから順に、画像格納手段２および３Ｄ空間内配置手段３から削除されるようにしている。
【００１７】
以上の処理によって、カメラから次々と送られてくる基盤写真が、次々と上から下に落ちていくような映像をオペレータに提示することができる。オペレータは、このような映像を眺めることで部品の欠損や不良の発見を効率良く行うことが可能となる。
【００１８】
実施の形態３．
この発明は、上記実施の形態１および実施の形態２で挙げたシステムの他にも、画像間の変化検出の支援を行うことを目的とする各種システムに適用することができるが、そのためのバリエーション例について述べる。
３Ｄ空間内の画像配置において、互いに平行とする代わりに、例えば図５で説明するように配置してもよい。この場合、３Ｄ空間内配置手段３は、生成した四角形ポリゴンと画像ＩＭ２〜ＩＭ８を、ある軸の回りに放射状に配置して、これらの画像からなる３次元空間の配置状態を生成する。この配置状態は、画像を正面から見る視点でノートを次々とめくるような画像の表示配置を構成している。また、この場合、注目領域強調手段７は、対応関係指示形状ＡＲ１を円弧状に形成することで、各画像の視覚的に強調すべき対応個所を指示する。なお、この例の場合には、位置ずれ量の算出と画像間の位置合せは行わず、対応個所の関係は対応関係指示形状ＡＲ１のみを用いて提示してもよい。
また、位置ずれ算出手段４として、各画素の輝度差の絶対値を用いて位置ずれ量を算出したが、別の方法として、相互相関値を用いる等の位置ずれを算出できる各種手法を用いて実現してもよい。
【００１９】
上記各実施の形態においてこの発明の照合画像表示装置について述べてきたが、この照合画像表示装置は、コンピュータに同様な機能を持たせるプログラムをインストールすることでも実現できることが理解できよう。したがって、この発明はその照合画像表示プログラムも提供するものである。
【００２０】
【発明の効果】
以上のように、この発明によれば、カメラやデータベースから複数枚の画像を取得し、取得した各画像を並べて表示装置のスクリーン上に表示する照合画像表示装置において、取得した各画像を３次元空間に立体的に所定の位置関係で順次に配置して３次元空間の配置状態を生成する３Ｄ空間内配置手段と、この３次元空間の配置状態を、適当な変更可能な視点から見た２次元画面上の透視投影図に変換して表示装置のスクリーン上に表示させる投影図生成手段とを備えるように構成したので、スクリーン上には多数の画像が立体的に配置された映像が映し出され、このような映像から、画像間の対応を一度に把握でき、何度も交互に２枚の画像を見比べるといった手間がかからず、視認性の良い状態で、２枚またはそれ以上の多数の画像間の対応をとりながら変化検出を行える効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１乃至実施の形態３による照合画像表示装置の構成を示すブロック図である。
【図２】この発明の実施の形態１に係る動作手順について示すフローチャートである。
【図３】この発明の実施の形態１に係る表示装置のスクリーンＳＣ１上の映像例を示す説明図である。
【図４】この発明の実施の形態１に係る対応関係指示形状ＣＹ１の表示例を示す説明図である。
【図５】この発明の実施の形態３に係る映像の形成方法について示す説明図である。
【符号の説明】
１  画像取得手段、２  画像格納手段、３  ３Ｄ空間内配置手段、４  位置ずれ算出手段、５  投影図生成手段、６  表示装置、７  注目領域強調手段。
【図１】
2004234515.tif 000003
【図２】
2004234515.tif 000004
【図３】
2004234515.tif 000005
【図４】
2004234515.tif 000006
【図５】
2004234515.tif 000007