(57)【要約】  合成画像生成装置（１００）は、第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成する。特徴点抽出部（１０５）は、第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する。対応点抽出部（１０６）は、特徴点抽出部（１０５）により抽出された特徴点に対応する、第２の重ね合わせ領域内の対応点を抽出する。画像変形部（１０７）は、対応関係にある特徴点と対応点の座標位置に基づき、第１の重ね合わせ領域と第２の重ね合わせ領域とを変形させる。合成画像生成部（１０８）は、画像変形部（１０７）により変形された後の第１の重ね合わせ領域と、画像変形部（１０７）により変形された後の第２の重ね合わせ領域とを重ね合わせて合成画像を生成する。
2016185556.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成装置であって、
前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出する対応点抽出部と、
対応関係にある特徴点と対応点の座標位置に基づき、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる画像変形部と、
前記画像変形部により変形された後の前記第１の重ね合わせ領域と、前記画像変形部により変形された後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成部とを有する合成画像生成装置。
【請求項２】
前記対応点抽出部は、
前記特徴点抽出部により抽出された特徴点の輝度勾配を算出し、算出した輝度勾配に基づき、前記第２の重ね合わせ領域内の対応点を抽出する請求項１に記載の合成画像生成装置。
【請求項３】
前記対応点抽出部は、
前記特徴点抽出部により抽出された特徴点と共通する特徴をもつ、前記第２の重ね合わせ領域内の点を対応点として抽出する請求項１に記載の合成画像生成装置。
【請求項４】
前記画像変形部は、
対応関係にある特徴点と対応点の座標位置のずれがなくなるように、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる請求項１に記載の合成画像生成装置。
【請求項５】
前記合成画像生成装置は、更に、
前記第１の画像として、第１の撮影位置で撮影された第１の撮影画像を仮想投影面に投影させた第１の投影画像を生成し、前記第２の画像として、前記第１の撮影位置とは異なる第２の撮影位置で撮影された第２の撮影画像を前記仮想投影面に投影させた第２の投影画像を生成する投影画像生成部を有し、
前記特徴点抽出部は、
前記第１の投影画像の前記１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出し、
前記対応点抽出部は、
前記特徴点抽出部により抽出された特徴点に対応する、前記第２の投影画像の前記第２の重ね合わせ領域内の対応点を抽出する請求項１に記載の合成画像生成装置。
【請求項６】
前記投影画像生成部は、
視点位置に応じて前記第１の撮影画像及び前記第２の撮影画像の前記仮想投影面への投影角度を調整して前記第１の投影画像及び前記第２の投影画像を生成する請求項５に記載の合成画像生成装置。
【請求項７】
前記合成画像生成装置は、更に、
対応関係にある特徴点と対応点の座標位置に基づき、前記画像変形部による前記第１の重ね合わせ領域と前記第２の重ね合わせ領域の変形手順が記述される変形手順情報を生成する変形手順情報生成部を有し、
前記画像変形部は、
前記変形手順情報生成部により生成された前記変形手順情報に記述される変形手順に従って、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる請求項１に記載の合成画像生成装置。
【請求項８】
第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成するコンピュータが、
前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出し、
抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出し、
対応関係にある特徴点と対応点の座標位置に基づき、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させ、
変形後の前記第１の重ね合わせ領域と、変形後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成方法。
【請求項９】
第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成するコンピュータに、
前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する特徴点抽出処理と、
前記特徴点抽出処理により抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出する対応点抽出処理と、
対応関係にある特徴点と対応点の座標位置に基づき、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる画像変形処理と、
前記画像変形処理により変形された後の前記第１の重ね合わせ領域と、前記画像変形処理により変形された後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成処理とを実行させる合成画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成する技術に関する。
【背景技術】
【０００２】
仮想的に遠方の任意の位置に定義された平面に撮影装置の位置及び姿勢情報を用いて撮影画像を仮想的に投影することで、パノラマ画像を生成することができる。
パノラマ画像の生成では、複数の撮影画像を１つの画像に合成する。
このため、複数の撮影画像が重なり合う部分で適切な合成を行わないと画像が二重にぶれて表示されてしまう。
この問題に関して、特許文献１では、光学的に視差の少ない画像を取得する技術が開示されている。
つまり、特許文献１では、レンズを適切な配置することで視差の影響を少なくしたうえで合成画像を生成している。
また、特許文献２では、２つの入力画像に含まれるランドマークの画像を基準にして２つの入力画像の位置合わせを行っている。
特許文献２では、例えば、２つの入力画像のランドマークの画像が重なり合うように２つの入力画像に幾何学的変換を施している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特願２０１０−９７２２１号公報
【特許文献２】特開２０１４−０８６９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、パノラマ画像を生成する際に位置ずれの要因となる撮影装置間の視差の影響を軽減させるために、光学的に視差の少ない画像を取得できる位置にレンズを配置している。
特許文献１では、１つの撮影位置で撮影された複数の撮影画像でパノラマ画像を生成している。
このため、特許文献１の技術は、複数の撮影位置で撮影された複数の撮影画像を用いてパノラマ画像を生成する場合には適用することができない。【０００５】
また、特許文献２では、ランドマークを基準に２つの入力画像の位置合わせを行っているが、ランドマークの画像領域以外の領域についても、ランドマークに合わせた変換行列を行っている。
そのため、ランドマーク以外の被写体が二重に表示される可能性があり、被写体が近距離にあるほど、位置ずれの量が大きくなる。【０００６】
本発明は、上記の事情に鑑みたものであり、異なる撮影位置で撮影された複数の画像であっても、位置ずれの少ない合成画像を得ることを主な目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る合成画像生成装置は、
第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成装置であって、
前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出する対応点抽出部と、
対応関係にある特徴点と対応点の座標位置に基づき、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる画像変形部と、
前記画像変形部により変形された後の前記第１の重ね合わせ領域と、前記画像変形部により変形された後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成部とを有する。
【発明の効果】
【０００８】
本発明では、第１の重ね合わせ領域を複数のブロックに分割し、第１の重ね合わせ領域においてブロック単位で特徴点を抽出し、ブロック単位で抽出された特徴点ごとに、第２の重ね合わせ領域において対応点を抽出する。
このため、本発明では、位置合わせの基準となる点が第１の重ね合わせ領域と第２の重ね合わせ領域において分散して複数存在し、精細な位置合わせを行うことができる。
従って、異なる撮影位置で撮影された複数の画像であっても、位置ずれの少ない合成画像を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る合成画像生成装置のハードウェア構成例を示す図。
【図２】実施の形態１に係る合成画像生成装置の機能構成例を示す図。
【図３】実施の形態１に係る合成画像生成装置の動作例を示すフローチャート図。
【図４】実施の形態１に係る投影画像の例を示す図。
【図５】実施の形態１に係る重ね合わせ領域の例を示す図。
【図６】実施の形態１に係るブロック分割の例を示す図。
【図７】実施の形態２に係る合成画像生成装置の機能構成例を示す図。
【図８】実施の形態２に係る合成画像生成装置の動作例を示すフローチャート図。
【図９】実施の形態２に係る視点位置と撮影画像と仮想投影面との関係を示す図。
【図１０】実施の形態３に係る合成画像生成装置の機能構成例を示す図。
【図１１】実施の形態３に係る合成画像生成装置の動作例を示すフローチャート図。
【発明を実施するための形態】
【００１０】
実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る合成画像生成装置のハードウェア構成例を示す。
本実施の形態に係る合成画像生成装置は、コンピュータであり、演算プロセッサ１、システムメモリ２、描画グラフィックスＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）３、グラフィックスメモリ５、画像キャプチャＬＳＩ６で構成される。
【００１１】
演算プロセッサ１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）で構成され、演算処理を実行する機能を有している。
演算プロセッサ１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）を実装し、このＯＳ上で合成画像生成プログラム４を実行する。
合成画像生成プログラム４は、図２に示す画像取得部１０１、投影画像生成部１０４、特徴点抽出部１０５、対応点抽出部１０６、画像変形部１０７、合成画像生成部１０８の機能を実現するプログラムである。
システムメモリ２は、ＯＳ、合成画像生成プログラム４、後述する撮影装置位置情報等のデータを保持しており、演算プロセッサ１からの要求に応じてこれらのデータの入出力を行う。
つまり、システムメモリ２からＯＳ及び合成画像生成プログラム４が演算プロセッサ１にロードされ、演算プロセッサ１によりＯＳ及び合成画像生成プログラム４が実行される。
描画グラフィックスＬＳＩ３は、演算プロセッサ１からの指示に従って合成画像を描画する。
描画グラフィックスＬＳＩ３は、グラフィックスメモリ５に接続されており、グラフィックスメモリ５は合成する画像や合成後の画像を保持している。
また、描画グラフィックスＬＳＩ３は、演算プロセッサ１からの要求に応じて記憶したデータの入出力を行う。
画像キャプチャＬＳＩ６は、撮影装置から画像を取得し、演算プロセッサ１からの指示に従って、データの入出力を行う。
なお、画像取得部１０１、投影画像生成部１０４、特徴点抽出部１０５、対応点抽出部１０６、画像変形部１０７、合成画像生成部１０８の機能を「サーキットリー」で提供してもよい。
また、画像取得部１０１、投影画像生成部１０４、特徴点抽出部１０５、対応点抽出部１０６、画像変形部１０７、合成画像生成部１０８の機能を「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
「回路」及び「サーキットリー」は、演算プロセッサ１だけでなく、ロジックＩＣ又はＧＡ（Ｇａｔｅ  Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）といった他の種類の処理回路をも包含する概念である。
【００１２】
図２は、本実施の形態に係る合成画像生成装置１００の機能構成例を示す。
【００１３】
合成画像生成装置１００は、撮影装置３０１、撮影装置３０２、撮影装置３０３と表示装置２００に接続されている。
撮影装置３０１、撮影装置３０２、撮影装置３０３をそれぞれ区別する必要がない場合は、撮影装置３０１、撮影装置３０２、撮影装置３０３をまとめて撮影装置３００と表記する。
図２では、撮影装置３００が３台である例を示しているが、撮影装置３００の台数は何台でもよい。
【００１４】
合成画像生成装置１００は、画像取得部１０１、撮影装置情報格納部１０２、投影面情報格納部１０３、投影画像生成部１０４、特徴点抽出部１０５、対応点抽出部１０６、画像変形部１０７、合成画像生成部１０８を備える。
以下にて、各々の要素について説明する。
【００１５】
画像取得部１０１は、撮影装置３００で撮影された撮影画像を取得する。
【００１６】
撮影装置情報格納部１０２は、撮影位置姿勢情報及びレンズ特性情報を保持する。
撮影位置姿勢情報は、撮影装置３００の設置位置や向きの情報である。
レンズ特性情報は、撮影装置３００のレンズの焦点距離、レンズ歪を補正する際のパラメータなどの情報である。
【００１７】
投影面情報格納部１０３は、仮想投影面の形状と位置の情報である投影面情報を保持する。
仮想投影面は、合成画像の生成に先立ち、画像取得部１０１で取得された撮影画像を投影するための仮想的な投影面である。
【００１８】
投影画像生成部１０４は、画像取得部１０１で取得された撮影画像を投影面に投影して投影画像を生成する。
より具体的には、投影画像生成部１０４は、撮影装置情報格納部１０２で保持されている撮影装置位置姿勢情報及びレンズ特性情報と投影面情報格納部１０３で保持されている投影面情報をもとに、撮影画像を投影面に投影して投影画像を生成する。
【００１９】
特徴点抽出部１０５は、特徴点を抽出する。
具体的には、特徴点抽出部１０５は、画像合成において隣り合う２つの投影画像の各々に対して、重ね合わせの対象の領域（以下、重ね合わせ領域という）を求める。
そして、特徴点抽出部１０５は、一方の投影画像（第１の画像の例）の重ね合わせ領域である第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する。
【００２０】
対応点抽出部１０６は、特徴点抽出部１０５により抽出された特徴点に対応する、他方の投影画像（第２の画像の例）の重ね合わせ領域である第２の重ね合わせ領域内の対応点を抽出する。
対応点抽出部１０６は、特徴点抽出部１０５により抽出された特徴点と共通する特徴をもつ、第２の重ね合わせ領域内の点を対応点として抽出する。
例えば、対応点抽出部１０６は、特徴点抽出部１０５により抽出された特徴点の輝度勾配を算出し、算出した輝度勾配に基づき、第２の重ね合わせ領域内の対応点を抽出する。
【００２１】
画像変形部１０７は、対応関係にある特徴点と対応点の座標位置に基づき、第１の重ね合わせ領域と第２の重ね合わせ領域とを変形させる。
より具体的には、対応関係にある特徴点と対応点の座標位置のずれを求め、ずれがなくなるように、第１の重ね合わせ領域と第２の重ね合わせ領域とを変形させる。
【００２２】
合成画像生成部１０８は、画像変形部１０７で変形された後の２つの投影画像を１つの画像に合成する。
つまり、合成画像生成部１０８は、画像変形部１０７により変形された後の第１の重ね合わせ領域と、画像変形部１０７により変形された後の第２の重ね合わせ領域とを重ね合わせて合成画像を生成する。
【００２３】
表示装置２００は、合成画像生成装置１００で生成された合成画像を表示する。
【００２４】
＊＊＊動作の説明＊＊＊
次に、実施の形態１の合成画像生成装置１００の動作を図３のフローチャートに基づいて説明する。
図３に示す手順は、合成画像生成方法及び合成画像生成プログラムの処理例に相当する。
【００２５】
まず、撮影装置３００の撮影位置姿勢情報及びレンズ特性情報が撮影装置情報格納部１０２に格納される（ステップＳＴ１０１）。
次に、投影面情報が投影面情報格納部に格納される（ステップＳＴ１０２）。
なお、本実施の形態で利用する仮想投影面の形状は、広い平面の表示を行いたい場合は平面、ある視点からの広角な表示を行いたい場合は円筒というように、表示対象によって適切な形状が定義される。
ステップＳＴ１０１及びステップＳＴ１０２は、合成画像の生成に先立って、あらかじめ実施される動作である。
【００２６】
次に、画像取得部１０１が、撮影装置３０１〜３０３で撮影された撮影画像を取得する（ステップＳＴ１０３）。
【００２７】
次に、投影画像生成部１０４が、投影面情報格納部１０３から投影面情報を読み出す。
また、投影画像生成部１０４は、撮影装置情報格納部１０２から撮影位置姿勢情報及びレンズ特性情報を読み出す。
そして、投影画像生成部１０４は、投影面情報、撮影位置姿勢情報及びレンズ特性情報を利用して、各撮影画像を仮想投影面に投影した場合の投影画像を生成する（ステップＳＴ１０４）。
投影画像生成部１０４は、例えば、以下のようにして、投影画像を生成することができる。
【００２８】
投影画像生成部１０４は、投影面情報をポリゴン情報に変換し、各ポリゴン頂点の３次元位置と撮影装置の中心を結んだ直線と、撮影装置の撮像素子平面との交点から各ポリゴンの頂点に対応する撮影画像上の画素の３次元位置Ｄ＝（ｄｉｓｔｘ，ｄｉｓｔｙ，ｄｉｓｔｚ）Ｔを求める。
このとき、各ポリゴン頂点Ｐ＝（Ｐｘ，Ｐｙ，Ｐｚ）Ｔの３次元位置と光学中心Ｃ＝（Ｃｘ，Ｃｙ，Ｃｚ）Ｔを結んだ直線の点Ｑは、式（１）によって表される。
また、撮影装置の撮像素子平面上の点Ｑ’については、式（２）によって表される。
Ｑ＝（Ｐ−Ｃ）＊ｔ＋Ｃ          （１）
Ｑ’＝ｕ＊ａ＋ｖ＊ｂ＋Ｉ        （２）
ここで、ｕは撮像素子のｘ軸方向の単位ベクトル、ｖは撮像素子上のｙ軸方向の単位ベクトルを表しており、Ｉは撮像素子の中心座標を表している。
これらは、レンズの焦点距離、撮影装置の姿勢情報から求めることができる。
また、３次元位置Ｄは式（１）で表される直線上、更には、式（２）で表される平面上に存在する。
このため、式（１）及び式（２）を式（３）にまとめることができ、式（３）から、３次元位置Ｄを求めることができる。
Ｃ−Ｉ＝［ｕ  ｖ  Ｐ−Ｃ］（ａ  ｂ  ｔ）Ｔ      （３）
ここで求まった３次元位置Ｄを撮影画像上の画素位置（ｉｍａｇｅ＿ｘ，ｉｍａｇｅ＿ｙ）に変換させるには式（４）及び式（５）を用いる。
ここで、ｃａｍｅｒａ＿ｐｘ＿ｗｉｄｔｈは撮像素子のｘ軸方向の画素数、ｃａｍｅｒａ＿ｐｘ＿ｈｅｉｇｈｔは撮像素子のｙ軸方向の画素数を表す。
ｉｍａｇｅ＿ｘ
＝ａ＊ｃａｍｅｒａ＿ｐｘ＿ｗｉｄｔｈ＋ｃａｍｅｒａ＿ｐｘ＿ｗｉｄｔｈ／２                （４）
ｉｍａｇｅ＿ｙ
＝ｂ＊ｃａｍｅｒａ＿ｐｘ＿ｈｅｉｇｈｔ＋ｃａｍｅｒａ＿ｐｘ＿ｈｅｉｇｈｔ／２            （５）
【００２９】
投影画像生成部１０４は、このようにして求めた、投影面の各画素に対応する撮像素子の位置から投影画像を生成する。
【００３０】
次に、特徴点抽出部１０５が、重ね合わせ領域のブロック単位で、特徴点を抽出する（ステップＳＴ１０５）（特徴点抽出処理）。
特徴点抽出部１０５の動作を図４、図５及び図６を参照して説明する。
【００３１】
図４において、第１の投影画像４０１は、第１の撮影位置で撮影された第１の撮影画像（例えば、撮影装置３０１の撮影画像）から生成された投影画像である。
第２の投影画像４０２は、第１の撮影位置とは異なる第２の撮影位置で撮影された第２の撮影画像（例えば、撮影装置３０２の撮影画像）から生成された投影画像である。
第１の投影画像４０１と第２の投影画像４０２は、画像合成において隣り合う投影画像である。
特徴点抽出部１０５は、第１の投影画像４０１の重ね合わせ領域（第１の重ね合わせ領域）と第２の投影画像４０２の重ね合わせ領域（第２の重ね合わせ領域）を求める。
図５に示すように、第１の投影画像４０１のうち符号５０１の枠線で囲まれる領域が第１の重ね合わせ領域であり、第２の投影画像４０２のうち符号５０１の枠線で囲まれる領域が第２の重ね合わせ領域である。
次に、特徴点抽出部１０５は、図６に示すように、第１の投影画像４０１の第１の重ね合わせ領域を複数の矩形のブロック６０１に分割し、ブロック６０１単位で特徴点を抽出する。
特徴点抽出部１０５は、全てのブロック６０１で１つ以上の特徴点を抽出してもよいし、一部のブロック６０１では特徴点を抽出しないようにしてもよい。
但し、特徴点抽出部１０５は、第１の重ね合わせ領域の全ブロックのうちの７０％以上のブロックで特徴点を抽出するものとする。
特徴点抽出部１０５は、例えば、Ｈａｒｒｉｓ  Ｄｅｔｅｃｔｏｒを利用して特徴点を抽出する。
【００３２】
次に、対応点抽出部１０６が、ステップＳＴ１０５で抽出された特徴点ごとに、他方の投影画像において、対応点を抽出する（ステップＳＴ１０６）（対応点抽出処理）。
対応点抽出部１０６は、図５に示す第２の投影画像４０２の第２の重ね合わせ領域において、特徴点と同じ座標位置の周辺を探索し、特徴点と共通する特徴をもつ点を対応点として抽出する。
例えば、対応点抽出部１０６は、特徴点の輝度勾配を算出し、算出した輝度勾配と同じ傾向を示す対応点を抽出する。
なお、対応点抽出部１０６は、正規化相互相関などの手法を利用して特徴点を探索することができる。
【００３３】
次に、画像変形部１０７が、対応関係にある特徴点と対応点が一致するように、双方の投影画像を変形させる（ステップＳＴ１０７）（画像変形処理）。
つまり、画像変形部１０７は、特徴点の座標位置と対応点の座標位置とのずれ量が０となるように双方の投影画像を変形させる。
画像変形部１０７は、各特徴点の、もとの撮影画像の中心からの距離に応じて、各特徴点を移動させる比率を変化させる。
同様に、画像変形部１０７は、各対応点の、もとの撮影画像の中心からの距離に応じて、各対応点を移動させる比率を変化させる。
画像変形部１０７は、第１の重ね合わせ領域において、各特徴点の移動先を求めた後、他の点（特徴点以外の点）の移動先を求める。
同様に、画像変形部１０７は、第２の重ね合わせ領域において、各対応点の移動先を求めた後、他の点（対応点以外の点）の移動先を求める。
画像変形部１０７は、他の点の移動先は、他の点の周囲にある特徴点又は対応点の移動先をもとに、線形補間で求める。
また、ステップＳＴ１０５で特徴点が抽出できなかったブロックについては、画像変形部１０７は、特徴点が抽出できなかったブロックの周囲の特徴点の移動量に基づいて、特徴点が抽出できなかったブロック内の点の移動先を線形補間で求める。
また、ステップＳＴ１０６で求めた対応点の特徴点との相関が弱い場合は、画像変形部１０７は、特徴点と対応点との座標位置を一致させる代わりに、当該対応点の周囲の対応点の移動先に基づいて、当該対応点の移動先を線形補間で求める。
また、ある特徴点が周囲の特徴点から大きく離れた位置にある場合は、特徴点と対応点を一致させる代わりに、当該特徴点の周囲の特徴点の移動先に基づいて、当該特徴点の移動先を線形補間で求める。
このような線形補間による移動先の導出により、間違った変形処理を防ぐことができる。
【００３４】
そして、合成画像生成部１０８が、重ね合わせ領域が変形された後の投影画像を合成する（ステップＳＴ１０８）（合成画像生成処理）。
つまり、合成画像生成部１０８は、重ね合わせ領域が変形された後の２つの投影画像をそれぞれの重ね合わせ領域を重ね合わせて合成画像を生成する。
なお、合成画像生成部１０８は、重ね合わせ領域を重ね合わせた後の各画素の色情報を、例えば、それぞれの重ね合わせ領域の色情報の加算平均で求める。
また、合成画像生成部１０８は、重ね合わせ領域を重ね合わせた後の各画素の色情報を、撮像中心に近い画素ほど撮影中心の影響を強くさせる手法で求めてもよい。
また、合成画像生成部１０８は、重ね合わせ領域の上端から下端までの輝度勾配が少ないラインを求め、そのラインの左右で表示する画素情報の濃度を決定することで、合成部分を目立たなくすることができる。
【００３５】
＊＊＊実施の形態の効果＊＊＊
以上のように、本実施の形態では、第１の重ね合わせ領域を複数のブロックに分割し、第１の重ね合わせ領域においてブロック単位で特徴点を抽出し、ブロック単位で抽出された特徴点ごとに、第２の重ね合わせ領域において対応点を抽出する。
このため、本実施の形態では、位置合わせの基準となる点が第１の重ね合わせ領域と第２の重ね合わせ領域において分散して複数存在し、精細な位置合わせを行うことができる。
従って、異なる撮影位置で撮影された複数の画像であっても、位置ずれの少ない合成画像を得ることができる。
また、重ね合わせ領域における局所的な画像変形を行うことにより、画像内の物体が二重に表示されることを回避し、自然な合成画像を生成することができる。
【００３６】
実施の形態２．
本実施の形態では、撮影画像の仮想投影面への投影角度を調整して投影画像を生成する例を説明する。
【００３７】
＊＊＊構成の説明＊＊＊
図７は、本実施の形態に係る合成画像生成装置１００の機能構成例を示す。
図７では、図２と比較して、視点情報格納部１０９が追加されている。
視点情報格納部１０９は、視点情報を保持する。
視点情報は、投影画像を生成する際の視点位置を定義する情報である。
なお、図７において、視点情報格納部１０９以外の要素は、図２に示したものと同じであるため、説明を省略する。
【００３８】
＊＊＊動作の説明＊＊＊
次に、本実施の形態に係る合成画像生成装置１００の動作例を図８のフローチャートに基づいて説明する。
【００３９】
ステップＳＴ２０１及びステップＳＴ２０２は、図３のステップＳＴ１０１及びステップ１０２と同様であるため、説明を省略する。
次に、投影画像生成部１０４が、視点情報格納部１０９から視点情報を取得する（ステップＳＴ２０３）。
視点情報は、視点の三次元位置と視野角などの情報である。
視点情報には、表示装置２００に表示される合成画像に対する視点位置が定義されている。
本実施の形態に係る合成画像生成装置１００で生成される合成画像は、視点情報で定義されている視点位置を基準にした画像である。
【００４０】
次に、画像取得部１０１が、撮影装置３０１〜３０３で撮影された撮影画像を取得する（ステップＳＴ２０４）。
【００４１】
次に、投影画像生成部１０４が、投影面情報、撮影位置姿勢情報及びレンズ特性情報、視点情報を利用して、各撮影画像を仮想投影面に投影した場合の投影画像を生成する（ステップＳＴ２０５）。
投影画像生成部１０４は、図９に示すように、視点情報で定義されている視点位置と視野角を利用することにより、表示装置２００で表示される合成画像の各画素が仮想投影面のどの位置に対応するかを求めることができる。
具体的には、投影画像生成部１０４は、視点位置と撮影画像の画素位置とを結ぶ直線と仮想投影面の交点に撮影画像の画素値を投影する。
このように、本実施の形態では、投影画像生成部１０４は、視点位置に応じて撮影画像の仮想投影面への投影角度を調整して投影画像を生成する。
【００４２】
ステップＳＴ２０６からステップＳＴ２０９については、図３のステップＳＴ１０５からステップ１０８までと同様であるため、説明を省略する。
【００４３】
＊＊＊実施の形態の効果＊＊＊
以上のように、本実施の形態によれば、視点情報格納部を備えたことにより、ニ次元平面で定義できない仮想投影面を定義した場合でも、指定した視野内の画像を表示することができ、また、視点情報を変更することで広角画像の一部を拡大して表示することができる。
【００４４】
実施の形態３．
実施の形態１及び２に係る合成画像生成装置１００は、特徴点及び対応点の抽出後に、直ちに投影画像の重ね合わせ領域を変形させている。
本実施の形態に係る合成画像生成装置１００は、特徴点及び対応点の抽出後に、重ね合わせ領域の変形手順を導出し、導出した変形手順が記述される変形手順情報を生成し、変形手順情報を記憶しておく。
そして、本実施の形態に係る合成画像生成装置１００は、投影画像の合成を行う際に、変形手順情報に記述される変形手順に従って、第１の重ね合わせ領域と第２の重ね合わせ領域を変形させる。
【００４５】
＊＊＊構成の説明＊＊＊
図１０は、本実施の形態に係る合成画像生成装置１００の機能構成例を示す。
図１０では、図７と比較して、変形手順情報格納部１１０、変形手順情報生成部１１１が追加され、また、画像変形部１０７の代わりに画像変形部１１２が含まれている。
【００４６】
変形手順情報生成部１１１は、変形手順情報を生成する。
変形手順情報は、第１の重ね合わせ領域と前記第２の重ね合わせ領域の変形手順が記述される情報である。
変形手順情報生成部１１１は、対応関係にある特徴点と対応点の座標位置に基づき、変形手順情報を生成する。
変形手順情報格納部１１０は、変形手順情報生成部１１１により生成された変形手順情報を保持する。
画像変形部１１２は、変形手順情報に記述される変形手順に従って、第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる。
実施の形態１の画像変形部１０７は、特徴点と対応点の間のずれ量を０にする特徴点の移動先及び対応点の移動先を算出して、算出した移動先に基づいて第１の重ね合わせ領域及び第２の重ね合わせ領域を変形させている。
本実施の形態の画像変形部１１２は、特徴点及び対応点の移動先の算出は行わずに、変形手順情報の変形手順に従って、第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる。
なお、図１０において、変形手順情報格納部１１０、変形手順情報生成部１１１及び画像変形部１１２以外の要素は、図７に示したものと同じであるため、説明を省略する。
【００４７】
＊＊＊動作の説明＊＊＊
次に、本実施の形態に係る合成画像生成装置１００の動作例を図１１のフローチャートに基づいて説明する。
【００４８】
ステップＳＴ３０１からステップＳＴ３０７までは、図８のステップＳＴ２０１からステップ２０７までと同様であるため、説明を省略する。
ステップＳＴ３０８において、変形手順情報生成部１１１が変形手順情報を生成する。
変形手順情報生成部１１１は、実施の形態１の画像変形部１０７と同様の解析を行って変形手順情報を生成する。
つまり、変形手順情報生成部１１１は、特徴点の座標位置と対応点の座標位置とのずれ量が０となる特徴点移動先の移動先及び対応点の移動先を算出する。
また、変形手順情報生成部１１１は、第１の重ね合わせ領域について特徴点以外の点の移動先を線形補間により算出し、また、第２の重ね合わせ領域について対応点以外の点の移動先を線形補間により算出する。
このようにして、変形手順情報生成部１１１は、第１の重ね合わせ領域の変形手順及び第２の重ね合わせ領域の変形手順を導出する。
そして、変形手順情報生成部１１１は第１の重ね合わせ領域の変形手順及び第２の重ね合わせ領域の変形手順が記述される変形手順情報を生成し、変形手順情報を変形手順情報格納部１１０に格納する。
なお、ステップＳＴ３０６で特徴点が抽出できなかったブロックが存在する場合や、ステップＳＴ３０７で求めた対応点の特徴点との相関が弱い場合、ある特徴点が周囲の特徴点から大きく離れた位置にある場合の処理は、実施の形態１の画像変形部１０７と同じである。
【００４９】
次に、画像変形部１１２が、変形手順情報格納部１１０から変形手順情報を読み出し、変形手順情報に記述されている変形手順に従って、第１の重ね合わせ領域と第２の重ね合わせ領域を変形させる。
そして、合成画像生成部１０８が、実施の形態１と同様に、変形後の２つの投影画像を合成して、合成画像を生成する（ステップＳＴ３１０）。
【００５０】
＊＊＊実施の形態の効果の説明＊＊＊
合成画像で動画データのフレームが構成される場合に、実施の形態１では、フレームごとに、画像変形部１０７が第１の重ね合わせ領域及び第２の重ね合わせ領域の変形手順を導出する必要がある。
これに対して、本実施の形態では、前後のフレームで重ね合わせ領域における描画内容に変化がない場合は、画像変形部１１２は、各フレームで、変形手順情報に従って、第１の重ね合わせ領域及び第２の重ね合わせ領域の変形を行うことができ、フレームごとに変形手順を導出する必要がない。
このため、画像取得部１０１で短い時間間隔で撮影画像を取得し、表示装置２００に同じ間隔で合成画像を表示することができるようになる。
変形手順情報生成部１１１は、重ね合わせ領域における描画内容に変化がある場合にのみ、変形手順情報を生成すればよい。
また、変形手順情報生成部１１１は、一定時間間隔ごとに変形手順情報を更新するようにしてもよい。
【００５１】
以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【００５２】
１  演算プロセッサ、２  システムメモリ、３  描画グラフィックスＬＳＩ、４  合成画像生成プログラム、５  グラフィックスメモリ、６  画像キャプチャＬＳＩ、１００  合成画像生成装置、１０１  画像取得部、１０２  撮影装置情報格納部、１０３  投影面情報格納部、１０４  投影画像生成部、１０５  特徴点抽出部、１０６  対応点抽出部、１０７  画像変形部、１０８  合成画像生成部、１０９  視点情報格納部、１１０  変形手順情報格納部、１１１  変形手順情報生成部、１１２  画像変形部、２００  表示装置、３００  撮影装置、３０１  撮影装置、３０２  撮影装置、３０３  撮影装置。
【図１】
2016185556.tif 000003
【図２】
2016185556.tif 000004
【図３】
2016185556.tif 000005
【図４】
2016185556.tif 000006
【図５】
2016185556.tif 000007
【図６】
2016185556.tif 000008
【図７】
2016185556.tif 000009
【図８】
2016185556.tif 000010
【図９】
2016185556.tif 000011
【図１０】
2016185556.tif 000012
【図１１】
2016185556.tif 000013
【手続補正書】
【提出日】平成27年11月5日(2015.11.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成装置であって、
前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出する対応点抽出部と、
前記第１の重ね合わせ領域のブロックの単位で、対応関係にある特徴点と対応点の座標位置とのずれがなくなるように前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる画像変形部と、
前記画像変形部により変形された後の前記第１の重ね合わせ領域と、前記画像変形部により変形された後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成部とを有する合成画像生成装置。
【請求項２】
前記対応点抽出部は、
前記特徴点抽出部により抽出された特徴点の輝度勾配を算出し、算出した輝度勾配に基づき、前記第２の重ね合わせ領域内の対応点を抽出する請求項１に記載の合成画像生成装置。
【請求項３】
前記対応点抽出部は、
前記特徴点抽出部により抽出された特徴点と共通する特徴をもつ、前記第２の重ね合わせ領域内の点を対応点として抽出する請求項１に記載の合成画像生成装置。
【請求項４】
前記合成画像生成装置は、更に、
前記第１の画像として、第１の撮影位置で撮影された第１の撮影画像を仮想投影面に投影させた第１の投影画像を生成し、前記第２の画像として、前記第１の撮影位置とは異なる第２の撮影位置で撮影された第２の撮影画像を前記仮想投影面に投影させた第２の投影画像を生成する投影画像生成部を有し、
前記特徴点抽出部は、
前記第１の投影画像の前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出し、
前記対応点抽出部は、
前記特徴点抽出部により抽出された特徴点に対応する、前記第２の投影画像の前記第２の重ね合わせ領域内の対応点を抽出する請求項１に記載の合成画像生成装置。
【請求項５】
前記投影画像生成部は、
視点位置に応じて前記第１の撮影画像及び前記第２の撮影画像の前記仮想投影面への投影角度を調整して前記第１の投影画像及び前記第２の投影画像を生成する請求項４に記載の合成画像生成装置。
【請求項６】
前記合成画像生成装置は、更に、
対応関係にある特徴点と対応点の座標位置に基づき、前記画像変形部による前記第１の重ね合わせ領域と前記第２の重ね合わせ領域の変形手順が記述される変形手順情報を生成する変形手順情報生成部を有し、
前記画像変形部は、
前記変形手順情報生成部により生成された前記変形手順情報に記述される変形手順に従って、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる請求項１に記載の合成画像生成装置。
【請求項７】
第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成するコンピュータが、
前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出し、
抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出し、
前記第１の重ね合わせ領域のブロックの単位で、対応関係にある特徴点と対応点の座標位置とのずれがなくなるように前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させ、
変形後の前記第１の重ね合わせ領域と、変形後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成方法。
【請求項８】
第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成するコンピュータに、
前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する特徴点抽出処理と、
前記特徴点抽出処理により抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出する対応点抽出処理と、
前記第１の重ね合わせ領域のブロックの単位で、対応関係にある特徴点と対応点の座標位置とのずれがなくなるように前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる画像変形処理と、
前記画像変形処理により変形された後の前記第１の重ね合わせ領域と、前記画像変形処理により変形された後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成処理とを実行させる合成画像生成プログラム。
【国際調査報告】
2016185556.tif 000014
2016185556.tif 000015
2016185556.tif 000016
2016185556.tif 000017