(57)【要約】【課題】隣接する映像を繋ぎ合わせて合成映像を作成する場合に、画像変換行列が頻繁に更新されることによる合成映像のちらつきを抑制する。【解決手段】相互に重なる領域を有する２つの映像から取得される２つの画像について、座標系を対応づける画像変換行列を順次生成する。生成された画像変換行列を用いて少なくとも一方の画像を座標変換する。少なくとも一方が座標変換された２つの画像を重ね合わせて合成画像を作成する。現在使用している画像変換行列と新たに生成された画像変換行列とを対比する。該両画像変換行列が類似しているときは、現在使用している画像変換行列を引き続き使用して前記座標変換を行う。両画像変換行列が非類似のときは、座標変換に使用する画像変換行列を、新たに生成された画像変換行列で補正して、座標変換を行う。【選択図】図１
2019176930.tif 000002
【特許請求の範囲】
【請求項１】
相互に重なる領域を有する２つの映像を該相互に重なる領域で繋ぎ合わせて合成映像を作成する合成映像作成装置において、
前記合成映像作成装置は、画像取得部と、特徴量抽出部と、画像変換行列生成部と、画像変換部と、画像出力部と、補正判定部を有し、
前記画像取得部は、前記２つの映像から各１つずつの、２つの画像を順次取得し、
前記特徴量抽出部は、前記取得された２つの画像について特徴点をそれぞれ検出して、該検出された特徴点の特徴量をそれぞれ抽出し、
前記画像変換行列生成部は、前記抽出された特徴点の特徴量に基づき前記２つの画像の対応点を検出し、該検出された対応点の座標に基づき該２つの画像の座標系を対応づける画像変換行列を順次生成し、
前記画像変換部は、前記生成された画像変換行列を用いて前記２つの画像の少なくとも一方の画像を座標変換して該２つの画像の座標系の対応付けを行い、
前記画像出力部は、前記座標系が対応づけられた２つの画像どうしを重ね合わせて合成画像を作成して出力し、
前記補正判定部は、現在使用している画像変換行列と新たに生成された画像変換行列とを対比して、該両画像変換行列の相違度または類似度を判定する所定の判定基準により、該両画像変換行列が類似しているか否かを判定し、類似していると判定されたときは前記現在使用している画像変換行列を引き続き使用して前記画像変換部に前記座標変換を行わせ、該両画像変換行列が非類似と判定されたときは、前記座標変換に使用する画像変換行列を、前記新たに生成された画像変換行列で補正して、前記画像変換部に前記座標変換を行わせ、
前記合成映像作成装置は、前記合成画像の作成を時間の進行に応じて順次行って前記合成映像を作成する、
そのように構成された合成映像作成装置。
【請求項２】
前記補正判定部は、前記判定基準として、前記現在使用している画像変換行列と前記新たに生成された画像変換行列の対応する要素どうしの要素値の差に基づく値を指標値とする判定基準を用いて、該両画像変換行列の相違度または類似度を判定する請求項１に記載の合成映像作成装置。
【請求項３】
前記特徴量抽出部は、適宜の時間間隔置きの画像について前記特徴量を抽出する請求項１または２に記載の合成映像作成装置。
【請求項４】
前記補正判定部は、前記画像変換行列が非類似と判定されたときに、該非類似と判定された状態が所定時間継続したことを条件に、前記座標変換に使用する画像変換行列を、前記新たに生成された画像変換行列で補正する請求項１から３のいずれか１つに記載の合成映像作成装置。
【請求項５】
隣接する２つの映像がそれぞれ相互に重なる領域を有する３つ以上の映像について、該隣接する２つの映像ごとに前記各部での処理を行って該３つ以上の映像を該相互に重なる領域でそれぞれ繋ぎ合わせて合成映像を作成する請求項１から４のいずれか１つに記載の合成映像作成装置。
【請求項６】
隣接する２つの映像がそれぞれ相互に重なる領域を有する車両後方の左方向、車両後方の中央方向、車両後方の右方向の３つの映像について、該隣接する２つの映像ごとに前記各処理を行って該３つの映像を該相互に重なる領域でそれぞれ繋ぎ合わせて合成映像を作成する請求項１から５のいずれか１つに記載の合成映像作成装置。
【請求項７】
前記画像変換行列生成部は、前記３つの映像から取得される３つの画像について、前記中央方向の画像の座標系に前記左方向および前記右方向の２つの画像の座標系を対応づける画像変換行列をそれぞれ生成し、
前記画像変換部は、前記生成された画像変換行列をそれぞれ用いて、前記左方向および右方向の画像を座標変換して、該左方向および右方向の画像の座標系を前記中央方向の画像の座標系に対応付け、
前記画像出力部は、前記座標系が対応づけられた３つの画像どうしを重ね合わせて前記合成画像を作成して出力する、
請求項６に記載の合成映像作成装置。
【請求項８】
前記補正判定部は、前記両画像変換行列における平行移動量を反映した要素どうしの要素値の差および回転角度を反映した要素どうしの要素値の差に基づく値を指標値とする前記判定基準を用いて該両画像変換行列の相違度または類似度を判定する請求項６または７に記載の合成映像作成装置。
【請求項９】
情報処理装置を、請求項１から８のいずれか１つに記載の合成映像作成装置として機能させるための合成映像作成プログラム。
【請求項１０】
相互に重なる領域を有する２つの映像を該相互に重なる領域で繋ぎ合わせて合成映像を作成する合成映像作成方法において、
前記合成映像作成方法は、
前記２つの映像から各１つずつの、２つの画像を順次取得し、
前記２つの画像の座標系を対応づける画像変換行列を順次生成し、
前記生成された画像変換行列を用いて前記２つの画像の少なくとも一方の画像を座標変換して該２つの画像の座標系の対応付けを行い、
前記座標系が対応づけられた２つの画像どうしを重ね合わせて合成画像を作成し、
現在使用している画像変換行列と新たに生成された画像変換行列とを対比して、該両画像変換行列の相違度または類似度を判定する所定の判定基準により、該両画像変換行列が類似していると判定されたときは前記現在使用している画像変換行列を引き続き使用して前記座標変換を行い、該両画像変換行列が非類似と判定されたときは、前記座標変換に使用する画像変換行列を、前記新たに生成された画像変換行列で補正して、前記座標変換を行い、
前記合成画像の作成を時間の進行に応じて順次行って前記合成映像を作成する、
そのような合成映像作成方法。
【請求項１１】
請求項１０に記載の合成映像作成方法を情報処理装置に実行させるための合成映像作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、隣接する２つの映像がそれぞれ相互に重なる領域を有する２つ以上の映像を繋ぎ合わせて合成映像を作成する合成映像作成装置および合成映像作成方法並びに合成映像作成プログラムに関する。
【背景技術】
【０００２】
隣接する２つの画像がそれぞれ相互に重なる領域を有する２つ以上の画像を繋ぎ合わせて合成画像（パノラマ画像等）を作成する合成画像作成技術が実用化されている。現在実用化されている合成画像作成技術には、例えば次のような一連の処理を行うものがある。相互に重なる領域を有する２つの画像について、それぞれ特徴点を検出する。該特徴点の特徴量を抽出する。該特徴量に基づき該両画像の対応点を検出する。該対応点の座標に基づき、該両画像の位置を合わせるための画像変換行列を算出する。該画像変換行列を用いて一方の画像を座標変換して、両画像の座標系を一致させる。該両画像どうしを重ね合わせて合成画像を作成する。以上の一連の処理を、隣接する２つの画像の組み合わせごとに行うことにより、２つ以上の画像を繋ぎ合わせることができる。この合成画像作成技術は例えば非特許文献１に記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「特徴に基づくパノラマイメージ」、［平成３０年３月６日検索］、インターネット〈URL：https://jp.mathworks.com/help/vision/examples/feature-based-panoramic-image-stitching.html〉
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記合成画像作成技術を映像（動画像）に適用することにより、相互に重なる領域を有する２つの映像を該領域で繋ぎ合わせた合成映像を作成することができる。この合成映像作成技術は、例えば車両用の所謂電子ミラーの用途に利用できる。この電子ミラーは例えば次のように構成される。車両後方の左、中央、右の各方向に向けてカメラを配置する。各カメラの映像について、隣接する２つの映像どうし（すなわち、左と中央の映像どうし、および中央と右の映像どうし）を繋ぎ合わせて一連のパノラマ映像を作成する。作成されたパノラマ映像を運転席の前方に配置された液晶ディスプレイ等の画像表示装置に表示して運転者に視認させる。【０００５】
合成画像作成技術を電子ミラーに適用した場合、車両の振動等によるカメラ相互間の相対移動により、各カメラの画像相互間で位置ずれが頻繁に生じる可能性がある。そして、各カメラの画像相互間で位置ずれが生じる度に画像変換行列が更新（補正）されると、表示されるパノラマ映像にちらつき（揺らぎ）が生じて運転者に煩わしさを感じさせ、その結果、車両の運転に支障をきたす恐れがある。【０００６】
この発明は上述の問題を解決して、合成映像のちらつきを抑制した合成映像作成装置および合成映像作成方法並びに合成映像作成プログラムを提供するものである。
【課題を解決するための手段】
【０００７】
この発明は、相互に重なる領域を有する２つの映像を該相互に重なる領域で繋ぎ合わせて合成映像を作成する合成映像作成装置において、前記合成映像作成装置は、画像取得部と、特徴量抽出部と、画像変換行列生成部と、画像変換部と、画像出力部と、補正判定部を有し、前記画像取得部は、前記２つの映像から各１つずつの、２つの画像を順次取得し、前記特徴量抽出部は、前記取得された２つの画像について特徴点をそれぞれ検出して、該検出された特徴点の特徴量をそれぞれ抽出し、前記画像変換行列生成部は、前記抽出された特徴点の特徴量に基づき前記２つの画像の対応点を検出し、該検出された対応点の座標に基づき該２つの画像の座標系を対応づける（例えば、座標系を一致させる、または座標合わせを行う、または前記相互に重なる領域の位置を合わせる等）画像変換行列を順次生成し、前記画像変換部は、前記生成された画像変換行列を用いて前記２つの画像の少なくとも一方の画像を座標変換して該２つの画像の座標系の対応付けを行い、前記画像出力部は、前記座標系が対応づけられた２つの画像どうしを重ね合わせて合成画像を作成して出力し、前記補正判定部は、現在使用している画像変換行列と新たに生成された画像変換行列とを対比して、該両画像変換行列の相違度または類似度を判定する所定の判定基準により、該両画像変換行列が類似しているか否かを判定し、類似していると判定されたときは前記現在使用している画像変換行列を引き続き使用して前記画像変換部に前記座標変換を行わせ、該両画像変換行列が非類似と判定されたときは、前記座標変換に使用する画像変換行列を、前記新たに生成された画像変換行列で補正して（例えば、該新たに生成された画像変換行列に切り換えて）、前記画像変換部に前記座標変換を行わせ、前記合成映像作成装置は、前記合成画像の作成を時間の進行に応じて順次行って前記合成映像を作成するものである。これによれば、画像変換行列の頻繁な更新が抑制されるので、合成映像のちらつきが抑制されて、その結果、合成映像の視認者に与える煩わしさを軽減することができる。【０００８】
前記画像変換行列は、例えば、前記２つの画像の一方の画像の座標系を他方の画像の座標系に対応づける画像変換行列とすることができる。これによれば、２つの画像の一方の画像について座標変換することにより、２つの画像の座標系の対応付けを行うことができる。【０００９】
前記補正判定部は、前記判定基準として、例えば、前記現在使用している画像変換行列と前記新たに生成された画像変換行列の対応する要素どうしの要素値（要素の値をいう）の差に基づく値を指標値とする判定基準を用いて、該両画像変換行列の相違度または類似度を判定することができる。これによれば、該両画像変換行列の対応する要素どうしの要素値の差に基づく値を指標値として該両画像変換行列の相違度または類似度を判定して画像変換行列の補正を行うことができる。例えば、該指標値が所定の閾値（判定基準値）を超えないとき（すなわち、両画像変換行列の相違度が低いときまたは類似度が高いとき）は、両画像変換行列が類似するものと判定して、現在使用している画像変換行列を引き続き使用することができる。また、該指標値が所定の閾値を超えたとき（すなわち、両画像変換行列の相違度が高いときまたは類似度が低いとき）は、両画像変換行列が相違するものと判定して、座標変換に使用する画像変換行列を、新たに生成された画像変換行列で補正することができる。該両画像変換行列の対応する要素どうしの要素値の差に基づく指標値としては、例えば次を用いることができる。
・全対応する要素どうしの要素値の差の各絶対値の総和値
・ある特定の対応する要素どうしの要素値の差の各絶対値の総和値
・全対応する要素どうしの要素値の差をそれぞれ二乗した値の総和値
・ある特定の要素どうしの要素値の差をそれぞれ二乗した値の総和値【００１０】
前記特徴量抽出部は、例えば、適宜の時間間隔置きの画像について前記特徴量を抽出するものとすることができる。これによれば、全時点（つまり全フレームの）の画像について特徴量の抽出を行う場合に比べて、演算量を削減することができる。【００１１】
前記補正判定部は、例えば、前記画像変換行列が非類似と判定されたときに、該非類似と判定された状態が所定時間継続したことを条件に、前記座標変換に使用する画像変換行列を、前記新たに生成された画像変換行列で補正するものとすることができる。これによれば、映像の一時的な振動等により画像変換行列が補正されて、映像にちらつきが生じるのを抑制することができる。【００１２】
この発明の合成映像作成装置は、隣接する２つの映像がそれぞれ相互に重なる領域を有する３つ以上の映像について、該隣接する２つの映像ごとに前記各部での処理を行って該３つ以上の映像を該相互に重なる領域でそれぞれ繋ぎ合わせて合成映像を作成するものとすることができる。これによれば、３つ以上の映像を繋ぎ合わせる場合にも、合成映像のちらつきが抑制されて、視認者に与える煩わしさを軽減することができる。該３つ以上の映像の各画像を繋ぎ合わせる方向は、例えば次のように様々に設定することができる。
・一端の画像の座標系を基準として（つまり該座標系を固定して）、他端の画像まで一方向に順次繋いでいく。
・中央の画像の座標系を基準として、両端の画像まで両方向に順次繋いでいく。【００１３】
この発明は、例えば、車両用視認装置に適用することができる。その場合、例えば、隣接する２つの映像がそれぞれ相互に重なる領域を有する車両後方の左方向、車両後方の中央方向、車両後方の右方向の３つの映像について、該隣接する２つの映像ごとに前記各処理を行って該３つの映像を該相互に重なる領域でそれぞれ繋ぎ合わせて合成映像を作成することができる。これによれば、車両後方の左方向、中央方向、右方向の３つの映像を繋いだパノラマ映像を得ることができる。【００１４】
この発明を上記車両用視認装置に適用する場合は、前記画像変換行列生成部は、例えば、前記３つの映像から取得される３つの画像について、前記中央方向の画像の座標系に前記左方向および前記右方向の２つの画像の座標系を対応づける画像変換行列をそれぞれ生成し、前記画像変換部は、前記生成された画像変換行列をそれぞれ用いて、前記左方向および右方向の画像を座標変換して、該左方向および右方向の画像の座標系を前記中央方向の画像の座標系に対応付け、前記画像出力部は、前記座標系が対応づけられた３つの画像どうしを重ね合わせて前記合成画像を作成して出力することができる。これによれば、車両の運転をする際に重要な車両後方中央方向の映像の座標系は変化しないので、該中央方向の映像はちらつかず、運転に適したパノラマ映像を得ることができる。【００１５】
この発明を上記車両用視認装置に適用する場合は、前記補正判定部は、例えば、前記両画像変換行列における平行移動量を反映した要素どうしの要素値の差および回転角度を反映した要素どうしの要素値の差に基づく値を指標値とする前記判定基準を用いて該両画像変換行列の相違度または類似度を判定することができる。車両後方の左方向、中央方向、右方向の映像相互の座標系のずれの変動は、概ね平行移動方向および回転方向について生じると考えられる。そこで、画像変換行列の要素のうち、平行移動量を反映した要素どうしの要素値の差および回転角度を反映した要素どうしの要素値の差に基づく値を指標値とすることにより、画像変換行列の全対応する要素どうしの要素値の差に基づく値を指標値とする場合に比べて、演算量を削減することができる。【００１６】
この発明の合成映像作成プログラムは、情報処理装置をこの発明の合成映像作成装置として機能させるためのプログラムである。これによれば、情報処理装置を、この発明による合成映像作成装置として機能させることができる。【００１７】
この発明の合成映像作成方法は、相互に重なる領域を有する２つの映像を該相互に重なる領域で繋ぎ合わせて合成映像を作成する方法であって、該方法は、前記２つの映像から各１つずつの、２つの画像を順次取得し、前記２つの画像の座標系を対応づける画像変換行列を順次生成し、前記生成された画像変換行列を用いて前記２つの画像の少なくとも一方の画像を座標変換して該２つの画像の座標系の対応付けを行い、前記座標系が対応づけられた２つの画像どうしを重ね合わせて合成画像を作成し、現在使用している画像変換行列と新たに生成された画像変換行列とを対比して、該両画像変換行列の相違度または類似度を判定する所定の判定基準により、該両画像変換行列が類似していると判定されたときは前記現在使用している画像変換行列を引き続き使用して前記座標変換を行い、該両画像変換行列が非類似と判定されたときは、前記座標変換に使用する画像変換行列を、前記新たに生成された画像変換行列で補正して、前記座標変換を行い、前記合成画像の作成を時間の進行に応じて順次行って前記合成映像を作成するものである。これによれば、画像変換行列の頻繁な更新が抑制されるので、合成映像のちらつきが抑制されて、その結果、合成映像の視認者に与える煩わしさを軽減することができる。【００１８】
この発明の合成映像作成プログラムは、この発明の合成映像作成方法を情報処理装置に実行させるためのプログラムである。
【図面の簡単な説明】
【００１９】
【図１】図２の３台のカメラの映像を合成する合成映像作成装置にこの発明を適用した場合の、この発明の実施の形態を示す機能ブロック図である。
【図２】それぞれ車両後方の左方向、車両後方の中央方向、車両後方の右方向に向けて配置された３台のカメラの映像を合成して表示する車両用視認装置にこの発明を適用する場合の、各カメラの配置および視野の一例を示す模式平面図である。
【図３】図１の合成映像作成装置により合成される、ある時点の３つの画像と、該合成により得られる合成画像を表示する画像表示装置における該合成画像の表示領域の一例を示す模式図である。
【図４】図１の合成映像作成装置による合成映像作成動作の制御内容の一例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
この発明を車両用視認装置に適用する場合の実施の形態を説明する。この車両用視認装置は、車両後方の左、中央、右の各方向に向けて配置された３台のカメラの映像を合成して、該合成映像（パノラマ映像）を運転席の前方に配置された液晶ディスプレイ等の画像表示装置に表示するものである。図２は車両におけるカメラの配置を示す。車両１０の車外の左側部（例えば左ドアミラー）、後部（例えば車両後部の幅方向中央のナンバープレート付近）、右側部（例えば右ドアミラー）には、左カメラ１２Ｌ、中央カメラ１２Ｃ、右カメラ１２Ｒがそれぞれ設置されている。これらカメラ１２Ｌ，１２Ｃ，１２ＲはＣＣＤカメラ、ＣＭＯＳカメラ等の電子式カメラでそれぞれ構成される。カメラ１２Ｌ，１２Ｃ，１２Ｒの撮影倍率は固定で相互に等しい。カメラ１２Ｌ，１２Ｃ，１２Ｒは毎秒所定フレームのフレームレートでそれぞれの視野の映像（すなわち連続画像）を撮像し、該撮像した映像の映像信号を順次出力する。カメラ１２Ｌ，１２Ｃ，１２Ｒの水平方向の視野の一例を図２にグレー色でそれぞれ示す。この例では、左カメラ１２Ｌ、中央カメラ１２Ｃ、右カメラ１２Ｒの水平方向の視野はそれぞれ次のように設定されている。
・左カメラ１２Ｌの視野：車両１０の後方の左方向の領域ＺＬ
・中央カメラ１２Ｃの視野：車両１０の後方の中央方向の領域ＺＣ
・右カメラ１２Ｒの視野：車両１０の後方の右方向の領域ＺＲ
図２に示すように、領域ＺＬと領域ＺＣは相互に重なる領域ＺＬＣを有し、領域ＺＣと領域ＺＲは相互に重なる領域ＺＣＲを有する。カメラ１２Ｌ，１２Ｃ，１２Ｒの上下方向の視野は、水平方向を中心に下向きの適宜の角度から上向きの適宜の角度までの適宜の角度範囲にそれぞれ設定されている。
【００２１】
図１は、図２の３台のカメラ１２Ｌ，１２Ｃ，１２Ｒで撮像した映像を合成するこの発明による合成映像作成装置１４の機能ブロック図を示す。合成映像作成装置１４は、中央カメラ１２Ｃの映像の座標系に合わせるように、左カメラ１２Ｌおよび右カメラ１２Ｒの各映像の座標系をそれぞれ座標変換して、これら３つの映像を重ね合わせてパノラマ映像を作成するように構成されている。図１において、左画像取得部１６Ｌ、中央画像取得部１６Ｃ、右画像取得部１６Ｒは、それぞれ左カメラ１２Ｌ、中央カメラ１２Ｃ、右カメラ１２Ｒで撮像した映像の画像（左画像、中央画像、右画像）を、相互に同期してあるいは非同期でフレームごとに順次取得する。
【００２２】
特徴量抽出部１８Ｌ，１８Ｃ，１８Ｒは、取得された同一時点（同一時刻または概ね同一時刻）の左画像、中央画像、右画像について、特徴点の検出および該検出された特徴点の特徴量の抽出を相互に同期して行う。特徴点の検出および特徴量の抽出は、例えばSIFT (Scale-invariant feature transform)、SURF (Speed-Upped Robust Feature) 等の特徴量抽出アルゴリズムを用いて行うことができる。なお、特徴量抽出部１８Ｌ，１８Ｃ，１８Ｒによる特徴点の検出および特徴量の抽出は、フレームごとに行うほか、適宜のフレーム置きに行うこともできる。特徴点の検出および特徴量の抽出を適宜のフレーム置きに行うようにすれば、フレームごとに特徴点の検出および特徴量の抽出を行う場合に比べて、演算量を削減することができる。
【００２３】
画像変換行列生成部２０は、左画像および中央画像についてそれぞれ抽出された特徴量に基づき、左画像および中央画像の複数の対応点を検出する。これら対応点は、左画像および中央画像が相互に重なる領域ＺＬＣ（図２）における対応点である。また、画像変換行列生成部２０は、中央画像および右画像についてそれぞれ抽出された特徴量に基づき、中央画像および右画像の複数の対応点を検出する。これら対応点は、中央画像および右画像が相互に重なる領域ＺＣＲ（図２）における対応点である。対応点の検出は、例えば次のアルゴリズムにより行うことができる。２つの画像の複数の特徴点の相互間について、各特徴点について検出された特徴量について最小二乗法等により類似度を求める。類似度が高い特徴点（最小二乗法であれば、差の二乗和が０に近い所定の閾値以下となる特徴点）どうしを判定する。判定された特徴点どうしを対応点として検出する。
【００２４】
画像変換行列生成部２０はさらに、検出された対応点の座標に基づき２つの画像の座標系を対応づける画像変換行列を生成する。すなわち、左画像と中央画像の組については、中央画像の座標系を基準として、左画像の座標系を中央画像の座標系に一致させる画像変換行列ＴＬを生成する。また、中央画像と右画像の組については、中央画像の座標系を基準として、右画像の座標系を中央画像の座標系に一致させる画像変換行列ＴＲを生成する。画像変換行列ＴＬ，ＴＲは、例えばアフィン変換行列として生成することができる。
【００２５】
画像変換部２２は、生成された画像変換行列ＴＬ，ＴＲをそれぞれ用いて、左画像、右画像の座標変換を行う。すなわち、画像変換部２２は画像変換行列ＴＬを用いて左画像を座標変換して、左画像の座標系を中央画像の座標系に一致させる。また、画像変換部２２は画像変換行列ＴＲを用いて右画像を座標変換して、右画像の座標系を中央画像の座標系に一致させる。これら座標変換の結果、左画像、右画像の座標系が、中央画像の座標系に合わせられる。なお、ある時点の画像に対する画像変換部２２における座標変換処理は、該画像に基づく画像変換行列生成部２０における画像変換行列の生成処理の終了を待たずに行うことができる。すなわち、ある時点の画像に基づく画像変換行列生成部２０における画像変換行列の生成処理の終了を待って該画像に対する画像変換部２２における座標変換処理を行うようにすると、画像変換行列生成部２０における画像変換行列の生成処理に時間を要する場合には、該画像に対する座標変換処理が遅れて、その分該画像が遅れて表示されることになる。この表示の遅れは、車両用電子ミラーの用途には望ましくない。そこで、ある時点の画像に対する画像変換部２２における座標変換処理を、該画像に基づく画像変換行列生成部２０における画像変換行列の生成処理の終了を待たずに行うようにする。これにより、画像変換行列の生成処理に伴う表示の遅れをなくすことができる。この場合、画像は、該画像よりも前に取得した画像に基づいて生成された画像変換行列により座標変換されることになる。しかし、両画像（画像変換行列の生成に用いられた画像と、該生成された画像変換行列で座標変換される画像）間の時間差がさほど大きくなければ、表示されるパノラマ画像上で画像の繋ぎ目に大きなずれは生じ難い（あるいは生じたとしても短時間内に大きなずれは解消される）ものと考えられる。
【００２６】
画像出力部２４は、座標系が合わせられた左画像、中央画像、右画像を重ね合わせて合成画像を作成して出力する。この場合、相互に重なる領域ＺＬＣ、ＺＣＲについては、例えば、左画像、右画像の該当領域をマスキングして、中央画像の該当領域を出力する。その結果、画像出力部２４からは、左画像、中央画像、右画像が繋がったパノラマ画像が出力される。
【００２７】
合成映像作成装置１４は、画像変換部２２での座標変換処理および画像出力部２４での画像の重ね合わせ処理をフレームごとに順次行うことにより、パノラマ映像を作成する。合成映像作成装置１４で作成されたパノラマ映像は、適宜トリミングされて、運転席の前方に配置された液晶ディスプレイ等の画像表示装置に表示される。運転者は該映像を見て、車両後方の周囲（すなわち、車両後方の、左方向から中央方向を経て右方向にわたる水平方向の広角度の領域）の状況を確認しながら該車両を運転をすることができる。
【００２８】
図３は、合成映像作成装置１４により合成される、ある時点の３つの画像（左画像ＩＬ、中央画像ＩＣ、右画像ＩＲ）と、画像表示装置における表示領域Ｄの一例を模式的に示す。左画像ＩＬ、中央画像ＩＣ、右画像ＩＲは、相互に隣接する画像どうしが繋げられてパノラマ画像を構成している。該パノラマ映像は、適宜トリミングされて画像表示装置の表示領域Ｄに表示される。座標変換を中央画像ＩＣの座標系を基準として行う（すなわち、中央画像ＩＣの座標系は動かさない）とともに、トリミング位置を中央画像ＩＣに対し固定とすることにより、表示領域Ｄに対して中央画像ＩＣの位置を固定することができる。その結果、車両の運転に重要な車両後方中央方向の映像が画像処理（座標変換およびトリミング）によってちらつく（揺らぐ）のを防止でき、運転に適したパノラマ映像を得ることができる。
【００２９】
図１において、補正判定部２６は、現在使用している画像変換行列と、新たに生成された画像変換行列とを対比して、画像変換行列の補正の要否を判定する。ここで、現在使用している画像変換行列とは、過去に取得された画像に基づき生成されて、現在座標変換処理に使用されている画像変換行列である。また、新たに生成された画像変換行列とは、新たに取得された画像に基づき生成されて、座標変換処理に未使用の画像変換行列である。補正判定部２６は、これら両画像変換行列の相違度または類似度を判定する所定の判定基準により、該両画像変換行列が類似しているか否かを判定する。そして、該両画像変換行列が「類似」と判定されたときは、現在使用している画像変換行列を引き続き使用して画像変換部２２に座標変換を行わせる。これに対し、該両画像変換行列が「非類似」と判定されたときは、座標変換に使用する画像変換行列を、新たに生成された画像変換行列に切り換えて画像変換部２２に座標変換を行わせる。
【００３０】
補正判定部２６は、例えば、現在使用している画像変換行列と新たに生成された画像変換行列の、対応する要素どうしの要素値の差に基づく値を指標値とする判定基準を設定する。そして、補正判定部２６は、この判定基準を用いて、該両画像変換行列の相違度または類似度を判定して、画像変換行列の切り換えを行う。この場合、補正判定部２６は、該指標値が所定の閾値を超えないとき（両画像変換行列の相違度が低いときまたは類似度が高いとき）は、両画像変換行列が類似するものと判定して、画像変換部２２に対し、現在使用している画像変換行列を引き続き使用して取得画像の座標変換を行わせる。また、補正判定部２６は、該指標値が所定の閾値を超えたとき（両画像変換行列の相違度が高いときまたは類似度が低いとき）は、両画像変換行列が相違するものと判定する。そして、補正判定部２６は、画像変換部２２に対し、新たに生成された画像変換行列に切り換えて取得画像の座標変換を行わせる。このような画像変換行列の補正により、左画像、中央画像、右画像の相互間の座標系のずれを補正することができる。その結果、パノラマ画像のずれを抑制することができる。また、閾値を設定して補正の要否を判定することにより、画像相互間の座標系のずれが小さくパノラマ画像中のずれが視覚上目立たないときは、該座標系のずれの補正が行われないようにしている。これにより、画像変換行列の頻繁な更新が抑制されて、合成映像のちらつきが抑制されるため、視認者に与える煩わしさを軽減することができる。なお、補正判定部２６は、指標値が閾値を超えたときに、即座に画像変換行列の補正を行うようにするのに限らず、該閾値を超えた状態が所定時間継続したことを条件に画像変換行列の補正を行うようにすることもできる。このようにすれば、３つの映像のうちの一部の映像の一瞬の振動等により画像変換行列が切り換えられて、他の映像がその影響を受けてちらつきが生じるのを抑制することができる。
【００３１】
補正判定部２６で判定基準として使用する「現在使用している画像変換行列と新たに生成された画像変換行列の対応する要素どうしの要素値の差に基づく指標値」は、具体例には、例えば次の指標値(a)〜(d)を用いることができる。ただし、該指標値はこれらに限られるものではない。
・指標値(a)：両画像変換行列の全要素について、要素ごとに要素値の差の絶対値を取り、該各絶対値の総和値として得られる値
・指標値(b)：両画像変換行列の全要素について、要素ごとに要素値の差の二乗値を取り、該各二乗値の総和値として得られる値
・指標値(c)：両画像変換行列の全要素でなく特定の要素について、要素ごとに要素値の差の絶対値を取り、該各絶対値の総和値として得られる値
・指標値(d)：両画像変換行列の全要素でなく特定の要素について、要素ごとに要素値の差の二乗値を取り、該各二乗値の総和値として得られる値
画像変換行列の特定の要素に基づく指標値(c)または(d)を用いる場合は、画像変換行列の全要素に基づく指標値(a)または指標値(b)を用いる場合に比べて、演算量を削減することができ、補正要否の判定を高速化できる。
【００３２】
指標値(a)〜(d)はいずれも、現在使用している画像変換行列と新たに生成された画像変換行列が近似するほど（すなわち、相違度が低いほど、あるいは類似度が高いほど）小さな値となる。したがって、指標値(a)〜(d)を用いる場合には、補正判定部２６は、指標値(a)〜(d)の算出値が、判定基準として設定した所定の閾値と同じかそれよりも小さい場合は、両画像変換行列が「類似」と判定する。このとき、補正判定部２６は、画像変換部２２に対し、現在使用している画像変換行列を引き続き使用して取得画像の座標変換を行わせる。また、補正判定部２６は、指標値(a)〜(d)の算出値が、判定基準として設定した所定の閾値よりも大きい場合は、両画像変換行列が「非類似」と判定する。このとき、補正判定部２６は、画像変換部２２に対し、新たに生成された画像変換行列に切り換えて取得画像の座標変換を行わせる。
【００３３】
ここで、この実施の形態において座標変換にアフィン変換を用いるものとして以下説明する。アフィン変換は、周知のように、平行移動、スケール（拡大、縮小）、スキュー（せん断）、回転を組み合わせた変換である。ただし、この実施の形態の車両用視認装置としての用途では、カメラ１２Ｌ，１２Ｃ，１２Ｒの撮影倍率は固定で相互に等しいので画像の倍率変化は生じない。また画像のせん断も生じない。したがって、カメラ１２Ｌ，１２Ｃ，１２Ｒの画像相互間で座標系に変化が生じるとすれば、平行移動または回転によるものと考えられる。そこで、補正判定部２６において画像変換行列の補正の要否の判定に用いるアフィン変換行列の要素は、平行移動量に関する要素と回転角度に関する要素に限定できると考えられる。平行移動と回転を組み合わせたアフィン変換式は式１ａまたは式１ｂで表される。
【００３４】
【数１ａ】
2019176930.tif 000003
【００３５】
【数１ｂ】
2019176930.tif 000004
【００３６】
但し、式１ａまたは式１ｂにおいて、ｘ，ｙは座標変換前の座標、Ｘ，Ｙは座標変換後の座標、ｔｘはｘ軸方向の平行移動量、ｔｙはｙ軸方向の平行移動量、ｑは回転角度である。
【００３７】
補正判定部２６は、前述の指標値(c)または(d)を用いる場合には、「特定の要素」として、式１ａまたは式１ｂのアフィン変換行列の例えば要素tx，-sin(q)の２要素を用いることができる。この場合、指標値(c)(d)は式２、式３でそれぞれ表される。
【００３８】
【数２】
2019176930.tif 000005
【００３９】
【数３】
2019176930.tif 000006
【００４０】
このほか、補正判定部２６は、指標値(c)または(d)を用いる場合には、２要素に限らず、例えば要素tx，ty，-sin(q)の３要素を用いることもできる。また、要素-sin(q)に代えて要素cos(q)を用いることもできる。
【００４１】
図１の合成映像作成装置１４による合成映像作成の一連の制御内容を図４を参照して説明する。左画像取得部１６Ｌ、中央画像取得部１６Ｃ、右画像取得部１６Ｒは、左カメラ１２Ｌ、中央カメラ１２Ｃ、右カメラ１２Ｒで撮像した映像の左画像、中央画像、右画像をフレームごとに順次取得する（Ｓ１）。特徴量抽出部１８Ｌ，１８Ｃ，１８Ｒは、取得された同一時点の左画像、中央画像、右画像について、特徴量を抽出するための画像変換（例えばグレー化）を行う。次いで、特徴量抽出部１８Ｌ，１８Ｃ，１８Ｒは、該画像変換された各画像から特徴量の抽出（特徴点の検出および検出された特徴点の特徴量の算出）を行う（Ｓ２）。なお、前述のとおり、特徴量の抽出は、フレームごとに行うほか、適宜のフレーム置きに行うこともできる。
【００４２】
画像変換行列生成部２０は、左画像、中央画像、右画像についてそれぞれ抽出された特徴量に基づき、左画像と中央画像の複数の対応点、中央画像と右画像の複数の対応点をそれぞれ検出する。画像変換行列生成部２０はさらに、検出された対応点の座標に基づき、対応点どうしの位置を一致させるための画像変換行列ＴＬ，ＴＲを生成する（Ｓ３）。すなわち、画像変換行列生成部２０は、左画像と中央画像については、左画像の対応点を中央画像の対応点に一致させるように左画像を座標変換する画像変換行列ＴＬを生成する。また、画像変換行列生成部２０は、中央画像と右画像については、右画像の対応点を中央画像の対応点に一致させるように右画像を座標変換する画像変換行列ＴＲを生成する。
【００４３】
補正判定部２６は、画像変換行列ＴＬ，ＴＲごとに、現在使用している画像変換行列と、新たに生成された画像変換行列とを対比して、画像変換行列の補正の要否を判定する。すなわち、補正判定部２６は、現在使用している画像変換行列と新たに生成された画像変換行列の対応する要素どうしの要素値の差に基づく指標値が所定の閾値を超えたか否かに応じて、画像変換行列の補正の要否を判定する（Ｓ４）。そして、補正判定部２６は、指標値が該閾値を超えていない場合は補正は不要と判定して（Ｓ４で“ＮＯ”）、画像変換部２２に対し、現在使用している画像変換行列ＴＬ，ＴＲを引き続き使用して取得画像の座標変換を行わせる（Ｓ５）。また、補正判定部２６は、指標値が該閾値を超え（Ｓ４で“ＹＥＳ”）、かつ該閾値を超えた状態が所定時間継続した場合は（Ｓ６で“ＹＥＳ”）補正が必要と判定して、画像変換部２２に対し、新たに生成された画像変換行列に切り換えて取得画像の座標変換を行わせる（Ｓ７）。また、補正判定部２６は、指標値が該閾値を超えたものの（Ｓ４で“ＹＥＳ”）、該閾値を超えた状態が所定時間継続しなかった場合は（Ｓ６で“ＮＯ”）補正は不要と判定して、画像変換部２２に対し、現在使用している画像変換行列ＴＬ，ＴＲを引き続き使用して取得画像の座標変換を行わせる（Ｓ５）。画像変換行列の補正処理（Ｓ４〜Ｓ７）は、画像変換行列ＴＬ，ＴＲごとに独立に行う。
【００４４】
画像変換部２２は、左カメラ１２Ｌ、中央カメラ１２Ｃ、右カメラ１２Ｒで撮像した各映像から、それぞれ左画像、中央画像、右画像をフレームごとに順次取得する（Ｓ８）。そして、画像変換部２２は、左画像について、補正判定部２６で指定された画像変換行列ＴＬを用いて座標変換を行うことにより、左画像の座標系を中央画像の座標系に合わせる。また、画像変換部２２は、右画像について、補正判定部２６で指定された画像変換行列ＴＲを用いて座標変換を行うことにより、右画像の座標系を中央画像の座標系に合わせる（Ｓ９）。画像出力部２４は、座標系が合わせられた左画像、中央画像、右画像を重ね合わせてパノラマ合成画像を作成して出力する（Ｓ９、Ｓ１０）。
【００４５】
前記実施の形態による合成映像作成装置１４によれば、例えば次のような場面でその有用性が発揮される。
(a) 車両が大きく振動したりカメラが障害物に衝突するなどして、カメラ相互の相対位置にずれが生じても、画像変換行列が補正されて、画像の繋ぎ目のずれが自動修正される。
(b) カメラが電動格納式の場合に、展開位置でいずれかのカメラの停止位置が正規の位置から微妙にずれて停止された場合に、画像変換行列が補正されて、画像の繋ぎ目が自動的に合わせられる。
(c) 車両に後付けで複数台のカメラを搭載して、パノラマ映像を合成する場合に、各カメラの方向を大まかに設定すれば、あとは画像変換行列が自動で補正されて、画像の繋ぎ目が合わせられる。
(d) 運転者が各カメラの向きを遠隔操作により電動で調整できる機能を搭載した場合に、カメラの向きを調整したときに、画像変換行列が自動で補正されて、画像の繋ぎ目が合わせられる。
【００４６】
この発明は、次のような実施の形態も可能である。
(a) 前記実施の形態では、現在使用している画像変換行列と新たに生成された画像変換行列が非類似と判定されたときに、座標変換に使用する画像変換行列を、新たに生成された画像変換行列に一度に（すなわち、１フレームで）切り換えるようにしたが、これに限らない。すなわち、一度に切り換えるのに代えて、徐々に（すなわち、複数フレームをかけて段階的に）切り換えるようにすることもできる。このようにすれば、合成映像のちらつき（揺らぎ）を目立たなくすることができる。
(b) 前記実施の形態では、ある時点の画像に対する画像変換部における座標変換処理を、該画像に基づく画像変換行列生成部における画像変換行列の生成処理の終了を待たずに行うようにしたが、これに限らない。すなわち、ある時点の画像に対する画像変換部における座標変換処理を、該画像に基づく画像変換行列生成部における画像変換行列の生成処理の終了を待って行う（すなわち、ある時点の画像に基づき生成された画像変換行列を用いて該画像の座標変換を行う）こともできる。
(c) 前記実施の形態では、中央画像の座標系に合わせて左画像および右画像の各座標系をそれぞれ座標変換したが、これに限らない。すなわち、左画像の座標系に合わせて中央画像の座標系を座標変換し、該座標変換された中央画像の座標系に合わせて右画像の座標系を座標変換する（あるいは、これとは逆方向に順次座標変換する）こともできる。
(d) 前記実施の形態では、隣接する２つの画像の一方の画像の座標系を他方の画像の座標系に合わせるように一方の画像のみ座標変換を行って画像の位置合わせを行ったが、これに限らない。すなわち、両方の画像の座標系とも座標変換して位置合わせを行うこともできる。
(e) 前記実施の形態では、カメラで撮像された画像をそのまま座標変換して合成したが、これに限らない。すなわち、カメラで撮像された画像に適宜の画像処理（例えば、視点変換処理、歪補正処理等）を施した画像について座標変換して合成することもできる。
(f) 前記実施の形態では、３台のカメラを有するシステムにこの発明を適用した場合について示したが、これに限らない。すなわち、この発明は２台のカメラを有するシステムまたは４台以上のカメラを有するシステムにも適用できる。
(g) 前記実施の形態では画像変換行列としてアフィン変換行列を用いたが、ほかの画像変換行列を用いることもできる。例えば、回転と平行移動のみ考慮すればよい場合には、剛体変換行列を用いることができる。
(h) 前記実施の形態では、車両後方の映像を撮像して表示する電子ミラーにこの発明を適用した場合について示したが、これに限らない。すなわち、例えば、車両に搭載した複数台のカメラの映像を視点変換し、繋ぎ合わせて車両周囲の俯瞰映像を作成して表示するシステムにも適用できる。
【符号の説明】
【００４７】
１０…車両、１２Ｌ…左カメラ、１２Ｃ…中央カメラ、１２Ｒ…右カメラ、１４…合成映像作成装置、１６Ｌ…左画像取得部、１６Ｃ…中央画像取得部、１６Ｒ…右画像取得部、１８Ｌ…特徴量抽出部、１８Ｃ…特徴量抽出部、１８Ｒ…特徴量抽出部、２０…画像変換行列生成部、２２…画像変換部、２４…画像出力部、２６…補正判定部、ＺＬ…左カメラによる視野の水平方向の領域、ＺＣ…中央カメラによる視野の水平方向の領域、ＺＲ…右カメラによる視野の水平方向の領域、ＺＬＣ…領域ＺＬと領域ＺＣが相互に重なる領域、ＺＣＲ…領域ＺＣと領域ＺＲが相互に重なる領域、ＴＬ…画像変換行列、ＴＲ…画像変換行列、ＩＬ…左画像、ＩＣ…中央画像、ＩＲ…右画像、Ｄ…画像表示装置の表示領域
【図１】
2019176930.tif 000007
【図２】
2019176930.tif 000008
【図３】
2019176930.tif 000009
【図４】
2019176930.tif 000010
【国際調査報告】
2019176930.tif 000011
2019176930.tif 000012
2019176930.tif 000013