(57)【要約】  車両の周辺領域を撮像した複数の画像を、違和感が無いように、連続性を保って結合できる画像処理装置および画像処理方法を提供する。画像処理装置１２は、第１の領域、第２の領域を含む車両の周辺領域をそれぞれ撮像した第１の画像、第２の画像を取得する画像取得部２１と、第１の画像、第２の画像について輪郭検出を行って、それぞれ第１の輪郭、第２の輪郭を生成する輪郭検出部２７と、第１の輪郭および第２の輪郭が同一の被写体の輪郭を含むか否かを判別する同一性判別部２８と、第１の輪郭および第２の輪郭が同一の被写体の輪郭を含むと判別されたときに、少なくとも第１の画像と第２の画像とを結合して生成される結合画像において第１の輪郭と第２の輪郭とが同一の被写体で連続するように、第１の画像または第２の画像の領域の設定および視点変換を行う結合領域選択部２９と、を備える。
2015129280.tif 000002
【特許請求の範囲】
【請求項１】
第１の領域を含む車両の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記車両の周辺領域を撮像した第２の画像と、を取得する画像取得部と、
前記第１の画像、前記第２の画像について輪郭検出を行って、それぞれ第１の輪郭、第２の輪郭を生成する輪郭検出部と、
前記第１の輪郭および前記第２の輪郭が同一の被写体の輪郭を含むか否かを判別する同一性判別部と、
前記同一性判別部によって前記第１の輪郭および前記第２の輪郭が前記被写体の輪郭を含むと判別されたときに、少なくとも前記第１の画像と前記第２の画像とを結合して生成される結合画像において前記第１の輪郭と前記第２の輪郭とが前記被写体で連続するように、前記第１の画像または前記第２の画像の領域の設定および視点変換を行う結合領域選択部と、を備える画像処理装置。
【請求項２】
前記被写体は路面上の表示、ガードレール、側溝、路肩、およびデリネータのいずれかである請求項１に記載の画像処理装置。
【請求項３】
前記被写体は前記車両が光を照射して路面上に描く図形である請求項１に記載の画像処理装置。
【請求項４】
第１の領域を含む車両の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記車両の周辺領域を撮像した第２の画像と、を取得する画像取得部と、
前記車両の移動に伴って同一の被写体が前記第１の画像、前記第２の画像のそれぞれに写った場合に、前記第１の画像および前記第２の画像のうち、一方の画像における前記被写体の位置および向きが、他方の画像における前記被写体の位置および向きに基づいて演算で求められた位置および向きと一致するように、前記第１の画像または前記第２の画像の領域の設定および視点変換を行う結合領域選択部と、を備える画像処理装置。
【請求項５】
前記結合領域選択部は、
前記演算において前記車両の移動方向および速度を用いる、請求項４に記載の画像処理装置。
【請求項６】
前記結合領域選択部は、
前記車両が直進している場合に、前記第１の画像または前記第２の画像の領域の設定および視点変換を行う、請求項５に記載の画像処理装置。
【請求項７】
前記被写体は路面上の表示、ガードレール、側溝、路肩、およびデリネータのいずれかである請求項４から６のいずれか１項に記載の画像処理装置。
【請求項８】
第１の領域を含む車両の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記車両の周辺領域を撮像した第２の画像と、を取得するステップと、
前記第１の画像、前記第２の画像について輪郭検出を行って、それぞれ第１の輪郭、第２の輪郭を生成するステップと、
前記第１の輪郭および前記第２の輪郭が同一の被写体の輪郭を含むか否かを判別する同一性判別ステップと、
前記同一性判別ステップで前記第１の輪郭および前記第２の輪郭が前記被写体の輪郭を含むと判別されたときに、少なくとも前記第１の画像と前記第２の画像とを結合して生成される結合画像において前記第１の輪郭と前記第２の輪郭とが前記被写体で連続するように、前記第１の画像または前記第２の画像の領域の設定および視点変換を行うステップと、を含む画像処理方法。
【請求項９】
第１の領域を含む車両の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記車両の周辺領域を撮像した第２の画像と、を取得するステップと、
前記車両の移動に伴って同一の被写体が前記第１の画像、前記第２の画像のそれぞれに写った場合に、前記第１の画像および前記第２の画像のうち、一方の画像における前記被写体の位置および向きが、他方の画像における前記被写体の位置および向きに基づいて演算で求められた位置および向きと一致するように、前記第１の画像または前記第２の画像の領域の設定および視点変換を行うステップと、を含む画像処理方法。
【発明の詳細な説明】
【関連出願へのクロスリファレンス】
【０００１】
本出願は、日本国特許出願２０１４−０３６０６７号（２０１４年２月２６日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
【技術分野】
【０００２】
本発明は、移動体の周辺領域を撮像した複数の画像を正確に、かつ違和感なく結合する画像処理装置および画像処理方法に関する。
【背景技術】
【０００３】
車両などの移動体の運転操作を支援するシステムが知られている。例えば複数台の車載カメラによって車両周辺を撮像し、結合することで全周囲俯瞰画像を生成するシステム（以下、俯瞰画像生成システム）が知られている。俯瞰画像生成システムは、結合画像を運転者に示すことによって、例えば駐車の際の運転操作を支援する。【０００４】
このようなシステムに用いられる車載カメラは、映像のつなぎ目で不連続性が生じないように車両への設置の際に位置や向きを調整して取り付けられる。しかし、車両の振動や外部からの衝撃と言ったような要因によって取り付けの位置や向きがずれてしまうおそれがある。このような場合には、結合画像の映像のつなぎ目で連続性が失われてしまう。【０００５】
特許文献１には、俯瞰画像生成システムにおいて、遠景の全周囲円形映像を組み合わせることで、各カメラの映像間のつなぎ目に二重写りが生じることを抑える手法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１６６１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された手法は、遠景の全周囲円形映像を含むことで、近景の前映像、右映像、後映像、左映像のつなぎ目となる領域を減らすものである。つまり、近景のつなぎ目における不連続部分を目立たなくするものであり、不連続部分を修正するものではない。したがって、特許文献１に記載された手法を用いたとしても、運転者は結合画像のつなぎ目で違和感を覚えることがある。【０００８】
かかる事情に鑑みてなされた本発明の目的は、移動体の周辺領域を撮像した複数の画像を、違和感が無いように、連続性を保って結合できる画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明に係る画像処理装置は、
第１の領域を含む車両の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記車両の周辺領域を撮像した第２の画像と、を取得する画像取得部と、
前記第１の画像、前記第２の画像について輪郭検出を行って、それぞれ第１の輪郭、第２の輪郭を生成する輪郭検出部と、
前記第１の輪郭および前記第２の輪郭が同一の被写体の輪郭を含むか否かを判別する同一性判別部と、
前記同一性判別部によって前記第１の輪郭および前記第２の輪郭が前記被写体の輪郭を含むと判別されたときに、少なくとも前記第１の画像と前記第２の画像とを結合して生成される結合画像において前記第１の輪郭と前記第２の輪郭とが前記被写体で連続するように、前記第１の画像または前記第２の画像の領域の設定および視点変換を行う結合領域選択部と、を備える。【００１０】
上記課題を解決するために本発明に係る画像処理装置は、
第１の領域を含む車両の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記車両の周辺領域を撮像した第２の画像と、を取得する画像取得部と、
前記車両の移動に伴って同一の被写体が前記第１の画像、前記第２の画像のそれぞれに写った場合に、前記第１の画像および前記第２の画像のうち、一方の画像における前記被写体の位置および向きが、他方の画像における前記被写体の位置および向きに基づいて演算で求められた位置および向きと一致するように、前記第１の画像または前記第２の画像の領域の設定および視点変換を行う結合領域選択部と、を備える。【００１１】
上記課題を解決するために本発明に係る画像処理方法は、
第１の領域を含む車両の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記車両の周辺領域を撮像した第２の画像と、を取得するステップと、
前記第１の画像、前記第２の画像について輪郭検出を行って、それぞれ第１の輪郭、第２の輪郭を生成するステップと、
前記第１の輪郭および前記第２の輪郭が同一の被写体の輪郭を含むか否かを判別する同一性判別ステップと、
前記同一性判別ステップで前記第１の輪郭および前記第２の輪郭が前記被写体の輪郭を含むと判別されたときに、少なくとも前記第１の画像と前記第２の画像とを結合して生成される結合画像において前記第１の輪郭と前記第２の輪郭とが前記被写体で連続するように、前記第１の画像または前記第２の画像の領域の設定および視点変換を行うステップと、を含む。【００１２】
上記課題を解決するために本発明に係る画像処理方法は、
第１の領域を含む車両の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記車両の周辺領域を撮像した第２の画像と、を取得するステップと、
前記車両の移動に伴って同一の被写体が前記第１の画像、前記第２の画像のそれぞれに写った場合に、前記第１の画像および前記第２の画像のうち、一方の画像における前記被写体の位置および向きが、他方の画像における前記被写体の位置および向きに基づいて演算で求められた位置および向きと一致するように、前記第１の画像または前記第２の画像の領域の設定および視点変換を行うステップと、を含む。
【発明の効果】
【００１３】
本発明に係る画像処理装置および画像処理方法によれば、移動体の周辺領域を撮像した複数の画像を、違和感が無いように、連続性を保って結合できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る画像処理装置および画像処理装置を備えるカメラシステムの概略構成を示すブロック図である。
【図２】図１のカメラシステムの構成要素の配置を示す概略図である。
【図３】図１の画像処理装置が生成する結合画像の例を示す図である。
【図４】修正すべき結合画像の例を示す図である。
【図５】第１実施形態の画像処理装置の動作を示すフローチャートである。
【図６】修正すべき結合画像の例を示す図である。
【図７】第２実施形態の画像処理装置の動作を示すフローチャートである。
【図８】修正すべき結合画像の例を示す図である。
【発明を実施するための形態】
【００１５】
（第１実施形態）
以下、本発明の第１実施形態について、図面を参照して説明する。
はじめに、本発明の第１実施形態に係る画像処理装置１２およびカメラシステム１０について説明する。図１は、画像処理装置１２を備えるカメラシステム１０の概略構成を示す機能ブロック図である。
【００１６】
図１に示すように、カメラシステム１０は、複数の撮像装置（フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄ）、画像処理装置１２および表示装置１３を備える。本実施形態において、カメラシステム１０の各構成要素は、専用線またはＣＡＮ（Controller Area Network）などのネットワーク１４を介して情報を送受信可能である。カメラシステム１０において、画像処理装置１２が、表示装置１３と同一の機能を有する表示部を備える構成であってもよい。
【００１７】
図２に示すように、フロントカメラ１１ａは、車両などの移動体１５の前方の周辺領域を撮像可能となるように配置される。リアカメラ１１ｂは、移動体１５の後方の周辺領域を撮像可能となるように配置される。左サイドカメラ１１ｃおよび右サイドカメラ１１ｄは、例えば左右のドアミラー１６において鉛直下向きに、移動体１５の側方の周辺領域をそれぞれ撮像可能となるように配置される。図２では、右サイドカメラ１１ｄは移動体１５の車体に隠れているため図示されていない。また、左サイドカメラ１１ｃおよび右サイドカメラ１１ｄは、移動体１５の左右両側にそれぞれ対称に配置される。表示装置１３は、運転席から視認可能な位置に配置される。
【００１８】
フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、例えば魚眼レンズなどの画角の広いレンズを備えており、移動体１５の周辺領域を広角撮影可能である。一般に、広角撮影においては広範囲の被写体を撮像可能であって、画像周辺部における被写体は湾曲して撮像されるが、撮像装置自身または画像処理装置１２によって湾曲が修正されてから表示装置１３に表示される。本実施形態においてフロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄの撮像画像は、それぞれ図３、図４、図６、図８に示す移動体１５の前方領域Ａｉ、後方領域Ｂｉ、左側方領域Ｃｉ、および右側方領域Ｄｉにそれぞれ対応する。
【００１９】
次に、再び図１を参照して、フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄの構成について説明する。フロントカメラ１１ａは、光学系１７ａと、撮像素子１８ａと、画像処理部１９ａと、カメラ制御部２０ａと、を備える。
【００２０】
光学系１７ａは、絞りおよびレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系１７ａは広い画角を有しており、上述のように移動体１５の周辺領域に含まれる被写体像を結像可能である。
【００２１】
撮像素子１８ａは、例えばＣＭＯＳ撮像素子であって、光学系１７ａによって結像する被写体像を撮像する。また、撮像素子１８ａは、撮像によって生成した撮像画像を、画像信号として画像処理部１９ａに出力する。
【００２２】
画像処理部１９ａは、例えばＤＳＰなどの画像処理専用のプロセッサである。画像処理部１９ａは、撮像素子１８ａから取得した画像信号に対して、ノイズ除去、色補間、明るさ補正、色補正、ガンマ補正、およびホワイトバランスなどの所定の画像処理を施す。画像処理部１９ａは、通常の画像処理を施した画像信号を画像処理装置１２に出力する。
【００２３】
カメラ制御部２０ａは、例えば専用のマイクロプロセッサまたは特定のプログラムを読込むことによって特定の機能を実行する汎用のＣＰＵである。カメラ制御部２０ａは、フロントカメラ１１ａの各部位の動作を制御する。例えば、カメラ制御部２０ａは、撮像素子１８ａおよび画像処理部１９ａの動作を制御して、周期的に、例えば３０ｆｐｓで画像信号を出力させる。
【００２４】
リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、フロントカメラ１１ａと同様に、光学系１７ｂ、１７ｃ、１７ｄ、撮像素子１８ｂ、１８ｃ、１８ｄ、画像処理部１９ｂ、１９ｃ、１９ｄ、およびカメラ制御部２０ｂ、２０ｃ、２０ｄをそれぞれ備える。光学系１７ｂ、１７ｃ、１７ｄ、撮像素子１８ｂ、１８ｃ、１８ｄ、画像処理部１９ｂ、１９ｃ、１９ｄ、およびカメラ制御部２０ｂ、２０ｃ、２０ｄの機能および構成は、フロントカメラ１１ａと同様である。
【００２５】
画像処理装置１２は、画像取得部２１と、制御情報取得部２２と、輪郭検出部２７と、同一性判別部２８と、結合領域選択部２９と、を備える。画像処理装置１２の各機能部は、例えば専用のマイクロプロセッサまたは特定のプログラムを読込むことによって特定の機能を実行する汎用のＣＰＵによって実現される。
【００２６】
画像取得部２１は、ネットワーク１４を介して、フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄからそれぞれの方向の周辺領域の撮像画像を取得する。画像取得部２１は、前方、後方および側方（右方、左方）の周辺領域の撮像画像の全部を取得してもよいし、一部を取得してもよい。また、後述するように、本実施形態の画像処理装置１２では、周辺領域の撮像画像に例えば回転または縮小などの処理が施される可能性があるため、画像取得部２１は、通常の結合画像用の撮像画像よりも大きな画素サイズで撮像画像を取得することが好ましい。
【００２７】
制御情報取得部２２は、移動体１５の制御情報を取得する。制御情報は、移動体１５の状態に関する種々の情報、例えば、移動体１５の前進、後進、操舵角、および速度を示す情報である。制御情報取得部２２は、任意の方法によって制御情報を取得可能であり、例えばネットワーク１４を介して移動体１５から取得してもよく、あるいは移動体１５に備えられる他の構成要素が出力する制御情報を有線または無線を介して取得してもよい。
【００２８】
結合領域選択部２９は、以下に説明するように、画像取得部２１が取得した複数の撮像画像を用いて結合画像を生成する。本実施形態において、結合画像は、移動体１５の全周囲俯瞰画像である。俯瞰画像とは、移動体１５の周辺領域を移動体１５の上方から鉛直下向きに見た画像である。
【００２９】
まず、結合領域選択部２９は、結合画像の生成に用いる各撮像画像から、結合画像のサイズに応じて所定の範囲を切り出す。そして、結合領域選択部２９は、切り出した複数の撮像画像に対して視点変換処理を施し、それぞれ俯瞰画像に変換する。
【００３０】
次に、結合領域選択部２９は、視点変換処理を施した複数の撮像画像を用いて、結合画像を生成する。さらに、結合領域選択部２９は、移動体１５を上方から鉛直下向きに見た画像も、結合画像の生成に用いる。例えば、図３に示す結合画像は、結合画像中央の一部領域（移動体表示領域）Ｅｉに移動体１５を示す画像が用いられる。領域Ｅｉの前方領域Ａｉにフロントカメラ１１ａの画像が用いられる。領域Ｅｉの後方領域Ｂｉにリアカメラ１１ｂの画像が用いられる。領域Ｅｉの左側方領域Ｃｉに左サイドカメラ１１ｃの画像が用いられる。また、領域Ｅｉの右側方領域Ｄｉに右サイドカメラ１１ｄの画像が用いられる。
【００３１】
ここで、図４は、例えば外部からの衝撃といった要因によって左サイドカメラ１１ｃの取り付けの位置がずれて、その撮像範囲がずれたために、結合画像における路面上の白線ＷＬ（図３参照）が境界Ｂ２、Ｂ３で不連続となった様子を示す図である。結合領域選択部２９は、生成した結合画像が例えば図４のように不連続性を有するならば、輪郭検出部２７などからの情報に応じて、特定の撮像画像の領域の設定および視点変換の処理を行って、連続性を有する新たな結合画像を生成する。領域の設定および視点変換の詳細については後述するが、領域の設定とは、拡大または縮小の倍率、およびシフト量を設定することをいう。
【００３２】
輪郭検出部２７は、互いに隣接する２つの撮像画像について輪郭を抽出する。輪郭検出部２７は、例えば隣接画素間の差分をとる手法、ソーベルフィルタを用いる手法、またはラプラシアンフィルタを用いる手法など、一般に知られる手法を用いて輪郭を抽出することができる。互いに隣接する２つの撮像画像に対応する輪郭検出部２７が抽出した輪郭の画像（以下、輪郭画像とする）は、同一性判別部２８、結合領域選択部２９に出力されて、それぞれ連続性の判別、撮像画像の領域の設定および視点変換のために用いられる。ここで、詳細は後述するが、輪郭検出部２７は、互いに隣接する２つの撮像画像を結合したときにそれらの境界にまたがる被写体、あるいは境界の近傍に存在する被写体の輪郭を抽出すればよい。つまり、輪郭検出部２７は、互いに隣接する２つの撮像画像の全ての被写体の輪郭を抽出する必要はない。
【００３３】
同一性判別部２８は、互いに隣接する２つの撮像画像の輪郭画像に基づいて、２つの撮像画像に写った被写体が同一の被写体を含むか否かを判別する。例えば、２つの撮像画像に写る同一の被写体としては、路面上の表示（路側帯や中央線の白線、制限速度や停止を促す表示）、ガードレール、側溝、および路肩（歩道）などが挙げられる。移動体１５は走行中であってもよいし停止中であってもよい。ここで、同一性判別部２８は、同一の被写体を正しく検出するのにハフ変換を用いてもよい。ハフ変換を用いることで、例えば輪郭画像で被写体の輪郭が途切れているような場合でも、この被写体を正しく検出することが可能である。
【００３４】
同一性判別部２８が、被写体が同一であると判別した場合には、その判別結果は結合領域選択部２９に伝えられる。そして、結合領域選択部２９は、互いに隣接する２つの撮像画像の同一の被写体の輪郭がこれらの結合画像で連続性を有するように、撮像画像の領域の設定および視点変換の設定を行い、不連続性のない結合画像を生成できる。
【００３５】
表示装置１３は、例えばＬＣＤを含んで構成され、リアルタイムの動画像を表示可能である。表示装置１３は、ネットワーク１４を介して、画像処理装置１２が出力した結合画像を表示する。また、表示装置１３は、例えばタッチパネルとして構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。
【００３６】
以下では、図を参照しながら不連続性を有する結合画像を例示し、その後に画像処理装置１２の処理について述べる。
【００３７】
まず、比較のために、図３を参照して、移動体１５の周辺領域を撮像した複数の画像を正確に、かつ違和感なく結合した場合に表示装置１３に表示される画像を例示する。結合領域選択部２９は、移動体１５の前方領域Ａｉ、後方領域Ｂｉ、左側方領域Ｃｉ、および右側方領域Ｄｉを写した撮像画像を切り出して結合し、移動体１５の全周囲俯瞰画像である結合画像を表示装置１３に表示させる。
【００３８】
図３の例では、移動体１５が走行中の路面、および路面上の白線ＷＬ（例えば路側帯）および白線ＷＲ（例えば中央線）が表示装置１３に表示されている。ここで、境界Ｂ０、Ｂ１、Ｂ２、Ｂ３はそれぞれ前方領域Ａｉと右側方領域Ｄｉ、右側方領域Ｄｉと後方領域Ｂｉ、後方領域Ｂｉと左側方領域Ｃｉ、左側方領域Ｃｉと前方領域Ａｉの撮像画像の境界を示す。図３の例では、白線ＷＬは境界Ｂ２、Ｂ３で不連続性は見られず、白線ＷＲも境界Ｂ０、Ｂ１で不連続性は見られない。つまり、白線ＷＬも白線ＷＲも境界で太さが異なったり、途切れていたりすることはないため、移動体１５の周辺領域を撮像した複数の画像を正確に、かつ違和感なく結合している。図３のｘｙ軸は結合画像についての仮想的な座標軸であって、図３の例では移動体１５はｙ軸方向に直進しており、白線ＷＬおよび白線ＷＲはｙ軸方向に延びている。
【００３９】
一方、既に説明したように、図４の例は白線ＷＬについて境界Ｂ２、Ｂ３で不連続性が生じている様子を示す。このような不連続性は、例えば移動体１５の走行中の振動や外部からの衝撃と言った要因によって撮像装置の取り付けの位置や向きがずれてしまうことで生じ得る。本実施形態の画像処理装置１２は、以下に述べる処理によって、図４に示されるような結合画像の境界に生じる不連続性を検出して修正し、図３のように連続性を有する正確な結合画像を表示装置１３に表示させる。
【００４０】
図５を参照して、画像処理装置１２の処理の流れを説明する。また、各ステップについて図４の例を用いて詳細に説明する。まず、処理の概略を述べると、画像取得部２１が隣接する撮像画像を取得して輪郭検出部２７および結合領域選択部２９に出力する。輪郭検出部２７は受け取った隣接する撮像画像から輪郭を抽出して、抽出した輪郭を同一性判別部２８および結合領域選択部２９に出力する。同一性判別部２８は隣接する撮像画像の境界にある抽出した輪郭が同一の被写体（例えば路側帯やセンターラインの白線）を含むかを判別して、判別結果を結合領域選択部２９に出力する。結合領域選択部２９は、同一性判別部２８から同一の被写体を含むとの結果を受けとった場合には、隣接する撮像画像の境界にある抽出した輪郭が不連続にならないように一方の撮像画像に領域の設定および視点変換を行って、結合画像を生成する。以下に処理の詳細を述べる。
【００４１】
画像処理装置１２の画像取得部２１は、第１の画像、第２の画像を取得する（ステップＳ２）。ここで、第１の画像、第２の画像は、前方領域Ａｉ、後方領域Ｂｉ、左側方領域Ｃｉ、および右側方領域Ｄｉを写した撮像画像のうち、隣接する２枚の撮像画像である。画像取得部２１は、例えば前方領域Ａｉの撮像画像を第１の画像、左側方領域Ｃｉの撮像画像を第２の画像として輪郭検出部２７および結合領域選択部２９に出力する。この例において、前方領域Ａｉ、左側方領域Ｃｉはそれぞれ本発明の第１の領域、第２の領域に対応する。そして、前方領域Ａｉの撮像画像、左側方領域Ｃｉの撮像画像について、以下に説明する処理が、輪郭検出部２７、同一性判別部２８、および結合領域選択部２９によって実行される。その後、画像取得部２１は、例えば左側方領域Ｃｉの撮像画像を第１の画像、後方領域Ｂｉの撮像画像を第２の画像として輪郭検出部２７などに出力する。このように、画像取得部２１は、移動体１５の周辺領域を撮像した隣接する撮像画像の組を、組み合わせを変えながら輪郭検出部２７などに出力する。
【００４２】
画像処理装置１２の輪郭検出部２７は、受け取った１組の隣接する撮像画像（第１の画像および第２の画像）のそれぞれについて輪郭検出を行って、第１の輪郭、第２の輪郭を生成する（ステップＳ４）。
【００４３】
輪郭検出部２７は、上記のように例えばラプラシアンフィルタなどを用いて輪郭検出を行う。第１の輪郭、第２の輪郭は、それぞれ第１の画像、第２の画像について検出された輪郭である。ここで、本実施形態において、第１の輪郭、第２の輪郭は、それぞれ第１の画像、第２の画像の被写体の全ての輪郭が含まれるわけではない。第１の輪郭、第２の輪郭は第１の画像と第２の画像とを結合した場合に、境界で不連続性を生じない結合画像を生成するために、同一性判別部２８および結合領域選択部２９で利用されるものである。そのため、第１の輪郭、第２の輪郭は、第１の画像と第２の画像とを結合する場合の境界にまたがる被写体、あるいは境界の近傍に存在する被写体の輪郭を抽出したものであればよい。
【００４４】
例えば図４で、前方領域Ａｉの撮像画像が第１の画像、左側方領域Ｃｉの撮像画像が第２の画像であるとする。このとき、第１の輪郭は、抽出された白線ＷＬの一部（白線ＷＬａ）の輪郭を含むが、白線ＷＲの一部の輪郭を含まない。白線ＷＲは、第１の画像と第２の画像の境界から離れており、境界の近傍であるとも言えないためである。また、第２の輪郭は、抽出された白線ＷＬの一部（白線ＷＬｃ）の輪郭を含む。そして、輪郭検出部２７は、第１の輪郭を含む画像（以下、第１の輪郭画像とする）、第２の輪郭を含む画像（以下、第２の輪郭画像とする）を同一性判別部２８に出力する。
【００４５】
画像処理装置１２の同一性判別部２８は、第１の輪郭画像、第２の輪郭画像を受け取る。そして、同一性判別部２８は、第  １の輪郭および第２の輪郭が同一の被写体のものか否かを判別する（ステップＳ６）。ステップＳ６は、本発明の同一性判別ステップに対応する。
【００４６】
同一性判別部２８は、例えば、第１の輪郭および第２の輪郭の特徴に基づいて、これらが例えば路面上の表示、ガードレール、側溝、および路肩などの輪郭であると推定することで、第１の輪郭および第２の輪郭が同一の被写体のものであると判別できる。例えば、路側帯や中央線などの路面上の表示、ガードレール、側溝、および路肩などは、移動体１５が走行する道路と平行に長く延びている、との特徴を有する。
【００４７】
ここで、路側帯などの路面上の白線および路肩などは途切れずに長く延びた直線となるが、中央線、側溝、およびガードレールなどのときには途切れた線となることがある。このとき、同一性判別部２８は、ハフ変換を用いて直線を推定することで、被写体が路面上の表示などであるとの判定の精度を高めることができる。同一性判別部２８は、第１の輪郭および第２の輪郭が、例えば路面上の表示などの同一の被写体のものか否かを判別して、判別結果を結合領域選択部２９に出力する。また、ハフ変換を施した第１の輪郭および第２の輪郭についても結合領域選択部２９に出力する。ここで、図４の例では、第１の輪郭および第２の輪郭の全ては同一の被写体（白線ＷＬ）の輪郭である。しかし、第１の輪郭および第２の輪郭の全てが同一の被写体の輪郭である必要はなく、同一性判別部２８は、第１の輪郭および第２の輪郭が同一の被写体の輪郭を含むことで、これらが同一の被写体のものであると判別してよい。
【００４８】
同一性判別部２８が第１の輪郭および第２の輪郭が同一の被写体のものと判別したとき（ステップＳ６のＹｅｓ）、画像処理装置１２の結合領域選択部２９は、これらを結合させた場合に輪郭が連続するか否かを判別する（ステップＳ１０）。ここで、第１の輪郭と第２の輪郭とが連続するとは、必ずしも第１の輪郭と第２の輪郭の全てが連続する必要はなく、同一性判別部２８が同一の被写体と判別した被写体の輪郭について連続していればよい。もし、第１の輪郭と第２の輪郭とが連続しないならば（ステップＳ１０のＮｏ）、結合領域選択部２９は、第１の画像または第２の画像の領域の設定、視点変換を行い、これらが連続するように修正する（ステップＳ１２）。
【００４９】
第１の輪郭および第２の輪郭が同一の被写体のものである場合には、結合領域選択部２９は、同一性判別部２８から受け取った第１の輪郭および第２の輪郭に基づいて、これらが境界で直線的に接続されるかを判別する。同一の被写体の一部である第１の輪郭および第２の輪郭は、上記のようにハフ変換などによって直線で表されている。そのため、これらの直線の位置や角度によって、第１の輪郭と第２の輪郭とが直線的に接続されるか否かを判断可能である。
【００５０】
このとき、車両の進行方向を一方の軸とした、図４に示されるようなｘｙ座標を用いてもよい。例えば、白線ＷＬａがｙ軸と平行であって、白線ＷＬｃが傾きを有する場合には、結合領域選択部２９は、両者が境界で不連続性を有すると判断できる。このとき、白線ＷＬｃが傾きを有することから、結合領域選択部２９は、白線ＷＬｃがｙ軸と平行になるように左側方領域Ｃｉの撮像画像について視点変換する修正を行う。また、白線ＷＬａの輪郭の幅と、白線ＷＬｃの輪郭の幅とが異なる場合にも、結合領域選択部２９は、両者が境界で不連続性を有すると判断できる。このとき、白線ＷＬｃの幅が白線ＷＬａの幅と同じになるように、左側方領域Ｃｉの撮像画像の領域の設定（拡大または縮小の倍率の設定、およびシフト量の設定）を行う。ここで、移動体１５が動いている場合には、制御情報取得部２２が取得する制御情報に基づいて、移動体１５がｘｙ座標の一方の軸に平行に直線運動をしているタイミングで結合領域選択部２９が修正を行うことが好ましい。このとき、同一の被写体の輪郭がｘｙ座標の一方の軸と平行となるように修正すればよいため、計算量を減らすことができる。
【００５１】
ステップＳ１２の後、結合領域選択部２９は再び第１の輪郭と第２の輪郭とが結合されたときに連続するか否かを判別する（ステップＳ１０）。連続する場合には（ステップＳ１０のＹｅｓ）、結合領域選択部２９は第１の画像と第２の画像とを結合する（ステップＳ１８）。
【００５２】
上記のとおり、ステップＳ１８の後、画像取得部２１は、移動体１５の周辺領域を撮像した隣接する撮像画像の組を、組み合わせを変えながら輪郭検出部２７などに出力する。そのため、輪郭検出部２７、同一性判別部２８、および結合領域選択部２９は、別の隣接する周辺領域についても一連の処理を行うことになる。このとき、重複する処理を回避するために、結合領域選択部２９が視点変換などする修正を行ったときには、修正後の撮像画像が画像取得部２１から輪郭検出部２７などに出力されることが好ましい。
【００５３】
ここで、ステップＳ６で、同一性判別部２８が、第１の輪郭および第２の輪郭が同一の被写体のものでないと判別したときには（ステップＳ６のＮｏ）、結合領域選択部２９は修正を行わずに終了する。
【００５４】
以上のように、上記の画像処理方法を実施する本実施形態に係る画像処理装置１２は、移動体１５の周辺領域を撮像した複数の画像について、隣接する２枚の撮像画像の境界および境界の近傍にある同一の被写体の輪郭を抽出することで、境界で不連続があるかを判別する。そして、不連続性がある場合には、この被写体が境界で連続するように修正することで、見る者が違和感の無い、連続性を保った結合画像を生成できる。そのため、撮像画像の領域の設定および視点変換の設定を調整する自動キャリブレーションが可能である。
【００５５】
（第２実施形態）
以下、本発明の第２実施形態について、図面を参照して説明する。
本実施形態に係る画像処理装置１２は、第１実施形態に係る画像処理装置１２と異なり、隣接する撮像画像に同時に同一の被写体が写っていない場合にも、撮像画像の領域の設定および視点変換の設定を調整する自動キャリブレーションが可能である。画像処理装置１２および画像処理装置１２を備えるカメラシステム１０の概略構成は第１実施形態と同じであり同一性判別部２８以外の説明については省略する（図１参照）。また、重複説明を回避するため、以下では第１実施形態に係る画像処理装置１２と異なる部分について説明する。
【００５６】
本実施形態においても、同一性判別部２８は、互いに隣接する２つの撮像画像の輪郭画像に基づいて、２つの撮像画像に写った被写体が同一の被写体であるか否かを判別する。しかし、同一性判別部２８が受け取る互いに隣接する２つの撮像画像の輪郭画像は、同一のタイミングではなく、時間差をもって撮像された画像である。例えば、最初に移動体１５の前方の撮像画像に写った路面上のデリネータＰが、所定の時間経過後に、移動体の側方の撮像画像に写っている場合に、同一性判別部２８は、これらの撮像画像を受け取ってデリネータＰが同一であるとの判別を行う。同一性判別部２８が、被写体が同一であると判別したとき、その判別結果は結合領域選択部２９に伝えられる。そして、結合領域選択部２９は、同一の被写体の２つの撮像画像における位置および向きの情報に基づいて、撮像画像の領域の設定および視点変換の設定を行い、不連続性のない結合画像を生成できる。
【００５７】
図６は、例えば外部からの衝撃といった要因によって左サイドカメラ１１ｃの取り付けの位置がずれて、その撮像範囲がずれたために、結合画像における路面上のデリネータＰの軌跡ＶＬａ、ＶＬｃ、ＶＬｂが境界Ｂ２、Ｂ３で不連続となった様子を示す図である。図４の場合と異なり、結合画像には、白線ＷＬ（連続した被写体の一例）ではなくデリネータＰが写っている。ここで、図６の軌跡ＶＬａ、ＶＬｃ、ＶＬｂは、移動体１５が移動することによってデリネータＰがつくる仮想的な軌跡を表す。図６に示されるように、左サイドカメラ１１ｃの撮像画像では、デリネータＰが移動体１５の進行方向（ｙ軸方向）から傾いた方向に移動するように見えるため、見た者に違和感を与える。よって、図４の例と同じように修正が必要である。
【００５８】
ここで、デリネータＰは道路に設置される反射器を取り付ける支柱であって、例えばガードレールなどと比べて小型であり、２枚の撮像画像に同時に写りにくい。そのため、第１実施形態と同じ手法を用いることはできない場合がある。そこで、本実施形態に係る画像処理装置１２は、時間差を設けた２枚の撮像画像を用いて、図６のように隣接する２枚の撮像画像に同一の被写体（デリネータＰ）が写る状態を実現する。図６の例では、時刻ｔ１での左側方領域Ｃｉの撮像画像と、時刻ｔ１よりも前の時刻ｔ０における前方領域Ａｉの撮像画像とを用いている。撮像画像の時間差（ｔ１−ｔ０）は、この時間差にデリネータＰの移動速度を乗じた移動距離によって、デリネータＰが前方領域Ａｉの撮像領域内から左側方領域Ｃｉの撮像領域内へ移動するように設定される。デリネータＰの移動速度は、例えば制御情報取得部２２が取得する移動体１５の速度から得られる。
【００５９】
図６の例では、前方領域Ａｉの撮像画像（第１の画像に対応）は時刻ｔ０におけるデリネータＰを含み、左側方領域Ｃｉの撮像画像（第２の画像に対応）は時刻ｔ１におけるデリネータＰを含み、これらのデリネータＰは同じ被写体である。以下では、図７を参照して、画像処理装置１２の処理の流れを説明する。また、各ステップについて図６の例を用いて詳細に説明する。
【００６０】
まず、処理の概略を述べると、画像処理装置１２は処理を開始するのに移動体１５が直進するのを待つ。移動体１５が直進すると、画像取得部２１が撮像時間の異なる隣接する撮像画像を取得して結合領域選択部２９に出力する。結合領域選択部２９は、隣接する撮像画像に同一の被写体が写っているかを判別し、写っている場合には、時間的に早い方の撮像画像と移動体１５の速度および方向とに基づいて、時間的に遅い方の撮像画像における被写体の位置および向きを演算で求める。そして、結合領域選択部２９は、時間的に遅い方の撮像画像の被写体の位置および向きが、上記の演算によって求められた位置および向きと一致するように、時間的に遅い方の撮像画像の領域の設定、視点変換を行って、結合画像を生成する。以下に処理の詳細を述べる。
【００６１】
本実施形態の画像処理装置１２の処理は、移動体１５の移動に伴って同じ被写体が隣接する２枚の撮像画像に写ることを必要とする。そのため、移動体１５が移動することが必要である。画像処理装置１２は、制御情報取得部２２が取得する制御情報に基づいて、移動体１５の移動方向および速度を取得する（ステップＳ２０）。そして、画像処理装置１２は、移動体１５が直進していないならば（ステップＳ２２のＮｏ）再びステップＳ２０に戻り、移動体１５が直進した場合に以下の処理を実行する（ステップＳ２２のＹｅｓ）。ここで、移動体１５の直進方向は、結合画像についての仮想的なｘｙ座標の一方の軸に平行であることが好ましい。先に説明したように、修正する場合の計算量を減らすことができるためである。以下では、移動体１５がｙ軸方向に直進しているとして説明する。
【００６２】
画像処理装置１２の画像取得部２１は、第１の画像、第２の画像を取得する（ステップＳ２４）。ステップＳ２４は第１実施形態におけるステップＳ２に対応するため、詳細な説明を省略する。
【００６３】
画像処理装置１２の結合領域選択部２９は、第１の画像、第２の画像に同一の被写体が写っているかを判別する（ステップＳ２６）。そして、図６の例のように同一の被写体が写っている場合には（ステップＳ２６のＹｅｓ）、移動体１５の移動方向および速度を用いて、第１の画像の被写体の位置および向きから、第２の画像の被写体の位置および向きを演算で求める（ステップＳ３０）。
【００６４】
ここで、結合領域選択部２９は、同一の被写体の判別の際に、特徴点を抽出して比較することで同一性を判別してもよい。特徴点を抽出する手法としては、輝度差を抽出する手法やコーナ検出など、一般に知られる手法を用いることができる。また、結合領域選択部２９は、撮像時間の早い方の画像（ここでは第１の画像、すなわち前方領域Ａｉの撮像画像）のデリネータＰの位置および向きから、以下のように他方の画像（ここでは第２の画像、すなわち左側方領域Ｃｉの撮像画像）のデリネータＰの位置および向きを演算で求めることができる。
【００６５】
まず、結合領域選択部２９は、制御情報取得部２２が取得した制御情報から移動体１５がｙ軸方向に直進していることを把握し、図６の単位時間あたりの被写体の移動を示す単位ベクトルＶｐを計算する。そして、時刻ｔ０におけるデリネータＰの位置がＰ（ｔ０）であることから、
Ｐ（ｔ１）＝Ｖｐ×（ｔ１−ｔ０）＋Ｐ（ｔ０）
によって、時刻ｔ１におけるデリネータＰの位置であるＰ（ｔ１）を求める。Ｐ（ｔ１）は上記のデリネータＰの演算で求められた位置に対応する。移動体１５がｙ軸方向に直進しているため、時刻ｔ１におけるデリネータＰの方向はｙ軸反対方向であり、ｙ軸反対方向が上記のデリネータＰの演算で求められた向きに対応する。
【００６６】
画像処理装置１２の結合領域選択部２９は、第２の画像の被写体の位置および向きが、演算で求められた位置および向きと一致するかを判別する（ステップＳ３２）。もし、第２の画像の被写体の位置および向きが、演算で求められた位置および向きと一致しないならば（ステップＳ３２のＮｏ）、結合領域選択部２９は、第１の画像または第２の画像の領域の設定および視点変換を行い、これらが一致するように修正する（ステップＳ３４）。
【００６７】
ステップＳ３２について、図６の例を用いて説明する。結合領域選択部２９は、左側方領域Ｃｉの撮像画像の被写体の位置のＰｘ（ｔ１）が、演算で求められたＰ（ｔ１）と一致していないため、これらが一致するように修正する。結合領域選択部２９は、第１の画像または第２の画像の領域の設定および視点変換を行って修正するが、この例では、左側方領域Ｃｉの撮像画像の被写体の移動方向がｙ軸と平行でないため、左側方領域Ｃｉの撮像画像を修正する。つまり、結合領域選択部２９は、被写体の位置のＰｘ（ｔ１）を演算で求められたＰ（ｔ１）とするように、左側方領域Ｃｉの撮像画像のシフトおよび視点変換処理をする。
【００６８】
ステップＳ３４の後、結合領域選択部２９は再び第２の画像の被写体の位置および向きが演算で求められた位置および向きと一致するか否かを判別する（ステップＳ３２）。一致するときには（ステップＳ３２のＹｅｓ）、結合領域選択部２９は第１の画像と第２の画像とを結合する（ステップＳ３８）。
【００６９】
ここで、ステップＳ２６で、第１の画像、第２の画像に同一の被写体が写っていない場合には（ステップＳ２６のＮｏ）、結合領域選択部２９は修正を行わずに終了する。このとき、第１の画像、第２の画像の撮像時間の時間差を調整しながら、再度、第１の画像、第２の画像を取得するようにしてもよい。
【００７０】
以上のように、上記の画像処理方法を実施する本実施形態に係る画像処理装置１２は、第１実施形態と同じ効果を奏するだけでなく、隣接する撮像画像に同時に同一の被写体が写っていない場合でも適用可能である。
【００７１】
本発明を図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。
【００７２】
例えば、第１実施形態においては、移動体１５が走行中の場合について説明したが、移動体１５が停止中の場合であっても周辺領域に存在し、２つの隣接する撮像画像に写る同一の被写体を利用して同じ画像処理装置１２を実行できる。例えば、カメラシステム１０を取り付けた車両である移動体１５を、ベルトコンベアで運搬するとする。この場合でも、画像処理装置１２は、ベルトコンベア上に描かれた白線などを利用して第１実施形態と同じ画像処理装置１２を実行することができる。つまり、撮像画像の領域の設定および視点変換の設定を調整する自動キャリブレーションが可能である。
【００７３】
また、第１実施形態においては、画像処理装置１２は移動体１５の外部に偶然に存在する被写体を用いて一連の処理を実行していたが、移動体１５から照射されるレーザー光などで描かれる図形を上記の被写体として用いることが可能である。このとき、画像処理装置１２はいつでも撮像画像の領域の設定および視点変換の設定を調整する自動キャリブレーションを実行可能である。
【００７４】
例えば、図８のように、移動体１５がレーザー光によって路上にリング状の図形を、境界Ｂ３に重なるように描くとする。このとき、例えば第１実施形態と同じ処理によって、画像処理装置１２はいつでも撮像画像の領域の設定および視点変換の設定を調整することができる。第１実施形態とは異なり、長い直線状の被写体ではないが、同一性判別部２８がキャリブレーション用にリング状の図形が用いられること（以下、事前の情報とする）を把握することで、さらに効率的に処理を実行することが可能である。
【００７５】
図８の例では、前方領域Ａｉの撮像画像の図形Ｒａと、左側方領域Ｃｉの撮像画像の図形Ｒｃとが不連続になっている。輪郭検出部２７は、前方領域Ａｉの撮像画像（第１の画像）、左側方領域Ｃｉの撮像画像（第２の画像）のそれぞれについて輪郭検出を行って、リング状の図形の一部である図形Ｒａの輪郭を含む第１の輪郭、図形Ｒｃの輪郭を含む第２の輪郭を生成する。同一性判別部２８は、上記の事前の情報に基づいて、第１の輪郭および第２の輪郭が連続する被写体（キャリブレーション用のリング状の図形）の輪郭であると判別する。そして、結合領域選択部２９は、図形Ｒｃが図８の図形Ｒｃ０の位置に表示されて、境界Ｂ３で連続性を有するように、左側方領域Ｃｉの撮像画像の領域の設定、視点変換を行う。このように、特定の図形が移動体１５から照射されることで、自動キャリブレーションを実行可能である。このような図形は、例えば移動体１５のヘッドライトからレーザー光によって描かれてもよい。
【００７６】
また、上述の実施形態に係るカメラシステム１０の構成要素の一部は、移動体１５の外部に設けられてもよい。例えば、フロントカメラ１１ａなどの撮像装置や画像処理装置１２などは、携帯電話や外部サーバなどの通信機器として実現され、カメラシステム１０の他の構成要素と有線または無線によって接続されてもよい。
【符号の説明】
【００７７】
１０    カメラシステム
１１ａ  フロントカメラ
１１ｂ  リアカメラ
１１ｃ  左サイドカメラ
１１ｄ  右サイドカメラ
１２    画像処理装置
１３    表示装置
１４    ネットワーク
１５    移動体
１６    ドアミラー
１７ａ、１７ｂ、１７ｃ、１７ｄ    光学系
１８ａ、１８ｂ、１８ｃ、１８ｄ    撮像素子
１９ａ、１９ｂ、１９ｃ、１９ｄ    画像処理部
２０ａ、２０ｂ、２０ｃ、２０ｄ    カメラ制御部
２１    画像取得部
２２    制御情報取得部
２７    輪郭検出部
２８    同一性判別部
２９    結合領域選択部
Ａｉ    前方領域
Ｂｉ    後方領域
Ｃｉ    左側方領域
Ｄｉ    右側方領域
Ｂ０、Ｂ１、Ｂ２、Ｂ３    境界
Ｐ      デリネータ
ＷＬ    白線
ＷＲ    白線
【図１】
2015129280.tif 000003
【図２】
2015129280.tif 000004
【図３】
2015129280.tif 000005
【図４】
2015129280.tif 000006
【図５】
2015129280.tif 000007
【図６】
2015129280.tif 000008
【図７】
2015129280.tif 000009
【図８】
2015129280.tif 000010
【国際調査報告】
2015129280.tif 000011
2015129280.tif 000012
2015129280.tif 000013
2015129280.tif 000014