(57)【要約】  車両の多様な状態に応じて車両周辺の結合画像の視認性を向上させる画像処理装置、カメラシステム、および画像処理方法を提供する。画像処理装置（１２）は、車両（１５）の周辺領域を撮像した複数の撮像画像を取得する画像取得部（２１）と、車両（１５）の制御情報を取得する制御情報取得部（２２）と、複数の撮像画像それぞれから、制御情報に応じた範囲を用いて結合画像を生成する画像結合部（２３）と、を備える。
2015115103.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺領域を撮像した複数の撮像画像を取得する画像取得部と、
前記車両の制御情報を取得する制御情報取得部と、
前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成する画像結合部と、を備える
ことを特徴とする、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記画像結合部は、前記制御情報に基づいて前記車両の進行方向の変化を検出すると、前記複数の撮像画像のうち前記進行方向の周辺領域を撮像した撮像画像について、前記結合画像に用いる範囲を広げることを特徴とする、画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記画像結合部は、前記制御情報が示す前記車両の速度が速いほど、前記範囲を広げる量を増加させることを特徴とする、画像処理装置。
【請求項４】
請求項２または３に記載の画像処理装置であって、
前記結合画像は、前記車両を表示する車両表示領域を有しており、
前記画像結合部は、前記制御情報が示す前記車両の速度が速いほど、前記車両表示領域の面積を縮小することを特徴とする、画像処理装置。
【請求項５】
請求項１乃至４の何れか一項に記載の画像処理装置であって、
前記結合画像を表示する表示部をさらに備えることを特徴とする、画像処理装置。
【請求項６】
請求項１乃至５の何れか一項に記載の画像処理装置であって、
前記制御情報に基づいて前記車両の進行方向を判定し、前記車両に対して該進行方向と左右反対の方向の前記周辺領域を撮像した前記撮像画像を用いて被写体認識を行う被写体認識部をさらに備えることを特徴とする、画像処理装置。
【請求項７】
請求項６に記載の画像処理装置であって、
前記被写体認識部は、被写体認識に用いる前記撮像画像の、前記制御情報に応じた範囲を用いて被写体認識を行うことを特徴とする、画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記被写体認識部は、前記制御情報が示す前記車両の速度に応じて、被写体認識に用いる前記範囲に対応する、前記車両の周辺領域の前後方向における長さを決定し、前記制御情報が示す前記車両の操舵角に応じて、被写体認識に用いる前記範囲に対応する、前記車両の周辺領域の左右方向における長さを決定することを特徴とする、画像処理装置。
【請求項９】
車両の周辺領域を撮像して複数の撮像画像を生成する複数の撮像装置と、
請求項１乃至８の何れか一項に記載の画像処理装置と、を備える
ことを特徴とする、カメラシステム。
【請求項１０】
車両の周辺領域を撮像した複数の画像を取得するステップと、
前記車両の制御情報を取得するステップと、
前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成するステップと、を含む
ことを特徴とする、画像処理方法。
【発明の詳細な説明】
【関連出願へのクロスリファレンス】
【０００１】
本出願は、日本国特許出願２０１４−０１４９２６号（２０１４年１月２９日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
【技術分野】
【０００２】
本発明は、複数系統に対して画像信号を出力する画像処理装置、カメラシステム、および画像処理方法に関する。
【背景技術】
【０００３】
従来、車両などの移動体に複数の車載カメラを設置して移動体周辺を撮像し、生成した複数の撮像画像を用いて移動体周辺を俯瞰する結合画像を表示する移動体の周辺監視装置が知られている。例えば、特許文献１には、車両周辺の近景を複数の領域にて撮影する複数台の近景カメラに、広い画角にて車両周囲の遠景を撮影する遠景カメラを加え、近景と遠景との連続的な車両周囲画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１６６１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、移動体の運転者にとって近景および遠景の何れの画像が必要であるかは、多様な運転状況に応じて異なる。このため、常に近景および遠景の画像の双方を視認可能とすることは、必ずしも適切ではなかった。例えば、運転者にとって不要な領域の画像を表示すると、運転者が必要とする領域の画像の表示範囲が狭くなり、視認性が低下することがあった。【０００６】
かかる事情に鑑みてなされた本発明の目的は、車両の多様な状態に応じて車両周辺の結合画像の視認性を向上させる画像処理装置、カメラシステム、および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明に係る画像処理装置は、
車両の周辺領域を撮像した複数の撮像画像を取得する画像取得部と、
前記車両の制御情報を取得する制御情報取得部と、
前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成する画像結合部と、を備える
ことを特徴とする。【０００８】
また、本発明に係るカメラシステムは、
車両の周辺領域を撮像して複数の撮像画像を生成する複数の撮像装置と、
前記複数の撮像画像を取得する画像取得部と、前記車両の制御情報を取得する制御情報取得部と、前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成する画像結合部と、を有する画像処理装置と、を備える
ことを特徴とする。【０００９】
また、本発明に係る画像処理方法は、
車両の周辺領域を撮像した複数の画像を取得するステップと、
前記車両の制御情報を取得するステップと、
前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成するステップと、を含む
ことを特徴とする。
【発明の効果】
【００１０】
本発明に係る画像処理装置、カメラシステム、および画像処理方法によれば、車両の多様な状態に応じて車両周辺の結合画像を生成するので、結合画像の視認性が向上する。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係るカメラシステムの概略構成を示すブロック図である。
【図２】図１のカメラシステムの構成要素の配置を示す概略図である。
【図３】図１の撮像素子が生成する撮像画像の例を示す図である。
【図４】移動体の周辺領域および切出範囲の例を示す図である。
【図５】図１の画像処理装置が生成する結合画像の例を示す図である。
【図６】移動体の周辺領域および切出範囲の例を示す図である。
【図７】移動体の周辺領域および切出範囲の例を示す図である。
【図８】移動体の周辺領域および認識範囲の例を示す図である。
【図９】図１の画像処理装置の動作を説明するフローチャートである。
【図１０】図１の画像処理装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して説明する。
【００１３】
はじめに、本発明の一実施形態に係るカメラシステムおよび撮像装置について説明する。図１は、本発明の一実施形態に係るカメラシステム１０の概略構成を示す機能ブロック図である。
【００１４】
図１に示すように、カメラシステム１０は、複数の撮像装置１１ａ，１１ｂ，１１ｃ，１１ｄと、画像処理装置１２と、表示装置１３と、を備える。本実施形態において、複数の撮像装置は、例えば、フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄである。カメラシステム１０の各構成要素は、専用線またはＣＡＮなどの車載ネットワーク１４を介して情報を送受信可能である。カメラシステム１０において、画像処理装置１２が、表示装置１３と同一の機能を有する表示部を備える構成であってもよい。
【００１５】
図２に示すように、フロントカメラ１１ａは、車両などの移動体１５の前方の周辺領域を撮像可能となるように配置される。リアカメラ１１ｂは、移動体１５の後方の周辺領域を撮像可能となるように配置される。左サイドカメラ１１ｃおよび右サイドカメラ１１ｄは、例えば左右のドアミラー１６において鉛直下向きに、移動体１５の側方の周辺領域をそれぞれ撮像可能となるように配置される。また、左サイドカメラ１１ｃおよび右サイドカメラ１１ｄは、移動体１５の左右両側にそれぞれ対称に配置される。表示装置１３は、運転席から視認可能な位置に配置される。
【００１６】
フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、例えば魚眼レンズなどの画角の広いレンズを備えており、移動体１５の周辺領域を広角撮影可能である。一般に、広角撮影においては広範囲の被写体を撮像可能であり、例えば図３に示すように、画像周辺部における被写体は湾曲して撮像される。本実施形態においてフロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄの撮像画像は、それぞれ図４に示す移動体１５の前方領域Ａ、後方領域Ｂ、左側方領域Ｃ、および右側方領域Ｄにそれぞれ対応する。
【００１７】
次に、撮像装置１１ａ，１１ｂ，１１ｃ，１１ｄの構成について説明する。フロントカメラ１１ａは（図１参照）、光学系１７ａと、撮像素子１８ａと、画像処理部１９ａと、カメラ制御部２０ａと、を備える。
【００１８】
光学系１７ａは、絞りおよび複数のレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系１７ａは広い画角を有しており、上述のように移動体１５の周辺領域に含まれる被写体像を結像可能である。
【００１９】
撮像素子１８ａは、例えばＣＭＯＳ撮像素子であって、光学系１７ａによって結像する被写体像を撮像する。また、撮像素子１８ａは、撮像によって生成した撮像画像を、画像信号として画像処理部１９ａに出力する。
【００２０】
画像処理部１９ａは、撮像素子１８ａから取得した画像信号に対して、ノイズ除去、色補間、明るさ補正、色補正、ガンマ補正、およびホワイトバランスなどの所定の画像処理を施す。画像処理部１９ａは、通常の画像処理を施した画像信号を画像処理装置１２に出力する。
【００２１】
カメラ制御部２０ａは、フロントカメラ１１ａの各部位の動作を制御する。例えば、カメラ制御部２０ａは、撮像素子１８ａおよび画像処理部１９ａの動作を制御して、周期的に、例えば３０ｆｐｓで画像信号を出力させる。
【００２２】
リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、フロントカメラ１１ａと同様に、光学系１７ｂ，１７ｃ，１７ｄ、撮像素子１８ｂ，１８ｃ，１８ｄ、画像処理部１９ｂ，１９ｃ，１９ｄ、およびカメラ制御部２０ｂ，２０ｃ，２０ｄをそれぞれ備える。光学系１７ｂ，１７ｃ，１７ｄ、撮像素子１８ｂ，１８ｃ，１８ｄ、画像処理部１９ｂ，１９ｃ，１９ｄ、およびカメラ制御部２０ｂ，２０ｃ，２０ｄの機能および構成は、フロントカメラ１１ａと同様である。
【００２３】
画像処理装置１２は、画像取得部２１と、制御情報取得部２２と、画像結合部２３と、画像出力部２４と、被写体認識部２５と、を備える。
【００２４】
画像取得部２１は、複数の撮像装置１１ａ，１１ｂ，１１ｃ，１１ｄから撮像画像を取得する。
【００２５】
制御情報取得部２２は、移動体１５の制御情報を取得する。制御情報は、移動体１５の状態に関する種々の情報、例えば、移動体１５の前進、後進、操舵角、および速度を示す情報である。制御情報取得部２２は、任意の方法によって制御情報を取得可能であり、例えば車載ネットワーク１４を介して移動体１５から取得してもよく、あるいは移動体１５に備えられる他の構成要素が出力する制御情報を有線または無線を介して取得してもよい。
【００２６】
画像結合部２３は、以下に説明するように、画像取得部２１が取得した複数の撮像画像を用いて結合画像を生成する。本実施形態において、結合画像は、移動体１５の全周囲俯瞰画像である。俯瞰画像とは、移動体１５の周辺領域を移動体１５の上方から鉛直下向きに見た画像である。
【００２７】
まず、画像結合部２３は、制御情報に応じて、結合画像の生成に用いる各撮像画像の範囲（切出範囲）をそれぞれ決定する。切出範囲を決定する処理の詳細については後述する。
【００２８】
次に、画像結合部２３は、複数の撮像画像から、それぞれ決定した切出範囲を切り出す。
【００２９】
次に、画像結合部２３は、切り出した複数の撮像画像に対して視点変換処理を施し、それぞれ俯瞰画像に変換する。
【００３０】
次に、画像結合部２３は、視点変換処理を施した複数の撮像画像を用いて、結合画像を生成する。さらに、画像結合部２３は、移動体１５を上方から鉛直下向きに見た画像も、結合画像の生成に用いる。例えば、図５に示す結合画像において、結合画像中央の一部領域（車両表示領域）Ｅｉに移動体１５を示す画像が用いられる。領域Ｅｉの前方の領域Ａｉにフロントカメラ１１ａの画像が用いられる。領域Ｅｉの後方の領域Ｂｉにリアカメラ１１ｂの画像が用いられる。領域Ｅｉの左側方の領域Ｃｉに左サイドカメラ１１ｃの画像が用いられる。また、領域Ｅｉの右側方の領域Ｄｉに右サイドカメラ１１ｄの画像が用いられる。
【００３１】
画像出力部２４は（図１参照）、画像結合部２３が生成した結合画像を、表示装置１３が表示可能な所定の画像サイズに変換する。そして、画像出力部２４は、画像サイズを変換した結合画像を表示装置１３に出力する。
【００３２】
被写体認識部２５は、制御情報に応じて、被写体認識を行う撮像画像を決定する。次に、被写体認識部２５は、制御情報に応じて、決定した撮像画像の被写体認識に用いる範囲（認識範囲）を決定する。撮像画像および当該撮像画像の認識範囲を決定する処理の詳細については後述する。
【００３３】
次に、被写体認識部２５は、決定した撮像画像の認識範囲内において被写体認識処理を行う。被写体の認識は、例えばパターン認識など、一般的な物体認識技術を用いて行われる。被写体認識部２５は、障害物など所定の被写体を検出すると、当該被写体の存在を運転者に通知する。通知は、例えば表示装置１３に障害物の存在を示す表示をさせ、または警告音を発生するなど、任意の方法によって行われる。
【００３４】
表示装置１３は、例えばＬＣＤを含んで構成され、リアルタイムの動画像を表示可能である。表示装置１３は、画像処理装置１２が出力した結合画像を表示する。また、表示装置１３は、例えばタッチパネルとして構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。
【００３５】
（切出範囲の決定）
次に、画像処理装置１２の画像結合部２３が行う、切出範囲を決定する処理について詳細に説明する。前述のように、画像処理装置１２の画像結合部２３は、移動体１５の制御情報に応じて切出範囲を決定する。制御情報に応じて異なる切出範囲を決定することによって、切り出す撮像画像に含まれる被写体が変化する。以下、移動体１５が停止しており、操舵角が中立点に位置する状態を基準状態として説明する。後述するように、中立点は、移動体１５の直進時における操舵角である。
【００３６】
前述のように、図４に示す移動体１５の前方領域Ａは、フロントカメラ１１ａの撮像画像に対応する。同様に、移動体１５の後方領域Ｂ、左側方領域Ｃ、および右側方領域Ｄは、それぞれリアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄの撮像画像に対応する。また、図４に示す移動体１５は、車両表示領域ｅに定められる。本実施形態の画像処理装置１２は、制御情報に基づいて移動体１５が基準状態であると判定するとき、移動体１５近傍の前方領域に対応する、フロントカメラ１１ａの撮像画像上の領域を、フロントカメラ１１ａの撮像画像の切出範囲ａに定める。同様に、画像処理装置１２は、移動体１５近傍の後方領域、左側方領域、および右側方領域に対応する撮像画像上の領域を、それぞれリアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄの撮像画像の切出範囲ｂ，ｃ，ｄに定める。このように切出範囲を定めて生成される結合画像（図４の領域Ｆ１に対応）は、移動体１５の画像を結合画像の中心とした移動体１５全周の近景の俯瞰画像である。
【００３７】
画像処理装置１２は、制御情報に基づいて移動体１５の進行方向の変化を検出すると、複数の撮像画像のうち進行方向の周辺領域を撮像した撮像画像の切出範囲を広げる。進行方向は、例えば制御情報に含まれる前進、後進、および操舵角の少なくとも１つを示す情報に基づいて判定可能である。例えば、進行方向は、移動体１５の前後方向成分と左右方向成分との和を用いて判定される。前後方向成分は、前進および後進を示す情報に基づいて決定される。左右方向成分は、操舵角を示す情報に基づいて決定される。本実施形態において、画像処理装置１２が判定する移動体１５の進行方向は、移動体１５の周囲８方向（前方向、後方向、左方向、右方向、左前方向、右前方向、左後方向、右後方向）の何れかであるが、より詳細に進行方向を判定してもよい。例えば、移動体１５の周囲１６方向であってもよい。
【００３８】
本実施形態において、画像処理装置１２は、制御情報に移動体１５の後進および操舵角が中立点位置よりも右に切れていることを示す情報が含まれる場合には、移動体１５の進行方向を右後方向と判定する。このとき、画像処理装置１２は、例えば図６に示すように、右後方向の周辺領域を撮像したリアカメラ１１ｂおよび右サイドカメラ１１ｄの撮像画像の切出範囲ｂ，ｄを、基準状態に対して広げる。このように切出範囲を定めて生成される結合画像（図６の領域Ｆ２に対応）は、基準状態と比較して、移動体１５の進行方向（右後方向）のより遠方に存在する被写体を多く含む。
【００３９】
好適には、画像処理装置１２は、制御情報が示す移動体１５の速度が速いほど、切出範囲を広げる量を増加させる。このようにして、運転者は、移動体１５の速度が速い場合には、結合画像上において進行方向のより遠方に存在する被写体を視認可能となる。
【００４０】
好適には、図７に示すように、画像処理装置１２は、移動体１５の速度が速いほど、基準状態に対して、生成する結合画像に占める車両表示領域ｅの面積を縮小し、当該車両表示領域ｅに合わせて各撮像画像の切出範囲を広げる。このように切出範囲を定めて生成される結合画像（図７の領域Ｆ３に対応）は、基準状態と比較して、移動体１５および移動体１５の周辺領域をズームアウトした俯瞰画像である。このようにして、運転者は、移動体１５の速度が速い場合には、結合画像上においてより遠方に存在する被写体を視認可能である。
【００４１】
（認識範囲の決定）
次に、画像処理装置１２の被写体認識部２５が行う、認識範囲を決定する処理について詳細に説明する。前述のように、被写体認識部２５は、移動体１５の制御情報に応じて、被写体認識を行う撮像画像を決定する。まず、被写体認識部２５は、制御情報に基づいて移動体１５の進行方向を判定する。本実施形態において、画像処理装置１２が判定する移動体１５の進行方向は、移動体１５の周囲斜め４方向（左前方向、右前方向、左後方向、右後方向）の何れかであるが、より詳細に進行方向を判定してもよい。
【００４２】
次に、被写体認識部２５は、移動体１５に対して移動体１５の進行方向と左右反対の方向の周辺領域を撮像した撮像画像を識別し、当該撮像画像について認識範囲を定める。ここで、移動体１５の進行方向と左右反対の方向とは、例えば、進行方向を規定する操舵角
を舵角中立点（中立点）に対して正負を逆にした場合に移動体１５が進む方向である。舵角中立点は、移動体１５の直進時における操舵角である。操舵角は、舵角中立点を０°とすると、操舵輪を右方向に回転させたときに正の値を示し、左方向に回転させたときに負の値を示す。図８に示すように、例えば移動体１５の進行方向が右後方向である場合には、進行方向と左右反対の方向は、左後方向である。このとき、被写体認識部２５は、左後方向の周辺領域Ｇを撮像したリアカメラ１１ｂおよび左サイドカメラ１１ｃの撮像画像について、認識範囲Ｈを定める。このようにして、進行方向である右後方向と比較して運転者が注意を払う蓋然性が低い左後方向の周辺領域において、被写体の検出が行われる。
【００４３】
好適には、被写体認識部２５は、移動体１５の速度および操舵角に応じて、認識範囲を決定する。例えば、被写体認識部２５は、移動体１５の速度が速いほど、画像上の認識範囲に対応する、移動体１５の周辺領域の前後方向の長さｘを増加させるように、認識範囲を決定する。また、被写体認識部２５は、操舵角が中立点から離れているほど、画像上の認識範囲に対応する、移動体１５の周辺領域の左右方向の長さｙを増加させるように、認識範囲を決定する。
【００４４】
次に、本実施形態に係る画像処理装置１２が実行する、結合画像を生成して出力する処理について、図９のフローチャートを用いて説明する。本処理は、例えば運転者が移動体１５を始動させたときに開始され、運転者による終了指示があるまで繰り返し実行される。また、以下の処理は、撮像装置１１が生成する画像信号の各フレームについて実行される。
【００４５】
はじめに、画像取得部２１は、複数の撮像装置１１ａ，１１ｂ，１１ｃ，１１ｄから撮像画像をそれぞれ取得する（ステップＳ１００）。
【００４６】
次に、制御情報取得部２２は、制御情報を取得する（ステップＳ１０１）。
【００４７】
次に、画像結合部２３は、ステップＳ１０１において取得した制御情報に基づいて、ステップＳ１００において取得した複数の撮像画像の切出範囲をそれぞれ決定する（ステップＳ１０２）。
【００４８】
続いて、画像結合部２３は、ステップＳ１００において取得した複数の撮像画像から、ステップＳ１０２において決定した切出範囲をそれぞれ切り出す（ステップＳ１０３）。
【００４９】
続いて、画像結合部２３は、ステップＳ１０３において切り出した複数の撮像画像にそれぞれ視点変換処理を施す（ステップＳ１０４）。
【００５０】
続いて、画像結合部２３は、視点変換処理を施した複数の撮像画像および移動体１５の画像を結合して、結合画像を生成する（ステップＳ１０５）。
【００５１】
そして、画像出力部２４は、画像結合部２３が生成した結合画像を、表示装置１３が表示可能な画像サイズに変換して出力し（ステップＳ１０６）、ステップＳ１００に戻って次のフレームにつき同様の処理を行う。
【００５２】
次に、本実施形態に係る画像処理装置１２の被写体認識部２５が実行する処理について、図１０のフローチャートを用いて説明する。本処理は、例えば運転者が移動体１５を始動させたときに開始され、運転者による終了指示があるまで繰り返し実行される。また、以下の処理は、撮像装置１１が生成する画像信号の各フレームについて実行される。
【００５３】
はじめに、被写体認識部２５は、画像取得部２１から撮像画像をそれぞれ取得する（ステップＳ２００）。
【００５４】
続いて、被写体認識部２５は、制御情報取得部２２から移動体１５の制御情報を取得する（ステップＳ２０１）。
【００５５】
続いて、被写体認識部２５は、取得した制御情報に基づいて移動体１５の進行方向を判定し、当該進行方向と操舵角中立点に対して対称の方向の周辺領域を撮像した撮像画像を識別する（ステップＳ２０２）。
【００５６】
続いて、被写体認識部２５は、ステップＳ２０２において識別した撮像画像について、ステップＳ２０１において取得した制御情報に基づき認識範囲を決定する（ステップＳ２０３）。
【００５７】
そして、被写体認識部２５は、ステップＳ２０３において決定した認識範囲おいて、被写体認識処理を行い（ステップＳ２０４）、ステップＳ２００に戻って次のフレームにつき同様の処理を行う。
【００５８】
このように、本実施形態のカメラシステム１０の画像処理装置１２は、複数の撮像画像それぞれから、制御情報に応じた範囲（切出範囲）を用いて結合画像を生成する。このため、移動体１５の多様な運転状況に応じて運転者が結合画像上で注目する、移動体１５の周辺領域の視認性が向上する。
【００５９】
また、本実施形態において、制御情報は移動体１５の前進、後進、操舵角を含む。このため、画像処理装置１２は移動体１５の進行方向を判定可能であり、移動体１５の進行方向に応じて運転者が結合画像上で注目する、移動体１５の周辺領域の視認性が向上する。
【００６０】
また、本実施形態において、画像処理装置１２は、進行方向の周辺領域を撮像した撮像画像について切出範囲を広げるので、生成される結合画像は、移動体１５の進行方向において、遠方に位置する被写体を含む。このため、運転者が結合画像上で注目する、移動体１５の進行方向の周辺領域の視認性が向上する。
【００６１】
また、本実施形態において、画像処理装置１２は、移動体１５の速度が速いほど切出範囲を広げる量を増加させるので、生成される結合画像は、移動体１５の進行方向において、より遠方に位置する被写体を含む。このため、運転者が結合画像上で注目する、移動体１５の進行方向遠方の周辺領域の視認性がさらに向上する。
【００６２】
また、本実施形態において、画像処理装置１２は、移動体１５の速度が速いほど、結合画像上の車両表示領域を縮小するので、生成される結合画像上で撮像画像が用いられる領域の面積が増加する。このため、運転者が結合画像上で注目する、移動体１５の遠方の周辺領域の視認性がさらに向上する。
【００６３】
また、本実施形態において、画像処理装置１２は、移動体１５に対して移動体１５の進行方向と左右反対の方向の周辺領域を撮像した撮像画像を用いて被写体認識を行う。このようにして、進行方向と比較して運転者が注意を払う蓋然性が低い、進行方向と左右反対の方向の周辺領域について被写体の認識を行うため、運転の安全性がさらに向上する。
【００６４】
また、本実施形態において、画像処理装置１２は、制御情報に応じた範囲（認識範囲）を用いて被写体認識を行う。このようにして、移動体１５の周辺領域において移動体１５の多様な運転状況に応じて変化する、運転者が十分な注意を払う蓋然性の低い領域に存在する被写体が検出可能となり、運転の安全性がさらに向上する。また、撮像画像の認識範囲に対してのみ被写体の認識処理を行えばよいので、処理時間および処理負担が低減される。
【００６５】
また、本実施形態において、画像処理装置１２は、移動体１５の速度に応じて移動体１５の前後方向における認識範囲の長さを決定する。例えば、移動体１５の速度が速いほど認識範囲の前後方向の長さを増加させることによって、より遠方に存在する被写体が検出可能となるため、運転の安全性がさらに向上する。また、画像処理装置１２は、移動体１５の操舵角に応じて移動体１５の左右方向における認識範囲の長さを調整する。例えば、移動体１５の操舵角が中立点から離れるほど認識範囲の左右方向の長さを増加させる。このようにして、運転者にとって死角となる蓋然性の高い、移動体１５の進行方向と左右反対の方向の周辺領域に存在する被写体が検出可能となるため、運転の安全性がさらに向上する。
【００６６】
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。
【００６７】
また、上述の実施形態において、画像処理装置１２は、複数の撮像画像から切出範囲をそれぞれ切り出し、視点変換処理を施して結合画像を生成するが、処理の順序を変更してもよい。例えば、画像処理装置１２は、複数の撮像装置１１ａ，１１ｂ，１１ｃ，１１ｄから取得した撮像画像に視点変換処理をそれぞれ施し、結合画像を生成し、その後に結合画像の切出範囲を決定してもよい。かかる場合には、移動体１５の周辺領域を広く含む結合画像から、決定した切出範囲を切り出して出力する。
【００６８】
また、画像処理装置１２は、撮像装置１１ａ，１１ｂ，１１ｃ，１１ｄの撮像素子１８ａ，１８ｂ，１８ｃ，１８ｄが生成する各画素信号のうち、切出範囲内の撮像画像を構成するために必要な画素の画素信号のみを取得する構成であってもよい。かかる場合には、画像処理装置１２は、撮像画像を切り出す処理を行うことなく、取得した撮像画像を俯瞰画像に変換する処理を行い、結合画像を生成する。
【００６９】
また、画像処理装置１２は、移動体１５の操舵角または速度について所定値以上の変化があった場合に、切出範囲および認識範囲を更新する構成であってもよい。このようにして、運転者による微小な操舵およびアクセル操作もしくはブレーキ操作などによって結合画像の表示が意図せず変化する蓋然性が低減される。
【００７０】
また、上述の実施形態において、切出範囲および認識範囲は、矩形であるものとして説明したが、例えば楕円など任意の形状を採用可能である。
【００７１】
また、画像処理装置１２は、制御情報に基づいて判定する移動体１５の多様な状態と、切出範囲との対応関係を示す対応情報を予め記憶しておき、取得する制御情報に応じた切出範囲を抽出する構成であってもよい。同様に、被写体認識部２５は、制御情報に基づいて判定する移動体１５の多様な状態と、認識範囲との対応関係を示す対応情報を予め記憶しておき、取得する制御情報に応じた認識範囲を抽出する構成であってもよい。
【００７２】
また、上述の実施形態に係るカメラシステム１０の構成要素の一部は、移動体１５の外部に設けられてもよい。例えば、画像処理装置１２などは、携帯電話または外部サーバなどの通信機器として実現され、カメラシステム１０の他の構成要素と有線または無線によって接続されてもよい。
【符号の説明】
【００７３】
１０    カメラシステム
１１ａ，１１ｂ，１１ｃ，１１ｄ    撮像装置
１２    画像処理装置
１３    表示装置
１４    車載ネットワーク
１５    移動体（車両）
１６    ドアミラー
１７ａ，１７ｂ，１７ｃ，１７ｄ    光学系
１８ａ，１８ｂ，１８ｃ，１８ｄ    撮像素子
１９ａ，１９ｂ，１９ｃ，１９ｄ    画像処理部
２０ａ，２０ｂ，２０ｃ，２０ｄ    カメラ制御部
２１    画像取得部
２２    制御情報取得部
２３    画像結合部
２４    画像出力部
２５    被写体認識部
【図１】
2015115103.tif 000003
【図２】
2015115103.tif 000004
【図３】
2015115103.tif 000005
【図４】
2015115103.tif 000006
【図５】
2015115103.tif 000007
【図６】
2015115103.tif 000008
【図７】
2015115103.tif 000009
【図８】
2015115103.tif 000010
【図９】
2015115103.tif 000011
【図１０】
2015115103.tif 000012
【国際調査報告】
2015115103.tif 000013
2015115103.tif 000014
2015115103.tif 000015
2015115103.tif 000016