(57)【要約】【課題】低コスト化の実現が可能であって、高いフレームレートで仮想視点画像を生成する技術を提供する。【解決手段】画像処理装置は、移動体の周辺を撮影する複数のカメラそれぞれで得られた撮影画像を投影画像に変換する変換部と、複数の前記投影画像に基づいて、仮想視点からみた仮想視点画像を生成する生成部と、を備える。前記変換部は、前記撮影画像の解像度に比べて前記投影画像の解像度を低くする縮小処理及び前記撮影画像を仮想投影面に投影する投影処理を行う。【選択図】図１
2017225062.tif 000002
【特許請求の範囲】
【請求項１】
移動体の周辺を撮影する複数のカメラそれぞれで得られた撮影画像を投影画像に変換する変換部と、
複数の前記投影画像に基づいて、仮想視点からみた仮想視点画像を生成する生成部と、を備え、
前記変換部は、前記撮影画像の解像度に比べて前記投影画像の解像度を低くする縮小処理及び前記撮影画像を仮想投影面に投影する投影処理を行うことを特徴とする画像処理装置。
【請求項２】
前記投影処理において、前記変換部は、前記撮影画像の全ての画素を前記仮想投影面に投影することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変換部はハードウェア処理によって画像処理を行い、
前記生成部はソフトウェア処理によって画像処理を行うことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記縮小処理において、前記変換部は、
前記移動体の直進進行方向を撮影する前記カメラで得られた前記撮影画像に対応する前記投影画像の第１方向の解像度のみを低くし、
前記移動体の直進進行方向及び鉛直線に垂直な方向を撮影する前記カメラで得られた前記撮影画像に対応する前記投影画像の第２方向の解像度のみを低くし、
前記第１方向は前記移動体の直進進行方向を撮影する前記カメラの水平方向に対応する方向であり、
前記第２方向は前記移動体の直進進行方向及び鉛直線に垂直な方向を撮影する前記カメラの垂直方向に対応する方向であることを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
前記仮想投影面が曲面を含むことを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記画像処理装置はマルチ画像表示用処理モードを有し、
前記マルチ画像表示用処理モードにおいて、
前記変換部は、前記投影画像のデータと、前記撮影画像の解像度を低減した縮小画像のデータと、を前記生成部に出力し、
前記生成部は、前記仮想視点画像及び少なくとも一つの前記縮小画像に基づいて表示画像を生成し、前記表示画像のデータを出力することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
【請求項７】
前記画像処理装置は非縮小処理モードを有し、
前記非縮小処理モードにおいて、
前記変換部は、複数の前記撮影画像のデータを前記生成部に出力し、
前記生成部は、複数の前記撮影画像に基づいて、前記仮想視点画像を生成することを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
【請求項８】
前記変換部が前記縮小処理を実施する縮小処理モードと前記非縮小処理モードとを前記移動体の速度に応じて切り替えて、切替えたモードで画像処理を実施することを特徴とする請求項７に記載の画像処理装置
【請求項９】
移動体の周辺を撮影する複数のカメラと、
請求項１〜８のいずれか一項に記載の画像処理装置と、を備えることを特徴とする画像処理システム。
【請求項１０】
移動体の周辺を撮影する複数のカメラそれぞれで得られた撮影画像を投影画像に変換する変換工程と、
複数の前記投影画像に基づいて、仮想視点からみた仮想視点画像を生成する生成工程と、を備え、
前記変換工程は、前記撮影画像の解像度に比べて前記投影画像の解像度を低くする縮小処理工程及び前記撮影画像を仮想投影面に投影する投影処理工程を含み、
前記変換工程と前記生成工程とが異なる電子部品を用いて実行されることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する技術に関する。
【背景技術】
【０００２】
車両の周辺を撮影する複数のカメラで得られた複数の撮影画像に基づいて、仮想視点からみた仮想視点画像（代表的には俯瞰画像）を生成し、生成した仮想視点画像を車両内の表示装置に表示する車両周辺監視システムが種々提案されている。このような車両周辺監視システムを利用することにより、乗員（代表的には運転手）は、車両周辺の状況をほぼリアルタイムに監視することができる。
【０００３】
従来、車両周辺監視システムは、車両の停車中又は低速（例えば時速１０ｋｍ以下）走行中だけに利用可能なシステムであった。しかしながら、近年、車両周辺監視システムを車両の停車中又は低速走行中だけでなく、高速（例えば時速１０ｋｍ超）走行中にも利用可能にし、高速走行中における安全性を向上させる取り組みが進められている。
【０００４】
高速走行中に仮想視点画像を車両内の表示装置に表示する場合、仮想視点画像をフレームとして周期的に含む映像信号のフレームレートが低ければ、表示装置に表示される映像がフレーム落ちによって不自然な映像になる。このような映像の不自然さは、車両周辺の状況を乗員が的確に把握することを困難にする。
【０００５】
また、車両の停車中又は低速走行中においても、高いフレームレートで仮想視点画像を生成する技術が求められる場合もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２１４７６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１で提案されている車両周囲監視システムは、高い演算能力を有する映像処理装置を不要としてシステムの高コスト化を抑えるために、車両の運転状況に応じて俯瞰映像のうちの少なくとも一部の領域の解像度又はフレームレートを動的に可変制御する。特許文献１で提案されている車両周囲監視システムは、高速走行中では俯瞰映像の解像度を低減させフレームレートを高くしているので、表示装置に表示される映像がフレーム落ちによって不自然な映像になることを防止することができる。
【０００８】
特許文献１は、俯瞰映像の解像度を低減させる処理として、撮影映像のデータを格納する入力フレームバッファから俯瞰映像のデータを格納する出力フレームバッファに転送する画素を出力映像生成部が間引いて再配置する処理を開示している。しかしながら、特許文献１には、出力映像生成部の具体的な構成に関する開示がない。このため、特許文献１には、出力映像生成部を低コスト化に適した構成にするための知見に関する開示もない。したがって、特許文献１で提案されている車両周囲監視システムでは、低コスト化に適した構成である出力映像生成部が実現されていなかった。
【０００９】
本発明は、上記の課題に鑑み、低コスト化の実現が可能であって、高いフレームレートで仮想視点画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、移動体の周辺を撮影する複数のカメラそれぞれで得られた撮影画像を投影画像に変換する変換部と、複数の前記投影画像に基づいて、仮想視点からみた仮想視点画像を生成する生成部と、を備え、前記変換部は、前記撮影画像の解像度に比べて前記投影画像の解像度を低くする縮小処理及び前記撮影画像を仮想投影面に投影する投影処理を行う構成（第１の構成）である。
【００１１】
また、上記第１の構成の画像処理装置において、前記投影処理において、前記変換部は、前記撮影画像の全ての画素を前記仮想投影面に投影する構成（第２の構成）であることが望ましい。
【００１２】
また、上記第１又は第２の構成の画像処理装置において、前記変換部はハードウェア処理によって画像処理を行い、前記生成部はソフトウェア処理によって画像処理を行う構成（第３の構成）であることが望ましい。
【００１３】
また、上記第１〜第３いずれかの構成の画像処理装置において、前記縮小処理において、前記変換部は、前記移動体の直進進行方向を撮影する前記カメラで得られた前記撮影画像に対応する前記投影画像の第１方向の解像度のみを低くし、前記移動体の直進進行方向及び鉛直線に垂直な方向を撮影する前記カメラで得られた前記撮影画像に対応する前記投影画像の第２方向の解像度のみを低くし、前記第１方向は前記移動体の直進進行方向を撮影する前記カメラの水平方向に対応する方向であり、前記第２方向は前記移動体の直進進行方向及び鉛直線に垂直な方向を撮影する前記カメラの垂直方向に対応する方向である構成（第４の構成）であることが望ましい。
【００１４】
また、上記第１〜第４いずれかの構成の画像処理装置において、前記仮想投影面が曲面を含む構成（第５の構成）であることが望ましい。
【００１５】
また、上記第１〜第５いずれかの構成の画像処理装置において、前記画像処理装置はマルチ画像表示用処理モードを有し、前記マルチ画像表示用処理モードにおいて、前記変換部は、前記投影画像のデータと、前記撮影画像の解像度を低減した縮小画像のデータと、を前記生成部に出力し、前記生成部は、前記仮想視点画像及び少なくとも一つの前記縮小画像に基づいて表示画像を生成し、前記表示画像のデータを出力する構成（第６の構成）であることが望ましい。
【００１６】
また、上記第１〜第６いずれかの構成の画像処理装置において、前記画像処理装置は非縮小処理モードを有し、前記非縮小処理モードにおいて、前記変換部は、複数の前記撮影画像のデータを前記生成部に出力し、前記生成部は、複数の前記撮影画像に基づいて、前記仮想視点画像を生成する構成（第７の構成）であることが望ましい。
【００１７】
また、上記第７の構成の画像処理装置において、前記変換部が前記縮小処理を実施する縮小処理モードと前記非縮小処理モードとを前記移動体の速度に応じて切り替えて、切替えたモードで画像処理を実施する構成（第８の構成）であることが望ましい。
【００１８】
本発明に係る画像処理システムは、移動体の周辺を撮影する複数のカメラと、上記第１〜第８いずれかの構成の画像処理装置と、を備える構成（第９の構成）である。
【００１９】
本発明に係る画像処理方法は、移動体の周辺を撮影する複数のカメラそれぞれで得られた撮影画像を投影画像に変換する変換工程と、複数の前記投影画像に基づいて、仮想視点からみた仮想視点画像を生成する生成工程と、を備え、前記変換工程は、前記撮影画像の解像度に比べて前記投影画像の解像度を低くする縮小処理工程及び前記撮影画像を仮想投影面に投影する投影処理工程を含み、前記変換工程と前記生成工程とが異なる電子部品を用いて実行される構成（第１０の構成）である。
【発明の効果】
【００２０】
本発明によれば、変換部又は変換工程を実行するために用いられる電子部品における画像処理によって、生成部又は生成工程を実行するために用いられる電子部品における画像処理の負荷が小さくなる。そして、本発明によれば、生成部又は生成工程を実行するために用いられる電子部品は、投影画像を生成する処理を行う必要がなく、且つ、撮影画像に比べて解像度の低い投影画像に基づいて仮想視点画像を生成するので、低コスト品を採用しても高いフレームレートに対応できる。その結果、高いフレームレートで仮想視点画像を生成することを低コストで実現できる。
【図面の簡単な説明】
【００２１】
【図１】第１実施形態に係る車両周辺監視システムの構成図
【図２】４つのカメラが車両に配置される位置を示す図
【図３】投影画像及び仮想視点画像の生成手法について説明するための図
【図４】変換部の内部構成を示す図
【図５】撮影画像及び合成画像を示す模式図
【図６】撮影画像及び合成画像を示す模式図
【図７】生成部の画像処理時間を示す模式図
【図８】第２実施形態で用いられる変換部の内部構成を示す図
【発明を実施するための形態】
【００２２】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、自動車の直進進行方向であって、運転席からステアリングに向かう方向を「前方向」と呼ぶ。また、自動車の直進進行方向であって、ステアリングから運転席に向かう方向を「後方向」と呼ぶ。また、自動車の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」と呼ぶ。また、自動車の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」と呼ぶ。
＜＜１．第１実施形態＞＞
＜１−１．システムの構成＞
図１は、第１実施形態に係る車両周辺監視システムの構成を示す図である。図１に示す車両周辺監視システムＳＹＳ１は、撮影部１及び画像処理装置２を有する画像処理システムＳＹＳ２と、表示装置３と、を備える。
【００２３】
撮影部１は、４つのカメラ１１〜１４を備える。図２は、４つのカメラ１１〜１４が自動車４に配置される位置を示す図である。
【００２４】
カメラ１１は自動車４の前端に設けられる。このため、カメラ１１をフロントカメラ１１とも呼ぶ。フロントカメラ１１の光軸１１ａは平面視で自動車４の前後方向に沿っている。フロントカメラ１１は自動車４の前方向を撮影する。カメラ１４は自動車４の後端に設けられる。このため、カメラ１４をバックカメラ１４とも呼ぶ。バックカメラ１４の光軸１４ａは平面視で自動車４の前後方向に沿っている。バックカメラ１４は自動車４の後方向を撮影する。フロントカメラ１１及びバックカメラ１４の取付位置は、自動車４の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００２５】
カメラ１２は自動車４の左側ドアミラー４１に設けられる。このため、カメラ１２を左サイドカメラ１２とも呼ぶ。左サイドカメラ１２の光軸１２ａは平面視で自動車４の左右方向に沿っている。左サイドカメラ１２は自動車４の左方向を撮影する。カメラ１３は自動車４の右側ドアミラー４２に設けられる。このため、カメラ１３を右サイドカメラ１３とも呼ぶ。右サイドカメラ１３の光軸１３ａは平面視で自動車４の左右方向に沿っている。右サイドカメラ１３は自動車４の右方向を撮影する。
【００２６】
各カメラ１１〜１４の水平方向の画角θは１８０度以上である。このため、自動車４の水平方向における全周囲を各カメラ１１〜１４によって撮影することができる。
【００２７】
図１に戻り、車両周辺監視システムＳＹＳ１に関する説明を続ける。各カメラ１１〜１４は、撮影画像のアナログデータをフレームとして周期的に含むアナログコンポジット映像信号Ｓ１１〜Ｓ１４を画像処理装置２に出力する。アナログコンポジット映像信号Ｓ１１〜Ｓ１４のフレームレートは毎秒３０フレームであり、アナログコンポジット映像信号Ｓ１１〜Ｓ１４に含まれる撮影画像の解像度（サイズ）は、７２０ピクセル×４８０ピクセル（水平方向ピクセル×垂直方向ピクセル）である。
【００２８】
画像処理装置２は、変換部２１と、生成部２２と、記憶部２３と、を備える。
【００２９】
変換部２１は、各カメラ１１〜１４で得られた撮影画像を投影画像に変換する。また、変換部２１は、撮影画像の解像度に比べて投影画像の解像度を低くする縮小処理及び撮影画像を仮想投影面に投影する投影処理を行う。投影画像を生成する手法の詳細及び変換部２１の内部構成については後述する。
【００３０】
生成部２２は、複数の投影画像に基づいて、仮想視点からみた仮想視点画像を生成する。より詳細には、生成部２２は、変換部２１から出力される投影画像のデジタルデータを記憶部２３に書き込み、記憶部２３から読み出した投影画像のデジタルデータを用いて仮想視点画像を生成する。仮想視点画像を生成する手法の詳細については後述する。また、生成部２２は、仮想視点画像に基づく表示画像を生成し、表示画像のデジタルデータをフレームとして周期的に含むデジタル映像信号Ｓ２を表示装置３に出力する。なお、仮想視点画像に基づく表示画像は、仮想視点画像自体であってもよい。
【００３１】
記憶部２３は、生成部２２によって制御され、投影画像のデータ等を記憶する。記憶部２３としては、例えばＤＤＲ（Double Data Rate）メモリを用いることができる。
【００３２】
表示装置３は、デジタル映像信号Ｓ２に基づいて表示画像を表示画面に表示する。表示装置３は、自動車４の乗員（代表的には運転手）が表示装置３の表示画面を視認できる位置に設けられる。
＜１−２．投影画像及び仮想視点画像の生成手法＞
次に、投影画像及び仮想視点画像の生成手法について説明する。図３は、投影画像及び仮想視点画像の生成手法について説明するための図である。
【００３３】
変換部２１は、仮想的な三次元空間における仮想投影面５の第１領域Ｒ１に撮影画像Ｐ１１を投影して、撮影画像Ｐ１１を第１の投影画像に変換する。同様に、変換部２１は、仮想投影面５の第２〜第４領域Ｒ２〜Ｒ４それぞれに撮影画像Ｐ１２〜１４を投影して、撮影画像Ｐ１２〜Ｐ１４それぞれを第２〜第４の投影画像に変換する。なお、撮影画像Ｐ１１は、フロントカメラ１１の撮影画像であり、撮影画像Ｐ１４は、バックカメラ１４の撮影画像である。また、撮影画像Ｐ１２は左サイドカメラ１２の撮影画像であり、撮影画像Ｐ１３は右サイドカメラ１３の撮影画像である。
【００３４】
さらに、図３において各撮影画像の下に図示した矢印は、撮影に用いられたカメラの水平方向を示している。撮影画像Ｐ１１及びＰ１４では、自動車４の左右方向がカメラの水平方向になっている。一方、撮影画像Ｐ１２及びＰ１３では、自動車４の前後方向がカメラの水平方向になっている。
【００３５】
仮想投影面５は、例えば略半球状（お椀形状）をしている。仮想投影面５の中心部分（お椀の底部分）は、自動車４が存在する位置として定められている。このように仮想投影面５が曲面を含むようにすることで、自動車４から離れた位置に存在する物体の像の歪みを少なくすることができる。また、第１〜第４領域Ｒ１〜Ｒ４それぞれは、隣接する他の領域と重複する部分を有している。このような重複部分を設けることで、領域の境界部分に投影される物体の像が投影画像から消失することを防止することができる。
【００３６】
生成部２２は、変換部２１から第１〜第４の投影画像のデータを受け取り、第１〜第４の投影画像を仮想投影面５の第１〜第４領域Ｒ１〜Ｒ４に仮想的に貼り付ける。
【００３７】
また、生成部２２は、自動車４の三次元形状を示すポリゴンのモデルを仮想的に構成する。この自動車４のモデルは、仮想投影面５が設定される仮想的な三次元空間において、自動車４が存在する位置として定められた位置（仮想投影面５の中心部分）に配置される。
【００３８】
さらに、生成部２２は、仮想投影面５が設定される仮想的な三次元空間において、仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置及び視野方向によって規定される。仮想投影面５の少なくとも一部が視野に入る限り、仮想視点ＶＰの視点位置及び視野方向は、任意の視点位置及び任意の視野方向に設定することができる。
【００３９】
生成部２２は、設定した仮想視点ＶＰに応じて、仮想投影面５における必要な領域（仮想視点ＶＰからみえる領域）の画像を仮想的に切り出す。また、生成部２２は、設定した仮想視点ＶＰに応じて、ポリゴンのモデルに関してレンダリングを行い、自動車４のレンダリング像を生成する。そして、生成部２２は、切り出した画像に対して自動車４のレンダリング像を重畳して仮想視点ＶＰからみた仮想視点画像ＣＰを生成する。
【００４０】
例えば、視点位置が自動車４の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、生成部２２は、自動車４の略直上から自動車４を見下ろすように自動車４及び自動車４の周辺の領域を示す仮想視点画像ＣＰａを生成する。また例えば、視点位置が自動車４の位置の左後方で、視野方向が自動車４における略前方向とした仮想視点ＶＰｂを設定した場合は、生成部２２は、自動車４の左後方からその周辺全体を見渡すように自動車４及び自動車４の周辺の領域を示す仮想視点画像ＣＰｂを生成する。
＜１−３．変換部の内部構成＞
次に、変換部２１の内部構成について説明する。図４は、変換部２１の内部構成を示す図である。
【００４１】
変換部２１は、４つのアナログコンポジット映像信号Ｓ１１〜Ｓ１４を入力し、４つのデジタル映像信号Ｓ２１Ａ〜Ｓ２１Ｄを出力する電子部品である。
【００４２】
変換部２１は、Ａ／Ｄ変換回路２０１Ａと、ＹＣ分離回路２０２Ａと、同期分離回路２０３Ａと、ラインメモリ２０４Ａと、水平方向縮小処理回路２０５Ａと、投影処理・水平方向縮小処理回路２０６Ａと、画像合成回路２０７Ａと、フォーマット変換回路２０８Ａと、を備える。これらの回路（第１ｃｈ回路）によってアナログコンポジット映像信号Ｓ１１がデジタル映像信号Ｓ２１Ａに変換される。
【００４３】
Ａ／Ｄ変換回路２０１Ａは、アナログコンポジット映像信号Ｓ１１をデジタルコンポジット映像信号に変換し、変換したデジタルコンポジット映像信号をＹＣ分離回路２０２Ａ及び同期分離回路２０３Ａに送る。
【００４４】
ＹＣ分離回路２０２Ａは、デジタルコンポジット映像信号をＹ（輝度）信号とＣ（色差）信号とに分離し、分離したＹ（輝度）信号及びＣ（色差）信号をラインメモリ２０４Ａに送る。
【００４５】
同期分離回路２０３Ａは、デジタルコンポジット映像信号から水平同期信号及び垂直同期信号を検出し、検出した水平同期信号及び垂直同期信号をラインメモリ２０４Ａに送る。
【００４６】
ラインメモリ２０４Ａは、Ｙ（輝度）信号及びＣ（色差）信号の書き込み及び読み出しを、水平同期信号及び垂直同期信号に従って各撮影画像Ｐ１１（図３参照）について水平方向ライン単位で行う。
【００４７】
水平方向縮小処理回路２０５Ａは、撮影画像Ｐ１１の第１方向（フロントカメラ１１の水平方向に対応する方向）の解像度を半分に低減した縮小画像ＲＤ１１を生成する。
【００４８】
投影処理・水平方向縮小処理回路２０６Ａは、撮影画像Ｐ１１を仮想投影面５（図３参照）に投影する投影処理を実行する。さらに、投影処理・水平方向縮小処理回路２０６Ａは、投影画像ＰＪ１１の第１方向（フロントカメラ１１の水平方向に対応する方向）の解像度のみを低くすることによって、投影画像ＰＪ１１の解像度を撮影画像Ｐ１１の解像度の半分に低減する縮小処理を実行する。
【００４９】
上記の投影処理及び縮小処理を実行する具体的な手法としては、撮影画像Ｐ１１の第１方向（フロントカメラ１１の水平方向に対応する方向）の解像度を半分に低減した縮小画像を生成し、又は、水平方向縮小処理回路２０５Ａから縮小画像を受け取り、その縮小画像を仮想投影面５に投影する手法が考えられる。しかしながら、この手法では投影に用いられる画素数が撮影画像Ｐ１１の半分になるため、投影画像の画質が悪くなることが懸念される。
【００５０】
したがって、上記の投影処理及び縮小処理を実行する具体的な手法としては、撮影画像Ｐ１１の全ての画素を仮想投影面５に投影し、投影された画素を間引くことによって投影画像ＰＪ１１の解像度を低減する手法が望ましい。すなわち、仮想投影面５に画像を投影した後に水平方向の画素を間引く手法が、仮想投影面５に画像を投影する前に水平方向の画素を間引く手法よりも望ましい。この仮想投影面５に画像を投影した後に水平方向の画素を間引く手法では、撮影画像Ｐ１１の全ての画素が仮想投影面５への投影に用いられるため、解像度低減による投影画像の画質悪化を少なくすることができる。
【００５１】
画像合成回路２０７Ａは、水平方向縮小処理回路２０５Ａによって生成された縮小画像ＲＤ１１と、投影処理・水平方向縮小処理回路２０６Ａによって生成された投影画像ＰＪ１１とを水平方向に並ぶように合成することによって、合成画像ＣＯＭ１１を生成する。図５の模式図に示すように、合成画像ＣＯＭ１１のデータは撮影画像Ｐ１１のデータと同様に７２０ピクセル×４８０ピクセルの画像データにすることができる。
【００５２】
フォーマット変換回路２０８Ａは、各合成画像ＣＯＭ１１のデータを国際標準規格（ＩＴＵ−Ｒ  ＢＴ６５６）で定められた形式に変換し、各合成画像ＣＯＭ１１をフレームとする国際標準規格（ＩＴＵ−Ｒ  ＢＴ６５６）で定められた形式のデジタル映像信号Ｓ２１Ａを出力する。
【００５３】
また、変換部２１は、Ａ／Ｄ変換回路２０１Ｂと、ＹＣ分離回路２０２Ｂと、同期分離回路２０３Ｂと、ラインメモリ２０４Ｂと、垂直方向縮小処理回路２０５Ｂと、投影処理・垂直方向縮小処理回路２０６Ｂと、画像合成回路２０７Ｂと、フォーマット変換回路２０８Ｂと、を備える。これらの回路（第２ｃｈ回路）によってアナログコンポジット映像信号Ｓ１２がデジタル映像信号Ｓ２１Ｂに変換される。第２ｃｈ回路については第１ｃｈ回路との相違点を中心に説明し、第１ｃｈ回路と同様の部分については適宜説明を省略する。
【００５４】
垂直方向縮小処理回路２０５Ｂは、撮影画像Ｐ１２の第２方向（左サイドカメラ１２の垂直方向に対応する方向）の解像度を半分に低減した縮小画像ＲＤ１２を生成する。
【００５５】
投影処理・垂直方向縮小処理回路２０６Ｂは、撮影画像Ｐ１２を仮想投影面５（図３参照）に投影する投影処理を実行する。さらに、投影処理・垂直方向縮小処理回路２０６Ｂは、投影画像ＰＪ１２の第２方向（左サイドカメラ１２の垂直方向に対応する方向）の解像度のみを低くすることによって、投影画像ＰＪ１２の解像度を撮影画像Ｐ１２の解像度の半分に低減する縮小処理を実行する。
【００５６】
上記の投影処理及び縮小処理を実行する具体的な手法としては、撮影画像Ｐ１２の第２方向（左サイドカメラ１２の垂直方向に対応する方向）の解像度を半分に低減した縮小画像を生成し、又は、垂直方向縮小処理回路２０５Ｂから縮小画像を受け取り、その縮小画像を仮想投影面５に投影する手法が考えられる。しかしながら、この手法では投影に用いられる画素数が撮影画像Ｐ１２の半分になるため、投影画像の画質が悪くなることが懸念される。
【００５７】
したがって、上記の投影処理及び縮小処理を実行する具体的な手法としては、撮影画像Ｐ１２の全ての画素を仮想投影面５に投影し、投影された画素を間引くことによって投影画像ＰＪ１２の解像度を低減する手法が望ましい。すなわち、仮想投影面５に画像を投影した後に垂直方向の画素を間引く手法が、仮想投影面５に画像を投影する前に垂直方向の画素を間引く手法よりも望ましい。この仮想投影面５に画像を投影した後に垂直方向の画素を間引く手法では、撮影画像Ｐ１２の全ての画素が仮想投影面５への投影に用いられるため、解像度低減による投影画像の画質悪化を少なくすることができる。
【００５８】
画像合成回路２０７Ｂは、垂直方向縮小処理回路２０５Ｂによって生成された縮小画像ＲＤ１２と、投影処理・垂直方向縮小処理回路２０６Ｂによって生成された投影画像ＰＪ１２とを垂直方向に並ぶように合成することによって、合成画像ＣＯＭ１２を生成する。図６の模式図に示すように、合成画像ＣＯＭ１２のデータは撮影画像Ｐ１２のデータと同様に７２０ピクセル×４８０ピクセルの画像データにすることができる。
【００５９】
また、変換部２１は、Ａ／Ｄ変換回路２０１Ｃと、ＹＣ分離回路２０２Ｃと、同期分離回路２０３Ｃと、ラインメモリ２０４Ｃと、垂直方向縮小処理回路２０５Ｃと、投影処理・垂直方向縮小処理回路２０６Ｃと、画像合成回路２０７Ｃと、フォーマット変換回路２０８Ｃと、を備える。これらの回路（第３ｃｈ回路）によってアナログコンポジット映像信号Ｓ１３がデジタル映像信号Ｓ２１Ｃに変換される。第３ｃｈ回路は第２ｃｈ回路と同一構成の回路であるため、第３ｃｈ回路に関する詳細な説明は省略する。
【００６０】
また、変換部２１は、Ａ／Ｄ変換回路２０１Ｄと、ＹＣ分離回路２０２Ｄと、同期分離回路２０３Ｄと、ラインメモリ２０４Ｄと、水平方向縮小処理回路２０５Ｄと、投影処理・水平方向縮小処理回路２０６Ｄと、画像合成回路２０７Ｄと、フォーマット変換回路２０８Ｄと、を備える。これらの回路（第４ｃｈ回路）によってアナログコンポジット映像信号Ｓ１４がデジタル映像信号Ｓ２１Ｄに変換される。第４ｃｈ回路は第１ｃｈ回路と同一構成の回路であるため、第４ｃｈ回路に関する詳細な説明は省略する。
＜１−４．比較例との比較＞
次に、上述した本実施形態に係る車両周辺監視システムＳＹＳ１と比較例に係る車両周辺監視システムとを比較する。
【００６１】
比較例に係る車両周辺監視システムは、車両周辺監視システムＳＹＳ１の変換部をＡ／Ｄ変換回路、ＹＣ分離回路、同期分離回路、及びフォーマット変換回路のみを備えるように変更した構成である。このため、比較例に係る車両周辺監視システムでは、生成部が撮影画像と同一解像度の投影画像を生成することになる。
【００６２】
図７は、車両周辺監視システムＳＹＳ１の生成部２２が１フレームを画像処理する時間Ｈ２（ｔ０〜ｔ１）と、比較例に係る車両周辺監視システムの生成部が１フレームを画像処理する時間Ｈ１（ｔ０〜ｔ２）と、を模式的に示す図である。なお、図７は、仮想視点画像とフロントカメラ１１の撮影画像又は縮小画像とを含む表示画像を生成する場合の画像処理時間を示している。
【００６３】
撮影画像の画素数と合成画像の画素数とが同一であるため（図５及び図６参照）、比較例に係る生成部が４つの撮影画像を取り込むために要する時間Ｔ１１と、本実施形態に係る生成部２２が４つの合成画像を取り込むために要する時間Ｔ２１とは同じである。一方、縮小画像の画素数は撮影画像の画素数の半分であるため（図５参照）、本実施形態に係る生成部２２がフロントカメラの撮影画像を取り出すために要する時間Ｔ２２は、比較例に係る生成部がフロントカメラの撮影画像を取り出すために要する時間Ｔ１２の半分になる。さらに、本実施形態に係る生成部２２は、投影画像を生成する必要がないため、投影画像を生成するために要する時間Ｔ１３、Ｔ１４、Ｔ１５、およびＴ１６をなくすことができる。また、本実施形態に係る生成部２２は、撮影画像に比べて解像度の低い投影画像に基づいて仮想視点画像を生成するので、仮想視点画像を生成するために要する時間Ｔ２３を比較例に係る生成部の仮想視点画像を生成するために要する時間Ｔ１７よりも短くすることができる。なお、比較例に係る表示画像を生成するために要する時間Ｔ１８と、本実施形態に係る生成部２２が表示画像を生成するために要する時間Ｔ２４とは同じである。
【００６４】
比較例に係る生成部における１フレーム画像処理時間に対する投影画像生成時間の割合によって具体的な数値は異なってくるが、本実施形態に係る生成部２２の１フレーム画像処理時間は比較例に係る生成部の１フレーム画像処理時間のおよそ半分以下にすることができる。したがって、本実施形態に係る生成部２２に低コスト品を採用しても高いフレームレート（例えば毎秒３０フレーム）に対応できる。その結果、高いフレームレートで仮想視点画像を生成することを低コストで実現することができる。
【００６５】
ところで、仮想視点画像では、投影画像同士の境界に該当する部分で像が二重になってしまうことがある。このため、投影画像同士の境界に該当する部分に物体が存在すると、その物体が仮想視点画像において不明瞭になる可能性がある。しかしながら、本実施形態に係る生成部２２では、１フレーム画像処理時間に余裕が生じているため、仮想視点画像の生成における投影画像同士の境界に該当する部分の処理を比較例よりも高度な処理にすることが可能になり、投影画像同士の境界に該当する部分の像を改善することができる。
【００６６】
なお、上記の比較検討においては、本実施形態に係る変換部２１の１フレーム画像処理時間及びコストが考慮されていないが、本実施形態に係る変換部２１は表示画像に関する処理を行わないため投影画像の生成に適した回路構成にすることが容易である。このため、本実施形態に係る変換部２１の１フレーム画像処理時間は本実施形態に係る生成部２２の１フレーム画像処理時間より短くすることができ、比較例に係る変換部に対する本実施形態に係る変換部２１の回路増加分に対するコストアップを少なくすることができる。
【００６７】
本実施形態に係る変換部２１は、ハードウェア処理によって画像処理を行う電子部品であることが望ましい。ハードウェア処理によると、ソフトウェア処理よりも高速で投影画像を生成できるからである。特に本実施形態のように仮想投影面５が曲面を含む場合には、撮影画像を投影画像に変換するための処理が複雑になり時間がかかるため、ハードウェア処理によって投影画像を生成することが望ましい。ハードウェア処理によって画像処理を行う電子部品としては、例えばＡＳＩＣ（Application Specific Integrated Circuit）を挙げることができる。なお、ソフトウェア処理と異なりハードウェア処理では、撮影画像を投影画像に変換する変換アルゴリズムの微調整が困難になる。しかしながら、例えば、カメラ毎に変換アルゴリズムを調整する、一つの撮影画像を２つの領域に分割し、領域毎で変換アルゴリズムを調整する等の程度であれば、ハードウェア処理でも十分に対応できる。
【００６８】
一方、本実施形態に係る生成部２２は、ソフトウェア処理によって画像処理を行う電子部品であることが望ましい。本実施形態に係る生成部２２は、表示画像に関する多様な処理を容易に実行できなければならないからである。ソフトウェア処理によって画像処理を行う電子部品としては、例えばＳｏＣ（System on Chip）を挙げることができる。
【００６９】
自動車４が走行中である場合、自動車４の周辺に存在する移動物体（代表的には自動車）は自動車４の前後方向に概ね沿って移動している。したがって、自動車４が走行中である場合、自動車４の前後方向に概ね沿って移動する物体の情報が重要になる。
【００７０】
本実施形態に係る変換部２１は、フロントカメラ１１及びバックカメラ１４で得られた撮影画像に対応する投影画像の第１方向（カメラの水平方向に対応する方向）の解像度のみを低くし、左サイドカメラ１２及び右サイドカメラ１３で得られた撮影画像に対応する投影画像の第２方向（カメラの垂直方向に対応する方向）の解像度のみを低くしている。したがって、本実施形態に係る生成部２２によって生成される仮想視点画像は、縮小処理を実施しているにもかかわらず、縮小処理を実施していない比較例に係る車両周辺監視システムで生成される仮想視点画像とほぼ同程度の自動車４の前後方向に関する情報量を有している。
【００７１】
また、本実施形態に係る生成部２２は、撮影画像の解像度を低減した縮小画像を本実施形態に係る変更部２１から取得しているため、仮想視点画像と縮小画像とに基づいて表示画像を生成することができる。本実施形態に係る生成部２２は、縮小画像を加工（例えば一部切り出し加工等）することによって、撮影画像の加工画像と同一内容の画像を表示画像に含めることができる。また、本実施形態に係る生成部２２は、マルチ画像表示用処理モード時に仮想視点画像と縮小画像とに基づいて表示画像を生成するが、処理モードの変更により、仮想視点画像のみに基づいて表示画像を生成することも可能であり、縮小画像のみに基づいて表示画像を生成することも可能である。
＜＜２．第２実施形態＞＞
次に、第２実施形態に係る車両周辺監視システムについて説明する。第２実施形態に係る車両周辺監視システムは、第１実施形態に係る車両周辺監視システムに対して画像処理装置２の変換部２１の内部構成が異なっており、それ以外の部分については第１実施形態に係る車両周辺監視システムと同一の構成である。
【００７２】
図８は、第２実施形態に係る車両周辺監視システムで用いられる変更部２１の内部構成を示す図である。
【００７３】
図８に示す変更部２１は、縮小処理モードと非縮小処理モードを有している。縮小処理モードにおける図８に示す変更部２１の動作は、第１実施形態での変更部２１の動作と同一である。一方、非縮小処理モードにおいて図８に示す変更部２１では、ラインメモリ２０４Ａ〜２０４Ｄと、水平方向縮小処理回路２０５Ａ及び２０５Ｄと、投影処理・水平方向縮小処理回路２０６Ａ及び２０６Ｄと、垂直方向縮小処理回路２０５Ｂ及び２０５Ｃと、投影処理・垂直方向縮小処理回路２０６Ｂ及び２０６Ｃと、画像合成回路２０７Ａ〜２０７Ｄとが動作を停止し、フォーマット変換回路２０８Ａ〜２０８ＤがＹＣ分離回路２０２Ａ〜２０２Ｄ及び同期分離回路２０３Ａ〜２０３Ｄの出力を用いて各撮影画像のデータをフォーマット変換する。非縮小処理モードでは、生成部２２が投影画像の生成を行う。生成部２２に低コスト品を採用している場合、非縮小処理モードではフレームレートが低くなるが、画像の縮小処理が行われないので仮想視点画像の画質を縮小処理モードよりも向上させることができる。
【００７４】
例えば、画像処理装置２が自動車４の車速に関する情報を取得するようにし、自動車４の車速に応じて縮小処理モードと非縮小処理モードとを切替えてもよい。具体的には、自動車４の停車中又は低速（例えば時速１０ｋｍ以下）走行中には画像処理装置２が非縮小処理モードを選択し、自動車４の高速（例えば時速１０ｋｍ超）走行中には画像処理装置２が縮小処理モードを選択するようにすればよい。これによれば、停車中または低速走行中においては、仮想視点画像の画質を向上させることができる。一方で、高速走行中においては、比較的高いフレームレートを維持できるため、乗員が自動車４の周囲を的確に把握することができる。
＜＜３．留意点＞＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。
【００７５】
例えば、上記実施形態では車両周辺監視システムを自動車に搭載したが、自動車以外の車両に搭載してもよい。自動車以外の車両としては、例えば、軌道上を走行する車両（代表的には電車）、自動二輪車を挙げることができる。また、車両周辺監視システムと同様の構成である移動体周辺監視システムを車両以外の移動体に搭載してもよい。車両以外の移動体としては、例えば船舶を挙げることができる。
【００７６】
本発明は、遠隔操作によって運転制御される移動体（例えばドローンと呼ばれる遠隔操作型飛行体等）に対しても適用することができる。この場合、例えば、画像処理装置全体を移動体に搭載し、画像処理装置の出力を遠隔操作装置に搭載された表示装置に無線送信するとよい。また、画像処理装置の変換部を移動体に搭載し、画像処理装置の生成部を遠隔操作装置に搭載し、画像処理装置の変換部の出力を遠隔操作装置に搭載された画像処理装置の生成部に無線送信してもよい。また、画像処理装置全体を遠隔操作装置に搭載し、カメラの出力を遠隔操作装置に搭載された遠隔操作装置に無線送信してもよい。
【００７７】
また、上記実施形態では、フロントカメラ１１及びバックカメラ１４で得られた撮影画像に対応する投影画像の第１方向（カメラの水平方向に対応する方向）の解像度のみを低くし、左サイドカメラ１２及び右サイドカメラ１３で得られた撮影画像に対応する投影画像の第２方向（カメラの垂直方向に対応する方向）の解像度のみを低くしている。しかしながら、本発明はこの投影画像に関する縮小処理に限定されない。例えば、全てのカメラ１１，１２，１３，１４で得られた撮影画像に関して、該撮影画像に対応する投影画像の第１方向（カメラの水平方向に対応する方向）の解像度のみを低くしてもよい。
【００７８】
画像処理装置の生成部での画像処理の負荷をより一層低減するために、カメラ１１〜１４で得られた撮影画像に対応する投影画像の第１方向及び第２方向の解像度を低くしてもよい。
【００７９】
信号機が設置されていない交差点の周辺等では自動車の左右方向に概ね沿って移動する物体の情報が重要になる。したがって、このような状況を考慮して、フロントカメラ１１及びバックカメラ１４で得られた撮影画像に対応する投影画像の第２方向の解像度のみを低くしてもよい。
【００８０】
また、上記実施形態では、４つのカメラから取得される４つの撮影画像に基づく処理について説明した。しかしながら、カメラと撮影画像の数は４つに限られることなく、複数のカメラであればよい。一例として、各カメラの水平方向の画角θが比較的広い場合は、４つよりも少ない３つのカメラから取得される３つの撮影画像に基づき、本実施形態の処理を行うようにしてもよい。さらに、別の例として、各カメラの水平方向の画角θが比較的狭い場合は、４つよりも多い５つのカメラから得られる５つの撮影画像に基づき、本実施形態の処理を行うようにしてもよい。
【００８１】
また、画像処理装置の変換部の回路規模は増大するが、画像処理装置の変換部を投影画像に関する縮小処理が複数種類実行可能な回路構成とし、例えばナビゲーションシステムから取得可能な地図情報、車両本体の電子制御ユニットから取得可能な車速情報等に応じて、実行する投影画像に関する縮小処理の種類を切り替えるようにしてもよい。
【００８２】
すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。
【符号の説明】
【００８３】
１  撮影部
１１〜１４  カメラ
２  画像処理装置
２１  変換部
２２  生成部
２３  記憶部
３  表示装置
４  自動車
４１  左側ドアミラー
４２  右側ドアミラー
ＳＹＳ１  車両周辺監視システム
ＳＹＳ２  画像処理システム
【図１】
2017225062.tif 000003
【図２】
2017225062.tif 000004
【図３】
2017225062.tif 000005
【図４】
2017225062.tif 000006
【図５】
2017225062.tif 000007
【図６】
2017225062.tif 000008
【図７】
2017225062.tif 000009
【図８】
2017225062.tif 000010