(57)【要約】  本開示は、より少ない視線移動で障害物との間隔を把握することができるようにする画像処理装置、画像処理方法、および画像表示システムに関する。ステレオ撮像装置は、車両の前方の測定対象範囲を画角としてステレオ画像を撮像し、表示装置が、車両内のドライバの視点位置から見て測定対象範囲の一部を少なくとも覆うように配置される。そして、距離測定部が、ステレオ画像を用いて測定対象範囲にある他の物体までの距離を測定して、所定距離以内にある他の物体を障害物として特定し、画像生成部は、車両内のドライバの視点位置から障害物を見た方向の上方にミラーを仮想的に配置したとして、そのミラーによる反射によって、少なくとも車両および障害物が見えるような仮想ミラー画像を生成し、表示装置に表示させる。本技術は、例えば、車載用の画像表示システム適用できる。
2019049709.tif 000002
【特許請求の範囲】
【請求項１】
所定の移動物体から測定対象範囲にある他の物体までの距離を測定して、所定距離以内にある前記他の物体を障害物として特定する距離測定部と、
前記移動物体内の所定の視点位置から前記障害物を見た方向の上方にミラーを仮想的に配置したとして、そのミラーによる反射によって、少なくとも前記移動物体および前記障害物が見えるような仮想ミラー画像を生成し、前記視点位置から見て前記測定対象範囲の一部を少なくとも覆うように配置されている表示装置に表示させる画像生成部と
を備える画像処理装置。
【請求項２】
前記画像生成部は、前記視点位置から前記障害物が見える方向となる表示位置に、前記仮想ミラー画像を表示する
請求項１に記載の画像処理装置。
【請求項３】
前記画像生成部は、前記測定対象範囲を画角として画像を撮像する撮像装置により、前記視点位置よりも高い位置から撮像された画像を視点変換することで、前記仮想ミラー画像を生成する
請求項１に記載の画像処理装置。
【請求項４】
前記撮像装置により撮像された前記画像に基づいて、前記距離測定部により特定された前記障害物の属性を認識する物体認識処理部をさらに備え、
前記画像生成部は、前記障害物の属性を示す画像を、前記障害物の位置に応じて前記表示装置に表示させる
請求項３に記載の画像処理装置。
【請求項５】
少なくとも前記測定対象範囲を含む前記移動物体の周辺環境にある前記他の物体を三次元的な形状で表した３Ｄモデルを作成する３Ｄモデリング部をさらに備え、
前記画像生成部は、前記３Ｄモデルに基づいて、少なくとも前記移動物体および前記障害物が前記視点位置から前記仮想ミラー画像により見えるように仮想的に配置される前記ミラーの位置および姿勢を決定する
請求項１に記載の画像処理装置。
【請求項６】
前記画像生成部は、前記３Ｄモデルを使用して、仮想的に配置された前記ミラー側から前記移動物体および前記障害物の間を見る方向でレンダリングすることにより、前記仮想ミラー画像を生成する
請求項５に記載の画像処理装置。
【請求項７】
前記移動物体の運動を推定する運動推定部をさらに備え、
前記３Ｄモデリング部は、前記運動推定部により推定される前記移動物体の運動、および、前記距離測定部により測定される前記他の物体までの距離に基づいて前記３Ｄモデルを作成する
請求項５に記載の画像処理装置。
【請求項８】
前記３Ｄモデリング部は、作成した前記３Ｄモデルを蓄積しておき、前記運動推定部により推定される前記移動物体の運動に従って、前記距離測定部により測定することができない死角に入った前記障害物の位置を推定して前記３Ｄモデルを作成する
請求項７に記載の画像処理装置。
【請求項９】
前記測定対象範囲を画角として画像を撮像する撮像部を少なくとも２つ備え、それらの撮像部によって視差を有するステレオ画像を撮像するステレオ画像撮像部
をさらに備え、
前記距離測定部は、前記ステレオ画像を用いて前記他の物体までの距離を測定する
請求項１に記載の画像処理装置。
【請求項１０】
前記距離測定部により測定される前記障害物までの距離に応じて、その障害物に対する注意を喚起させる注意喚起処理が行われる
請求項１に記載の画像処理装置。
【請求項１１】
前記注意喚起処理は、前記仮想ミラー画像の色を変化させることにより行われる
請求項１０に記載の画像処理装置。
【請求項１２】
前記画像生成部は、前記距離測定部により前記障害物の位置の移動が測定されるのに応じて、前記仮想ミラー画像の表示位置を移動させる
請求項１に記載の画像処理装置。
【請求項１３】
前記画像生成部は、前記距離測定部により複数の前記障害物が特定された場合、それぞれの障害物の位置に応じて、複数個所に前記仮想ミラー画像を表示させる
請求項１に記載の画像処理装置。
【請求項１４】
画像処理を行う画像処理装置が、
所定の移動物体から測定対象範囲にある他の物体までの距離を測定して、所定距離以内にある前記他の物体を障害物として特定することと、
前記移動物体内の所定の視点位置から前記障害物を見た方向の上方にミラーを仮想的に配置したとして、そのミラーによる反射によって、少なくとも前記移動物体および前記障害物が見えるような仮想ミラー画像を生成し、前記視点位置から見て前記測定対象範囲の一部を少なくとも覆うように配置されている表示装置に表示させることと
を含む画像処理方法。
【請求項１５】
所定の移動物体からの測定対象範囲を画角としてステレオ画像を撮像するステレオ撮像装置と、
前記移動物体内の所定の視点位置から見て前記測定対象範囲の一部を少なくとも覆うように配置される表示装置と、
前記ステレオ画像を用いて前記測定対象範囲にある他の物体までの距離を測定して、所定距離以内にある前記他の物体を障害物として特定する距離測定部と、
前記移動物体内の所定の視点位置から前記障害物を見た方向の上方にミラーを仮想的に配置したとして、そのミラーによる反射によって、少なくとも前記移動物体および前記障害物が見えるような仮想ミラー画像を生成し、前記表示装置に表示させる画像生成部と
を備える画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、および画像表示システムに関し、特に、より少ない視線移動で障害物との間隔を把握することができるようにした画像処理装置、画像処理方法、および画像表示システムに関する。
【背景技術】
【０００２】
一般的に、車両を運転するドライバは、自車両のボンネットなどによって視線が遮られてしまって見えない範囲（以下、死角と称する）が発生するため、死角にある他の車両などの障害物との間隔を把握することは困難である。従来、このような死角にある障害物をドライバが認識することができるように、様々な手法（後述する図４のＢおよび図４のＣ参照）が開発されている。【０００３】
例えば、特許文献１には、ドライバの視点の位置の検出結果に基づいて、車外画像を用いてルームミラーの写像に似せた出力画像を作成する手法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１９８５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述したような従来の手法では、注意すべき障害物から視線を離す必要があったり、自車両と障害物との間隔を把握することが困難であったりしたため、より少ない視線移動で障害物との間隔を把握することができる手法が求められていた。【０００６】
本開示は、このような状況に鑑みてなされたものであり、より少ない視線移動で障害物との間隔を把握することができるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の画像処理装置は、所定の移動物体から測定対象範囲にある他の物体までの距離を測定して、所定距離以内にある前記他の物体を障害物として特定する距離測定部と、前記移動物体内の所定の視点位置から前記障害物を見た方向の上方にミラーを仮想的に配置したとして、そのミラーによる反射によって、少なくとも前記移動物体および前記障害物が見えるような仮想ミラー画像を生成し、前記視点位置から見て前記測定対象範囲の一部を少なくとも覆うように配置されている表示装置に表示させる画像生成部とを備える。【０００８】
本開示の一側面の画像処理方法は、画像処理を行う画像処理装置が、所定の移動物体から測定対象範囲にある他の物体までの距離を測定して、所定距離以内にある前記他の物体を障害物として特定し、前記移動物体内の所定の視点位置から前記障害物を見た方向の上方にミラーを仮想的に配置したとして、そのミラーによる反射によって、少なくとも前記移動物体および前記障害物が見えるような仮想ミラー画像を生成することと、前記視点位置から見て前記測定対象範囲の一部を少なくとも覆うように配置されている表示装置に表示させることとを含む。【０００９】
本開示の一側面の画像表示システムは、所定の移動物体からの測定対象範囲を画角としてステレオ画像を撮像するステレオ撮像装置と、前記移動物体内の所定の視点位置から見て前記測定対象範囲の一部を少なくとも覆うように配置される表示装置と、前記ステレオ画像を用いて前記測定対象範囲にある他の物体までの距離を測定して、所定距離以内にある前記他の物体を障害物として特定する距離測定部と、前記移動物体内の所定の視点位置から前記障害物を見た方向の上方にミラーを仮想的に配置したとして、そのミラーによる反射によって、少なくとも前記移動物体および前記障害物が見えるような仮想ミラー画像を生成し、前記表示装置に表示させる画像生成部とを備える。【００１０】
本開示の一側面においては、所定の移動物体から測定対象範囲にある他の物体までの距離が測定されて、所定距離以内にある他の物体が障害物として特定される。そして、移動物体内の所定の視点位置から障害物を見た方向の上方にミラーを仮想的に配置したとして、そのミラーによる反射によって、少なくとも移動物体および障害物が見えるような仮想ミラー画像が生成され、視点位置から見て測定対象範囲の一部を少なくとも覆うように配置されている表示装置に表示される。
【発明の効果】
【００１１】
本開示の一側面によれば、より少ない視線移動で障害物との間隔を把握することができる。【００１２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１３】
【図１】本技術を適用した車載用の画像表示システムの一実施の形態の構成例を示すブロック図である。
【図２】画像表示システムが搭載された車両と、停止車両との位置関係を示す図である。
【図３】仮想ミラーについて説明する図である。
【図４】他の手法を用いたときの視界について説明する図である。
【図５】第１の画像表示処理を説明するフローチャートである。
【図６】第２の画像表示処理を説明するフローチャートである。
【図７】第３の画像表示処理を説明するフローチャートである。
【図８】アイコン画像の表示例について説明する図である。
【図９】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１５】
＜車載用の画像表示システムの構成例＞
図１は、本技術を適用した車載用の画像表示システムの一実施の形態の構成例を示すブロック図である。
【００１６】
図１に示す画像表示システム１１は、ステレオ画像撮像装置１２、ＩＭＵ（Inertial Measurement Unit）１３、表示装置１４、および画像処理装置１５を備えて構成されており、例えば、後述する図２に示すような車両３１に搭載される。
【００１７】
ステレオ画像撮像装置１２は、後述する図２に示すように、車両３１のフロントガラスの上端近傍となる配置箇所に、例えば、ルームミラーの裏側の配置箇所に配置され、その配置個所から車両３１の前方を撮像するように固定される。画像表示システム１１では、ステレオ画像撮像装置１２により撮像される範囲が、車両３１の周辺環境に対する測定の対象となる測定対象範囲とされ、例えば、車両３１の中央から前方を見てステレオ画像撮像装置１２が有する撮像部の画角に含まれる範囲が、測定対象範囲とされる。
【００１８】
例えば、ステレオ画像撮像装置１２は、少なくとも２個の撮像部を有しており、それらの撮像部が、被写体となっている物体までの距離を測定するための視差を得るのに適切な間隔を設けて配置された構成となっている。そして、ステレオ画像撮像装置１２は、２つの撮像部の画角に応じて撮像される測定対象範囲のステレオ画像を、画像処理装置１５に供給する。
【００１９】
ＩＭＵ１３は、例えば、ジャイロ装置および加速度計測装置を有して構成されており、画像表示システム１１が搭載される車両３１の慣性を計測する慣性計測装置である。例えば、ＩＭＵ１３は、３軸の角度または角速度と、３軸の加速度とを検出することができ、それらを観測して得られる観測データを画像処理装置１５に供給する。なお、画像表示システム１１は、ＩＭＵ１３による観測データを利用する他、例えば、車両３１が備える各種のセンサから出力される車速パルスやヨーレートなどを利用してもよい。
【００２０】
表示装置１４は、例えば、画像を非表示とするときには透明となり、ドライバの視線を遮らないようなヘッドアップディスプレイにより構成され、後述する図３に示すように、表示領域が車両３１のフロントガラスを覆うように配置される。即ち、表示装置１４の表示領域は、車両３１の運転席に座るドライバから見て、ステレオ画像撮像装置１２による測定対象範囲（車両３１の前方）の一部を少なくとも覆うように配置されていればよい。そして、表示装置１４は、画像処理装置１５により画像処理が施された画像、例えば、後述する図３に示す仮想ミラー４１によって死角を認識可能とするような画像（以下、仮想ミラー画像と称する）を表示する。
【００２１】
画像処理装置１５は、例えば、車両３１のボンネットなどによる死角をドライバが認識することができるように、その死角の上方に仮想的に配置される仮想ミラー４１（図３）によって反射されたような仮想ミラー画像を生成し、表示装置１４に表示させる画像処理を行う。ここで、仮想ミラー画像は、ドライバの視点位置から仮想ミラー４１を見たときに、仮想ミラー４１による反射によって少なくとも車両３１および障害物が見え、それらの間隔を直観的（通常のミラーで見たときと同様）に認識することができるような画像である。
【００２２】
図示するように、画像処理装置１５は、距離測定部２１、自車運動推定部２２、物体認識処理部２３、３Ｄ（Dimensions）モデリング部２４、データ登録部２５、および、画像生成部２６を備えて構成される。
【００２３】
距離測定部２１は、ステレオ画像撮像装置１２から供給されるステレオ画像を用い、例えば、２個の撮像部により撮像された２枚の画像の視差に基づいて、そのステレオ画像に写されている物体までの距離を測定する。そして、距離測定部２１は、ステレオ画像撮像装置１２による測定対象範囲における周辺環境にある物体までの距離を測定し、その測定結果を示す距離情報を、物体認識処理部２３および３Ｄモデリング部２４に供給する。さらに、距離測定部２１は、測定対象範囲において所定距離以内にある物体を障害物として特定し、その障害物の位置を示す位置情報、および、その障害物までの距離を示す距離情報を画像生成部２６に供給する。
【００２４】
自車運動推定部２２は、ステレオ画像撮像装置１２から供給されるステレオ画像、および、ＩＭＵ１３から供給される観測データに基づいて、画像表示システム１１が搭載される車両３１の運動を推定する。例えば、自車運動推定部２２は、車両３１の移動速度や加速度、移動方向などの運動を推定し、その推定結果を示す運動情報を３Ｄモデリング部２４に供給する。
【００２５】
物体認識処理部２３は、ステレオ画像撮像装置１２から供給されるステレオ画像、および、距離測定部２１から供給される距離情報に基づいて、車両３１の周辺環境にある物体を認識し、その認識結果を示す物体認識情報を画像生成部２６に供給する。例えば、物体認識処理部２３は、距離情報に基づいて物体があると認識される箇所における画像に写されている被写体と、様々な物体が写されている画像とマッチングすることにより、物体を認識することができる。そして、物体認識処理部２３は、認識した物体が属する属性（例えば、道路上に配置される可能性のある各種の物体の名称や、動物の種類など）を、物体認識情報として出力する。
【００２６】
３Ｄモデリング部２４は、距離測定部２１から供給される距離情報、および、自車運動推定部２２から供給される運動情報に基づいて、車両３１の周辺環境にある物体を三次元的な形状で表した３Ｄモデルを作成し、画像生成部２６に供給する。例えば、３Ｄモデリング部２４は、距離情報および運動情報が供給されたタイミングごとに、それぞれのタイミングの３Ｄモデルを作成する他、車両３１の過去の動きを利用して、その動きから推測される物体の配置に基づいた３Ｄモデルを作成してもよい。即ち、３Ｄモデリング部２４は、３Ｄモデルを蓄積しておき、ステレオ画像撮像装置１２の画角外（死角）となった障害物についても、車両３１の過去の動きに基づいて、その障害物の配置を推測し、３Ｄモデルに反映することができる。
【００２７】
データ登録部２５には、画像処理装置１５における画像処理に必要な各種のデータが登録される。例えば、データ登録部２５には、車両３１のドライバの頭部の位置（例えば、ドライバの視点位置）を示すドライバ頭部位置情報が登録されている。このドライバ頭部位置情報は、例えば、車両３１の運転席の位置および形状に基づいて特定される位置を予め設定することができる他、図示しないセンサによりドライバの頭部を測定することによりリアルタイムで設定することができる。また、データ登録部２５には、物体認識処理部２３により認識可能な物体の属性に対応付けて、その属性を表すアイコン画像（図８参照）が予め登録されている。
【００２８】
画像生成部２６は、距離測定部２１によって障害物が特定されると、データ登録部２５からドライバ頭部位置情報を取得する。そして、画像生成部２６は、ドライバから見て、３Ｄモデリング部２４から供給される３Ｄモデルにより表される障害物がある位置および方向に基づいて、仮想ミラー４１を仮想的に配置する位置および姿勢（傾き）を決定する。例えば、画像生成部２６は、ドライブから障害物を見た方向の上方の位置に仮想ミラー４１が配置され、ドライバから見て、仮想ミラー４１による反射によって、少なくとも車両３１および障害物が見えるような位置および姿勢を決定する。
【００２９】
その後、画像生成部２６は、決定した位置および姿勢で仮想的にミラーを配置したとして、そのミラーによる反射によって車両３１および障害物が見える仮想ミラー画像を生成する。そして、画像生成部２６は、ドライバから障害物が見える方向となる表示位置に表示されるように、表示装置１４に仮想ミラー画像を表示させる。
【００３０】
例えば、画像生成部２６は、ステレオ画像撮像装置１２により撮像されるステレオ画像を視点変換することにより、仮想ミラー画像を生成することができる。また、画像生成部２６は、３Ｄモデリング部２４から供給される３Ｄモデルを、仮想ミラー４１側から障害物見た方向でレンダリングして得られるＣＧ（Computer Graphics）画像を、仮想ミラー画像として生成してもよい。なお、生成された仮想ミラー画像は、鏡によって反射された鏡像となるように反転されて、表示装置１４に表示される。
【００３１】
さらに、画像生成部２６は、所定距離以内にある障害物として特定された物体について、物体認識処理部２３から物体認識情報が供給されている場合には、その障害物の属性に対応づけられて登録されているアイコン画像を、データ登録部２５から取得する。そして、画像生成部２６は、距離測定部２１により測定された障害物の位置に応じた表示位置となるように、表示装置１４にアイコン画像を表示させる。例えば、画像生成部２６は、表示装置１４に仮想ミラー画像を表示する場合、その仮想ミラー画像の近傍にアイコン画像を表示させることができる。
【００３２】
また、画像生成部２６は、距離測定部２１から供給された距離情報で示される障害物までの距離に応じて、例えば、表示装置１４に表示する仮想ミラー画像の色を変更することによって、障害物に対する注意をドライバに喚起させる注意喚起処理を行う。なお、注意喚起処理は、このような視覚に基づいて行われる他、例えば、図示しないスピーカから注意音を出力させて、聴覚に基づいて行われるようにしてもよい。
【００３３】
なお、画像生成部２６は、距離測定部２１により障害物の位置の移動が測定されるのに応じて、仮想ミラー画像の表示位置を移動させることができる。また、画像生成部２６は、距離測定部２１により複数の障害物が特定された場合、それぞれの障害物の位置に応じて、表示装置１４の複数個所に仮想ミラー画像を表示させることができる。さらに、画像生成部２６は、複数の障害物の位置が近い場合、それらの障害物に対応する仮想ミラー画像を距離に応じて重畳させたり、まとめて１つの大きな仮想ミラー画像に複数の障害物を表示させたりすることができる。
【００３４】
以上のように画像表示システム１１は構成されており、上述したような仮想ミラー画像を利用することで、ドライバは、より少ない視線移動で障害物との距離を把握することができる。
【００３５】
ここで、図２乃至図４を参照して、画像表示システム１１において表示装置１４に表示される仮想ミラー画像について説明する。
【００３６】
図２のＡには、画像表示システム１１が搭載された車両３１と、車両３１の前方で停止している停止車両３２との位置関係を表す側面図が示されており、図２のＢには、その平面図が示されている。なお、図２では、ステレオ画像撮像装置１２により撮像可能な範囲を示す画角が破線で表されており、車両３１のドライバの視線が一点鎖線で示されている。
【００３７】
図２のＡに示すように、車両３１が前進して、車両３１のドライバから見て死角となる範囲（一点鎖線より下方のハッチングが施されている範囲）まで停止車両３２に近づいたとする。この場合、車両３１のドライバは、死角の範囲にある停止車両３２を視認することができなくなる。なお、ステレオ画像撮像装置１２は、車両３１のフロントガラスの上端近傍に配置されており、ドライバにとって死角となっている停止車両３２を撮像することができる。
【００３８】
そして、図２のＢに示すように、車両３１のドライバは、停止車両３２を避けるように、車両３１が右側に向かって進行するようにハンドル操作を行う。このような状況において、ドライバが、車両３１を停止車両３２に接触させてしまうことを回避するために、画像表示システム１１により仮想ミラー画像が表示される。
【００３９】
即ち、図３のＡに示すように、仮想ミラー４１の位置および姿勢は、車両３１のドライバから見て、停止車両３２の方向の上方に配置され、仮想ミラー４１による反射によって少なくとも車両３１および停止車両３２の間隔を見ることができるように決定される。そして、車両３１のドライバから見て、このように決定された位置および姿勢で仮想ミラー４１が配置されていて、仮想ミラー４１により反射されように見える仮想ミラー画像が表示装置１４に表示される。
【００４０】
このとき、図３のＢに示すように、車両３１のドライバの頭部の位置から停止車両３２に向かう方向に、仮想ミラー４１が配置されているように、表示装置１４の左側に、仮想ミラー４１によって反射されたように見える仮想ミラー画像が表示される。図示するように、この仮想ミラー画像には、ステレオ画像撮像装置１２により撮像された画像が視点変換されて、車両３１および停止車両３２の間隔を上方から見たような状況が写されている。
【００４１】
従って、車両３１のドライバは、表示装置１４に表示される仮想ミラー画像を見ることで、車両３１と停止車両３２との間隔を直観的に把握することができる。これにより、車両３１のドライバは、車両３１が停止車両３２に接触するような事態を確実に回避するように運転することができる。
【００４２】
以上のように、画像表示システム１１は、例えば、ステレオ画像撮像装置１２により撮像された画像を視点変換して、車両３１および停止車両３２の間の上方に仮想的に配置した仮想ミラー４１によって反射したように見える仮想ミラー画像を生成する。そして、画像表示システム１１は、表示装置１４の、ドライバから見て停止車両３２の方向となる表示位置に、仮想ミラー画像を表示させる。これにより、車両３１のドライバは、注意すべき停止車両３２から少ない視線移動で仮想ミラー画像を見て、仮想ミラー画像により車両３１と停止車両３２との間隔を直観的に把握することができる。
【００４３】
ここで、図４を参照して、図２に示したような状況と同様に、車両３３の前方に停止車両３４が停止している状況で、図３を参照して説明したような仮想ミラー４１が利用されないときの視界について説明する。
【００４４】
例えば、図４のＡには、死角を確認するための手段が用いられない通常の視界が示されている。この場合、車両３３のドライバは、車両３３のボンネットによって死角となる停止車両３４を視認することができない。
【００４５】
また、図４のＢには、車両３３のボンネットが透明であるかのように、車両３３のボンネットによって死角となっている領域の画像を、車両３３のドライバから見てボンネットに重畳するようにヘッドアップディスプレイに表示した場合における視界が示されている。この場合、車両３３のドライバは、車両３３のボンネットに重畳するように表示される画像により停止車両３４を視認して、停止車両３４を避けるように運転することができる。しかしながら、車両３３のボンネットが透明であるかのように見える画像では、図３に示した仮想ミラー４１を利用した仮想ミラー画像のように車両３１と停止車両３２との間隔を把握することは困難である。
【００４６】
また、図４のＣには、車両３１の周囲を撮像した画像を加工し、車両３１を真上から見たような鳥瞰図を示す画像を、車両３１のダッシュボードに装備されたディスプレイ４２に表示した場合における視界が示されている。しかしながら、この場合、車両３３のドライバは、注意すべき停止車両３４から視線を離して、ディスプレイ４２を注視する必要があった。
【００４７】
これらの従来の手法に対し、画像表示システム１１では、仮想ミラー４１を利用した仮想ミラー画像により、ドライバは、より少ない視線移動で障害物との間隔を把握することができ、確実に、障害物との接触を回避するような運転を行うことができる。
【００４８】
＜第１の画像表示処理＞
図５を参照して、画像表示システム１１において行われる第１の画像表示処理について説明する。
【００４９】
例えば、車両３１が始動して画像表示システム１１に駆動電力が供給されると処理が開始され、ステレオ画像撮像装置１２により撮像されたステレオ画像、および、ＩＭＵ１３により観測された観測データが画像処理装置１５に供給される。そして、ステップＳ１１において、距離測定部２１は、ステレオ画像撮像装置１２から供給されるステレオ画像に基づいて、車両３１から所定距離以内にある障害物が検出されたか否かを判定する。例えば、距離測定部２１は、ステレオ画像撮像装置１２が有する撮像部の画角に応じた測定対象範囲における周辺環境にある全ての物体までの距離を測定し、測定された距離が所定距離未満となった物体を、障害物として検出する。
【００５０】
ステップＳ１１において、距離測定部２１により障害物が検出されていないと判定される間、その判定処理が繰り返して行われ、距離測定部２１により障害物が検出されたと判定された場合、処理はステップＳ１２に進む。
【００５１】
ステップＳ１２において、距離測定部２１は、ステップＳ１１で検出した障害物のうち、最も近距離にある障害物の位置を特定し、その障害物の位置を示す位置情報、および、その障害物までの距離を示す距離情報を画像生成部２６に供給する。
【００５２】
ステップＳ１３において、画像生成部２６は、ステップＳ１２で距離測定部２１から供給された位置情報、および、データ登録部２５から取得したドライバ頭部位置情報に基づいて、図３を参照して上述したように、仮想ミラー４１の位置および姿勢を決定する。
【００５３】
ステップＳ１４において、画像生成部２６は、ステレオ画像撮像装置１２から供給されるステレオ画像を、ステップＳ１３で決定された位置および姿勢で仮想的に配置される仮想ミラー４１により反射されて見えるように視点変換することで、仮想ミラー画像を生成する。
【００５４】
ステップＳ１５において、画像生成部２６は、ステップＳ１２で距離測定部２１から供給された距離情報で示される障害物までの距離に応じた注意喚起処理を行う。例えば、画像生成部２６は、障害物までの距離に従って、ステップＳ１４で生成した仮想ミラー画像の色を変更することでドライバに対する注意喚起を行う。または、画像生成部２６は、障害物までの距離に従って、仮想ミラー画像の輝度を変更したり、仮想ミラー画像を点滅させたりすることで、ドライバに対する注意喚起を行ってもよい。
【００５５】
ステップＳ１６において、画像生成部２６は、ステップＳ１５で注意喚起処理を施した仮想ミラー画像を、車両３１内のドライバの頭部の位置から障害物に向かう方向となる表示位置に表示されるように、表示装置１４に仮想ミラー画像を表示させる。
【００５６】
ステップＳ１７において、距離測定部２１は、ステップＳ１１で検出された障害物が所定距離より遠くなったか否かを判定する。
【００５７】
ステップＳ１７において、距離測定部２１が、検出された障害物が所定距離より遠くなっていないと判定された場合、即ち、検出中の障害物がまだ所定距離以内にある場合、処理はステップＳ１２に戻り、仮想ミラー画像の表示が継続して行われる。
【００５８】
一方、ステップＳ１７において、距離測定部２１が、検出された障害物が所定距離より遠くなったと判定された場合、処理はステップＳ１８に進み、仮想ミラー画像が非表示とされる。その後、処理はステップＳ１１に戻り、以下、同様の処理が繰り返して行われる。
【００５９】
なお、仮想ミラー画像の表示中に、検出中の障害物に対して仮想ミラー画像を表示させる機能を停止する操作が行われたときにも、ステップＳ１７において障害物が所定距離より遠くなったと判定された場合と同様に、処理がステップＳ１１に戻るようにしてもよい。
【００６０】
以上のように、画像表示システム１１は、障害物の上方に仮想的に配置された仮想ミラー４１による反射によってドライバが障害物を見ることができるような仮想ミラー画像を、ステレオ画像撮像装置１２により撮像されたステレオ画像から生成し、ドライバから見て障害物のある方向に表示することができる。これにより、ドライバは、より少ない視線移動で障害物との間隔を直観的に把握することができる。
【００６１】
＜第２の画像表示処理＞
図６を参照して、画像表示システム１１において行われる第２の画像表示処理について説明する。
【００６２】
例えば、車両３１が始動して画像表示システム１１に駆動電力が供給されると処理が開始され、ステレオ画像撮像装置１２により撮像されたステレオ画像、および、ＩＭＵ１３により観測された観測データが画像処理装置１５に供給される。そして、ステップＳ２１において、３Ｄモデリング部２４は、距離測定部２１から供給される距離情報、および、自車運動推定部２２から供給される運動情報に基づいて、車両３１の周辺環境にある物体を三次元的な形状で表した３Ｄモデルを作成する。
【００６３】
ステップＳ２２において、図５のステップＳ１１と同様に、距離測定部２１は、ステレオ画像撮像装置１２から供給されるステレオ画像に基づいて、車両３１から所定距離以内にある障害物が検出されたか否かを判定する。そして、ステップＳ２２において、距離測定部２１により障害物が検出されなかったと判定された場合、処理はステップＳ２１に戻って、同様の処理が繰り返して行われ、例えば、３Ｄモデリング部２４により作成される３Ｄモデルが蓄積される。
【００６４】
一方、ステップＳ２２において、距離測定部２１により障害物が検出されたと判定された場合、処理はステップＳ２３に進む。ステップＳ２３およびＳ２４において、図５のステップＳ１２およびＳ１３と同様の処理が行われる。
【００６５】
ステップＳ２５において、３Ｄモデリング部２４は、上述したように蓄積した３Ｄモデルのうち、最新の３Ｄモデルを画像生成部２６に供給する。そして、画像生成部２６は、その３Ｄモデルを使用して、仮想ミラー４１側から障害物を見た方向でレンダリングして得られるＣＧ画像を、仮想ミラー画像として生成する。
【００６６】
その後、ステップＳ２６乃至Ｓ２９において、図５のステップＳ１５乃至Ｓ１８と同様の処理が行われる。
【００６７】
以上のように、画像表示システム１１は、車両３１の走行中に作成された３Ｄモデルを蓄積し、障害物の上方に仮想的に配置された仮想ミラー４１による反射によってドライバが障害物を見ることができるような仮想ミラー画像を、３Ｄモデルを使用して生成し、ドライバから見て障害物のある方向に表示することができる。これにより、ドライバは、より少ない視線移動で障害物との間隔を直観的に把握することができる。
【００６８】
＜第３の画像表示処理＞
図７を参照して、画像表示システム１１において行われる第３の画像表示処理について説明する。
【００６９】
例えば、車両３１が始動して画像表示システム１１に駆動電力が供給されると処理が開始され、ステレオ画像撮像装置１２により撮像されたステレオ画像、および、ＩＭＵ１３により観測された観測データが画像処理装置１５に供給される。そして、ステップＳ３１において、物体認識処理部２３は、ステレオ画像撮像装置１２から供給されるステレオ画像、および、距離測定部２１から供給される距離情報に基づいて、車両３１の周辺環境にある物体の属性を認識する。
【００７０】
ステップＳ３２において、図５のステップＳ１１と同様に、距離測定部２１は、ステレオ画像撮像装置１２から供給されるステレオ画像に基づいて、車両３１から所定距離以内にある障害物が検出されたか否かを判定する。そして、ステップＳ３２において、距離測定部２１により障害物が検出されなかったと判定された場合、処理はステップＳ３１に戻って、同様の処理が繰り返して行われ、例えば、物体認識処理部２３により認識された物体の属性が蓄積される。
【００７１】
一方、ステップＳ３２において、距離測定部２１により障害物が検出されたと判定された場合、処理はステップＳ３３に進む。ステップＳ３３乃至Ｓ３５において、図５のステップＳ１２乃至Ｓ１４と同様の処理が行われる。
【００７２】
ステップＳ３６において、画像生成部２６は、ステップＳ３５で生成した仮想ミラー画像によって表示される障害物の属性が物体認識処理部２３により特定されているか否かを判定する。例えば、仮想ミラー画像で表示される障害物に対応する物体認識情報が物体認識処理部２３から供給されている場合、その障害物の属性が特定されていると判定する。
【００７３】
ステップＳ３６において、画像生成部２６が障害物の属性が物体認識処理部２３により特定されていると判定した場合、処理はステップＳ３７に進む。ステップＳ３７において、画像生成部２６は、物体認識処理部２３から供給される物体認識情報で示される障害物の属性に対応付けられて登録されているアイコン画像を、データ登録部２５から取得した後、処理はステップＳ３８に進む。
【００７４】
一方、ステップＳ３６において、画像生成部２６が障害物の属性が物体認識処理部２３により特定されていないと判定した場合、処理はステップＳ３７をスキップして、ステップＳ３８に進む。
【００７５】
ステップＳ３８において、図５のステップＳ１５と同様の処理が行われる。
【００７６】
ステップＳ３９において、画像生成部２６は、ステップＳ１５で注意喚起処理を施した仮想ミラー画像を、車両３１内のドライバの頭部の位置から障害物に向かう方向となる表示位置に表示されるように、表示装置１４に仮想ミラー画像を表示させる。このとき、画像生成部２６は、ステップＳ３７でアイコン画像を取得している場合、仮想ミラー画像の近傍に、アイコン画像を表示する。
【００７７】
その後、ステップＳ４０およびＳ４１において、図５のステップＳ１７およびＳ１８と同様の処理が行われる。
【００７８】
以上のように、画像表示システム１１は、ドライバから見て障害物のある方向に仮想ミラー画像を表示するとともに、その仮想ミラー画像の近傍に、車両３１の走行中に認識した物体認識情報に基づいたアイコン画像を表示することができる。これにより、ドライバは、より少ない視線移動で障害物との間隔を直観的に把握するとともに、その障害物が何であるかを容易に認識することができる。
【００７９】
＜アイコン画像の表示例＞
図８を参照して、アイコン画像の表示例について説明する。
【００８０】
上述したように、画像表示システム１１では、仮想ミラー画像の近傍にアイコン画像を表示することができる。その他、画像表示システム１１では、図８のＡに示すように、仮想ミラー画像を表示せずに、アイコン画像５１だけを表示してもよい。
【００８１】
例えば、ステレオ画像撮像装置１２により撮像されたステレオ画像を視点変換して仮想ミラー画像を生成するとき、車両３１が移動することによって、障害物がステレオ画像撮像装置１２の画角外となることがある。このとき、車両３１の運動から障害物の位置を推定することができ、ステレオ画像撮像装置１２により障害物を撮像することができなくても、推定される障害物の位置に基づいて、その障害物の属性を表すアイコン画像５１を表示することができる。
【００８２】
また、車両３１の移動に応じて、相対的に障害物の位置が変化することになるが、この場合、障害物の位置の変化を推定して、その推定された位置に従って、図８のＢに示すように、アイコン画像５１の表示位置を移動させることができる。これにより、ステレオ画像撮像装置１２の画角外にある障害物を、ドライバに認識させることができる。
【００８３】
なお、本実施の形態では、ステレオ画像撮像装置１２により撮像されたステレオ画像を利用して仮想ミラー画像を生成しているが、ステレオ画像撮像装置１２以外の撮像装置を設け、その撮像装置により撮像された画像を利用して仮想ミラー画像を生成してもよい。例えば、車両３１のバンパーやサイドミラーなどの複数個所に、できるだけ死角が生じないように多数の撮像部を設け、それらの撮像部により撮像された画像を利用することができる。また、ステレオ画像撮像装置１２により撮像されたステレオ画像に基づいて距離を測定する他、例えば、ＴＯＦ（Time Of Flight）センサなどのように、距離を測定可能な様々なセンサを使用して距離を測定してもよい。
【００８４】
さらに、画像表示システム１１における測定対象範囲は、上述したような車両３１の前方に限られず、例えば、車両３１の側方または後方に対して適用することができる。即ち、車両３１の後方を撮像可能な撮像装置と、車両３１のリアガラスに重なるように配置されるディスプレイを利用して、後方側の死角に隠れた障害物を認識するような仮想ミラー画像を表示してもよい。また、車両３１以外の任意の移動物体に対して、画像表示システム１１を適用してもよい。
【００８５】
＜コンピュータの構成例＞
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、単一のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【００８６】
また、上述した一連の処理（画像処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【００８７】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００８８】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）１０４は、バス１０５により相互に接続されている。バス１０５には、さらに、入出力インタフェース１０６が接続されており、入出力インタフェース１０６が外部に接続される。
【００８９】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、ROM１０２およびEEPROM１０４に記憶されているプログラムを、バス１０５を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU１０１）が実行するプログラムは、ROM１０２に予め書き込んでおく他、入出力インタフェース１０６を介して外部からEEPROM１０４にインストールしたり、更新したりすることができる。
【００９０】
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
所定の移動物体から測定対象範囲にある他の物体までの距離を測定して、所定距離以内にある前記他の物体を障害物として特定する距離測定部と、
前記移動物体内の所定の視点位置から前記障害物を見た方向の上方にミラーを仮想的に配置したとして、そのミラーによる反射によって、少なくとも前記移動物体および前記障害物が見えるような仮想ミラー画像を生成し、前記視点位置から見て前記測定対象範囲の一部を少なくとも覆うように配置されている表示装置に表示させる画像生成部と
を備える画像処理装置。
（２）
前記画像生成部は、前記視点位置から前記障害物が見える方向となる表示位置に、前記仮想ミラー画像を表示する
上記（１）に記載の画像処理装置。
（３）
前記画像生成部は、前記測定対象範囲を画角として画像を撮像する撮像装置により、前記視点位置よりも高い位置から撮像された画像を視点変換することで、前記仮想ミラー画像を生成する
上記（１）または（２）に記載の画像処理装置。
（４）
前記撮像装置により撮像された前記画像に基づいて、前記距離測定部により特定された前記障害物の属性を認識する物体認識処理部をさらに備え、
前記画像生成部は、前記障害物の属性を示す画像を、前記障害物の位置に応じて前記表示装置に表示させる
上記（３）に記載の画像処理装置。
（５）
少なくとも前記測定対象範囲を含む前記移動物体の周辺環境にある前記他の物体を三次元的な形状で表した３Ｄモデルを作成する３Ｄモデリング部をさらに備え、
前記画像生成部は、前記３Ｄモデルに基づいて、少なくとも前記移動物体および前記障害物が前記視点位置から前記仮想ミラー画像により見えるように仮想的に配置される前記ミラーの位置および姿勢を決定する
上記（１）から（４）までのいずれかに記載の画像処理装置。
（６）
前記画像生成部は、前記３Ｄモデルを使用して、仮想的に配置された前記ミラー側から前記移動物体および前記障害物の間を見る方向でレンダリングすることにより、前記仮想ミラー画像を生成する
上記（５）に記載の画像処理装置。
（７）
前記移動物体の運動を推定する運動推定部をさらに備え、
前記３Ｄモデリング部は、前記運動推定部により推定される前記移動物体の運動、および、前記距離測定部により測定される前記他の物体までの距離に基づいて前記３Ｄモデルを作成する
上記（５）または（６）に記載の画像処理装置。
（８）
前記３Ｄモデリング部は、作成した前記３Ｄモデルを蓄積しておき、前記運動推定部により推定される前記移動物体の運動に従って、前記距離測定部により測定することができない死角に入った前記障害物の位置を推定して前記３Ｄモデルを作成する
上記（７）に記載の画像処理装置。
（９）
前記測定対象範囲を画角として画像を撮像する撮像部を少なくとも２つ備え、それらの撮像部によって視差を有するステレオ画像を撮像するステレオ画像撮像部
をさらに備え、
前記距離測定部は、前記ステレオ画像を用いて前記他の物体までの距離を測定する
上記（１）から（８）までのいずれかに記載の画像処理装置。
（１０）
前記距離測定部により測定される前記障害物までの距離に応じて、その障害物に対する注意を喚起させる注意喚起処理が行われる
上記（１）から（９）までのいずれかに記載の画像処理装置。
（１１）
前記注意喚起処理は、前記仮想ミラー画像の色を変化させることにより行われる
上記（１０）に記載の画像処理装置。
（１２）
前記画像生成部は、前記距離測定部により前記障害物の位置の移動が測定されるのに応じて、前記仮想ミラー画像の表示位置を移動させる
上記（１）から（１１）までのいずれかに記載の画像処理装置。
（１３）
前記画像生成部は、前記距離測定部により複数の前記障害物が特定された場合、それぞれの障害物の位置に応じて、複数個所に前記仮想ミラー画像を表示させる
上記（１）から（１２）までのいずれかに記載の画像処理装置。
（１４）
所定の移動物体から測定対象範囲にある他の物体までの距離を測定して、所定距離以内にある前記他の物体を障害物として特定し、
前記移動物体内の所定の視点位置から前記障害物を見た方向の上方にミラーを仮想的に配置したとして、そのミラーによる反射によって、少なくとも前記移動物体および前記障害物が見えるような仮想ミラー画像を生成し、前記視点位置から見て前記測定対象範囲の一部を少なくとも覆うように配置されている表示装置に表示させる
ステップを含む画像処理方法。
（１５）
所定の移動物体からの測定対象範囲を画角としてステレオ画像を撮像するステレオ撮像装置と、
前記移動物体内の所定の視点位置から見て前記測定対象範囲の一部を少なくとも覆うように配置される表示装置と、
前記ステレオ画像を用いて前記測定対象範囲にある他の物体までの距離を測定して、所定距離以内にある前記他の物体を障害物として特定する距離測定部と、
前記移動物体内の所定の視点位置から前記障害物を見た方向の上方にミラーを仮想的に配置したとして、そのミラーによる反射によって、少なくとも前記移動物体および前記障害物が見えるような仮想ミラー画像を生成し、前記表示装置に表示させる画像生成部と
を備える画像表示システム。
【００９１】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【００９２】
１１  画像表示システム，  １２  ステレオ画像撮像装置，  １３  ＩＭＵ，  １４  表示装置，  １５  画像処理装置，  ２１  距離測定部，  ２２  自車運動推定部，  ２３  物体認識処理部，  ２４  ３Ｄモデリング部，  ２５  データ登録部，  ２６  画像生成部，  ３１  車両，  ３２  停止車両，  ３３  車両，  ３４  停止車両，  ４１  仮想ミラー，  ４２  ディスプレイ，  ５１  アイコン画像
【図１】
2019049709.tif 000003
【図２】
2019049709.tif 000004
【図３】
2019049709.tif 000005
【図４】
2019049709.tif 000006
【図５】
2019049709.tif 000007
【図６】
2019049709.tif 000008
【図７】
2019049709.tif 000009
【図８】
2019049709.tif 000010
【図９】
2019049709.tif 000011
【国際調査報告】
2019049709.tif 000012
2019049709.tif 000013
2019049709.tif 000014
2019049709.tif 000015