(57)【要約】【課題】車載カメラの異常時における視界不良を適切に補完する。【解決手段】自車両において、自車両の右側後方領域及び左側後方領域を撮影する右カメラ及び左カメラを含む複数のカメラが設置され、それらの撮影画像が電子ミラー画像として表示される。何れかのカメラに異常が生じた場合、車両の周辺に位置する複数の他車両の中から取得対象車両を選択して、取得対象車両に設置されたカメラの撮影画像を、通信を介し補完用画像として取得し、異常カメラの撮影画像の代わりに補完用画像を用いて電子ミラー画像を生成する。取得対象車両は、異常カメラの撮影領域（換言すれば設置位置）に応じて選択される。【選択図】図６
2020048013.tif 000002
【特許請求の範囲】
【請求項１】
自車両に設置される複数の自車両カメラから撮影画像を取得し、各撮影画像に基づく出力画像を画像表示部に表示する画像表示制御装置において、
各自車両カメラの異常の有無を検出するカメラ状態検出部と、
前記複数の自車両カメラの何れかに異常が生じた場合、異常が生じた自車両カメラである異常カメラの撮影領域に応じて、前記自車両の周辺に位置する複数の他車両の中から取得対象車両を選択し、前記取得対象車両に設置されたカメラの撮影画像を、通信を介し補完用画像として取得する補完用画像取得部と、
前記異常カメラがある場合、前記異常カメラの撮影画像の代わりに前記補完用画像を用いて前記出力画像を生成する画像処理部と、を備えた
、画像表示制御装置。
【請求項２】
前記複数の自車両カメラは、前記自車両の右側後方領域を撮影領域に含んだ第１自車両カメラと、前記自車両の左側後方領域を撮影領域に含んだ第２自車両カメラと、を含み、
前記補完用画像取得部は、前記異常カメラが前記第１自車両カメラであるときと前記第２自車両カメラであるときとで、互いに異なる選択条件にて前記取得対象車両を選択する
、請求項１に記載の画像表示制御装置。
【請求項３】
前記補完用画像取得部は、
前記異常カメラが前記第１自車両カメラであるとき、前記自車両の左側領域が除外された第１領域内に位置する他車両の中から前記取得対象車両を選択し、
前記異常カメラが前記第２自車両カメラであるとき、前記自車両の右側領域が除外された第２領域内に位置する他車両の中から前記取得対象車両を選択する
、請求項２に記載の画像表示制御装置。
【請求項４】
前記補完用画像取得部は、前記自車両と各他車両との位置関係に基づいて、前記取得対象車両を選択する
、請求項１〜３の何れかに記載の画像表示制御装置。
【請求項５】
前記補完用画像取得部は、前記複数の他車両の夫々についての複数の選択指標に基づき前記取得対象車両を選択し、
前記複数の他車両の夫々についての前記複数の選択指標は、
前記自車両の前後方向における前記自車両及び前記他車両間の距離と、
前記自車両の左右方向における前記自車両及び前記他車両間の距離と、
前記自車両及び前記他車両の位置の前後関係と、を含む
、請求項１〜４の何れかに記載の画像表示制御装置。
【請求項６】
前記取得対象車両として選択される他車両には２以上のカメラが設置され、
前記補完用画像取得部は、前記異常カメラの撮影領域と前記自車両及び前記取得対象車両間の位置関係とに基づいて前記２以上のカメラの中から取得対象カメラを選択し、前記取得対象カメラの撮影画像を前記補完用画像として取得する
、請求項１〜５の何れかに記載の画像表示制御装置。
【請求項７】
前記画像処理部は、前記補完用画像が前記自車両の像を含む場合、前記補完用画像に基づく前記出力画像上において前記自車両の像が識別して視認可能となるよう前記補完用画像から前記出力画像を生成する
、請求項１〜６の何れかに記載の画像表示制御装置。
【請求項８】
前記画像処理部は、前記補完用画像内に切り出し枠を設定して前記切り出し枠内の画像を解像度変換することで前記出力画像を生成することが可能であり、前記補完用画像が前記自車両の像を含む場合、前記自車両の像を内包する前記切り出し枠を設定し且つ前記補完用画像上における前記自車両の像の大きさに基づいて前記切り出し枠の大きさを設定する
、請求項１〜７の何れかに記載の画像表示制御装置。
【請求項９】
自車両に設置される複数の自車両カメラから撮影画像を取得し、各撮影画像に基づく出力画像を画像表示部に表示する画像表示制御方法において、
各自車両カメラの異常の有無を検出するカメラ状態検出工程と、
前記複数の自車両カメラの何れかに異常が生じた場合、異常が生じた自車両カメラである異常カメラの撮影領域に応じて、前記自車両の周辺に位置する複数の他車両の中から取得対象車両を選択し、前記取得対象車両に設置されたカメラの撮影画像を、通信を介し補完用画像として取得する補完用画像取得工程と、
前記異常カメラがある場合、前記異常カメラの撮影画像の代わりに前記補完用画像を用いて前記出力画像を生成する画像処理工程と、を備えた
、画像表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示制御装置及び方法に関し、特に、車載用の画像表示制御装置及び方法に関する。
【背景技術】
【０００２】
法改正に伴って、車載カメラを利用した電子ミラー搭載車両が徐々に登場している。従来の車両では、車両の右側後方及び左側後方の様子を映すサイドミラーが車両の右側及び左側に設置されるのに対し、電子ミラー搭載車両では、車両の右側後方及び左側後方を撮影する右カメラ及び左カメラを車両に設置し、それらの撮影画像を画像表示部に表示することで、車両の右側後方及び左側後方の確認を可能とする。
【０００３】
また、２以上のカメラが車両に設置されているシステムにおいて、或るカメラに異常があることが検出されたとき、他のカメラを代替利用する方法が提案されている（下記特許文献１参照）。当該方法では、予め用意されたリストに従って、代替利用するカメラが選択される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１３６２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車載カメラの撮影画像を運転手に提示する技術は多くのメリットをもたらすものであるが、カメラに異常が発生したときの手当ても検討しておく必要がある。この点に関し、特許文献１に記載の方法により、異常発生による視界不良がいくらかは軽減されるかもしれないが、改善の余地があると考えられる。
【０００６】
本発明は、車載カメラの異常発生に伴う視界不良の補完に寄与する画像表示制御装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像表示制御装置は、自車両に設置される複数の自車両カメラから撮影画像を取得し、各撮影画像に基づく出力画像を画像表示部に表示する画像表示制御装置において、各自車両カメラの異常の有無を検出するカメラ状態検出部と、前記複数の自車両カメラの何れかに異常が生じた場合、異常が生じた自車両カメラである異常カメラの撮影領域に応じて、前記自車両の周辺に位置する複数の他車両の中から取得対象車両を選択し、前記取得対象車両に設置されたカメラの撮影画像を、通信を介し補完用画像として取得する補完用画像取得部と、前記異常カメラがある場合、前記異常カメラの撮影画像の代わりに前記補完用画像を用いて前記出力画像を生成する画像処理部と、を備えた構成（第１の構成）である。
【０００８】
上記第１の構成に係る画像表示制御装置において、前記複数の自車両カメラは、前記自車両の右側後方領域を撮影領域に含んだ第１自車両カメラと、前記自車両の左側後方領域を撮影領域に含んだ第２自車両カメラと、を含み、前記補完用画像取得部は、前記異常カメラが前記第１自車両カメラであるときと前記第２自車両カメラであるときとで、互いに異なる選択条件にて前記取得対象車両を選択する構成（第２の構成）であっても良い。
【０００９】
上記第２の構成に係る画像表示制御装置において、前記補完用画像取得部は、前記異常カメラが前記第１自車両カメラであるとき、前記自車両の左側領域が除外された第１領域内に位置する他車両の中から前記取得対象車両を選択し、前記異常カメラが前記第２自車両カメラであるとき、前記自車両の右側領域が除外された第２領域内に位置する他車両の中から前記取得対象車両を選択する構成（第３の構成）であっても良い。
【００１０】
上記第１〜第３の構成の何れかに係る画像表示制御装置において、前記補完用画像取得部は、前記自車両と各他車両との位置関係に基づいて、前記取得対象車両を選択する構成（第４の構成）であっても良い。
【００１１】
上記第１〜第４の構成の何れかに係る画像表示制御装置において、前記補完用画像取得部は、前記複数の他車両の夫々についての複数の選択指標に基づき前記取得対象車両を選択し、前記複数の他車両の夫々についての前記複数の選択指標は、前記自車両の前後方向における前記自車両及び前記他車両間の距離と、前記自車両の左右方向における前記自車両及び前記他車両間の距離と、前記自車両及び前記他車両の位置の前後関係と、を含む構成（第５の構成）であっても良い。
【００１２】
上記第１〜第５の構成の何れかに係る画像表示制御装置において、前記取得対象車両として選択される他車両には２以上のカメラが設置され、前記補完用画像取得部は、前記異常カメラの撮影領域と前記自車両及び前記取得対象車両間の位置関係とに基づいて前記２以上のカメラの中から取得対象カメラを選択し、前記取得対象カメラの撮影画像を前記補完用画像として取得する構成（第６の構成）であっても良い。
【００１３】
上記第１〜第６の構成の何れかに係る画像表示制御装置において、前記画像処理部は、前記補完用画像が前記自車両の像を含む場合、前記補完用画像に基づく前記出力画像上において前記自車両の像が識別して視認可能となるよう前記補完用画像から前記出力画像を生成する構成（第７の構成）であっても良い。
【００１４】
上記第１〜第７の構成の何れかに係る画像表示制御装置において、前記画像処理部は、前記補完用画像内に切り出し枠を設定して前記切り出し枠内の画像を解像度変換することで前記出力画像を生成することが可能であり、前記補完用画像が前記自車両の像を含む場合、前記自車両の像を内包する前記切り出し枠を設定し且つ前記補完用画像上における前記自車両の像の大きさに基づいて前記切り出し枠の大きさを設定する構成（第８の構成）であっても良い。
【００１５】
本発明に係る画像表示制御方法は、自車両に設置される複数の自車両カメラから撮影画像を取得し、各撮影画像に基づく出力画像を画像表示部に表示する画像表示制御方法において、各自車両カメラの異常の有無を検出するカメラ状態検出工程と、前記複数の自車両カメラの何れかに異常が生じた場合、異常が生じた自車両カメラである異常カメラの撮影領域に応じて、前記自車両の周辺に位置する複数の他車両の中から取得対象車両を選択し、前記取得対象車両に設置されたカメラの撮影画像を、通信を介し補完用画像として取得する補完用画像取得工程と、前記異常カメラがある場合、前記異常カメラの撮影画像の代わりに前記補完用画像を用いて前記出力画像を生成する画像処理工程と、を備えた構成（第９の構成）である。
【発明の効果】
【００１６】
本発明によれば、車載カメラの異常発生に伴う視界不良の補完に寄与する画像表示制御装置及び方法を提供することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係り、自車両に搭載される運転支援装置の構成ブロック図である。
【図２】本発明の実施形態に係り、運転支援装置が搭載された自車両を上方から見た概略平面図である。
【図３】本発明の実施形態に係り、画像表示部の表示内容例を示す図である。
【図４】本発明の実施形態に係り、自車両とＸ軸及びＹ軸との関係を示す図である。
【図５】本発明の実施形態に係り、他車両に搭載される運転支援装置の構成ブロック図である。
【図６】本発明の第１実施例に係る電子ミラー画像表示処理のフローチャートである。
【図７】本発明の第１実施例に係る選択用情報の構成を示す図である。
【図８】本発明の第１実施例にて想定される車両間の位置関係を示す図である。
【図９】自車両及び他車両間の左右方向及び前後方向の距離を定義する図である。
【図１０】本発明の第１実施例に係る取得対象選択処理のフローチャートである。
【図１１】本発明の第１実施例に係り、取得対象車両の探索領域を示す図である。
【図１２】本発明の第１実施例に係り、右カメラに異常があるときの取得対象車両の選択方法を説明するための図である。
【図１３】本発明の第１実施例に係り、左カメラに異常があるときの取得対象車両の選択方法を説明するための図である。
【図１４】本発明の第１実施例に係り、右カメラに異常があるときの取得対象カメラの選択方法を説明するための図である。
【図１５】本発明の第１実施例に係り、左カメラに異常があるときの取得対象カメラの選択方法を説明するための図である。
【図１６】本発明の第２実施例に係る補完用画像を示す図である。
【図１７】本発明の第２実施例に係る電子ミラー画像を示す図である。
【図１８】本発明の第３実施例に係る補完用画像を示す図である。
【図１９】本発明の第３実施例に係り、補完用画像及び電子ミラー画像間の関係を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。例えば、後述の“１０Ｒ”によって参照される右カメラは、右カメラ１０Ｒと表記されることもあるし、カメラ１０Ｒと略記されることもあり得るが、それらは全て同じものを指す。
【００１９】
図１は本実施形態に係る運転支援装置１の構成ブロック図である。運転支援装置１は、例えば、自動車などの車両に搭載される。運転支援装置１を自動車に分類されない車両に搭載することも可能であるが、以下では、車両とは特に記述無き限り路面を走行可能な自動車を指すものとする。今、運転支援装置１が搭載された１つの車両を「自車両」と称して注目する。自車両と異なる車両は「他車両」と称される。また、以下の説明において単に「運転手」と称した場合、それは、自車両の運転席に座っている自車両の運転手を指すものとする。
【００２０】
自車両に注目して前後左右を以下のように定義する。即ち、自車両の運転席からステアリングホイールに向かう向きを「前方」と定義し、自車両のステアリングホイールから運転席に向かう向きを「後方」と定義する。前方及び後方間を結ぶ方向は自車両の直進進行方向に平行である。直進進行方向は水平面に対して平行であるとする。自車両において、運転手は前を向いて運転席に座っているものとし、当該運転手の左側から右側に向かう向きを「右方向」と定義し且つ当該運転手の右側から左側に向かう向きを「左方向」と定義する。左右方向は、自車両の直進進行方向及び鉛直線に対して垂直な方向である。
【００２１】
運転支援装置１は、図１に示す如く、複数のカメラから成るカメラ部１０と、画像処理部１１と、表示制御部１２と、画像表示部１３と、カメラ状態検出部１４と、後述の補完用画像の取得機能を担う情報処理部１５と、を備える。尚、カメラ部１０が運転支援装置１に接続されていると考えるようにしても良い（この場合、カメラ部１０は運転支援装置１の構成要素に含まれないと考えられる）。
【００２２】
図２は、運転支援装置１が搭載された自車両ＣＲ０を上方から見た概略平面図である。ここでは、カメラ部１０は自車両に設置されて自車両の外部を撮影する複数のカメラから成り、当該複数のカメラには前カメラ１０Ｆ、後カメラ１０Ｂ、右カメラ１０Ｒ及び左カメラ１０Ｌが含まれる。
【００２３】
カメラ１０Ｆ、１０Ｂ、１０Ｒ及び１０Ｌの夫々は、自身の撮影領域（即ち視野）内の撮影を行うことで自身の撮影領域内の撮影画像を取得する。より具体的には、カメラ１０Ｆ、１０Ｂ、１０Ｒ及び１０Ｌの夫々は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子と光学系とを備え、光学系を介して入射した、自身の撮影領域（即ち視野）内の被写体の光学像を撮像素子にて光電変換し、これによって被写体の画像信号を生成及び出力する。取得された画像信号により撮影画像が表される。
【００２４】
カメラ１０Ｆ、１０Ｂ、１０Ｒ及び１０Ｌの撮影領域は互いに異なる。具体的には、前カメラ１０Ｆの撮影領域は主として自車両ＣＲ０の前方領域を含むのに対し、後カメラ１０Ｂの撮影領域は主として自車両ＣＲ０の後方領域を含む。これが実現されるよう例えば、前カメラ１０Ｆは自車両ＣＲ０の運転席前方に設置され且つ前カメラ１０Ｆの光軸は自車両ＣＲ０の前方に向けられ、後カメラ１０Ｂは自車両ＣＲ０の後端付近に設置され且つ後カメラ１０Ｂの光軸は自車両ＣＲ０の後方に向けられる。
【００２５】
右カメラ１０Ｒの撮影領域は主として自車両ＣＲ０の後方領域及び右斜め後方領域（換言すれば、右側後方領域であって、自車両ＣＲ０から見て右斜め後方に位置する領域）を含むの対し、左カメラ１０Ｌの撮影領域は主として自車両ＣＲ０の後方領域及び左斜め後方領域（換言すれば、左側後方領域であって、自車両ＣＲ０から見て左斜め後方に位置する領域）を含む。これが実現されるよう例えば、右カメラ１０Ｒは自車両ＣＲ０の前席右側ドアに設置され又は前席右側ドア近傍に設置され且つ右カメラ１０Ｒの光軸は自車両ＣＲ０の後方又は右斜め方向に向けられ、左カメラ１０Ｌは自車両ＣＲ０の前席左側ドアに設置され又は前席左側ドア近傍に設置され且つ左カメラ１０Ｌの光軸は自車両ＣＲ０の後方又は左斜め後方に向けられる。
【００２６】
尚、自車両ＣＲ０の後方側において、右カメラ１０Ｒの撮影領域と後カメラ１０Ｂの撮影領域とは部分的に重なり合っていても良く、左カメラ１０Ｌの撮影領域と後カメラ１０Ｂの撮影領域とは部分的に重なり合っていても良い。また、自車両ＣＲ０の後方側において、右カメラ１０Ｒの撮影領域と左カメラ１０Ｌの撮影領域とは部分的に重なり合っていても良い。
【００２７】
画像処理部１１は、ＡＳＩＣ（Application specific integrated circuit）、ＲＡＭ（Random access memory）及びＲＯＭ（Read only memory）などから成り、カメラ部１０の各カメラから撮影画像の画像信号を受け、撮影画像に対して必要な画像処理を施す。これによって画像表示部１３に表示されるべき画像が生成される。
【００２８】
表示制御部１２は、画像処理部１１にて生成された画像を画像表示部１３に表示させるための表示制御を行う。
【００２９】
画像表示部１３は、画像処理部１１にて生成された画像を表示するための装置であって、自車両ＣＲ０の運転手が視認可能となる位置に設置される。運転手が画像表示部１３の表示内容を視認できる限り、画像表示部１３の構成及び設置位置は任意である。例えば、画像表示部１３は運転席付近に設置された液晶ディスプレイパネルや有機ＥＬパネルにて構成されていても良いし、前方を見る運転手の視野に直接情報を映し出すヘッドアップディスプレイにて画像表示部１３を構成しても良い。
【００３０】
カメラ状態検出部１４（以下、検出部１４と略記され得る）は、カメラ部１０を構成するカメラの異常の有無をカメラごとに検出する。カメラ状態検出部１４は、カメラごとにカメラの出力（出力信号）に基づいてカメラの異常の有無を検出することができる。
【００３１】
カメラが撮影を行うことができない状態（以下、故障状態と称する）はカメラの異常に属する。
例えば、カメラ１０Ｒが撮影画像を取得すべきタイミングにおいて、何らかの事情により撮影画像を表す画像信号がカメラ１０Ｒから出力されないとき（詳細には、その出力がカメラ状態検出部１４にて検知されないとき）、カメラ１０Ｒは故障状態にあると判断される。カメラ１０Ｌ、１０Ｆ及び１０Ｂについても同様である。
また例えば、カメラ１０Ｒの撮影画像を示す画像信号が所定の故障条件を満たすときにもカメラ１０Ｒは故障状態にあると判断されて良い。より具体的には例えば、カメラ１０Ｒの撮影画像の各画素の画素値が撮影画像の全体に亘って所定の異常値をとるとき、所定の故障条件を満たすと判断される。カメラ１０Ｌ、１０Ｆ及び１０Ｂについても同様である。
【００３２】
カメラが撮影を行うことができるものの、当該カメラのレンズ汚れ等により、本来撮影すべき領域内の様子を十分に撮影できない状態もカメラの異常に属すると考えても良い。カメラのレンズ汚れの有無の検出方法として公知の方法（例えば特開２００７−１８９３６９号公報に記載の方法）を用いることができる。例えば、カメラ１０Ｒに関して言えば、カメラ１０Ｒの撮影画像の各画素の輝度情報の変化に基づいて、カメラ１０Ｒの光学系を構成するレンズの汚れの有無を検出すれば良い。カメラ１０Ｌ、１０Ｆ及び１０Ｂについても同様である。
【００３３】
情報処理部１５は、任意の相手側機器との間で無線通信を行う通信インターフェースを有し、様々な情報を取得する情報取得部として機能する。更に、情報処理部１５は、カメラ部１０を構成する何れかのカメラに異常があると検出されたときに、様々な選択指標に基づいて自車両ＣＲ０の周辺に位置する複数の他車両の中から取得対象車両を選択すると共に、取得対象車両に設置された何れかのカメラを取得対象カメラとして選択し、選択された取得対象カメラによる撮影画像のデータを取得対象車両から無線通信を介して取得する機能も持つ。情報処理部１５の機能については後に詳説される。
【００３４】
カメラ部１０にカメラ１０Ｆ、１０Ｂ、１０Ｒ及び１０Ｌが設けられていることを上述したが、本実施形態では、それらのカメラの内、特にカメラ１０Ｒ及び１０Ｌに注目する。運転支援装置１において、カメラ１０Ｒ及び１０Ｌは、運転手が後方及び後側方の様子を確認するためのサイドミラーの代替となるべき電子サイドミラーの構成要素となる。サイドミラーは、ドアミラー（車体外後写鏡）、フェンダーミラーを含む。故に、カメラ１０Ｒは、自車両ＣＲ０の前席右ドアに設置される又は設置可能な右サイドミラー（右ドアミラー又は右フェンダーミラー）に映る像を撮影するものとして設けられ、カメラ１０Ｌは、自車両ＣＲ０の前席左ドアに設置される又は設置可能な左サイドミラー（左ドアミラー又は左フェンダーミラー）に映る像を撮影するものとして設けられる。自車両ＣＲ０において実際のサイドミラーの設置有無は問わない。
【００３５】
図３に示す如く、画像表示部１３の表示領域には、右電子ミラー画像表示領域ＭＲと左電子ミラー画像表示領域ＭＬとが設けられる。右電子ミラー画像表示領域ＭＲには、自車両ＣＲ０の後方領域及び右斜め後方領域（右側後方領域）の像を示すべき右電子ミラー画像ＩＲが表示され、左電子ミラー画像表示領域ＭＬには、自車両ＣＲ０の後方領域及び左斜め後方領域（左側後方領域）の像を示すべき左電子ミラー画像ＩＬが表示される。自車両ＣＲ０において、右カメラ１０Ｒに異常が無い場合には、右カメラ１０Ｒの撮影画像に対し所定の画像処理を施して得られる画像が右電子ミラー画像ＩＲとして画像処理部１１にて生成されて表示制御部１２の制御の下で表示領域ＭＲに表示され、左カメラ１０Ｌに異常が無い場合には、左カメラ１０Ｌの撮影画像に対し所定の画像処理を施して得られる画像が左電子ミラー画像ＩＬとして画像処理部１１にて生成されて表示制御部１２の制御の下で表示領域ＭＬに表示される。尚、表示領域ＭＲが設けられる画像表示部と表示領域ＭＬが設けられる画像表示部とは、互いに分離した別々の画像表示部であっても良い。
【００３６】
右カメラ１０Ｒの撮影画像に対する上記画像処理は、輝度補正、歪み補正、幾何学的変換など、右カメラ１０Ｒの撮影画像に基づく右電子ミラー画像ＩＲを上記右サイドミラーに映る像と同等にするための処理を含む。左カメラ１０Ｌの撮影画像に対する上記画像処理についても同様である。自車両ＣＲ０の運転手は、右電子ミラー画像ＩＲを見ることで自車両ＣＲ０の右側後方領域の様子を確認することができ、左電子ミラー画像ＩＬを見ることで自車両ＣＲ０の左側後方領域の様子を確認することができる。
【００３７】
但し、カメラ１０Ｒ又は１０Ｌに異常が生じた場合には、運転手は自車両ＣＲ０の右側後方領域又は左側後方領域の様子を画像表示部１３にて確認することができなくなり（特に自車両ＣＲ０に実際のサイドミラーが設置されていない場合には、右側後方領域又は左側後方領域の様子を確認する手段が無くなり）又は確認し難くなり、自車両ＣＲ０の走行を停止せざるを得ない状況となる。しかし、走行中に上記異常が生じた場合を考えると直ちに走行を停止できないケースも多々あると考えられ、安全な位置にて停止するまで、何らかの代替手段を用いて電子サイドミラー異常による視界不良を補完する必要がある。この補完に関わる技術を以下に説明する。
【００３８】
この技術の実現方法を具体的に説明するに先立ち、幾つかの定義及び前提となる事項を説明する。
【００３９】
図４に示す如く、Ｘ軸及びＹ軸から成る二次元座標系を定義する。Ｘ軸及びＹ軸は原点Ｏにて互いに直交する。自車両ＣＲ０の重心又は中心に、或いは、自車両ＣＲ０の車体内の所定位置に原点Ｏがとられる。原点ＯからＸ軸の正側、負側に向かう方向が、夫々、右方向、左方向であり、原点ＯからＹ軸の正側、負側に向かう方向が、夫々、前方、後方である。
【００４０】
また、以下では、各他車両にも運転支援装置１と同等の運転支援装置が搭載されていると考える。図５は、各他車両に搭載された運転支援装置としての運転支援装置１’の構成ブロック図である。各他車両に搭載された運運転支援装置１’は、図１に示されるカメラ部１０、画像処理部１１、表示制御部１２、画像表示部１３、カメラ状態検出部１４及び情報処理部１５と同等のカメラ部１０’、画像処理部１１’、表示制御部１２’、画像表示部１３’、カメラ状態検出部１４’及び情報処理部１５’を備える。他車両の運転支援装置１’に設けられた情報処理部１５’は、自車両ＣＲ０の運転支援装置１に設けられた情報処理部１５が情報取得部として機能する場合（図１参照）、その情報取得部に対して情報を提供する情報提供部として機能する。
【００４１】
他車両に設置された前カメラ、後カメラ、右カメラ及び左カメラは、夫々、１０Ｆ’、１０Ｂ’、１０Ｒ’、１０Ｌ’にて参照される。各他車両において、他車両に対するカメラ１０Ｆ’、１０Ｂ’、１０Ｒ’及び１０Ｌ’の設置位置並びに他車両から見たカメラ１０Ｆ’、１０Ｂ’、１０Ｒ’及び１０Ｌ’の撮影領域は、自車両ＣＲ０に対するカメラ１０Ｆ、１０Ｂ、１０Ｒ及び１０Ｌの設置位置並びに自車両ＣＲ０から見たカメラ１０Ｆ、１０Ｂ、１０Ｒ及び１０Ｌの撮影領域と同じであるとする。以下では、自車両ＣＲ０に設置されたカメラ（１０Ｆ、１０Ｂ、１０Ｒ、１０Ｌ）を自車両カメラと称することがあり、他車両に設置されたカメラ（１０Ｆ’、１０Ｂ’、１０Ｒ’、１０Ｌ’）を他車両カメラと称することがある。尚、図４を含む以下に参照される図面であって、自車両ＣＲ０又は他車両を上方から見た平面図では、自車両ＣＲ０、他車両の夫々を五角形にて示し、五角形から左右に突出する２つの四角形は左カメラ及び右カメラを表すものとする。
【００４２】
以下の複数の実施例の中で、上記補完に関わる技術や、運転支援装置１の詳細な動作例、運転支援装置１に関わる応用技術、変形技術等を説明する。特に記述無き限り且つ矛盾無き限り、上述した事項が後述の各実施例に適用される。後述の各実施例において、上述の内容と矛盾する事項については、各実施例での記載が優先されて良い。また矛盾無き限り、以下に述べる複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる（即ち複数の実施例の内の任意の２以上の実施例を組み合わせることも可能である）。
【００４３】
＜＜第１実施例＞＞
第１実施例を説明する。図６は、自車両ＣＲ０の運転支援装置１にて実行される電子ミラー画像表示処理のフローチャートである。運転支援装置１において、自車両カメラ１０Ｒ及び１０Ｌの夫々に対し、図６の電子ミラー画像表示処理が周期的に実行される。今、説明の明確化のため、自車両カメラ１０Ｒ及び１０Ｌの内、注目した自車両カメラを注目自車両カメラと称し、注目自車両カメラに対する電子ミラー画像表示処理を説明する。
【００４４】
電子ミラー画像表示処理では、まずステップＳ１１において、カメラ状態検出部１４により、注目自車両カメラの異常の有無が検出される。注目自車両カメラに異常が無いと判断された場合には、ステップＳ１１からステップＳ１２に進んでステップＳ１２及びＳ１３から成る正常処理を経てステップＳ１８の処理が実行される。一方、注目自車両カメラに異常があると判断された場合には、ステップＳ１１からステップＳ１４に進んでステップＳ１４〜Ｓ１７から成る異常対応処理を経てステップＳ１８の処理が実行される。
【００４５】
ステップＳ１２及びＳ１３から成る正常処理を説明する。ステップＳ１２において、画像処理部１１は、注目自車両カメラから注目自車両カメラによる撮影画像を取得し、続くステップＳ１３において、注目自車両カメラの撮影画像から必要な画像処理を経て電子ミラー画像を生成する。正常処理の後、ステップＳ１８では、ステップＳ１３で生成された電子ミラー画像が画像表示部１３の対応表示領域に表示される。即ち、注目自車両カメラが右カメラ１０Ｒである場合、ステップＳ１３及びＳ１８では、右カメラ１０Ｒの撮影画像に基づく右電子ミラー画像ＩＲが生成されて右電子ミラー画像表示領域ＭＲに表示され、注目自車両カメラが左カメラ１０Ｌである場合、ステップＳ１３及びＳ１８では、左カメラ１０Ｌの撮影画像に基づく左電子ミラー画像ＩＬが生成されて左電子ミラー画像表示領域ＭＬに表示されることになる。
【００４６】
ステップＳ１４〜Ｓ１７から成る異常対応処理を説明する。異常対応処理では、自車両の周辺に位置する他車両の何れかが取得対象車両として選択され且つ取得対象車両に設置された何れかのカメラが取得対象カメラとして選択されることになるが、ステップＳ１４では、これらの選択に供される選択用情報が、情報取得部として機能する情報処理部１５により取得される。注目自車両カメラに異常がある場合、一定周期ごとにステップＳ１４の処理が実行されるので、最新の選択用情報が一定周期で取得されることになる。尚、本実施例で注目される他車両とは、自車両ＣＲ０の周辺に位置していて自車両ＣＲ０が走行する道路と同じ道路上を走行し且つ自車両ＣＲ０と無線通信を行うことができる他車両を指すものとする（後述の各実施例でも同様）。自車両ＣＲ０が走行する道路は複数の車線から成るものとし、当該道路上の複数の車線は自車両ＣＲ０の走行車線を含むと共に対向車線を含むものとする。他車両には、自車両ＣＲ０の走行方向と同じ向きに走行する他車両と、自車両ＣＲ０の走行方向と逆向きに走行する他車両とがあるが、後者の他車両が走行する車線が対向車線である。
【００４７】
図７に選択用情報の構成を示す。選択用情報は、自車両情報、他車両情報、インフラ情報追及び走行車線情報を含む。
【００４８】
自車両情報（図７参照）は、自車両ＣＲ０に関わる情報であって、自車両ＣＲ０の位置を示す位置情報、自車両ＣＲ０の移動方位を示す移動方位情報及び自車両ＣＲ０の移動速度を示す移動速度情報などを含む。
【００４９】
自車両ＣＲ０にはＧＰＳ受信部（不図示）が設置されている。自車両ＣＲ０のＧＰＳ受信部は、ＧＰＳ（Global Positioning System）を形成する複数のＧＰＳ衛星からの信号を受信することで自車両ＣＲ０の位置を検出する。自車両ＣＲ０の位置は地球上における経度及び緯度で表現されるが、ここで取得された自車両ＣＲ０の位置に原点Ｏがとられる。
自車両ＣＲ０には、ジャイロセンサから成る方位センサ（不図示）が設置されており、情報処理部１５は、その方位センサを用いて自車両ＣＲ０の移動方位を示す自車両ＣＲ０の移動方位情報を取得する。自車両ＣＲ０の移動方位は、自車両ＣＲ０の走行方向を“方位”にて表現したものである。
自車両ＣＲ０には、自車両ＣＲ０の移動速度を検出するための車速センサ（不図示）が設置されており、情報処理部１５は、その車速センサを用いて自車両ＣＲ０の移動速度情報を取得する。
自車両ＣＲ０において、ＧＰＳ受信部は運転支援装置１の構成要素であっても良いし、運転支援装置１以外の装置の構成要素であっても良い。自車両ＣＲ０において、方位センサ及び車速センサについても同様であると解して良いし、後述の区画線検知部についても同様であると解して良い。運転支援装置１以外の装置は、例えば、自車両ＣＲ０に設置されたカーナビゲーション装置又はドライブレコーダ装置である。
【００５０】
他車両情報（図７参照）は、他車両に関わる情報であって、他車両の位置を示す位置情報、他車両の移動方位を示す移動方位情報及び他車両の移動速度を示す移動速度情報などを含む。他車両情報は、まず他車両における情報処理部１５’にて取得され、他車両の情報処理部１５’と自車両ＣＲ０の情報処理部１５との間における無線通信を通じて、情報処理部１５’にて取得された他車両情報が自車両ＣＲ０の情報処理部１５に伝達される。情報処理部１５及び１５’間の通信は、任意の規格（例えば、Ｗｉ−Ｆｉ（登録商標）の規格）に従う処理部１５及び１５’間の直接無線通信であって良いし、サーバ機器（不図示）を介して行われるものであっても良い。自車両ＣＲ０の周辺に位置する各他車両の他車両情報が各他車両の情報処理部１５’から自車両ＣＲ０の情報処理部１５に提供される。
【００５１】
他車両にはＧＰＳ受信部（不図示）が設置されている。他車両のＧＰＳ受信部は、上記複数のＧＰＳ衛星からの信号を受信することで他車両の位置を検出する。他車両の位置は地球上における経度及び緯度で表現される。
他車両には、ジャイロセンサから成る方位センサ（不図示）が設置されており、情報処理部１５’は、その方位センサを用いて他車両の移動方位を示す他車両の移動方位情報を取得する。他車両の移動方位は、他車両の走行方向を“方位”にて表現したものである。
他車両には、他車両の移動速度を検出するための車速センサ（不図示）が設置されており、情報処理部１５’は、その車速センサを用いて他車両の移動速度情報を取得する。
他車両において、ＧＰＳ受信部は運転支援装置１’の構成要素であっても良いし、運転支援装置１’以外の装置の構成要素であっても良い。他車両において、方位センサ及び車速センサについても同様であると解して良いし、後述の区画線検知部についても同様であると解して良い。運転支援装置１’以外の装置は、例えば、他車両に設置されたカーナビゲーション装置又はドライブレコーダ装置である。
【００５２】
インフラ情報（図７参照）は地図データを含み、地図データは地球上の各位置における道路の形状を示す道路形状情報及び地球上の各位置における道路の車線数を示す車線数情報などを含む。情報処理部１５は、運転支援装置１に設けられ得る地図データ格納部（不図示）から地図データを取得する、或いは、地図データを保持するサーバ機器から無線通信を介して地図データを取得する。情報処理部１５は、地図データと自車両ＣＲ０の位置情報とに基づき、自車両ＣＲ０が走行している道路の形状及び車線数を認識することができる。インフラ情報は、道路の各車線が何れの方位に向けて走行する車両用の車線であるのかを示す車線方位情報を含んでいても良い。
【００５３】
走行車線情報（図７参照）は、自車両ＣＲ０の走行車線及び他車両の走行車線を特定する情報などを含む。自車両ＣＲ０が走行している道路に設けられた複数の車線の内の、どの車線を自車両ＣＲ０が走行しているのか、及び、その複数の車線の内の、どの車線を他車両が走行しているのかが走行車線情報にて示される。他車両の走行車線は他車両ごとに特定される。走行車線情報は、一次情報としての自車両情報、他車両情報及びインフラ情報から導き出される二次情報である。
【００５４】
走行車線情報の取得には、自車両ＣＲ０及び各他車両に設置された区画線検知部（不図示）が利用される。自車両ＣＲ０の区画線検知部は、レーンキープアシスト機能などで利用される公知の方法を用い、自車両ＣＲ０の前方の路面を撮影する前カメラ１０Ｆの撮影画像に基づいて、自車両ＣＲ０が走行する道路上の区画線及び当該道路内と外との境界線を検知することができる。他車両の区画線検知部も同様に他車両の前方の路面を撮影する前カメラ１０Ｆ’の撮影画像に基づいて、他車両が走行する道路上の区画線及び当該道路内と外との境界線を検知することができる。区間線は、道路における隣接する２つの車線間に位置して当該２つの車線を区画する線であり、多くは白線として道路の路面に設けられる。区画線の色は“白”に限定されないが、以下では区画線が白線であるとする。上記境界線は例えば車両走行用の道路と歩道とを区画する線に相当し、路肩、縁石又は壁などにて構成される。尚、前カメラ１０Ｆ又は１０Ｆ’の撮影領域内に道路の中央分離帯が含まれている場合、区画線検知部は、前カメラ１０Ｆ又は１０Ｆ’の撮影画像に基づき中央分離帯も検出できる。中央分離帯も区画線の一種であると考えて良い。
【００５５】
インフラ情報（地図データ）と自車両ＣＲ０の位置情報と各他車両の位置情報とに基づけば、自車両ＣＲ０が走行している道路上における、どの位置に自車両ＣＲ０が位置しているのか特定することができ、且つ、どの位置に他車両が位置しているのかを他車両ごとに特定することができる。更に、自車両ＣＲ０の区画線検知部の検知結果及び各他車両の区画線検知部の検知結果を用いれば、情報処理部１５は、自車両ＣＲ０が走行している道路に設けられた複数の車線の内の、どの車線に自車両ＣＲ０が走行しているのかを特定することができ、且つ、その複数の車線の内の、どの車線に他車両が走行しているのかを他車両ごとに特定することができる。
【００５６】
図８に示す具体的な状況αを考える。図８は、自車両ＣＲ０及び複数の他車両を上方から見た平面図である。共通の道路ＲＤ上を自車両ＣＲ０と他車両ＣＲ１〜ＣＲ１０が走行しており、自車両ＣＲ０及び他車両ＣＲ１〜ＣＲ１０以外の車両は道路ＲＤ上を走行していないものとする。道路ＲＤの車線数は「６」であって道路ＲＤには車線Ｌ１〜Ｌ６が形成されている。図８において、“６１１”、“６１２”、“６１４”、“６１５”は、夫々、車線Ｌ１及びＬ２間の白線、車線Ｌ２及びＬ３間の白線、車線Ｌ４及びＬ５間の白線、車線Ｌ５及びＬ６間の白線を表し、“６１３”は車線Ｌ３及びＬ４に設けられた中央分離帯を表し、“６１０”は道路ＲＤの左側端部（道路ＲＤと道路ＲＤの左側の歩道との間の路肩等）を表し、“６１６”は道路ＲＤの右側端部（道路ＲＤと道路ＲＤの右側の歩道との間の路肩等）を表す。
【００５７】
状況αにおける、自車両ＣＲ０、他車両ＣＲ１〜ＣＲ１０及び車線Ｌ１〜Ｌ６の位置関係は以下の通りである。
他車両ＣＲ８〜ＣＲ１０は車線Ｌ１上を走行し、自車両ＣＲ０、他車両ＣＲ１、ＣＲ４及びＣＲ６は車線Ｌ２上を走行し、他車両ＣＲ２及びＣＲ５は車線Ｌ３上を走行し、他車両ＣＲ３は車線Ｌ４上を走行し、他車両ＣＲ７は車線Ｌ６上を走行している。車線Ｌ１〜Ｌ３上の各車両は第１方位に向けて走行し、車線Ｌ４〜Ｌ６上の各車両は第１方位とは逆の第２方位に向けて走行する。即ち、車線Ｌ１〜Ｌ３から見て車線Ｌ４〜Ｌ６は対向車線である。以下では、自車両ＣＲ０の走行車線（即ち車線Ｌ２）を基準にして考え、車線Ｌ１〜Ｌ３を非対向車線と称することがあると共に車線Ｌ４〜Ｌ６を対向車線と称することがある。
車線Ｌ１〜Ｌ６の夫々は自車両ＣＲ０の前後方向に沿って直線状に伸びており、自車両ＣＲ０の左から右に向け、車線Ｌ１から車線Ｌ６へと、車線Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６の順に並んでいる。車線Ｌ１において、他車両ＣＲ８は他車両ＣＲ１０の前方に位置し、他車両ＣＲ９は他車両ＣＲ８の更に前方に位置する。車線Ｌ２において、他車両ＣＲ１は自車両ＣＲ０の前方に位置し、他車両ＣＲ４は他車両ＣＲ１の更に前方に位置し、他車両ＣＲ６は自車両ＣＲ０の後方に位置する。車線Ｌ３において、他車両ＣＲ２は他車両ＣＲ５に前方に位置する。自車両ＣＲ０から見て、他車両ＣＲ８及びＣＲ９は左斜め前方に位置しており、他車両ＣＲ１０は左斜め後方に位置しており、他車両ＣＲ２、ＣＲ３及びＣＲ７は右斜め前方に位置しており、他車両ＣＲ５は左斜め後方に位置している。
【００５８】
Ｘ軸及びＹ軸に平行な平面をＸＹ面と称する。状況αにおいて、自車両ＣＲ０の情報処理部１５は、選択用情報に基づき、ＸＹ面上における車両ＣＲ０〜ＣＲ１０及び車線Ｌ１〜Ｌ６の位置関係を示すグリッドマップを生成することができる。グリッドマップでは、自車両ＣＲ０の位置情報、他車両ＣＲ１〜ＣＲ１０の位置情報及びインフラ情報（地図データ）に基づき、道路ＲＤ上の車両ＣＲ０〜ＣＲ１０の各位置が示される。グリッドマップでは、各他車両のＧＰＳ受信部にて検出された各他車両の位置がＸＹ面上の位置に変換され、各他車両の位置がＸＹ面上の位置として表現される。更に車両ＣＲ０〜ＣＲ１０の区画線検知部の検出結果を用いることで、車両ＣＲ０〜ＣＲ１０の走行車線間の関係（自車両ＣＲ０の走行車線と他車両ＣＲ１〜ＣＲ１０の走行車線との関係）を特定したグリッドマップを生成することができる。このようなグリッドマップが、自車両情報、他車両情報及びインフラ情報から生成される走行車線情報に相当すると解しても良い。
【００５９】
即ち例えば、道路ＲＤにおいて第１方位に向けて走行する車両用の車線数が「３」であって且つ第２方位に向けて走行する車両用の車線数が「３」であることがインフラ情報により示されており、車両ＣＲ０〜ＣＲ１０の移動方位情報から車両ＣＲ０〜ＣＲ２、ＣＲ４〜ＣＲ６及びＣＲ８〜ＣＲ１０の移動方位が第１方位であって且つ車両ＣＲ３及びＣＲ７の移動方位が第２方位であることが示されているとする。そうすると、車両ＣＲ０〜ＣＲ２、ＣＲ４〜ＣＲ６及びＣＲ８〜ＣＲ１０は車線Ｌ１〜Ｌ３の何れかを走行し、且つ、車両ＣＲ３及びＣＲ７は車線Ｌ４〜Ｌ６の何れかを走行していることが分かる。
【００６０】
次に、自車両ＣＲ０の区画線検知部の検知結果より、自車両ＣＲ０の左及び右に白線６１１及び６１２があることが検知されると、自車両ＣＲ０が車線Ｌ２上を走行していることが特定される。
【００６１】
図９に示す如く、任意の他車両について、Ｘ軸方向における自車両ＣＲ０及び他車両の距離を距離Ｘｄで表し、Ｙ軸方向における自車両ＣＲ０及び他車両の距離を距離Ｙｄで表す。情報処理部１５は、自車両ＣＲ０の位置情報及び他車両ＣＲ１〜ＣＲ１０の位置情報に基づき、各他車両についての距離Ｘｄ及び距離Ｙｄを導出できる。そして、各他車両の走行車線については、各他車両に対して導出された距離Ｘｄを利用して判断可能である。即ち、情報処理部１５は、所定の基準値未満の距離Ｘｄに対応する他車両の走行車線は、自車両ＣＲ０の走行車線と同じであると判断し、所定の基準値以上の距離Ｘｄに対応する他車両の走行車線は、自車両ＣＲ０の走行車線と異なると判断する。所定の基準値以上の距離Ｘｄに対応する他車両の内、自車両ＣＲ０の右側、左側に位置する他車両は、夫々、自車両ＣＲ０の走行車線の右側、左側の車線上を走行していると判断できる。
【００６２】
図８の状況αでは、自車両ＣＲ０の位置から見たＸ軸方向における他車両ＣＲ１、ＣＲ４及びＣＲ６の距離Ｘｄが上記基準値未満であり、故に、情報処理部１５は、他車両ＣＲ１、ＣＲ４及びＣＲ６の走行車線が自車両ＣＲ０の走行車線と同じであると判断する。
【００６３】
更に、他車両ＣＲ２及びＣＲ５が自車両ＣＲ０の右側に位置していて且つＸ軸方向における車両ＣＲ０及びＣＲ２間の距離並びに車両ＣＲ０及びＣＲ５間の距離が基準値以上であることから、情報処理部１５は、他車両ＣＲ２及びＣＲ５の走行車線は自車両ＣＲ０の走行車線の右側にある（即ち非対向車線Ｌ３である）と判断する。同様にして、他車両ＣＲ８〜ＣＲ１０の走行車線は自車両ＣＲ０の走行車線の左側にある（即ち非対向車線Ｌ１である）と判断する。
或いは、車線Ｌ３を走行する他車両ＣＲ２については、他車両ＣＲ２の区画線検知部により、自車両ＣＲ０から見て他車両ＣＲ２の左側に白線６１２が検知され且つ自車両ＣＲ０から見て他車両ＣＲ２の右側に道路ＲＤの中央分離帯６１３が検出される。このことから、情報処理部１５は、他車両ＣＲ２の走行車線が車線Ｌ３であると判断するようにしても良い。車線Ｌ３を走行する他車両ＣＲ２以外の車両（ここではＣＲ５）についても同様である。
同様に、他車両ＣＲ８については、他車両ＣＲ８の区画線検知部により、自車両ＣＲ０から見て他車両ＣＲ８の右側に白線６１１が検知され且つ自車両ＣＲ０から見て他車両ＣＲ８の左側に道路ＲＤの左側端部６１０が検出される。このことから、情報処理部１５は、他車両ＣＲ８の走行車線が車線Ｌ１であると判断するようにしても良い。車線Ｌ１を走行する他車両ＣＲ８以外の車両（ここではＣＲ９及びＣＲ１０）についても同様である。
【００６４】
他車両ＣＲ３については、他車両ＣＲ３の区画線検知部により、自車両ＣＲ０から見て他車両ＣＲ３の右側に（他車両ＣＲ３の運転手から見た場合には左側に）白線６１４が検知され且つ自車両ＣＲ０から見て他車両ＣＲ３の左側に（他車両ＣＲ３の運転手から見た場合には右側に）道路ＲＤの中央分離帯６１３が検出される。このため、他車両ＣＲ３の走行車線は車線Ｌ４であること分かる。他車両ＣＲ７については、他車両ＣＲ７の区画線検知部により、自車両ＣＲ０から見て他車両ＣＲ７の左側に白線６１５が検知され且つ自車両ＣＲ０から見て他車両ＣＲ７の右側に道路ＲＤの右側端部６１６が検出される。このため、他車両ＣＲ７の走行車線は車線Ｌ６であること分かる。
但し、他車両ＣＲ３及びＣＲ７については、他車両ＣＲ３及びＣＲ７の移動方位が第２方位であることに基づき他車両ＣＲ３及びＣＲ７の走行車線が対向車線であるとだけ判断するようにしても良い。即ち、生成されるグリッドマップ上で、他車両ＣＲ３及びＣＲ７の走行車線が対向車線Ｌ４〜Ｌ６の何れであるまで特定することは必須では無い。
【００６５】
図６を再度参照し、ステップＳ１４に続くステップＳ１５において、情報処理部１５は取得対象車両及び取得対象カメラを選択するための取得対象選択処理を実行する。異常対応処理では、異常があると検出された注目自車両カメラの視界不良を補完するための補完用画像が何れかの他車両カメラら取得されることになるが、補完用画像の撮影を行うカメラが取得対象カメラであり、取得対象カメラが設置された他車両が取得対象車両である。取得対象選択処理の詳細については後述する。
【００６６】
ステップＳ１５に続くステップＳ１６において、補完用画像取得部として機能する情報処理部１５は、取得対象カメラの撮影画像を取得対象車両から補完用画像として取得する。この取得は、情報取得部として機能する自車両ＣＲ０の情報処理部１５と、情報提供部として機能する取得対象車両の情報処理部１５’との間の無線通信を介して実現される。但し、上述したように、この無線通信にサーバ機器が介在することが有りえても良い。
【００６７】
ステップＳ１６に続くステップＳ１７において、自車両ＣＲ０の画像処理部１１は、補完用画像に対して必要な画像処理を施すことで電子ミラー画像を生成する。異常対応処理の後、ステップＳ１８では、ステップＳ１７で生成された電子ミラー画像が画像表示部１３の対応表示領域に表示される。即ち、注目自車両カメラが右カメラ１０Ｒである場合、異常対応処理を経たステップＳ１８では、補完用画像に基づく右電子ミラー画像ＩＲが右電子ミラー画像表示領域ＭＲに表示され、注目自車両カメラが左カメラ１０Ｌである場合、異常対応処理を経たステップＳ１８では、補完用画像に基づく左電子ミラー画像ＩＬが左電子ミラー画像表示領域ＭＬに表示されることになる。尚、補完用画像に基づく電子ミラー画像を表示する際、運転支援装置１は、自車両カメラに異常があること及び速やかに自車両ＣＲ０を停止させるべきこと等を示す情報を視覚的又は聴覚的に自車両ＣＲ０の運転手に報知すると良い。
【００６８】
図１０は、ステップＳ１５の取得対象選択処理のフローチャートである。取得対象選択処理では、まずステップＳ３１において、情報処理部１５により、異常のある注目自車両カメラの位置（撮影領域）を基準に、取得対象車両が探索されるべき探索領域が設定される。
【００６９】
図１１（ａ）の領域６６０Ｒは右カメラ１０Ｒに異常があるときに設定される探索領域を表す。探索領域６６０Ｒは、自車両ＣＲ０の左側に位置する領域を含まない領域であって、且つ、自車両ＣＲ０からのＹ軸方向における距離が所定のＹ探索距離（例えば３０メートル）以下の領域であり、Ｘ軸方向については車線数にて定義される。具体的には、自車両ＣＲ０の走行車線から見て右側の２車線分の領域が探索領域６６０Ｒに含められ、それよりも右側の車線の領域は探索領域６６０Ｒから除外される。但し、自車両ＣＲ０の走行車線の右側に車線が１つも無い場合には、自車両ＣＲ０の走行車線のみが探索領域６６０Ｒに属し、自車両ＣＲ０の走行車線の右側に車線が１つしか無い場合には、自車両ＣＲ０の走行車線と、それに隣接する右側の１車線のみが探索領域６６０Ｒに属する。
【００７０】
図１１（ｂ）の領域６６０Ｌは左カメラ１０Ｌに異常があるときに設定される探索領域を表す。探索領域６６０Ｌは、自車両ＣＲ０の右側に位置する領域を含まない領域であって、且つ、自車両ＣＲ０からのＹ軸方向における距離が所定のＹ探索距離以下の領域であり、Ｘ軸方向については車線数にて定義される。具体的には、自車両ＣＲ０の走行車線から見て左側の２車線分の領域が探索領域６６０Ｌに含められ、それよりも左側の車線の領域は探索領域６６０Ｌから除外される。但し、自車両ＣＲ０の走行車線の左側に車線が１つも無い場合には、自車両ＣＲ０の走行車線のみが探索領域６６０Ｌに属し、自車両ＣＲ０の走行車線の左側に車線が１つしか無い場合には、自車両ＣＲ０の走行車線と、それに隣接する左側の１車線のみが探索領域６６０Ｌに属する。
【００７１】
右カメラ１０Ｒに異常があるとき、主として自車両ＣＲ０の右側後方領域の視界不良を補完する必要があり、この補完にとって自車両ＣＲ０の左側に位置する他車両のカメラは利用価値が低い。逆に言えば、自車両ＣＲ０の左側に位置する他車両と異なる他車両から補完用画像を取得した方が、上記視界不良の補完にとって好ましい。このため、上記の如く探索領域６６０Ｒを設定する。左カメラ１０Ｌに異常があるときにも同様の主旨から探索領域６６０Ｌが設定される。また、自車両ＣＲ０から見て前方又は後方に大きく距離の離れた他車両で撮影された画像は、カメラの視野から考えて、補完用画像に適さないと考えられるため、上記のようなＹ探索距離を設定している。同様の主旨から、探索領域の大きさを左右方向（Ｚ軸方向）においても限定している。尚、左右方向の探索領域の大きさを定義する車線数の“２”は例に過ぎず、様々に変更可能である。
【００７２】
ステップＳ３１の後、ステップＳ３２に進む。ステップＳ３２において、情報処理部１５は、自車両ＣＲ０及び各他車両の位置情報を参照し、探索領域内に位置し且つ自車両ＣＲ０の前方に位置する他車両の内、Ｙ軸方向において自車両ＣＲ０に最も近い他車両を特定する（即ち、最小の距離Ｙｄに対応する他車両を特定する）。ここで、１つの他車両が特定された場合には、その１つの他車両を取得対象車両として選択及び設定するが、複数の他車両が特定された場合には、その複数の他車両の内、Ｘ軸方向において自車両ＣＲ０に最も近い他車両を取得対象車両として選択及び設定する。
【００７３】
ステップＳ３２にて取得対象車両の設定が行うことができた場合には、ステップＳ３２からステップＳ３３を介してステップＳ３６に進むが、そうでない場合にはステップＳ３２からステップＳ３３を介してステップＳ３４に進む。探索領域内に、自車両ＣＲ０の前方に位置する他車両が存在しない場合にはステップＳ３４に進むことになる。
【００７４】
ステップＳ３４において、情報処理部１５は、自車両ＣＲ０及び各他車両の位置情報を参照し、探索領域内に位置し且つ自車両ＣＲ０の後方に位置する他車両の内、Ｙ軸方向において自車両ＣＲ０に最も近い他車両を特定する（即ち、最小の距離Ｙｄに対応する他車両を特定する）。ここで、１つの他車両が特定された場合には、その１つの他車両を取得対象車両として選択及び設定するが、複数の他車両が特定された場合には、その複数の他車両の内、Ｘ軸方向において自車両ＣＲ０に最も近い他車両を取得対象車両として選択及び設定する。
【００７５】
ステップＳ３４にて取得対象車両の設定が行うことができた場合には、ステップＳ３４からステップＳ３５を介してステップＳ３６に進む。そうでない場合には、取得対象車両及び取得対象カメラの設定が行われることなく取得対象選択処理が終了する。この場合には、補完用画像を取得することができないため、運転支援装置１は、補完用画像に基づく電子ミラー画像を表示することなく、例えば所定の警告表示画像を画像表示部１３に表示させると良い。
【００７６】
自車両ＣＲ０の後方に位置する他車両のカメラの撮影画像は、当該他車両と自車両ＣＲ０との間の空間の画像情報を持たず、故に、自車両ＣＲ０の後方に位置する他車両を取得対象車両に設定した場合には、当該他車両と自車両ＣＲ０との間の空間の画像情報を自車両ＣＲ０の運転手に提示することができない。故に、自車両ＣＲ０の前方に位置する他車両を取得対象車両として設定することができない場合に限って、自車両ＣＲ０の後方に位置する他車両を取得対象車両に設定するようにしている。
【００７７】
ステップＳ３６において、情報処理部１５は、異常のある注目自車両カメラの位置（撮影領域）と自車両ＣＲ０及び取得対象車両間の位置関係とに基づいて、取得対象車両に設置されたカメラの何れかを取得対象カメラとして選択及び設定する。
【００７８】
図８の状況αを想定して、取得対象車両及び取得対象カメラの設定具体例を説明する。図８の状況αにおける他車両ＣＲ１〜ＣＲ１０の距離Ｙｄは全てＹ探索距離以下であるとする。
【００７９】
図１２を参照し、まず状況αにおいて右カメラ１０Ｒに異常があるケースＣＳ１を考える。ケースＣＳ１では、他車両ＣＲ１〜ＣＲ６が探索領域内に位置し且つ他車両ＣＲ７〜ＣＲ１０は探索領域外に位置することになる。そして、車両ＣＲ１〜ＣＲ３の距離Ｙｄが互いに同一である場合には、車両ＣＲ１〜ＣＲ３の距離Ｘｄの内、車両ＣＲ１の距離Ｘｄが最も小さいことから車両ＣＲ１が取得対象車両として選択及び設定されることになる。
【００８０】
図１２の他車両ＣＲ１〜ＣＲ６内に示される白丸内の数字は、対応する他車両が取得対象車両として設定される優先順位を表し、他車両ＣＲ１〜ＣＲ６に対し夫々第１〜第６の優先順位が対応付けられることになる（但し、車両ＣＲ１〜ＣＲ３の距離Ｙｄが互いに同一であると仮定）。より小さな数値の優先順位が対応付けられた他車両が優先的に取得対象車両に設定されることになる。従って、状況αのケースＣＳ１を基準として、仮に例えば、第１の優先順位が対応付けられた他車両ＣＲ１が存在しなかったならば第２の優先順位が対応付けられた他車両ＣＲ２が取得対象車両に設定され、更に他車両ＣＲ２も存在しなかったならば第３の優先順位が対応付けられた他車両ＣＲ３が取得対象車両に設定されることになる。
【００８１】
図１３を参照し、次に状況αにおいて左カメラ１０Ｌに異常があるケースＣＳ２を考える。ケースＣＳ２では、他車両ＣＲ１、ＣＲ４、ＣＲ６及びＣＲ８〜ＣＲ１０が探索領域内に位置し且つ他車両ＣＲ２、ＣＲ３、ＣＲ５及びＣＲ７は探索領域外に位置することになる。そして、車両ＣＲ１及びＣＲ８の距離Ｙｄが互いに同一である場合には、車両ＣＲ１及びＣＲ８の距離Ｘｄの内、車両ＣＲ１の距離Ｘｄの方が小さいことから車両ＣＲ１が取得対象車両として選択及び設定されることになる。
【００８２】
図１３の他車両ＣＲ１、ＣＲ４、ＣＲ６及びＣＲ８〜ＣＲ１０内に示される白丸内の数字は、対応する他車両が取得対象車両として設定される優先順位を表し、他車両ＣＲ１、ＣＲ８、ＣＲ４、ＣＲ９、ＣＲ６、ＣＲ１０に対し夫々第１〜第６の優先順位が対応付けられることになる（但し、車両ＣＲ１及びＣＲ８の距離Ｙｄが互いに同一であり、且つ、車両ＣＲ４及びＣＲ９の距離Ｙｄが互いに同一であり、且つ、車両ＣＲ６及びＣＲ１０の距離Ｙｄが互いに同一であると仮定）。より小さな数値の優先順位が対応付けられた他車両が優先的に取得対象車両に設定されることになる。従って、状況αのケースＣＳ２を基準として、仮に例えば、第１の優先順位が対応付けられた他車両ＣＲ１が存在しなかったならば第２の優先順位が対応付けられた他車両ＣＲ８が取得対象車両に設定され、更に他車両ＣＲ８も存在しなかったならば第３の優先順位が対応付けられた他車両ＣＲ４が取得対象車両に設定されることになる。
【００８３】
図１４（ａ）等を参照し、取得対象車両に設置されたカメラの中から、取得対象カメラを選択及び設定する方法を説明する。
【００８４】
図１４（ａ）に示す如く、自車両ＣＲ０の右カメラ１０Ｒに異常があるケースＣＳ１の内、自車両ＣＲ０の走行車線と同一の走行車線上を走行する他車両（ケースＣＳ１においては他車両ＣＲ１、ＣＲ４又はＣＲ６）が取得対象車両として選択されるケースＣＳ１ａでは、取得対象車両の右カメラ１０Ｒ’が取得対象カメラに設定される。ケースＣＳ１ａにおいては、取得対象車両の右カメラ１０Ｒ’の方が、左カメラ１０Ｌ’よりも、自車両ＣＲ０の右カメラ１０Ｒの視界をカバーできる可能性が高いと考えられるからである。図１４（ａ）では、他車両ＣＲ１が取得対象車両に設定される例が示されているが、他車両ＣＲ４又はＣＲ６が取得対象車両に設定される場合も同様とされる。
【００８５】
図１４（ｂ）に示す如く、自車両ＣＲ０の右カメラ１０Ｒに異常があるケースＣＳ１の内、自車両ＣＲ０の走行車線の右側の車線を走行する他車両であって且つ非対向車線上をする他車両（ケースＣＳ１においては他車両ＣＲ２又はＣＲ５）が取得対象車両として選択されるケースＣＳ１ｂでは、取得対象車両の左カメラ１０Ｌ’が取得対象カメラに設定される。ケースＣＳ１ｂにおいては、取得対象車両の左カメラ１０Ｌ’の方が、右カメラ１０Ｒ’よりも、自車両ＣＲ０の右カメラ１０Ｒの視界をカバーできる可能性が高いと考えられるからである。図１４（ｂ）では、他車両ＣＲ２が取得対象車両に設定される例が示されているが、他車両ＣＲ５が取得対象車両に設定される場合も同様とされる。
【００８６】
図１４（ｃ）に示す如く、自車両ＣＲ０の右カメラ１０Ｒに異常があるケースＣＳ１の内、対向車線上を走行する他車両（ケースＣＳ１においては他車両ＣＲ３）が取得対象車両として選択されるケースＣＳ１ｃでは、取得対象車両の前カメラ１０Ｆ’が取得対象カメラに設定される。尚、各車両の前カメラ（１０Ｆ、１０Ｆ’）は、自動ブレーキ等の運転支援制御に利用され得る。
【００８７】
自車両ＣＲ０の左カメラ１０Ｌに異常があるケースＣＳ２における取得対象カメラの設定方法は、上述のケースＣＳ１における取得対象カメラの設定方法と同様である。
【００８８】
即ち例えば、図１５（ａ）に示す如く、自車両ＣＲ０の左カメラ１０Ｌに異常があるケースＣＳ２の内、自車両ＣＲ０の走行車線と同一の走行車線上を走行する他車両（ケースＣＳ２においては他車両ＣＲ１、ＣＲ４又はＣＲ６）が取得対象車両として選択されるケースＣＳ２ａでは、取得対象車両の左カメラ１０Ｌ’が取得対象カメラに設定されると良い（図１５（ａ）では車両ＣＲ１が取得対象車両に設定されることが例示）。同様に例えば、図１５（ｂ）に示す如く、ケースＣＳ２の内、車両ＣＲ０の走行車線の左側の車線を走行する他車両であって且つ非対向車線上をする他車両（ケースＣＳ２においては他車両ＣＲ８、ＣＲ９又はＣＲ１０）が取得対象車両として選択されるケースＣＳ２ｂでは、取得対象車両の右カメラ１０Ｒ’が取得対象カメラに設定されると良い（図１５（ｂ）では車両ＣＲ８が取得対象車両に設定されることが例示）。同様に例えば、状況αとは整合しないため特に図示しないが、仮に、自車両ＣＲ０の左カメラ１０Ｌに異常があって、対向車線上を走行する他車両が取得対象車両として選択されたのであれば、取得対象車両の前カメラ１０Ｆ’が取得対象カメラに設定されると良い。
【００８９】
尚、上述の説明では特に述べなかったが、ステップＳ３１にて設定される探索領域内に位置する他車両であっても、対向車線上の他車両は、それが自車両ＣＲ０の前方に位置する場合に限って、取得対象車両として選択され得るようにすると良い。つまり、対向車線上を走行する他車両（即ち自車両ＣＲ０の移動方位と異なる方位へ走行する他車両）であって且つ自車両ＣＲ０の後方に位置する他車両は、取得対象車両の候補から除外されるようにすると良い。そのような他車両のカメラの撮影画像は、自車両ＣＲ０のカメラ異常による視界不良の補完にとって利用価値が乏しいからである。
【００９０】
また、上述の方法により、或るタイミングで対向車線上の他車両が取得対象車両に設定されたとしても、自車両ＣＲ０と対向車線上の他車両との相対速度が大きいため、短時間で、その他車両が自車両ＣＲ０とすれ違って、取得対象車両が別の他車両に切り替わることも多いと考えられる。取得対象車両が短時間で切り替わることは、電子ミラー画像の取得元のカメラの視点が短時間で切り替わることを意味し、そのような視点の頻繁な切り替わりは自車両ＣＲ０の運転手の混乱を招く可能性がある。このため、取得対象車両の候補から対向車線上の他車両を除外するようにしても良い。即ち、探索領域内の他車両であって且つ自車両ＣＲ０の移動方位と同一の移動方位で走行する他車両の中から取得対象車両を選択するようにしても良い。
【００９１】
或いは、探索領域内の他車両であって且つ自車両ＣＲ０の移動方位と同一の移動方位へ走行する他車両の中から取得対象車両を選択することを優先しつつ、自車両ＣＲ０の移動方位と同一の移動方位へ走行する他車両が探索領域内に存在しない場合に限って、対向車線上を走行する他車両（自車両ＣＲ０の移動方位と異なる方位へ走行する他車両）を取得対象車両として選択しうるようにしても良い。
【００９２】
また、探索領域内の他車両ごとに複数の選択指標に基づくスコアを導出することで取得対象車両の選択を行うようにしても良い。複数の選択指標は取得対象車両の選択に供される指標であり、例えば、情報処理部１５は、以下の式（１）に従って、探索領域内の他車両ごとにスコアＳＣを導出し、最大のスコアＳＣを有する他車両を取得対象車両として選択及び設定するようにしても良い。式（１）において、ｗ１〜ｗ５は重み係数であり、夫々に正の所定値を持つ。但し、重み係数ｗ１〜ｗ５の内、任意の何れか１以上の重み係数の値をゼロとすることも可能である。
ＳＣ＝ｗ１・Ｋ（Ｙｄ）＋ｗ２・Ｋ（Ｘｄ）＋ｗ３・Ｊ３＋ｗ４・Ｊ４＋ｗ５・Ｊ５
・・・（１）
【００９３】
“Ｋ（Ｙｄ）”は距離Ｙｄに依存する関数である。或る他車両についてのスコアＳＣを導出する際、関数Ｋ（Ｙｄ）の値は、当該他車両についての距離Ｙｄがゼロであるときに最大となり、当該距離Ｙｄがゼロから増大するにつれゼロに向けて単調減少する。“Ｋ（Ｘｄ）”は距離Ｘｄに依存する関数である。或る他車両についてのスコアＳＣを導出する際、関数Ｋ（Ｘｄ）の値は、当該他車両についての距離Ｘｄがゼロであるときに最大となり、当該距離Ｘｄがゼロから増大するにつれゼロに向けて単調減少する。より小さな距離Ｙｄ及びＸｄに対応する他車両のカメラの方が、異常のある自車両カメラの視界不良をカバーし易いと考えられるからである。尚、関数Ｋ（Ｙｄ）の値は、距離Ｙｄがゼロ以外の所定距離であるときに最大となり、距離Ｙｄが所定距離から離れるにつれゼロに向けて単調減少するものであっても良い。また、式（１）において、“ｗ１・Ｋ（Ｙｄ）＋ｗ２・Ｋ（Ｘｄ）”を“ｗ１・Ｋ（Ｙｄ，Ｘｄ）”に置換しても良い。Ｋ（Ｙｄ，Ｘｄ）は距離Ｙｄ及びＸｄの双方に依存する関数である。
【００９４】
“Ｊ３”は自車両ＣＲ０及び他車両間の前後関係に依存する関数である。具体的には、或る他車両についてのスコアＳＣを導出する際、当該他車両が自車両ＣＲ０の前方に位置するならば関数Ｊ３の値は正の所定値となり、そうでないならば関数Ｊ３の値は負の所定値又はゼロとなる。これにより、自車両ＣＲ０の前方に位置する他車両が取得対象車両に選択され易くなる（その方が好ましいのは上述した通り）。
【００９５】
“Ｊ４”は自車両ＣＲ０及び他車両の移動方位に依存する関数である。具体的には、或る他車両についてのスコアＳＣを導出する際、当該他車両の移動方位（走行方向）が自車両ＣＲ０の移動方位と同じであるならば関数Ｊ４の値は正の所定値となり、当該他車両の移動方位（走行方向）が自車両ＣＲ０の移動方位と同じでないならば関数Ｊ４の値は負の所定値又はゼロとなる。これにより、自車両ＣＲ０と同一方向に走行している他車両が取得対象車両に選択され易くなる（その方が好ましいのは上述した通り）。
【００９６】
“Ｊ５”は自車両ＣＲ０及び他車両間の相対速度に依存する関数である。或る他車両についてのスコアＳＣを導出する際、関数Ｊ５の値は、当該他車両と自車両ＣＲ０との相対速度がゼロであるときに最大となり、当該相対速度がゼロから増大するにつれゼロに向けて単調減少する。これにより、上記相対速度が小さい他車両が取得対象車両に選択され易くなり、特に対向車線上の他車両は選択され難くなる（その方が好ましいのは上述した通り）。
【００９７】
情報処理部１５はスコアＳＣの値を式（１）に従う演算により導出しても良いし、式（１）に従って予め作成され且つ運転支援装置１に予め保持されたルックアップテーブルを用いてスコアＳＣを導出しても良い。
【００９８】
また、探索領域のＸ軸方向における大きさを車線数で定義する方法を上述したが、探索領域のＸ軸方向における大きさの定義方法はこれに限定されない。即ち例えば、右カメラ１０Ｒに異常があるときに設定される探索領域６６０Ｒは（図１１（ａ）参照）、自車両ＣＲ０の位置から、左側及び右側の内、右側にのみ広がる領域であって、探索領域６６０ＲのＸ軸方向における幅は所定のＸ探索距離（例えば１０メートル）であって良い。同様に例えば、左カメラ１０Ｌに異常があるときに設定される探索領域６６０Ｌは（図１１（ｂ）参照）、自車両ＣＲ０の位置から、左側及び右側の内、左側にのみ広がる領域であって、探索領域６６０ＬのＸ軸方向における幅は所定のＸ探索距離であって良い。
【００９９】
探索領域のＸ軸方向における大きさを車線数で定義しない場合、情報処理部１５は、各他車両の走行車線を詳細に特定する必要は無く、インフラ情報の取得も不要となりうる。例えば、情報処理部１５は、所定の基準値未満の距離Ｘｄに対応する他車両の走行車線は自車両ＣＲ０の走行車線と同一と判断する一方で、所定の基準値以上の距離Ｘｄに対応する他車両の内、自車両ＣＲ０の右側、左側に位置する他車両は、夫々、自車両ＣＲ０の走行車線の右側、左側の車線上を走行していると判断するだけでも良い。この場合でも、図６の異常対応処理を実行可能であるし、上記（１）に基づく対象取得車両の選択も可能である。各他車両が非対向車線及び対向車線の何れを走行しているのかは、自車両ＣＲ０及び各他車両の移動方位情報から分かる。
【０１００】
上述の如く、運転支援装置１では、原則として、複数の自車両カメラ（１０Ｒ、１０Ｌ）の撮影画像に基づく電子ミラー画像（ＩＲ、ＩＬ）を出力画像として画像表示部１３に表示する（図６のステップＳ１２、Ｓ１３及びＳ１８）。但し、複数の自車両カメラの何れかに異常が生じた場合、情報処理部１５（補完用画像取得部）は、異常のある自車両カメラである異常カメラの撮影領域（換言すれば異常カメラの位置）に応じて、自車両ＣＲ０の周辺に位置する複数の他車両の中から取得対象車両を選択し、取得対象車両に設置されたカメラの撮影画像を、通信を介し補完用画像として取得する。そして、画像処理部１１は、異常カメラの撮影画像の代わりに補完用画像を用いて出力画像（ＩＲ又はＩＬ）を生成する。
【０１０１】
異常カメラの撮影領域に応じて取得対象車両が選択されるため、異常カメラの撮影領域の画像情報の補完に適した取得対象車両を選択することが可能となり、異常カメラの発生による視界不良がカバーされ易くなる。
【０１０２】
右カメラ１０Ｒ及び左カメラ１０Ｌに注目した場合、異常カメラが右カメラ１０Ｒであるときと左カメラ１０Ｌであるときとで、互いに異なる選択条件で取得対象車両を選択するようにしている。より具体的には、異常カメラが右カメラ１０Ｒであるときには、自車両ＣＲ０の左側領域が除外された探索領域６６０Ｒ内から取得対象車両を選択するという選択条件を採用し、異常カメラが左カメラ１０Ｌであるときには、自車両ＣＲ０の右側領域が除外された探索領域６６０Ｌ内から取得対象車両を選択するという選択条件を採用している。
【０１０３】
右カメラ１０Ｒに異常があるとき、主として自車両ＣＲ０の右側後方領域の視界不良を補完する必要があり、この補完にとって自車両ＣＲ０の左側に位置する他車両のカメラは利用価値が低い。逆に言えば、自車両ＣＲ０の左側に位置する他車両と異なる他車両から補完用画像を取得した方が、上記視界不良の補完にとって好ましいと言える、上記のような選択方法を採用することで、補完にとってより好ましい取得対象車両を選択することが可能となる。左カメラ１０Ｌに異常があるときも同様である。
【０１０４】
また、情報処理部１５は、自車両ＣＲ０と各他車両との位置関係に基づいて取得対象車両の選択を行うようにしている。より具体的には、情報処理部１５は、複数の他車両の夫々について複数の選択指標に基づき取得対象車両を選択することができ、他車両ごとの複数の選択指標には、Ｙ軸方向における自車両ＣＲ０及び他車両間の距離Ｙｄと、Ｘ軸方向における自車両ＣＲ０及び他車両間の距離Ｘｄと、自車両ＣＲ０及び他車両間の位置の前後関係と、が含まれていると良い。図１０の取得対象選択処理では、ステップＳ３２及びＳ３４の処理の内容及び順序にて、それらの選択指標が考慮される。上述の式（１）を用いる方法によれば、式（１）の右辺の“ｗ１・Ｋ（Ｘｄ）＋ｗ２・Ｋ（Ｙｄ）＋ｗ３・Ｊ３”により、それらの選択指標が考慮される。
【０１０５】
これにより、補完にとってより好ましい取得対象車両を選択することが可能となる。
【０１０６】
また、情報処理部１５は、取得対象車両の選択後、異常カメラの撮影領域（換言すれば異常カメラの位置）と自車両ＣＲ０及び取得対象車両間の位置関係とに基づいて、取得対象車両に設定された２以上のカメラの中から取得対象カメラを選択し、取得対象カメラの撮影画像を補完用画像として取得するようにしている（例えば、図１４（ａ）及び（ｂ）並びに図１５（ａ）及び（ｂ）参照）。
【０１０７】
異常カメラの主たる撮影領域が自車両ＣＲ０の右側後方領域であるのか左側後方領域であるのかに依存して（即ち、異常カメラが右カメラ１０及び左カメラ１０Ｌの何れかであるのかに依存して）且つ自車両ＣＲ０及び取得対象車両間の位置関係に依存して、取得対象車両のカメラの中でも補完にとってより好ましいカメラが変化する。上記のような取得対象カメラの選択方法により、補完にとってより好ましいカメラを取得対象カメラに設定することが可能となる。
【０１０８】
＜＜第２実施例＞＞
第２実施例を説明する。図１６の画像７１０は、自車両ＣＲ０の前方に位置する取得対象車両の取得対象カメラによる撮影画像、即ち補完用画像の例である。取得対象車両が自車両ＣＲ０の前方に位置する場合、補完用画像に自車両ＣＲ０の像が含まれることが期待される。図１６の補完用画像７１０には自車両ＣＲ０の像７１１が含まれており、像７１２は取得対象車両と異なる他車両の像である。尚、図１６の補完用画像７１０及び後述の図１７の電子ミラー画像７２０では、路面など、提案する技術の要部説明に不要な部分の図示を省略している（後述の図１８及び図１９でも同様）。
【０１０９】
本来、自車両カメラの撮影画像に基づく電子ミラー画像には、自車両ＣＲ０の側面の像が含まれることはあっても、自車両ＣＲ０を全体像や自車両ＣＲ０の正面像が含まれることは無い。故に、自車両カメラに異常が生じたとは言え、表示される電子ミラー画像に自車両ＣＲ０の像７１１が含まれていると運転手は大きな違和感を覚え、補完用画像に基づく電子ミラー画像が、どの領域の様子を示しているのか理解しにくくなることもあると考えられる。
【０１１０】
そこで、画像処理部１１は、自車両ＣＲ０の像を含む補完用画像から電子ミラー画像を生成する際、自車両ＣＲ０の像が電子ミラー画像上で他の像（例えば像７１２）と識別して視認可能となるよう、補完用画像に対し所定の加工処理を適用すると良い。ここにおける視認の主体は、自車両ＣＲ０の運転手を含む自車両ＣＲ０の搭乗者である。
【０１１１】
図１７に、補完用画像７１０に対し当該加工処理が適用されることで生成された電子ミラー画像７２０を示す。自車両ＣＲ０を前方から撮影したときの自車両ＣＲ０の画像特徴を示す自車両画像特徴情報が予め画像処理部１１に与えられている。画像処理部１１は、自車両ＣＲ０の前方に位置している取得対象車両から補完用画像が取得されたとき、自車両画像特徴情報を用いて、補完用画像内に自車両ＣＲ０の画像特徴を有する像が含まれているかを探索し、自車両ＣＲ０の画像特徴を有する像が含まれていると判断した場合に、上記加工処理を実行する。図１６の補完用画像７１０に対しては像７１１が自車両ＣＲ０の画像特徴を有する像として探索及び認定され、この際、画像処理部１１は、補完用画像７１０に対し、像７１１を取り囲む矩形枠画像７２１と像７１１の周辺に配置されるマーカ画像７２２とを付加することで、電子ミラー画像７２０を生成する。
【０１１２】
これにより、補完用画像７１０に基づく電子ミラー画像７２０上において、自車両ＣＲ０の運転手は自車両ＣＲ０の像７１１を識別して視認可能となり、上述したような違和感を軽減することが可能となる。
【０１１３】
尚、電子ミラー画像７２０上において自車両ＣＲ０の像７１１を他の像と識別して視認可能となる限り、上記加工処理の内容は任意である。例えば、補完用画像７１０から電子ミラー画像７２０を生成する過程において像７１１の輝度や色彩を加工しても良いし、電子ミラー画像７２０上で像７１１を明滅させても良い。
【０１１４】
＜＜第３実施例＞＞
第３実施例を説明する。図１８の画像７６０は、自車両ＣＲ０の前方に位置する取得対象車両の取得対象カメラによる撮影画像、即ち補完用画像の例である。取得対象車両が自車両ＣＲ０の前方に位置する場合、補完用画像に自車両ＣＲ０の像が含まれることが期待される。図１８において、像７６１は補完用画像７６０に含まれる自車両ＣＲ０の像であり、像７６２及び７６３は補完用画像７６０に含まれる２台の他車両の像である。
【０１１５】
自車両ＣＲ０及び取得対象車両間の距離によっては、補完用画像７６０上における像７６１の大きさが小さくなりすぎることがあり、補完用画像７６０上における像７６１の大きさが小さすぎるとき、異常のある自車両カメラの撮影領域内の様子が補完用画像７６０上では確認し難くなる。また、補完用画像に基づく電子ミラー画像上において描写される被写界の領域が刻一刻と変化すると、自車両ＣＲ０の運転手は自車両ＣＲ０周辺の様子の認知を誤ることがある。例えば、或るタイミングでは電子ミラー画像上で自車両ＣＲ０の左右２０メートルの被写界の様子が描写され、別のタイミングでは電子ミラー画像上で自車両ＣＲ０の左右１０メートルの被写界の様子が描写されると、上記認知に混乱が生じることがある。
【０１１６】
これを考慮し、画像処理部１１は、補完用画像内に切り出し枠を設定して切り出し枠内の画像を解像度変換することで電子ミラー画像を生成する解像度変換処理を実行可能に形成されている。第２実施例で述べたのと同様に、自車両ＣＲ０を前方から撮影したときの自車両ＣＲ０の画像特徴を示す自車両画像特徴情報が予め画像処理部１１に与えられている。画像処理部１１は、自車両ＣＲ０の前方に位置している取得対象車両から補完用画像が取得されたとき、自車両画像特徴情報を用いて、補完用画像内に自車両ＣＲ０の画像特徴を有する像が含まれているかを探索し、自車両ＣＲ０の画像特徴を有する像が含まれていると判断した場合、上記切り出し枠の設定を含む解像度変換処理を実行できる。この際、自車両ＣＲ０の像を内包する枠が補完用画像内に切り出し枠として設定され、切り出し枠の大きさ及び位置は、補完用画像上の自車両ＣＲ０の像の大きさ及び位置に基づいて設定される。その後、切り出し枠内の画像の画素数を電子ミラー画像表示領域（ＭＲ又はＭＬ）の画素数と一致させるための解像度変換を行うことで電子ミラー画像を生成する。尚、切り出し枠のアスペクト比は電子ミラー画像表示領域のアスペクト比と同じとされる。解像度変換は周知の再標本化（画素の補間又は間引きを含む）により実現される。
【０１１７】
第３実施例に係る解像度変換処理を、図１８の補完用画像７６０が取得された場合を例にして、図１９を参照し、より具体的に説明する。補完用画像７６０に対しては像７６１が自車両ＣＲ０の画像特徴を有する像として探索及び認定され、この際、画像処理部１１は、自車両ＣＲ０の像７６１を内包する切り出し枠７６５を補完用画像７６０内に設定する。切り出し枠７６５内の領域は補完用画像７６０の一部の矩形領域である。この際例えば、画像処理部１１は、切り出し枠７６５内の領域を占める像７６１の大きさの割合が所定値と一致するように切り出し枠７６５の大きさを設定し、且つ、切り出し枠７６５内において像７６１の中心又は重心位置が切り出し枠７６５内の所定位置（例えば中心位置）と一致するように切り出し枠７６５の位置を設定する。
【０１１８】
その後、画像処理部１１は、切り出し枠７６５内の画像の画素数を電子ミラー画像表示領域（ＭＲ又はＭＬ）の画素数と一致させるための解像度変換を行うことで切り出し枠７６５内の画像に基づく電子ミラー画像７７０を生成する。異常のある自車両カメラが右カメラ１０Ｒであるならば、切り出し枠７６５内の画像の画素数を右電子ミラー画像表示領域ＭＲの画素数と一致させるための解像度変換が行われることになり、電子ミラー画像７７０は、右電子ミラー画像ＩＲとして右電子ミラー画像表示領域ＭＲに表示されることになる（図３も適宜参照）。異常のある自車両カメラが左カメラ１０Ｌである場合には、左電子ミラー画像表示領域ＭＬ及び左電子ミラー画像ＩＬに対して同様の処理が行われる。電子ミラー画像７７０に含まれる像７７１、７７２、７７３は、夫々、補完用画像７６０に含まれる像７６１、７６２、７６３に対応する。即ち例えば、像７７１は像７６１の拡大画像（場合によっては縮小画像）である。
【０１１９】
第３実施例の方法によれば、補完用画像に基づく電子ミラー画像において、自車両ＣＲ０の像の大きさを基準に、概ね一定の被写界の様子を描写することが可能となり、上記混乱の抑制等を通じ、自車両ＣＲ０の運転手は自車両ＣＲ０周辺の様子を正しく認知し易くなる。
【０１２０】
＜＜第４実施例＞＞
第４実施例を説明する。
【０１２１】
上述の説明では、各他車両に運転支援装置１と同等の運転支援装置１’が搭載されていることを想定したが、上述の各実施例の内容を実現するための情報及び画像（他車両情報及び補完用画像を含む）を各他車両の運転支援装置１が自車両ＣＲ０の運転支援装置１に提供できる限り、運転支援装置１’の構成は運転支援装置１の構成と一致していなくても良い。
【０１２２】
自車両ＣＲ０の右カメラ１０Ｒ又は左カメラ１０Ｌに異常があるケースにおいて、自車両ＣＲ０の前方に位置し且つ自車両ＣＲ０と同一方向へ走行する他車両が取得対象車両に設定される場合、取得対象車両の後カメラ１０Ｂ’が取得対象カメラに設定されることがあっても良い。
【０１２３】
運転支援装置１は、自車両ＣＲ０に設置されたカーナビゲーション装置又はドライブレコーダ装置に内包される装置であっても良い。また、自車両ＣＲ０に設置された他の装置の一部が運転支援装置１の構成要素の一部として兼用されても良い。例えば、ドライブレコーダ装置に接続されるカメラが、カメラ部１０を構成する何れかのカメラとして機能していても良い。
【０１２４】
運転支援装置１には、複数の自車両カメラ（１０Ｒ、１０Ｌ）の撮影画像に基づく電子ミラー画像（ＩＲ、ＩＬ）を出力画像として画像表示部１３に表示する画像表示制御装置（車載用画像表示制御装置）が内包されおり、画像表示制御装置の構成要素に、画像処理部１１、表示制御部１２、カメラ状態検出部１４及び情報処理部（補完用画像取得部）１５が含まれると考えることができる。情報処理部１５は、選択用情報の取得を担う情報取得ブロックと、取得対象車両及び取得対象カメラの選択を担う選択ブロックと、補完用画像の取得を担う画像取得ブロックとを備えていると考えても良い。
【０１２５】
各自車両カメラ（１０Ｆ、１０Ｂ、１０Ｒ、１０Ｌ）が自車両ＣＲ０の外部を撮影するカメラであると上述したが、各自車両カメラにより自車両ＣＲ０の内部及び自車両ＣＲ０の車体が撮影されることがあっても良い。即ち、自車両カメラ１０Ｆ、１０Ｂ、１０Ｒ及び１０Ｌの内、少なくとも１つの自車両カメラの撮影領域に自車両ＣＲ０の内部領域が含まれていても良いし、自車両ＣＲ０の車体の存在領域が含まれていても良い。
【０１２６】
画像表示制御装置にて実現される機能の全部又は一部をプログラムで記述して、当該プログラムを画像表示制御装置に搭載可能なメモリに記憶させておき、画像表示制御装置内のマイクロコンピュータ上で当該プログラムを実行することで、画像表示制御装置の機能の全部又は一部を実現しても良い。
【０１２７】
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【符号の説明】
【０１２８】
１  運転支援装置
１０Ｆ、１０Ｂ、１０Ｒ、１０Ｌ  前、後、右、左カメラ
１１  画像処理部
１２  表示制御部
１３  画像表示部
１４  カメラ状態検出部
１５  情報処理部
ＩＲ  右電子ミラー画像
ＩＬ  左電子ミラー画像
ＣＲ０  自車両
ＣＲ１〜ＣＲ１０  他車両
ＲＤ  道路
Ｌ１〜Ｌ６  車線
６６０Ｒ、６６０Ｌ  探索領域
【図１】
2020048013.tif 000003
【図２】
2020048013.tif 000004
【図３】
2020048013.tif 000005
【図４】
2020048013.tif 000006
【図５】
2020048013.tif 000007
【図６】
2020048013.tif 000008
【図７】
2020048013.tif 000009
【図８】
2020048013.tif 000010
【図９】
2020048013.tif 000011
【図１０】
2020048013.tif 000012
【図１１】
2020048013.tif 000013
【図１２】
2020048013.tif 000014
【図１３】
2020048013.tif 000015
【図１４】
2020048013.tif 000016
【図１５】
2020048013.tif 000017
【図１６】
2020048013.tif 000018
【図１７】
2020048013.tif 000019
【図１８】
2020048013.tif 000020
【図１９】
2020048013.tif 000021