(57)【要約】【課題】移動体の周囲にいる者から当該移動体がどのように見えているかを容易に確認することができる視点切替技術を提供する。【解決手段】視点切替装置は、取得部と、推定部と、画像生成部と、を備える。前記取得部は、移動体の周辺を撮影するカメラで得られた撮影画像を取得する。前記推定部は、前記撮影画像に移っている人物の視点位置及び視方向を推定する。前記画像生成部は、前記視点位置及び前記視方向から見た画像を生成する。【選択図】図１
2019169042.tif 000002
【特許請求の範囲】
【請求項１】
移動体の周辺を撮影するカメラで得られた撮影画像を取得する取得部と、
前記撮影画像に写っている人物の視点位置及び視方向を推定する推定部と、
前記視点位置及び前記視方向から見た画像を生成する画像生成部と、
を備える、視点切替装置。
【請求項２】
前記推定部は、前記視方向の仰角又は俯角を前記視点位置の高さに基づいて推定する、請求項１に記載の視点切替装置。
【請求項３】
前記推定部は、前記撮影画像に写っている人物のうち所定の行動をとっていることが検出された人物を対象として、前記視点位置及び前記視方向を推定する、請求項１又は請求項２に記載の視点切替装置。
【請求項４】
前記推定部は、前記移動体を運転する運転者の視方向に関する情報を取得し、前記撮影画像に写っている人物のうち前記運転者の視線が向けられたことが検出された人物を対象として、前記視点位置及び前記視方向を推定する、請求項１〜３のいずれか一項に記載の視点切替装置。
【請求項５】
前記画像生成部は、３次元地図情報と前記移動体の位置情報とに基づいて、前記視点位置及び前記視方向から見た画像を生成し、
前記視点位置及び前記視方向から見た画像は、地図画像内の前記移動体の位置に前記移動体を表す像が重畳された画像である、請求項１〜４のいずれか一項に記載の視点切替装置。
【請求項６】
前記画像生成部は、前記移動体の挙動に関する情報を取得し、前記移動体の挙動に関する情報に基づいて前記移動体を表す像の動きを調整する請求項５に記載の視点切替装置。
【請求項７】
移動体の周辺を撮影するカメラで得られた撮影画像を取得する取得工程と、
前記撮影画像に写っている人物の視点位置及び視方向を推定する推定工程と、
前記視点位置及び前記視方向から見た画像を生成する画像生成工程と、
を備える、視点切替方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の視点を切り替える技術に関する。
【背景技術】
【０００２】
従来、運送事業者によるドライバーの安全運転状況の監視やドライバーへの安全運転に関する教育等を目的として、ヒヤリハット画像を記録するドライブレコーダが提案されている（例えば特許文献１参照）。ヒヤリハットとは、 ドライバーが車両を運転している際に、重大な災害や事故には至らないものの、重大な災害や事故に直結してもおかしくない一歩手前の事象のことをいう。このヒヤリハットという名称は、当該事象に直面したドライバーが「ヒヤリ」としたり「ハット」したりすることに由来している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−７９８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１で提案されているドライブレコーダは、ヒヤリハット画像として、ヒヤリハットが発生したときの前方監視カメラの撮影画像を保存している。
【０００５】
しかしながら、特許文献１で提案されているドライブレコーダによって保存されるヒヤリハット画像を解析しても、当該ドライブレコーダを搭載している車両（自車両）の周囲にいる者（周囲者）から自車両がヒヤリハット発生時にどのように見えていて周囲者が自車両に対してヒヤリハット発生時にどのような印象を持ったかという観点から解析することができなかった。
【０００６】
本発明は、上記の課題に鑑み、移動体の周囲にいる者から当該移動体がどのように見えているかを容易に確認することができる視点切替技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る視点切替装置は、移動体の周辺を撮影するカメラで得られた撮影画像を取得する取得部と、前記撮影画像に写っている人物の視点位置及び視方向を推定する推定部と、前記視点位置及び前記視方向から見た画像を生成する画像生成部と、を備える構成（第１の構成）である。
【０００８】
上記第１の構成の視点切替装置において、前記推定部は、前記視方向の仰角又は俯角を前記視点位置の高さに基づいて推定する構成（第２の構成）であってもよい。
【０００９】
上記第１又は第２の構成の視点切替装置において、前記推定部は、前記撮影画像に写っている人物のうち所定の行動をとっていることが検出された人物を対象として、前記視点位置及び前記視方向を推定する構成（第３の構成）であってもよい。
【００１０】
上記第１〜第３いずれかの構成の視点切替装置において、前記推定部は、前記移動体を運転する運転者の視方向に関する情報を取得し、前記撮影画像に写っている人物のうち前記運転者の視線が向けられたことが検出された人物を対象として、前記視点位置及び前記視方向を推定する構成（第４の構成）であってもよい。
【００１１】
上記第１〜第４いずれかの構成の視点切替装置において、前記画像生成部は、３次元地図情報と前記移動体の位置情報とに基づいて、前記視点位置及び前記視方向から見た画像を生成し、前記視点位置及び前記視方向から見た画像は、地図画像内の前記移動体の位置に前記移動体を表す像が重畳された画像である構成（第５の構成）であってもよい。
【００１２】
上記第５の構成の視点切替装置において、前記画像生成部は、前記移動体の挙動に関する情報を取得し、前記移動体の挙動に関する情報に基づいて前記移動体を表す像の動きを調整する構成（第６の構成）であってもよい。
【００１３】
本発明に係る視点切替方法は、移動体の周辺を撮影するカメラで得られた撮影画像を取得する取得工程と、前記撮影画像に写っている人物の視点位置及び視方向を推定する推定工程と、前記視点位置及び前記視方向から見た画像を生成する画像生成工程と、を備える構成（第７の構成）である。
【発明の効果】
【００１４】
本発明によれば、移動体の周囲にいる者から当該移動体がどのように見えているかを容易に確認することができる。
【図面の簡単な説明】
【００１５】
【図１】通信システムの一構成例を示す図
【図２】ドライブレコーダの概要を説明するための図
【図３】ドライブレコーダの一構成例を示す図
【図４】センターサーバの動作例を示すフローチャート
【図５】自分目線の地図画像の表示例を示す図
【図６】相手目線の地図画像の表示例を示す図
【図７】４つの車載カメラが車両に配置される位置を例示する図
【図８】仮想投影面の例を示す図
【発明を実施するための形態】
【００１６】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。
【００１７】
＜１．通信システムの構成例＞
図１は、通信システムの一構成例を示す図である。図１に示す通信システムは、ドライブレコーダ１と、センターサーバ２と、クライアントサーバ３と、を備える。図１では、ドライブレコーダ１及びクライアントサーバ３をそれぞれ一つしか図示していないが、本実施形態ではセンターサーバ２は、複数のドライブレコーダ１と通信を行うとともに複数のクライアントサーバ３と通信を行う。ドライブレコーダ１がタクシーに搭載される場合、例えば各々のクライアントサーバ３は各タクシー会社に配置するとよい。
【００１８】
＜２．センターサーバの構成例＞
図１に示すように、センターサーバ２は、通信部２１と、制御部２２と、記憶部２３と、を備える。
【００１９】
通信部２１は、不図示のネットワークを介して複数のドライブレコーダ１及び複数のクライアントサーバ３とデータ通信を行う。
【００２０】
記憶部２３は、各種の情報を不揮発的に記憶する。記憶部２３としては、例えばハードディスクドライブ等を用いることができる。本実施形態において、記憶部２３は、３次元地図情報２３ａと、プログラム２３ｂと、ドライバー情報データベース２３ｃと、ヒヤリハット画像２３ｄと、を記憶している。
【００２１】
３次元地図情報２３ａは、建物、路面、白線、道路標識、路面標示のデータ（３次元位置、３次元形状、色等）を有する地図情報である。後述する画像生成部２２ｃは、３次元地図情報２３ａに基づいて、任意の視点からの任意の視方向の地図画像を作成することができる。ここで、視方向とは、視点の位置から画像や物体等の視認対象物を視る方向である。
【００２２】
プログラム２３ｂは、センターサーバ２は視点切替装置として機能させるためのプログラムである。
【００２３】
ドライバー情報データベース２３ｃは、ドライバーの識別情報（例えば運転免許証番号等）と、ドライバーの属性情報（例えば性別、年代等）とが関連付けられているデータベースである。
【００２４】
ヒヤリハット画像２３ｄは、ヒヤリハットが発生したときの撮影画像であり、ドライブレコーダ１からセンターサーバ２にアップロードされる画像である。ヒヤリハット画像２３ｄは、ヒヤリハットが発生したときの静止画像であってもよいが、ヒヤリハットが発生した直前から直後までの一定期間の動画であることが望ましい。ヒヤリハット画像２３ｄを上記のような動画にすることによって、運送事業者によるドライバーの安全運転状況の監視やドライバーへの安全運転に関する教育等がより効果的になるからである。
【００２５】
制御部２２は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータである。制御部２２は、記憶部２３等と接続され、記憶部２３に記憶されたプログラム２３ｂに基づいて情報の処理及び送受信を行い、センターサーバ２の全体を制御する。
【００２６】
制御部２２は、取得部２２ａと、推定部２２ｂと、画像生成部２２ｃと、を備えている。記憶部２３に記憶されたプログラム２３ｂにしたがってＣＰＵが演算処理を実行することにより、取得部２２ａ等の制御部２２の各種機能が実現され、センターサーバ２は視点切替装置として機能する。
【００２７】
取得部２２ａは、ドライブレコーダ１ともに車両に搭載され当該車両の周辺を撮影するカメラで得られた撮影画像を取得する。
【００２８】
推定部２２ｂは、取得部２２ａによって取得された撮影画像に写っている人物の視点位置及び視方向を推定する。
【００２９】
画像生成部２２ｃは、推定部２２ｂによって推定された視点位置及び視方向から見た画像を生成する。
【００３０】
＜３．ドライブレコーダの構成例＞
図２は、ドライブレコーダ１の概要を説明するための図である。ドライブレコーダ１は、車両４に搭載される。ドライブレコーダ１は、車両４の適所に配置される。
【００３１】
ドライブレコーダ１は、車両４に搭載されるカメラ５によって撮影される車両周辺の画像を取得する。ドライブレコーダ１の記録方式は、例えば、カメラ５によって撮影された画像を含む運転状況に関する情報を定期的に記録媒体（不図示）に記録する常時記録方式であってもよく、白線からのはみ出し（車線逸脱）、急ブレーキ、衝突等のイベントが検出された場合に、カメラ５で撮影された画像、及び、イベント内容を含む画像以外の運転状況に関する情報を記録媒体に記録するイベント記録方式であってもよい。ドライブレコーダ１は、ヒヤリハットが検出された場合に、カメラ５で撮影された画像をヒヤリハット画像としてセンターサーバ２にアップロードする。ドライブレコーダ１は、ヒヤリハット画像に走行場所等の運転状況に関する情報を付随させる。ヒヤリハットの検出は、例えば急ブレーキ、急操舵、歩行者や他車両への接近等に基づいて実施される。
【００３２】
図３は、ドライブレコーダ１の一構成例を示す図である。ドライブレコーダ１は、装置全体を制御する制御部としてマイクロコンピュータを備える。詳細には、ドライブレコーダ１は、演算処理を行うことで各種の制御機能を実現するＣＰＵ１１と、演算処理の作業領域となるＲＡＭ１２と、各種のデータを記憶する不揮発性メモリ１３と、を備える。不揮発性メモリ１３は、例えばハードディスクやフラッシュメモリで構成される。不揮発性メモリ１３は、ファームウェアとしてのプログラムや設定パラメータ等を記憶する。ドライブレコーダ１の各部を制御する機能は、不揮発性メモリ１３に予め記憶されるプログラムに従ってＣＰＵ１１が演算処理を実行することによって実現される。
【００３３】
ドライブレコーダ１には、カメラ５及びマイク６が接続される。カメラ５及びマイク６は、ドライブレコーダ１に含まれてよい。カメラ５は、レンズと撮像素子とを備え、電子的に画像データを取得することができる。本実施形態では、カメラ５は、その光軸が車両４の前方に向けられた状態でフロントガラスの上部付近に配置されている。カメラ５の数及び配置は、適宜変更されてよい。例えば、前方を撮影するフロントカメラと、後方を撮影するバックカメラとが備えられてよい。マイク６は、例えば、ドライブレコーダ１の本体部や車両４の適所に配置される。マイク６は、車両付近の音を集音して音声データを取得する。マイク６の数及び配置は、適宜変更されてよい。例えば、車両４の外部で発生する音を主として集音する車外音用マイクと、ドライバーが発する音声を主として集音する車内音用マイクとが備えられてよい。
【００３４】
ドライブレコーダ１は、カメラ５で撮影された画像データを処理する画像処理部１４を備える。本実施形態では、画像処理部１４はハードウェア回路である。画像処理部１４は、カメラ５から入力される画像データの信号に対して所定の画像処理を行い、所定の形式のデジタル画像データを生成する。所定の画像処理には、例えば、Ａ／Ｄ変換、輝度補正、コントラスト補正等が含まれる。所定の形式は、例えばＪＰＥＧ形式等であってよい。画像処理部１４で処理された画像データは、ＲＡＭ１２に記憶される。
【００３５】
ＲＡＭ１２の記憶領域のうちの一部は、リングバッファとして利用される。このリングバッファに対して、画像処理部１４で処理された画像データ、及び、マイク６で取得された音声データが常時に記憶される。リングバッファでは、最後の領域までデータが記憶されると、最初の領域に戻って新たなデータが記憶される。すなわち、リングバッファでは、最も古いデータに対して新たなデータが順次に上書きされていく。このため、ＲＡＭ１２においては、常に過去一定時間分の画像データ及び音声データが記憶された状態になる。
【００３６】
ドライブレコーダ１は、運転者等からの指示を受け付ける操作部７に接続されている。操作部７はドライブレコーダ１に含まれてよい。操作部７は、運転者等が操作しやすいように、ステアリングホイール（不図示）の近傍等、車両４の適所に配置される。また、ドライブレコーダ１は、カードスロット１５と、計時回路１６と、加速度センサ１７と、ＧＰＳ（Global Positioning System）受信部１８と、通信部１９と、を備える。
【００３７】
カードスロット１５は、メモリカード８を着脱可能に構成される。なお、メモリカード８の代わりに、ハードディスクドライブ、光ディスク、光磁気ディスク、フレキシブルディスク等の他の記録媒体を用いてもよい。
【００３８】
ＲＡＭ１２のリングバッファに記憶された画像データ及び音声データ等は、ＣＰＵ１１の指示によって定期的にカードスロット１５に装着されたメモリカード８に記録される。
【００３９】
計時回路１６は、現在時刻に対応した信号を発生してＣＰＵ１１に出力する。
【００４０】
加速度センサ１７は、車両４に加わる衝撃の大きさを示す加速度を、重力加速度のＧを単位として検出する。検出される加速度は、現在時刻における加速度の瞬間値であり、例えば、互いに直交する３軸あるいは２軸に応じた向きに大きさを持つ。加速度センサ１７は、このような加速度に対応した信号をＣＰＵ１１に出力する。
【００４１】
ＧＰＳ受信部１８は、複数のＧＰＳ衛星からの信号を受信して、現在時刻における車両４の位置である自車位置を取得する。ＧＰＳ受信部１８は、地球上における経度緯度で表現された位置情報として自車位置を取得して、ＣＰＵ１１に出力する。なお、ＧＰＳ受信部１８は、ＧＰＳ衛星からの信号に基づき、正確な時刻を検出できる。このために、ＧＰＳ受信部１８が、計時回路１６に代わりに用いられてもよい。また、ＧＰＳ受信部１８は、計時回路１６の時刻を修正するために利用されてよい。
【００４２】
通信部１９は、ネットワークを介してセンターサーバ２の通信部２１との間でデータの送受信を行う。
【００４３】
その他、ＣＰＵ１１には、不図示のＣＡＮ（Controller Area Network）バスを介して、車速センサからのデータ等を含む車両走行情報が入力される。車両走行情報には、操舵情報、ブレーキ情報、アクセル情報等が含まれてよい。さらに、ＣＰＵ１１は、不図示のＣＡＮを介して、ナビゲーション装置や車両制御ＥＣＵ（Electronic Control Unit）と接続されてよい。
【００４４】
＜４．センターサーバの動作例＞
図４は、センターサーバ２の一動作例を示すフローチャートである。センターサーバ２は、ドライブレコーダ１からヒヤリハット画像を通信部２１が受信する度に図４に示すフロー動作を行う。
【００４５】
まず、取得部２２ａがヒヤリハット画像を取得する（ステップＳ１０）。
【００４６】
次に、画像生成部２２ｃは、ヒヤリハット画像に付随している走行位置情報及び車両４の進行方向情報と３次元地図情報２３ａとに基づいて、車両４を運転するドライバーの視点からの車両４の進行方向に沿った視方向の地図画像（以下、自分目線の地図画像）を作成する（ステップＳ２０）。また、画像生成部２２ｃは、ヒヤリハット画像を画像認識して、歩行者、自転車、他車両等の３次元地図情報に含まれていないオブジェクトを抽出し、当該オブジェクトに対応するＣＧ（Computer Graphics）画像を、自分目線の地図画像内の当該オブジェクトが存在するはずの位置に重畳する。したがって、歩行者、自転車、他車両等の典型的なオブジェクトに関しては、各オブジェクトに対応する各ＣＧ画像を予め記憶部２３に記憶させておくとよい。撮影画像であるヒヤリハット画像の代わりに地図画像を利用することで、ヒヤリハット画像に写り込んでいる人物等のプライバシーを保護することができる。
【００４７】
図５は、自分目線の地図画像の表示例である。自分目線の地図画像の表示は、クライアントサーバ３に接続される表示装置によって行われる。図５に示す自分目線の地図画像は、自転車に対応するＣＧ画像Ａ１を含んでいる。また、図５に示す自分目線の地図画像は、後述する相手目線の地図画像に表示を切り替えるためのソフトウェアキーＡ２も含んでいる。タッチパネルやポインティングデバイス等の操作装置を用いてソフトウェアキーＡ２をキー操作することで、図５に示す自分目線の地図画像から、後述する相手目線の地図画像に表示を切り替えることができる。
【００４８】
図４に戻って、ステップＳ２０に続くステップＳ３０において、推定部２２ｂは、取得部２２ａによって取得されたヒヤリハット画像に写っている人物の視点位置及び視方向を推定する。取得部２２ａによって取得されたヒヤリハット画像に写っている人物が複数存在する場合、推定部２２ｂは、１人１人の視点位置及び視方向を推定する。また、推定部２２ｂは、ヒヤリハット画像を画像認識して、ヒヤリハット画像に写っている人物を抽出し、例えば抽出した位置から視点の位置を推定し、例えばヒヤリハット画像に写っている人物の顔の向きを認識し、認識した顔の向きによって視方向を推定すればよい。
【００４９】
なお、推定部２２ｂは、最初に視点位置を推定し、次にその推定した視点位置の高さに基づいて視方向の仰角又は俯角を推定することが望ましい。例えば、取得部２２ａによって取得されたヒヤリハット画像に写っている人物が子供である場合は、大人である場合に比べて視点位置の高さが低くなるため、視方向の仰角が大きくなると推定すればよい。また例えば、取得部２２ａによって取得されたヒヤリハット画像に写っている人物がトラックに搭乗している運転者である場合は、歩行者である場合に比べて視点位置の高さが高くなるため、視方向の俯角が大きくなると推定すればよい。
【００５０】
上記のように視点位置の高さに基づいて視方向の仰角又は俯角を推定することにより、顔の水平方向に関する向きからでは推定が困難である視方向の仰角又は俯角を推定することが可能となる。
【００５１】
ステップＳ３０に続くステップＳ４０において、画像生成部２２ｃは、ヒヤリハット画像に付随している走行位置情報と推定部２２ｂの推定結果と３次元地図情報２３ａとに基づいて、取得部２２ａによって取得されたヒヤリハット画像に写っている人物の視点及び視方向の地図画像（以下、相手目線の地図画像）を作成する。この相手目線の地図画像を確認することにより、車両４の周囲にいる者から車両４がどのように見えているかを容易に確認することができる。
【００５２】
取得部２２ａによって取得されたヒヤリハット画像に写っている人物が複数存在する場合、画像生成部２２ｃは、１人１人の相手目線の地図画像を作成する。また、画像生成部２２ｃは、車両４に対応するＣＧ画像を、相手目線の地図画像内の車両４が存在するはずの位置に重畳する。したがって、車両４に対応するＣＧ画像を予め記憶部２３に記憶させておくとよい。また、相手目線の地図画像内に歩行者、自転車、他車両等の３次元地図情報に含まれていないオブジェクトが存在するはずの位置があれば、画像生成部２２ｃは、自分目線の地図画像の場合と同様に、当該オブジェクトに対応するＣＧ画像を、相手目線の地図画像内の当該オブジェクトが存在するはずの位置に重畳する。撮影画像であるヒヤリハット画像の代わりに地図画像を利用することで、ヒヤリハット画像に写り込んでいる人物等のプライバシーを保護することができる。
【００５３】
図６は、相手目線の地図画像の表示例である。相手目線の地図画像の表示は、クライアントサーバ３に接続される表示装置によって行われる。図６に示す相手目線の地図画像は、車両に対応するＣＧ画像Ａ３を含んでいる。また、図６に示す自分目線の地図画像は、上述した図５に示す自分目線の地図画像に表示を切り替えるためのソフトウェアキーＡ４も含んでいる。タッチパネルやポインティングデバイス等の操作装置を用いてソフトウェアキーＡ４をキー操作することで、図６に示す相手目線の地図画像から、上述した図５に示す相手目線の地図画像に表示を切り替えることができる。
【００５４】
なお、相手目線の地図画像が動画である場合、画像生成部２２ｃが、ヒヤリハット画像に付随している車両４の走行位置に基づいて、相手目線の地図画像内の車両４が存在するはずの位置を求めても、車両４の走行位置の精度がさほど高くないため、相手目線の地図画像において車両４に対応するＣＧ画像の動きを実際の車両４の動きに合わすことができない。そこで、相手目線の地図画像が動画である場合、画像生成部２２ｃが、ヒヤリハット画像に付随している車両４の挙動に関する情報（操舵情報、ブレーキ情報、アクセル情報など）に基づいて、相手目線の地図画像内の車両４が存在するはずの位置を調整することが望ましい。これにより、車両４の走行位置の精度がさほど高くなくても、相手目線の地図画像において車両４に対応するＣＧ画像の動きを実際の車両４の動きに近づけることができる。
【００５５】
ステップＳ４０に続くステップＳ５０において、制御部２２は、同一のヒヤリハット画像に関連する自分目線の地図画像と相手目線の地図画像とを紐づける。また、この紐づけにおいて、ヒヤリハット画像に付随している情報を自分目線の地図画像及び相手目線の地図画像にも付随させる。
【００５６】
センターサーバ２は、自分目線の地図画像と相手目線の地図画像をステップＳ５０の紐づけが終わる度にクライアントサーバ３に送信してもよく、自分目線の地図画像と相手目線の地図画像を定期的に（例えば、週に一回、月に一回等）クライアントサーバ３に送信してもよい。例えばドライブレコーダ１がタクシーに搭載される場合、センターサーバ２が各々のクライアントサーバ３に送信する地図画像は、上述したようにプライバシー保護が図られているため、クライアントサーバ３と異なるタクシー会社に属するタクシーに搭載されたドライブレコーダ１から送信されたヒヤリハット画像に関連する地図画像を含むことが望ましい。これにより、異なるタクシー会社に属するタクシーに搭載されたドライブレコーダ１から送信されたヒヤリハット画像に関連する地図画像も確認することができるようになるため、ヒヤリハットの事例が豊富になり、運送事業者によるドライバーの安全運転状況の監視やドライバーへの安全運転に関する教育等がより効果的になる。
【００５７】
＜５．変形例＞
上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。
【００５８】
上述した実施形態では、取得部２２ａによって取得されたヒヤリハット画像に写っている人物が複数存在する場合、推定部２２ｂが、１人１人の視点位置及び視方向を推定している。しかしながら、取得部２２ａによって取得されたヒヤリハット画像に写っている人物が多数存在する場合、相手目線の地図画像も多数作成されることになり、相手目線の地図画像を確認する作業が繁雑になる。
【００５９】
そこで、推定部２２ｂが、取得部２２ａによって取得されたヒヤリハット画像に写っている人物のうち所定の行動をとっていることが検出された人物を対象として、視点位置及び視方向を推定するようにしてもよい。これにより、相手目線の地図画像を、例えば危険を感じた人物の視点位置及び視方向から見た画像に限定すること等が可能となる。所定の行動としては、例えば歩行者であれば急な立ち止まり、車両に搭乗しているドライバーであれば急ブレーキ操作や急操舵操作等を挙げることができる。所定の行動の検出は、例えばヒヤリハット画像の画像認識により実行することができる。
【００６０】
また上記の変形に加えて、又は、上記の変形に代えて、推定部２２ｂが、車両４を運転するドライバーの視方向に関する情報を取得し、取得部２２ａによって取得されたヒヤリハット画像に写っている人物のうち車両４を運転するドライバーの視線が向けられたことが検出された人物を対象として、視点位置及び視方向を推定するようにしてもよい。これにより、相手目線の地図画像を、例えば車両４を運転するドライバーがヒヤリハット時に注目した人物の視点位置及び視方向から見た画像に限定することが可能となる。車両４を運転するドライバーの視方向は、例えば車両４の車内にドライバーを監視するカメラを設け、ドライバーを監視するカメラの撮影画像から車両４を運転するドライバーの視方向を検出することができる。車両４を運転するドライバーの視方向に関する情報をヒヤリハット画像に付随させることで、推定部２２ｂが、車両４を運転するドライバーの視方向に関する情報を取得することができる。
【００６１】
例えばカメラ５は、必ずしも自動車に搭載される必要はなく、自動車のほか、二輪車、鉄道、船舶等の移動体に用いられるものであればよい。
【００６２】
例えば、上述した実施形態では、ヒヤリハット画像を対象として視点切替が実行されているが、視点切替の対象画像はヒヤリハット画像に限定されることはなく、例えば交通事故が発生したときの画像を視点切替の対象画像としてもよい。
【００６３】
例えば、上述した実施形態では、３次元地図情報を用いて視点切替が実行されているが、撮影画像を仮想視点画像に変換することによって視点切替が実行されてもよい。
【００６４】
撮影画像を仮想視点画像に変換する場合、複数の車載カメラで撮影された撮影画像が用いられる。図７は、４つの車載カメラ（フロントカメラ５１、バックカメラ５２、左サイドカメラ５３、及び右サイドカメラ５４）が車両４に配置される位置を例示する図である。
【００６５】
フロントカメラ５１は車両４の前端に設けられる。フロントカメラ５１の光軸５１ａは上からの平面視で車両４の前後方向に沿っている。フロントカメラ５１は車両４の前方向を撮影する。バックカメラ５２は車両４の後端に設けられる。バックカメラ５２の光軸５２ａは上からの平面視で車両４の前後方向に沿っている。バックカメラ５２は車両４の後方向を撮影する。フロントカメラ５１及びバックカメラ５２の取付位置は、車両４の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００６６】
左サイドカメラ５３は車両４の左側ドアミラーＭ１に設けられる。左サイドカメラ５３の光軸５３ａは上からの平面視で車両４の左右方向に沿っている。左サイドカメラ５３は車両４の左方向を撮影する。右サイドカメラ５４は車両４の右側ドアミラーＭ２に設けられる。右サイドカメラ５４の光軸５４ａは上からの平面視で車両４の左右方向に沿っている。右サイドカメラ５４は車両４の右方向を撮影する。なお、車両４がいわゆるドアミラーレス車である場合には、左サイドカメラ５３は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられ、右サイドカメラ５４は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。
【００６７】
各車載カメラの水平方向の画角θは１８０度以上である。このため、４つの車載カメラ（フロントカメラ５１、バックカメラ５２、左サイドカメラ５３、及び右サイドカメラ５４）によって、車両４の水平方向における全周囲を撮影することができる。なお、ここでは、車載カメラの数を４つとしているが、車載カメラの撮影画像を用いて後述する仮想視点画像を作成するために必要な車載カメラの数は４つに限られることはなく、複数のカメラであればよい。一例として、各車載カメラの水平方向の画角θが比較的広い場合は、４つよりも少ない３つのカメラから取得される３つの撮影画像に基づき仮想視点画像を生成してもよい。さらに、別の例として、各車載カメラの水平方向の画角θが比較的狭い場合は、４つよりも多い５つのカメラから得られる５つの撮影画像に基づき仮想視点画像を生成してもよい。
【００６８】
センターサーバ２の画像生成部２２ｃは、４つの撮影画像を仮想投影面に投影して投影画像に変換する。具体的には、画像生成部２２ｃは、図８に示す仮想的な三次元空間における仮想投影面１００の第１領域Ｒ１にフロントカメラ５１の撮影画像を投影して、フロントカメラ５１の撮影画像を第１の投影画像に変換する。同様に、画像生成部２２ｃは、図８に示す仮想投影面１００の第２〜第４領域Ｒ２〜Ｒ４それぞれにバックカメラ５２の撮影画像、左サイドカメラ５３の撮影画像、及び右サイドカメラ５４の撮影画像を投影して、バックカメラ５２の撮影画像、左サイドカメラ５３の撮影画像、及び右サイドカメラ５４の撮影画像それぞれを第２〜第４の投影画像に変換する。
【００６９】
図８に示す仮想投影面１００は、例えば略半球状（お椀形状）をしている。仮想投影面１００の中心部分（お椀の底部分）は、車両４が存在する位置として定められている。このように仮想投影面１００が曲面を含むようにすることで、車両４から離れた位置に存在する物体の像の歪みを少なくすることができる。また、第１〜第４領域Ｒ１〜Ｒ４それぞれは、隣接する他の領域と重複する部分を有している。このような重複部分を設けることで、領域の境界部分に投影される物体の像が投影画像から消失することを防止することができる。
【００７０】
画像生成部２２ｃは、複数の投影画像に基づいて仮想視点からみた仮想視点画像を生成する。具体的には、画像生成部２２ｃは、第１〜第４の投影画像を仮想投影面１００の第１〜第４領域Ｒ１〜Ｒ４に仮想的に貼り付ける。
【００７１】
また、画像生成部２２ｃは、車両４の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両４のモデルは、仮想投影面１００が設定される仮想的な三次元空間において、車両４が存在する位置として定められた位置（仮想投影面１００の中心部分）に第１領域Ｒ１が前側、第４領域Ｒ４が後ろ側に成るように配置される。
【００７２】
さらに、画像生成部２２ｃは、仮想投影面１００が設定される仮想的な三次元空間において、仮想視点を設定する。仮想視点は、視点位置及び視方向によって規定される。仮想投影面１００の少なくとも一部が視野に入る限り、仮想視点の視点位置及び視方向は、任意の視点位置及び任意の視野方向に設定することができる。
【００７３】
画像生成部２２ｃは、設定した仮想視点に応じて、仮想投影面１００における必要な領域（仮想視点からみえる領域）の画像を仮想的に切り出す。また、画像生成部２２ｃは、設定した仮想視点に応じて、ポリゴンのモデルに関してレンダリングを行い、車両４のレンダリング像を生成する。そして、画像生成部２２ｃは、切り出した画像に対して車両４のレンダリング像を重畳した仮想視点画像を生成する。
【符号の説明】
【００７４】
１  ドライブレコーダ
２  センターサーバ
３  クライアントサーバ
４  車両
５  カメラ
２１  通信部
２２  制御部
２３  記憶部
【図１】
2019169042.tif 000003
【図２】
2019169042.tif 000004
【図３】
2019169042.tif 000005
【図４】
2019169042.tif 000006
【図５】
2019169042.tif 000007
【図６】
2019169042.tif 000008
【図７】
2019169042.tif 000009
【図８】
2019169042.tif 000010