(57)【要約】【課題】付加価値の高い映像を提供すること。【解決手段】実施形態に係る画像処理装置は、取得部と、第１重畳部と、第２重畳部とを備える。取得部は、移動体上で撮像された画像データを取得する。第１重畳部は、移動体の乗員の視野を示す視野画像を取得部によって取得された画像データへ重畳する。第２重畳部は、乗員の視認度に基づいて、画像データに写る対象物を強調した強調画像を重畳する。【選択図】図２
2020145564.tif 000002
【特許請求の範囲】
【請求項１】
移動体上で撮像された画像データを取得する取得部と、
前記移動体の乗員の視野に基づく視野画像を前記取得部によって取得された前記画像データへ重畳する第１重畳部と、
前記乗員の視認度に基づいて、前記画像データに写る対象物を強調する強調画像を重畳する第２重畳部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１重畳部は、
前記乗員の視点位置にあわせて前記視野画像を重畳する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１重畳部は、
前記乗員の着座位置、身長、年齢の少なくともいずれか一つに基づいて前記視野画像を重畳すること
を特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２重畳部は、
前記対象物と当該対象物の背景との明度差に基づく明度画像を前記強調画像として前記対象物に重畳すること
を特徴とする請求項１、２または３に記載の画像処理装置。
【請求項５】
前記第２重畳部は、
前記画像データにおける影領域を強調する影画像を前記強調画像として重畳すること
を特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記第２重畳部は、
前記画像データに写る対象物の奥行を示す奥行画像を前記強調画像として重畳すること
を特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
時系列的に連続する複数の前記画像データに基づいて算出される前記対象物の移動方向を示す方向画像を前記対象物に重畳する第３重畳部
を備えることを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項８】
移動体上で撮像された画像データを取得する取得工程と、
前記移動体の乗員の視野に基づく視野画像を前記取得工程によって取得された前記画像データへ重畳する第１重畳工程と、
前記乗員の視認度に基づいて、前記画像データに写る対象物を強調する強調画像を前記対象物に重畳する第２重畳工程と
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、車両に搭載されたドライブレコーダで撮像された映像を加工して再生する再生装置がある。かかる映像は、例えば、乗員に対する運転指導等に用いられる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−８９０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、付加価値の高い映像を提供する点において改善の余地があった。例えば、従来技術では、再生される映像と、乗員から見える実際の景色とに乖離があり、さらには、乗員が注意すべき対象物を把握し難かった。
【０００５】
本発明は、上記に鑑みてなされたものであって、付加価値の高い映像を提供することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、取得部と、第１重畳部と、第２重畳部とを備える。前記取得部は、移動体上で撮像された画像データを取得する。前記第１重畳部は、前記移動体の乗員の視野を示す視野画像を前記取得部によって取得された前記画像データへ重畳する。前記第２重畳部は、前記乗員の視認度に基づいて、前記画像データに写る対象物を強調した強調画像を重畳する。
【発明の効果】
【０００７】
本発明によれば、付加価値の高い映像を提供することができる。
【図面の簡単な説明】
【０００８】
【図１Ａ】図１Ａは、画像処理システムの構成例を示す図である。
【図１Ｂ】図１Ｂは、画像処理方法の概要を示す図である。
【図２】図２は、画像処理装置のブロック図である。
【図３】図３は、取得情報の具体例を示す図である。
【図４】図４は、ユーザ情報の具体例を示す図である。
【図５】図５は、第２画像情報の一例を示す図である。
【図６Ａ】図６Ａは、視野範囲の具体例を示す図（その１）である。
【図６Ｂ】図６Ｂは、視野範囲の具体例を示す図（その２）である。
【図７Ａ】図７Ａは、視野画像の具体例を示す図（その１）である。
【図７Ｂ】図７Ｂは、視野画像の具体例を示す図（その２）である。
【図８Ａ】図８Ａは、第３重畳部による処理の具体例を示す図（その１）である。
【図８Ｂ】図８Ｂは、第３重畳部による処理の具体例を示す図（その２）である。
【図９】図９は、画像処理装置が実行する処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
【００１０】
まず、図１Ａおよび図１Ｂを用いて、実施形態に係るが画像処理装置及び画像処理方法の概要について説明する。図１Ａは、画像処理システムの構成例を示す図である。図１Ｂは、画像処理方法の概要を示す図である。なお、以下では、移動体が車両である場合について説明するが、移動体は、車両に限られず、車両以外の移動体、例えば、バイク、船舶や航空機であってもよい。
【００１１】
図１Ａに示すように、実施形態に係る画像処理システムＳは、画像処理装置１と、車載装置１００とを備える。車載装置１００は、例えば、車両に搭載されたドライブレコーダである。
【００１２】
実施形態に係る画像処理装置１は、車載装置１００によって撮像された画像データを再生するいわゆるビュワーソフトを有するコンピュータである。なお、画像処理装置１は、スマートフォンを含む携帯電話機や、タブレット端末や、デスクトップ型ＰＣや、ノート型ＰＣや、ＰＤＡ（Personal  Digital  Assistant）等の情報処理装置である。また、画像処理装置１には、眼鏡型や時計型の情報処理端末であるウェアラブルデバイス（wearable  device）も含まれる。
【００１３】
例えば、図１Ａに示すように、画像処理装置１は、可搬性メモリＭや、ネットワークＮを介して、車載装置１００から画像データを取得することができる。
【００１４】
ところで、従来、車両に搭載されたドライブレコーダで撮像された映像を加工して再生する再生装置がある。しかしながら、従来の再生装置においては、付加価値の高い映像を提供する点において改善の余地があった。
【００１５】
具体的には、従来の再生装置では、例えば、再生される映像の範囲と、乗員から見えていた実際の範囲とに乖離があった。さらには、乗員が注意すべき対象物を映像から把握し難かった。
【００１６】
そこで、実施形態に係る画像処理方法では、乗員の視点にあわせた視野画像を生成して画像データに重畳するとともに、ユーザが注意すべき対象物などを乗員の視認度に応じて強調表示することとした。
【００１７】
具体的には、図１Ｂに示すように、実施形態に係る画像処理方法では、画像データＬに対して、視野画像Ｌｖと、強調画像Ｌｅとを重畳する。視野画像Ｌｖは、画像データＬにおいて、ユーザの実際の視野を示す画像である。
【００１８】
すなわち、図１Ｂに示すように、視野画像Ｌｖは、画像データＬにおいて実際に乗員から見える範囲を示すとともに、画像データＬにおいて乗員の視界に基づいた視認度を示すものである。
【００１９】
これにより、画像データＬを乗員の実際の視界に近づけることが可能となる。なお、視野画像Ｌｖは、例えば、乗員の着座位置、身長や年齢、視力等によって生成される。
【００２０】
また、強調画像Ｌｅは、乗員が注意すべき対象物を強調する画像である。本実施形態において、強調画像Ｌｅは、例えば、乗員が視認しにくい対象物に重畳される。
【００２１】
ここで、対象物とは、例えば、影や、背景との色調や色成分が似た車両などの物体を示す。すなわち、実施形態に係る画像処理方法では、画像データＬにおいて乗員が視認しにくい箇所を強調画像Ｌｅによって強調する。
【００２２】
これにより、乗員が実際の運転中に見落としがちな対象物を容易に把握させることが可能となる。なお、強調画像Ｌｅとして、画像データＬにおいて物体の奥行を示す奥行画像を重畳することも可能である。
【００２３】
このように、実施形態に係る画像処理方法では、画像データＬに対して、視野画像Ｌｖと、強調画像Ｌｅとを重畳する。これにより、画像データＬにおいては、視野画像Ｌｖによって、乗員の実際の視野範囲を把握することができ、強調画像Ｌｅによって、乗員が運転中に見落としがちな対象物を容易に把握させることが可能となる。
【００２４】
したがって、実施形態に係る画像処理方法によれば、付加価値の高い映像を提供することができる。
【００２５】
次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、実施形態に係る画像処理装置１のブロック図である。なお、図２には、表示装置５０を併せて示す。
【００２６】
表示装置５０は、画像処理装置１から入力される映像信号を表示する表示装置である。また、表示装置５０は、図示しない操作部を有しており、ユーザ操作を受け付けることも可能である。
【００２７】
実施形態に係る画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２１と、第１重畳部２２と、第２重畳部２３と、第３重畳部２４とを備える。記憶部３は、取得情報３１と、ユーザ情報３２と、第１画像情報３３と、第２画像情報３４とを記憶する。
【００２８】
ここで、制御部２は、たとえば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００２９】
コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２１、第１重畳部２２、第２重畳部２３および第３重畳部２４として機能する。
【００３０】
また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、取得情報３１、ユーザ情報３２、第１画像情報３３および第２画像情報３４や、各種プログラムの情報等を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００３１】
取得情報３１は、車載装置１００から取得した情報である。図３は、取得情報３１の具体例を示す図である。図３に示すように、取得情報３１は、画像データと、走行データと、設置位置データ等を含む情報である。
【００３２】
画像データは、車載装置１００によって撮像された画像データであり、例えば、撮像時刻が対応付けられる。走行データは、走行時刻、走行位置や、走行速度、加速度、舵角など、画像データを撮像当時の車両の走行状態に関するデータである。
【００３３】
また、設置位置データは、車種や、カメラの撮像位置および取付角度に関するデータである。例えば、設置位置データは、車両空間におけるカメラの三次元座標と、カメラの撮像向きを３次元座標で示すデータである。また、設置位置データには、カメラの画角や、焦点距離などが含まれる。なお、取得情報３１において、設置位置データは必須ではなく、ユーザが画像処理装置１に直接入力することにしてもよい。
【００３４】
図２の説明に戻り、ユーザ情報３２について説明する。ユーザ情報３２は、各乗員に関する情報である。図４は、ユーザ情報３２の具体例を示す図である。図４に示すように、ユーザ情報３２は、ユーザＩＤ、性別、年齢、身長、視力などが互いに対応付けられた情報である。
【００３５】
ユーザＩＤは、各ユーザ（乗員）を識別するための識別子である。性別および年齢は、ユーザの性別および年齢をそれぞれ示す。また、身長は、ユーザの身長を示し、視力は、ユーザの視力を示す。なお、視力については、運転時に矯正が必要なユーザについては、矯正後の視力であることが好ましい。
【００３６】
なお、ユーザ情報３２は、その他、矯正種別（コンタクト、メガネ等）や、目の疾患履歴、座高などを含むようにしてもよい。また、ユーザ情報３２は、例えば、ユーザによって入力される情報である。
【００３７】
図２の説明に戻り、第１画像情報３３について説明する。第１画像情報３３は、上述の視野画像Ｌｖに関する情報である。例えば、第１画像情報３３は、複数種類の視野画像Ｌｖのテンプレート画像に関する情報である。
【００３８】
第２画像情報３４は、上述の強調画像Ｌｅに関する情報である。図５は、第２画像情報３４の一例を示す図である。図５に示すように、第２画像情報３４は、種別と、テンプレートとが対応付けられた情報である。
【００３９】
種別は、強調画像Ｌｅを重畳する対象領域の種別を示す。図５に示すように、例えば、種別として、背景類似領域、影領域、奥行領域などが含まれる。背景類似領域は、背景と色成分が類似する領域や、周囲と明度が類似する領域であり、影領域は、画像データに写る影となる領域である。
【００４０】
また、奥行領域は、カメラ画像に写る対象物の奥行を示す領域である。例えば、第２画像情報３４には、種別ごとに複数の画像テンプレートが含まれる。
【００４１】
図２の説明に戻り、制御部２について説明する。制御部２は、車載装置１００から画像データを取得し、乗員の視野に応じた視野画像Ｌｖおよび乗員の視認度に応じた強調画像Ｌｅを重畳し、表示装置５０へ出力する。
【００４２】
取得部２１は、車両上で撮像された画像データを取得する。例えば、取得部２１は、図１Ａに示したように、可搬性メモリＭや、ネットワークＮを介して、車載装置１００から画像データを取得する。
【００４３】
また、取得部２１は、走行データを画像データとあわせて取得することもできる。取得部２１は、取得した画像データや走行データを記憶部３に取得情報３１として格納する。なお、取得部２１は、通信ケーブルを介して、車載装置１００から画像データを取得することにしてもよい。
【００４４】
図２の説明に戻り、第１重畳部２２について説明する。第１重畳部２２は、乗員の視野に基づく視野画像Ｌｖを取得部２１によって取得された画像データへ重畳する。第１重畳部２２は、上述したように、ユーザによって選択されたユーザＩＤの乗員の視野にあわせた視野画像Ｌｖを画像データに重畳する。
【００４５】
具体的には、第１重畳部２２は、ユーザ情報３２を参照し、ユーザの身長、年齢や視力に基づき、ユーザの視野範囲を推定する。例えば、第１重畳部２２は、身長、年齢や視力に応じた視野範囲を示すテーブルを有しており、かかるテーブルに基づいて視野範囲を推定することができる。
【００４６】
図６Ａおよび図６Ｂは、視野範囲の一例を示す図である。図６Ａに示すように、第１重畳部２２は、例えば、車載装置１００の取り付け位置および乗員の視点位置Ｕとに基づいて車載装置１００（カメラ）における仮想面Ｒｃから視野範囲Ｒｕを推定する。
【００４７】
具体的には、まず、第１重畳部２２は、車載装置１００によって撮像された画像データに対する仮想面Ｒｃを設定する。図６Ａに示すように、仮想面Ｒｃは、車載装置１００から車載装置１００の撮像方向Ｄ１に沿って、所定距離ｄだけ離れた位置に設定される。
【００４８】
本来撮像された画像は、写っている物体に応じて距離が異なる。しかし、特に単眼カメラで撮影した場合は、一般的に物体に対する距離方向の情報が失われる。そのため、第１重畳部２２は、写っている物体が仮想面Ｒｃに存在すると仮定することで、物体への距離情報を概算し、視野範囲Ｒｕを推定する。
【００４９】
続いて、第１重畳部２２は、乗員の視点位置Ｕおよび視線方向Ｄ２に基づいて視点位置Ｕから仮想面Ｒｃを見た画角を視野範囲Ｒｕとして推定する。
【００５０】
これにより、画像データを乗員の視点位置Ｕにあわせた視野画像Ｌｖ（図１Ｂ参照）を画像データに重畳することができる。このように、第１重畳部２２は、車載装置１００の視点位置とは異なる視点位置Ｕから仮想面Ｒｃを見た画角を視野範囲Ｒｕとして推定することで、視野範囲Ｒｕを適切に設定することができる。
【００５１】
なお、図６Ａでは仮想面Ｒｃは平面として説明を行ったが、この限りではない。カメラの光学系に応じて球面などとしてもよい。光学系の歪みを反映させた非球面の曲面としてもよい。また、地面や車体など、距離があらかじめ概算できるものについては、仮想面Ｒｃに反映させるとよい。その場合、図６Ｂに示すように、例えば、車体に近い領域は地面に沿って平坦となるお椀状の仮想面Ｒｃを設定するとよい。
【００５２】
例えば、第１重畳部２２は、ユーザの年齢が高齢の場合、高齢以外の場合に比べて、視野範囲Ｒｕを狭くしたり、身長に応じて、視野範囲Ｒｕの高さを調節したりすることができる。また、第１重畳部２２は、例えば、視力や目の疾患履歴等に基づいて視野範囲を補正することにしてもよい。
【００５３】
そして、第１重畳部２２は、推定した視野範囲Ｒｕに応じた視野画像Ｌｖを第１画像情報３３に基づいて生成する。これにより、乗員の視野にあわせた画像データを提供することができる。
【００５４】
図７Ａおよび図７Ｂは、視野画像Ｌｖの具体例を示す図である。図７Ａに示すように、視野画像Ｌｖは、例えば、画像データＬにおける視野範囲Ｒｕと、その他の範囲Ｒｏとを区別するように設けられる。
【００５５】
視野画像Ｌｖは、例えば、その他の範囲Ｒｏにハッチング処理を施すハッチング画像とするとよい。また、その他の範囲Ｒｏをグレースケール画像として表示するフィルター画像であってもよい。
【００５６】
また、グレースケール画像に適宜色を付けた画像としてもよい。例えば、グレースケール画像における白から黒への輝度のグラデーションを、白から赤や、白から赤を経た黒など、グラデーションに対応させてもよい。なお赤でなく、青や緑でもよい。
【００５７】
車体や路面は無彩色である場合が多いため、グレースケール画像では視野画像Ｌｖとその他の範囲Ｒｏとの境界の変化が目立たないことが多い。そのため、赤や青などの有彩色を対応させることで、該境界の変化を目立たせることができる。また、視野画像Ｌｖは、視野範囲Ｒｕの枠を示す枠画像であってもよい。視野範囲Ｒｕとその他の範囲Ｒｏとの区別が明確に可能であるならば、任意の画像を用いることができる。
【００５８】
また、図７Ｂに示すように、第１重畳部２２は、複数の視野画像Ｌｖを重畳することも可能である。図７Ｂに示す例では、画像データＬに対して、視野範囲Ｒｕを囲う視野画像Ｌｖ１と、さらに、視野画像Ｌｖ１を囲う視野画像Ｌｖ２とが重畳される場合を示す。
【００５９】
すなわち、この場合には、ユーザに対して、複数の視野画像Ｌｖによって実際の視野を段階的に把握させることが可能となる。なお、図７Ｂに示す例では、２種類の視野画像Ｌｖを重畳する場合について示したが、視野画像Ｌｖは３種類以上であってもよい。また、視野画像Ｌｖに、グラデーションを施すことにしてもよい。
【００６０】
また、一般的に、走行速度が速いほど、ドライバの視野が狭くなることから、第１重畳部２２は、走行速度に応じて、視野画像Ｌｖの重畳範囲を変更することにしてもよい。
【００６１】
図２の説明に戻り、第２重畳部２３について説明する。第２重畳部２３は、乗員の視認度に基づいて、画像データに写る対象物を強調する強調画像Ｌｅを対象物に重畳する。具体的には、第２重畳部２３は、画像データを解析し、背景類似領域、影領域、奥行領域を検出する。
【００６２】
第２重畳部２３は、任意の画像解析アルゴリズムを用いて、背景類似領域、影領域、奥行領域を検出することができる。なお、背景類似領域において、明度差や色成分差に対する閾値をユーザ毎に変更することにしてもよい。
【００６３】
そして、第２重畳部２３は、第２画像情報３４として格納されたテンプレート画像を検出した背景類似領域、影領域、奥行領域毎に加工して画像データへ重畳する。ここで、背景類似領域には、周囲と明度が近い対象物や色成分が背景と近い対象物を強調する明度画像、色画像がそれぞれ強調画像Ｌｅとして重畳される。
【００６４】
背景類似領域に、強調画像Ｌｅを重畳することで、ユーザが視認し難い対象物を容易に把握することが可能となる。なお、背景類似領域を、車両や歩行者などの移動物に限定することにしてもよい。
【００６５】
また、影領域には、影領域を強調する影画像、奥行領域には、対象物の奥行を示す奥行画像がそれぞれ強調画像Ｌｅとして重畳される。これにより、画像データに含まれる影や、対象物の奥行を容易に把握させることが可能となる。
【００６６】
第３重畳部２４は、時系列的に連続する複数の画像データに基づいて算出される対象物の移動方向を示す方向画像を対象物に重畳する。
【００６７】
図８Ａおよび図８Ｂは、第３重畳部２４による処理の具体例を示す図である。なお、図８Ａおよび図８Ｂでは、オプティカルフロー法により、対象物の移動量を算出する場合について説明するが、対象物の移動量の算出方法は、オプティカルフロー法に限定されるものではない。また、ここでは、対象物としてトラックＴを挙げて説明する。
【００６８】
図８Ａに示すように、第３重畳部２４は、トラックＴの過去フレームにおける特徴点Ｐ１と、現在フレームにおける特徴点Ｐ２とをそれぞれ抽出する。続いて、第３重畳部２４は、特徴点Ｐ１と、特徴点Ｐ２とで同一特徴点を結ぶことで、過去フレームから現在フレームの間におけるトラックＴの移動ベクトルＶ１を算出する。
【００６９】
特徴点ごとに算出した移動ベクトルは、適宜クラスタリングなどで集約されて物体の移動方向と移動量として算出される。クラスタリングは、例えば特徴点同士の距離や移動ベクトルの方向・長さに基づき、類似の特徴点同士をまとめることである。集約された特徴点は、例えば位置として重心を、移動方向と移動量として移動ベクトルの平均をとり、画像に重畳させる。なお、特徴点と移動ベクトルを集約せずに、それぞれ個別に画像に重畳させるようにしてもよい。
【００７０】
そして、第３重畳部２４は、算出した移動ベクトルに基づき、対象物の移動向きを示す方向画像を重畳する。例えば、方向画像は、対象物の移動向きを示す矢印画像である。このように、対象物に対して方向画像を重畳することで、対象物の移動向きを容易に把握させることが可能となる。
【００７１】
このとき、例えば、第３重畳部２４は、視認度の低い領域から視認度の高い領域に移動する対象物のみに対して、指示画像を重畳することにしてもよい。すなわち、乗員が警戒すべき特定の対象物のみに指示画像を重畳することにしてもよい。
【００７２】
なお、第３重畳部２４は、対象物の移動速度を示す速度画像を重畳することも可能である。例えば、速度画像は、例えば、上記の矢印画像の長さを移動速度に応じて変更させたものであってもよい。すなわち、移動速度が速いほど、矢印画像の長さを長くすることにしてもよい。
【００７３】
また、対象物が視認度の高い領域に移動するまでの時間を表示するようにしてもよい。例えば、その他の範囲Ｒｏから視野範囲Ｒｕに移動するまでの時間を、テキスト文字で表示してもよい。
【００７４】
また、移動ベクトルＶ１は、実際の走行速度が反映されるようにしてもよい。上記の例では、移動ベクトルＶ１には、トラックＴの実際の走行ベクトルＶ２と、車両Ｃの走行ベクトルＶｖとが含まれる。このため、図８Ｂに示すように、第３重畳部２４は、移動ベクトルＶ１から車両Ｃの走行ベクトルＶｖを差し引くことで、トラックＴの走行ベクトルＶ２を算出する。このとき、車両Ｃの走行ベクトルＶｖは、車両Ｃの走行速度や、舵角から求めることが可能である。第３重畳部２４は、方向画像を生成するにあたり、移動ベクトルＶ１の代わりに走行ベクトルＶ２を用いてもよい。
【００７５】
また、走行ベクトルＶ２の長さは、トラックＴの実際の走行速度に対応し、走行ベクトルＶ２の向きは、トラックＴの実際の走行向きを示す。なお、単眼カメラによって撮像された画像データを用いて、走行ベクトルを算出する場合、物体（トラックＴ）が地面にあることや、もしくは接地点（特徴点を地面に落とした時のタイヤ）がどこになるかを推定して距離を推定する。なお、この場合は物体の実際の走行速度が判明するため、速度画像には、例えば物体の移動速度を示すテキスト文字を表示してもよい。
【００７６】
次に、図９を用いて実施形態に係る画像処理装置１が実行する処理手順について説明する。図９は、画像処理装置１が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、画像処理装置１が画像データの取得毎に繰り返し実行される。
【００７７】
図９に示すように、画像処理装置１は、まず、画像データを取得すると（ステップＳ１０１）、画像データに視野画像Ｌｖや強調画像Ｌｅを重畳するモードである第１モードか否かを判定する（ステップＳ１０２）。
【００７８】
画像処理装置１は、ステップＳ１０２の判定処理において、第１モードでないと判定した場合（ステップＳ１０２，Ｎｏ）、画像データをそのまま表示装置５０へ出力し（ステップＳ１０７）、処理を終了する。
【００７９】
一方、画像処理装置１は、ステップＳ１０２の判定処理において、第１モードである場合（ステップＳ１０２，Ｙｅｓ）、対象者の選択操作を受け付ける（ステップＳ１０３）。ここで、対象者の選択操作とは、着座シートや、ユーザＩＤの入力操作を示す。
【００８０】
続いて、画像処理装置１は、対象者の視点位置にあわせて視野範囲Ｒｕを決定し（ステップＳ１０４）、視野範囲Ｒｕに基づいて視野画像Ｌｖを重畳する（ステップＳ１０５）。
【００８１】
続いて、画像処理装置１は、対象物に対して方向画像を重畳した後に（ステップＳ１０６）、ステップＳ１０７へ移行し、処理を終了する。
【００８２】
上述したように、実施形態に係る画像処理装置１は、取得部２１と、第１重畳部２２と、第２重畳部２３と備える。取得部２１は、車両Ｃ（移動体の一例）上で撮像された画像データＬを取得する。第１重畳部２２は、車両Ｃの乗員の視野を示す視野画像Ｌｖを取得部２１によって取得された画像データＬへ重畳する。
【００８３】
第２重畳部２３は、乗員の視認度に応じた強調画像Ｌｅを重畳する画像データへ重畳する。したがって、実施形態に係る画像処理装置１によれば、付加価値の高い映像を提供することができる。
【００８４】
ところで、上述した実施形態では、移動体上から撮像された画像データに対して、視野画像Ｌｖや強調画像Ｌｅを重畳する場合について説明したが、これに限定されるものではない。すなわち、固定カメラや、ユーザの頭部に固定されたウェアラブルカメラで撮像された画像データに対して、視野画像Ｌｖや強調画像Ｌｅを重畳することにしてもよい。
【００８５】
ところで、上述した実施形態では、視野範囲Ｒｕが固定される場合について説明したが、これに限定されるものではない。すなわち、視野範囲を動的に設定することにしてもよい。この場合、例えば、搭乗者の実際の視点位置、視野を記録しておき、かかる記録した視点位置、視野に応じて動的に視野範囲Ｒｕを設定することができる。なお、視点位置や、視野に関する情報は、例えば、搭乗者が撮像された画像から検出することが可能である。
【００８６】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。
【符号の説明】
【００８７】
１    画像処理装置
２１    取得部
２２    第１重畳部
２３    第２重畳部
２４    第３重畳部
５０    表示装置
１００    車載装置
Ｃ    車両（移動体の一例）
Ｌ    画像データ
Ｌｅ    強調画像
Ｌｖ    視野画像
Ｒｕ    視野範囲
【図１Ａ】
2020145564.tif 000003
【図１Ｂ】
2020145564.tif 000004
【図２】
2020145564.tif 000005
【図３】
2020145564.tif 000006
【図４】
2020145564.tif 000007
【図５】
2020145564.tif 000008
【図６Ａ】
2020145564.tif 000009
【図６Ｂ】
2020145564.tif 000010
【図７Ａ】
2020145564.tif 000011
【図７Ｂ】
2020145564.tif 000012
【図８Ａ】
2020145564.tif 000013
【図８Ｂ】
2020145564.tif 000014
【図９】
2020145564.tif 000015