(57)【要約】  画像生成装置は、撮像装置および表示装置に接続され、映り込み解析部と、画像処理部とを有する。映り込み解析部は、撮像装置が出力する、自車両の車体の一部を含む撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。画像処理部は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成し表示装置に出力する。
2018042976.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置および表示装置に接続される画像生成装置であって、
前記撮像装置が出力する、自車両の車体の一部を含む撮像画像における前記自車両の前記車体を表す領域への外光の映り込み度合いを解析し、前記外光の前記映り込み度合いに関する映り込みデータを生成する映り込み解析部と、
前記映り込みデータに基づいて、前記撮像画像における前記自車両の前記車体を表す前記領域を加工して、前記外光の前記映り込み度合いを低減した表示画像を生成し前記表示装置に出力する画像処理部と、を備えた、
画像生成装置。
【請求項２】
前記画像処理部は、前記撮像画像における前記自車両の前記車体を表す前記領域の解像度を下げる、
請求項１に記載の画像生成装置。
【請求項３】
記憶部を更に備え、
前記画像処理部は、前記記憶部から読み出した画像を、前記撮像画像における前記自車両の前記車体を表す前記領域にオーバーレイする、
請求項１に記載の画像生成装置。
【請求項４】
前記自車両の後方からの他車両の接近を検出する接近検出部をさらに備え、
前記記憶部は、前記自車両に前記他車両が接近していることを示す接近画像を記憶しており、
前記画像処理部は、前記接近検出部から入力された前記他車両の接近データに基づいて、前記記憶部から読み出した前記接近画像を、前記撮像画像における前記自車両の前記車体を表す前記領域にオーバーレイする、
請求項３に記載の画像生成装置。
【請求項５】
前記自車両の後方を撮像するリアカメラとさらに接続し、
前記画像処理部は、前記リアカメラから入力された後方画像を、前記撮像画像における前記自車両の前記車体を表す前記領域にオーバーレイする、
請求項１に記載の画像生成装置。
【請求項６】
前記自車両の後方からの他車両の接近を検出する接近検出部を更に備え、
前記リアカメラは、前記自車両に接近する前記他車両を示す画像を撮像しており、
前記画像処理部は、前記接近検出部から入力された前記他車両の接近データに基づいて、前記リアカメラから読み出した前記他車両を示す前記画像を、前記撮像画像における前記自車両の前記車体を表す前記領域にオーバーレイする、
請求項５に記載の画像生成装置。
【請求項７】
前記撮像画像は、第１の時刻に撮影された第１画像であり、前記撮像装置は前記第１の時刻よりも前の第２の時刻に第２画像を出力しており、
前記画像生成装置は、前記第１画像と前記第２画像から、前記第１画像における、前記自車両の前記車体を表す前記領域に映り込む物体の動きベクトル量を算出する動き検出部をさらに備え、
前記映り込み解析部は、前記動きベクトル量に基づいて前記映り込みデータを生成する、
請求項１から６のいずれか一項に記載の画像生成装置。
【請求項８】
前記画像処理部は、前記撮像画像において、前記動き検出部によって算出された前記動きベクトル量が予め定められた第１の値以上の部分を加工する、
請求項７に記載の画像生成装置。
【請求項９】
前記撮像画像における前記自車両の前記車体を表す前記領域の輝度の最大値および最小値を取得し、前記最大値と前記最小値との差を輝度差として算出する輝度差算出部をさらに備え、
前記映り込み解析部は、前記輝度差に基づいて前記映り込みデータを生成する、
請求項１から５のいずれかに記載の画像生成装置。
【請求項１０】
前記画像処理部は、前記撮像画像において、前記輝度差算出部によって算出された前記輝度差が予め定められた第２の値以上の部分を加工する、
請求項９に記載の画像生成装置。
【請求項１１】
自車両の車体の一部を含む撮像画像を受け付けるステップと、
前記撮像画像における前記自車両の車体を表す領域への外光の映り込み度合いを解析し、前記外光の前記映り込み度合いに関する映り込みデータを生成するステップと、
前記映り込みデータに基づいて、前記撮像画像における前記自車両の前記車体を表す前記領域を加工して、前記外光の前記映り込み度合いを低減した表示画像を生成するステップと、を有する、
画像生成方法。
【請求項１２】
撮像装置から出力された撮像画像を表示装置に表示させる車載映像生成装置のコンピュータに実行させるプログラムを格納した一過性でない記録媒体であって、
前記プログラムは、
自車両の車体の一部を含む撮像画像を前記撮像装置から入力させ、
前記撮像画像における前記自車両の車体を表す領域への外光の映り込み度合いを解析させ、前記外光の前記映り込み度合いに関する映り込みデータを生成させ、
前記映り込みデータに基づいて、前記撮像画像における前記自車両の前記車体を表す前記領域を加工させ、前記映り込み度合いを低減した表示画像を生成させる、
記録媒体。
【請求項１３】
自車両の車体の一部を含む撮像画像を出力する撮像装置と、
前記撮像装置に接続された、請求項１〜１０のいずれか一項に記載の画像生成装置と、
前記画像生成装置に接続された表示装置と、を備えた、
画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像生成装置、画像生成方法、記録媒体、および画像表示システムに関する。
【背景技術】
【０００２】
近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転を支援するための様々なシステムが開発されている。車載カメラを活用する画像表示装置の１つとして、従来は光学ミラーが映していた車外の領域の状況を車載カメラが撮像し、表示装置に画像として表示する電子ミラーシステムがある。電子ミラーシステムは、車載カメラと表示装置とを含む。【０００３】
一般に電子ミラーシステムでは、カメラの撮像領域に自車両の車体の一部が含まれ、車両の後方や側方の様子を運転手が容易に確認できるようになっている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００９／０４０９７４号
【発明の概要】
【０００５】
本開示は、車体への外光の映り込みがあっても、視認性に優れた表示画像を生成する画像生成装置、画像生成方法、記録媒体、および画像表示システムを提供する。
【０００６】
本開示の一態様に係る画像生成装置は、撮像装置および表示装置に接続され、映り込み解析部と、画像処理部と、を有する。映り込み解析部は、撮像装置が出力する、自車両の車体の一部を含む撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。画像処理部は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成し表示装置に出力する。
【０００７】
本開示の一態様に係る画像生成方法では、自車両の車体の一部を含む撮像画像を受け付ける。次に、撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。さらに、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成する。
【０００８】
本開示の一態様に係る記録媒体は、撮像装置から出力された撮像画像を表示装置に表示させる画像生成装置のコンピュータに実行させるプログラムを格納した一過性でない記録媒体である。このプログラムは、自車両の車体の一部を含む撮像画像を撮像装置から入力させ、撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析させる。次に、外光の映り込み度合いに関する映り込みデータを生成させる。さらに、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工させ、映り込み度合いを低減した表示画像を生成させる。
【図面の簡単な説明】
【０００９】
【図１】一般的な電子ミラーシステムが表示する後側方画像の一例を示す図
【図２】本開示の第１の実施の形態に係る画像表示システムの構成を示すブロック図
【図３】本開示の実施の形態に係る画像表示システムの設置状態の一例を示す図
【図４】第１の実施の形態に係る画像生成装置の動作の一例を示すフローチャート
【図５】第１の実施の形態に係る画像生成装置が生成する表示画像の一例を示す図
【図６】第１の実施の形態に係る画像生成装置が生成する表示画像の他の一例を示す図
【図７】本開示の第２の実施の形態に係る画像表示システムの構成を示すブロック図
【図８】第２の実施の形態に係る画像生成装置の動作の一例を示すフローチャート
【図９】第２の実施の形態に係る画像生成装置が生成する表示画像の一例を示す図
【図１０】第２の実施の形態に係る画像生成装置が生成する表示画像の他の一例を示す図
【図１１】コンピュータのハードウェア構成の一例を示す図
【発明を実施するための形態】
【００１０】
一般的な電子ミラーシステムにおいては、表示装置が表示する画像に自車両の車体の一部が含まれている場合、車体に映り込んでいる周囲の風景や他車両のライトなどの外光も、車体を表す領域において共に画像に含まれる。画像に含まれる外光のために、特に自車両の高速走行時において、画像が運転手にとって見づらいことがある。
【００１１】
図１は、一般的な電子ミラーシステムが表示する後側方画像の一例である。図１に示すように、自車両の後側方を撮像するサイドカメラの撮像領域には、自車両の右側（または左側）後方の視界に加えて自車両の車体の一部が含まれる。これは、上述したように、光学サイドミラーを使用した場合と同様に、後方車両との左右の位置関係を自車両の乗員が把握し易くするようにするためである。
【００１２】
図１の画像に示されるように、自車両の車体を表す領域には、対向車、走行中に流れる木や建物などの景色等の周囲の風景や、他車両のライトの光等の外光が反射して映り込む。このような画像は乗員にとって見づらいことがある。さらに、自車両の速度が高速であるほど、画像はより見づらくなる。一般的な電子ミラーシステムでは、映り込みのある画像がそのまま表示されるため、視認性が悪く、乗員が目の疲れを感じやすくなる。以下、これらの問題を解決しながらも、視認性に優れた表示画像を生成するための構成について説明する。
【００１３】
（第１の実施の形態）
図２は、本開示の第１の実施の形態に係る画像生成装置１を含む画像表示システム１００Ａの構成を示すブロック図である。図３は、画像表示システム１００Ａの設置状態の一例を示す図である。画像生成装置１は、撮像装置２と、表示装置４とに接続され、制御部５と、記憶部６とを有する。画像表示システム１００Ａは、光学ミラーに代えて車両に搭載される電子ミラーシステムである。
【００１４】
撮像装置２は、撮像した第１の撮像画像を出力する。第１の撮像画像の撮像領域は、自車両の車体の一部を含む。一例において、撮像装置２は、自車両の後側方視界を撮像するサイドカメラであり、自車両に対して固定されている。
【００１５】
表示装置４は、撮像装置２で撮像された画像を、乗員（例えば運転手）に対して表示する。一例において、表示装置４は、ダッシュボードに配置される液晶ディスプレイである。表示画像の詳細については、図５および図６を参照して後述する。
【００１６】
制御部５は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を有する。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、画像生成装置１の各ブロックの動作を集中制御する。制御部５は、動き検出部９、輝度差算出部１０、映り込み解析部７、および画像処理部８として機能する。
【００１７】
記憶部６は、自車両の車体のうち、撮像装置２の撮像領域の中に含まれる自車両の車体の一部の形状を記憶する。一例において、記憶部６は、不揮発性メモリである。
【００１８】
動き検出部９は、撮像装置２から入力した撮像画像における自車両の車体を表す領域に映り込む物体の動きベクトルを算出する。動き検出部９は、記憶部６から読み出した自車両の車体を表す領域の形状に基づいて、自車両の車体を表す領域に映り込む物体の動きベクトルを算出してもよい。具体的には、例えば、撮像装置２において異なる時刻に撮像された２つの撮像画像を比較して動きベクトルを算出してもよい。このとき、２つの撮像画像は連続するフレーム画像であってもよい。また、２つの撮像画像は所定のフレーム数毎に抽出される連続しないフレーム画像であってもよい。動きベクトルを算出する場合、自車両の車体を表わす領域に映り込む物体の一部の動きベクトルを算出するとしてもよい。また、動き検出部９は、撮像画像における自車両の車体を表す領域の全体において動きベクトルを算出してもよい。一例において、自車両の車体を表す領域とは、自車両のうち、窓部分を除いた塗装済みの領域をいう。
【００１９】
輝度差算出部１０は、撮像装置２から入力した撮像画像における自車両の車体を表す領域において、輝度の最大値および最小値を取得し、その差を輝度差として算出する。輝度差算出部１０は、記憶部６から読み出した自車両の車体の一部の形状に基づいて、輝度差を算出してもよい。また、輝度差算出部１０は、撮像画像における自車両の車体を表す領域の全体において輝度差を算出してもよい。
【００２０】
映り込み解析部７は、撮像装置２が出力する撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。一例として、映り込み解析部７は、輝度差算出部１０が算出した輝度差に基づいて映り込みデータを生成する。他の一例として、映り込み解析部７は、動き検出部９が算出した動きベクトル量に基づいて映り込みデータを生成する。映り込みデータは、車体を表す領域への映り込みの程度を示す情報を含み、さらには、低減すべき映り込みがあるか否かを判定した判定結果を含む。
【００２１】
画像処理部８は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して映り込み度合いを低減した表示画像を生成する。生成された表示画像は、表示装置４に出力され、表示される。自車両の乗員（例えば運転手）は、表示装置４を介して、映り込みを低減した画像を視ることができる。
【００２２】
図４は、画像生成装置１の動作の一例を示すフローチャートである。この処理は、例えば自車両のエンジンが起動されることに伴い、画像生成装置１のＣＰＵがＲＯＭに格納されているプログラムを読みだして実行することにより実現される。
【００２３】
ステップＳ１において、まず、制御部５は、撮像装置２が出力した第１の撮像画像を受け付ける。
【００２４】
ステップＳ２において、制御部５は、撮像画像における自車両の車体を表す領域に映り込む物体の動きを検出する（動き検出部９としての処理）。一例において、動き検出部９は、撮像画像における自車両の車体を表す領域に映り込む物体の動きベクトル量を算出する。動きベクトル量の算出については後述する。車体を表す領域に映り込む物体の動きを検出することにより、自車両の車体を表す領域への映り込みの程度を把握することができ、低減すべき映り込みであるか否かを判定する際の指標として用いることができる。
【００２５】
ここで、撮像装置２は、第１の時刻に撮影された第１画像と、第１の時刻よりも前の第２の時刻に第２画像を出力する。動き検出部９は、第１画像と第２画像から、第１画像における自車両の車体を表す領域に映り込む物体の動きベクトル量を算出する。映り込み解析部７は、上記により求めた動きベクトル量に基づいて映り込みデータを生成する。
【００２６】
ステップＳ３において、制御部５は、検出された車体を表す領域に映り込む物体の動きに基づいて、低減すべき映り込みの有無を判定する（映り込み解析部７としての処理）。低減すべき映り込みとは、撮像画像の視認性を低下させうる映り込みであり、撮像画像の中の加工対象となる部分である。具体的には、算出された動きベクトル量が予め定められた第１の値以上である部分を、低減すべき映り込みを含む動き領域として検出する。この場合、映り込み解析部７は、動き領域の情報を含む映り込みデータを生成する。ここで、第１の値は、任意の値であってよく、例えば、乗員が操作パネル（図示せず）によって設定可能であってもよい。
【００２７】
動きベクトル量が第１の値よりも大きい動き領域、すなわち低減すべき映り込みがある場合（ステップＳ３：ＹＥＳ）、ステップＳ６に進む。低減すべき映り込みがない場合（ステップＳ３：ＮＯ）、ステップＳ４の処理に移行する。
【００２８】
ステップＳ４において、制御部５は、撮像画像における自車両の車体を表す領域の輝度差を算出する（輝度差算出部１０としての処理）。一例において、輝度差算出部１０は、撮像画像を、例えばＨＳＶ色空間における画像に変換し、Ｖ成分の最大値および最小値を取得し、最大値と最小値との差を輝度差として算出する。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の３つの成分からなる色空間である。ここで、Ｖ成分の最大値および最小値は、それぞれ、自車両に映り込む映像の輝度の最大値および最小値に対応する。
【００２９】
ステップＳ５において、制御部５は、算出された輝度差に基づいて、低減すべき映り込みの有無を判定する（映り込み解析部７としての処理）。具体的には、輝度差算出部１０によって算出された輝度差が、予め定められた第２の値よりも大きい場合を、低減すべき映り込みがあるとして判定する。ここで、第２の値は、任意の値であってよく、例えば、乗員が操作パネル（図示せず）によって設定可能であってもよい。
【００３０】
輝度差が予め定められた第２の値より大きい場合、すなわち低減すべき映り込みがある場合（ステップＳ５：ＹＥＳ）、ステップＳ６に進む。一例において、輝度差算出部１０は、ステップＳ６に進む前に、第１の撮像画像における自車両の車体を表す領域のうち、輝度が予め定められた第３の値以上の部分を高輝度領域として特定する。この場合、映り込み解析部７は、高輝度領域の情報を含む映り込みデータを生成する。ここで、予め定められた第３の値は、任意の値であってよく、例えば、乗員が操作パネル（図示せず）によって設定可能であってもよい。一方、輝度差が第２の値より大きくない場合、すなわち低減すべき映り込みがない場合（ステップＳ５：ＮＯ）、ステップＳ７に進む。
【００３１】
ステップＳ６において、制御部５は、撮像画像における自車両の車体を表す領域を加工して、映り込みを低減した表示画像を生成する（画像処理部８としての処理）。一例において、加工する部分は、撮像画像における自車両の車体を表す領域の全体である。他の一例において、ステップＳ３からステップＳ６に進んだ場合は、映り込みデータに含まれる動き領域に基づいて、大きな動きが検出された部分だけを加工しても良い。さらに他の一例において、ステップＳ５からステップＳ６に進んだ場合は、映り込みデータに含まれる高輝度領域の部分だけを加工しても良い。
【００３２】
一例において、画像処理部８は、加工する部分に、例えばぼかし（ｂｌｕｒ）処理を施すことにより、撮像画像における自車両の車体を表す領域の解像度を下げる。他の一例において、画像処理部８は、加工する部分に、記憶部６から読み出した画像をオーバーレイする。
【００３３】
オーバーレイする画像は、例えば、反射がない状態の自車両の写真、イラスト、図形等の静止画像である。一例において、記憶部６は、オーバーレイする画像を所定の画像として予め記憶し、画像処理部８が記憶部６から所定の画像を読み出す。また、オーバーレイする画像が同一色の場合、オーバーレイする画像に代えて、記憶部６は当該同一色を記憶してもよい。
【００３４】
ステップＳ７において、制御部５は、画像処理部８が生成した表示画像を表示装置４に出力する。低減すべき映り込みがある場合（ステップＳ３：ＹＥＳ、またはステップＳ５：ＹＥＳ）は、ステップＳ６において映り込み部分が加工された表示画像がステップＳ７において出力される。低減すべき映り込みがない場合（ステップＳ３：ＮＯ、かつステップＳ５：ＮＯ）は、撮像画像に基づいて生成された表示画像が出力される。
【００３５】
図５は、画像生成装置１が生成する表示画像の一例である。図５に示される表示画像は、撮像画像における自車両の車体を表す領域の全体が加工された場合の表示画像であり、車体を表す領域の解像度が低減されている。撮像装置２が出力した撮像画像と比較して、画像生成装置１が生成する表示画像は映り込みを低減した見やすい画像であり、表示画像を見る乗員は、目の疲れを感じにくい。
【００３６】
図６は、第１の実施の形態に係る画像生成装置１が生成する表示画像の他の一例である。図６に示される表示画像は、撮像画像における自車両の車体を表す領域の全体が加工された場合の画像であり、車体を表す領域が同一色で塗りつぶされている。
【００３７】
このように、画像生成装置１は、撮像装置２および表示装置４に接続され、映り込み解析部７と、画像処理部８と、を有する。映り込み解析部７は、撮像装置２が出力する、自車両の車体の一部を含む撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。画像処理部８は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成し表示装置に出力する。
【００３８】
撮像装置２が出力した撮像画像と比較して、画像生成装置１が生成する表示画像は映り込みを低減した見やすい画像であり、表示画像を見る乗員は、目の疲れを感じにくい。
【００３９】
（第２の実施の形態）
図７は、本開示の第２の実施の形態に係る画像生成装置１１を含む画像表示システム１００Ｂの構成を示すブロック図である。画像生成装置１１は、撮像装置２と、表示装置４とに接続され、制御部１４と、記憶部６と、接近検出部１３とを有する。ここで、撮像装置２、表示装置４、および記憶部６については、第１の実施の形態に係る画像生成装置１において説明したものと同じであるので、説明を省略する。なお、画像表示システム１００Ｂは後述するリアカメラ３を含んでいてもよい。
【００４０】
制御部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、画像生成装置１１の各ブロックの動作を集中制御する。制御部１４は、動き検出部９、輝度差算出部１０、映り込み解析部７、および画像処理部１５として機能する。動き検出部９、輝度差算出部１０、および映り込み解析部７については、第１の実施の形態に係る制御部５と同じであるので、説明を省略する。
【００４１】
接近検出部１３は、他車両の接近を検出し、接近データを取得する。記憶部６は自車両に車両が接近していることを示す接近画像を記憶している。画像処理部１５は接近検出部１３から入力された他車両の接近データに基づいて、記憶部６から読み出した接近画像を撮像画像における自車両の車体を表す領域にオーバーレイする。一例において、接近検出部１３は、自車両の後方にある他車両との距離を測定するミリ波レーダであり、当該距離に基づいて接近情報を取得する。
【００４２】
一例において、図７に示すように画像生成装置１１は、図３に示される車両後部の位置に設置され自車両の後方を撮像するリアカメラ３とさらに接続される。リアカメラ３は自車両に接近する他車両を示す画像を撮像している。画像処理部１５はリアカメラ３から入力された後方画像を、撮像画像における自車両の車体を表す領域にオーバーレイする。例えば、画像処理部１５は接近検出部１３から入力された他車両の接近データに基づいて、リアカメラ３から読み出した自車両に接近する他車両を示す画像を、撮像画像における自車両の車体を表す領域にオーバーレイする。なお、リアカメラ３は、自車両のバックドアガラスの上部や下部など車両の形状によって任意の位置に設置すればよい。なお、図７ではリアカメラ３の出力は画像処理部１５に入力されているが、これ以外に、リアカメラ３は、撮像した後方画像を接近検出部１３に出力してもよい。また、リアカメラ３は、撮像した後方画像を記憶部６に出力して格納してもよい。
【００４３】
一例において、画像処理部１５は、記憶部６が記憶する後方画像の少なくとも一部を撮像画像における車体を表す領域にオーバーレイする。ここで、一例において、後方画像の少なくとも一部は、後方画像の右半分または左半分である。
【００４４】
図８は、画像生成装置１１の動作の一例を示すフローチャートである。ここで、ステップＳ２１、Ｓ２２、Ｓ２３、Ｓ２４、Ｓ２５、Ｓ２６、およびＳ２８は、それぞれ図４に示されるステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、およびＳ７と類似であるので、説明を省略する。
【００４５】
ステップＳ２５またはＳ２６に次いで、ステップＳ２７において、制御部１４は、接近検出部１３が取得した他車両の接近データに基づいて記憶部６から読み出した接近画像を撮像画像における自車両の車体を表す領域にオーバーレイする。
【００４６】
図９は、第２の実施の形態に係る画像生成装置１１が表示装置４に出力する表示画像の一例である。表示画像の車体を示す領域には、他車両の接近データとして、アイコンＩ１、Ｉ２がオーバーレイされている。
【００４７】
図１０は、画像生成装置１１が表示装置４に表示する表示画像の他の一例である。表示画像の車体を表す領域には、リアカメラ３が撮像した後方画像の右半分の画像Ｉ３がオーバーレイされている。
【００４８】
このように、画像生成装置１１は、接近検出部１３から入力した他車両の接近データに基づいて記憶部６から読み出した接近画像を撮像画像における自車両の車体を表す領域にオーバーレイする。
【００４９】
画像生成装置１と同様に、自車両が高速走行している場合であっても、画像生成装置１１が生成する表示画像の車体を表す領域は、解像度の低減処理または静止画像等のオーバーレイ処理のために表示内容の変化が少ない。そのため、単に第１の撮像画像にアイコンＩ１、Ｉ２や後方画像の少なくとも一部等の接近情報を埋め込んだ場合と比較して、乗員はアイコンＩ１、Ｉ２や後方画像の少なくとも一部を見やすい。
【００５０】
図１１は、コンピュータのハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。
【００５１】
図１１に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１０３、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１０４、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１０５を有する。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を有する。上述した各部は、バス２１０９により接続される。
【００５２】
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
【００５３】
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【００５４】
（その他の実施の形態）
第１の実施の形態および第２の実施の形態においては、画像処理部８または画像処理部１５は、第１の撮像画像における自車両の車体を表す領域の解像度を低減するまたは他の画像等を車体部分にオーバーレイしている。これに代えて、画像処理部８または画像処理部１５は、車体を表す領域の輝度を落としてもよい。
【００５５】
第１の実施の形態および第２の実施の形態においては、制御部５および制御部１４は、それぞれ撮像画像における自車両の車体を表す領域の動きと輝度差の両方に基づいて、撮像画像の加工の要否を決定する。これに代えて、制御部５および制御部１４は、動きおよび輝度差のいずれか一方に基づいて、撮像画像の加工の要否を決定しても良い。また、撮像画像における自車両の車体を表す領域の動きや輝度差以外の情報に基づいて、撮像画像の加工の要否を決定しても良い。例えば、映り込み解析部７は、自車両につけた照度センサの値による昼間の直射日光の有無、または、夜間の対向車または後続車の有無によって低減すべき映り込みの有無を判定しても良い。
【００５６】
第１の実施の形態および第２の実施の形態においては、動き検出部９は、第１の撮像画像における自車両の車体を表す領域における動きベクトル量を算出することにより、映り込みの動きを検出している。これに代えて、制御部５または制御部１４は、自車両の速度計等の速度情報を入力し、入力した速度情報に基づいて映り込みの動きを検出してもよい。このように動き検出部９、輝度差算出部１０は制御部５、１４に必須の構成ではない。
【００５７】
第１の実施の形態および第２の実施の形態においては、撮像画像における自車両の車体を表す領域への映り込みの有無を判定し、判定結果に基づいて撮像画像の加工の要否を決定している。しかしながら、映り込みの有無を判定することは必須ではない。例えば、撮像画像における自車両の車体を表す領域を判別し、車体を表す領域の解像度を下げる、または自車両の写真、画像、図形をオーバーレイする、または後方画像をオーバーレイする、または接近画像をオーバーレイする、等の加工をすれば良い。
【産業上の利用可能性】
【００５８】
本開示に係る画像生成装置は、車両の周囲を映すミラーに代えて車両に搭載され、電子ミラーとして使用されるのに好適である。
【符号の説明】
【００５９】
１    画像生成装置
２    撮像装置
４    表示装置
５    制御部
６    記憶部
７    映り込み解析部
８    画像処理部
９    動き検出部
１０  輝度差算出部
１１  画像生成装置
１３  接近検出部
１４  制御部
１５  画像処理部
Ｉ１  アイコン
Ｉ２  アイコン
Ｉ３  後方画像の右半分の画像
１００Ａ，１００Ｂ  画像表示システム
２１００  コンピュータ
２１０１  入力装置
２１０２  出力装置
２１０３  ＣＰＵ
２１０４  ＲＯＭ
２１０５  ＲＡＭ
２１０６  記憶装置
２１０７  読取装置
２１０８  送受信装置
２１０９  バス
【図１】
2018042976.tif 000003
【図２】
2018042976.tif 000004
【図３】
2018042976.tif 000005
【図４】
2018042976.tif 000006
【図５】
2018042976.tif 000007
【図６】
2018042976.tif 000008
【図７】
2018042976.tif 000009
【図８】
2018042976.tif 000010
【図９】
2018042976.tif 000011
【図１０】
2018042976.tif 000012
【図１１】
2018042976.tif 000013
【手続補正書】
【提出日】平成30年12月14日(2018.12.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像生成装置、画像生成方法、記録媒体、および画像表示システムに関する。
【背景技術】
【０００２】
近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転を支援するための様々なシステムが開発されている。車載カメラを活用する画像表示装置の１つとして、従来は光学ミラーが映していた車外の領域の状況を車載カメラが撮像し、表示装置に画像として表示する電子ミラーシステムがある。電子ミラーシステムは、車載カメラと表示装置とを含む。
【０００３】
一般に電子ミラーシステムでは、カメラの撮像領域に自車両の車体の一部が含まれ、車両の後方や側方の様子を運転手が容易に確認できるようになっている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００９／０４０９７４号
【発明の概要】
【０００５】
本開示は、車体への外光の映り込みがあっても、視認性に優れた表示画像を生成する画像生成装置、画像生成方法、記録媒体、および画像表示システムを提供する。
【０００６】
本開示の一態様に係る画像生成装置は、撮像装置および表示装置に接続され、映り込み解析部と、画像処理部と、を有する。映り込み解析部は、撮像装置が出力する撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。画像処理部は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成し表示装置に出力する。
【０００７】
本開示の一態様に係る画像生成方法では、少なくとも自車両の車体の一部を示す撮像画像を受け付ける。次に、撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。さらに、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成する。
【０００８】
本開示の一態様に係る記録媒体は、撮像装置から出力された撮像画像を表示装置に表示させる画像生成装置のコンピュータに実行させるプログラムを格納した一過性でない記録媒体である。このプログラムは、少なくとも自車両の車体の一部を示す撮像画像を撮像装置から入力させ、撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析させる。次に、外光の映り込み度合いに関する映り込みデータを生成させる。さらに、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工させ、映り込み度合いを低減した表示画像を生成させる。
【図面の簡単な説明】
【０００９】
【図１】一般的な電子ミラーシステムが表示する後側方画像の一例を示す図
【図２】本開示の第１の実施の形態に係る画像表示システムの構成を示すブロック図
【図３】本開示の実施の形態に係る画像表示システムの設置状態の一例を示す図
【図４】第１の実施の形態に係る画像生成装置の動作の一例を示すフローチャート
【図５】第１の実施の形態に係る画像生成装置が生成する表示画像の一例を示す図
【図６】第１の実施の形態に係る画像生成装置が生成する表示画像の他の一例を示す図
【図７】本開示の第２の実施の形態に係る画像表示システムの構成を示すブロック図
【図８】第２の実施の形態に係る画像生成装置の動作の一例を示すフローチャート
【図９】第２の実施の形態に係る画像生成装置が生成する表示画像の一例を示す図
【図１０】第２の実施の形態に係る画像生成装置が生成する表示画像の他の一例を示す図
【図１１】コンピュータのハードウェア構成の一例を示す図
【発明を実施するための形態】
【００１０】
一般的な電子ミラーシステムにおいては、表示装置が表示する画像に自車両の車体の一部が示されている場合、車体に映り込んでいる周囲の風景や他車両のライトなどの外光も、車体を表す領域において共に画像に示される。画像に示される外光のために、特に自車両の高速走行時において、画像が運転手にとって見づらいことがある。
【００１１】
図１は、一般的な電子ミラーシステムが表示する後側方画像の一例である。図１に示すように、自車両の後側方を撮像するサイドカメラの撮像領域には、自車両の右側（または左側）後方の視界に加えて自車両の車体の一部が含まれる。これは、上述したように、光学サイドミラーを使用した場合と同様に、後方車両との左右の位置関係を自車両の乗員が把握し易くするようにするためである。
【００１２】
図１の画像に示されるように、自車両の車体を表す領域には、対向車、走行中に流れる木や建物などの景色等の周囲の風景や、他車両のライトの光等の外光が反射して映り込む。このような画像は乗員にとって見づらいことがある。さらに、自車両の速度が高速であるほど、画像はより見づらくなる。一般的な電子ミラーシステムでは、映り込みのある画像がそのまま表示されるため、視認性が悪く、乗員が目の疲れを感じやすくなる。以下、これらの問題を解決しながらも、視認性に優れた表示画像を生成するための構成について説明する。
【００１３】
（第１の実施の形態）
図２は、本開示の第１の実施の形態に係る画像生成装置１を含む画像表示システム１００Ａの構成を示すブロック図である。図３は、画像表示システム１００Ａの設置状態の一例を示す図である。画像生成装置１は、撮像装置２と、表示装置４とに接続され、制御部５と、記憶部６とを有する。画像表示システム１００Ａは、光学ミラーに代えて車両に搭載される電子ミラーシステムである。
【００１４】
撮像装置２は、撮像した第１の撮像画像を出力する。第１の撮像画像の撮像領域は、少なくとも自車両の車体の一部を示している。一例において、撮像装置２は、自車両の後側方視界を撮像するサイドカメラであり、自車両に対して固定されている。
【００１５】
表示装置４は、撮像装置２で撮像された画像を、乗員（例えば運転手）に対して表示する。一例において、表示装置４は、ダッシュボードに配置される液晶ディスプレイである。表示画像の詳細については、図５および図６を参照して後述する。
【００１６】
制御部５は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を有する。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、画像生成装置１の各ブロックの動作を集中制御する。制御部５は、動き検出部９、輝度差算出部１０、映り込み解析部７、および画像処理部８として機能する。
【００１７】
記憶部６は、撮像装置２の撮像領域の中に含まれる自車両の車体の一部の形状を記憶する。一例において、記憶部６は、不揮発性メモリである。
【００１８】
動き検出部９は、撮像装置２から入力した撮像画像における自車両の車体を表す領域に映り込む物体の動きベクトルを算出する。動き検出部９は、記憶部６から読み出した自車両の車体を表す領域の形状に基づいて、自車両の車体を表す領域に映り込む物体の動きベクトルを算出してもよい。具体的には、例えば、撮像装置２において異なる時刻に撮像された２つの撮像画像を比較して動きベクトルを算出してもよい。このとき、２つの撮像画像は連続するフレーム画像であってもよい。また、２つの撮像画像は所定のフレーム数毎に抽出される連続しないフレーム画像であってもよい。動きベクトルを算出する場合、自車両の車体を表わす領域に映り込む物体の一部の動きベクトルを算出するとしてもよい。また、動き検出部９は、撮像画像における自車両の車体を表す領域の全体において動きベクトルを算出してもよい。一例において、自車両の車体を表す領域とは、自車両のうち、窓部分を除いた塗装済みの領域をいう。
【００１９】
輝度差算出部１０は、撮像装置２から入力した撮像画像における自車両の車体を表す領域において、輝度の最大値および最小値を取得し、その差を輝度差として算出する。輝度差算出部１０は、記憶部６から読み出した自車両の車体の一部の形状に基づいて、輝度差を算出してもよい。また、輝度差算出部１０は、撮像画像における自車両の車体を表す領域の全体において輝度差を算出してもよい。
【００２０】
映り込み解析部７は、撮像装置２が出力する撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。一例として、映り込み解析部７は、輝度差算出部１０が算出した輝度差に基づいて映り込みデータを生成する。他の一例として、映り込み解析部７は、動き検出部９が算出した動きベクトル量に基づいて映り込みデータを生成する。映り込みデータは、車体を表す領域への映り込みの程度を示す情報を含み、さらには、低減すべき映り込みがあるか否かを判定した判定結果を含む。
【００２１】
画像処理部８は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して映り込み度合いを低減した表示画像を生成する。生成された表示画像は、表示装置４に出力され、表示される。自車両の乗員（例えば運転手）は、表示装置４を介して、映り込みを低減した画像を視ることができる。
【００２２】
図４は、画像生成装置１の動作の一例を示すフローチャートである。この処理は、例えば自車両のエンジンが起動されることに伴い、画像生成装置１のＣＰＵがＲＯＭに格納されているプログラムを読みだして実行することにより実現される。
【００２３】
ステップＳ１において、まず、制御部５は、撮像装置２が出力した第１の撮像画像を受け付ける。
【００２４】
ステップＳ２において、制御部５は、撮像画像における自車両の車体を表す領域に映り込む物体の動きを検出する（動き検出部９としての処理）。一例において、動き検出部９は、撮像画像における自車両の車体を表す領域に映り込む物体の動きベクトル量を算出する。動きベクトル量の算出については後述する。車体を表す領域に映り込む物体の動きを検出することにより、自車両の車体を表す領域への映り込みの程度を把握することができ、動きを低減すべき映り込みであるか否かを判定する際の指標として用いることができる。
【００２５】
ここで、撮像装置２は、第１の時刻に撮影された第１画像と、第１の時刻よりも前の第２の時刻に第２画像を出力する。動き検出部９は、第１画像と第２画像から、第１画像における自車両の車体を表す領域に映り込む物体の動きベクトル量を算出する。映り込み解析部７は、上記により求めた動きベクトル量に基づいて映り込みデータを生成する。
【００２６】
ステップＳ３において、制御部５は、検出された車体を表す領域に映り込む物体の動きに基づいて、低減すべき映り込みの有無を判定する（映り込み解析部７としての処理）。低減すべき映り込みとは、撮像画像の視認性を低下させうる映り込みであり、撮像画像の中の加工対象となる部分である。具体的には、算出された動きベクトル量が予め定められた第１の値以上である部分を、低減すべき映り込みを含む動き領域として検出する。この場合、映り込み解析部７は、動き領域の情報を含む映り込みデータを生成する。ここで、第１の値は、任意の値であってよく、例えば、乗員が操作パネル（図示せず）によって設定可能であってもよい。
【００２７】
動きベクトル量が第１の値以上の領域、すなわち低減すべき映り込みがある場合（ステップＳ３：ＹＥＳ）、ステップＳ６に進む。低減すべき映り込みがない場合（ステップＳ３：ＮＯ）、ステップＳ４の処理に移行する。
【００２８】
ステップＳ４において、制御部５は、撮像画像における自車両の車体を表す領域の輝度差を算出する（輝度差算出部１０としての処理）。一例において、輝度差算出部１０は、撮像画像を、例えばＨＳＶ色空間における画像に変換し、Ｖ成分の最大値および最小値を取得し、最大値と最小値との差を輝度差として算出する。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の３つの成分からなる色空間である。ここで、Ｖ成分の最大値および最小値は、それぞれ、自車両に映り込む画像の輝度の最大値および最小値に対応する。
【００２９】
ステップＳ５において、制御部５は、算出された輝度差に基づいて、低減すべき映り込みの有無を判定する（映り込み解析部７としての処理）。具体的には、輝度差算出部１０によって算出された輝度差が、予め定められた第２の値よりも大きい場合を、低減すべき映り込みがあるとして判定する。ここで、第２の値は、任意の値であってよく、例えば、乗員が操作パネル（図示せず）によって設定可能であってもよい。
【００３０】
輝度差が予め定められた第２の値より大きい場合、すなわち低減すべき映り込みがある場合（ステップＳ５：ＹＥＳ）、ステップＳ６に進む。一例において、輝度差算出部１０は、ステップＳ６に進む前に、第１の撮像画像における自車両の車体を表す領域のうち、輝度が予め定められた第３の値以上の部分を高輝度領域として特定する。この場合、映り込み解析部７は、高輝度領域の情報を含む映り込みデータを生成する。ここで、予め定められた第３の値は、任意の値であってよく、例えば、乗員が操作パネル（図示せず）によって設定可能であってもよい。一方、輝度差が第２の値より大きくない場合、すなわち低減すべき映り込みがない場合（ステップＳ５：ＮＯ）、ステップＳ７に進む。
【００３１】
ステップＳ６において、制御部５は、撮像画像における自車両の車体を表す領域を加工して、映り込みを低減した表示画像を生成する（画像処理部８としての処理）。一例において、加工する部分は、撮像画像における自車両の車体を表す領域の全体である。他の一例において、ステップＳ３からステップＳ６に進んだ場合は、映り込みデータに含まれる動き領域に基づいて、大きな動きが検出された部分だけを加工しても良い。さらに他の一例において、ステップＳ５からステップＳ６に進んだ場合は、映り込みデータに含まれる高輝度領域だけを加工しても良い。
【００３２】
一例において、画像処理部８は、加工する部分に、例えばぼかし（ｂｌｕｒ）処理を施すことにより、撮像画像における自車両の車体を表す領域の解像度を下げる。他の一例において、画像処理部８は、加工する部分に、記憶部６から読み出した画像をオーバーレイする。
【００３３】
オーバーレイする画像は、例えば、反射がない状態の自車両の写真、イラスト、図形等の静止画像である。一例において、記憶部６は、オーバーレイする画像を所定の画像として予め記憶し、画像処理部８が記憶部６から所定の画像を読み出す。また、オーバーレイする画像が同一色の場合、オーバーレイする画像に代えて、記憶部６は当該同一色を記憶してもよい。
【００３４】
ステップＳ７において、制御部５は、画像処理部８が生成した表示画像を表示装置４に出力する。低減すべき映り込みがある場合（ステップＳ３：ＹＥＳ、またはステップＳ５：ＹＥＳ）は、ステップＳ６において映り込み部分が加工された表示画像がステップＳ７において出力される。低減すべき映り込みがない場合（ステップＳ３：ＮＯ、かつステップＳ５：ＮＯ）は、撮像画像に基づいて生成された表示画像が出力される。
【００３５】
図５は、画像生成装置１が生成する表示画像の一例である。図５に示される表示画像は、撮像画像における自車両の車体を表す領域の全体が加工された場合の表示画像であり、車体を表す領域の解像度が低減されている。撮像装置２が出力した撮像画像と比較して、画像生成装置１が生成する表示画像は映り込みを低減した見やすい画像であり、表示画像を見る乗員は、目の疲れを感じにくい。
【００３６】
図６は、第１の実施の形態に係る画像生成装置１が生成する表示画像の他の一例である。図６に示される表示画像は、撮像画像における自車両の車体を表す領域の全体が加工された場合の画像であり、車体を表す領域が同一色で塗りつぶされている。
【００３７】
このように、画像生成装置１は、撮像装置２および表示装置４に接続され、映り込み解析部７と、画像処理部８と、を有する。映り込み解析部７は、撮像装置２が出力する撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。画像処理部８は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成し表示装置に出力する。
【００３８】
撮像装置２が出力した撮像画像と比較して、画像生成装置１が生成する表示画像は映り込みを低減した見やすい画像であり、表示画像を見る乗員は、目の疲れを感じにくい。
【００３９】
（第２の実施の形態）
図７は、本開示の第２の実施の形態に係る画像生成装置１１を含む画像表示システム１００Ｂの構成を示すブロック図である。画像生成装置１１は、撮像装置２と、表示装置４とに接続され、制御部１４と、記憶部６と、接近検出部１３とを有する。ここで、撮像装置２、表示装置４、および記憶部６については、第１の実施の形態に係る画像生成装置１において説明したものと同じであるので、説明を省略する。なお、画像表示システム１００Ｂは後述するリアカメラ３を含んでいてもよい。
【００４０】
制御部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、画像生成装置１１の各ブロックの動作を集中制御する。制御部１４は、動き検出部９、輝度差算出部１０、映り込み解析部７、および画像処理部１５として機能する。動き検出部９、輝度差算出部１０、および映り込み解析部７については、第１の実施の形態に係る制御部５と同じであるので、説明を省略する。
【００４１】
接近検出部１３は、他車両（後方車両）の接近を検出し、接近データを取得する。記憶部６は自車両に車両が接近していることを示す接近画像を記憶している。画像処理部１５は接近検出部１３から入力された他車両の接近データに基づいて、記憶部６から読み出した接近画像を撮像画像における自車両の車体を表す領域にオーバーレイする。一例において、接近検出部１３は、自車両の後方にある他車両との距離を測定するミリ波レーダであり、当該距離に基づいて接近情報を取得する。
【００４２】
一例において、図７に示すように画像生成装置１１は、図３に示される車両後部の位置に設置され自車両の後方を撮像するリアカメラ３とさらに接続される。リアカメラ３は自車両に接近する他車両を示す画像を撮像している。画像処理部１５はリアカメラ３から入力された後方画像を、撮像画像における自車両の車体を表す領域にオーバーレイする。例えば、画像処理部１５は接近検出部１３から入力された他車両の接近データに基づいて、リアカメラ３から読み出した自車両に接近する他車両を示す画像を、撮像画像における自車両の車体を表す領域にオーバーレイする。なお、リアカメラ３は、自車両のバックドアガラスの上部や下部など車両の形状によって任意の位置に設置すればよい。なお、図７ではリアカメラ３の出力は画像処理部１５に入力されているが、これ以外に、リアカメラ３は、撮像した後方画像を接近検出部１３に出力してもよい。また、リアカメラ３は、撮像した後方画像を記憶部６に出力して格納してもよい。
【００４３】
一例において、画像処理部１５は、記憶部６が記憶する後方画像の少なくとも一部を撮像画像における車体を表す領域にオーバーレイする。ここで、一例において、後方画像の少なくとも一部は、後方画像の右半分または左半分である。
【００４４】
図８は、画像生成装置１１の動作の一例を示すフローチャートである。ここで、ステップＳ２１、Ｓ２２、Ｓ２３、Ｓ２４、Ｓ２５、Ｓ２６、およびＳ２８は、それぞれ図４に示されるステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、およびＳ７と類似であるので、説明を省略する。
【００４５】
ステップＳ２５またはＳ２６に次いで、ステップＳ２７において、制御部１４は、接近検出部１３が取得した他車両の接近データに基づいて記憶部６から読み出した接近画像を撮像画像における自車両の車体を表す領域にオーバーレイする。
【００４６】
図９は、第２の実施の形態に係る画像生成装置１１が表示装置４に出力する表示画像の一例である。表示画像の車体を示す領域には、他車両の接近データとして、アイコンＩ１、Ｉ２がオーバーレイされている。
【００４７】
図１０は、画像生成装置１１が表示装置４に表示する表示画像の他の一例である。表示画像の車体を表す領域には、リアカメラ３が撮像した後方画像の右半分の画像Ｉ３がオーバーレイされている。
【００４８】
このように、画像生成装置１１は、接近検出部１３から入力した他車両の接近データに基づいて記憶部６から読み出した接近画像を撮像画像における自車両の車体を表す領域にオーバーレイする。
【００４９】
画像生成装置１と同様に、自車両が高速走行している場合であっても、画像生成装置１１が生成する表示画像の車体を表す領域は、解像度の低減処理または静止画像等のオーバーレイ処理のために表示内容の変化が少ない。そのため、単に第１の撮像画像にアイコンＩ１、Ｉ２や後方画像の少なくとも一部等の接近情報を埋め込んだ場合と比較して、乗員はアイコンＩ１、Ｉ２や後方画像の少なくとも一部を見やすい。
【００５０】
図１１は、コンピュータのハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。
【００５１】
図１１に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１０３、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１０４、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１０５を有する。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を有する。上述した各部は、バス２１０９により接続される。
【００５２】
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
【００５３】
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【００５４】
（その他の実施の形態）
第１の実施の形態および第２の実施の形態においては、画像処理部８および画像処理部１５は、第１の撮像画像における自車両の車体を表す領域の解像度を低減するまたは他の画像等を車体部分にオーバーレイしている。これに代えて、画像処理部８および画像処理部１５は、車体を表す領域の輝度を落としてもよい。
【００５５】
第１の実施の形態および第２の実施の形態においては、制御部５および制御部１４は、それぞれ撮像画像における自車両の車体を表す領域の動きと輝度差の両方に基づいて、撮像画像の加工の要否を決定する。これに代えて、制御部５および制御部１４は、動きおよび輝度差のいずれか一方に基づいて、撮像画像の加工の要否を決定しても良い。また、撮像画像における自車両の車体を表す領域の動きや輝度差以外の情報に基づいて、撮像画像の加工の要否を決定しても良い。例えば、映り込み解析部７は、自車両につけた照度センサの値による昼間の直射日光の有無、または、夜間の対向車または後続車の有無によって低減すべき映り込みの有無を判定しても良い。
【００５６】
第１の実施の形態および第２の実施の形態においては、動き検出部９は、第１の撮像画像における自車両の車体を表す領域における動きベクトル量を算出することにより、映り込みの動きを検出している。これに代えて、制御部５および制御部１４は、自車両の速度計等の速度情報を入力し、入力した速度情報に基づいて映り込みの動きを検出してもよい。このように動き検出部９、輝度差算出部１０は制御部５、１４に必須の構成ではない。
【００５７】
第１の実施の形態および第２の実施の形態においては、撮像画像における自車両の車体を表す領域への映り込みの有無を判定し、判定結果に基づいて撮像画像の加工の要否を決定している。しかしながら、映り込みの有無を判定することは必須ではない。例えば、撮像画像における自車両の車体を表す領域を判別し、車体を表す領域の解像度を下げる、または自車両の写真、画像、図形をオーバーレイする、または後方画像をオーバーレイする、または接近画像をオーバーレイする、等の加工をすれば良い。
【産業上の利用可能性】
【００５８】
本開示に係る画像生成装置は、車両の周囲を映すミラーに代えて車両に搭載され、電子ミラーシステムとして使用されるのに好適である。
【符号の説明】
【００５９】
１    画像生成装置
２    撮像装置
４    表示装置
５    制御部
６    記憶部
７    映り込み解析部
８    画像処理部
９    動き検出部
１０    輝度差算出部
１１    画像生成装置
１３    接近検出部
１４    制御部
１５    画像処理部
Ｉ１    アイコン
Ｉ２    アイコン
Ｉ３    後方画像の右半分の画像
１００Ａ，１００Ｂ    画像表示システム
２１００    コンピュータ
２１０１    入力装置
２１０２    出力装置
２１０３    ＣＰＵ
２１０４    ＲＯＭ
２１０５    ＲＡＭ
２１０６    記憶装置
２１０７    読取装置
２１０８    送受信装置
２１０９    バス
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置および表示装置に接続される画像生成装置であって、
前記撮像装置が出力する撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、前記外光の前記映り込み度合いに関する映り込みデータを生成する映り込み解析部と、
前記映り込みデータに基づいて、前記撮像画像における前記自車両の前記車体を表す前記領域を加工して、前記外光の前記映り込み度合いを低減した表示画像を生成し前記表示装置に出力する画像処理部と、を備えた、
画像生成装置。
【請求項２】
前記画像処理部は、前記撮像画像における前記自車両の前記車体を表す前記領域の解像度を下げる、
請求項１に記載の画像生成装置。
【請求項３】
画像を記憶する記憶部を更に備え、
前記画像処理部は、前記記憶部から読み出した前記画像を、前記撮像画像における前記自車両の前記車体を表す前記領域にオーバーレイする、
請求項１に記載の画像生成装置。
【請求項４】
前記自車両への後方車両の接近を検出し、前記後方車両の接近データを前記画像処理部に出力する接近検出部をさらに備え、
前記記憶部は、前記画像として、前記自車両に前記後方車両が接近していることを示す接近画像を記憶しており、
前記画像処理部は、前記接近データに基づいて、前記記憶部から読み出した前記接近画像を、前記撮像画像における前記自車両の前記車体を表す前記領域にオーバーレイする、
請求項３に記載の画像生成装置。
【請求項５】
前記自車両の後方を撮像し、後方画像を生成して出力するリアカメラとさらに接続し、
前記画像処理部は、前記リアカメラから入力された前記後方画像を、前記撮像画像における前記自車両の前記車体を表す前記領域にオーバーレイする、
請求項１に記載の画像生成装置。
【請求項６】
前記自車両への後方車両の接近を検出し、前記後方車両の接近データを前記画像処理部に出力する接近検出部を更に備え、
前記リアカメラは、前記後方車両を示す画像を撮像しており、
前記画像処理部は、前記接近データに基づいて、前記後方車両を示す前記画像を、前記撮像画像における前記自車両の前記車体を表す前記領域にオーバーレイする、
請求項５に記載の画像生成装置。
【請求項７】
前記撮像画像は、第１の時刻に撮影された第１画像であり、前記撮像装置は前記第１の時刻よりも前の第２の時刻に第２画像を出力しており、
前記画像生成装置は、前記第１画像と前記第２画像から、前記第１画像における、前記自車両の前記車体を表す前記領域に映り込む物体の動きベクトル量を算出する動き検出部をさらに備え、
前記映り込み解析部は、前記動きベクトル量に基づいて前記映り込みデータを生成する、
請求項１から６のいずれか一項に記載の画像生成装置。
【請求項８】
前記画像処理部は、前記撮像画像において、前記動き検出部によって算出された前記動きベクトル量が予め定められた第１の値以上の部分を加工する、
請求項７に記載の画像生成装置。
【請求項９】
前記撮像画像における前記自車両の前記車体を表す前記領域の輝度の最大値および最小値を取得し、前記最大値と前記最小値との差を輝度差として算出する輝度差算出部をさらに備え、
前記映り込み解析部は、前記輝度差に基づいて前記映り込みデータを生成する、
請求項１から５のいずれかに記載の画像生成装置。
【請求項１０】
前記画像処理部は、前記撮像画像において、前記輝度差算出部によって算出された前記輝度差が予め定められた第２の値以上の部分を加工する、
請求項９に記載の画像生成装置。
【請求項１１】
少なくとも自車両の車体の一部を示す撮像画像を受け付けるステップと、
前記撮像画像における前記自車両の車体を表す領域への外光の映り込み度合いを解析し、前記外光の前記映り込み度合いに関する映り込みデータを生成するステップと、
前記映り込みデータに基づいて、前記撮像画像における前記自車両の前記車体を表す前記領域を加工して、前記外光の前記映り込み度合いを低減した表示画像を生成するステップと、を有する、
画像生成方法。
【請求項１２】
撮像装置から出力された少なくとも自車両の車体の一部を示す撮像画像を表示装置に表示させる画像生成装置のコンピュータに実行させるプログラムを格納した一過性でない記録媒体であって、
前記プログラムは、
前記撮像画像を前記撮像装置から入力させ、
前記撮像画像における前記自車両の車体を表す領域への外光の映り込み度合いを解析させ、前記外光の前記映り込み度合いに関する映り込みデータを生成させ、
前記映り込みデータに基づいて、前記撮像画像における前記自車両の前記車体を表す前記領域を加工させ、前記映り込み度合いを低減した表示画像を生成させる、
記録媒体。
【請求項１３】
少なくとも自車両の車体の一部を示す撮像画像を出力する撮像装置と、
前記撮像装置に接続された、請求項１〜１０のいずれか一項に記載の画像生成装置と、
前記画像生成装置に接続された表示装置と、を備えた、
画像表示システム。
【国際調査報告】
2018042976.tif 000014
2018042976.tif 000015