(57)【要約】【課題】表示装置を視る乗員が自車両の領域とその他の領域との境界をより明確かつ容易に認識することができる車載映像表示装置を提供する。【解決手段】本開示の一態様に係る車載映像表示装置は、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部と、自車両領域または非自車両領域の色の特徴を抽出する色抽出部と、境界を含み色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部と、撮像画像に輪郭画像を重畳して重畳画像を生成する画像重畳部と、を備える。【選択図】図１
2018056755.tif 000002
【特許請求の範囲】
【請求項１】
自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部と、
前記自車両領域または前記非自車両領域の色の特徴を抽出する色抽出部と、
前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部と、
前記撮像画像に前記輪郭画像を重畳して重畳画像を生成する画像重畳部と、
を備える、車載映像表示装置。
【請求項２】
前記輪郭画像生成部は、前記自車両領域または前記非自車両領域のＲＧＢ成分値の平均値に基づいて前記表示色を決定する、請求項１に記載の車載映像表示装置。
【請求項３】
前記輪郭画像生成部は、前記輪郭画像に含まれる境界に対応する部分について、輪郭幅方向にグラデーションをかける、請求項１または２に記載の車載映像表示装置。
【請求項４】
前記輪郭画像生成部は、前記グラデーションにおいて、前記輪郭画像の前記自車両領域から非自車両領域に向かって輝度を高くする、請求項３に記載の車載映像表示装置。
【請求項５】
車内を撮像する車内撮像部が出力した運転手の画像を解析して運転手の視線方向を検出する視線検出部をさらに備え、
前記輪郭画像生成部は、前記視線方向に基づいて前記表示色を変更する、請求項１から４のいずれかに記載の車載映像表示装置。
【請求項６】
撮像画像の前記非自車両領域のうち道路に対応する第１の領域および前記非自車両領域における前記第１の領域以外の領域である第２の領域を検出する道路形状検出部をさらに備え、
前記境界特定部は、前記自車両領域と前記第１の領域との第１の境界および前記自車両領域と前記第２の領域との第２の境界を特定し、
前記色抽出部は、前記第１の領域についての第１の色の特徴と、前記第２の領域についての第２の色の特徴とを個別に抽出し、
前記輪郭画像生成部は、前記第１の境界の表示色を、前記第１の色の特徴に応じて決定し、前記第２の境界の表示色を、前記第２の色の特徴に応じて決定する、請求項１から５のいずれかに記載の車載映像表示装置。
【請求項７】
前記車外撮像部が出力した撮像画像からエッジ部分を検出し、前記エッジ部分に基づいて前記自車両の形状を抽出する自車両形状抽出部をさらに備え、
前記境界特定部は、前記自車両形状抽出部が抽出した前記形状に基づいて前記境界を特定する、請求項１から６のいずれかに記載の車載映像表示装置。
【請求項８】
前記輪郭画像生成部は、前記撮像画像の平均画像レベルに応じて前記輪郭画像の表示色の輝度を調整する、請求項１から７のいずれかに記載の車載映像表示装置。
【請求項９】
自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定するステップと、
前記自車両領域または前記非自車両領域の色の特徴を抽出するステップと、
前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成するステップと、
前記撮像画像に前記輪郭画像を重畳して重畳画像を生成するステップと、
を備える、車載映像表示方法。
【請求項１０】
車外撮像部からの撮像画像を表示部に表示させる車載映像表示装置のコンピュータを、
自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部、
前記自車両領域または前記非自車両領域の色の特徴を抽出する色抽出部、
前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部、および
前記撮像画像に前記輪郭画像を重畳して重畳画像を生成する画像重畳部、
として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車載映像表示装置、車載映像表示方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転を支援するための様々なシステムが開発されている。車載カメラを活用するシステムの１つとして、自動車などの車両に搭載される電子ミラーシステムがある。電子ミラーシステムは車載カメラと表示装置を備え、従来は光学ミラーが映していた車外の領域の状況を車載カメラが撮像し、車載カメラに接続された表示装置が画像として表示する。
【０００３】
電子ミラーシステムの中には、夜間など、車両の周囲が暗い状況において、バンパーの輪郭など、自車両の輪郭をはっきりとさせることによって、運転者の運転を支援することのできる運転支援システムが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開第２００６−１７３８３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両に搭載されるサイドミラーに代えて用いられる電子ミラーシステムの場合、周囲の状況によっては、表示装置を視る乗員が自車両と道路等の境界を認識するのが困難な状況がある。そのような状況において車載カメラが撮像した画像に自車両の領域とその他の領域との境界を表す輪郭画像を重畳しても、輪郭画像の表示色によっては、表示装置を視る乗員が境界を認識することが困難である状況が想定される。
【０００６】
本開示の目的は、表示装置を視る乗員が自車両の領域とその他の領域との境界をより明確かつ容易に認識することができる車載映像表示装置を提供することである。
【課題を解決するための手段】
【０００７】
本開示の一態様に係る車載映像表示装置は、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部と、前記自車両領域または前記非自車両領域の色の特徴を抽出する色抽出部と、前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部と、前記撮像画像に前記輪郭画像を重畳して重畳画像を生成する画像重畳部と、を備える構成を採る。
【０００８】
本開示の一態様に係る車載映像表示方法は、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定するステップと、前記自車両領域または前記非自車両領域の色の特徴を抽出するステップと、前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成するステップと、前記撮像画像に前記輪郭画像を重畳して重畳画像を生成するステップと、を備える構成を採る。
【０００９】
本開示の一態様に係るプログラムは、車外撮像部からの撮像画像を表示部に表示させる車載映像表示装置のコンピュータを、自車両の一部を撮像領域に含む車外撮像部から取得した撮像画像について、前記自車両の形状を示す情報から自車両領域および非自車両領域の境界を特定する境界特定部、前記自車両領域または前記非自車両領域の色の特徴を抽出する色抽出部、前記境界を含み前記色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部、および前記撮像画像に前記輪郭画像を重畳して重畳画像を生成する画像重畳部、として機能させる、構成を採る。
【発明の効果】
【００１０】
本開示によれば、表示装置を視る乗員が自車両の領域とその他の領域との境界をより明確かつ容易に視認することができる車載映像表示装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施の形態に係る車載映像表示装置の構成図である。
【図２】第１の実施の形態に係る車載映像表示装置の動作フローチャートの一例である。
【図３】自車両の一部を含む撮像画像の一例を示す図である。
【図４Ａ】自車両領域の色のＲＧＢ成分値の平均値ヒストグラムの一例である。
【図４Ｂ】輪郭画像の表示色のＲＧＢ成分値ヒストグラムの一例である。
【図５】輪郭画像の一例を示す図である。
【図６】重畳画像の一例を示す図である。
【図７】第２の実施の形態に係る重畳画像の一例を示す図である。
【図８】第３の実施の形態に係る車載映像表示装置の構成図である。
【図９】第３の実施の形態に係る重畳画像の一例を示す図である。
【図１０】第４の実施の形態に係る車載映像表示装置の構成図である。
【図１１】第５の実施の形態に係る車載映像表示装置の構成図である。
【図１２】第５の実施の形態に係る車載映像表示装置の自車両形状抽出部の動作フローチャートである。
【図１３】コンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。
【００１３】
（第１の実施の形態）
図１は、第１の実施の形態に係る車載映像表示装置１００の構成図である。車載映像表示装置１００は、車外撮像部１１０と、制御部１２０と、記憶部１２２と、境界特定部１２３と、表示部１３０とを備える。
【００１４】
車外撮像部１１０は、自車両の一部を含む画像を撮像し、撮像画像を出力する。一例において、車外撮像部１１０は自車両に対して固定されている。例えば、車外撮像部１１０は、自車両の右側面または左側面上に固定されたサイドカメラである。
【００１５】
制御部１２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、車載映像表示装置１００の各ブロックの動作を集中制御する。制御部１２０は、境界特定部１２３、色抽出部１２４、輪郭画像生成部１２５、および画像重畳部１２６として機能する。
【００１６】
記憶部１２２は、自車両のうち、車外撮像部１１０の撮像領域の中に含まれる部分の形状を示す情報を、例えば２次元画像情報として記憶する。一例において、記憶部１２２は、不揮発性メモリである。
【００１７】
境界特定部１２３は、自車両の形状を示す情報から車外撮像部１１０の撮像画像の中の自車両領域および非自車両領域の境界を特定する。ここで、自車両領域とは、撮像画像の中の自車両が映っている領域をいい、非自車両領域とは、撮像画像の中の自車両領域以外の領域をいう。一例において、境界特定部１２３は、自車両の形状を示す情報を記憶部１２２から読み出す。色抽出部１２４は、車外撮像部１１０の撮像画像の中の自車両領域または非自車両領域の色の特徴を抽出する。
【００１８】
輪郭画像生成部１２５は、境界特定部１２３が特定した自車両領域および非自車両領域の境界を含み、色抽出部１２４が抽出した色の特徴に基づき輪郭画像を生成する。ここで、輪郭画像生成部１２５は、輪郭画像の表示色を、色抽出部１２４が抽出した色の特徴に応じて決定する。一例において、色抽出部１２４が抽出した色の反転色が、輪郭画像の表示色として決定される。また、一例において、色抽出部１２４が抽出した色が無彩色である場合、赤色等の目立つ色が輪郭画像の表示色として決定される。輪郭画像の表示色を反転色や目立つ色にすることにより、重畳画像を視る乗員が、自車両の領域とその他の領域との境界を明確かつ容易に認識することができるようになり、自車両と他車両等との位置関係をより容易に把握することができる。
【００１９】
画像重畳部１２６は、車外撮像部１１０が出力した撮像画像に、輪郭画像生成部１２５が生成した輪郭画像を重畳して、重畳画像を生成する。
【００２０】
表示部１３０は、重畳画像を乗員に対して表示する。例えば、表示部１３０は、光学ミラーに代えて自車両に搭載される電子ミラーである。
【００２１】
以下、第１の実施の形態に係る車載映像表示装置１００の動作を、フローチャートに従って説明する。図２は、第１の実施の形態に係る車載映像表示装置１００の動作フローチャートの一例である。この処理は、例えば自車両のエンジンが起動されることに伴い、車載映像表示装置１００のCPUがROMに格納されているプログラムを読みだして実行することにより実現される。
【００２２】
まず、ステップＳ１０１において、制御部１２０は、自車両の一部を含む撮像画像を入力する。
【００２３】
図３は、自車両の一部を含む撮像画像の一例を示す図である。図３に示される撮像画像は、自車両の後方を撮像した撮像画像であり、自車両領域３００と非自車両領域２００とを含む。例えば、自車両領域３００は、ピラー部分３１０と、窓部分３２０と、窓枠部分３３０と、車体部分３４０とからなる。
【００２４】
次いで、ステップＳ１０２において、制御部１２０は、撮像画像の自車両領域の色を取得し、ステップＳ１０３において、撮像画像の自車両領域のＲＧＢ成分値の平均値Ｒａｖｅ１，Ｇａｖｅ１，Ｂａｖｅ１を、自車両領域の色の特徴として抽出する。
【００２５】
図４Ａは、自車両領域の色のＲＧＢ成分値の平均値ヒストグラムの一例である。色抽出部１２４は、撮像画像の中の自車両領域に属する画素の画素値を、例えばＲ成分、Ｇ成分、Ｂ成分毎に総和して、撮像画像の中の自車両領域に属する画素の画素数で割ることにより、自車両領域の色のＲＧＢ成分値の平均値ヒストグラムを取得することができる。図４Ａに示される例においては、自車両領域の色のＲＧＢ成分値の平均値は、それぞれＲａｖｅ１，Ｇａｖｅ１，Ｂａｖｅ１である。
【００２６】
次いで、ステップＳ１０４において、制御部１２０は、ＲＧＢ成分値の比率αおよびβを計算する。αを自車両領域の色のＲＧＢ成分値の平均値Ｒａｖｅ１，Ｇａｖｅ１，Ｂａｖｅ１のうち最大値に対する２番目に大きい値の比率とし、βをＲａｖｅ１，Ｇａｖｅ１，Ｂａｖｅ１のうち２番目に大きい値に対する最小値の比率とする。比率αおよびβは、平均値Ｒａｖｅ１，Ｇａｖｅ１，Ｂａｖｅ１を大きい順にＸ１，Ｘ２，Ｘ３として、次の（式１）を用いて計算することができる。
【００２７】
α＝Ｘ２／Ｘ１、β＝Ｘ３／Ｘ２…（式１）
【００２８】
（式１）から明らかであるように、比率αおよびβはそれぞれ０以上１以下の数となる。
【００２９】
次いで、ステップＳ１０５において、制御部１２０は、抽出した色が無彩色であるか否かを判定する。一例において、比率αおよびβが所定の比率より大きい場合、輪郭画像生成部１２５は、抽出した色が無彩色であると判定し、比率αおよびβのいずれかが所定の比率より小さい場合、制御部１２０は、自車両領域の色が無彩色でないと判定する。
【００３０】
無彩色であると判定した場合（ステップＳ１０５：ＹＥＳ）、ステップＳ１０６において、制御部１２０は、輪郭画像の表示色を所定の色とし（ステップＳ１０６）、ステップＳ１０８に進む。
【００３１】
一例において、ステップＳ１０６において、制御部１２０は、赤色等の目立つ所定の色を輪郭画像の表示色として決定する。ここで、所定の比率は、０より大きくかつ１より小さい任意の値であり、例えば０．９である。例えば、自車両の色が白色の場合、輪郭画像の表示色は赤色となる可能性が高い。
【００３２】
一方、無彩色でないと判定した場合（ステップＳ１０５：ＮＯ）、ステップＳ１０７において、制御部１２０は、反転色を輪郭画像の表示色として決定し、ステップＳ１０８に進む。一例において、ステップＳ１０７において、輪郭画像生成部１２５は、ＲＧＢ成分値の平均値Ｘ１，Ｘ２，Ｘ３に対応する輪郭画像の表示色のＲＧＢ成分値Ｙ１，Ｙ２，Ｙ３を、Ｙ１＝α×β×Ｃ，Ｙ２＝β×Ｃ，Ｙ３＝Ｃと計算する。ここで、Ｃは、予め定められた任意の値であり、例えば、ＲＧＢ成分値がとりうる値の最大値に等しく、ＲＧＢ成分値がそれぞれ８ビットで表される場合、Ｃ＝２５５である。これに代えて、例えばＣ＝２５０またはＣ＝２００でもよい。
【００３３】
図４Ａに示される例においては、Ｇａｖｅ１＝α×Ｒａｖｅ１であり、Ｂａｖｅ１＝β×Ｇａｖｅ１であり、α＜０．９およびβ＜０．９が成立する。この場合、自車両領域の色の反転色が輪郭画像の表示色として決定される。
【００３４】
図４Ｂは、輪郭画像の表示色のＲＧＢ成分値の一例である。図４Ａに示される自車両領域の色のＲＧＢ成分値の平均値Ｒａｖｅ１，Ｇａｖｅ１，Ｂａｖｅ１の間にＲａｖｅ１＞Ｇａｖｅ１＞Ｂａｖｅ１の関係が成立しているのに対し、図４Ｂに示される輪郭画像のＲＧＢ成分値Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔの間にＲｏｕｔ＜Ｇｏｕｔ＜Ｂｏｕｔの関係が成立しており、ＲＧＢ成分値の大きさの関係が逆転している。これは、自車両領域の色の反転色が輪郭画像の表示色として決定されたためである。
【００３５】
次いで、ステップＳ１０８において、制御部１２０は、輪郭画像を生成する。
【００３６】
図５は、輪郭画像の一例を示す図である。輪郭画像は、撮像領域に含まれる境界の少なくとも一部を含み、自車両領域と非自車両領域との境界を、乗員が明瞭に認識できる限りにおいて特にその画像に制限はない。例えば図５に示されるように、輪郭画像は、ピラー部分と非自車両領域との境界３１２と車体部分と非自車両領域との境界３４２を含む。また、例えば図５に示されるように、輪郭画像は、さらに窓枠部分３３２を境界と同様に強調表示する画像を含んでもよい。さらに、輪郭画像は、自車両領域をハッチングした画像または半透明色で塗りつぶした半透過型画像をさらに含んでもよい。
【００３７】
次いで、ステップＳ１０９において、制御部１２０は、撮像画像に輪郭画像を重畳する。
【００３８】
図６は、重畳画像の一例を示す図である。図６に示される重畳画像においては、車両の後方を撮像した撮像画像に、車体部分およびピラー部分と非自車両領域との境界３５０と、窓枠部分３３４とを含む輪郭画像が重畳されている。前述したように、色抽出部１２４が抽出した自車両領域または非自車両領域の色の特徴に応じて、輪郭画像の表示色が決定されている。
【００３９】
このように、第１の実施の形態に係る車載映像表示装置１００は、自車両の一部を撮像領域に含む車外撮像部１１０から取得した撮像画像について、自車両の形状を示す情報から特定される自車両領域および非自車両領域の境界を特定する境界特定部１２３と、自車両領域の色の特徴を抽出する色抽出部１２４と、境界を含み、色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部１２５と、撮像画像に輪郭画像を重畳して重畳画像を生成する画像重畳部１２６と、を備える構成を採る。
【００４０】
第１の実施の形態に係る車載映像表示装置１００によれば、乗員は、車両の後方を撮像した画像をそのまま視ることに代えて重畳画像を視ることにより、自車両領域および非自車両領域の境界を明確かつ容易に認識することができるようになり、自車両と他車両等との位置関係をより容易に把握することができる。
【００４１】
（第２の実施の形態）
図７は、第２の実施の形態に係る重畳画像の一例を示す図である。第１の実施の形態においては、色抽出部１２４は、自車両領域４００の色を抽出するのに対し、第２の実施の形態においては、色抽出部１２４は、非自車両領域５００の色を抽出する点において、第２の実施の形態は、第１の実施の形態と異なる。
【００４２】
このように、第２の実施の形態に係る車載映像表示装置１００は、自車両の一部を撮像領域に含む車外撮像部１１０から取得した撮像画像について、自車両の形状を示す情報から特定される自車両領域および非自車両領域の境界を特定する境界特定部１２３と、非自車両領域の色の特徴を抽出する色抽出部１２４と、境界を含み、色の特徴に応じた表示色を有する輪郭画像を生成する輪郭画像生成部１２５と、撮像画像に輪郭画像を重畳して重畳画像を生成する画像重畳部１２６と、を備える構成を採る。この場合、自車両領域４００と非自車両領域５００との境界５０２の表示色は、例えば、非自車両領域５００の色の反転色となる。
【００４３】
第２の実施の形態に係る車載映像表示装置１００によれば、自車両がトンネルに入る、他車両が接近する等の走行環境の変化が応じた場合であっても、乗員は、自車両領域および非自車両領域の境界を明確かつ容易に認識することができるようになる。
【００４４】
（第３の実施の形態）
図８は、第３の実施の形態に係る車載映像表示装置６００の構成図である。車載映像表示装置６００は、車外撮像部１１０と、記憶部１２２と、制御部６２０と、表示部１３０とを備える。このうち、車外撮像部１１０と、記憶部１２２と、表示部１３０とは、第１の実施の形態に係る車載映像表示装置１００が備えるものと同じであるので、ここでは説明を省略する。
【００４５】
制御部６２０は、道路形状検出部６２２と、境界特定部６２３と、色抽出部６２４と、輪郭画像生成部６２５と、画像重畳部６２６として機能する。
【００４６】
道路形状検出部６２２は、撮像画像の非自車両領域のうち道路に対応する第１の領域と非自車両領域のうち第１の領域を除いた領域である第２の領域とを検出する。道路に対応する領域の検出は、例えば撮像画像から段差や白線を検出し、検出された段差や白線に基づいて道路に対応する領域を検出する等、公知の画像処理手段により行うことができる。
【００４７】
境界特定部６２３は、撮像画像の中の自車両領域と道路形状検出部６２２が検出した第１の領域との第１の境界を特定し、さらに、撮像画像の中の自車両領域と道路形状検出部６２２が検出した第２の領域との第２の境界を特定する。
【００４８】
色抽出部６２４は、道路形状検出部６２２が検出した第１の領域についての第１の色の特徴と、道路形状検出部６２２が検出した第２の領域についての第２の色の特徴とを個別に抽出する。個別に抽出された第１の色の特徴および第２の色の特徴は、一般的に異なる。
【００４９】
輪郭画像生成部６２５は、境界特定部６２３が特定した第１の境界の表示色を、色抽出部６２４が抽出した第１の色の特徴に応じて決定し、境界特定部６２３が特定した第２の境界の表示色を、色抽出部６２４が抽出した第２の色の特徴に応じて決定する。輪郭画像生成部６２５は、決定された表示色に基づき輪郭画像を生成する。
【００５０】
画像重畳部６２６は、車外撮像部１１０が出力した撮像画像に、輪郭画像生成部６２５が生成した輪郭画像を重畳して、重畳画像を生成する。
【００５１】
図９は、第３の実施の形態に係る重畳画像の一例を示す図である。道路形状検出部６２２は、撮像画像の中の非自車両領域５００のうち道路に対応する第１の領域５１０と、非自車両領域５００のうち第１の領域５１０を除いた領域である第２の領域５２０とを検出する。
【００５２】
境界特定部６２３は、自車両領域４００と第１の領域５１０との第１の境界５１２および自車両領域５００と第２の領域５２０との第２の境界５２２を特定する。色抽出部６２４は、第１の領域５１０についての第１の色の特徴と、第２の領域５２０についての第２の色の特徴とを個別に抽出する。次いで、輪郭画像生成部６２５は、第１の境界５１２および第２の境界５２２を含み、第１の色の特徴および第２の色の特徴に応じた表示色を有する輪郭画像を生成する。
【００５３】
ここで、第１の境界５１２の表示色は、第１の領域５１０について個別に抽出された第１の色の特徴に応じて決定され、第２の境界５２２の表示色は、第２の領域５２０について個別に抽出された第２の色の特徴に応じて決定される。その結果、図９に示されるように、第１の領域５１０および第２の領域５２０のそれぞれと自車両領域４００との境界が異なる表示色で表示される。
【００５４】
このように、第３の実施の形態に係る車載映像表示装置６００は、撮像画像の非自車両領域５００のうち道路に対応する第１の領域５１０および非自車両領域５００における第１の領域５００以外の領域である第２の領域５２０を検出する道路形状検出部６２２をさらに備え、境界特定部６２３は、自車両領域４００と第１の領域５１０との第１の境界５１２および自車両領域４００と第２の領域５２０との第２の境界５２２を特定し、色抽出部６２４は、第１の領域５１０についての第１の色の特徴と第２の領域５２０についての第２の色の特徴とを個別に抽出し、輪郭画像生成部６２５は、第１の境界５１２の表示色を、第１の色の特徴に応じて決定し、第２の境界６２２の表示色を、第２の色の特徴に応じて決定する。
【００５５】
第３の実施の形態に係る車載映像表示装置６００によれば、第１の領域５１０と第２の領域５２０とが互いに反転色に近い関係にある場合であっても、乗員は、自車両領域および非自車両領域の境界を明確かつ容易に認識することができるようになる。
【００５６】
（第４の実施の形態）
図１０は、第４の実施の形態に係る車載映像表示装置７００の構成図である。車載映像表示装置７００は、車外撮像部１１０と、記憶部１２２と、車内撮像部１４０と、制御部７２０と、表示部１３０とを備える。このうち、車外撮像部１１０、記憶部１２２、および表示部１３０とは、第１の実施の形態に係る車載映像表示装置１００が備えるものと同じであるので、ここでは説明を省略する。
【００５７】
車内撮像部１４０は、車内に設けられ、運転手を撮像する。車内撮像部１４０は、例えば、運転手の状態を監視する監視カメラである。
【００５８】
制御部７２０は、視線検出部７２２と、境界特定部７２３と、色抽出部７２４と、輪郭画像生成部７２５と、画像重畳部７２６とを備える。
【００５９】
視線検出部７２２は、車内撮像部１４０が撮像した運転手の画像を解析して、運転手の視線方向を検出する。人物の画像を解析して、当該人物の視線方向を検出する手段については公知のものを用いてよく、ここでは説明を省略する。
【００６０】
境界特定部７２３は、自車両の形状を示す情報から撮像画像の中の自車両領域および非自車両領域の境界を特定する。色抽出部７２４は、撮像画像の中の自車両領域または非自車両領域の色の特徴を抽出する。
【００６１】
輪郭画像生成部７２５は、自車両の形状および色抽出部７２４が抽出した色の特徴に基づき輪郭画像を生成する。ここで、輪郭画像の表示色は、色抽出部７２４が抽出した色の特徴に応じて決定される。
【００６２】
さらに、輪郭画像生成部７２５は、視線検出部７２２が検出した視線方向に基づき、輪郭画像の表示色を変更する。例えば、運転手の視線方向が表示部１３０の方向を向いていることが検出された場合、輪郭画像生成部７２５は、輪郭画像の表示色をより明るい色に変更し、そうでない場合、輪郭画像の表示色をより暗い色に変更する。画像重畳部７２６は、車外撮像部１１０が出力した撮像画像に、輪郭画像生成部７２５が生成した輪郭画像を重畳して、重畳画像を生成する。
【００６３】
このように、第４の実施の形態に係る車載映像表示装置７００は、車内を撮像する車内撮像部１４０が出力した運転手の画像を解析して運転手の視線方向を検出する視線検出部７２２をさらに備え、輪郭画像生成部７２５は、視線方向に基づいて表示色を変更する。
【００６４】
第４の実施の形態に係る車載映像表示装置７００によれば、表示部１３０の消費電力を低減させながらも、表示部１３０を視る乗員が、自車両領域および非自車両領域を明確かつ容易に認識することができるようになる。また、運転手の視線方向が表示部１３０の方向を向いていない場合に輪郭画像の表示色を暗い色にすることにより、運転手にとっての煩わしさを少なくする効果がある。運転手が運転中にサイドミラーを注視していなくても、サイドミラーは運転手の視界の中にある。よって、輪郭画像が常に明るいと、運転手の視界に入り、サイドミラーを注視する必要がない場面でも、運転手の注意がサイドミラーに向いてしまう。そこで、運転手の視線方向が表示部１３０の方向を向いていない場合に、輪郭画像の表示色を暗い色にする構成により、運転手がサイドミラーを注視する必要のない場面でサイドミラーを注視してしまうのを防ぐことができる。
【００６５】
（第５の実施の形態）
図１１は、第５の実施の形態に係る車載映像表示装置８００の構成図である。車載映像表示装置８００は、車外撮像部１１０と、記憶部１２２と、制御部８２０と、表示部１３０とを備える。このうち、車外撮像部１１０と、記憶部１２２と、表示部１３０とは、第１の実施の形態に係る車載映像表示装置１００が備えるものと同じであるので、ここでは説明を省略する。
【００６６】
制御部８２０は、自車両形状抽出部８２２、境界特定部８２３、色抽出部８２４、輪郭画像生成部８２５、および画像重畳部８２６として機能する。
【００６７】
自車両形状抽出部８２２は、車外撮像部１１０が出力した撮像画像からエッジ部分を検出し、検出されたエッジ部分に基づき、自車両のうち、撮像領域の中に含まれる部分の形状を抽出する。撮像領域の中に含まれる部分は、例えば、ピラー部分、窓部分、窓枠部分、車体部分である。エッジ部分の検出は、Ｐｒｅｗｉｔｔ演算子やＳｏｂｅｌ演算子を用いる画像処理等の公知の方法に用いて行うことができるので、ここでは説明を省略する。一例において、自車両形状抽出部８２２が抽出した形状を示す情報を、記憶部１２２が記憶する。
【００６８】
境界特定部８２３は、自車両形状抽出部８２２が抽出した形状から、撮像画像の中の自車両領域および非自車両領域の境界を特定する。一例において、境界特定部８２３は、形状を示す情報を、記憶部１２２から読み出す。色抽出部８２４は、撮像画像の中の自車両領域または非自車両領域の色の特徴を抽出する。
【００６９】
輪郭画像生成部８２５は、自車両形状抽出部８２２が抽出した形状および色抽出部８２４が抽出した色の特徴に基づき輪郭画像を生成する。ここで、輪郭画像の表示色は、色抽出部８２４が抽出した色の特徴に応じて決定される。
【００７０】
画像重畳部８２６は、車外撮像部１１０が出力した撮像画像に、輪郭画像生成部８２５が生成した輪郭画像を重畳して、重畳画像を生成する。
【００７１】
このように、第５の実施の形態に係る車載映像表示装置８００は、車外撮像部１１０が出力した撮像画像からエッジ部分を検出し、エッジ部分に基づいて自車両の形状を抽出する自車両形状抽出部８２２をさらに備え、境界特定部８２３は、自車両形状抽出部８２２が抽出した形状に基づいて、境界を特定する。
【００７２】
第５の実施の形態に係る車載映像表示装置８００によれば、車載映像表示装置８００が自車両に後付けされた場合であっても、車載映像表示装置８００は、自車両領域と非自車両領域との境界を表示部１３０に表示することができる。したがって、車載映像表示装置８００を自車両の純正品として自車両に搭載された状態で販売するのみならず、それ自体を単独で市販することもできる。
【００７３】
図１２は、第５の実施の形態に係る車載映像表示装置８００の自車両形状抽出部８２２の動作フローチャートである。
【００７４】
まず、ステップＳ２０１において、制御部８２０は、車外撮像部１１０が出力した撮像画像からエッジ部分を検出する。次いで、ステップＳ２０２において、制御部８２０は、自車両の形状を抽出可能である否かを判定する。抽出可能である場合（ステップＳ２０２：ＹＥＳ）、ステップＳ２０３において、制御部８２０は、抽出した自車両の輪郭形状を記憶部１２２に格納し、フローを終了する。抽出可能でない場合（ステップＳ２０２：ＮＯ）、ステップＳ２０１に戻る。
【００７５】
自車両形状抽出部８２２が自車両の形状を抽出する周期については、例えば、エンジンを起動する毎、所定の期間（１ヶ月、３ヶ月）毎等に行うことにより、経年変化による車外撮像部１１０の位置ずれに対処することができる。
【００７６】
図１３は、コンピュータ２１００のハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。
【００７７】
図１３に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。
【００７８】
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
【００７９】
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【００８０】
（その他の実施の形態）
一例において、輪郭画像生成部１２５は、車外撮像部１１０が出力した撮像画像に応じて、生成した輪郭画像の表示色の輝度を調整する。例えば、車外撮像部１１０が出力した撮像画像の平均画像レベル（ＡＰＬ）が増加した場合、輪郭画像生成部１２５は、生成した輪郭画像の表示色の輝度を上げる。こうすると、例えば後方車両からのハイビームを受けた場合であっても、表示部１３０を視る乗員は、自車両領域および非自車両領域の境界を明確かつ容易に認識することができるようになる。
【００８１】
一例において、輪郭画像生成部１２５は、輪郭画像に含まれる境界に対応する部分について、境界の輪郭幅方向にグラデーションをかける。この場合、グラデーションは、重畳画像内の自車両領域から非自車両領域に向かって輝度が高くなってもよい。こうすると、表示部１３０を視る乗員は、表示部１３０に自車両の形状を表すラインが単色で表示されている場合と比較して、自車両領域および非自車両領域の境界をより明確かつ容易に認識することができるようになる。
【００８２】
第５の実施の形態において、記憶部１２２は、自車両形状抽出部８２２が抽出した形状を示す情報を記憶し、境界特定部８２３は、記憶部１２２に記憶された形状を示す情報を読み出す。これに代えて、境界特定部８２３は、自車両形状抽出部８２２が抽出した形状を直接取得してもよい。
【産業上の利用可能性】
【００８３】
本開示に係る車載映像表示装置は、サイドミラーに代えて車両に搭載され、サイドミラーとして使用されるのに好適である。
【符号の説明】
【００８４】
１００  車載映像表示装置
１１０  車外撮像部
１２０  制御部
１２２  記憶部
１２３  境界特定部
１２４  色抽出部
１２５  輪郭画像生成部
１２６  画像重畳部
１３０  表示部
１４０  車内撮像部
２００  非自車両領域
３００  自車両領域
３１０  ピラー部分
３１２  境界
３２０  窓部分
３３０，３３２，３３４  窓枠部分
３４０  車体部分
３４２  境界
３５０  境界
４００  自車両領域
５００  非自車両領域
５０２  境界
５１０  第１の領域
５１２  第１の境界
５２０  第２の領域
５２２  第２の境界
【図１】
2018056755.tif 000003
【図２】
2018056755.tif 000004
【図３】
2018056755.tif 000005
【図４Ａ】
2018056755.tif 000006
【図４Ｂ】
2018056755.tif 000007
【図５】
2018056755.tif 000008
【図６】
2018056755.tif 000009
【図７】
2018056755.tif 000010
【図８】
2018056755.tif 000011
【図９】
2018056755.tif 000012
【図１０】
2018056755.tif 000013
【図１１】
2018056755.tif 000014
【図１２】
2018056755.tif 000015
【図１３】
2018056755.tif 000016