(57)【要約】【課題】  電子ミラーを介して視認される画像における違和感を低減させる。【解決手段】  車両に搭載される撮像装置に接続される表示制御装置であって、前記撮像装置が前記車両の後方を撮影することで得た画像データを取得する取得部と、前記画像データの可能の画素領域のうち、前記車両の走行方向に沿う直線状の被写体を示す画像要素が含まれない画素領域を、圧縮領域として特定する特定部と、前記画像データにおいて、特定された前記圧縮領域を圧縮することで、所定の表示サイズの表示画像データを生成する生成部と、生成された前記表示画像データが、前記車両の後写鏡として配置された電子ミラーを介して視認されるよう制御する制御部とを有する。【選択図】図７
2019006282.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される撮像装置に接続される表示制御装置であって、
前記撮像装置が前記車両の後方を撮影することで得た画像データを取得する取得部と、
前記画像データの下方の画素領域のうち、前記車両の走行方向に沿う直線状の被写体を示す画像要素が含まれない画素領域を、圧縮領域として特定する特定部と、
前記画像データにおいて、特定された前記圧縮領域を圧縮することで、所定の表示サイズの表示画像データを生成する生成部と、
生成された前記表示画像データが、前記車両の後写鏡として配置された電子ミラーを介して視認されるよう制御する制御部と
を有することを特徴とする表示制御装置。
【請求項２】
前記生成部は、前記画像データと前記表示画像データとのサイズの違いに基づいて予め定められた領域を、前記画像データから削除し、削除した後の該画像データの一部に、前記圧縮領域を圧縮した圧縮画素領域を組み込むことで、前記表示画像データを生成することを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記特定部は、前記撮像装置の取り付け位置に基づいて予め決定された位置座標を用いて、前記圧縮領域を特定することを特徴とする請求項１または２に記載の表示制御装置。
【請求項４】
前記特定部は、前記車両の幅方向の中心位置周辺に対応する画素領域を、前記圧縮領域として特定することを特徴とする請求項３に記載の表示制御装置。
【請求項５】
前記特定部は、前記画像データから画像要素を検出し、検出した前記画像要素が含まれない前記画素領域の位置座標を決定することで、前記圧縮領域を特定することを特徴とする請求項１または２に記載の表示制御装置。
【請求項６】
前記車両の走行方向に沿う直線状の被写体は車線境界線であり、
前記特定部は、複数の前記車線境界線を示す画像要素によって挟まれる画素領域を、前記圧縮領域として特定することを特徴とする請求項５に記載の表示制御装置。
【請求項７】
前記画像データの下方の画素領域の上限位置は、後方車両を示す画像要素または路面標示物を示す画像要素の下端位置であることを特徴とする請求項１乃至６のいずれか１項に記載の表示制御装置。
【請求項８】
車両に搭載される撮像装置に接続される表示制御装置の表示制御方法であって、
前記撮像装置が前記車両の後方を撮影することで得た画像データを取得する取得工程と、
前記画像データの下方の画素領域のうち、前記車両の走行方向に沿う直線状の被写体を示す画像要素が含まれない画素領域を、圧縮領域として特定する特定工程と、
前記画像データにおいて、特定された前記圧縮領域を圧縮することで、所定の表示サイズの表示画像データを生成する生成工程と、
生成された前記表示画像データが、前記車両の後写鏡として配置された電子ミラーを介して視認されるよう制御する制御工程と
を有することを特徴とする表示制御方法。
【請求項９】
車両の後方を撮影する撮像装置と、
前記撮像装置で撮影された画像データを処理する表示制御装置と、
前記表示制御装置に接続される出力装置と、を有するカメラモニタリングシステムであって、
前記表示制御装置は、
前記撮像装置で撮影された画像データを取得する取得部と、
前記画像データの下方の画素領域のうち、前記車両の走行方向に沿う直線状の被写体を示す画像要素が含まれない画素領域を、圧縮領域として特定する特定部と、
前記画像データにおいて、特定された前記圧縮領域を圧縮することで、所定の表示サイズの表示画像データを生成する生成部と、
生成された前記表示画像データが、前記車両の後写鏡として配置された電子ミラーを介して視認されるよう制御する制御部と
を有することを特徴とするカメラモニタリングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御方法及びカメラモニタリングシステムに関する。
【背景技術】
【０００２】
従来より、車両にカメラモニタリングシステムを搭載し、車両後方の撮影画像を車内の表示装置等に表示することで、表示装置等を電子ミラーとして機能させる表示制御技術が知られている。
【０００３】
一般に、電子ミラーとして機能させる表示装置等の場合、表示サイズは、撮影画像の画像サイズよりも小さい。このため、カメラモニタリングシステムでは、例えば、撮影画像の一部の画素領域を削除したり、撮影画像の下方の画素領域を圧縮するなど、撮影画像を表示サイズに適したサイズに変換する処理を行っている。
【０００４】
ここで、撮影画像の下方の画素領域は、車両後方の空間において自車両に比較的近い位置に相当する領域である。このため、下方の画素領域を圧縮する構成とした場合、運転者がより確認したい領域を、変換後の画像に多く含めることができ、運転者の死角領域を低減させることが可能になるといった効果が生じる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−８５１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方で、下方の画素領域を圧縮する構成とした場合、例えば、後方車両が存在していないシーンや、後方車両が自車両から離れた位置に存在しているシーンなどにおいて、運転者に違和感を与えることがある。撮影画像において、圧縮される画素領域と、圧縮されない画素領域との境目が不連続となることで、例えば、車線境界線等のように車両の走行方向に沿う直線状の被写体が、当該境目において折れ曲がって視認されることになるからである。
【０００７】
本発明は上記課題に鑑みてなされたものであり、電子ミラーを介して視認される画像における違和感を低減させることを目的とする。
【課題を解決するための手段】
【０００８】
一態様によれば、表示制御装置は以下のような構成を有する。すなわち、
車両に搭載される撮像装置に接続される表示制御装置であって、
前記撮像装置が前記車両の後方を撮影することで得た画像データを取得する取得部と、
前記画像データの下方の画素領域のうち、前記車両の走行方向に沿う直線状の被写体を示す画像要素が含まれない画素領域を、圧縮領域として特定する特定部と、
前記画像データにおいて、特定された前記圧縮領域を圧縮することで、所定の表示サイズの表示画像データを生成する生成部と、
生成された前記表示画像データが、前記車両の後写鏡として配置された電子ミラーを介して視認されるよう制御する制御部とを有する。
【発明の効果】
【０００９】
電子ミラーを介して視認される画像における違和感を低減させることができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。
【図２】表示装置の配置例を示す図である。
【図３】画像データの画像サイズと表示装置の表示サイズとの関係を示す図である。
【図４】画像データの下方の画素領域を圧縮領域として圧縮し、画像データを表示サイズに適したサイズに変更した様子を示す図である。
【図５】第１の実施形態における、表示画像データの生成方法の概要を示す図である。
【図６】表示制御装置のハードウェア構成の一例を示す図である。
【図７】第１の実施形態における表示制御装置の機能構成の一例を示す図である。
【図８】表示制御処理の流れを示すフローチャートである。
【図９】第１の実施形態における表示制御装置により生成された表示画像データの具体例を示す第１の図である。
【図１０】第１の実施形態における表示制御装置により生成された表示画像データの具体例を示す第２の図である。
【図１１】第２の実施形態における表示制御装置の機能構成の一例を示す図である。
【図１２】車線境界線検出処理及び圧縮領域抽出処理の具体例を示す第１の図である。
【図１３】車線境界線検出処理及び圧縮領域抽出処理の具体例を示す第２の図である。
【図１４】第３の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１２】
［第１の実施形態］
＜カメラモニタリングシステムのシステム構成＞
はじめに、車両に搭載されるカメラモニタリングシステムのシステム構成について説明する。図１は、第１の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。図１に示すように、カメラモニタリングシステム１００は、撮像装置１１０と、表示制御装置１２０と、表示装置１３０とを有する。なお、本実施形態において、カメラモニタリングシステム１００は、車両のイグニッションスイッチがＯＮ状態になることで起動し、ＯＦＦ状態になることで停止するものとする。ただし、カメラモニタリングシステム１００は、車両の運転者の指示に基づいて起動、停止するように構成してもよい。
【００１３】
撮像装置１１０は車両後方を撮影する。撮像装置１１０は、撮影により得られた撮影画像を左右反転することで得られる画像データを、表示制御装置１２０に送信する。表示制御装置１２０は、撮像装置１１０より送信された画像データの下方の画素領域のうち、画像データを表示装置１３０の表示サイズに適した画像サイズに変換する（圧縮する）圧縮領域を、画像データ内において特定する。なお、圧縮領域は、生成された表示画像データが表示装置１３０に表示された際に、運転者に違和感を与えることがないように特定されるものとする（詳細は後述）。表示制御装置１２０は、特定した圧縮領域を画像データより抽出し、抽出した圧縮領域を圧縮することで、表示画像データの一部を形成する圧縮画素領域を生成する。
【００１４】
また、表示制御装置１２０は、撮像装置１１０より送信された画像データの下方の画素領域のうち、画像データを表示装置１３０の表示サイズに適した画像サイズに変換する（削除する）削除領域を特定する。また、表示制御装置１２０は、特定した削除領域を削除する。更に、表示制御装置１２０は、削除後の画像データに、圧縮画素領域を組み込むことで、表示画像データを生成する。更に、表示制御装置１２０は、生成した表示画像データを表示装置１３０に送信する。
【００１５】
表示装置１３０は出力装置の一例であり、本実施形態においては液晶表示装置により構成される。表示装置１３０は、表示制御装置１２０より送信された表示画像データを表示する。
【００１６】
＜表示装置の配置例＞
次に、表示装置１３０の配置例について説明する。図２は、表示装置の配置例を示す図である。図２に示すように、表示装置１３０は、例えば、車両の室内後写鏡の位置（フロントウィンドウの手前側の中央位置）に配置され、室内後写鏡を代替する電子ミラーとして機能する。
【００１７】
＜画像データの画像サイズと表示装置の表示サイズとの関係＞
次に、撮像装置１１０より送信される画像データの画像サイズと、表示装置１３０の表示サイズとの関係について説明する。図３は、画像データの画像サイズと表示装置の表示サイズとの関係を示す図である。
【００１８】
このうち、図３（ａ）は画像データ３００の画像サイズを示している。なお、図３（ａ）において画像データ３００に重畳して記載した横線は、表示装置１３０の表示サイズの下限位置３０１を示している。
【００１９】
ここで、画像データ３００のうち、表示サイズの下限位置３０１の下側の画素領域を削除することで、画像データ３００の画像サイズを表示サイズに適したサイズに変換する処理を行ったとする。この場合、削除後の画像データは図３（ｂ）に示す通りとなる。図３（ｂ）に示すように、表示装置１３０の表示サイズに合わせて下限位置３０１の下側の画素領域を削除した画像データ３１０の場合、車両後方の空間において自車両に比較的近い位置に相当する領域を表示装置１３０に表示することができない。
【００２０】
そこで、従来のカメラモニタリングシステムでは、画像データ３００のうち予め定められた下方の画素領域を圧縮領域として圧縮することで、画像データを表示サイズに適したサイズに変換する処理を行っていた。
【００２１】
図４は、画像データの下方の画素領域を圧縮領域として圧縮し、画像データを表示サイズに適したサイズに変換した様子を示した図である。図４（ａ）において、第１基準位置４０１は、画像データ４００において、圧縮が行われる下方の画素領域（圧縮領域）の上限位置を示している。また、第２基準位置４０２は、画像データ４００において、圧縮が行われる下方の画素領域（圧縮領域）の下限位置を示している。
【００２２】
なお、図４（ａ）のように、後方車両が自車両から離れた位置に存在しているシーンの場合、画像データ４００には、車両の走行方向に沿う（略平行な）直線状の被写体を示す画像要素が数多く含まれることになる。例えば、画像データ４００には、車線境界線を示す画像要素４１１、４１２や、車道と歩道との段差面を示す画像要素４１３、４１４等が含まれることになる。
【００２３】
図４（ｂ）は、画像データ４００のうち、第１基準位置４０１と第２基準位置４０２とにより規定される下方の画素領域を圧縮領域として圧縮することで生成した表示画像データの一例を示している。図４（ｂ）に示すように、生成した表示画像データ４２０は、圧縮領域と非圧縮領域との境目が不連続となることで、車線境界線を示す画像要素４１１、４１２が当該境目において折れ曲がることになる。同様に、車両と歩道との段差面を示す画像要素４１３、４１４が当該境目で折れ曲がることになる。このため、生成した表示画像データ４２０が表示装置１３０を介して視認された場合、車両の運転者に違和感を与えることになる。
【００２４】
そこで、表示制御装置１２０では、車両後方に位置する車線境界線を示す画像要素４１１、４１２や、車両と歩道との段差面を示す画像要素４１３、４１４が当該境目において折れ曲がることがないように、圧縮領域を特定する。具体的には、画像データ４００の下方の画素領域のうちの一部の画素領域のみを圧縮領域として特定し、圧縮を行う。これにより、表示制御装置１２０によれば、生成する表示画像データが表示装置１３０を介して視認された場合、車両の運転者に与える違和感を低減させることができる。以下、表示制御装置１２０の詳細について説明する。
【００２５】
＜表示画像データの生成方法の概要＞
はじめに、第１の実施形態における、表示画像データの生成方法の概要について説明する。図５は、第１の実施形態における、表示画像データの生成方法の概要を示す図である。
【００２６】
図５（ａ）において、画像データ４００内の画素領域５１０は、圧縮領域を示している。画素領域５１０は、第１基準位置４０１と第２基準位置４０２とにより規定される下方の画素領域（従来の圧縮領域に相当する領域）のうちの一部の領域である。具体的には、車両後方に位置する車線境界線を示す画像要素４１１、４１２が含まれないように特定された画素領域である。
【００２７】
図５（ａ）に示すように、画素領域５１０は、画像データ４００内の４つの頂点の位置座標（ｘ１，ｙ１）〜（ｘ４，ｙ４）により特定される。画像データ４００内の４つの頂点の位置座標（ｘ１，ｙ１）〜（ｘ４，ｙ４）は、撮像装置１１０の取り付け位置に応じて予め決定されている。具体的には、４つの頂点の位置座標（ｘ１，ｙ１）〜（ｘ４，ｙ４）は、自車両の後方に位置する車線境界線を示す画像要素４１１、４１２が含まれない位置（車両の幅方向における中心位置周辺に相当する位置）に決定されている。
【００２８】
また、図５（ａ）において、削除領域５２１、５２２は、表示画像データを生成する際に削除される画像データ４００内の領域を示している。画像データ４００において、削除領域５２１、５２２は、画像データ４００と表示画像データとのサイズの違いに基づいて予め定められた領域であり、下限位置３０１よりも下側に位置する領域のうち、画素領域５１０を除く領域である。
【００２９】
図５（ｂ）は、画像データ４００において、画素領域５１０を圧縮し、削除領域５２１、５２２を削除した様子を示している。図５（ｂ）に示すように、画素領域５１０が圧縮されることで圧縮画素領域５３０が生成され、かつ、削除領域５２１、５２２が削除されることで、画像データ４００の画像サイズを、表示サイズに適したサイズに変換することができる。
【００３０】
また、図５（ｂ）に示すように、画像データ４００において、車線境界線を示す画像要素４１１、４１２は圧縮されないため、車線境界線を示す画像要素４１１、４１２が折れ曲がることもない。このため、電子ミラーを介して視認される表示画像データが、運転者に違和感を与えることを回避することができる。
【００３１】
更に、図５（ｂ）に示すように、車両後方の空間において自車両に比較的近い位置に相当する領域は圧縮されているため（圧縮画素領域５３０参照）、車両の運転者がより確認したい領域を、変換後の画像に多く含めることができる。
【００３２】
＜表示制御装置のハードウェア構成＞
次に、表示制御装置１２０のハードウェア構成について説明する。図６は、表示制御装置のハードウェア構成の一例を示す図である。図６に示すように、表示制御装置１２０は、ＣＰＵ（Central Processing Unit）６０１、ＲＯＭ（Read Only Memory）６０２、ＲＡＭ（Random Access Memory）６０３を有する。また、表示制御装置１２０は、ＧＰＵ（Graphic Processing Unit）６０４、Ｉ／Ｆ（Interface）装置６０５を有する。なお、表示制御装置１２０の各部は、バス６０６を介して相互に接続されている。
【００３３】
ＣＰＵ６０１は、ＲＯＭ６０２にインストールされている各種プログラム（例えば、表示制御プログラム等）を実行するデバイスである。ＲＯＭ６０２は、不揮発性メモリであり、ＣＰＵ６０１によって実行される各種プログラムを格納する、主記憶デバイスとして機能する。ＲＡＭ６０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ６０３は、ＲＯＭ６０２にインストールされている各種プログラムがＣＰＵ６０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【００３４】
ＧＰＵ６０４は、画像処理を行う専用の集積回路であり、本実施形態では、表示制御プログラムを実行するＣＰＵ６０１からの指示に基づき、表示装置１３０に表示される表示画像データの生成等を行う。Ｉ／Ｆ装置６０５は、撮像装置１１０及び表示装置１３０と、表示制御装置１２０とを接続するための接続デバイスである。
【００３５】
＜表示制御装置の機能構成＞
次に、表示制御装置１２０の機能構成について説明する。図７は、第１の実施形態における表示制御装置の機能構成の一例を示す図である。上述したとおり、表示制御装置１２０には、表示制御プログラムがインストールされており、カメラモニタリングシステム１００が起動することで、表示制御装置１２０は、当該表示制御プログラムを実行する。これにより、表示制御装置１２０は、画像データ取得部７１０、圧縮領域抽出部７２０、圧縮部７３０、生成部７４０、制御部７５０として機能する。
【００３６】
画像データ取得部７１０は取得部の一例であり、撮像装置１１０より送信された画像データを取得する。画像データ取得部７１０は、取得した画像データをフレーム単位で圧縮領域抽出部７２０及び生成部７４０に送信する。
【００３７】
圧縮領域抽出部７２０は特定部の一例であり、撮像装置１１０の取り付け位置に応じて予め定められた画像データ４００内の位置座標（（ｘ１，ｙ１）〜（ｘ４，ｙ４））を用いて、画像データ４００内の画素領域５１０を特定する。また、圧縮領域抽出部７２０は、特定した画素領域５１０を圧縮領域として抽出し、圧縮部７３０に送信する。
【００３８】
圧縮部７３０は、圧縮領域抽出部７２０より送信された圧縮領域を圧縮し、圧縮画素領域５３０を生成する。圧縮部７３０は、圧縮領域の下限位置が、画像データ４００の下限位置３０１に一致するように、圧縮領域を圧縮し、圧縮画素領域５３０を生成する。また、圧縮部７３０は、生成した圧縮画素領域５３０を生成部７４０に送信する。
【００３９】
生成部７４０は、画像データ取得部７１０から送信された画像データ４００の下限位置３０１より下側に位置する領域を削除したうえで、圧縮部７３０から送信された圧縮画素領域５３０を、対応する位置に組み込むことで、表示画像データを生成する。また、生成部７４０は、生成した表示画像データを制御部７５０に送信する。
【００４０】
制御部７５０は、生成部７４０より送信された表示画像データを、表示装置１３０に表示するよう制御する。これにより、車両の運転者は、表示装置１３０を介して表示画像データを視認することができる。
【００４１】
＜表示制御処理の流れ＞
次に、表示制御装置１２０により実行される表示制御処理の流れについて説明する。図８は、表示制御処理の流れを示すフローチャートである。カメラモニタリングシステム１００が起動すると、表示制御装置１２０は、図７に示す表示制御処理を実行する。
【００４２】
ステップＳ８０１において、画像データ取得部７１０は、撮像装置１１０より送信される画像データを取得し、フレーム単位で圧縮領域抽出部７２０及び生成部７４０に送信する。
【００４３】
ステップＳ８０２において、圧縮領域抽出部７２０は、画像データより圧縮領域を抽出し、圧縮部７３０に送信する。ステップＳ８０３において、圧縮部７３０は、圧縮領域抽出部７２０より送信された圧縮領域を圧縮し、圧縮画素領域を生成する。
【００４４】
ステップＳ８０４において、生成部７４０は、画像データ取得部７１０より送信された画像データの下限位置３０１より下側を削除したうえで、圧縮部７３０より送信された圧縮画素領域を対応する位置に組み込むことで、表示画像データを生成する。
【００４５】
ステップＳ８０５において、制御部７５０は、表示画像データを表示装置１３０に送信し、表示装置１３０に表示画像データを表示するよう制御する。ステップＳ８０５において、画像データ取得部７１０は、表示制御処理を終了するか否かを判定する。カメラモニタリングシステム１００が停止されていない場合、ステップＳ８０６において、画像データ取得部７１０は、表示制御処理を終了しないと判定し（ステップＳ８０６においてＮｏ）、ステップＳ８０１に戻る。
【００４６】
一方、カメラモニタリングシステム１００が停止する場合、ステップＳ８０６において、画像データ取得部７１０は、表示制御処理を終了すると判定し（ステップＳ８０６においてＹｅｓ）、表示制御処理を終了する。
【００４７】
＜表示画像データの具体例＞
次に、表示制御装置１２０により生成される表示画像データの具体例について説明する。図９は、第１の実施形態における表示制御装置により生成された表示画像データの具体例を示す第１の図である。このうち、図９（ａ）には、撮像装置１１０より送信された画像データ４００を対比表示している。図９（ｂ）は、図９（ａ）の画像データ４００に基づいて表示制御装置１２０により生成された表示画像データ９００を示している。
【００４８】
図９（ｂ）の表示画像データ９００に示すように、表示制御装置１２０によれば、画像データ４００の画像サイズを、表示サイズに適したサイズに変換することができる。また、図９（ｂ）の表示画像データ９００に示すように、表示制御装置１２０によれば、車線境界線を示す画像要素４１１、４１２、及び、車道と歩道との段差面を示す画像要素４１３、４１４が折れ曲がることもない。
【００４９】
図１０は、第１の実施形態における表示制御装置により生成された表示画像データの具体例を示す第２の図である。なお、図９とは、表示画像データの生成に用いられる画像データが異なる。図１０（ａ）に示すように、画像データ１０００の場合、車線境界線を示す画像要素４１１、４１２の間に、路面標示物を示す画像要素１００１が含まれている。
【００５０】
このような場合でも、表示制御装置１２０は、画像データ１０００に対して同様の生成処理を実行し、表示画像データ１０１０を生成する。図１０（ｂ）の表示画像データ１０１０に示すように、路面標示物を示す画像要素１００１は、表示制御装置１２０により上下方向に圧縮される。このため、圧縮前（図１０（ａ）の画像データ１０００における路面標示物を示す画像要素１００１）と比較して、長さが短くなっているが、路面標示物全体を、変換後の表示画像データ１０１０に含めることができる。更に、表示制御装置１２０により圧縮される圧縮領域は、画像データ１０００の中央位置に限られるため、圧縮領域と非圧縮領域との境目が不連続であっても、その影響を受けないか、あるいは、その影響を受けたとしても目立ちにくい。このため、路面標示物を示す画像要素１００１が折れ曲がることもない（あるいは、少なくとも運転者が視認できる程度に折れ曲がることはない）。
【００５１】
＜まとめ＞
以上の説明から明らかなように、本実施形態における表示制御装置１２０は、
・撮像装置が車両後方を撮影することで得た画像データにおいて、車線境界線等のように車両の走行方向に沿う直線状の被写体を示す画像要素が含まれない画素領域の位置座標を、撮像装置の取り付け位置に基づいて、予め決定しておく。
・決定した位置座標に基づいて特定される画像データ内の画素領域を、圧縮領域として圧縮することで圧縮画素領域を生成する。
・表示サイズの下限位置より下側の領域を削除した画像データの対応する位置に、生成した圧縮画素領域を組み込むことで、表示画像データを生成する。
【００５２】
これにより、表示制御装置１２０により生成される表示画像データにおいて、車線境界線等のように車両の走行方向に沿う直線状の被写体を示す画像要素が折れ曲がることがなくなる。つまり、本実施形態における表示制御装置１２０によれば、電子ミラーを介して視認される表示画像データにおける違和感を低減させることができる。
【００５３】
［第２の実施形態］
上記第１の実施形態では、車線境界線を示す画像要素が含まれないように、撮像装置の取り付け位置に応じて、圧縮領域として抽出される画素領域の位置座標を予め決定しておく構成とした。
【００５４】
これに対して、第２の実施形態では、画像データから、車線境界線を示す画像要素を検出し、検出した画像要素に基づいて、圧縮領域として抽出される画素領域の位置座標を決定する構成とする。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【００５５】
＜表示制御装置の機能構成＞
はじめに、第２の実施形態における表示制御装置の機能構成について説明する。図１１は、第２の実施形態における表示制御装置の機能構成の一例を示す図である。図７に示した、第１の実施形態における表示制御装置の機能構成との相違点は、車線境界線検出部１１１０、圧縮領域抽出部１１２０を有する点である。
【００５６】
車線境界線検出部１１１０は、画像データ取得部７１０より送信された画像データより、車線境界線を示す画像要素を検出する。車線境界線検出部１１１０は、検出した車線境界線を示す画像要素の画像データ内での位置を示す位置座標を、車線境界線位置情報として、圧縮領域抽出部１１２０に送信する。
【００５７】
圧縮領域抽出部１１２０は、車線境界線検出部１１１０より送信された車線境界線位置情報に基づいて、圧縮領域として抽出される画素領域を特定するための位置座標を決定する。具体的には、圧縮領域抽出部１１２０は、画像データの下方の画素領域のうち、車線境界線位置情報により特定される領域が含まれないように、圧縮領域として抽出される画素領域の位置座標を決定する。また、圧縮領域抽出部１１２０は、決定した位置座標に基づいて特定される画素領域を抽出する。更に、圧縮領域抽出部１１２０は、抽出した画素領域を圧縮領域として圧縮部７３０に送信する。
【００５８】
＜車線境界線検出処理及び圧縮領域抽出処理の具体例＞
次に、車線境界線検出部１１１０による車線境界線検出処理及び圧縮領域抽出部１１２０による圧縮領域抽出処理の具体例について説明する。図１２は、車線境界線検出処理及び圧縮領域抽出処理の具体例を示す第１の図である。
【００５９】
図１２（ａ）に示すように、車線境界線検出部１１１０は、画像データ４００から車線境界線を示す画像要素４１１及び４１２を検出する。また、車線境界線検出部１１１０は、車線境界線を示す画像要素４１１を含む領域１２０１と、車線境界線を示す画像要素４１２を含む領域１２０２とを特定する。更に、車線境界線検出部１１１０は、画像データ４００内における領域１２０１の位置座標である車線境界線位置情報と、画像データ４００内における領域１２０２の位置座標である車線境界線位置情報とを、圧縮領域抽出部１１２０に送信する。
【００６０】
図１２（ｂ）は、車線境界線検出部１１１０より送信された車線境界線位置情報に基づいて、圧縮領域抽出部１１２０が、圧縮領域として抽出する画素領域１２１０を特定する位置座標を決定した様子を示している。図１２（ｂ）に示すように、圧縮領域抽出部１１２０は、例えば、以下の処理により画素領域１２１０を特定する４つの頂点の位置座標を決定する。
・第１基準位置４０１上の点であって、領域１２０１からの左方向への距離がＬ１の位置の点を、画素領域１２１０の右上の頂点の位置座標（ｘ１，ｙ１）とする。
・第２基準位置４０２上の点であって、領域１２０１からの左方向への距離がＬ２の位置の点を、画素領域１２１０の右下の頂点の位置座標（ｘ２，ｙ２）とする。
・第１基準位置４０１上の点であって、領域１２０２からの右方向への距離がＬ３の位置の点を、画素領域１２１０の左上の頂点の位置座標（ｘ３，ｙ３）とする。
・第２基準位置４０２上の点であって、領域１２０２からの右方向への距離がＬ４の位置の点を、画素領域１２１０の左下の頂点の位置座標（ｘ４，ｙ４）とする。
【００６１】
圧縮領域抽出部１１２０は、決定した４つの頂点の位置座標により特定される、画像データ４００内の画素領域１２１０（下方領域のうち、領域１２０１と領域１２０２とに挟まれた領域）を圧縮領域として抽出する。
【００６２】
図１３は、車線境界線検出処理及び圧縮領域抽出処理の概要を示す第２の図である。このうち、図１３（ａ）に示す、車線境界線検出部１１１０による車線境界線検出処理の具体例は、図１２（ａ）と同じであるため、ここでは説明を省略する。
【００６３】
図１３（ｂ）は、圧縮領域抽出部１１２０が、車線境界線検出部１１１０より送信された車線境界線位置座標に基づいて、圧縮領域として抽出する画素領域１２１０、１３１１、１３１２を特定するための位置座標を決定した様子を示している。図１３（ｂ）に示すように、圧縮領域抽出部１１２０は、例えば、以下のような処理により画素領域１２１０、１３１１、１３１２をそれぞれ特定するための４つの頂点の位置座標を決定する。
【００６４】
（１）画素領域１２１０
・図１２（ｂ）を用いて説明済みであるため、ここでは説明を省略する。
【００６５】
（２）画素領域１３１１
・第１基準位置４０１上の点であって、領域１２０１からの右方向への距離がＬ５の位置の点を、画素領域１３１１の左上の頂点の位置座標（ｘ５，ｙ５）とする。
・第１基準位置４０１上の点であって、画素領域１３１１の左上の頂点からの右方向への距離がＬ６の位置の点を、画素領域１３１１の右上の頂点の位置座標（ｘ６，ｙ６）とする。
・第２基準位置４０２上の点であって、領域１２０１からの右方向への距離がＬ７の位置の点を、画素領域１３１１の左下の頂点の位置座標（ｘ７，ｙ７）とする。
・第２基準位置４０２上の点であって、画素領域１３１１の左下の頂点からの右方向への距離がＬ８の位置の点を、画素領域１３１１の右下の仮想頂点の位置座標（ｘ８，ｙ８）とする。
【００６６】
圧縮領域抽出部１１２０は、決定した４つの頂点の位置座標により特定される、画像データ４００内の画素領域１３１１を圧縮領域として抽出する。
【００６７】
（３）画素領域１３１２
・第１基準位置４０１上の点であって、領域１２０２からの左方向への距離がＬ９の位置の点を、画素領域１３１２の右上の頂点の位置座標（ｘ９，ｙ９）とする。
・第１基準位置４０１上の点であって、画素領域１３１２の右上の頂点からの左方向への距離がＬ１０の位置の点を、画素領域１３１２の左上の頂点の位置座標（ｘ１０，ｙ１０）とする。
・第２基準位置４０２上の点であって、領域１２０２からの左方向への距離がＬ１１の位置の点を、画素領域１３１２の右下の頂点の位置座標（ｘ１１，ｙ１１）とする。
・第２基準位置４０２上の点であって、画素領域１３１２の右下の頂点からの左方向への距離がＬ１２の位置の点を、画素領域１３１２の左下の仮想頂点の位置座標（ｘ１２，ｙ１２）とする。
【００６８】
圧縮領域抽出部１１２０は、決定した４つの頂点の位置座標により特定される、画像データ４００内の画素領域１３１２を圧縮領域として抽出する。
【００６９】
＜まとめ＞
以上の説明から明らかなように、本実施形態における表示制御装置１２０は、
・撮像装置が車両後方を撮影することで得た画像データにおいて、車線境界線を示す画像要素を検出し、検出した画像要素が含まれない画素領域の位置座標を決定する。
・決定した位置座標に基づいて特定される画像データ内の画素領域を、圧縮領域として圧縮することで圧縮画素領域を生成する。
・表示サイズの下限位置より下側の領域を削除した画像データの対応する位置に、生成した圧縮画素領域を組み込むことで、表示画像データを生成する。
【００７０】
これにより、表示制御装置１２０により生成される表示画像データにおいて、車線境界線を示す画像要素が折れ曲がることがなくなる。つまり、本実施形態における表示制御装置１２０によれば、電子ミラーを介して視認される表示画像データにおける違和感を低減させることができる。なお、本実施形態によれば、更に、画像データごとに車線境界線を示す画像要素を検出するため、車線境界線を示す画像要素が圧縮領域に含まれる可能性を、より低減させることができる。
【００７１】
［第３の実施形態］
上記第１及び第２の実施形態では、室内後写鏡の位置に表示装置１３０を配置し、表示装置１３０を電子ミラーとして機能させるカメラモニタリングシステム１００について説明した。しかしながら、カメラモニタリングシステムの構成はこれに限定されない。例えば、室内後写鏡の位置に投影用のミラーを配置し、当該投影用のミラーに対してプロジェクタを介して表示画像データを投影することで、当該投影用のミラーを電子ミラーとして機能させるように構成してもよい。
【００７２】
図１４は、第３の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。図１４（ａ）に示すカメラモニタリングシステム１４００の図１との相違点は、出力装置として表示装置１３０に代えて、プロジェクタ（画像投影装置）１４１０が配されている点である。なお、カメラモニタリングシステム１４００の場合、表示画像データは投影用のミラーに投影され、投影用のミラーにおいて光学的に左右反転されるため、撮像装置１１０において撮影画像を左右反転させる必要はない。したがって、表示制御装置１２０からプロジェクタ１４１０に送信される表示画像データは、撮影画像が左右反転されることなく送信された画像データに基づいて生成されたデータとなる。
【００７３】
図１４（ｂ）は、プロジェクタ１４１０と投影用のミラー１４２０との関係を示した図である。本実施形態において、プロジェクタ１４１０は車内の天井部分に配置されるものとする。図１４（ｂ）に示すように、天井部分に配置されたプロジェクタ１４１０より出射された表示画像データは、室内後写鏡の位置に配置された投影用のミラー１４２０に投影される。これにより、運転者は、投影用のミラー１４２０を介して上記表示画像データを視認することができる。
【００７４】
［その他の実施形態］
上記第１及び第２の実施形態では、圧縮領域として抽出される画素領域の上限位置を、第１基準位置４０１に固定するものとして説明したが、圧縮領域として抽出される画素領域の上限位置は、可変であってもよい。具体的には、後方車両検出部を設け、画像データから後方車両を検出し、後方車両の下端位置を、圧縮領域として抽出される画素領域の上限位置としてもよい。あるいは、路面標示物検出部を設け、画像データから路面標示物を検出し、路面標示物の下端位置を、圧縮領域として抽出される画素領域の上限位置としてもよい。なお、上記第１及び第２の実施形態では、圧縮領域として抽出される画素領域の形状を台形としたが、圧縮領域として抽出される画素領域の形状は台形に限定されない。
【００７５】
また、上記第２の実施形態では、車線境界線を示す画像要素４１１、４１２の検出方法について言及しなかったが、車線境界線を示す画像要素４１１、４１２の検出方法は任意である。また、上記第２の実施形態では、画像データごとに車線境界線を示す画像要素４１１、４１２を検出するものとして説明したが、画像データによっては、車線境界線を示す画像要素４１１、４１２が検出できない場合もありうる。このような場合、車線境界線検出部１１１０は、所定フレーム前の画像データに基づいて、現在フレームの画像データにおける車線境界線を推定してもよい。つまり、車線境界線検出部１１１０より送信される車線境界線位置情報には、現在フレームの画像データに基づく位置座標が含まれる場合と、所定フレーム前の画像データに基づく推定の位置座標が含まれる場合とがあるものとする。
【００７６】
また、上記第１乃至第３の実施形態では、画素領域の圧縮方法について言及しなかったが、画素領域の圧縮方法は任意である。例えば、圧縮領域として抽出される画素領域の所定ラインを間引くことで圧縮してもよいし、圧縮領域として抽出される画素領域において、隣接する複数画素の平均値を算出することで圧縮してもよい。
【００７７】
また、上記第１乃至第３の実施形態では、車両の走行方向に沿う直線状の被写体を示す画像要素として、車線境界線を示す画像要素、及び、車道と歩道との段差面を示す画像要素を挙げた。しかしながら、車両の走行方向に沿う直線状の被写体を示す画像要素はこれに限定されない。例えば、横断歩道等の路面標示物を示す画像要素や、ガードレールを示す画像要素、中央分離帯を示す画像要素等、任意の画像要素が含まれる。
【００７８】
また、上記第１乃至第３の実施形態では、室内後写鏡を代替する電子ミラーを介して視認される表示画像データについて説明したが、室内後写鏡以外の後写鏡を代替する電子ミラーを介して視認される表示画像データに適用してもよいことはいうまでもない。
【００７９】
また、上記第１及び第２の実施形態では、撮像装置１１０において撮影画像を左右反転した画像データを表示制御装置１２０に送信するものとして説明したが、撮影画像を左右反転する処理は、表示制御装置１２０において実行するように構成してもよい。
【００８０】
また、上記第１の実施形態では、室内後写鏡の位置に、表示装置１３０を配置するものとして説明した。しかしながら、カメラモニタリングシステムの構成はこれに限定されず、例えば、室内後写鏡の位置に、可動式のハーフミラーが前面に取り付けられた表示装置を配置するように構成してもよい。この場合、表示画像データの表示を行うモードをＯＮにすると表示装置による表示画像データの表示が開始され、ＯＦＦにすると表示装置による表示画像データの表示が終了する。この間、運転者は、表示装置を介して表示される表示画像データを視認することで車両後方を確認する。
【００８１】
一方、表示画像データの表示を行うモードをＯＦＦにすると、ハーフミラーが室内後写鏡として機能するモードがＯＮになり、ハーフミラーが所定の位置に移動する。この場合、運転者は、ハーフミラーを介して車両後方を確認する。
【００８２】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００８３】
１００                    ：カメラモニタリングシステム
１１０                    ：撮像装置
１２０                    ：表示制御装置
１３０                    ：表示装置
３００                    ：画像データ
３０１                    ：下限位置
４００                    ：画像データ
４０１                    ：第１基準位置
４０２                    ：第２基準位置
４１１、４１２            ：車線境界線を示す画像要素
５１０                    ：画素領域
５２１、５２２            ：削除領域
５３０                    ：圧縮画素領域
７１０                    ：画像データ取得部
７２０                    ：圧縮領域抽出部
７３０                    ：圧縮部
７４０                    ：生成部
７５０                    ：制御部
１００１                  ：路面標示物を示す画像要素
９００、１０１０          ：表示画像データ
１１１０                  ：車線境界線検出部
１１２０                  ：圧縮領域抽出部
１２０１、１２０２        ：領域
１２１０                  ：画素領域
１３１１、１３１２        ：画素領域
【図１】
2019006282.tif 000003
【図２】
2019006282.tif 000004
【図３】
2019006282.tif 000005
【図４】
2019006282.tif 000006
【図５】
2019006282.tif 000007
【図６】
2019006282.tif 000008
【図７】
2019006282.tif 000009
【図８】
2019006282.tif 000010
【図９】
2019006282.tif 000011
【図１０】
2019006282.tif 000012
【図１１】
2019006282.tif 000013
【図１２】
2019006282.tif 000014
【図１３】
2019006282.tif 000015
【図１４】
2019006282.tif 000016