(57)【要約】【課題】車両の後側方の画像を運転者に見やすく表示する技術を提供する。【解決手段】車両の側面に車両の後方及び側方を撮影する向きに設置されたカメラにより撮影された第１画像の少なくとも一部を車両を運転する運転者に対して表示する表示部と、車両の外形形状を表す外形情報と、カメラで撮影される範囲である入力視野を示す視野情報とに基づいて、入力視野に含まれる車両の一部を表すマスク画像を生成する生成部と、第１画像に生成部によって生成されたマスク画像を重ね合わせることで、第１画像に含まれる車両の一部を表す画像に代えてマスク画像を含む第２画像を生成し、生成した第２画像を表示部に表示させる重畳部とを有する。【選択図】      図１
2015201680.tif 000002
【特許請求の範囲】
【請求項１】
車両の側面に前記車両の後方及び側方を撮影する向きに設置されたカメラにより撮影された第１画像の少なくとも一部を前記車両を運転する運転者に対して表示する表示部と、
前記車両の外形形状を表す外形情報と、前記カメラで撮影される範囲である入力視野を示す視野情報とに基づいて、前記入力視野に含まれる前記車両の一部を表すマスク画像を生成する生成部と、
前記第１画像に前記生成部によって生成された前記マスク画像を重ね合わせることで、前記第１画像に含まれる前記車両の一部を表す画像に代えて前記マスク画像を含む第２画像を生成し、生成した前記第２画像を前記表示部に表示させる重畳部と
を備えたことを特徴とする画像表示装置。
【請求項２】
請求項１に記載の画像表示装置において、
前記表示部は、前記入力視野の一部として指定される出力視野に含まれる被写体の画像を表示し、
前記画像表示装置は、更に、
前記入力視野における前記出力視野の位置及び前記出力視野の画像に含まれる各画素と前記表示部に含まれる各画素との対応関係を示す設定情報を受け、前記設定情報で指定された位置を基準として前記第１画像から切り出した画像を、前記設定情報で指定された対応関係に基づいて変換する変換部を有し、
前記重畳部は、
前記設定情報で指定された位置を基準として、前記生成部で生成された前記マスク画像のうち前記出力視野に含まれる箇所を切り出し、切り出した箇所に対して、前記設定情報で指定された対応関係に基づく変換を行うことで、調整されたマスク画像を生成する調整部と、
前記調整部で生成された前記調整されたマスク画像を、前記変換部による変換後の画像に重ね合わせることで合成画像を生成する合成部とを有し、
前記合成部で得られる前記合成画像を前記第２画像として前記表示部に表示させる
ことを特徴とする画像表示装置。
【請求項３】
請求項１に記載の画像表示装置において、
前記表示部は、前記入力視野の一部として指定される出力視野に含まれる被写体の画像を表示し、
前記画像表示装置は、更に、
前記入力視野における前記出力視野の位置及び前記出力視野の画像に含まれる各画素と前記表示部に含まれる各画素との対応関係を示す設定情報を受け、前記設定情報で指定された位置を基準として前記第１画像から切り出した画像を、前記設定情報で指定された対応関係に基づいて変換する変換部を有し、
前記生成部は、前記設定情報と前記視野情報とに基づいて、前記設定情報で指定された対応関係で前記表示部の画素への対応付けが特定される画素の集合により、前記外形情報で示される形状を持つ前記車両を前記視野情報で示される向きで撮影した場合に前記出力視野に含まれることが予想される前記車両の一部を表す画像を前記マスク画像として生成し、
前記重畳部は、前記変換部による変換後の画像に、前記生成部で生成された前記マスク画像を重ね合わせることで前記第２画像を生成する
ことを特徴とする画像表示装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の画像表示装置において、
前記生成部は、
前記車両の外部にある光源と前記車両との相対位置を示す第１情報を受け、前記第１情報で示される前記光源に照明される場合の前記車両を表す前記マスク画像を生成する
ことを特徴とする画像表示装置。  
【請求項５】
請求項１乃至請求項４のいずれか一項に記載の画像表示装置において、
前記生成部は、
前記車両の周囲の明るさを示す第２情報を受け、前記車両の周囲の明るさが前記第２情報で示される明るさである場合の前記車両を表す前記マスク画像を生成する
ことを特徴とする画像表示装置。  
【請求項６】
車両の外形形状を表す外形情報と、前記車両の側面に前記車両の後方及び側方を撮影する向きに設置されたカメラで撮影される範囲である入力視野を示す視野情報とに基づいて、前記入力視野に含まれる前記車両の一部を表すマスク画像を生成し、
前記カメラにより撮影された第１画像に、生成された前記マスク画像を重ね合わせることで、前記第１画像に含まれる前記車両の一部を表す画像に代えて前記マスク画像を含む第２画像を生成し、
生成した前記第２画像を、前記車両を運転する運転者に対向して設けられた表示部に表示させる
ことを特徴とする画像表示方法。
【請求項７】
車両の外形形状を表す外形情報と、前記車両の側面に前記車両の後方及び側方を撮影する向きに設置されたカメラで撮影される範囲である入力視野を示す視野情報とに基づいて、前記入力視野に含まれる前記車両の一部を表すマスク画像を生成し、
前記カメラにより撮影された第１画像に、生成された前記マスク画像を重ね合わせることで、前記第１画像に含まれる前記車両の一部を表す画像に代えて前記マスク画像を含む第２画像を生成し、
生成した前記第２画像を、前記車両を運転する運転者に対向して設けられた表示部に表示させる、
処理をコンピュータに実行させることを特徴とする画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法及び画像表示プログラムに関する。
【背景技術】
【０００２】
ドアミラーなどのサイドミラーの代わりに、車両の後方及び側方の情報を運転者に提供するための技術として、車両の側面等に設置されたカメラによって撮影された画像を表示する技術であるカメラ代替モニタシステムの国際標準化が検討されている。なお、以下の説明において、車両の後方及び側方は、まとめて車両の後側方と称される場合がある。
【０００３】
また、車両の後方に設置されたカメラで撮影された画像に基づいて、車両の後側方の情報を運転者に提供するために、車両の後正面の方向を含む所定の範囲の画像をマスクする技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２８４４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ドアミラーなどのサイドミラーに代わるカメラ代替モニタシステムに含まれるカメラは、例えば、従来の車両においてサイドミラーが設置されていた箇所への設置が検討されている。ところで、サイドミラーが設置されていた箇所にカメラを設置した場合に、カメラによって撮影される画像には、カメラが設置された車両自身の画像が含まれる。以下の説明では、カメラが設置された車両自身の画像は、自車両の画像と称される場合がある。
【０００６】
ここで、カメラ代替モニタシステムに含まれるカメラは、カメラの視野に含まれる自車両のボディをボディに映り込んだ路面等とともに撮影し、また、カメラの視野に含まれる他の車両や路面などを撮影する。そして、撮影された画像に含まれる自車両のボディと、カメラの視野に含まれる他の車両や路面などとは、カメラ代替モニタシステムに含まれる表示装置により、同一の被写界深度を持つ被写体の画像として表示装置に表示される。
【０００７】
このため、運転者に提供される画像において、例えば、自車両のボディに映り込んだ路面の白線とカメラによって撮影された路面に設けられた実際の白線とが区別しにくくなる場合がある。そして、表示された画像に含まれる白線が、自車両のボディに映り込んだ白線であるのか、それとも、カメラに撮影された路面に設けられた実際の白線であるのかが区別しにくい状況は、運転者を混乱させてしまうおそれがある。
【０００８】
本件開示の画像表示装置、画像表示方法及び画像表示プログラムは、車両の後側方の画像を運転者に見やすく表示する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
一つの観点によれば、画像表示装置は、車両の側面に車両の後方及び側方を撮影する向きに設置されたカメラにより撮影された第１画像の少なくとも一部を車両を運転する運転者に対して表示する表示部と、車両の外形形状を表す外形情報と、カメラで撮影される範囲である入力視野を示す視野情報とに基づいて、入力視野に含まれる車両の一部を表すマスク画像を生成する生成部と、第１画像に生成部によって生成されたマスク画像を重ね合わせることで、第１画像に含まれる車両の一部を表す画像に代えてマスク画像を含む第２画像を生成し、生成した第２画像を表示部に表示させる重畳部とを有する。
【００１０】
また、別の観点によれば、画像表示方法は、車両の外形形状を表す外形情報と、車両の側面に車両の後方及び側方を撮影する向きに設置されたカメラで撮影される範囲である入力視野を示す視野情報とに基づいて、入力視野に含まれる車両の一部を表すマスク画像を生成し、カメラにより撮影された第１画像に、生成されたマスク画像を重ね合わせることで、第１画像に含まれる車両の一部を表す画像に代えてマスク画像を含む第２画像を生成し、生成した第２画像を、車両を運転する運転者に対向して設けられた表示部に表示させる。
【００１１】
更に、別の観点によれば、画像表示プログラムは、車両の外形形状を表す外形情報と、車両の側面に車両の後方及び側方を撮影する向きに設置されたカメラで撮影される範囲である入力視野を示す視野情報とに基づいて、入力視野に含まれる車両の一部を表すマスク画像を生成し、カメラにより撮影された第１画像に、生成されたマスク画像を重ね合わせることで、第１画像に含まれる車両の一部を表す画像に代えてマスク画像を含む第２画像を生成し、生成した第２画像を、車両を運転する運転者に対向して設けられた表示部に表示させる、処理をコンピュータに実行させる。
【発明の効果】
【００１２】
本件開示の画像表示装置、画像表示方法及び画像表示プログラムは、車両の後側方の画像を運転者に見やすく表示することができる。
【図面の簡単な説明】
【００１３】
【図１】画像表示装置の一実施形態を示す図である。
【図２】図１に示したカメラで撮影される画像の例を示す図である。
【図３】図１に示した生成部で生成されるマスク画像の例を示す図である。
【図４】図１に示した画像表示装置の動作を示す図である。
【図５】図１に示したカメラで撮影された画像と表示部の表示画面との関係の例を示す図である。
【図６】画像表示装置の別実施形態を示す図である。
【図７】出力視野に含まれる被写体を表す画像とマスク画像との合成例を示す図である。
【図８】図６に示した画像表示装置の動作を示す図である。
【図９】画像表示装置の別実施形態を示す図である。
【図１０】図９に示した合成部で生成される合成画像の例を示す図である。
【図１１】画像表示装置の別実施形態を示す図である。
【図１２】図１１に示した合成部で生成される合成画像の例を示す図である。
【図１３】図１１に示した画像表示装置の動作を示す図である。
【図１４】図１１に示した画像表示装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面に基づいて、実施形態を説明する。
【００１５】
図１は、画像表示装置の一実施形態を示す。図１に示した画像表示装置１０は、表示部ＤＳＰＬと、生成部１２と、重畳部１３と、車両モデルＭＤＬとを含む。画像表示装置１０は、例えば、車両Ｍ１のボディの左側面に設置されたカメラＣＬに接続されており、カメラＣＬで撮影された画像ＧＬ１を受ける。また、画像表示装置１０に含まれる表示部ＤＳＰＬは、例えば、液晶ディスプレイなどであり、車両Ｍ１を運転する運転者Ｐ１に対向する位置に配置されている。画像表示装置１０は、カメラＣＬから受けた画像ＧＬ１に対して、図２及び図３を用いて説明する合成処理を実行することにより合成画像を生成し、生成した合成画像を表示部ＤＳＰＬに表示させる。
【００１６】
ここで、図１に示したカメラＣＬは、車両Ｍ１の側面に車両Ｍ１の後方及び側方を撮影する向きに設置されたカメラの一例であり、画像ＧＬ１は、車両Ｍ１に設置されたカメラで撮影された第１画像の一例である。また、表示部ＤＳＰＬは、第１画像の少なくとも一部を運転者Ｐ１に対して表示する表示部の一例であり、表示部ＤＳＰＬで表示される合成画像は、第１画像の少なくとも一部として運転者Ｐ１に対して表示される第２画像ＧＬ２の一例である。即ち、図１に示した画像表示装置１０は、車両Ｍ１の左側の側面に配置されたカメラＣＬで撮影された画像ＧＬ１を受け、受けた画像ＧＬ１から生成した合成画像を、例えば、ハンドルＨ１の左側に配置された表示部ＤＳＰＬに第２画像ＧＬ２として表示する。
【００１７】
なお、画像表示装置１０は、例えば、車両Ｍ１の右側面に設置されたカメラで撮影された画像を第１画像として受け、受けた第１画像に基づいて、図１に示した合成画像ＧＬ２に相当する第２画像を生成してもよい。そして、画像表示装置１０は、車両Ｍ１の右側面に設置されたカメラで撮影された画像に基づいて生成した第２画像を、例えば、運転者Ｐ１から見てハンドルＨ１の右側に配置される別の液晶ディスプレイなどに表示させてもよい。車両Ｍ１の右側の側面に配置される別のカメラで撮影された画像に対する処理を行う画像表示装置は、図１に示したカメラＣＬから受けた画像ＧＬ１に対する処理を行う画像表示装置１０とは別に設けてられもよいし、両者は一体の装置として実現されてもよい。
【００１８】
以下では、図１〜図４を用いて、車両Ｍ１の左側面に設置されたカメラＣＬで撮影された画像ＧＬ１に基づいて生成された合成画像を、第２画像ＧＬ２として表示部ＤＳＰＬに表示させる画像表示装置１０が説明される。なお、車両Ｍ１の右側面に設置されたカメラで撮影された画像に基づいて、別に設けられた表示部に表示させる合成画像を生成する画像表示装置は、カメラＣＬからの画像ＧＬ１に対する画像表示装置１０と同様にして実現される。
【００１９】
図１に示した生成部１２は、例えば、車両モデルＭＤＬに３次元モデルとして蓄積された車両Ｍ１の３次元的な形状を表す外形情報と、カメラＣＬの視野を示す視野情報Ｄａとを受ける。ここで、視野情報Ｄａは、例えば、車両Ｍ１とカメラＣＬとの位置関係を示す情報と、カメラＣＬの画角を示す情報とを含む。また、視野情報Ｄａは、カメラＣＬに含まれる撮影レンズなどの光学系の収差などによって、撮影された画像ＧＬ１に生じる歪みを示す情報を含んでいることが望ましい。なお、生成部１２は、例えば、カメラＣＬの向き等を制御するカメラ制御部（図示せず）から視野情報Ｄａを受けてもよいし、生成部１２に含まれるメモリなどに予め視野情報Ｄａを保持させてもよい。そして、生成部１２は、受けた３次元モデルおよび視野情報Ｄａに基づいて、例えば、カメラＣＬの視野に含まれることが予想される車両Ｍ１の左側面の一部を表すマスク画像ＭｓｋＬを生成する。なお、カメラＣＬの視野は、車両Ｍ１の側面に車両Ｍ１の後方及び側方を撮影する向きに設置されたカメラの視野である第１視野の一例である。また、生成部１２で生成されるマスク画像ＭｓｋＬは、第１視野に含まれることが予想される車両Ｍ１の一部を表すマスク画像の一例である。生成部１２において、マスク画像ＭｓｋＬを生成する手法は、図２及び図３を用いて後述される。
【００２０】
図１に示した重畳部１３は、例えば、生成部１２によって生成されたマスク画像ＭｓｋＬを画像ＧＬ１に重ね合わせることで、画像ＧＬ１に含まれる車両Ｍ１の一部を表す画像に代えてマスク画像ＭｓｋＬを含む合成画像を生成する。そして、重畳部１３は、生成した合成画像ＧＬ２を、第２画像ＧＬ２として表示部ＤＳＰＬに表示させる。
【００２１】
図２は、図１に示したカメラＣＬで撮影される画像ＧＬ１の例を示す。図２（Ａ）は、図１に示したカメラＣＬによって撮影される画角ＲＬの例を示す。また、図２（Ｂ）は、カメラＣＬで撮影された画像ＧＬ１の例を示す。
【００２２】
図２（Ａ）の例は、車両Ｍ１の左右の側面のそれぞれにカメラＣＬ，ＣＲが設置された場合に、カメラＣＬ，ＣＲの画角ＲＬ，ＲＲに、車両Ｍ１のボディの側面の一部がそれぞれ含まれる様子を示している。なお、図２（Ａ）に示したカメラＣＬ，ＣＲの画角ＲＬ，ＲＲは、例えば、カメラＣＬ，ＣＲの位置にサイドミラーが設置された場合にサイドミラーに映る範囲と同等に設定される。即ち、カメラＣＬ，ＣＲのそれぞれが画角ＲＬ，ＲＲで示される範囲を撮影することで、車両Ｍ１の後方及び側方のうちサイドミラーに映る範囲と同等の範囲の情報を表す画像が得られる向きに、カメラＣＬ，ＣＲは設置される。以下の説明において、車両Ｍ１の後方及び側方は、まとめて車両Ｍ１の後側方と称される場合がある。
【００２３】
図２（Ｂ）に示した画像ＧＬ１において、白い破線で囲んで示した領域ＡＬは、車両Ｍ１のボディの左側面の一部を示している。図２（Ｂ）に示した画像ＧＬ１において、領域ＡＬは、路面に設けられた白線ＰＴがボディ表面で反射された像である映り込みＰＴ１を含んでいる。
【００２４】
ここで、例えば、画像ＧＬ１をそのまま表示部ＤＳＰＬに表示した場合に、白線ＰＴを表す画像と領域ＡＬに含まれる映り込みＰＴ１の画像とが紛らわしくなる場合がある。そこで、図１に示した画像表示装置１０の生成部１２は、車両Ｍ１のボディの左側面のうち領域ＡＬに含まれる部分を表すマスク画像ＭｓｋＬを生成し、重畳部１３により、領域ＡＬをマスク画像ＭｓｋＬに置き換える。
【００２５】
図３は、図１に示した生成部１２で生成されるマスク画像ＭｓｋＬの例を示す。図３（Ａ）は、図１に示した車両モデルＭＤＬと視野情報Ｄａとに基づいて、生成部１２により生成されるマスク画像ＭｓｋＬの一例であり、車両Ｍ１の左側面の一部を示す。図３（Ｂ）は、生成部１２で生成されたマスク画像ＭｓｋＬを画像ＧＬ１に重畳することで得られる第２画像ＧＬ２の例を示す。
【００２６】
車両モデルＭＤＬは、車両Ｍ１の３次元的な形状とともに、ボディ及びボディに設けられた様々な部品の材質や色およびテクスチャなどを示す情報を含んでいる。したがって、生成部１２は、車両モデルＭＤＬと視野情報Ｄａとに基づいて、図３（Ａ）に示すように、マスク画像ＭｓｋＬとして、車両Ｍ１のボディに設けられた部品の配置や凹凸とともに、ボディ及び部品の色や質感などが再現された画像を生成することができる。また、図３（Ａ）に示したマスク画像ＭｓｋＬで表される車両Ｍ１のボディなどの形状には、カメラＣＬと車両Ｍ１との位置関係が反映されている。したがって、例えば、マスクＭｓｋＬにおいて車両Ｍ１のボディの外形を示す図形を表す線分などの延長線が集結する点である消点は、画像ＧＬ１に含まれる他の車両などを表す図形を表す線分などの延長線についての消点に一致する。即ち、図３（Ａ）に示したマスク画像ＭｓｋＬは、図２（Ｂ）に示した画像ＧＬ１の領域ＡＬに含まれる車両Ｍ１の画像とほぼ同等である。
【００２７】
一方、図３（Ａ）のマスク画像ＭｓｋＬは、車両モデルＭＤＬに含まれる情報から生成されるので、図２（Ｂ）に示した領域ＡＬに含まれるような映り込みＰＴ１を含んでいない。
【００２８】
したがって、図２（Ｂ）に示した画像ＧＬ１の領域ＡＬに、図３（Ａ）に示したマスク画像ＭｓｋＬを重畳することで、図３（Ｂ）に示すように、映り込みＰＴ１を含まず、かつ、画像ＧＬ１とほぼ同様に車両Ｍ１の後側方を表す第２画像ＧＬ２が生成される。
【００２９】
図３（Ｂ）に示した第２画像ＧＬ２において、マスク画像ＭｓｋＬは、映り込みＰＴ１を含まないこと以外は画像ＧＬ１に含まれる車両Ｍ１の画像と同等である。したがって、第２画像ＧＬ２が表示部ＤＳＰＬに表示された場合に、第２画像ＧＬ２に含まれるマスク画像ＭｓｋＬは、運転者Ｐ１により、車両Ｍ１の画像として認識される。一方、第２画像ＧＬ２では、マスク画像ＭｓｋＬにより映り込みＰＴ１が覆い隠されているため、運転者Ｐ１は、映り込みＰＴ１の影響を受けずに、第２画像ＧＬ２に含まれる白線ＰＴなどの被写体を認識することができる。
【００３０】
即ち、図１に示した画像表示装置１０は、カメラＣＬで撮影された画像ＧＬ１に含まれる車両Ｍ１の画像を、車両モデルＭＤＬに基づいて生成したマスク画像ＭｓｋＬでマスクすることで、車両Ｍ１の後側方の情報を運転者Ｐ１に分かり易く表示することができる。なお、図１に示した表示部ＤＳＰＬは、重畳部１３から受けた第２画像ＧＬ２の左右を反転して表示することで、運転者Ｐ１がサイドミラーを見た場合と同様に車両Ｍ１の後ろ側方を表す画像を表示してもよい。
【００３１】
図４は、図１に示した画像表示装置１０の動作を示す。図４に示したステップＳ３０１〜ステップＳ３０３の処理は、図１に示した画像表示装置１０の動作を示すとともに、画像表示方法および画像表示プログラムの例を示す。例えば、図４に示す処理は、画像表示装置１０に搭載されたプロセッサが画像表示プログラムを実行することで実現される。なお、図４に示す処理は、画像表示装置１０に搭載されるハードウェアによって実行されてもよい。
【００３２】
ステップＳ３０１において、図１に示した生成部１２は、車両モデルＭＤＬに含まれる外形情報と視野情報Ｄａとに基づいて、視野情報Ｄａで示されるカメラＣＬの視野に含まれる車両Ｍ１の形状を表すマスク画像ＭｓｋＬを生成する。
【００３３】
ステップＳ３０２において、図１に示した重畳部１３は、カメラＣＬで撮影された画像ＧＬ１に、ステップＳ３０１の処理で生成されたマスク画像ＭｓｋＬを重畳することで、画像ＧＬ１中の車両Ｍ１をマスク画像ＭｓｋＬに置き換えた第２画像ＧＬ２を生成する。
【００３４】
ステップＳ３０３において、図１に示した表示部ＤＳＰＬは、ステップＳ３０２の処理でマスク画像ＭｓｋＬが重畳された第２画像ＧＬ２を、車両Ｍ１の後側方を表す情報として、運転者Ｐ１に対して表示する。
【００３５】
ここで、ステップＳ３０１の処理で生成されるマスク画像ＭｓｋＬは、カメラＣＬの向きや画角ＲＬなどが変更されない限り、変化しない。したがって、視野情報Ｄａに変化がない場合に、図１に示した画像表示装置１０は、カメラＣＬで撮影された画像ＧＬ１を受ける毎に、ステップＳ３０２及びステップＳ３０３の処理を繰り返すことで、車両Ｍ１の後側方を表す合成画像ＧＬ２を運転者Ｐ１に提示できる。
【００３６】
ところで、図１に示したカメラＣＬで撮影される視野である入力視野の一部に相当する画像を第２画像ＧＬ２として表示部ＤＳＰＬに表示させることが好ましい場合がある。以下の説明において、例えば、表示部ＤＳＰＬに表示される画像で表される被写体が含まれる範囲は、出力視野と称される場合がある。
【００３７】
図５は、図１に示したカメラＣＬで撮影された画像ＧＬ１と表示部ＤＳＰＬの表示画面との関係の例を示す。
【００３８】
図５に示した画像ＧＬ１の内部に破線で示した矩形Ａ１は、画像ＧＬ１において、表示部ＤＳＰＬに表示される出力視野に対応付けられた領域を示す。なお、領域Ａ１は、予め設定されていてもよいし、例えば、運転者Ｐ１からの指示に基づいて設定されてもよい。図５の例において、領域Ａ１は、縦Ｈ１画素×横Ｗ１画素の領域である。即ち、領域Ａ１の画像は、縦方向の画素数Ｈ１及び横方向の画素数Ｗ１で示される解像度を持つ。
【００３９】
一方、図５に示した矩形Ａ２は、表示部ＤＳＰＬの表示画面を示す。図５に示した表示画面Ａ２は、Ｈ２画素×Ｗ２画素の２次元行列状に並んだ画素を含んでおり、表示画面Ａ２に表示可能な画像は、縦方向の画素数Ｈ２及び横方向の画素数Ｗ２で示される解像度を持つ。
【００４０】
例えば、図５に示した領域Ａ１の画像を表示画面Ａ２に表示させる場合に、縦方向の画素数Ｈ１及び横方向の画素数Ｗ１で示される解像度を持つ領域Ａ１の画像から、Ｈ２画素×Ｗ２画素の画像を生成するための解像度の変換が行われる。同様に、例えば、領域Ａ１の画像に含まれる各画素と、表示画面Ａ２の各画素との対応関係を示す情報を用いれば、領域Ａ１の画像と表示画面Ａ２との解像度の違いや形状の違いにかかわらず、領域Ａ１の画像から表示画面Ａ２に表示可能な画像を生成できる。
【００４１】
以下に、入力視野の一部に対応付けられる出力視野の画像を表示部ＤＳＰＬに表示させる画像表示装置の実施形態が説明される。
【００４２】
図６は、画像表示装置の別実施形態を示す。なお、図６に示す構成要素のうち、図１に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。
【００４３】
図６に示した画像表示装置１０ａは、表示部ＤＳＰＬと、車両モデルＭＤＬと、生成部１２ａと、重畳部１３ａと、変換部１４と、制御部Ｄｐｒとを含む。生成部１２ａは、図１に示した生成部１２に相当する構成要素であり、カメラ制御部ＣＴＬから受けた視野情報Ｄａと車両モデルＭＤＬとに基づいて、視野情報Ｄａで示される入力視野に含まれる車両Ｍ１（図１参照）を表す基本マスク画像ＭｓｋＬ０を生成する。重畳部１３ａは、図１に示した重畳部１３に相当する構成要素であり、マスク保持部１３１と、調整部１３２と、合成部１３３とを含む。
【００４４】
カメラ制御部ＣＴＬは、例えば、カメラＣＬの向きおよびカメラＣＬに含まれるレンズなどの撮影光学系の焦点距離などを制御する機能を持ち、カメラＣＬの向き及び画角を示す情報を含む視野情報Ｄａを生成部１２ａに渡す。
【００４５】
また、制御部Ｄｐｒは、カメラＣＬの視野である入力視野において、例えば、表示部ＤＳＰＬに表示させる範囲として運転者Ｐ１により指定された出力視野の位置を示す情報を含む設定情報Ｄｂを、重畳部１３ａに含まれる調整部１３２及び変換部１４に渡す。制御部Ｄｐｒは、例えば、カメラＣＬで撮影された画像ＧＬ１において、指定された出力視野の左下の画素及び右上の画素を示す座標を、設定情報Ｄｂの一部として調整部１３２及び変換部１４に渡す。また、制御部Ｄｐｒは、例えば、制御部Ｄｐｒの内部のメモリなどに、表示部ＤＳＰＬで表示可能な画像の解像度を示す情報として、表示部ＤＳＰＬの表示画面の縦方向の画素数及び横方向の画素数を保持している。そして、制御部Ｄｐｒは、出力視野のサイズと表示部ＤＳＰＬの解像度を示す情報とに基づいて、出力視野の画像に含まれる各画素と、表示部ＤＳＰＬの表示画面の各画素との対応関係を求め、求めた対応関係を設定情報Ｄｂの一部として調整部１３２に渡す。なお、制御部Ｄｐｒは、例えば、運転者Ｐ１から指定された投影モデルに応じた座標変換により、出力視野の画像の各画素に対応付けられる表示画面の画素を特定することで、出力視野の画像の各画素と表示部ＤＳＰＬの各画素との対応関係を求めてもよい。また、制御部Ｄｐｒは、指定された投影モデルが、透視投影モデルである場合に、出力視野の画像に含まれる各画素と表示部ＤＳＰＬの表示画面の各画素との対応関係を示す情報として、縦方向及び横方向の倍率を指定してもよい。また、制御部Ｄｐｒは、画像表示装置１０ａの外部に設けられてもよい。
【００４６】
図６に示した変換部１４は、制御部Ｄｐｒから受けた設定情報Ｄｂで指定された位置を基準として、カメラＣＬから受けた画像ＧＬ１から出力視野に対応付けられる領域の画像を切り出す。そして、変換部１４は、設定情報Ｄｂで指定された対応関係に基づいて、切り出した画像を変換することで、表示部ＤＳＰＬの解像度に合わせて変換された画像ＧＬａを生成し、重畳部１３ａに含まれる合成部１３３に渡す。例えば、設定情報Ｄｂにより、出力視野の各画素と表示部ＤＳＰＬの各画素との対応関係として、縦方向及び横方向の倍率が指定された場合に、変換部１４は、切り出した画像を、指定された倍率に従って拡大又は縮小することで変換された画像ＧＬａを生成する。
【００４７】
図６に示した重畳部１３ａにおいて、マスク保持部１３１は、例えば、画像表示装置１０ａに含まれるメモリの記憶領域の一部であり、生成部１２ａで生成された基本マスク画像ＭｓｋＬ０を保持する。
【００４８】
図６に示した調整部１３２は、マスク保持部１３１に保持された基本マスク画像ＭｓｋＬ０から、制御部Ｄｐｒから受けた設定情報Ｄｂで示される位置を基準として、出力視野に含まれる車両Ｍ１を表す箇所を切り出す。そして、調整部１３２は、切り出した箇所の画像に対して、設定情報Ｄｂで指定された対応関係に基づく変換を行うことで、表示部ＤＳＰＬに合わせて調整されたマスク画像ＭｓｋＬを生成する。例えば、設定情報Ｄｂにより、出力視野の各画素と表示部ＤＳＰＬの各画素との対応関係として縦方向及び横方向の倍率が指定された場合に、調整部１３２は、基本マスク画像ＭｓｋＬ０から切り出した箇所のサイズを、指定された倍率に従って拡大又は縮小する。これにより、調整部１３２は、基本マスク画像ＭｓｋＬ０のうち出力視野に含まれる車両Ｍ１を表す部分を、表示部ＤＳＰＬの解像度で表すマスク画像ＭｓｋＬを生成し、生成したマスク画像ＭｓｋＬを合成部１３３に渡す。
【００４９】
合成部１３３は、調整部１３２から受けたマスク画像ＭｓｋＬを変換部１４から受けた画像ＧＬａに重畳することで、第２画像ＧＬ２として、出力視野に対応する画像ＧＬａのうち車両Ｍ１を表す部分がマスク画像ＭｓｋＬに置き換えられた合成画像を生成する。合成部１３３によって生成された第２画像ＧＬ２は、表示部ＤＳＰＬに渡され、表示部ＤＳＰＬによって表示される。
【００５０】
図７は、出力視野に含まれる被写体を表す画像ＧＬａとマスク画像ＭｓｋＬとの合成例を示す。図７（Ａ）は、図６に示した生成部１２ａによって生成される基本マスク画像ＭｓｋＬ０の例を示す。図７（Ｂ）は、図６に示したカメラＣＬによって撮影された画像、即ち、入力視野に含まれる被写体を表す画像ＧＬ１の例を示す。図７（Ｃ）は、図７（Ａ）に示した基本マスク画像ＭｓｋＬ０から、図６に示した調整部１３２によって生成されるマスク画像ＭｓｋＬの例を示す。図７（Ｄ）は、図７（Ｂ）に示した画像ＧＬ１から、図６に示した変換部１４による変換で生成される変換後の画像ＧＬａの例を示す。そして、図７（Ｅ）は、図７（Ｃ）に示したマスク画像ＭｓｋＬを、図７（Ｄ）に示した変換後の画像ＧＬａに重畳することで得られる第２画像ＧＬ２の例を示す。
【００５１】
図７（Ａ）において実線で示した矩形Ａｉ１は、図６に示したカメラＣＬで撮影される入力視野を示し、破線で示した矩形Ａｍ１は、図６に示した設定情報Ｄｂで示される出力視野に対応付けられる領域を示す。また、図７（Ａ）に示した点Ｑｓ，点Ｑｅのそれぞれは、設定情報Ｄｂに出力視野の位置を示す情報として含まれる座標で示される画素を示す。なお、図７（Ａ）の例において、設定情報Ｄｂで示される出力視野に対応付けられる領域Ａｍ１は、縦Ｈ１画素×横Ｗ１画素の領域である。また、図７（Ａ）において領域Ａｉ１及び領域Ａｍ１の境界を示す矩形は、基本マスク画像ＭｓｋＬ０と、領域Ａｉ１で示される入力視野及び領域Ａｍ１で示される出力視野との位置関係を示すためのものである。即ち、領域Ａｉ１及び領域Ａｍ１の境界を示す矩形は、生成部１２ａで生成される基本マスク画像ＭｓｋＬ０には含まれない。
【００５２】
図６に示した調整部１３２は、図７（Ａ）に示した基本マスク画像ＭｓｋＬ０のうち、領域Ａｍ１の内部に含まれる部分を切り出す。そして、調整部１３２は、基本マスク画像ＭｓｋＬ０から切り出した部分を、例えば、設定情報Ｄｂで指定された倍率に従って拡大又は縮小することで、図７（Ｃ）に示すマスク画像ＭｓｋＬを生成する。
【００５３】
図７（Ｃ）に破線で示した矩形Ａｍ２は、図７（Ａ）に示した領域Ａｍ１を設定情報Ｄｂで指定された倍率に従って拡大又は縮小することで得られる領域を示す。なお、図７（Ｃ）に示した領域Ａｍ２の横幅Ｗ２は、図７（Ａ）に示した領域Ａｍ１の横幅Ｗ１に設定情報Ｄｂで示された倍率を乗じた値であり、図６に示した表示部ＤＳＰＬの横方向の画素数に相当する。同様に、図７（Ｃ）に示した領域Ａｍ２の高さＨ２は、図７（Ａ）に示した領域Ａｍ１の高さＨ１に設定情報Ｄｂで示された倍率を乗じた値であり、図６に示した表示部ＤＳＰＬの縦方向の画素数に相当する。なお、図７（Ｃ）に示した領域Ａｍ２の境界を示す矩形は、領域Ａｍ１で示される出力視野とマスク画像ＭｓｋＬとの位置関係を示すためのものであり、調整部１３２によって生成されるマスク画像ＭｓｋＬには含まれない。
【００５４】
図７（Ｂ）において破線で示した矩形Ａｃ１は、カメラＣＬで撮影された画像ＧＬ１において、図６に示した設定情報Ｄｂで示される出力視野に対応付けられる領域であり、図６に示した変換部１４により画像ＧＬ１から切り出される領域を示す。なお、図７（Ｂ）に示した点Ｑｓ，点Ｑｅのそれぞれは、設定情報Ｄｂに出力視野の位置を示す情報として含まれる座標で示される画素を示す。また、図７（Ｂ）の例において、変換部１４により、画像ＧＬ１から切り出される領域は、縦Ｈ１画素×横Ｗ１画素の領域である。また、図７（Ｂ）において領域Ａｃ１の境界を示す矩形は、画像ＧＬ１と、領域Ａｃ１で示される出力視野との位置関係を示すためのものであり、画像ＧＬ１には含まれない。
【００５５】
図７（Ｂ）に示した領域Ａｃ１の画像を、変換部１４により、設定情報Ｄｂで指定された倍率に従って拡大又は縮小することで、図７（Ｄ）に示す画像ＧＬａが生成される。なお、図７（Ｄ）に示した画像ＧＬａの横幅Ｗ２は、図７（Ｂ）に示した領域Ａｃ１の横幅Ｗ１に設定情報Ｄｂで示された倍率を乗じた値であり、図６に示した表示部ＤＳＰＬの横方向の画素数に相当する。同様に、図７（Ｄ）に示した画像ＧＬａの高さＨ２は、図７（Ｂ）に示した領域Ａｃ１の高さＨ１に設定情報Ｄｂで示された倍率を乗じた値であり、図６に示した表示部ＤＳＰＬの縦方向の画素数に相当する。
【００５６】
そして、図６に示した重畳部１３３により、図７（Ｃ）に示したマスク画像ＭｓｋＬを、図７（Ｄ）に示した変換後の画像ＧＬａに重畳することで、図７（Ｅ）に示す第２画像ＧＬ２が生成される。
【００５７】
図７を用いて説明したように、図６に示した画像表示装置１０ａの生成部１２ａは、設定情報Ｄｂで指定される出力視野にかかわらず、カメラＣＬで撮影される入力視野に含まれる車両Ｍ１を表す基本マスク画像ＭｓｋＬ０を生成する。したがって、重畳部１３ａに含まれる調整部１３２は、設定情報Ｄｂで示される出力視野の変更に応じて、基本マスク画像ＭｓｋＬ０から切り出す範囲を変更することで、所望の出力視野に対応するマスク画像ＭｓｋＬを生成することができる。
【００５８】
図８は、図６に示した画像表示装置１０ａの動作を示す。例えば、図８に示す処理は、画像表示装置１０ａに搭載されたプロセッサが画像表示プログラムを実行することで実現される。なお、図８に示す処理は、画像表示装置１０ａに搭載されるハードウェアによって実行されてもよい。また、図８に示す処理のうち、図４に示した処理と同等のものは、同一の符号で示すとともに処理の説明を省略する場合がある。
【００５９】
ステップＳ３１１において、図６に示した生成部１２ａは、例えば、カメラ制御部ＣＴＬからカメラＣＬの向きやカメラＣＬに含まれるレンズの焦点距離などで決定される入力視野を示す視野情報Ｄａを受ける。
【００６０】
ステップＳ３１２において、生成部１２ａは、ステップＳ３１１の処理で受けた視野情報Ｄａが、以前に基本マスク画像ＭｓｋＬ０を生成した際に用いた視野情報から変更されているか否かを判定する。
【００６１】
ステップＳ３１２を最初に実行する場合及び視野情報Ｄａに変更がある場合に（ステップＳ３１２の肯定判定（ＹＥＳ））、生成部１２ａは、ステップＳ３０１の処理に進む。一方、視野情報Ｄａに変更がない場合に（ステップＳ３１２の否定判定（ＮＯ））、生成部１２ａによるステップＳ３０１の処理は省略され、処理は、ステップＳ３１３に移行する。
【００６２】
ステップＳ３０１において、生成部１２ａは、ステップＳ３１１の処理で受けた視野情報Ｄａと車両モデルＭＤＬに含まれる情報とに基づいて、カメラＣＬの視野に含まれる車両Ｍ１（図１参照）を表す基本マスク画像ＭｓｋＬ０を生成する。生成された基本マスク画像ＭｓｋＬ０は、図６に示したマスク保持部１３１に保持される。
【００６３】
ステップＳ３１３において、図６に示した変換部１４および重畳部１３ａに含まれる調整部１３２は、出力視野を特定する情報及び出力視野に含まれる各画素と表示部ＤＳＰＬの各画素との対応関係を示す設定情報Ｄｂを受ける。
【００６４】
ステップＳ３１４において、変換部１４は、図７で説明したように、設定情報Ｄｂに基づき、カメラＣＬで撮影された画像ＧＬ１から出力視野に対応する領域Ａｃ１の画像を切り出し、切り出した画像の各画素を表示部ＤＳＰＬの画素に対応付ける変換を行う。
【００６５】
ステップＳ３１５において、調整部１３２は、ステップＳ３１３の処理で受けた設定情報Ｄｂの内容が、以前に受けた設定情報Ｄｂの内容から変更されているか否かを判定する。
【００６６】
ステップＳ３１５を最初に実行する場合及び設定情報Ｄｂに変更がある場合に（ステップＳ３１５の肯定判定（ＹＥＳ））、調整部１３２は、ステップＳ３１６の処理に進む。一方、設定情報Ｄｂに変更がない場合に（ステップＳ３１５の否定判定（ＮＯ））、調整部１３２によるステップＳ３１６の処理は省略され、処理は、ステップＳ３１７に移行する。
【００６７】
ステップＳ３１６において、調整部１３２は、設定情報Ｄｂに基づき、基本マスク画像ＭｓｋＬ０にて出力視野に相当する領域Ａｍ１内の画像を切り出し、切り出した画像を指定された対応関係を用いて変換することで、マスク画像ＭｓｋＬを生成する。例えば、設定情報Ｄｂにより、出力視野の各画素と表示部ＤＳＰＬの各画素との対応関係として縦方向及び横方向の倍率が指定された場合に、調整部１３２は、指定された倍率を用いて拡大又は縮小することで、図７（Ｃ）に示したマスク画像ＭｓｋＬを生成する。そして、調整部１３２は、生成したマスク画像ＭｓｋＬを、調整部１３２の内部のメモリに保持するとともに合成部１３３に渡す。なお、ステップＳ３１６の処理が省略される場合に、調整部１３２は、以前の処理で調整部１３２の内部のメモリに保持したマスク画像ＭｓｋＬを読み出し、読み出したマスク画像ＭｓｋＬを合成部１３３に渡す。
【００６８】
ステップＳ３１７において、合成部１３３は、変換部１４から受けた変換後の画像ＧＬａに、調整部１３２から受けたマスク画像ＭｓｋＬを重畳することで第２画像ＧＬ２を生成し、生成した第２画像ＧＬ２を表示部ＤＳＰＬに渡す。
【００６９】
そして、ステップＳ３０３において、表示部ＤＳＰＬは、ステップＳ３１７の処理でマスク画像ＭｓｋＬを重畳することで生成された第２画像ＧＬ２を表示し、車両Ｍ１の後側方を表す情報として運転者Ｐ１に提供する。
【００７０】
図６から図８を用いて説明した画像表示装置１０ａの生成部１２ａは、入力視野において出力視野が占める位置や大きさにかかわらず、カメラＣＬの視野である入力視野に含まれる車両Ｍ１を表す基本マスク画像ＭｓｋＬ０を生成する。したがって、重畳部１３ａに含まれる調整部１３２は、マスク保持部１３１に保持された基本マスク画像ＭｓｋＬ０から切り出す範囲を設定情報Ｄｂに基づいて変更することで、所望の出力視野に対応するマスク画像ＭｓｋＬを生成することができる。即ち、カメラＣＬの向きや画角などの変更により入力視野が変化しない限り、調整部１３２は、以前の生成処理でマスク保持部１３１に保持された基本マスク画像ＭｓｋＬ０を用いて、出力視野に含まれる車両Ｍ１を表すマスク画像ＭｓｋＬを生成することができる。
【００７１】
ここで、生成部１２ａにおいて視野情報Ｄａ及び車両モデルＭＤＬを用いて基本マスク画像ＭｓｋＬ０を生成する処理に比べて、調整部１３２により、基本マスク画像ＭｓｋＬ０から出力視野に応じたマスク画像ＭｓｋＬを生成する処理の処理量は少ない。したがって、図６に示した画像表示装置１０ａは、出力視野が変更される毎に出力視野に応じたマスク画像ｍｓｋＬを生成する場合に比べて、運転者Ｐ１によって指定された出力視野を見やすく表示する第２画像ＧＬ２を高速に生成することができる。
【００７２】
ところで、図８にステップＳ３１３〜ステップＳ３１６で示した入力視野に対応する画像ＧＬ１及び基本マスク画像ＭｓｋＬ０を出力視野に応じて変換する処理と、ステップＳ３１７の車両Ｍ１を表す画像をマスクする処理とは順序を交換して実行してもよい。以下に、入力視野に対応する画像ＧＬ１及び基本マスク画像ＭｓｋＬ０を出力視野に応じて変換する処理に先立って、車両Ｍ１を表す画像をマスクする処理を実行する画像表示装置の例を説明する。
【００７３】
図９は、画像表示装置の別実施形態を示す。なお、図９に示す構成要素のうち、図１または図６に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。
【００７４】
図９に示した画像表示装置１０ｂは、車両モデルＭＤＬと、生成部１２ｂと、重畳部１３ｂと、表示部ＤＳＰＬと、制御部Ｄｐｒｂとを含んでいる。図９に示した重畳部１３ｂは、図６に示した重畳部１３ａに相当する構成要素であり、マスク保持部１３１と、合成部１３３ｂと、変換部１３４とを含んでいる。
【００７５】
図９に示した制御部Ｄｐｒｂは、運転者Ｐ１から、カメラＣＬの向き及びカメラＣＬに含まれるレンズの画角などを変更させる指示を受けた場合に、受けた指示に基づいて、カメラＣＬの視野を変更するための制御をカメラ制御部ＣＴＬに実行させる。そして、制御部Ｄｐｒｂは、運転者Ｐ１から受けた指示に基づいて、指示に応じて変更されたカメラＣＬの視野を示す視野情報Ｄａを生成し、生成した視野情報Ｄａを生成部１２ｂに渡す。また、制御部Ｄｐｒｂは、図６に示した制御部Ｄｐｒと同様に、カメラＣＬの視野である入力視野において、例えば、表示部ＤＳＰＬに表示させる範囲として運転者Ｐ１により指定された出力視野の位置を示す情報を含む設定情報Ｄｂを生成する。そして、生成した設定情報Ｄｂを、図９に示した重畳部１３ｂに含まれる変換部１３４に渡す。
【００７６】
図９に示した生成部１２ｂは、図６に示した生成部１２ａに相当する構成要素であり、制御部Ｄｐｒｂから受けた視野情報Ｄａと車両モデルＭＤＬとに基づいて、カメラＣＬの視野に含まれる車両Ｍ１（図１参照）を表す基本マスク画像ＭｓｋＬ０を生成する。生成部１２ｂで生成された基本マスク画像ＭｓｋＬ０は、図９に示した重畳部１３ｂに含まれるマスク保持部１３１に保持される。
【００７７】
図９に示した重畳部１３ｂにおいて、合成部１３３ｂは、図１０で説明するように、カメラＣＬから受けた画像ＧＬ１に、マスク保持部１３１に保持された基本マスク画像ＭｓｋＬ０を重畳することで、合成画像ＧＬｂを生成する。合成部１３３ｂで生成された合成画像ＧＬｂは、図９に示した変換部１３４に渡される。
【００７８】
変換部１３４は、図１０で説明するように、制御部Ｄｐｒｂから受けた設定情報Ｄｂで指定された位置を基準として合成画像ＧＬｂから出力視野に対応付けられる領域の画像を切り出す。そして、変換部１３４は、切り出した画像に含まれる各画素を、設定情報Ｄｂで指定された対応関係に従って表示部ＤＳＰＬの表示画面の各画素に対応付ける変換を行う。例えば、設定情報Ｄｂにより、出力視野の各画素と表示部ＤＳＰＬの各画素との対応関係として、縦方向及び横方向の倍率が指定された場合に、変換部１３４は、切り出した画像を倍率に従って拡大又は縮小することで変換を行う。変換部１３４による設定情報Ｄｂに基づく変換で得られた画像は、設定情報Ｄｂで示される出力視野に含まれる車両Ｍ１等の被写体を表す第２画像ＧＬ２として表示部ＤＳＰＬに渡され、表示部ＤＳＰＬにより表示される。
【００７９】
図９に示した画像表示装置１０ｂの重畳部１３ｂにおいて、合成部１３３ｂは、入力視野に対応する画像ＧＬ１と同じく入力視野に対応する基本マスク画像ＭｓｋＬ０とを合成する。そして、合成部１３３ｂによる合成で得られた合成画像ＧＬｂに対して、変換部１３４により、設定情報Ｄｂで示される出力視野に含まれる被写体を表示部ＤＳＰＬの解像度で表示するための変換が行われる。即ち、画像表示装置１０ｂでは、合成部１３３ｂによる車両Ｍ１を表す画像をマスクする処理の後に、変換部１３４により、入力視野に対応する画像ＧＬ１及び基本マスク画像ＭｓｋＬ０を出力視野に応じて変換する処理が行われる。
【００８０】
図１０は、図９に示した合成部１３３ｂで生成される合成画像の例を示す。図１０（Ａ）は、図９に示した生成部１２ｂによって生成される基本マスク画像ＭｓｋＬ０の例を示す。図１０（Ｂ）は、図９に示したカメラＣＬによって撮影された画像、即ち、入力視野に含まれる被写体を表す画像ＧＬ１の例を示す。図１０（Ｃ）は、図９に示した合成部１３３ｂによって生成される合成画像ＧＬｂの例を示す。そして、図１０（Ｄ）は、図１０（Ｃ）に示した合成画像ＧＬｂを受けた場合に、図９に示した変換部１３４による変換で生成される第２画像ＧＬ２の例を示す。
【００８１】
図１０（Ａ）に示した基本マスク画像ＭｓｋＬ０及び図１０（Ｂ）に示した入力視野に含まれる被写体を表す画像ＧＬ１は、図７（Ａ），（Ｂ）のそれぞれに示した基本マスク画像ＭｓｋＬ０及び画像ＧＬ１と同等であるので説明を省略する。
【００８２】
図１０（Ｃ）の例は、図９に示した合成部１３３ｂにより、図１０（Ａ）に示した基本マスク画像ＭｓｋＬ０を、図１０（Ｂ）に示した画像ＧＬ１に重畳することで得られる合成画像ＧＬｂを示す。
【００８３】
図１０（Ｃ）において破線で示した矩形Ａｒ１は、合成部１３３ｂで生成された合成画像ＧＬｂにおいて、図９に示した設定情報Ｄｂで示される出力視野に対応付けられる領域である。また、図１０（ｃ）に示した点Ｑｓ，点Ｑｅのそれぞれは、設定情報Ｄｂに出力視野の位置を示す情報として含まれる座標で示される画素を示す。なお、図１０（Ｃ）において、領域Ａｒ１の境界を示す破線の矩形は、合成画像ＧＬｂにおける領域Ａｒ１の位置を示すためのものであり、合成画像ＧＬｂには含まれない。
【００８４】
図９に示した変換部１３４は、合成部１３３ｂから受けた合成画像ＧＬｂから、設定情報Ｄｂで示される点Ｑｓ，点Ｑｅの座標に基づいて、図１０（Ｃ）に示した領域Ａｒ１の画像を切り出す。なお、図１０（ｃ）の例において、変換部１３４により、合成画像ＧＬｂから切り出される領域は、縦Ｈ１画素×横Ｗ１画素の領域である。
【００８５】
そして、変換部１３４は、合成画像ＧＬｂから切り出した領域Ａｒ１の画像を、例えば、設定情報Ｄｂで指定された倍率に従って拡大又は縮小することで、図１０（Ｄ）に示す第２画像ＧＬ２を生成する。なお、図１０（Ｄ）に示した第２画像ＧＬ２の横幅Ｗ２は、図１０（Ｃ）に示した領域Ａｒ１の横幅Ｗ１に設定情報Ｄｂで示された倍率を乗じた値であり、図９に示した表示部ＤＳＰＬの横方向の画素数に相当する。同様に、図１０（Ｄ）に示した第２画像ＧＬ２の高さＨ２は、図１０（Ｃ）に示した領域Ａｒ１の高さＨ１に設定情報Ｄｂで示された倍率を乗じた値であり、図９に示した表示部ＤＳＰＬの縦方向の画素数に相当する。
【００８６】
図９及び図１０で説明した画像表示装置１０ｂの生成部１２ｂは、図６に示した生成部１２ａと同様に、入力視野で出力視野が占める位置や大きさにかかわらず、カメラＣＬの視野である入力視野に含まれる車両Ｍ１を表す基本マスク画像ＭｓｋＬ０を生成する。そして、重畳部１３ｂに含まれる合成部１３３ｂは、入力視野に対応する画像ＧＬ１と同じく入力視野に対応する基本マスク画像ＭｓｋＬ０とを合成することで、入力視野に含まれる車両Ｍ１が基本マスク画像ＭｓｋＬ０で覆い隠された合成画像ＧＬｂを生成する。したがって、重畳部１３ｂに含まれる変換部１３４は、合成画像ＧＬｂから切り出す範囲を設定情報Ｄｂに基づいて変更することで、図１０（Ｃ）の領域Ａｒ１のように、所望の出力視野に含まれる被写体のうち車両Ｍ１がマスクされた画像を得ることができる。即ち、カメラＣＬの向きや画角等の変更により入力視野が変化しない限り、変換部１３４は、以前に生成された基本マスク画像ＭｓｋＬ０を用いて合成された合成画像ＧＬｂから、出力視野に含まれる車両Ｍ１がマスクされた第２画像ＧＬ２を生成することができる。
【００８７】
図１１は、画像表示装置の別実施形態を示す。なお、図１１に示す構成要素のうち、図１及び図６に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。
【００８８】
図１１に示した画像表示装置１０ｃは、表示部ＤＳＰＬと、車両モデルＭＤＬと、生成部１２ｃと、重畳部１３ｃと、変換部１４と、制御部Ｄｐｒｃとを含んでいる。図１１に示した重畳部１３ｃは、図１に示した重畳部１３に相当する構成要素であり、マスク保持部１３１と、合成部１３３ｃとを含んでいる。
【００８９】
図１１に示した制御部Ｄｐｒｃは、図６に示した制御部Ｄｐｒに相当する構成要素であり、運転者Ｐ１から受けた指示に基づいて、視野情報Ｄａ及び設定情報Ｄｂを生成するとともに、カメラ制御部ＣＴＬを介してカメラＣＬの向き等を制御する。制御部Ｄｐｒｃで生成された視野情報Ｄａは、生成部１２ｃに渡される。また、制御部Ｄｐｒｃで生成された設定情報Ｄｂは、生成部１２ｃと変換部１４とに渡される。
【００９０】
更に、制御部Ｄｐｒｃは、例えば、車両Ｍ１（図１参照）に搭載されたナビゲーションシステムＮＡＶから、車両Ｍ１の位置及び車両Ｍ１の向きを示す位置情報Ｊ１を受ける。また、制御部Ｄｐｒｃは、車両Ｍ１に搭載された照度センサＳＮＣから、照度センサＳＮＣによる計測値を示す照度情報Ｊ２を、車両Ｍ１の周囲の明るさを示す第２情報として受ける。制御部Ｄｐｒｃは、受けた位置情報Ｊ１及び現在の時刻とに基づいて、例えば、車両Ｍ１の向きを基準として、車両Ｍ１を照明する光源の一例である太陽の方向を求める。ここで、制御部ＤｐｒｃがナビゲーションシステムＮＡＶから受ける位置情報Ｊ１は、ある時刻において、車両Ｍ１の向きを基準とした太陽の方向を一意に示す情報である。即ち、位置情報Ｊ１は、車両Ｍ１の外部にある光源と車両Ｍ１との相対位置を示す第１情報の一例である。そして、制御部Ｄｐｒｃは、位置情報Ｊ１に基づいて求めた太陽の方向と照度情報Ｊ２で示される周囲の明るさとを含む照明条件Ｄｃを生成し、生成した照明条件Ｄｃを生成部１２ｃに渡す。なお、制御部Ｄｐｒｃは、例えば、現在の時刻が日没後の時刻である場合に、位置情報Ｊ１に基づいて、太陽の方向を示す情報の代わりに月の方向及び月齢を示す情報を含む照明条件Ｄｃを生成し、生成した照明条件Ｄｃを生成部１２ｃに渡してもよい。
【００９１】
図１１に示した生成部１２ｃは、図１に示した生成部１２に相当する構成要素である。生成部１２ｃは、制御部Ｄｐｒｃから受けた視野情報Ｄａ及び設定情報Ｄｂと車両モデルＭＤＬとに基づき、カメラＣＬの視野内に設定された出力視野に含まれる車両Ｍ１を表すマスク画像ＭｓｋＬを、照明条件Ｄｃを用いて生成する。なお、生成部１２ｃにおいて、視野情報Ｄａ、設定情報Ｄｂ及び照明条件Ｄｃを反映して生成されるマスク画像ＭｓｋＬは、図１２において説明される。生成部１２ｂで生成されたマスク画像ＭｓｋＬは、図１１に示した重畳部１３ｃに含まれるマスク保持部１３１に保持される。
【００９２】
図１１に示した変換部１４は、図６に示した変換部１４と同様に、カメラＣＬで撮影された画像ＧＬ１を受け、設定情報Ｄｂに基づいて、受けた画像ＧＬ１から出力視野に対応付けられる領域を切り出す。そして、変換部１４は、切り出した画像を、設定情報Ｄｂで指定された対応関係に基づいて変換することで、表示部ＤＳＰＬの解像度に合わせて変換された画像ＧＬａを生成し、生成した画像ＧＬａを、重畳部１３ｃの合成部１３３ｃに渡す。
【００９３】
図１１に示した重畳部１３ｃにおいて、合成部１３３ｃは、図１２で説明するように、変換部１４から受けた画像ＧＬａに、マスク保持部１３１に保持されたマスク画像ＭｓｋＬを重畳することで生成した合成画像を、第２画像ＧＬ２として表示部ＤＳＰＬに渡す。
【００９４】
図１２は、図１１に示した合成部１３３ｃで生成される合成画像の例を示す。なお、図１２に示す要素のうち、図７または図１０に示した要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。図１２（Ａ）は、図１１に示したカメラＣＬによって撮影された画像、即ち、入力視野に含まれる被写体を表す画像ＧＬ１の例を示す。図１２（Ｂ）は、図１２（Ａ）に示した画像ＧＬ１から、図１１に示した変換部１４による変換で生成される変換後の画像ＧＬａの例を示す。図１２（Ｃ）は、図１１に示した生成部１２ｃにより生成されるマスク画像ＭｓｋＬの例を示す。そして、図１２（Ｄ）は、図１２（Ｃ）に示したマスク画像ＭｓｋＬを、図１２（Ｂ）に示した変換後の画像ＧＬａに重畳することで得られる第２画像ＧＬ２の例を示す。
【００９５】
図１２（Ａ）において破線で示した矩形Ａｃ１は、カメラＣＬで撮影された画像ＧＬ１において、図１１に示した設定情報Ｄｂで示される出力視野に対応付けられる領域であり、図１１に示した変換部１４により画像ＧＬ１から切り出される領域を示す。なお、図１２（Ａ）に示した点Ｑｓ，点Ｑｅのそれぞれは、設定情報Ｄｂに出力視野の位置を示す情報として含まれる座標で示される画素を示す。また、図１２（Ａ）の例において、変換部１４により、画像ＧＬ１から切り出される領域は、縦Ｈ１画素×横Ｗ１画素の領域である。また、図１２（Ａ）において、領域Ａｃ１の境界を示す矩形は、画像ＧＬ１において出力視野に対応付けられる領域Ａｃ１の位置を示すためのものであり、画像ＧＬ１には含まれない。
【００９６】
図１２（Ａ）に示した領域Ａｃ１の画像を、変換部１４により、例えば、設定情報Ｄｂで指定された倍率に従って拡大又は縮小することで、図１２（Ｂ）に示す画像ＧＬａが生成される。なお、図１２（Ｂ）に示した画像ＧＬａの横幅Ｗ２は、図１２（Ａ）に示した領域Ａｃ１の横幅Ｗ１に設定情報Ｄｂで示された倍率を乗じた値であり、図１１に示した表示部ＤＳＰＬの横方向の画素数に相当する。同様に、図１２（Ｂ）に示した画像ＧＬａの高さＨ２は、図１２（Ａ）に示した領域Ａｃ１の高さＨ１に設定情報Ｄｂで示された倍率を乗じた値であり、図１１に示した表示部ＤＳＰＬの縦方向の画素数に相当する。
【００９７】
図１２（Ｃ）に示した矩形Ａｍ２は、設定情報Ｄｂで示される出力視野を示す。図１２（Ｃ）の例では、出力視野Ａｍ２は、縦Ｈ２画素×横Ｗ２画素の領域であり、出力領域Ａｍ２の横幅Ｗ２及び高さＨ２のそれぞれは、図１１に示した表示部ＤＳＰＬの表示画面の横幅及び高さに相当する。なお、図１２（Ｃ）において出力視野Ａｍ２の境界を示す矩形は、出力視野Ａｍ２におけるマスク画像ＭｓｋＬの位置を示すためのものであり、実際のマスク画像ＭｓｋＬには含まれない。
【００９８】
図１２（Ａ）と図１２（Ｃ）との比較から分かるように、図１２（Ｃ）に示したマスク画像ＭｓｋＬは、図１２（Ａ）に示した領域Ａｃ１に含まれる車両Ｍ１の形状、即ち、出力視野に含まれる車両Ｍ１の形状を表している。また、図１２（Ｃ）に示したマスク画像ＭｓｋＬは、図１１に示した生成部１２ｃにより、表示部ＤＳＰＬの表示画面と同等のサイズで出力視野Ａｍ２を表す解像度で生成される。即ち、図１１に示した生成部１２ｃによって生成されるマスク画像ＭｓｋＬは、入力視野に含まれる車両Ｍ１を表す基本マスク画像ＭｓｋＬ０の一部を拡大又は縮小することで生成される場合に比べて、高画質である。
【００９９】
また、図１２（Ｃ）に示したマスク画像ＭｓｋＬにおいて、符号ＨＬ１，ＨＬ２，ＨＬ３で示した領域は、図１１に示した照明条件Ｄｃで示される太陽の方向に基づく光線追跡により求められた、車両Ｍ１のボディによる太陽の反射像を示す。図１２（Ｃ）に示した反射像ＨＬ１，ＨＬ２，ＨＬ３を含むマスク画像ＭｓｋＬは、例えば、図７（Ｃ）に示したマスク画像ＭｓｋＬのように、太陽などの光源の位置を考慮しないで生成されたマスク画像に比べて、車両Ｍ１の立体感がリアルに表現されている。即ち、図１１に示した生成部１２ｃにより、太陽の方向を示す情報を含む照明条件Ｄｃを用いてマスク画像ＭｓｋＬを生成することで、図１２（Ｃ）に示すように、車両Ｍ１の立体感がリアルに表現されたマスク画像ＭｓｋＬを生成することができる。
【０１００】
更に、図１１に示した生成部１２ｃは、例えば、マスク画像ＭｓｋＬにおいて、車両Ｍ１のボディなどを表す領域に含まれる各画素の色を、車両モデルＭＤＬで示された塗料等の色と照明条件Ｄｃで示される周囲の明るさとに基づいて決定する。したがって、図１２（Ｃ）に示したマスク画像ＭｓｋＬの色には、照明条件Ｄｃで示される周囲の明るさが反映される。例えば、図１１に示した照度センサＳＮＣで計測された照度が日中の日向の明るさを示す場合に、生成部１２ｃで生成されるマスク画像ＭｓｋＬにおいて車両Ｍ１のボディを示す領域の色は、車両モデルＭＤＬで示される塗料の色に比べて明度値の高い色となる。一方、照度センサＳＮＣで計測された照度が日照のない状態を示す場合に、生成部１２ｃで生成されるマスク画像ＭｓｋＬにおいて車両Ｍ１のボディを示す領域の色は、車両モデルＭＤＬで示される塗料の色に比べて明度値の低い色となる。そして、照明条件Ｄｃで示される周囲の明るさを反映した色で車両Ｍ１のボディなどを表すことで、図１２（Ｃ）に示したマスク画像ＭｓｋＬは、車両モデルＭＤＬで示される塗料等の色をそのまま用いた場合に比べて、よりリアルに車両Ｍ１を表すことができる。
【０１０１】
そして、図１１に示した合成部１３３ｃにより、図１２（Ｃ）に示したマスク画像ＭｓｋＬを、図１２（Ｂ）に示した変換後の画像ＧＬａに重畳することで、図１２（Ｄ）に示す第２画像ＧＬ２が生成される。
【０１０２】
図１２（Ｃ）で説明したように、図１２（Ｄ）に示した第２画像ＧＬ２に含まれるマスク画像ＭｓｋＬは、例えば、図７（Ｃ）に示したマスク画像ＭｓｋＬに比べて高画質であり、かつ、車両Ｍ１をリアルに表現している。したがって、図１１に示した画像表示装置１０ｃは、車両Ｍ１をリアルに表現しながら、図２（Ｂ）に示した車両Ｍ１のボディなどへの映り込みＰＴ１がマスクされた第２画像ＧＬ２を、車両Ｍ１の後側方を示す情報として運転者Ｐ１に提供することができる。これにより、運転者Ｐ１は、図１から図１０で説明した画像表示装置１０，１０ａ，１０ｂから第２画像ＧＬ２の提供を受けた場合と同様に、映り込みＰＴ１などに煩わされることなく、車両Ｍ１の後側方の状況を把握することが可能である。更に、マスク画像ＭｓｋＬにより、太陽などの方向や周囲の明るさを考慮しない場合に比べてリアルに車両Ｍ１を表現することで、マスク画像ＭｓｋＬで表された車両Ｍ１を、運転者Ｐ１に車両Ｍ１として違和感なく認識させることができる。
【０１０３】
図１３は、図１１に示した画像表示装置１０ｃの動作を示す。例えば、図１３に示す処理は、画像表示装置１０ｃに搭載されたプロセッサが画像表示プログラムを実行することで実現される。なお、図１３に示す処理は、画像表示装置１０ｃに搭載されるハードウェアによって実行されてもよい。また、図１３に示す処理のうち、図４又は図８に示した処理と同等のものは、同一の符号で示すとともに処理の説明を省略する場合がある。
【０１０４】
ステップＳ３２１において、図１１に示した生成部１２ｃは、例えば、制御部Ｄｐｒｃから、図２で説明した視野情報Ｄａと図５で説明した設定情報Ｄｂとともに、太陽などの光源の方向及び周囲の明るさを示す照明条件Ｄｃを受ける。
【０１０５】
ステップＳ３２２において、生成部１２ｃは、受けた視野情報Ｄａ、設定情報Ｄｂ及び照明条件Ｄｃのそれぞれに含まれるパラメータの少なくとも一つが、以前にマスク画像ＭｓｋＬを生成した際に用いた値から変更されたか否かを判定する。
【０１０６】
ステップＳ３２２を最初に実行する場合及びパラメータの少なくとも一つに変更がある場合に（ステップＳ３２２の肯定判定（ＹＥＳ））、生成部１２ｃは、ステップＳ３２３の処理に進む。一方、いずれのパラメータにも変更がない場合に（ステップＳ３２２の否定判定（ＮＯ））、生成部１２ｃによるステップＳ３２３の処理は省略され、処理は、ステップＳ３１４に移行する。
【０１０７】
ステップＳ３２３において、生成部１２ｃは、ステップＳ３２１の処理で受けた視野情報Ｄａ，設定情報及び照明条件Ｄｃと車両モデルＭＤＬとに基づいて、カメラＣＬの視野内の出力視野に含まれる車両Ｍ１（図１参照）を表すマスク画像ＭｓｋＬを生成する。生成されたマスク画像ＭｓｋＬは、図１１に示したマスク保持部１３１に保持される。なお、ステップＳ３２３の処理が省略される場合に、以前にステップＳ３２３の処理を実行した際にマスク保持部１３１に保持されたマスク画像ＭｓｋＬはそのまま維持され、以下で述べるステップＳ３１７の処理に用いられる。
【０１０８】
ステップＳ３１４において、変換部１４は、設定情報Ｄｂに基づいて、図１２で説明したようにして、カメラＣＬで撮影された画像ＧＬ１から出力視野に対応する領域Ａｃ１の画像を切り出し、切り出した画像を、指定された対応関係を用いて変換する。
【０１０９】
ステップＳ３１７において、合成部１３３ｃは、変換部１４から受けた変換後の画像ＧＬａに、マスク保持部１３１に保持されたマスク画像ＭｓｋＬを重畳することで第２画像ＧＬ２を生成し、生成した第２画像ＧＬ２を表示部ＤＳＰＬに渡す。
【０１１０】
そして、ステップＳ３０３において、表示部ＤＳＰＬは、ステップＳ３１７の処理でマスク画像ＭｓｋＬを重畳することで生成された第２画像ＧＬ２を表示し、車両Ｍ１の後側方を表す情報として運転者Ｐ１に提供する。
【０１１１】
以上に説明した本件開示の画像表示装置は、例えば、車両に搭載される車載コンピュータなどのコンピュータ装置を用いて実現することができる。
【０１１２】
図１４は、図１１に示した画像表示装置１０ｃのハードウェア構成例を示す。なお、図１４に示した構成要素のうち、図１１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１１３】
図１４に示したコンピュータ装置２０は、プロセッサ２１と、メモリ２２と、ストレージ装置２３と、表示制御部２４と、カメラインタフェース２５と、汎用インタフェース２６とを含んでいる。更に、コンピュータ装置２０は、表示制御部２４に接続された２つの表示部ＤＳＰＬ，ＤＳＰＲと、入力装置２７と、光学ドライブ装置２８とを含んでいる。図１４に示したプロセッサ２１、メモリ２２、ストレージ装置２３、表示制御部２４、表示部ＤＳＰＬ，ＤＳＰＲ及びカメラインタフェース２５は、画像表示装置１０ｃに含まれる。また、プロセッサ２１、メモリ２２、ストレージ装置２３、表示制御部２４、カメラインタフェース２５、汎用インタフェース２６、入力装置２７および光学ドライブ装置２８は、バスを介して互いに接続されている。
【０１１４】
また、図１４に示したコンピュータ装置１０ｃは、カメラインタフェース２５を介して、例えば、図２（Ａ）に示したように、車両Ｍ１の左右の側面のそれぞれに設置された２台のカメラＣＬ，ＣＲが接続されている。なお、カメラＣＬ，ＣＲのそれぞれは、図２（Ａ）で説明したように、車両Ｍ１の後側方を撮影可能な方向に向けて位置決めされている。
【０１１５】
図１４に示した表示部ＤＳＰＲは、例えば、液晶ディスプレイなどであり、図１に示した車両Ｍ１において、ハンドルＨ１の右側などに配置される。表示部ＤＳＰＲは、カメラＣＲで撮影された車両Ｍ１の右側の後側方の画像の少なくとも一部を表示する表示部の一例であり、図１１に示した表示部ＤＳＰＬと同等の解像度で画像を表示し、運転者Ｐ１に提供する機能を有している。
【０１１６】
図１４に示した入力装置２７は、例えば、車両Ｍ１のダッシュボードなどに設けられたタッチパネルなどである。車両Ｍ１の運転者Ｐ１は、入力装置２７を操作することにより、例えば、カメラＣＬ，ＣＲの向きや図２（Ａ）で説明した画角ＲＬ，ＲＲを設定する指示や、カメラＣＬ，ＣＲの視野の中で表示部ＤＳＰＬ，ＤＳＰＲに表示させる範囲を指定する指示を入力する。
【０１１７】
図１４に示した汎用インタフェース２６は、例えば、ＵＳＢ（Universal Serial Bus）規格に基づいて情報の授受を行うインタフェース機器である。コンピュータ装置２０は、汎用インタフェース２６を介して、カメラＣＬ，ＣＲの向きや焦点距離などを制御するカメラ制御部ＣＴＬと、車両Ｍ１に搭載されたナビゲーションシステムＮＡＶ及び照度センサＳＮＣに接続されている。
【０１１８】
また、図１４に示した光学ドライブ装置２８は、光ディスクなどのリムーバブルディスク２９を装着可能であり、装着したリムーバブルディスク２９に記録された情報の読出およびリムーバブルディスク２９への情報の記録を行う。
【０１１９】
図１４に示したメモリ２２は、コンピュータ装置２０のオペレーティングシステムとともに、例えば、図１３に示した画像表示処理をプロセッサ２１が実行するためのアプリケーションプログラムを格納している。なお、図１３に示した画像表示処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク２９に記録して頒布することができる。そして、リムーバブルディスク２９を光学ドライブ装置２８に装着して読み込み処理を行うことにより、図１３に示した画像表示処理を実行するためのアプリケーションプログラムは、メモリ２２およびストレージ装置２３に格納されてもよい。また、車両Ｍ１の３次元的な形状を表す車両モデルＭＤＬは、図１３に示した画像表示処理を実行するためのアプリケーションプログラムがメモリ２２又はストレージ装置２３に格納される際に、例えば、ストレージ装置２３に格納される。
【０１２０】
そして、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図１１に示した生成部１２ｃ、重畳部１３ｃ、変換部１４及び制御部Ｄｐｒｃの機能を果たしてもよい。
【０１２１】
例えば、プロセッサ２１は、入力装置２７を介して受けた運転者Ｐ１からの指示に基づいて、カメラＣＬ，ＣＲのそれぞれで撮影される範囲を示す視野情報Ｄａ及び表示部ＤＳＰＬ，ＤＳＰＲのそれぞれで表示される出力視野を示す設定情報Ｄｂを生成する。プロセッサ２１は、入力装置２７を介して受けた運転者Ｐ１からの指示に基づいて、視野情報Ｄａ及び設定情報Ｄｂを生成する処理を行うことで、図１１に示した制御部Ｄｐｒｃの機能の一部を実現する。また、プロセッサ２１は、入力装置２７を介して受けた運転者Ｐ１からの指示のうち、カメラＣＬ，ＣＲの向き及び画角ＲＬ，ＲＲを設定する指示を、汎用インタフェース２６を介してカメラ制御部ＣＴＬに渡すことで、制御部Ｄｐｒｃの機能の別の一部を実現する。なお、入力装置２６を介して受けた運転者Ｐ１からの指示に基づいて、視野情報Ｄａ及び設定情報Ｄｂを生成する処理を実行するためのプログラムは、画像表示処理を実行するためのアプリケーションプログラムに含まれる。
【０１２２】
また、プロセッサ２１は、汎用インタフェース２６を介してナビゲーションシステムＮＡＶから車両Ｍ１の位置及び向きを示す位置情報Ｊ１を受け、受けた位置情報Ｊ１に基づいて、太陽などの光源と車両Ｍ１との相対位置を算出する。更に、プロセッサ２１は、汎用インタフェース２６を介して照度センサＳＮＣから車両Ｍ１の周囲の明るさを示す照度情報Ｊ２を受ける。そして、プロセッサ２１は、太陽などの光源と車両Ｍ１との相対位置を示す情報と車両Ｍ１の周囲の明るさを示す情報とを含む照明条件Ｄｃを生成することで、図１１に示した制御部Ｄｐｒｃの機能の別の一部を実現する。なお、ナビゲーションシステムＮＡＶから受けた位置情報Ｊ１及び照度センサＳＮＣの計測値を示す照度情報Ｊ２とに基づいて、照明条件Ｄｃを生成する処理を実行するためのプログラムは、画像表示処理を実行するためのアプリケーションプログラムに含まれる。
【０１２３】
そして、プロセッサ２１は、生成した視野情報Ｄａ、設定情報Ｄｂ及び照明条件Ｄｃと、ストレージ装置２３に格納された車両モデルＭＤＬとに基づいて、図１３に示したステップＳ３２３の処理を実行することで、図１１に示した生成部１２ｃの機能を実現する。プロセッサ２１は、ステップＳ３２３の処理を実行することで、図１２（Ｃ）に示したマスク画像ＭｓｋＬとともに、車両Ｍ１の右側面のうち設定情報Ｄｂで示された出力視野に含まれる部分を、表示部ＤＳＰＲで表示可能な解像度で表すマスク画像を生成する。つまり、プロセッサ２１は、ステップＳ３２３の処理を実行することで、車両Ｍ１の左右の側面のそれぞれに対応するマスク画像を生成する。そして、プロセッサ２１により生成された２つのマスク画像は、メモリ２２あるいはストレージ装置２３に格納される。
【０１２４】
また、プロセッサ２１は、カメラインタフェース２５を介して、例えば、所定の時間毎にカメラＣＬ，ＣＲで撮影された画像ＧＬ１，ＧＲ１を受ける。そして、画像ＧＬ１，ＧＲ１を受ける毎に、図１３に示したステップＳ３１４の処理を実行することで、図１１に示した変換部１４の機能を実現し、画像ＧＬ１、ＧＲ１を設定情報Ｄｂで示される出力視野に応じて変換する。
【０１２５】
プロセッサ２１は、図１３に示したステップＳ３１７において、ステップＳ３１４の処理で画像ＧＬ１，ＧＲ１を変換して得られる画像のそれぞれに、車両Ｍ１の左右の側面のそれぞれに対応するマスク画像を重畳することで、重畳部１３ｃの機能を実現する。プロセッサ２１は、ステップＳ３１７の処理において、メモリ２２又はストレージ装置２３に、車両Ｍ１の左側と右側とのそれぞれに対応して格納されたマスク画像を用いる。これにより、図１２（Ｄ）に示した第２画像ＧＬ２が生成されるとともに、カメラＣＲで撮影された画像ＧＲ１をステップＳ３１４の処理で変換することで得られた画像に、車両Ｍ１の右側面を表すマスク画像を重畳した第２画像ＧＲ２が生成される。プロセッサ２１がステップＳ３１７の処理を実行することで生成される第２画像ＧＲ２は、図１２（Ｄ）に示した第２画像ＧＬ２と同様に、車両Ｍ１のボディなどへの映り込みを含まないこと以外は、車両Ｍ１及び車両Ｍ１の後側方をリアルに表現する画像である。
【０１２６】
そして、プロセッサ２１は、ステップＳ３１７において、画像ＧＬ１，ＧＲ１からそれぞれ生成した第２画像ＧＬ２，ＧＲ２を、表示制御部２４を介して表示部ＤＳＰＬ，ＤＳＰＲに表示させることで、運転者Ｐ１に後側方の情報を提供する。
【０１２７】
つまり、図１１に示した画像表示装置１０ｃは、図１４に示したコンピュータ装置２０に含まれるプロセッサ２１と、メモリ２２と、ストレージ装置２３と、表示制御部２４と、表示部ＤＳＰＬ，ＤＳＰＲ及びカメラインタフェース２５の協働によって実現される。
【０１２８】
以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で、前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更を容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【０１２９】
以上の説明に関して、更に、以下の各項を開示する。
(付記１)  車両の側面に前記車両の後方及び側方を撮影する向きに設置されたカメラにより撮影された第１画像の少なくとも一部を前記車両を運転する運転者に対して表示する表示部と、
前記車両の外形形状を表す外形情報と、前記カメラで撮影される範囲である入力視野を示す視野情報とに基づいて、前記入力視野に含まれる前記車両の一部を表すマスク画像を生成する生成部と、
前記第１画像に前記生成部によって生成された前記マスク画像を重ね合わせることで、前記第１画像に含まれる前記車両の一部を表す画像に代えて前記マスク画像を含む第２画像を生成し、生成した前記第２画像を前記表示部に表示させる重畳部と
を備えたことを特徴とする画像表示装置。
(付記２)  付記１に記載の画像表示装置において、
前記表示部は、前記入力視野の一部として指定される出力視野に含まれる被写体の画像を表示し、
前記画像表示装置は、更に、
前記入力視野における前記出力視野の位置及び前記出力視野の画像に含まれる各画素と前記表示部に含まれる各画素との対応関係を示す設定情報を受け、前記設定情報で指定された位置を基準として前記第１画像から切り出した前記出力視野に含まれる画像を、前記設定情報で指定された指定された対応関係に基づいて変換する変換部を有し、
前記重畳部は、
前記設定情報で指定された位置を基準として、前記生成部で生成された前記マスク画像のうち前記出力視野に含まれる箇所を切り出し、切り出した箇所のサイズに対して、前記設定情報で指定された対応関係に基づく変換を行うことで、調整されたマスク画像を生成する調整部と、
前記調整部でサイズが調整された後の前記マスク画像を、前記変換部による変換後の画像に重ね合わせることで合成画像を生成する合成部とを有し、
前記合成部で得られる前記合成画像を前記第２画像として前記表示部に表示させる
ことを特徴とする画像表示装置。
（付記３）  付記１に記載の画像表示装置において、
前記表示部は、前記入力視野の一部として指定される出力視野に含まれる被写体の画像を表示し、
前記画像表示装置は、更に、
前記重畳部は、
前記第１画像に、前記生成部によって生成された前記マスク画像を重ね合わせることで合成画像を生成する合成部と、
前記入力視野における前記出力視野の位置及び前記出力視野の画像に含まれる各画素と前記表示部に含まれる各画素との対応関係を示す設定情報を受け、前記設定情報で指定された位置を基準として前記合成画像から切り出した画像を、前記設定情報で指定された対応関係に基づいて変換する変換部とを有し、
前記変換部による変換後の画像を前記第２画像として前記表示部に表示させる
ことを特徴とする画像表示装置。
（付記４）  付記１に記載の画像表示装置において、
前記表示部は、前記入力視野の一部として指定される出力視野に含まれる被写体の画像を表示し、
前記画像表示装置は、更に、
前記入力視野における前記出力視野の位置及び前記出力視野の画像に含まれる各画素と前記表示部に含まれる各画素との対応関係を示す設定情報を受け、前記設定情報で指定された位置を基準として前記第１画像から切り出した画像を、前記設定情報で指定された対応関係に基づいて変換する変換部を有し、
前記生成部は、前記設定情報と前記視野情報とに基づいて、前記設定情報で指定された対応関係で前記表示部の画素への対応付けが特定される画素の集合により、前記外形情報で示される形状を持つ前記車両を前記視野情報で示される向きで撮影した場合に前記出力視野に含まれることが予想される前記車両の一部を表す画像を前記マスク画像として生成し、
前記重畳部は、前記変換部による変換後の画像に、前記生成部で生成された前記マスク画像を重ね合わせることで前記第２画像を生成する
ことを特徴とする画像表示装置。
（付記５）  付記１乃至付記４のいずれか一に記載の画像表示装置において、
前記生成部は、
前記車両の外部にある光源と前記車両との相対位置を示す第１情報を受け、前記第１情報で示される前記光源に照明される前記車両を表す前記マスク画像を生成する
ことを特徴とする画像表示装置。
（付記６）  付記１乃至付記５のいずれか一に記載の画像表示装置において、
前記生成部は、
前記車両の周囲の明るさを示す第２情報を受け、前記車両の周囲の明るさが前記第２情報で示される明るさである場合の前記車両を表す前記マスク画像を生成する
ことを特徴とする画像表示装置。
（付記７）  車両の外形形状を表す外形情報と、前記車両の側面に前記車両の後方及び側方を撮影する向きに設置されたカメラで撮影される範囲である入力視野を示す視野情報とに基づいて、前記入力視野に含まれる前記車両の一部を表すマスク画像を生成し、
前記カメラにより撮影された第１画像に、生成された前記マスク画像を重ね合わせることで、前記第１画像に含まれる前記車両の一部を表す画像に代えて前記マスク画像を含む第２画像を生成し、
生成した前記第２画像を、前記車両を運転する運転者に対向して設けられた表示部に表示させる
ことを特徴とする画像表示方法。
（付記８）  車両の外形形状を表す外形情報と、前記車両の側面に前記車両の後方及び側方を撮影する向きに設置されたカメラで撮影される範囲である入力視野を示す視野情報とに基づいて、前記入力視野に含まれる前記車両の一部を表すマスク画像を生成し、
前記カメラにより撮影された第１画像に、生成された前記マスク画像を重ね合わせることで、前記第１画像に含まれる前記車両の一部を表す画像に代えて前記マスク画像を含む第２画像を生成し、
生成した前記第２画像を、前記車両を運転する運転者に対向して設けられた表示部に表示させる、
処理をコンピュータに実行させることを特徴とする画像表示プログラム。
【符号の説明】
【０１３０】
１０，１０ａ，１０ｂ，１０ｃ…画像表示装置；１２，１２ａ，１２ｂ，１２ｃ…生成部；１３，１３ａ，１３ｂ，１３ｃ…重畳部；１４，１３４…変換部；１３１…マスク保持部；１３２…調整部；１３３，１３３ｂ…合成部；２１…プロセッサ；２２…メモリ；２３…ストレージ装置；２４…表示制御部；２５…カメラインタフェース；２６…汎用インタフェース；２７…入力装置；２８…光学ドライブ装置；２９…リムーバブルディスク；Ｍ１…車両；Ｐ１…運転者；ＣＬ，ＣＲ…カメラ；ＤＳＰＬ，ＤＳＰＲ…表示部；ＣＴＬ…カメラ制御部；Ｄｐｒ，Ｄｐｒｂ、Ｄｐｒｃ…制御部；ＭＤＬ…車両モデル；ＮＡＶ…ナビゲーションシステム；ＳＮＣ…照度センサ
【図１】
2015201680.tif 000003
【図４】
2015201680.tif 000004
【図５】
2015201680.tif 000005
【図６】
2015201680.tif 000006
【図８】
2015201680.tif 000007
【図９】
2015201680.tif 000008
【図１１】
2015201680.tif 000009
【図１３】
2015201680.tif 000010
【図１４】
2015201680.tif 000011
【図２】
2015201680.tif 000012
【図３】
2015201680.tif 000013
【図７】
2015201680.tif 000014
【図１０】
2015201680.tif 000015
【図１２】
2015201680.tif 000016