(57)【特許請求の範囲】
【請求項１】
車体の後端部が写る方向から車両後方の水平方向よりも上方までを撮像範囲とする撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、表示装置に表示される表示画像、を生成する画像生成部と、
車両の前進時と後退時とで、前記撮像画像のうち前記表示画像に含まれる範囲を変更する範囲変更部と、
前記表示画像が表示されるよう前記表示装置を制御する表示制御部と、
を備え、
前記画像生成部は、室内画像を透過画像として前記車外画像に重畳して前記表示画像を生成するとともに、前記室内画像の透過度を車両の進行方向に応じて変更し、
前記範囲変更部は、車両の前進時における前記範囲の左右方向の長さを、車両の後退時における前記範囲の左右方向の長さよりも大きくする、画像表示制御装置。
【請求項２】
前記撮像画像は、一つの前記撮像部によって撮像された撮像画像である、請求項１に記載の画像表示制御装置。
【請求項３】
車両の前進時と後退時とで異なる態様で前記車外画像を補正する画像補正部を有した、請求項１または２に記載の画像表示制御装置。
【請求項４】
前記画像生成部は、前記範囲が異なる複数の前記車外画像を含む前記表示画像を生成可能である、請求項１〜３のうちいずれか一つに記載の画像表示制御装置。
【請求項５】
前記表示装置はハーフミラーで覆われ、
前記表示制御部は、前記表示装置の一部に前記表示画像が表示されるとともに、前記表示装置の他の一部をブラックアウトして前記ハーフミラーがミラーとして機能するよう、前記表示装置を制御する請求項１〜４のうちいずれか一つに記載の画像表示制御装置。
【請求項６】
車体の後端部が写る方向から車両後方の水平方向よりも上方までを撮像範囲とする撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、表示装置に表示される表示画像、を生成する画像生成部と、
車両の前進時と後退時とで、前記撮像画像のうち前記表示画像に含まれる範囲を変更する範囲変更部と、
前記表示画像が表示されるよう前記表示装置を制御する表示制御部と、
を備え、
前記画像生成部は、画像処理により窓の部分がくりぬかれた室内画像を透過画像として前記車外画像に重畳して前記表示画像を生成し、
前記範囲変更部は、車両の前進時における前記範囲の左右方向の長さを、車両の後退時における前記範囲の左右方向の長さよりも大きくする、画像表示制御装置。
【請求項７】
車体の後端部が写る方向から車両後方の水平方向よりも上方までを撮像範囲とする撮像部と、
表示装置と、
画像表示制御装置と、
を備え、
前記画像表示制御装置は、
前記撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、前記表示装置に表示される表示画像、を生成する画像生成部と、
車両の前進時と後退時とで、前記撮像画像のうち前記表示画像に含まれる範囲を変更する範囲変更部と、
前記表示画像が表示されるよう前記表示装置を制御する表示制御部と、
を備え、
前記画像生成部は、室内画像を透過画像として前記車外画像に重畳して前記表示画像を生成するとともに、前記室内画像の透過度を車両の進行方向に応じて変更し、
前記範囲変更部は、車両の前進時における前記範囲の左右方向の長さを、車両の後退時における前記範囲の左右方向の長さよりも大きくする、画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像表示制御装置および画像表示システムに関する。
【背景技術】
【０００２】
従来、車内からの視線でピラーが透けた画像を作成して表示する車両の画像処理装置が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１９６６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この種の装置では、例えば、車両の前進時および後進時のそれぞれでより不都合の少ない表示形態で画像を表示可能な画像表示制御装置および画像表示システムが得られれば、有意義である。
【課題を解決するための手段】
【０００５】
実施形態の画像表示制御装置は、例えば、車体の後端部が写る方向から車両後方の水平方向よりも上方までを撮像範囲とする撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、表示装置に表示される表示画像、を生成する画像生成部と、車両の前進時と後退時とで、上記撮像画像のうち上記表示画像に含まれる範囲を変更する範囲変更部と、上記表示画像が表示されるよう上記表示装置を制御する表示制御部と、を備え、上記画像生成部は、室内画像を透過画像として上記車外画像に重畳して上記表示画像を生成するとともに、上記室内画像の透過度を車両の進行方向に応じて変更し、上記範囲変更部は、車両の前進時における上記範囲の左右方向の長さを、車両の後退時における上記範囲の左右方向の長さよりも大きくする。よって、本実施形態によれば、例えば、表示装置に、車両の前進時と後退時とのそれぞれに応じた表示画像が表示されうる。
【０００６】
前記撮像画像は、一つの前記撮像部によって撮像された撮像画像である。よって、例えば、画像表示システムがより簡素化されうる。
【０００７】
また、上記画像表示制御装置は、例えば、車両の前進時と後退時とで異なる態様で上記車外画像を補正する画像補正部を有する。よって、例えば、表示装置に、車両の前進時と後退時とのそれぞれに応じた表示態様の表示画像が表示されうる。
【０００９】
また、上記画像表示制御装置では、例えば、上記画像生成部は、上記範囲が異なる複数の上記車外画像を含む上記表示画像を生成可能である。よって、例えば、表示装置に、複数の車外画像を含む表示画像が表示されうる。
【００１０】
また、上記画像表示制御装置では、例えば、上記表示装置はハーフミラーで覆われ、上記表示制御部は、上記表示装置の一部に上記表示画像が表示されるとともに、上記表示装置の他の一部をブラックアウトして上記ハーフミラーがミラーとして機能するよう、上記表示装置を制御する。よって、例えば、表示装置が、ディスプレイおよびミラーとして利用されうる。
【００１１】
また、実施形態の画像表示制御装置は、例えば、車体の後端部が写る方向から車両後方の水平方向よりも上方までを撮像範囲とする撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、表示装置に表示される表示画像、を生成する画像生成部と、車両の前進時と後退時とで、上記撮像画像のうち上記表示画像に含まれる範囲を変更する範囲変更部と、上記表示画像が表示されるよう上記表示装置を制御する表示制御部と、を備え、上記画像生成部は、画像処理により窓の部分がくりぬかれた室内画像を透過画像として上記車外画像に重畳して上記表示画像を生成し、上記範囲変更部は、車両の前進時における上記範囲の左右方向の長さを、車両の後退時における上記範囲の左右方向の長さよりも大きくする。
また、実施形態の画像表示システムは、例えば、車体の後端部が写る方向から車両後方の水平方向よりも上方までを撮像範囲とする撮像部と、表示装置と、画像表示制御装置と、を備え、上記画像表示制御装置は、上記撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、上記表示装置に表示される表示画像、を生成する画像生成部と、車両の前進時と後退時とで、上記撮像画像のうち上記表示画像に含まれる範囲を変更する範囲変更部と、上記表示画像が表示されるよう上記表示装置を制御する表示制御部と、を備え、上記画像生成部は、室内画像を透過画像として上記車外画像に重畳して上記表示画像を生成するとともに、上記室内画像の透過度を車両の進行方向に応じて変更し、上記範囲変更部は、車両の前進時における上記範囲の左右方向の長さを、車両の後退時における上記範囲の左右方向の長さよりも大きくする。よって、本実施形態によれば、例えば、表示装置に、車両の前進時と後退時とのそれぞれに応じた表示画像が表示されうる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施形態の画像表示システムの例示的な概略構成図である。
【図２】図２は、実施形態の画像表示システムによる表示画像の一例が示された図である。
【図３】図３は、実施形態の画像表示システムによる表示画像の別の一例が示された図である。
【図４】図４は、実施形態の画像表示システムの撮像部による撮像範囲の一例の平面図である。
【図５】図５は、実施形態の画像表示システムの撮像部による撮像範囲の一例の側面図である。
【図６】図６は、実施形態の画像表示システムによる表示画像に含まれる車外画像の一例が示された図である。
【図７】図７は、実施形態の画像表示システムで追加される車体画像の一例が示された図である。
【図８】図８は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の平面図である。
【図９】図９は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の側面図である。
【図１０】図１０は、実施形態の画像表示システムにおける車外画像中の表示範囲の一例が示された図である。
【図１１】図１１は、実施形態の画像表示システムに含まれるＥＣＵの例示的なブロック図である。
【図１２】図１２は、実施形態の画像表示システムの処理手順の例示的なフローチャートである。
【図１３】図１３は、実施形態の画像表示システムで撮像された撮像画像の一例が示された図である。
【図１４】図１４は、実施形態の画像表示システムで歪み補正された撮像画像の一例が示された図である。
【図１５】図１５は、実施形態の画像表示システムで歪み補正されるとともに視点変換された撮像画像の一例が示された図である。
【図１６】図１６は、実施形態の画像表示システムによる表示画像の表示態様の一例が示された模式図である。
【図１７】図１７は、実施形態の画像表示システムによる表示画像の表示態様の別の一例が示された模式図である。
【図１８】図１８は、実施形態の画像表示システムによる表示画像の表示態様のさらに別の一例が示された模式図である。
【図１９】図１９は、駐車時における車両の位置と当該位置での実施形態の画像表示システムによる表示画像とを含む例示的な概念図であって、車両が駐車目標位置に到達する前の状態での図である。
【図２０】図２０は、実施形態の画像表示システムによる表示画像の表示態様のさらに別の一例が示された模式図である。
【図２１】図２１は、実施形態の画像表示システムによる表示画像の表示態様のさらに別の一例が示された模式図である。
【図２２】図２２は、実施形態の画像表示システムの表示装置の例示的な斜視図である。
【図２３】図２３は、実施形態の画像表示システムによる表示画像のさらに別の一例が示された図である。
【図２４】図２４は、実施形態の画像表示システムによる表示画像のさらに別の一例が示された図である。
【図２５】図２５は、実施形態の画像表示システムによる表示画像のさらに別の一例が示された図である。
【発明を実施するための形態】
【００１３】
以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。
【００１４】
また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。
【００１５】
車両１に装備される画像表示システム１００は、図１に示されるように、表示装置としての表示部１０ａに表示される画像を制御するＥＣＵ１１（electronic  control  unit）を備えている。ＥＣＵ１１は、表示制御部あるいは画像表示制御装置の一例である。表示部１０ａは、例えば、車室内の前部かつ上部に設けられた後方視認用の不図示のルームミラーに替えて設けられる。表示部１０ａには、撮像部１２で撮像された画像に基づいて、図２に例示されるような、車室内の前部かつ上部に設けられたルームミラーに映る鏡像に似せた画像が表示される。運転者等の乗員は、表示部１０ａをルームミラーとして、あるいはルームミラーの代わりに用いることができる。なお、ルームミラーはバックミラーとも称されうる。
【００１６】
ルームミラーが設けられている車両１の場合、筐体１０の表示部１０ａは、例えば、ルームミラーの鏡面を覆うように取付具やアタッチメント等によってルームミラーに装着されうる。表示部１０ａには、車外すなわち車室外に設けられた撮像部１２で撮像された画像とは左右逆の画像、すなわち鏡像が表示される。表示部１０ａは、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electro-luminescent  display）、プロジェクタ装置等として、構成されうる。ＥＣＵ１１は、表示部１０ａの筐体１０内に収容されてもよいし、表示部１０ａとは別の場所に設けられた筐体１０内に収容されてもよい。なお、表示部１０ａの表面側すなわち後側には、不図示のハーフミラーが設けられてもよい。この場合、画像表示システム１００が使用されず表示部１０ａに画像が表示されていない状態では、当該ハーフミラーがルームミラーとして用いられうる。また、ハーフミラーのうち、表示部１０ａが部分的に画像を表示していない領域、例えばブラックアウトされた領域、を覆う部分は、ルームミラーとして用いられうる。また、筐体１０には、室内画像を撮像する図８，９に示されるような撮像部１２Ｉが設けられてもよい。
【００１７】
図２，３に例示されるように、表示部１０ａで表示される画像としての出力画像Ｉｍには、実線で示される車外画像Ｉｍｏと破線で示される車体画像Ｉｍｉとが含まれている。車外画像Ｉｍｏは、一つまたは複数の撮像部１２によって撮像された画像から生成されうる。出力画像Ｉｍは、表示画像とも称されうる。車外画像Ｉｍｏ、すなわち撮像部１２によって撮像された画像は、撮像画像とも称されうる。また、車体画像Ｉｍｉは、追加画像とも称されうる。なお、図２等では、図面中で車外画像Ｉｍｏと区別するため、便宜上、車外画像Ｉｍｏが実線で示され、車体画像Ｉｍｉが破線で示されている。実際の車外画像Ｉｍｏは、実線には限定されないし、車体画像Ｉｍｉは、破線には限定されない。
【００１８】
撮像部１２は、例えば、ＣＣＤ（charge  coupled  device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１２は、所定のフレームレートで画像データすなわち動画データを出力することができる。
【００１９】
図４，５の例では、車体２には、車外を撮像する撮像部１２としては、車体２の後部に設けられた撮像部１２Ｒのみが設けられている。撮像部１２Ｒは、車両１の後方かつ側方すなわち車室外の後方かつ側方を撮像する。撮像部１２Ｒは、例えば、広角レンズまたは魚眼レンズである。また、この場合、撮像部１２Ｒによる撮像範囲は、図５に破線で示されているように、少なくとも、車体２の後端部２ｂが映る方向から車両１の後方の水平方向Ｌｒｈよりも上方までの範囲が含まれるよう、設定される。これにより、撮像部１２Ｒによる撮像画像から、走行中における車両後方の画像、および駐車時における車両後方の路面近傍の画像の、双方を得ることができる。なお、図４，５に例示される撮像範囲は一例であって、撮像部１２Ｒによる撮像範囲は、図４，５の例には限定されない。図６には、撮像部１２による撮像画像から得られた車外画像Ｉｍｏの一例が示されている。また、ここでの水平方向Ｌｒｈとは、車両１を基準とする水平方向であって、車両１が水平面上に位置された場合に水平となる方向である。
【００２０】
また、図２，３，７の例では、車体画像Ｉｍｉには、車体２の構造を示す立体的なフレーム状に描かれた表示要素としての輪郭線Ｌｏまたは縁が含まれている。輪郭線Ｌｏによって示される車体構成要素は、例えば、車体２の角部、縁部、窓、ピラー、ドア、床、天井、トリム、車輪、車軸、ディファレンシャルギヤ等である。車体画像Ｉｍｉは、乗員が車体２の位置や形状を大まかに認識できるものであればよく、必ずしも車体形状そのものでなくてもよい。車体画像Ｉｍｉは、模式化されたものであってもよい。輪郭線Ｌｏの間の領域は、車外画像Ｉｍｏが透過される状態で着色されてもよい。
【００２１】
また、図２，３，７の例では、車体画像Ｉｍｉは、線画（線図）である。線画に含まれる表示要素としての線は、種々の表示態様を有することができる。表示態様としては、例えば、種類、面密度、幅、太さ、濃度、透過度、色、模様等がある。種類には、例えば、実線や、破線、一点鎖線、二点鎖線、折れ線、ギザギザ線、波線等がある。面密度は、画面または画像の単位面積あたりの密度である。例えば、同じ太さの場合、実線の面密度が破線の面密度よりも大きい。また、線画には、局所的に表示態様の異なる複数の線が含まれうる。また、線画には、部分的に、点や、記号、文字、図形等も含まれうる。これらの線画の表示態様は、例えば、走行状態や操作状態等の車両状態に応じて、設定されうるし、変更されうる。
【００２２】
図２，３に例示されるように、表示部１０ａに車外画像Ｉｍｏとともに車体画像Ｉｍｉを含む出力画像Ｉｍが表示されることで、乗員は、車両１と車外の物体Ｂとの相対的な位置や、車両１と物体Ｂとの距離、物体Ｂの方向、物体Ｂの大きさ等を認識しやすい。また、車体画像Ｉｍｉには、図２，３，７に示されるように、車体２の車幅方向の端部を示す部分Ｐｗ、車体２の後端部を示す部分Ｐｒ、ならびに車体２の下部を示す部分Ｐｂが、含まれうる。さらに、車体画像Ｉｍｉには、車体２の下部の車幅方向の端部を示す部分Ｐｂｗや、車体２の下部の車両前後方向の後端部を示す部分Ｐｂｒ、車体２の側部の車両前後方向の後端部を示す部分Ｐｓｒ等が、含まれうる。また、車体画像Ｉｍｉは、車体２の少なくとも下部が平面的すなわち二次元的に認識できるよう作成されている。よって、乗員は、例えば、車体２の平面的な大きさや、形状、部位等を認識しやすい。また、乗員は、例えば、車体画像Ｉｍｉを基準として、車室外の物体Ｂの大きさや、高さ、物体Ｂの水平方向の位置関係等を認識しやすい。
【００２３】
車体画像Ｉｍｉは、不揮発性の記憶部に予め記憶されている。記憶部には、複数の車種毎の車体画像Ｉｍｉが記憶されうる。この場合、合成画像には、例えば車両１の車種や使用者の嗜好等に応じて選択された車体画像Ｉｍｉが用いられうる。なお、記憶部は、例えば、図１に示されるＳＳＤ１１ｄ等であってもよい。また、ＥＣＵ１１は、キャリブレーション等の設定作業における操作入力部１０ｂでの入力指示や操作等に基づいて、車体画像Ｉｍｉを変形することができる。具体的には、例えば、車体画像Ｉｍｉは、上側に向かうほど左右に引き延ばされたり、上下に引き延ばされたり、上下左右の位置を変更されたり、というように、変形されたり、位置が変更されたりする。この場合、変更された車体画像Ｉｍｉが記憶部に記憶され、合成画像には、当該変更された車体画像Ｉｍｉが用いられる。なお、車体画像Ｉｍｉとして、図８に例示されるような撮像部１２Ｉが撮像した室内画像や、当該室内画像が変更された画像等が用いられてもよい。
【００２４】
ＥＣＵ１１は、車体画像Ｉｍｉの透過度αすなわち車外画像Ｉｍｏとの合成比率を設定したり変更したりすることができる。比較的簡単な例では、車外画像Ｉｍｏと車体画像Ｉｍｉとが互いに位置合わせされた状態での各点について、車体画像Ｉｍｉの輝度がｘ１、車外画像Ｉｍｏの輝度がｘ２、透過度がα（０≦α≦１）である場合に、当該各点での重ね合わせた合成画像の輝度ｘは、ｘ＝（１−α）×ｘ１＋α×ｘ２であることができる。なお、透過度αは、任意の値に設定することができる。
【００２５】
一方、図８，９の例では、車体２には、撮像部１２として、車両１の側方すなわち車室外の側方を撮像する撮像部１２Ｓと、車両１の後方すなわち車室外の後方を撮像する撮像部１２Ｒとが、設けられている。また、撮像部１２Ｓ，１２Ｒは、それぞれ、車両１の後方および側方の双方が含まれる画像を撮像してもよい。撮像部１２Ｓは、車体２の左右それぞれに設けられるとともに、撮像部１２Ｒは、車体２の後端部２ｂに設けられている。例えば、撮像部１２Ｓはドアミラーに設けられ、撮像部１２Ｒはリヤハッチに設けられうる。なお、図示されないが、撮像部１２は、例えば、車体２の後端部２ｂの左端および右端にそれぞれ設けられてもよい。また、車室内および車室外のうち少なくとも一方を撮像する撮像部１２は、車室内に設けられてもよい。また、複数の撮像部１２が設けられる場合、複数の撮像部１２のそれぞれの撮像範囲は、上下に異なってもよい。また、撮像部１２は、それぞれ、広角レンズまたは魚眼レンズであってもよい。
【００２６】
図８，９に例示されるように、車体２に複数の撮像部１２が設けられる場合、ＥＣＵ１１は、複数の撮像部１２で取得された画像を公知の技術で合成して、図１０に例示されるような一連の車外画像Ｉｍｏを得ることができる。車外画像Ｉｍｏは、パノラマ画像であってもよい。この場合、比較的広い範囲の各位置での車外画像Ｉｍｏを、表示部１０ａで表示することができるよう、複数の撮像部１２によって、車両１の後方かつ側方の比較的広い範囲が撮像される。そして、図１０に示されるように、広い範囲の中の一部が、出力画像Ｉｍとしての合成画像に用いられる、すなわち表示される。
【００２７】
また、ＥＣＵ１１は、車両１の状況に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄを変更することができる。ＥＣＵ１１は、表示範囲Ａｄを変更するトリガとなる信号あるいはデータとして、各種のセンサの検出結果や、指示信号等を用いることができる。検出結果は、例えば、図１に示される非接触計測装置１３や、前輪用の舵角センサ１４、後輪操舵システム１５の舵角センサ１５ａ、ＧＰＳ１６（global  positioning  system）、車輪速センサ１７、ブレーキシステム１８のブレーキセンサ１８ａ、アクセルセンサ１９、前輪操舵システム２０のトルクセンサ２０ａ、シフトセンサ２１等の検出結果である。指示信号は、例えば、方向指示器２２や、操作入力部２４ｂ等から取得した指示信号である。なお、指示信号は、例えば、制御信号や、切替信号、操作信号、入力信号、指示データ等とも称されうる。また、表示範囲Ａｄは、出力画像Ｉｍおよび車外画像Ｉｍｏの元となる範囲とも称されうる。
【００２８】
また、ＥＣＵ１１は、図１１に示される進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄや、車体画像Ｉｍｉの透過度α、色（色相）、輝度、彩度等を、設定したり変更したりすることができる。また、車体画像Ｉｍｉが線画の場合、ＥＣＵ１１は、車体画像Ｉｍｉの輪郭線Ｌｏの太さや陰影の有無等を設定したり変更したりしてもよい。
【００２９】
図１に示されるように、画像表示システム１００に含まれる電気部品は、例えば、車内ネットワーク２３を介して電気的にあるいは通信可能に接続される。電気部品は、例えば、非接触計測装置１３や、舵角センサ１４、舵角センサ１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２、操作入力部２４ｂ等である。車内ネットワーク２３は、例えば、ＣＡＮ（controller  area  network）である。なお、各電気部品は、ＣＡＮ以外を介して電気的にあるいは通信可能に接続されてもよい。
【００３０】
非接触計測装置１３は、例えば、超音波や電波を発射してその反射波を捉えるソナーやレーダ等である。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車両１の周囲に位置された図２に示されるような障害物としての物体Ｂの有無や物体Ｂまでの距離を測定することができる。すなわち、非接触計測装置１３は、測距部、物体検出部の一例である。
【００３１】
舵角センサ１４は、操舵部としての不図示のステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。また、舵角センサ１５ａは、後輪３Ｒの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。なお、操舵量は、例えば、回転角度として検出される。
【００３２】
車輪速センサ１７は、車輪３（３Ｆ，３Ｒ）の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車両１の移動量などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。
【００３３】
ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock  brake  system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic  stability  control）、ブレーキ力を増強する電動ブレーキシステム、ＢＢＷ（brake  by  wire）等である。ブレーキシステム１８は、不図示のアクチュエータを介して、車輪３に制動力を与え、車両１を減速する。ブレーキセンサ１８ａは、例えば、ブレーキペダルの操作量を検出するセンサである。
【００３４】
アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。トルクセンサ２０ａは、運転者が操舵部に与えるトルクを検出する。シフトセンサ２１は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。可動部は、例えば、レバーや、アーム、ボタン等である。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は一例であって、種々に設定したり変更したりすることができる。方向指示器２２は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。
【００３５】
また、表示部１０ａは、透明な操作入力部１０ｂで覆われうる。操作入力部１０ｂは、例えば、タッチパネル等である。乗員等は、操作入力部１０ｂを介して表示部１０ａの表示画面に表示される画像を視認することができる。また、乗員等は、表示部１０ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部１０ｂを触れたり押したり動かしたりして操作することで、画像表示システム１００における種々の操作入力を実行することができる。なお、操作入力部１０ｂとは別に、筐体１０には、操作入力部１０ｃが設けられてもよい。この場合、操作入力部１０ｃは、例えば、押しボタン、スイッチ、つまみ等として構成されうる。
【００３６】
また、車内には、表示部１０ａとは別の表示部２４ａや、音声出力装置２４ｃが設けられている。表示部２４ａは、例えば、ＬＣＤや、ＯＥＬＤ等である。音声出力装置２４ｃは、例えば、スピーカである。さらに、表示部２４ａは、透明な操作入力部２４ｂで覆われている。操作入力部２４ｂは、例えば、タッチパネル等である。乗員等は、操作入力部２４ｂを介して表示部２４ａの表示画面に表示される画像を視認することができる。また、乗員等は、表示部２４ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部２４ｂを触れたり押したり動かしたりして操作することで、操作入力を実行することができる。そして、これら表示部２４ａや、操作入力部２４ｂ、音声出力装置２４ｃ等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２４に設けられうる。モニタ装置２４は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない操作入力部を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用されうる。なお、ＥＣＵ１１は、モニタ装置２４の表示部２４ａに、表示部１０ａと同様の画像を表示させることができる。
【００３７】
ＥＣＵ１１は、例えば、ＣＰＵ１１ａ（central  processing  unit）や、ＲＯＭ１１ｂ（read  only  memory）、ＲＡＭ１１ｃ（random  access  memory）、ＳＳＤ１１ｄ（solid  state  drive）、表示制御部１１ｅ、音声制御部１１ｆ等を有している。ＳＳＤ１１ｄは、フラッシュメモリであってもよい。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやＳＳＤ１１ｄ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、ＳＳＤ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、ＥＣＵ１１での演算処理のうち、主として、撮像部１２で得られた画像データを用いた画像処理や、表示部１０ａ，２４ａで表示される画像データの画像処理等を実行することができる。また、音声制御部１１ｆは、ＥＣＵ１１での演算処理のうち、主として、音声出力装置２４ｃで出力される音声データの処理を実行することができる。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital  signal  processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１１ｄに替えてＨＤＤ（hard  disk  drive）が設けられてもよいし、ＳＳＤ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。
【００３８】
また、本実施形態では、例えば、表示部１０ａには、ＥＣＵ１１の画像処理によって、ルームミラーの鏡像に対応した出力画像Ｉｍが表示される。この場合、車外画像Ｉｍｏからルームミラーの写像に対応した出力画像Ｉｍへの座標変換を行う関数や、係数、定数、データ等は、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり、撮像によるキャリブレーションを行ったり、幾何学的な演算を行ったりすることによって、得ることができる。なお、関数は、変換式や、変換行列等であってもよい。また、出力画像Ｉｍは、例えば、ルームミラーの写像に似た画像や、位置合わせされた画像、適合した画像等である。また、車体画像Ｉｍｉの合成位置や、大きさ、形状等も、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり、撮像によるキャリブレーションを行ったり、幾何学的な演算を行ったりすることによって、得ることができる。
【００３９】
また、本実施形態では、例えば、ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、画像表示制御装置の少なくとも一部として機能する。すなわち、本実施形態では、例えば、図１１に示されるように、ＥＣＵ１１は、図１にも示されている表示制御部１１ｅや音声制御部１１ｆの他、画像生成部１１０や、進行方向取得部１１１、車両位置取得部１１２、物体検出部１１３、撮像画像取得部１１０ａ、範囲決定部１１０ｂ、表示態様決定部１１０ｃ、鏡像作成部１１０ｄ、歪み補正部１１０ｅ、視点変換処理部１１０ｆ、物体画像補正部１１０ｇ、追加画像取得部１１０ｈ、画像合成部１１０ｉ等として機能する。画像生成部１１０は、例えばＣＰＵ１１ａであり、記憶部１１ｇは、例えばＳＳＤ１１ｄである。記憶部１１ｇは、例えば、演算で用いられるデータや、演算結果等を記憶する。なお、画像生成部１１０で実行される画像処理の少なくとも一部は表示制御部１１ｅで実行されてもよい。図１１の各部は、プログラムのモジュールに対応してもよいし、ハードウエアとして構成されてもよい。なお、図１，１１に示されるＥＣＵ１１の構成は、一例である。
【００４０】
進行方向取得部１１１は、シフトセンサ２１による検出結果や、車輪速センサ１７による検出結果、不図示の加速度センサによる検出結果、不図示の他のＥＣＵからのデータ等に基づいて、車両１の進行方向を取得することができる。進行方向取得部１１１は、車両１が前進中であるか後退中であるかを取得する。
【００４１】
車両位置取得部１１２は、例えば、車輪速センサ１７によって検出された車輪速や、舵角センサ１４，１５ａによって検出された舵角、ＧＰＳ１６からのデータ、非接触計測装置１３の検出結果、撮像部１２が取得した車外画像Ｉｍｏの画像処理結果、他の不図示のＥＣＵからのデータ等に基づいて、車両１の位置を取得することができる。車両１の位置は、例えば、駐車支援システムにおける現在位置や目標位置との相対的な位置であってもよい。
【００４２】
物体検出部１１３は、例えば、画像生成部１１０で作成された車外画像Ｉｍｏを画像処理することにより、車外の物体Ｂを検出することができる。物体Ｂは、例えば、車両や、物、人等である。物体Ｂの検出に際しては、例えば、パターンマッチング等が用いられうる。また、物体検出部１１３は、非接触計測装置１３から得られたデータから、車外の物体Ｂを検出することができるし、車外画像Ｉｍｏを画像処理した結果と非接触計測装置１３から得られたデータとから、車外の物体Ｂを検出することができる。また、物体検出部１１３は、車外画像Ｉｍｏを画像処理した結果あるいは非接触計測装置１３から得られたデータから、車両１から物体Ｂまでの距離を取得してもよい。
【００４３】
撮像画像取得部１１０ａは、少なくとも一つの撮像部１２で撮像された車外画像Ｉｍｏを取得する。複数の撮像部１２が設けられている場合、撮像画像取得部１１０ａは、複数の撮像部１２で撮像された複数（例えば三つ）の撮像画像を、それらの境界部分を合成することで繋ぎ、一連の車外画像Ｉｍｏを作成することができる。
【００４４】
範囲決定部１１０ｂは、車外画像Ｉｍｏのうち出力画像Ｉｍに用いる表示範囲Ａｄを決定する。範囲決定部１１０ｂは、例えば、進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄを設定することができる。また、範囲決定部１１０ｂは、他のセンサやデバイスによる検出結果や、信号、データ等に応じて、表示範囲Ａｄを決定してもよい。他のセンサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。
【００４５】
表示態様決定部１１０ｃは、表示部１０ａ，２４ａにおける出力画像Ｉｍの表示態様を決定する。表示態様決定部１１０ｃは、例えば、進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、出力画像Ｉｍの表示態様を設定したり変更したりすることができる。また、表示態様決定部１１０ｃは、他のセンサやデバイスによる検出結果や、信号、データ等に応じて、出力画像Ｉｍの表示態様を設定したり変更したりしてもよい。他のセンサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。また、表示態様決定部１１０ｃは、例えば、車体画像Ｉｍｉの透過率αや、色、輝度、彩度等を設定したり変更したりすることができる。また、合成画像に室内画像が含まれる場合、表示態様決定部１１０ｃは、室内画像の透過度等を設定したり変更したりすることができる。
【００４６】
鏡像作成部１１０ｄは、撮像画像、車外画像Ｉｍｏ、あるいは出力画像Ｉｍの鏡像を作成することができる。出力画像Ｉｍに撮像画像の鏡像となる車外画像Ｉｍｏや、車体画像Ｉｍ、追加画像等が含まれていればよく、鏡像作成部１１０ｄは、どの段階で鏡像を作成してもよい。
【００４７】
歪み補正部１１０ｅは、撮像部１２で撮像された撮像画像の歪みを補正する。撮像部１２が、広角レンズあるいは魚眼レンズである場合、画像の中心から離れるほど画像の歪みが大きい。そこで、歪み補正部１１０ｅは、矩形の画角で表示された場合に、より違和感の少ない画像となるよう、例えば、座標変換や補完処理等を施すことで、撮像画像を補正する。座標変換は、例えば、マップや関数等によって与えられる。歪み補正の座標変換としては、例えば、円筒状に投影する円筒投影変換や、円周状の距離に像高が対応する等距離投影変換等がある。歪み補正部１１０ｅは、画像補正部および第一の画像補正部の一例である。
【００４８】
視点変換処理部１１０ｆは、撮像部１２で撮像された撮像画像の視点を変換する処理を実行する。視点変換処理部１１０ｆは、例えば、撮像部１２の撮像点と、ルームミラーでの写像の視点との差が大きい場合に、より違和感の少ない画像となるよう、例えば、座標変換や補完処理等を施すことで、より前方からの視点、例えばルームミラーの写像の視点での画像に近付くように、撮像画像を補正する。座標変換は、例えば、マップや関数等によって与えられる。視点変換処理部１１０ｆは、歪み補正部１１０ｅとは異なる画像処理を実行する。また、視点変換処理部１１０ｆは、例えば、画像を左右に引き延ばしたり、画像の下側に向かうほど大きく左右方向に引き延ばすなどによって画像の傾きを補正したりすることで、視点変換と同様の効果を得ることも可能である。視点変換処理部１１０ｆは、画像補正部の一例であり、第一の画像補正部とは異なる補正を実行する第二の画像補正部の一例である。なお、歪み補正部１１０ｅおよび視点変換処理部１１０ｆによる車外画像Ｉｍｏの補正は、ルームミラーが設けられた場合の鏡像と完全に位置合わせされている必要は無い。
【００４９】
物体画像補正部１１０ｇは、車外画像Ｉｍｏに含まれる物体の画像を補正する。物体画像補正部１１０ｇは、例えば、物体検出部１１３が、車外画像Ｉｍｏ中に画像が含まれる他の車両等の物体Ｂを検出した場合、車外画像Ｉｍｏ中で当該他の車両の画像を拡大することができる。
【００５０】
追加画像取得部１１０ｈは、車外画像Ｉｍｏとは別に出力画像Ｉｍに含まれる画像を取得する。本実施形態では、出力画像Ｉｍに含まれる画像のうち、車外画像Ｉｍｏでは無い画像が、追加画像と称される。追加画像は、例えば、車体画像Ｉｍｉや、路面の枠線の画像、物体の画像、進行方向を示す画像、目標位置を示す画像、過去の軌跡を示す画像、物体検出部１１３によって検出された物体の強調表示、文字画像等の、種々の画像である。また、追加画像取得部１１０ｈは、例えば、進行方向取得部１１１で取得された進行方向や、車両位置取得部１１２で取得された車両１の位置、物体検出部１１３で検出された物体、範囲決定部１１０ｂで決定された表示範囲Ａｄ、表示態様決定部１１０ｃで決定された表示態様等に対応する追加画像を、取得することができる。また、追加画像取得部１１０ｈは、追加画像として、車室内を撮像する撮像部１２Ｉ（図８，９等参照）に基づく室内画像を取得してもよい。なお、複数の追加画像は、例えば、記憶部１１ｇに記憶されうる。また、各パラメータの値に応じて追加画像を特定するデータは、例えば、記憶部１１ｇに記憶されうる。
【００５１】
画像合成部１１０ｉは、車外画像Ｉｍｏと追加画像とを合成し、出力画像Ｉｍを生成する。追加画像として室内画像が含まれる場合、画像合成部１１０ｉでは、画像処理により窓の部分がくり抜かれた室内画像が、透過画像として重畳されうる。
【００５２】
本実施形態にかかる画像表示システム１００は、例えば、図１２に示されるような手順で処理を実行することができる。まず、撮像画像取得部１１０ａは、撮像部１２が撮像した画像を取得する（Ｓ１）。次に、鏡像作成部１１０ｄは、撮像部１２が撮像した画像の鏡像を作成する（Ｓ２）。次に、歪み補正部１１０ｅおよび視点変換処理部１１０ｆは、表示態様決定部１１０ｃで設定された表示態様を取得し（Ｓ３）、取得した表示態様に応じて、車外画像Ｉｍｏを補正する（Ｓ４）。次に、追加画像取得部１１０ｈは、追加画像を取得し（Ｓ５）、画像合成部１１０ｉは、追加画像取得部１１０ｈで取得された追加画像と車外画像Ｉｍｏとを合成して、出力画像Ｉｍを得る（Ｓ６）。次に、表示制御部１１ｅは、出力画像Ｉｍが表示されるよう、表示部１０ａを制御する（Ｓ７）。
【００５３】
図１３に例示されるように、撮像部１２Ｒによる撮像画像は、中心から離れるほど歪んでいる。そこで、本実施形態では、歪み補正部１１０ｅが図１３の撮像画像を補正することにより、図１４に例示されるような歪みが減らされた車外画像Ｉｍｏを作成する。ここでの座標変換は、例えば、マップや関数等によって与えられる。また、変換先の座標における空白画素の輝度値（画素値）は、隣接する輝度値の有る画素の当該輝度値から補完されて算出される。この歪み補正部１１０ｅによる補正により、本来直線であるのに曲線で示されていた部分が直線に近付けられる。
【００５４】
しかし、図１４の車外画像Ｉｍｏの周縁部では、破線で示されるように、本来垂直な線Ｌｒｖが画面の上下方向に対して左右方向へ拡がるように傾斜している。そこで、本実施形態では、視点変換処理部１１０ｆが図１４の車外画像Ｉｍｏを補正することにより、図１５に例示されるような、本来垂直な線Ｌｒｖが上下方向に近付いた、すなわち傾きが補正された車外画像Ｉｍｏが得られる。ここでの座標変換も、例えば、マップや関数等によって与えられる。また、変換先の座標における空白画素の輝度値（画素値）は、隣接する輝度値の有る画素の当該輝度値から補完されて算出される。この視点変換処理部１１０ｆによる補正により、本来垂直な線Ｌｒｖの画面の上下方向に対する傾斜が小さくなる。
【００５５】
また、本実施形態では、例えば、後退時の出力画像ＩｍＢＫ（Ｉｍ）は、図１４に例示されるような歪み補正部１１０ｅによって補正された車外画像Ｉｍｏに基づいて作成され、前進時の出力画像ＩｍＦＷ（Ｉｍ）は、図１５に例示されるような歪み補正部１１０ｅによって補正されるとともに視点変換処理部１１０ｆによって補正された車外画像Ｉｍｏに基づいて作成される。よって、例えば、車両１の後退時に、画像生成部１１０による演算負荷がより軽減されやすい。
【００５６】
また、本実施形態では、例えば、後退時の出力画像ＩｍＢＫの表示範囲Ａｄｂは、図１４に示される歪み補正された車外画像Ｉｍｏのうち、車体２の後端部２ｂの画像が含まれる車体２の後方の比較的近傍の領域に設定される。一方、前進時の出力画像ＩｍＦＷの表示範囲Ａｄｆは、図１５に例示された歪み補正されるとともに視点変換された車外画像Ｉｍｏのうち、車体２の後方の後端部２ｂから離間した比較的遠方の領域、すなわち、後退時の領域よりも遠い領域に設定される。また、表示範囲Ａｄｆは、左右方向には後退時の表示範囲Ａｄｂよりも広い領域に設定される。このように、本実施形態によれば、例えば、ＥＣＵ１１は、撮像部１２による撮像画像から、前進時の車外画像Ｉｍｏ（出力画像ＩｍＦＷ）と後退時の車外画像Ｉｍｏ（出力画像ＩｍＢＫ）とを得ることができる。よって、例えば、前進時用と後退時用とで撮像部１２がそれぞれ別個に設けられた場合に比べて、構成部品が共用化されるため、画像表示システム１００の構成がより簡素化されうる。また、ＥＣＵ１１は、前進時と後退時とで、それぞれの状況に対応した異なる車外画像Ｉｍｏを得ることができる。なお、表示範囲Ａｄｂ，Ａｄｆは、車外画像Ｉｍｏの元となる範囲と言うこともできる。
【００５７】
また、本実施形態では、ＥＣＵ１１は、図１６〜１８，２０，２１に例示されるような種々の表示範囲および表示態様で、出力画像Ｉｍを表示することができる。なお、図１６〜１８，２０，２１には、各出力画像Ｉｍの表示領域のみが示され、具体的な画像は示されていない。
【００５８】
図１６の例では、出力画像Ｉｍが、表示部１０ａの全面に表示される。また、図１７の例では、出力画像Ｉｍが、表示部１０ａの一部、具体的には、表示部１０ａの左右方向の中央部に表示される。本実施形態では、例えば、ＥＣＵ１１は、前進時には図１６のように出力画像Ｉｍを表示し、後退時には図１７のように出力画像Ｉｍを表示するよう、表示部１０ａを制御することができる。すなわち、前進時の出力画像Ｉｍは、後退時の出力画像Ｉｍより大きく、左右の長さすなわち幅が大きく、上下方向の長さすなわち高さに対する左右方向の長さすなわち幅の比が高い。駐車時等の後退時には、例えば、前進時ほど左右に広い範囲が必要とならないケースもあり、また、例えば、広い範囲が見えすぎると近い範囲への注意力が低下するようなケースも想定されうる。また、例えば、表示範囲が狭いほど、ＥＣＵ１１の演算処理の負荷が減ったり、消費電力が減ったりといった効果が得られる。この例によれば、前進時と後退時とで表示範囲および表示態様を異ならせる設定により、例えば、より不都合の少ない表示範囲および表示態様が得られる場合がある。なお、図１７の例では、ＥＣＵ１１は、出力画像Ｉｍの両側の領域に文字情報等の他の情報が表示されるよう、表示部１０ａを制御してもよい。
【００５９】
また、ＥＣＵ１１は、例えば駐車時等、車両１が旋回しながら後退する場合には、当該車両１の旋回方向に出力画像Ｉｍを広げてもよい。図１８の例では、車両１が所定の駐車枠に向けて左方向へ旋回しながら後退する場合の出力画像Ｉｍが、表示部１０ａの中央部から左端、すなわち旋回方向の端部に至る領域に、表示されている。この場合、ＥＣＵ１１は、例えば、舵角センサ１４の検出結果より、舵角が所定の舵角（閾値）以上となった場合に、図１７の出力画像Ｉｍを、当該図１７の出力画像Ｉｍよりも左方向、すなわち旋回方向へ広げられた図１８の出力画像Ｉｍに切り替えることができる。この例によれば、旋回方向に広がった出力画像Ｉｍが表示されることで、例えば、運転者等の乗員が、駐車目標位置等、車両１が移動する方向を視認しやすい。また、出力画像Ｉｍが旋回方向の反対方向にも広がっている場合に比べて、例えば、ＥＣＵ１１の演算処理の負荷が減ったり、消費電力が減ったりといった効果が得られる。
【００６０】
図１９には、例えば、車両１が左側に旋回しながら到達予想位置まで後進する駐車を行う場合の出力画像Ｉｍが示されている。図１９には、図１８のより具体的な例が示されている。この例では、車外画像Ｉｍｏには、車体画像Ｉｍｉや、検出された物体Ｂの画像Ｉｍｂ、当該画像Ｉｍｂを取り囲む枠状の強調表示Ｉｍｆ１、路面の枠線Ｌの画像Ｉｍｌ、当該画像Ｉｍｌと重なった帯状の強調表示Ｉｍｆ２、現在位置から所定距離後方に離間した到達予想位置を示す画像Ｉｍｆ３、到達予想位置や舵角等から予想される移動経路を示す線状の画像Ｉｍｆ４等が、追加されている。ここで、画像Ｉｍｆ３，Ｉｍｆ４は、車体画像Ｉｍｉのうち車体２の下部に対応した表示領域Ａｂに対応する。例えば、画像Ｉｍｆ３，Ｉｍｆ４の側縁は、到達予想位置での表示領域Ａｂの側縁と一致するように、描画されうる。この例によれば、例えば、運転者は、車両１の周囲や、進行する方向の車外の状況、駐車目標位置Ｐ、到達予想位置、移動経路等を、より認識しやすい。また、本実施形態によれば、例えば、運転者等の乗員は、表示領域Ａｂを含む車体画像Ｉｍｉと、表示領域Ａｂに対応した画像Ｉｍｆ３，Ｉｍｆ４とによって、予想される車両１の移動経路を把握しやすい。
【００６１】
また、図２０には、表示部１０ａに、撮像画像における表示範囲Ａｄが異なる二つの出力画像Ｉｍ（Ｉｍ１，Ｉｍ２）が同時に並行して表示された例が示されている。この場合、例えば、ＥＣＵ１１は、左側の領域Ａ１には、路面により近い図１４に示された表示範囲Ａｄｂに対応する出力画像Ｉｍ１が表示され、右側の領域Ａ２には、水平方向により近い図１５に示された表示範囲Ａｄｆに対応する出力画像Ｉｍ２が表示されるよう、表示部１０ａを制御する。領域Ａ１すなわち出力画像Ｉｍ１は、領域Ａ２すなわち出力画像Ｉｍ２よりも、小さく、左右の長さすなわち幅が狭く、上下方向の長さすなわち高さに対する左右方向の長さすなわち幅の比が低い。また、撮像画像における領域Ａ１すなわち出力画像Ｉｍ１の範囲は、領域Ａ２すなわち出力画像Ｉｍ２の範囲よりも、車両前後方向に広く、車幅方向に狭く、車両１に近い。この例によれば、例えば、運転者等の乗員は、複数の出力画像Ｉｍ（Ｉｍ１，Ｉｍ２）によって、より状況を把握しやすい場合がある。なお、領域Ａ１，Ａ２すなわち出力画像Ｉｍ１，Ｉｍ２の配置や、大きさ、撮像画像中の範囲等は、図２０の例には限定されず、種々に設定されたり変更されたりしうる。運転者等の乗員による操作入力部１０ｂ，１０ｃ，２４ｂ等の操作入力により、設定を変更できるよう構成されてもよい。
【００６２】
図２１には、表示部１０ａの領域Ａ３には、出力画像Ｉｍ３が表示され、領域Ａ４がブラックアウト、すなわち、出力画像Ｉｍが表示されず、暗く、例えば黒色化された例が、示されている。ＥＣＵ１１は、領域Ａ３には出力画像Ｉｍ３が表示され、領域Ａ４はブラックアウトされるよう、表示部１０ａを制御する。領域Ａ３すなわち出力画像Ｉｍ３は、例えば、図２０の例での領域Ａ１すなわち出力画像Ｉｍ１と同様である。表示部１０ａの表面側すなわち後側に、ハーフミラーが設けられた場合には、領域Ａ４に対応する表示部１０ａの表面は、ルームミラー（ミラー）として機能する。すなわち、図２２に例示されるように、筐体１０の表面（後面）に設けられる表示部１０ａの領域Ａ３には出力画像Ｉｍ３が表示され、領域Ａ４には出力画像Ｉｍが表示されず、当該領域Ａ４は、ミラーとして機能する。この例によれば、例えば、運転者等の乗員は、領域Ａ３に表示される出力画像Ｉｍ３と領域Ａ４での実際の鏡像（写像）とによって、より状況を把握しやすい場合がある。なお、領域Ａ３，Ａ４すなわち出力画像Ｉｍ３とハーフミラーにおける鏡像（写像）との配置や、大きさ、撮像画像中の範囲等は、図２１，２２の例には限定されず、種々に設定されたり変更されたりしうる。運転者等の乗員による操作入力部１０ｂ，１０ｃ，２４ｂ等の操作入力により、設定を変更できるよう構成されてもよい。
【００６３】
図２３〜２５には、物体画像補正部１１０ｇによる他の車両等の物体Ｂの画像Ｉｍｂの補正の例が示されている。図２３には、物体Ｂが車両１から最も遠い場合、図２４には、物体Ｂが図２３よりも車両１に近付いた場合、また、図２５には、物体Ｂが図２４よりも車両１にさらに近付いた場合が、それぞれ示されている。図２３〜２５の出力画像Ｉｍは、歪み補正部１１０ｅおよび視点変換処理部１１０ｆによって補正された車外画像Ｉｍｏを含む。ＥＣＵ１１は、物体Ｂと車両１との距離を、車外画像Ｉｍｏの画像処理や、非接触計測装置１３による検出結果等から、得ることができる。この例では、ＥＣＵ１１は、車外画像Ｉｍｏから画像処理により物体Ｂの画像Ｉｍｂを抽出し、車両１から物体Ｂの距離が大きいほど、当該物体Ｂの画像Ｉｍｂがより大きく拡大されて表示されるよう、表示部１０ａを制御する。物体Ｂの画像Ｉｍｂは、図２３の場合、当該図中に二点鎖線で示される元の物体Ｂの画像の大きさよりも２倍に拡大され、図２４の場合、当該図中に二点鎖線で示される元の物体Ｂの画像の大きさよりも１．５倍に拡大され、図２５の場合、画像Ｉｍｂは拡大されていない。この例によれば、例えば、運転者等の乗員は、より遠くに位置する物体Ｂを、より把握しやすい。なお、物体Ｂの画像Ｉｍｂの距離に応じた拡大率の大きさや、拡大画像の位置、表示形態等は、図２３〜２５の例には限定されず、種々に変更されうる。
【００６４】
また、範囲決定部１１０ｂや、表示態様決定部１１０ｃは、運転者等の乗員の操作入力によって、車外画像Ｉｍｏや、車体画像Ｉｍｉ、追加画像、出力画像Ｉｍの範囲や表示態様を決定することができる。この場合、例えば、運転者等の乗員は、表示部１０ａで好みの範囲や表示態様で表示された出力画像Ｉｍを視認することができる。操作入力は、運転者等の乗員による、操作入力部１０ｂ，１０ｃ，２４ｂや、ステアリングの操作によって行われる。ステアリングの操作に基づく操作入力は、舵角センサ１４の検出結果から得られる。
【００６５】
以上、説明したように、本実施形態では、例えば、範囲決定部１１０ｂ（範囲変更部）は、車両１の前進時と後退時とで、撮像画像のうち出力画像Ｉｍ（表示画像）に含まれる表示範囲Ａｄ（範囲）を変更する。よって、本実施形態によれば、例えば、表示部１０ａ（表示装置）に、車両１の前進時と後退時とのそれぞれに応じた表示範囲Ａｄの出力画像Ｉｍが表示されうる。よって、例えば、運転者等の乗員は、それぞれの状況に応じて見やすい出力画像Ｉｍを見ることができたり、それぞれの状況に応じた物体等の画像を視認しやすかったりする。なお、表示範囲Ａｄは、歪み補正部１１０ｅや視点変換処理部１１０ｆ等の補正部による補正範囲とは同じであってもよいし異なっていてもよい。すなわち、ＥＣＵ１１（画像表示制御装置）は、表示範囲Ａｄの画素（画像）に補正を行ってもよいし、補正を行った画素（画像）の範囲から表示範囲Ａｄを抽出してもよい。
【００６６】
また、本実施形態では、例えば、前進時と後退時とで、車外画像Ｉｍｏが、一つの撮像部１２Ｒによる撮像画像から得られる。よって、例えば、画像表示システム１００がより簡素化されうる。また、ＥＣＵ１１は、例えば、一つの撮像部１２Ｒによる撮像画像に、前進時と後退時とで異なる画像処理を行うことにより、車外画像Ｉｍｏを得る。よって、例えば、運転者等の乗員は、それぞれの状況に応じて見やすい出力画像Ｉｍを見ることができたり、それぞれの状況に応じた物体等の画像を視認しやすかったりする。
【００６７】
また、本実施形態では、例えば、歪み補正部１１０ｅ（画像補正部）および視点変換処理部１１０ｆ（画像補正部）は、車両１の前進時と後退時とで異なる態様で車外画像Ｉｍｏを補正する。よって、例えば、表示部１０ａに、車両１の前進時と後退時とのそれぞれに応じた表示態様の出力画像Ｉｍが表示されうる。よって、例えば、運転者等の乗員は、それぞれの状況に応じて見やすい出力画像Ｉｍを見ることができたり、それぞれの状況に応じた物体等の画像を視認しやすかったりする。また、例えば、前進時と後退時とで画像の補正の有無や態様を異ならせることにより、ＥＣＵ１１の演算負荷が軽減されうる。
【００６８】
また、本実施形態では、例えば、範囲決定部１１０ｂは、車両１の前進時と後退時とで表示範囲Ａｄの大きさを異ならせる。よって、例えば、表示部１０ａに、車両１の前進時と後退時とのそれぞれに応じた大きさの出力画像Ｉｍが表示されうる。よって、例えば、運転者等の乗員は、それぞれの状況に応じて見やすい出力画像Ｉｍを見ることができたり、それぞれの状況に応じた物体等の画像を視認しやすかったりする。なお、前進時と後退時とで、出力画像Ｉｍの倍率が異なってもよい。
【００６９】
また、本実施形態では、例えば、画像生成部１１０は、表示範囲Ａｄが異なる複数の車外画像Ｉｍｏを含む出力画像Ｉｍを生成可能である。よって、例えば、表示部１０ａに、複数の車外画像Ｉｍｏを含む出力画像Ｉｍが表示されうる。よって、例えば、運転者等の乗員は、より多くの物体等の画像を視認できる。また、例えば、運転者等の乗員は、より広い表示範囲Ａｄの第二の出力画像Ｉｍ２によって全体を把握するとともに、より狭い表示範囲Ａｄの第一の出力画像Ｉｍ１によって細部を把握できる。よって、運転者等の乗員は、車両１の状況をより容易に、より迅速に、あるいはより精度良く把握できる場合がある。
【００７０】
また、本実施形態では、例えば、出力画像Ｉｍに含まれる複数の車外画像Ｉｍｏは、それぞれ、画像生成部１１０によって異なる態様で補正が行われた画像である。よって、例えば、運転者等の乗員は、複数の出力画像Ｉｍを見やすかったり、物体等の画像を視認しやすかったりする。また、例えば、複数の出力画像Ｉｍで補正の有無や態様を異ならせることにより、ＥＣＵ１１の演算負荷が軽減されうる。
【００７１】
また、本実施形態では、例えば、表示部１０ａ（表示装置）はハーフミラー２５で覆われ、表示制御部１１ｅは、表示部１０ａの一部に出力画像Ｉｍが表示されるとともに、表示部１０ａの他の一部をブラックアウトしてハーフミラー２５がミラーとして機能するよう、表示部１０ａを制御する。よって、例えば、表示部１０ａが、ディスプレイおよびミラーとして利用されうる。よって、例えば、比較的簡単な構成や制御によって、運転者等の乗員が複数の画像（出力画像Ｉｍおよび写像）を見ることができる状態が得られる。
【００７２】
また、本実施形態では、例えば、表示制御部１１ｅは、車両１の前進時と後退時とで、異なる位置に出力画像Ｉｍが表示されるよう、表示部１０ａを制御する。よって、例えば、運転者等の乗員は、それぞれの状況に応じて見やすい出力画像Ｉｍを見ることができたり、それぞれの状況に応じた物体等の画像を視認しやすかったりする。
【００７３】
また、本実施形態では、例えば、画像生成部１１０は、車両１の前進時と後退時とで、異なる車体画像Ｉｍｉ等の追加画像を追加する。よって、例えば、運転者等の乗員は、それぞれの状況に応じて見やすい出力画像Ｉｍを見ることができたり、それぞれの状況に応じた物体等の画像を視認しやすかったりする。
【００７４】
以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、色、パターン等）は、適宜に変更して実施することができる。例えば、補正は、歪み補正や、視点変換処理以外の補正であってもよい。また、補正処理等の演算の順序は、適宜変更することができる。
【００７５】
また、出力画像（表示画像）は、複数の表示装置で表示されてもよいし、ルームミラーの位置以外の表示装置で表示されてもよい。表示装置は、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内のダッシュボードやセンターコンソール等に設けられた表示パネルであってもよい。なお、表示パネルは、コックピットモジュール、インストルメントパネル、フェイシア等に設けられてもよい。
【００７６】
また、例えば、前進時には複数の撮像部によって撮像された撮像画像の合成画像から車外画像が得られ、後退時には一つの撮像部によって撮像された撮像画像から車外画像が得られてもよい。すなわち、前進時の撮像画像（車外画像）を得る撮像部と、後退時の撮像画像（車外画像）を得る撮像部とが、相異なってもよい。この場合、より見やすい表示画像が得られたり、演算負荷がより軽減されたりしうる。
【符号の説明】
【００７７】
１…車両、２…車体、２ｂ…後端部、１０ａ…表示部（表示装置）、１１…ＥＣＵ（画像表示制御装置）、１１ｅ…表示制御部、１２，１２Ｒ…撮像部、２５…ハーフミラー、１００…画像表示システム、１１０…画像生成部、１１０ｂ…範囲決定部（範囲変更部）、１１０ｅ…歪み補正部（画像補正部）、１１０ｆ…視点変換処理部（画像補正部）、Ａｄ…表示範囲（範囲）、Ｉｍ，Ｉｍ１，Ｉｍ２，Ｉｍ３…出力画像（表示画像）、Ｉｍｏ…車外画像、Ｌｒｈ…水平方向。
【図１】
0006565148.tif 000002
【図２】
0006565148.tif 000003
【図３】
0006565148.tif 000004
【図４】
0006565148.tif 000005
【図５】
0006565148.tif 000006
【図６】
0006565148.tif 000007
【図７】
0006565148.tif 000008
【図８】
0006565148.tif 000009
【図９】
0006565148.tif 000010
【図１０】
0006565148.tif 000011
【図１１】
0006565148.tif 000012
【図１２】
0006565148.tif 000013
【図１３】
0006565148.tif 000014
【図１４】
0006565148.tif 000015
【図１５】
0006565148.tif 000016
【図１６】
0006565148.tif 000017
【図１７】
0006565148.tif 000018
【図１８】
0006565148.tif 000019
【図１９】
0006565148.tif 000020
【図２０】
0006565148.tif 000021
【図２１】
0006565148.tif 000022
【図２２】
0006565148.tif 000023
【図２３】
0006565148.tif 000024
【図２４】
0006565148.tif 000025
【図２５】
0006565148.tif 000026