(57)【特許請求の範囲】
【請求項１】
車両で用いられる表示部に車両外部の画像を表示するための車両用撮像装置であって、
車両に取り付けられ、車両外部を撮像して撮像信号を出力する撮像部と、
前記撮像信号に基づいて、前記表示部の各ラインで表示すべき画像を示す画像信号を生成する生成処理の後、当該画像信号を前記表示部に出力する画像信号生成部と、
前記画像信号生成部が前記画像信号を前記表示部に出力するタイミングを制御するタイミング制御部とを備え、
前記撮像信号のフレームの開始から、前記表示部に出力する前記画像信号のフレームの開始までの時間を位相差とし、前記撮像部のフレームレートを第１フレームレートとし、
前記表示部で表示可能な最高のフレームレートを第２フレームレートとしたとき、
前記タイミング制御部は、
前記位相差が所定時間より長い場合において、前記表示部のフレームレートが前記第２フレームレートとなるように前記画像信号生成部に前記画像信号を出力させることにより、前記位相差を次第に小さくする第１のタイミング制御と、
前記位相差が、前記所定時間以下となった後において、前記表示部のフレームレートが前記第１フレームレートとなるように前記画像信号生成部に前記画像信号を出力させる第２のタイミング制御と、を実行可能である、
ことを特徴とする車両用撮像装置。
【請求項２】
前記撮像部は、車両の後側方領域の像を撮像し、
前記生成処理は、
前記撮像信号に基づく画像に対して、左右方向について車体に近い領域を車体に遠い領域と比較して相対的に拡大する第１処理と、前記撮像信号に基づく画像に対して、上下方向について中央の領域を前記中央の領域より上又は下の領域と比較して相対的に拡大する第２処理とのうち少なくとも一方を含む、
ことを特徴とする請求項１に記載の車両用撮像装置。
【請求項３】
前記第１処理において、
車体に近い領域について、左右方向の長さをＸ１、拡大率をＨ１、
車体から遠い領域について、左右方向の長さをＸ２、縮小率をＨ２、としたとき、
Ｘ１+Ｘ２＝Ｘ１・Ｈ１+Ｘ２・Ｈ２となるようにＨ１及びＨ２を定め、
前記第２処理において、
中央の領域について、上下方向の長さをＹ１、拡大率をＶ１、
上の領域について、上下方向の長さをＹ２、縮小率をＶ２、
下の領域について、上下方向の長さをＹ３、縮小率をＶ３、としたとき、
Ｙ１+Ｙ２＋Ｙ３＝Ｙ１・Ｖ１+Ｙ２・Ｖ２＋Ｙ３・Ｖ３となるようにＶ１、Ｖ２及びＶ３を定める、
ことを特徴とする請求項２に記載の車両用撮像装置。
【請求項４】
利用者の指示を入力可能な操作部を備え、
前記第１処理において、
前記車体に近い領域の左右方向の拡大率及び前記車体に遠い領域の左右方向の縮小率のいずれか一方、並びに前記中央の領域の上下方向の拡大率、前記上の領域の上下方向の縮小率、及び前記下の領域の上下方向の縮小率のうち少なくとも一つは、前記操作部によって入力される、
ことを特徴とする請求項３に記載の車両用撮像装置。
【請求項５】
前記生成処理は、前記撮像信号に基づく画像をトリミングするトリミング処理を含む、ことを特徴とする請求項１または２に記載の車両用撮像装置。
【請求項６】
前記撮像部は、車両に固定して取り付けられており、
前記トリミング処理は、利用者が指示を入力するための操作部の操作に応じて、前記撮像信号に基づく画像をトリミングする、
ことを特徴とする請求項５に記載の車両用撮像装置。
【請求項７】
前記生成処理は、
前記撮像信号に基づく画像をトリミングするトリミング処理と、
前記撮像信号に基づく画像の第１領域と第２領域とを拡大又は縮小し、前記第1領域の倍率と前記第２領域の倍率とを異ならせる変倍処理とを含み、
前記トリミング処理の後に、前記変倍処理を実行することを特徴とする請求項１に記載の車両用撮像装置。
【請求項８】
前記生成処理は、前記撮像信号に基づく画像を左右反転させた鏡像を生成する処理を含むことを特徴とする請求項２乃至７のうち何れか１項に記載の車両用撮像装置。
【請求項９】
前記撮像部は、レンズと前記撮像信号を出力するイメージセンサーとを備え、
前記生成処理は、前記レンズの歪曲収差を補正する処理を含むことを特徴とする請求項１乃至８のうち何れか１項に記載の車両用撮像装置。
【請求項１０】
請求項１乃至８のうち何れか１項に記載の車両用撮像装置と、前記表示部とを備える車両用撮像表示システム。
【請求項１１】
前記表示部は、
プロジェクターと、
前記プロジェクターの照射光の方向を調整するフィールドレンズと、
前記フィールドレンズからの光を反射して開口部より射出するコンバイナーと備え、
前記プロジェクター及びフィールドレンズは、前記開口部より上側に設けられている、
ことを特徴とする請求項１０に記載の車両用撮像表示システム。
【請求項１２】
前記車両用撮像装置と前記表示部との組を３組備え、
車両の左側後方の画像を示す前記画像信号を出力する第1の前記車両用撮像装置と、
車両の後方の画像を示す前記画像信号を出力する第２の前記車両用撮像装置と、
車両の右側後方の画像を示す前記画像信号を出力する第３の前記車両用撮像装置と、
前記第１の前記車両用撮像装置から出力される前記画像信号を表示する第１の前記表示部と、
前記第２の前記車両用撮像装置から出力される前記画像信号を表示する第２の前記表示部と、
前記第３の前記車両用撮像装置から出力される前記画像信号を表示する第３の前記表示部とを備え、
前記第１の表示部は前記第２の表示部より左側に配置され、
前記第３の表示部は前記第２の表示部より右側に配置され、
前記第１の前記車両用撮像装置から出力される前記画像信号を表示する第１の前記表示部とを備える、
ことを特徴とする請求項１０に記載の車両用撮像表示システム。
【請求項１３】
請求項１０乃至１２のうち何れか１項に記載の車両用撮像表示システムを備えたことを特徴とする車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用撮像装置、車両用撮像表示システム、及び車両に関する。
【背景技術】
【０００２】
従来から、車両外部の様子を示す画像を車両室内に表示して車両の運転を補助する撮像表示システムが知られている。例えば特許文献１には、車両の死角領域の像をイメージセンサーで撮像して車内の表示部に表示する撮像表示システムが開示されている。なお、以下の説明では、イメージセンサーから出力される信号を撮像信号と称し、表示部に供給する信号を画像信号と称する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−５８７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、一般に撮像表示システムでは、イメージセンサーが出力する撮像信号に対して画像処理を施して、表示部に表示する画像を示す画像信号を生成する。また、イメージセンサーと表示部とは異なる装置であるため、異なる基準信号に同期して動作するのが通常である。このため、撮像信号のフレームの開始と画像信号のフレームの開始とがずれ、遅延時間が大きくなる。例えば、画像信号のフレームが開始された直後に撮像信号のフレームが開始されると、画像信号の１フレーム期間以上の遅延時間が発生することになる。
しかしながら、サイドミラーやバックミラーの替りに、電子的な撮像表示システムを用いる場合、車両が高速で移動する点を考慮する必要がある。すなわち、イメージセンサーで被写体を撮像してから、表示部で画像を表示するまでの遅延時間が長くなると、表示部には、後続の車両が離れて表示されていても、実際の車間距離が短いこともあり得る。例えば、時速１２０ｋｍで走行している場合、３０ｍSの時間経過は１ｍの移動量に相当する。遅延時間を短くすることは、安全な車両の走行に重要である。
【０００５】
本発明は、上述した事情に鑑みてなされたものであり、撮像から表示までの遅延時間を短縮することにより、車両の安全な運転に有用な車両外部の画像を表示可能とすることを解決課題の一つとする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、本発明に係る車両用撮像装置の一態様は、車両で用いられる表示部に車両外部の画像を表示するための車両用撮像装置であって、車両に取り付けられ、車両外部を撮像して撮像信号を出力する撮像部と、前記撮像信号に基づいて、前記表示部の各ラインで表示すべき画像を示す画像信号を生成する生成処理の後、当該画像信号を前記表示部に出力する画像信号生成部と、前記画像信号生成部が前記画像信号を前記表示部に出力するタイミングを制御するタイミング制御部とを備え、前記撮像信号のフレームの開始から、前記表示部に出力する前記画像信号のフレームの開始までの時間を位相差とし、前記撮像部のフレームレートを第１フレームレートとし、前記表示部で表示可能な最高のフレームレートを第２フレームレートとしたとき、前記タイミング制御部は、前記位相差が所定時間より長い場合において、前記表示部のフレームレートが前記第２フレームレートとなるように前記画像信号生成部に前記画像信号を出力させることにより、前記位相差を次第に小さくする第１のタイミング制御と、前記位相差が、前記所定時間以下となった後において、前記表示部のフレームレートが前記第１フレームレートとなるように前記画像信号生成部に前記画像信号を出力させる第２のタイミング制御とを実行可能である、ことを特徴とする。
【０００７】
この発明によれば、車両の安全な運転に必要な車両外部の画像が車両内部の表示部に表示可能となる。このため、バックミラー（リアビューミラー）、サイドミラー（ドアミラー）やフェンダーミラー（乗用車のボンネット前方端に設置されるミラー）、及びこれらの補助ミラー等の代わりに車両用撮像装置の一態様を用いる場合、車両の安全な運転に必要な車両外部の様子を運転者が視認することが可能となる。これにより、意匠性に富んだ車両デザインが可能となるとともに、サイドミラーやフェンダーミラー等を車体外面に取り付ける必要がなくなるので、走行時の風圧も低減される。
さらに、特にトラック等の大型車両では、従来のバックミラーでは車両後方の様子が十分に確認できない。しかし、この発明によれば、車両後方の様子が撮像部によって撮影されて画像として表示されるので、十分な後方確認が可能となる。また、従来のように運転者の座高や体格に合わせてミバックミラーやサイドミラー等の向きを手動で又はボタン等の調整手段により調整する必要がなくなり、利便性が向上する。
また、この発明によれば、車両外部における左側後方及び右側後方の様子を示す画像を車両内部の表示部に表示するから、左右に大きく視野を移動する必要がある従来のドアミラーと比較して、視野の移動量を低減することが可能となる。
さらに、車両外部の様子が画像で表示されるので、例えば暗い場所の画像の明度を補正して表示するといったことも可能となる。
また、この発明の態様によれば、撮像信号のフレームの開始から画像信号のフレームの開始までの時間である位相差が、所定時間よりも長い場合には、撮像部よりも高いフレームレートである第２フレームレートで画像信号を出力することで、表示部のフレーム期間と撮像部のフレーム期間との差分に相当する期間ずつ位相差を縮小する。そして、位相差が所定時間以下となった後は、表示部のフレームレートが撮像部のフレームレートである第１フレームレートとなるようにすることで、画像信号を撮像信号に同期するように出力する。この結果、位相差が所定時間よりも大きい場合において、位相差が所定時間以下となるまでは、位相差を段階的に短くすることができ、位相差が所定時間以下に収束した後は当該位相差を維持することができる。よって、撮像から表示までの遅延時間を短縮することにより、車両の安全な運転に有用な車両外部の画像を表示させることが可能となる。
なお、撮像部が撮像信号を出力してから、画像信号を生成するまでの時間を画像処理時間としたとき、所定時間は画像処理時間であることが好ましい。
【０００８】
また、上述した車両用撮像装置の一態様において、前記撮像部は、車両の後側方領域の像を撮像し、前記生成処理は、前記撮像信号に基づく画像に対して、左右方向について車体に近い領域を車体に遠い領域と比較して相対的に拡大する第１処理と、前記撮像信号に基づく画像に対して、上下方向について中央の領域を前記中央の領域より上又は下の領域と比較して相対的に拡大する第２処理とのうち少なくとも一方を含むようにしてもよい。車両の後側方領域とは、例えば、従来からある車両のサイドミラーやフェンダーミラー、及びこれらの補助ミラー等で映し得る領域に相当する。この態様によれば、撮像信号に基づく画像のうち、車両の運転時の安全確認により有用な領域の視認性を向上することが可能となる。また、例えばサイドミラーの鏡面に平面部と凸面部を設けて凸面部に映る鏡像が圧縮されるようにする構成と比較して、物理的な加工処理を不要としつつ、少なくとも車体に近い領域又は中央の領域の視認性を向上することが可能となる。
この場合において、好ましくは、前記第１処理において、車体に近い領域について、左右方向の長さをＸ１、拡大率をＨ１、車体から遠い領域について、左右方向の長さをＸ２、縮小率をＨ２、としたとき、Ｘ１+Ｘ２＝Ｘ１・Ｈ１+Ｘ２・Ｈ２となるようにＨ１及びＨ２を定め、前記第２処理において、中央の領域について、上下方向の長さをＹ１、拡大率をＶ１、上の領域について、上下方向の長さをＹ２、縮小率をＶ２、下の領域について、上下方向の長さをＹ３、縮小率をＶ３、としたとき、Ｙ１+Ｙ２＋Ｙ３＝Ｙ１・Ｖ１+Ｙ２・Ｖ２＋Ｙ３・Ｖ３となるようにＶ１、Ｖ２及びＶ３を定める態様としてもよい。この態様によれば、撮像信号に基づく画像全体のサイズを変更することなく、領域間の大きさの比率を異ならせることができる。
【０００９】
さらに、好ましくは、上述した車両用撮像装置の一態様は、利用者の指示を入力可能な操作部を備え、前記第１処理において、前記車体に近い領域の左右方向の拡大率及び前記車体に遠い領域の左右方向の縮小率のいずれか一方、並びに前記中央の領域の上下方向の拡大率、前記上の領域の上下方向の縮小率、及び前記下の領域の上下方向の縮小率のうち少なくとも一つは、前記操作部によって入力されるようにしてもよい。車体に近い領域の左右方向の拡大率及び車体に遠い領域の左右方向の縮小率のいずれか一方が定まれば、他方は演算により決定され得る。同様に、上の領域の上下方向の縮小率と下の領域の上下方向の縮小率とが等しい場合、中央の領域の上下方向の拡大率、上の領域の上下方向の縮小率、及び下の領域の上下方向の縮小率のうち少なくとも一つが定まれば残りの２つは演算により決定され得る。
この態様によれば、利用者は好みに合わせて各領域の拡大率及び縮小率を変更することが可能となり、利便性が向上する。
【００１０】
また、上述した車両用撮像装置の一態様において、前記生成処理は、前記撮像信号に基づく画像をトリミングする処理を含むようにしてもよい。この態様によれば、撮像信号に基づく画像のうち運転者が不要だと認識するであろう部分を除いた領域の画像を生成することが可能となる。
この場合において、好ましくは、前記撮像部は、車両に固定して取り付けられており、前記トリミング処理は、利用者が指示を入力するための操作部の操作に応じて、前記撮像信号に基づく画像をトリミングする態様としてもよい。この態様によれば、撮像信号に基づく画像のうち運転者が指定した領域を切り出すことが可能となり、運転者の利便性が向上する。すなわち、従来のように運転者がサイドミラーの上下左右の向きを機械的に変えて、見たい領域を選択する代わりに、撮像画像に基づく画像のうち見たい領域を切り出して表示するという電子的な方法で領域を任意に変更可能となる。また、撮像部のカメラを機械的に動かすための可動部を設けずとも、広角で撮像された広い領域の画像のうち見たい領域を任意に変更することが可能となる。
【００１１】
また、上述した車両用撮像装置の一態様において、前記生成処理は、前記撮像信号に基づく画像をトリミングするトリミング処理と、前記撮像信号に基づく画像の第１領域と第２領域とを拡大又は縮小し、前記第1領域の倍率と前記第２領域の倍率とを異ならせる変倍処理とを含み、前記トリミング処理の後に、前記変倍処理を実行するようにしてもよい。この態様によれば、トリミング処理の後に変倍処理を実行するので、トリミング処理により切り取られてしまう領域の画像を、変倍処理の対象からあらかじめ除外することが可能となる。
【００１２】
また、上述した車両用撮像装置の一態様において、前記生成処理は、前記撮像信号に基づく画像を左右反転させた鏡像を生成する処理を含むようにしてもよい。この態様によれば、従来のサイドミラーやフェンダーミラー等に映る鏡像と左右が同じ方向の画像による安全確認が可能となる。
【００１３】
さらに、本発明に係る車両用撮像表示システムの一態様は、レンズと前記撮像信号を出力するイメージセンサーとを備え、前記生成処理は、前記レンズの歪曲収差を補正する処理を含む。撮像信号の示す画像は、撮像光学系が備えるレンズの光学特性に起因する歪曲収差（例えば、本来表示すべき画像に比べて外側に向かって膨張するものや内側に向かって収縮する歪曲収差）を有する場合がある。本発明によれば、レンズの光学特性に起因した歪曲収差を補正することができるから、車両の運転者に歪みが補正された画像が提供され、車両外部の領域の視認性が向上する。
【００１４】
さらに、本発明に係る車両用撮像表示システムの一態様は、上述したいずれかの態様に係る車両用撮像装置と、前記表示部とを備えることを特徴とする。この発明によれば、上記車両用撮像装置と同様の効果を得ることができる。
上述した車両用撮像表示システムにおいて、前記表示部は、プロジェクターと、前記プロジェクターの照射光の方向を調整するフィールドレンズと、前記フィールドレンズからの光を反射して開口部より射出するコンバイナーと備え、前記プロジェクター及びフィールドレンズは、前記開口部より上側に設けられるようにしてもよい。この態様によれば、プロジェクターとフィールドレンズが開口部より上側に設けられているので、開口部から外部の塵や埃が侵入しても付着しづらいという利点がある。
【００１５】
さらに、上述した車両用撮像表示システムの一態様は、前記車両用撮像装置と前記表示部との組を３組備え、車両の左側後方の画像を示す前記画像信号を出力する第1の前記車両用撮像装置と、車両の後方の画像を示す前記画像信号を出力する第２の前記車両用撮像装置と、車両の右側後方の画像を示す前記画像信号を出力する第３の前記車両用撮像装置と、前記第１の前記車両用撮像装置から出力される前記画像信号を表示する第１の前記表示部と、前記第２の前記車両用撮像装置から出力される前記画像信号を表示する第２の前記表示部と、前記第３の前記車両用撮像装置から出力される前記画像信号を表示する第３の前記表示部とを備え、前記第１の表示部は前記第２の表示部より左側に配置され、前記第３の表示部は前記第２の表示部より右側に配置され、前記第１の前記車両用撮像装置から出力される前記画像信号を表示する第１の前記表示部とを備えるようにしてもよい。この発明によれば、従来の右サイドミラー、バックミラー、左サイドミラーに慣れた運転者にとって、違和感のない画像を視認させることが可能となる。
【００１６】
また、本発明に係る車両の一態様は、上記車両用撮像表示システムを備えることを特徴とする。この発明によれば、上記車両用撮像表示システムと同様の効果を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態に係る車両用撮像表示システム１の概略構成を示すブロック図である。
【図２】各左側後方領域撮像部１０−１、中央後方領域撮像部１０−２、及び右側後方領域撮像部１０−３について、車両Ａにおける配置例を示す図である。
【図３Ａ】車両Ａの車内における表示領域の配置例を示す図である。
【図３Ｂ】車両Ａの車内における表示領域の配置例を示す図である。
【図３Ｃ】車両Ａの車内における表示領域の配置例を示す図である。
【図４】左側表示部４０−１の構成例を示す図である。
【図５】中央表示部４０−２の構成例を示す図である。
【図６】車両用撮像表示システム１の詳細な構成を示すブロック図である。
【図７】撮像信号ＤSと表示領域ＡDとの関係を説明するための説明図である。
【図８】車両用撮像表示システム１の動作を説明するためのタイミングチャートである。
【図９】画像処理部２１の構成を示すブロック図である。
【図１０】歪曲補正処理を説明するための説明図である。
【図１１Ａ】トリミング領域の一例を示す図である。
【図１１Ｂ】トリミング処理後の画像の一例を示す図である。
【図１１Ｃ】左右反転処理によって生成された画像の一例を示す図である。
【図１２Ａ】撮像信号ＤSLに基づく画像に対して施す拡大・縮小処理の概念図である。
【図１２Ｂ】水平方向縮小・拡大処理を説明するための概念図である。
【図１２Ｃ】垂直方向縮小・拡大処理を説明するための概念図である。
【図１２Ｄ】撮像信号ＤSLに基づく画像に対して施す拡大・縮小処理の概念図である。
【図１２Ｅ】水平方向縮小・拡大処理を説明するための概念図である。
【図１２Ｆ】垂直方向縮小・拡大処理を説明するための概念図である。
【図１２Ｇ】撮像信号ＤSLに基づく画像に対して施す拡大・縮小処理の概念図である。
【図１２Ｈ】水平方向縮小・拡大処理を説明するための概念図である。
【図１２Ｉ】垂直方向縮小・拡大処理を説明するための概念図である。
【図１２Ｊ】変倍率変更処理を説明するための概念図である。
【図１３】画像生成処理後の画像信号Ｄが示す画像の一例である。
【図１４Ａ】車両用撮像表示システム１の動作を説明するためのタイミングチャートである。
【図１４Ｂ】車両用撮像表示システム１の動作を説明するためのタイミングチャートである。
【図１４Ｃ】車両用撮像表示システム１の動作を説明するためのタイミングチャートである。
【図１４Ｄ】車両用撮像表示システム１の動作を説明するためのタイミングチャートである。
【図１５】表示領域ＡDの説明と、表示部に表示領域ADを表示するためのタイミングチャートを示した説明図である。
【図１６】左側表示部４０−１の構成を示すブロック図である。
【図１７】左側フロントＡピラー部ＦＰにおける画像信号ＤLの示す画像の表示例を示す図である。
【図１８Ａ】撮像信号ＤSRに基づく画像に対して施す拡大・縮小処理の概念図である。
【図１８Ｂ】撮像信号ＤSRに基づく画像に対して施す拡大・縮小処理の概念図である。
【図１８Ｃ】撮像信号ＤSRに基づく画像に対して施す拡大・縮小処理の概念図である。
【図１８Ｄ】画像信号ＤRRの示す画像の一例を示す図である。
【図１９】撮像信号ＤSCに基づく画像に対して施す拡大・縮小処理の概念図である。
【図２０】車両用撮像表示システム１の動作を説明するためのタイミングチャートである。
【図２１Ａ】車両用撮像表示システム１の動作を説明するためのタイミングチャートである。
【図２１Ｂ】車両用撮像表示システム１の動作を説明するためのタイミングチャートである。
【図２２】車両用撮像表示システム１の動作を説明するためのタイミングチャートである。
【図２３】車両用撮像表示システム１の動作を説明するためのタイミングチャートである。
【図２４】車両用撮像表示システム１の動作を説明するためのタイミングチャートである。
【図２５】車両用撮像表示システム１の動作を説明するためのタイミングチャートである。
【図２６】本発明の第２実施形態に係る車両用撮像表示システムの動作を説明するためのタイミングチャートである。
【図２７】第２実施形態に係る車両用撮像表示システムの動作を説明するためのタイミングチャートである。
【図２８】第２実施形態に係る車両用撮像表示システムの動作を説明するためのタイミングチャートである。
【発明を実施するための形態】
【００１８】
本発明を実施するための形態について図面を参照して説明する。ただし、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【００１９】
＜Ａ．第１実施形態＞
以下、本発明の第１実施形態に係る車両用撮像表示システム１について説明する。
【００２０】
＜１．撮像表示システムの全体構成＞
図１は、車両用撮像表示システム１の概略構成を示すブロック図である。車両用撮像表示システム１は、運転者が自動車や電車などの車両を運転する際に、車両の運行を補助するための画像を表示するシステムである。
図1に示すように、車両用撮像表示システム１は、左側後方領域撮像部１０−１と中央後方領域撮像部１０−２と右側後方領域撮像部１０−３と、これら各撮像部から出力された各撮像信号ＤSL，ＤSC，ＤSRに対して画像処理を施して画像信号ＤL，ＤC，ＤRをそれぞれ生成する画像処理回路１００−１，１００−２，１００−３と、画像信号ＤL，ＤC，ＤRが示す画像を表示する左側表示部４０−１と中央表示部４０−２と右側表示部４０−３と、を備える。
【００２１】
さらに、車両用撮像表示システム１は、その設定の変更や撮像信号ＤSの画像処理に関する指示等を入力するための操作部６０と、車両用撮像表示システム１全体の動作を制御する制御部５０と、を備える。操作部６０は表示装置と一体に構成されたタッチパネルである。運転者は、操作部６０から、例えば撮像信号ＤSに基づく画像をトリミングする処理について、トリミングの位置を指定する指示を入力することができる。また、撮像信号ＤSに基づく画像を複数の領域に分割した後に、各領域を縮小又は拡大する処理について、縮小率及び拡大率を入力することができる。
【００２２】
車両用撮像表示システム１のうち、左側後方領域撮像部１０−１と中央後方領域撮像部１０−２と右側後方領域撮像部１０−３、画像処理回路１００−１，１００−２，１００−３、操作部６０、及び、制御部５０は「車両用撮像装置」の一例である。
なお、以下の説明において、左側後方領域撮像部１０−１と中央後方領域撮像部１０−２と右側後方領域撮像部１０−３を「撮像部１０」と総称する場合がある。同様に、左側表示部４０−１と中央表示部４０−２と右側表示部４０−３を「表示部４０」と総称し、画像処理回路１００−１，１００−２，１００−３を「画像処理回路１００」と総称する場合がある。
【００２３】
左側後方領域撮像部１０−１は車両の左側後方領域にある被写体を撮像し、中央後方領域撮像部１０−２は車両の後方領域にある被写体を撮像し、右側後方領域撮像部１０−３は車両の右側後方領域にある被写体を撮像することが可能である。
各左側後方領域撮像部１０−１、中央後方領域撮像部１０−２、及び右側後方領域撮像部１０−３について、車両における配置例を図２に示す。図２に示されるように、左側後方領域撮像部１０−１は車両Ａの左側フロントＡピラー部の外側表面付近（図示の例では従来の左サイドミラーが設けられる位置）に配置され、車両Ａの左側後方領域ＬRを撮像する。右側後方領域撮像部１０−３は車両Ａの右側フロントＡピラー部の外側表面付近（図示の例では従来の右サイドミラーが設けられた位置）に配置され、車両Ａの右側後方領域ＲRを撮像する。中央後方領域撮像部１０−２は車両Ａの後方端の車両幅方向における中点位置付近（図示の例ではバックウィンドウの下側）に配置され、車両の後方領域ＢRを撮像する。なお、図示の配置例は一例であり、本発明の趣旨を損なわない範囲で適宜変更され得る。例えば、左側後方領域撮像部１０−１及び右側後方領域撮像部１０−３を、車両Ａの前方の例えばヘッドライト脇に配置する構成を採用してもよい。この場合には、図示の例と比較してより広範囲の後方確認が可能となるため、より安全性が高まる。
【００２４】
左側表示部４０−１は従来の左サイドミラーの代わりに左側後方領域ＬRの画像を表示し、中央表示部４０−２は従来のバックミラーの代わりに後方領域ＢRの画像を表示するものである。また、右側表示部４０−３は従来の右サイドミラーの代わりに右側後方領域ＲRの画像を表示する。すなわち、各左側表示部４０−１、中央表示部４０−２、及び右側表示部４０−３は、各左側後方領域撮像部１０−１、中央後方領域撮像部１０−２、及び右側後方領域撮像部１０−３から出力される各撮像信号ＤSLに応じた画像、撮像信号ＤSCに応じた画像、撮像信号ＤSRに応じた画像（正確には、画像処理回路１００による画像処理を経た画像信号ＤLに応じた画像、画像信号ＤCに応じた画像、画像信号ＤRに応じた画像）をそれぞれ表示する。
【００２５】
図３Ａ、図３Ｂ、及び、図３Ｃに、車両Ａの車内における各左側表示部４０−１、中央表示部４０−２、及び右側表示部４０−３によって表示される画像の表示領域の配置例を示す。いずれの例においても、各左側表示部４０−１、中央表示部４０−２、及び右側表示部４０−３は、各表示部によって表示される画像が運転者によって視認されやすいように、運転席の前方に配置されている。また、左側表示部４０−１は、左側後方領域ＬRについて表示する画像が運転者に視認される領域が、後方領域ＢRについて表示される画像が視認される領域よりも左側となるように配置される。また、右側表示部４０−３は、右側後方領域ＲRの画像について表示する画像が、後方領域ＢRについて表示される画像が視認される領域より右側となるように配置される。すなわち、中央表示部４０−２は、後方領域ＢRについて表示する画像が運転者に視認される領域が、左側後方領域ＬRについて表示する画像が視認される領域と、右側後方領域ＲRについて表示する画像が視認される領域との間となるように配置される。このように、左側表示部４０−１、中央表示部４０−２、及び右側表示部４０−３を配置することによって、従来の右サイドミラー、バックミラー、左サイドミラーに慣れた運転者にとって、違和感のない画像を視認させることが可能となる。
つまり、左右後方及び中央後方の画像は運転手が直感的に理解出来るように配置するのが望ましい。このため、左後方の画像（左側後方領域ＬRについて表示する画像）を運転手正面に対して相対的に左側に配置し、右後方の画像（右側後方領域ＲRの画像について表示する画像）を運転手正面に対して相対的に右側に配置し、中央後方の画像（後方領域ＢRについて表示される画像）を左後方の画像と右後方の画像の中間（中点付近）、あるいは中点の上側又は下側に配置する構成が好適である。
図３Ａ、図３Ｂ、及び、図３Ｃにおいて、ダッシュボードの中央（運転席正面と助手席正面の中間領域）の液晶パネルは、本実施形態の操作部６０である。
【００２６】
図３Ａに示す例では、左フロントＡピラー部の内部に左側表示部４０−１と右フロントＡピラー部の内部に右側表示部４０−３とがそれぞれ配置され、撮像信号ＤSLに応じた画像と撮像信号ＤSRに応じた画像が左右の各フロントＡピラー部付近の領域Ａ−１とＡ−３においてそれぞれ視認されるように表示される。また、中央表示部４０−２は運転席前方のフロントウィンドウ下のダッシュボード内に配置され、撮像信号ＤSCに応じた画像がフロントガラス下部の帯状の領域Ａ−２にて視認されるように表示される。
本実施形態では、各表示部４０は、いわゆるヘッドアップディスプレイ（ＨＵＤ）で構成される。図４に、左側フロントＡピラー部ＦＰに配置される左側表示部４０−１の構成例を示す。図４は、左側表示部４０−１を運転者の視線方向からみた縦断面図である。図４に示すように、左側表示部４０−１は、ピコプロジェクター４０１Lと透過型スクリーン４０２Lとフィールドレンズ４０３Lとコンバイナー（凹面ハーフミラー）４０４Lを備える。ピコプロジェクター４０１Lは、入力された画像信号Ｄに応じた画像を透過型スクリーン４０２Lに投影して実像を描画する。透過型スクリーン４０２Lを透過した光はフィールドレンズ４０３Lで像の方向が調整され、コンバイナー４０４Lで反射される。このとき、コンバイナー４０４Lによって反射された光が左側フロントＡピラー部の開口部ＯpLを介して運転者の目に入射すると、運転者からは、左側フロントＡピラー部の領域Ａ−１に画像が拡大されて表示されているように見える（すなわち、左側フロントＡピラー部の先に拡大画像の虚像が形成される）。右側表示部４０−３は、左側表示部４０−１と同様の構成を有する。すなわち、右側表示部４０−３は、ピコプロジェクター４０１Cと透過型スクリーン４０２Cとフィールドレンズ４０３Cとコンバイナー４０４Cを備える（いずれも図示略）。ただし、運転者の視線等に応じて、コンバイナー４０４C等の向きを適宜調整した構成が採用される。
なお、本発明に係る表示部４０は、本実施形態のような態様に限定されるものではなく、直視型のパネルの虚像を表示するHUDであっても良いし、プロジェクター方式のＨＵＤであっても良いし、ＬＣＤ（liquid crystal display）や有機ＥＬパネルの様な直視型の表示パネルであっても良い。
【００２７】
ここで、図示のように、ピコプロジェクター４０１Lはその投射方向が下方であるため、実像が描画される透過型スクリーン４０２Lの投影面（フィールドレンズ４０３Lとの対向面）は下方に向いている。すなわち、ピコプロジェクター４０１Lと透過型スクリーン４０２Lとフィールドレンズ４０３Lは開口部ＯpLより上側に設けられている。このため、透過型スクリーン４０２Lの投影面が上向きとなるように配置された構成と比較して透過型スクリーン４０２Lの投影面及びフィールドレンズ４０３Lに塵や埃が付着しづらいという利点がある。また、コンバイナー４０４Lの表面を容易にクリーニング可能である（例えば、付着物等を容易に除去可能である）。
なお、コンバイナー４０４Lを利用して運転者に虚像を見せる構成の代わりに、開口部ＯpLに半透明のスクリーンに投影した実像を運転手に見せる構成も採用し得る。好適には、開口部ＯpLのスクリーンに対して背面（すなわち、開口部ＯpLの内部）からプロジェクターで実像を投影する構成を採用し得る。
【００２８】
図５は、ダッシュボード内に配置される中央表示部４０−２の構成例を示す。中央表示部４０−２も左側表示部４０−１と同様に、ピコプロジェクター４０１Cと透過型スクリーン４０２Cとフィールドレンズ４０３Cとコンバイナー４０４Cを備える。ただし、図示のように、ピコプロジェクター４０１Cは斜め下方向から透過型スクリーン４０２C及びフィールドレンズ４０３Cを介してコンバイナー４０４Cに投影光を反射させる。ダッシュボードの開口部ＯpCからコンバイナー４０４Cに反射された光が運転者の目に映り、運転者からは、領域Ａ−２に画像が拡大されて表示されているように見える。なお、開口部ＯpCを透明な板で塞ぎ、塵や埃が内部に入らないようにしてもよい。また、左側表示部４０−１の場合と同様に、開口部ＯpCに半透明なスクリーンを設けて、プロジェクターからの実像をスクリーンに投影する構成も採用し得る。
【００２９】
図３Ｂに示す例では、図示のように、車両Ａの後方領域ＢRを示す画像（すなわち撮像信号ＤSCに応じた画像）が車両Ａの計器パネルの上側の領域Ａ−５において視認され、車両Ａの後左後方領域ＬRを示す画像（すなわち撮像信号ＤSLに応じた画像）がハンドル左側の領域Ａ−４において視認され、右側後方領域ＲRを示す画像（すなわち撮像信号ＤSRに応じた画像）が領域Ａ−６において視認されるように表示される。
図３Ｃに示す例では、左側後方領域ＬRを示す画像と後方領域ＢRを示す画像と右側後方領域ＲRを示す画像がすべてフロントガラス下部の帯状の領域Ａ−７にて視認されるように表示される。この場合、領域Ａ−７において、車両Ａの左側後方領域ＬRを示す画像（すなちわ撮像信号ＤSLに応じた画像）が視認される領域Ａ−７Lと右側後方領域ＲRを示す画像（すなちわ撮像信号ＤSRに応じた画像）が視認される領域Ａ−７Rが、車両Ａの後方領域ＢRを示す画像（すなちわ撮像信号ＤSCに応じた画像）が視認される領域Ａ−７Cを挟むものとなるように構成される。
図３Ａ〜図３Ｃにおいて例示したように、本実施形態に係る車両用撮像表示システム１では、車両Ａの左側後方領域ＬR、車両Ａの後方領域ＢR、及び、車両Ａの右側後方領域ＲRを撮像し、運転者の見える場所に表示する場合に、左側後方領域ＬRを示す画像は後方領域ＢRを示す画像の左側になり、右側後方領域ＲRを示す画像は後方領域ＢRを示す画像の右側になり、また、後方領域ＢRを示す画像は左側後方領域ＬRを示す画像の右側であって且つ右側後方領域ＲRを示す画像の左側になるように配置する。これにより、運転者が、車両Ａの左後方、車両Ａの中央後方、及び、車両Ａの右後方を、直感的に認識できるように、各画像を配置する。
なお、図３Ａ〜図３Ｃにおける例示は一例であり、例えば、左側後方領域ＬRを示す画像を、運転者の運転位置よりも左側に配置し、右側後方領域ＲRを示す画像を、運転者の運転位置よりも右側に配置するようにしてもよい。この場合、後方領域ＢRを示す画像は、例えば、左側後方領域ＬRを示す画像と、右側後方領域ＲRを示す画像と、の間に配置すればよい。
【００３０】
図６は、車両用撮像表示システム１の詳細な機能構成を示すブロック図である。
図６に示すように、左側後方領域撮像部１０−１は、被写体の像を結像させる撮像光学系１１と、マトリックス状に配列された受光素子（撮像素子）からの信号を線順次に走査して被写体の像に応じた撮像信号ＤSを出力するイメージセンサー１２と、イメージセンサー１２に対して各種のタイミング信号を出力するタイミングジェネレーター１３と、を備える。中央後方領域撮像部１０−２及び右側後方領域撮像部１０−３も、左側後方領域撮像部１０−１と同様の構成を有する。
なお、以降の説明においては、簡易のため、左側後方領域撮像部１０−１から出力される撮像信号ＤSLを撮像信号ＤSとする。また、各撮像信号ＤSL,ＤSC,ＤSRを特に区別する必要がない限り単に撮像信号ＤSとして記載する。同様に、画像処理回路１００−１から出力される画像信号ＤLを画像信号Ｄとし、各画像信号ＤL,ＤC,ＤRを特に区別する必要がない限り単に画像信号Ｄとして記載する。
【００３１】
イメージセンサー１２は、図７に示すようにＰ行×Ｑ列の画素に対応する撮像信号ＤSとして出力する。画像処理回路１００は、撮像信号ＤSに画像処理を施してＭ行×Ｎ列（Ｍは、２≦Ｍ≦Ｐを満たす自然数。Ｎは、２≦Ｎ≦Ｑを満たす自然数）の画素に対応する画像信号Ｄを出力する。
【００３２】
タイミングジェネレーター１３は、図８に示す撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを生成し、これら生成した信号をイメージセンサー１２に対して出力する。撮像垂直同期信号ＳＶsyncは、イメージセンサー１２の受光素子から検出信号を読み出すための撮像垂直走査期間Ｆs（すなわち、撮像部１０のフレーム期間）を規定する信号である。なお、撮像部１０のフレームレート、すなわち、「１／Ｆs」を、「第１フレームレート」と称する場合がある。撮像水平同期信号ＳＨsyncは、１ライン分の受光素子から検出信号を読み出すための水平走査期間Ｈsを規定する信号である。撮像ドットクロック信号ＳCLKは、１画素分の受光素子から検出信号を読み出すためのタイミングを規定する信号である。
撮像垂直走査期間Ｆsの時間長は一定（固定長）であり、水平走査期間Ｈsの時間長も一定（固定長）である。また、撮像垂直走査期間Ｆsは、複数の水平走査期間Ｈsから構成される。
なお、タイミングジェネレーター１３は、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを、画像処理回路１００に対して出力するものであってもよい。
【００３３】
説明を図６に戻す。
左側表示部４０−１は、左側後方領域撮像部１０−１が撮像する左側後方領域ＬRにおける被写体を示す画像を表示して車両Ａの運転者に車両外部の様子を把握させるための装置であり、その構造は図４を参照して既に説明したとおりである。そのうち、ピコプロジェクター４０１Lは、光源（図示略）と液晶パネル４２と投射光学系（図示略）と、液晶パネル４２の動作を制御するコントローラー４１と、を備える。光源は例えばＬＥＤ[Light Emitting Diode]やレーザーダイオードを備え、液晶パネル４２に向けて白色光を照射する。投射光学系は液晶パネル４２を透過した光を投射する、例えば凸型レンズ等である。なお、図６では、左側表示部４０−１の主要な機能としてコントローラー４１と液晶パネル４２を表示している。
中央表示部４０−２及び右側表示部４０−３も左側表示部４０−１と同様の構成を有する。
【００３４】
図７に示すように、液晶パネル４２には、表示領域ＡDにおいて、複数の画素がＸ軸方向にＮ列、Ｙ軸方向にＭ行（Ｍライン）となるようにマトリックス状に配列されている。換言すれば、表示領域ＡDは、Ｘ軸方向に配列されたＮ個の画素からなるラインが、Ｙ軸方向にＭ行並ぶように構成されている。当該表示領域ＡDには、画像処理回路１００が生成する画像信号Ｄに応じた画像が表示される。
【００３５】
＜２．画像処理回路＞
図６に示すように、画像処理回路１００−１は、撮像信号ＤSに基づいて画像信号Ｄを生成し、生成した画像信号Ｄを左側表示部４０−１に対して出力する画像信号生成部２０と、画像信号生成部２０が画像信号Ｄを出力するタイミングを制御するタイミング制御部３０と、を備える。
画像信号生成部２０は、撮像信号ＤSに対して画像処理を施して画像信号Ｄを生成する画像処理部２１と、画像処理部２１が生成した画像信号Ｄを一時的に記憶するＶＲＡＭ／ラインバッファ２２（以下、「ラインバッファ２２」と称する）と、ラインバッファ２２から画像信号Ｄを取得して、取得した画像信号Ｄを表示部４０に対して出力する画像信号出力部２３と、を備える。
【００３６】
画像信号Ｄは、液晶パネル４２の表示領域ＡDに設けられるＭ行×Ｎ列の画素のそれぞれが表示すべき画像（階調）を規定する信号である。以下では、表示領域ＡDで表示すべき画像を示す画像信号Ｄのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す１ライン分の画像信号Ｄを、画像信号Ｄ[m]と表記する（ｍは、１≦ｍ≦Ｍを満たす自然数）。
画像処理部２１は、液晶パネル４２の表示領域ＡDで表示すべき画像を示す画像信号Ｄを、１ライン分の画素で表示すべき画像毎に生成する。より具体的には、画像処理部２１は、画像信号Ｄ[1]、画像信号Ｄ[2]、…、画像信号Ｄ[M]の順番で、画像信号Ｄを生成する。
【００３７】
図９は、画像処理部２１の構成を示すブロック図である。
この図に示すように、画像処理部２１は、イメージセンサー１２から出力される撮像信号ＤSを一時的に格納するラインバッファ２１１と、ラインバッファ２１１に格納された撮像信号ＤSに対して補間処理を行う画素補間処理部２１２と、補間された撮像信号ＤSに対して色再現処理を行う色再現処理部２１３と、色再現された撮像信号ＤSに対してフィルタ処理を行うフィルタ処理部２１４と、フィルタ処理された撮像信号ＤSに対してガンマ補正を施すガンマ補正部２１５と、ガンマ補正された撮像信号ＤSを一時的に格納するラインバッファ２１６とを備える。さらに、画像処理部２１は、ラインバッファ２１６に格納された撮像信号ＤSが示す画像を表示領域ＡDの備える画素数の画像信号ＤRSに変換する歪曲収差補正部２１７と、歪曲補正処理後の画像信号ＤRSのうち運転者が指定した位置に応じた領域をトリミングするトリミング処理を画像信号ＤRSに対して施すトリミング処理部２１８と、トリミング処理後の画像を表示領域ＡDの備える画素数に応じた画像に拡大するリサイズ処理部２１９とを備える。
【００３８】
上述のとおり、撮像信号ＤSの示す画像の画素数と、画像信号Ｄの示す画像の画素数（表示領域ＡDの画素数）とは異なる。歪曲収差補正部２１７では、撮像信号ＤSを、表示領域ＡDの画素数に対応した画像信号ＤRSに変換する歪曲補正処理や画像の縦横方向の拡大・縮小なども実行可能である（尚、歪曲収差補正部２１７から出力される画像サイズは，トリミング処理部２１８やリサイズ処理部２１９の画像処理を考慮したサイズに最適化する。）。
【００３９】
ところで、撮像信号ＤSの示す画像は、撮像光学系１１が備えるレンズの光学特性に起因する歪曲収差を有する場合がある。具体的には、被写体を撮像した際の撮像結果を示す画像が、表示領域ＡDにおいて本来表示すべき画像に比べて外側に向かって膨張する樽型収差や、または、本来表示すべき画像に比べて内側に向かって収縮する糸巻形収差を有することがある。このため、歪曲収差補正部２１７では、樽型収差や糸巻型収差等の歪曲収差を補正する歪曲補正処理を実行する。
【００４０】
図１０は、歪曲収差補正部２１７が実行する歪曲補正処理を説明するための説明図である。
以下、図１０を参照しつつ、歪曲補正処理について説明する。なお、図１０では、撮像信号ＤSの示す画像のライン数が１６ライン（Ｐ＝１６）であり、画像信号ＤRS示す画像のライン数が１２ライン（Ｍ＝１２）である場合を想定している。
【００４１】
図１０において、樽型収差が生じている場合に撮像信号ＤSの示す画像を符号Ｐｃ１で表し、画像Ｐｃ１を示す撮像信号ＤSに基づいて被写体を撮像した際に画像信号ＤRSの示す画像を符号Ｐｃ２で表し、糸巻型収差が生じている場合に撮像信号ＤSの示す画像を符号Ｐｃ３で表し、画像Ｐｃ３を示す撮像信号ＤSに基づいて被写体を撮像した際に画像信号ＤRSの示す画像を符号Ｐｃ４で表す。
画像Ｐｃ１は、表示領域ＡDに表示すべき画像が四角形ＳQであるのにもかかわらず、撮像信号ＤSが、樽型収差によって四角形ＳQが膨張した閉曲線ＣV1を示す場合の、当該撮像信号ＤSの示す画像である。また、画像Ｐｃ３は、表示領域ＡDに表示すべき画像が四角形ＳQであるのにもかかわらず、撮像信号ＤSが、糸巻型収差によって四角形ＳQが収縮した閉曲線ＣV2を示す場合の、当該撮像信号ＤSの示す画像である。
【００４２】
歪曲収差補正部２１７は、樽型収差が生じた場合、歪曲補正処理において、閉曲線ＣV1を示す画像Ｐｃ１を、四角形ＳQを示す画像Ｐｃ２へと補正する。同様に、歪曲収差補正部２１７は、樽型収差が生じた場合、歪曲補正処理において、閉曲線ＣV2を示す画像Ｐｃ３を、四角形ＳQを示す画像Ｐｃ４へと補正する。
これらの場合、歪曲収差補正部２１７は、補正前の画像における画素と補正後の画像における画素とを対応付け、補正後の画素に対応する補正前の画素を中心画素とし、中心画素とその周辺の画素である周辺画素とを含む参照領域内の画素の各々で表示する階調に基づいて、補正後の画素の表示すべき階調を決定する。
【００４３】
例えば、歪曲収差補正部２１７は、画像Ｐｃ２または画像Ｐｃ４を構成する、補正後の画素ＰxS1の階調を決定する場合、画像Ｐｃ１または画像Ｐｃ３を構成する、補正前の画素ＰxC1を中心画素と定める。そして、歪曲収差補正部２１７は、中心画素である画素ＰxC1を含む参照領域Ａrea1内の各画素で表示すべき階調に基づいて、画素ＰxS1で表示すべき階調を定める。
同様に、歪曲収差補正部２１７は、画像Ｐｃ２または画像Ｐｃ４を構成する、補正後の画素ＰxS2の階調を決定する場合、画像Ｐｃ１または画像Ｐｃ３を構成する、補正前の画素ＰxC2を中心画素と定める。そして、歪曲収差補正部２１７は、中心画素である画素ＰxC2を含む参照領域Ａrea2内の各画素で表示すべき階調に基づいて、画素ＰxS2で表示すべき階調を定める。
【００４４】
なお、画像Ｐｃ２及び画像Ｐｃ４において濃いハッチングを付した画素は、画像信号ＤRSにおける第１行、第７行、及び、第１２行に位置する補正後の画素を示し、画像Ｐｃ１及び画像Ｐｃ３において濃いハッチングを付した画素は、補正後の画素のそれぞれに対応する補正前の画素（中心画素）を示し、画像Ｐｃ１及び画像Ｐｃ３において淡いハッチングを付した画素は、中心画素のそれぞれに対応する周辺画素を示す。
【００４５】
図１０に示す例からも明らかなように、樽型収差が生じている場合の画像の膨張の程度は、画面のラインの位置によって変動し、垂直方向（Ｙ軸方向）の位置が端部に近づくにつれて、画像の膨張の程度は大きくなる。また、糸巻型収差が生じる場合における画像の収縮の程度は、画面のラインの位置によって変動し、垂直方向（Ｙ軸方向）の位置が端部に近づくにつれて、画像の収縮の程度は大きくなる。
よって、歪曲収差補正部２１７が画像信号Ｄ[m]を生成する場合に必要となる撮像信号ＤSのライン数は、画像信号Ｄ[m]に対応するラインの位置（ｍの値）により変動する。このため、歪曲収差補正部２１７が歪曲補正処理に要する時間長は、ラインの位置により変動することになる。
【００４６】
ここで、第ｐ行のラインに対応する撮像信号ＤSを、撮像信号ＤS[p]と表す（ｐは、１≦ｐ≦Ｐを満たす自然数）。
このとき、例えば、図１０に示す例では、歪曲収差補正部２１７が、第１行のラインに対応する画像信号Ｄ[1]を生成するためには、第１行〜第５行のラインに対応する撮像信号ＤS[1]〜ＤS[5]が必要となる。これに対して、歪曲収差補正部２１７が、第７行のラインに対応する画像信号Ｄ[7]を生成するためには、第８行〜第１０行のラインに対応する撮像信号ＤS[8]〜ＤS[10]が必要となる。つまり、歪曲収差補正部２１７が、画像信号Ｄ[1]を生成するために要する時間長は、画像信号Ｄ[7]を生成するために要する時間長よりも長くなる。
【００４７】
以下では、画像信号Ｄ[m]を生成するために必要となる、１または複数ラインの撮像信号ＤS[p]を、撮像信号ＤGS[m]と総称する。
例えば、図１０に示す例では、画像信号Ｄ[1]を生成するために必要となる撮像信号ＤGS[1]は、撮像信号ＤS[1]〜ＤS[5]の５ライン分の撮像信号ＤS[p]であり、画像信号Ｄ[7]を生成するために必要となる撮像信号ＤGS[7]は、撮像信号ＤS[8]〜ＤS[10]の３ライン分の撮像信号ＤS[p]であり、画像信号Ｄ[12]を生成するために必要となる撮像信号ＤGS[12]は、撮像信号ＤS[12]〜ＤS[16]の５ライン分の撮像信号ＤS[p]である。
【００４８】
ところで、従来のサイドミラーでは、運転者が運転席脇に設けられた操作レバーやボタン等により鏡の上下左右の向きを任意の方向に設定して鏡に映る領域を変更できる。同様の領域変更を可能とするために、本実施形態では、車両Ａの運転者が、タッチパネル（操作部６０）から、歪曲補正処理が施された画像信号ＤRSの示す画像の一部の領域をトリミングする処理について、トリミングの位置を指定する指示を入力することができるように構成している。
【００４９】
図１１Ａに、運転者によって指定されたトリミング領域の一例を示す。図１１Ａに示すように、トリミング領域Ｔareaは、画像信号ＤRSの示す画像の一部である矩形の領域である。運転者は、例えば、車両の非運転時に、トリミング領域設定モードにおいてタッチパネルに表示された画像信号ＤRSの示す画像を視認しながらトリミング領域Ｔareaを指定する。この指定は、トリミング領域Ｔareaの左上頂点ＴＲの位置の指定と、右上頂点ＴＬの位置の指定とによって実現される。表示領域ＡDの縦横比が例えば４：３であればトリミング領域Ｔareaの縦横比も４：３である必要がある。このため、左上頂点ＴＲと右上頂点ＴＬの位置の指定（すなわち矩形の一長辺の指定）によりトリミング領域Ｔareaの大きさが一意に決定される。すなわち、左上頂点ＴＲと右上頂点ＴＬの位置の指定により、トリミング領域Ｔareaの大小及び左右上下位置が定まる。
表示領域ＡDの縦横比は表示部４０の大きさに応じて定まる。このため、縦横比が例えば３：２の場合には、トリミング領域Ｔareaの縦横比が３：２となるようにその大小及び左右上下位置が定まる。また、縦横比が例えば１６：９の場合には、トリミング領域Ｔareaの縦横比が１６：９となるようにその大小及び左右上下位置が定まる。
【００５０】
制御部５０は、運転者によって左上頂点ＴＲと右上頂点ＴＬの位置が確定入力されると、これらの位置を指定する制御信号Ｃ１を生成して画像処理部２１に供給する。トリミング処理部２１８は、制御信号Ｃ１で指定される左上頂点ＴＲの位置と右上頂点ＴＬの位置をそれぞれ左上頂点及び右上頂点とし、且つ、表示領域ＡDの縦横比に応じたトリミング領域Ｔareaを決定し、画像信号ＤRSの示す画像のうち、トリミング領域Ｔareaをトリミングするトリミング処理を実行する。
トリミング領域Ｔareaの指定の方法は任意である。例えば、左上頂点及び右上頂点を指定する代わりに左下頂点と右下頂点の位置を指定する構成であってもよい。また、１つの短辺（すなわち、左上頂点と左下頂点の位置、又は右上頂点と右下頂点の位置）を指定する構成であってもよい。また、表示領域ＡDの縦横比に応じた矩形枠を表示部４０に表示し、矩形枠の位置や大きさをタッチ操作により自由に変更できる構成も採用し得る。
なお、従来と同様の操作レバー等を運転者が手で動かして所定の大きさの矩形枠を左右上下方向に移動させることでトリミング領域Ｔareaを指定可能な構成としてもよい。
【００５１】
この例では、画像信号ＤRSは表示領域ＡDの備える画素数と一致するから、その一部であるトリミング領域Ｔareaの画素数は表示領域ＡDの備える画素数よりも少なくなる。このため、トリミング領域Ｔareaの画素数を表示領域ＡDの備える画素数に一致させる必要がある。リサイズ処理部２１９は、トリミング領域Ｔareaが指定された後に補間処理を行うことによりトリミング領域Ｔareaを拡大するリサイズ処理を実行する。図１１Ｂにリサイズ処理後の画像の一例を示す。図１１Ａ及び図１１Ｂから理解されるように、リサイズ処理により、図１１Ａに示すトリミング領域Ｔareaの示す画像が拡大されて、表示領域ＡDの備える画素数の画像信号ＤTLが生成される。
なお、リサイズ処理部２１９は任意の構成である。すなわち、歪曲補正処理によって、Ｗ行×Ｚ列（ＷはＭ＜Ｗ＜Ｐとなる自然数、ＺはＮ＜Ｚ＜Ｑとなる自然数）の画像を生成し、当該画像からＭ行×Ｎ列の画像を切り出すトリミング処理を施してもよい。この場合は、トリミング領域ＴareaがＭ行×Ｎ列となるのでリサイズ処理が不要となり、画像の品質を向上させることができる。
【００５２】
このようなトリミング処理によれば、例えば撮像部においてカメラ自体の撮影する向きを可動とすることで撮影範囲を変更する構成と比較して、カメラの向きを可動にするための機構を不要とするためコストが抑制されるという利点がある。さらには、トリミング処理においては、トリミング領域Ｔareaが指定された後に表示領域ＡDのサイズに合わせて拡大されるため、運転者が見たい領域が拡大されて表示されるという利点もある。
【００５３】
図９に示すように、画像処理部２１は、さらに、画像信号Ｄの左右を反転する鏡像生成部２２０と、トリミング処理が施された後の画像信号Ｄをラインごとに水平方向に縮小及び拡大する水平方向縮小・拡大処理部２２１と、水平方向縮小・拡大処理が施された画像信号Ｄをラインごとに垂直方向に縮小または拡大する垂直方向縮小・拡大処理部２２２とを備える。
【００５４】
図１１Ｃは、鏡像生成部２２０が実行する左右反転処理によって生成された画像の一例を示す。車両の運転者は、従来型のサイドミラーやバックミラーに映る鏡像を見て車両の後方及び後側方の安全確認を行う。ところが、左側後方領域撮像部１０−１から出力される撮像信号ＤSはカメラを後ろ向きにして被写体を撮影したものであるので、イメージセンサー１２によって出力される画像の向きは従来型のサイドミラーやバックミラーに映る鏡像とは左右が逆である。このため、鏡像生成部２２０では、トリミング処理部２１８から出力された画像信号ＤTの示す画像（図１１Ｂ）を左右反転させて、鏡面画像である画像信号ＤF（図１１Ｃ）を生成する左右反転処理を行う。この左右反転処理によれば、従来のサイドミラーやフェンダーミラー等に映る鏡像と左右が同じ方向の画像による安全確認が可能となるので、従来とは左右が逆の画像が映ることで運転者を混乱させてしまう虞がなくなる。
【００５５】
図１２Ａは、本実施形態に係る画像の拡大・縮小処理の概念図である。図示の例は、左側後方領域撮像部１０−１から出力された撮像信号ＤSに基づく画像である。図示のように、拡大・縮小処理においては、鏡像生成部２２０から出力された画像信号ＤFの画像を左上領域ＬR1、左中央領域ＬR2、左下領域ＬR3、中央上領域ＬR4、中央領域ＬR5、中央下領域ＬR6の６つの領域に区分（分割）する。左右方向において、左の領域（車体から遠い領域）と中央の領域（車体に近い領域）との長さの比は、「２：３」（すなわち「４０％：６０％」）であり、上下方向において、上の領域と、中央の領域と、下の領域との長さの比は「１：３：１」（すなわち「２０％：６０％：２０％」）である。以下、この比率を「分割比率」と称する場合がある。
【００５６】
また、各領域には、所定の水平方向変倍率（左右方向における拡大率又は縮小率）と所定の垂直方向変倍率（上下方向における拡大率又は縮小率）が予め設定される。サイドミラーに映る像のうち、車体に近い領域ＬRC（図２）にあるものは車両と接触する危険性が高いため車両の安全な運転に必要な情報である。逆に車体から遠い領域ＬRLにある画像、例えば沿道の建物等の画像は安全確認における重要度は低い。このため、本実施形態では、左右方向における拡大率又は縮小率が、左右方向について車体に近い領域ＬRCが車体に遠い領域ＬRLと比較して相対的に拡大されるように設定される。また、撮像信号ＤSに基づく画像のうち他の車両や歩行者などの画像は車両の安全な運転にとって必要な情報であるが、画像の上の領域における空や山などの景色の画像や、画像の下の領域における路面の画像の重要度は低い。このため、本実施形態では、上下方向における拡大率又は縮小率は、上下方向における中央の領域が、上又は下の領域と比較して相対的に拡大されるように設定される。
【００５７】
具体的には、図１２Ａに示すように、車体から遠く、且つ、上又は下の領域である左上領域ＬR1と左下領域ＬR3については、左右方向の縮小率Ｈ２及び上下方向の縮小率Ｖ２，Ｖ３がともに２５％に設定される。また、車体からは遠いが上下方向において中央の領域である左中央領域ＬR2については、左右方向の縮小率Ｈ２が２５％且つ上下方向の拡大率Ｖ１が１５０％に設定される。また、車体には近いが上又は下の領域である中央上領域ＬR4と中央下領域ＬR6については、左右方向の拡大率Ｈ１は１５０％に設定され、上下方向の縮小率Ｖ２，Ｖ３がともに２５％に設定される。そして、車体から近く、上下方向においても中央の領域である中央領域ＬR5については、左右方向の拡大率Ｈ１及び上下方向の拡大率Ｖ１がともに１５０％に設定される。このように設定することにより、撮像信号ＤSに基づく画像のうち、車両の運転時の安全確認により必要な領域の視認性を向上することが可能となる。また、例えばサイドミラーの鏡面に平面鏡部と凸面鏡部を設けて凸面鏡部に映る鏡像が圧縮されるようにする構成と比較して、物理的な加工処理を不要としつつ、車体により近く、上下方向においてはより中央の領域の視認性を向上することが可能となる。
【００５８】
また、左右方向における拡大率Ｈ１及び縮小率Ｈ２は、車体に近い領域について、左右方向の長さをＸ１とし、車体から遠い領域について左右方向の長さをＸ２としたとき、Ｘ１+Ｘ２＝Ｘ１・Ｈ１+Ｘ２・Ｈ２となるように定められ、上下方向において、中央の領域の拡大率Ｖ１、上の領域の縮小率Ｖ２、及び下の領域の縮小率Ｖ３は、中央の領域について上下方向の長さをＹ１、上の領域について上下方向の長さをＹ２、下の領域について上下方向の長さをＹ３としたとき、Ｙ１+Ｙ２＋Ｙ３＝Ｙ１・Ｖ１+Ｙ２・Ｖ２＋Ｙ３・Ｖ３となるように定められる。このように拡大率及び縮小率を設定することにより、撮像信号ＤSに基づく画像自体の大きさ（画素数）を変更することなく、各領域間の大きさの比率が変更された画像信号ＤHを生成することができる。換言すれば、画像信号ＤHを表示領域ＡDの備える画素数に一致せることができる。
【００５９】
図１２Ｂは、水平方向縮小・拡大処理部２２１が実行する水平方向縮小・拡大処理を説明するための概念図であり、図１２Ｃは、垂直方向縮小・拡大処理部２２２が実行する垂直方向縮小・拡大処理を説明するための概念図である。
水平方向縮小・拡大処理部２２１では、鏡像生成部２２０から出力された画像信号ＤFに対して、左右方向について車体に近い領域を車体から遠い領域と比較して相対的に拡大する処理（第１処理）を実行する。具体的には、各領域ＬR1〜ＬR6の画像に対して、設定された拡大率Ｈ１又は縮小率Ｈ２に応じた変倍処理を実行する。この変倍処理はラインごとに実行される処理である。例えば１ラインにおける画素数を１００個（すなわち１００列）とした場合、左上領域ＬR1、左中央領域ＬR2、左下領域ＬR3に属する第１列から第４０列までの画素を縮小率Ｈ２（２５％）で縮小する処理を行う。すなわち、画素数を４０個から１０個に縮小する処理を行う。この縮小処理には、例えば隣接する所定数の画素ついて受光素子が出力する検出信号の示す値を相加平均するなど周知の方法が任意に採用される。また、中央上領域ＬR4、中央領域ＬR5、中央下領域ＬR6に属する第４１列から第１００列までの画素を拡大率Ｈ１（１５０％）で拡大する処理を行う。すなわち、画素数を６０個から９０個に増加する処理を行う。この拡大処理には最近傍補間など周知の方法が任意に採用される。すべてのラインについて第１処理が施されると、各領域ＬR1〜ＬR6の画像の大きさの比率が図１２Ｂに示すように変更された画像（画像信号ＤHが示す画像）が生成される。
【００６０】
垂直方向縮小・拡大処理部２２２は、水平方向縮小・拡大処理部２２１からラインごとに出力された画像信号ＤH1に対して、上下方向について中央の領域を上又は下の領域と比較して相対的に拡大する処理（第２処理）を実行する。具体的には、各領域ＬR1〜ＬR6の画像に対して、設定された拡大率Ｖ１又は縮小率Ｖ２又はＶ３に応じた変倍処理を実行する。この変倍処理は複数のラインごとに実行される処理である。例えば画像信号ＤHのライン数を１００行とした場合、左上領域ＬR1及び中央上領域ＬR4に属する第１行から第２０行のうち、縮小率Ｖ２（２５％）に応じた本数のラインを間引く処理を行う。すなち、４本に１本のラインを間引く処理を行う。また、左中央領域ＬR2及び中央領域ＬR5に属する第２１行から第８０行の画素に対して、拡大率Ｖ１（１５０％）に応じた補間処理を行う。左下領域ＬR3と中央下領域ＬR6に属する第８１行から第１００行のうち、縮小率Ｖ３（２５％）に応じた本数のラインを間引く処理を行う。すべてのラインについて第２処理が施されると、各領域ＬR1〜ＬR6の画像の大きさの比率が図１２Ｃに示すように変更された画像（画像信号Ｄが示す画像）が生成される。
図１３は、第１処理及び第２処理を経た画像信号Ｄが示す画像の一例である。図示のように、左右方向において車体に近く上下方向において中央の領域が他の領域と比較して相対的に拡大された画像が生成される。
【００６１】
図１２Ａに示す分割比率、水平方向変倍率、及び垂直方向変倍率は適宜設定され得る。図１２Ｄ〜図１２Ｆに、水平方向変倍率及び垂直方向変倍率を図１２Ａの例とは異なる値に設定した例を示す。この例では、分割比率の値は図１２Ａの例と同様である。図１２Ｄに示すように、車体から遠く、且つ、上又は下の領域である左上領域ＬR1と左下領域ＬR3については、左右方向の縮小率Ｈ２及び上下方向の縮小率Ｖ２，Ｖ３がともに５０％に設定される。また、車体からは遠いが上下方向において中央の領域である左中央領域ＬR2については、左右方向の縮小率Ｈ２が５０％且つ上下方向の拡大率Ｖ１が１３３％に設定される。また、車体には近いが上又は下の領域である中央上領域ＬR4と中央下領域ＬR6については、左右方向の拡大率Ｈ１は１３３％に設定され、上下方向の縮小率Ｖ２，Ｖ３がともに５０％に設定される。そして、車体から近く、上下方向においても中央の領域である中央領域ＬR5については、左右方向の拡大率Ｈ１及び上下方向の拡大率Ｖ１がともに１３３％に設定される。
この例によれば、水平方向縮小・拡大処理部２２１が実行した水平方向縮小・拡大処理後の画像（画像信号ＤHが示す画像）は図１２Ｅに示すようなものとなる。また、垂直方向縮小・拡大処理部２２２が実行した垂直方向縮小・拡大処理後の画像（画像信号Ｄが示す画像）は図１２Ｆに示すようなものとなる。
【００６２】
図１２Ｇ〜図１２Ｉに別の設定例を示す。図１２Ｇに示すように、この例では、左右方向の分割比率が「４０％：６０％」ではなく「３０％：７０％」に設定される。上下方向の分割比率は図１２Ａの例と同様である。車体から遠く、且つ、上又は下の領域である左上領域ＬR1と左下領域ＬR3については、左右方向の縮小率Ｈ２及び上下方向の縮小率Ｖ２，Ｖ３がともに５０％に設定される。また、車体からは遠いが上下方向において中央の領域である左中央領域ＬR2については、左右方向の縮小率Ｈ２が５０％且つ上下方向の拡大率Ｖ１が１２１％に設定される。また、車体には近いが上又は下の領域である中央上領域ＬR4と中央下領域ＬR6については、左右方向の拡大率Ｈ１は１２１％に設定され、上下方向の縮小率Ｖ２，Ｖ３がともに５０％に設定される。そして、車体から近く、上下方向においても中央の領域である中央領域ＬR5については、左右方向の拡大率Ｈ１及び上下方向の拡大率Ｖ１がともに１２１％に設定される。
この例によれば、水平方向縮小・拡大処理部２２１が実行した水平方向縮小・拡大処理後の画像（画像信号ＤHが示す画像）は図１２Ｈに示すようなものとなる。また、垂直方向縮小・拡大処理部２２２が実行した垂直方向縮小・拡大処理後の画像（画像信号Ｄが示す画像）は図１２Ｉに示すようなものとなる。
【００６３】
ところで、表示部４０に表示される画像（画像信号Ｄが示す画像）の水平方向及び垂直方向における変倍率を運転者が自由に設定できると便利である。
図１２Ｊは、変倍率変更処理を説明するための概念図である。図示の例では、運転者が、左上領域ＬR1の右下頂点である点Ｐ1又は左上領域ＬR1の右上頂点である点Ｐ2を移動させることにより、水平方向変倍率（Ｈ１,Ｈ２）及び垂直方向変倍率（Ｖ１，Ｖ２，Ｖ３）を変更（入力）可能である。移動させる方法は公知の方法を任意に採用可能であるが、本実施例では、タッチパネル（操作部６０）上において、運転者が点Ｐ1又は点Ｐ2にタッチした状態で表示領域ＡDの内側方向又は外側方向に向けて点Ｐ1又は点Ｐ2を移動させる操作（いわゆる「ドラッグ操作」）によって、水平方向変倍率（Ｈ１,Ｈ２）及び垂直方向変倍率（Ｖ１，Ｖ２，Ｖ３）を変更する。
【００６４】
点Ｐ1は左中央領域ＬR2の右上頂点でもあり、中央上領域ＬR4の左下頂点でもあり、中央領域ＬR5の左上頂点でもあるから、中央領域ＬR5の拡大率をより小さくする方向（すなわち、表示領域ＡDの内側方向）に点Ｐ1を移動させると、左中央領域ＬR2と中央上領域ＬR4と中央領域ＬR5について拡大率（Ｖ１及びＨ２）が小さくなる（拡大率の値（％）が減少する）だけでなく、左上領域ＬR1、左中央領域ＬR2及び中央上領域ＬR4の縮小率（Ｖ２，Ｈ２）が逆に大きくなる（縮小率の値（％）が増加する）。また、表示領域ＡDの縦横比が例えば４：３であれば拡大・縮小後の各領域の画像の縦横比も４：３となる必要があるから、点Ｐ1を移動させると点Ｐ2も連動して移動する。よって、点Ｐ1の内側方向への移動により、左下領域ＬR3と中央下領域ＬR6についても、縮小率（Ｖ３，Ｈ２）は大きくなり（縮小率の値（％）が増加する）、拡大率（Ｈ１）は小さくなる（拡大率の値（％）が減少する）。同様に、点Ｐ2をドラッグ操作により移動させた場合には点Ｐ1が移動する。この態様によれば、運転者は好みに合わせて各領域の拡大率及び縮小率を変更することが可能となる。
【００６５】
なお、縮小率が過度に小さいと、車両Ａの安全な運転に必要な画像の視認性が低下する。このため、安全性の観点から縮小率に下限を設けることが望ましい。縮小率の下限値は任意に設定可能であるが、例えば、図示の例のように、垂直方向縮小率Ｖ１，Ｖ３と水平方向縮小率Ｈ２については、２５％以上１００％未満の範囲で縮小率を変更可能とし、垂直方向拡大率Ｖ１と水平方向拡大率Ｈ１については、１００％より大きく１５０％以下の範囲で拡大率を変更可能とする構成とするのが好適である。
ドラッグ操作によらず、他の公知の入力手段により変倍率を数値で入力する方法を採用する場合には、例えば、タッチパネルに表示されたテンキーから拡大率又は縮小率を入力する構成が例示される。
【００６６】
画像処理部２１は、上記に説明したような処理によって画像信号Ｄ[m]を生成すると、生成した画像信号Ｄ[m]をラインバッファ２２に格納するとともに、画像信号Ｄ[m]のラインバッファ２２への格納が完了したことを示す書込完了信号ＰtAを、タイミング制御部３０に対して出力する。
【００６７】
表示部４０の表示領域ＡDが１画面分の画像を表示可能な時間長は、撮像部１０が１画面分の画像を撮像可能な時間長よりも短い。このため、液晶パネル４２が表示可能な周期で画像を表示しようとする場合、撮像部１０からの撮像信号ＤSの出力が追いつかない。そこで、本実施形態に係る車両用撮像表示システム１では、画像処理回路１００により、画像処理回路１００からの画像信号Ｄの出力タイミングを調整することで、表示部４０の表示速度を、撮像部１０からの撮像信号ＤSの出力周期に追従させる。
【００６８】
本実施形態において、書込完了信号ＰtAは、画像処理部２１によるラインバッファ２２への書込が完了した画像信号Ｄに対応するラインの番号ｍaを示す信号である（ｍaは、１≦ｍa≦Ｍを満たす自然数）。書込完了信号ＰtAの示す値であるライン番号ｍaは、画像処理が完了したラインを表す「画像処理ライン情報」の一例である。
【００６９】
なお、書込完了信号ＰtAは、ラインの番号を示す信号に限定されるものではなく、画像処理部２１による画像信号Ｄ[m]の生成が完了した場合にハイレベルに立ち上がるようなパルス波形を含む２値の信号であってもよい。書込完了信号ＰtAが２値の信号である場合、タイミング制御部３０は、例えば、一の画面の表示が開始された後に書込完了信号ＰtAに含まれるパルスの個数をカウントすることで、画像処理部２１により生成が完了した画像信号Ｄ[m]のライン番号を演算すればよい。この場合は、書込完了信号ＰtAに含まれるパルス波形（または、パルス波形の個数）が、「画像処理ライン情報」に該当することになる。
【００７０】
画像信号出力部２３は、タイミング制御部３０の制御に応じて、ラインバッファ２２から１ライン毎に画像信号Ｄを読み出し、読み出した１ライン分の画像信号Ｄ[m]を表示部４０に対して出力する。
なお、以下では、説明の都合上区別が必要な場合には、画像処理部２１が生成してラインバッファ２２に格納する画像信号Ｄを画像信号ＤGAと称し、画像信号出力部２３がラインバッファ２２から取得して表示部４０に出力する画像信号Ｄを画像信号ＤGBと称する。また、画像処理部２１がラインバッファ２２に格納する画像信号ＤGAのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す画像信号ＤGAを画像信号ＤGA[m]と称し、画像信号出力部２３が表示部４０に出力する画像信号ＤGBのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す画像信号ＤGBを画像信号ＤGB[m]と称する。
【００７１】
画像信号出力部２３は、ラインバッファ２２から画像信号ＤGB[m]を読み出して当該画像信号ＤGB[m]を表示部４０に出力する処理が完了した場合、画像信号ＤGB[m]の表示部４０への出力が完了したことを示す出力完了信号ＰtBを、タイミング制御部３０に対して出力する。本実施形態において、出力完了信号ＰtBは、画像信号出力部２３による表示部４０への出力が完了した画像信号Ｄに対応するラインの番号ｍを示す信号である。以下では、出力完了信号ＰtBの示すラインの番号ｍを、特に「ライン番号ｍb」と称する（ｍbは、基本的には、０≦ｍb≦Ｍを満たす自然数である）。出力完了信号ＰtBの示す値であるライン番号ｍbは、表示部４０に対する出力が完了した画像信号Ｄ[m]のラインを示す「表示出力ライン情報」の一例である。
詳細は後述するが、画像信号出力部２３は、表示部４０に対して、画像信号ＤGB[m]を出力する代わりに、無効信号Ｄmyを出力する場合がある（図１４Ｄ参照）。この場合は、画像信号出力部２３は、出力完了信号ＰtBを出力しない。
尚、ｍbは、１フレームの最終ラインを出力した直後ｍb＝Ｍになり以降ｍb＝Ｍを維持する。そして、次のフレーム用の画像出力準備が完了した時点（垂直同期信号の出力後の垂直バックポーチ期間完了後のタイミングにて）において、ｍb信号はリセットされて、ｍb＝０になるものとする。
【００７２】
なお、出力完了信号ＰtBは、ラインの番号を示す信号に限定されるものではなく、画像信号出力部２３による画像信号Ｄ[m]の出力が完了した場合にハイレベルに立ち上がるようなパルス波形を含む２値の信号であってもよい。
【００７３】
図６に示すように、タイミング制御部３０は、書込完了信号ＰtA及び出力完了信号ＰtBに基づいて出力制御信号ＣTR（正確には、ＣTR[m]）を生成する出力制御部３１と、各種のタイミング信号を生成して画像信号出力部２３が画像信号ＤGB[m]を出力するタイミングを制御するタイミングジェネレーター３２と、コントローラー４１の動作を規定する設定パラメーターＰRMをコントローラー４１に対して送信するパラメーター送信部３３と、を備える。
【００７４】
出力制御部３１は、書込完了信号ＰtA及び出力完了信号ＰtBに基づいて、画像信号出力部２３が表示部４０に対して表示領域ＡDの第ｍ行で表示すべき画像を示す画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了したか否かを判定し、判定結果を示す出力制御信号ＣTR（正確には、ＣTR[m]）を生成する。
ここで、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」とは、以下の第１条件及び第２条件を充足したことをいう。
（第１条件）  画像処理部２１が、第ｍ行の画像信号Ｄ[m]（画像信号ＤGB[m]）の画像処理を完了し、ラインバッファ２２に画像信号ＤGA[m]の書き込みが完了していること。
（第２条件）  画像信号出力部２３が、第ｍ-1行の画像信号Ｄ[m-1]（画像信号ＤGB[m-1]）の出力を完了していること。
【００７５】
第１条件は、書込完了信号ＰtAの示すライン番号ｍaがライン番号ｍ以上である場合を示し、つまり、「ｍ≦ｍa」を満たす場合に充足される。第２条件は、出力完了信号ＰtBの示すライン番号ｍbが「ｍb＝ｍ-1」を満たす場合に充足される（厳密には、「ｍ＝１」の場合には、「ｍb＝０」(「ｍb＝Ｍ」後の垂直同期信号の出力後の垂直バックポーチ期間完了後のタイミング）において、ｍb信号はリセットされて、ｍb＝０になる)を満たす場合に充足される）。
本明細書では、出力制御部３１が判定の対象とする画像信号Ｄ[m]が示す画像を表示する表示領域ＡDのラインを、「表示対象ライン」と称する場合がある。
【００７６】
なお、厳密には、画像信号出力部２３が画像信号Ｄ[m]（画像信号ＤGB[m]）を出力するためには、以下の第３条件が充足される必要がある。
（第３条件）  画像信号出力部２３が第ｍ行の画像信号Ｄ[m]（画像信号ＤGB[m]）を出力するタイミングが、表示領域ＡDが画像を表示可能な期間（図１４Ｃ及び図１４Ｄで後述する水平有効データ期間ＤＨＩ）に含まれること。
しかし、上述した第１条件及び第２条件が充足されている場合、画像信号出力部２３からの画像信号Ｄ[m]（画像信号ＤGB[m]）の出力タイミングをタイミングジェネレーター３２が制御することにより第３条件は必然的に充足される。このため、本実施形態では、出力制御部３１における判定において第３条件を考慮しない。
【００７７】
以下、出力制御部３１の制御方法の実現方法について、更に詳細に記載する。出力制御部３１は、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定を、例えば、以下の２つの態様により実行することができる。
【００７８】
第１の態様としては、第１条件が充足されているか否かの判定（第１の判定）と、第２条件が充足されているか否かの判定（第２の判定）の２つの判定を、出力制御部３１が直接に実行する態様である。
具体的には、出力制御部３１は、画像処理部２１が書込完了信号ＰtAを出力すると、書込完了信号ＰtAの示すライン番号ｍaをもとにｍについて「ｍ≦ｍa」を満たすか否かを判定し（第１の判定を実行し）、画像信号出力部２３が出力完了信号ＰtBを出力すると、出力完了信号ＰtBの示すライン番号ｍbが「ｍb＝ｍ-1」を満たすか否かを判定し（第２の判定を実行し）、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定である場合に、「画像信号Ｄ[m]を出力する準備が完了した」と判定する。
【００７９】
この場合、出力制御部３１は、第１の判定を実行することにより、表示対象ラインで表示すべき画像に対応する画像信号を生成したか否かを判定する「処理状況判定部」として機能し、第２の判定を実行することにより、表示対象ラインにおける画像の表示が可能であるか否かを判定する「表示判定部」として機能する。
なお、出力制御部３１は、第１の判定の判定結果、または、第２の判定の判定結果が否定である場合、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定となるまで、第１の判定及び第２の判定を繰り返す。具体的には、出力制御部３１は、例えば、第１の判定及び第２の判定の両方の判定結果が肯定となるまで、画像処理部２１から書込完了信号ＰtAが出力される毎に第１の判定を実行し、また、画像信号出力部２３から出力完了信号ＰtBが出力される毎に第２の判定を実行すればよい。また、例えば、出力制御部３１は、第１の判定及び第２の判定の両方の判定結果が肯定となるまで、後述する水平走査期間Ｈdの周期で、第１の判定及び第２の判定を繰り返してもよい。そして、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定となったときに、出力制御信号ＣTR（正確には，ＣTR[m]）を、判定結果が肯定であることを示す値に設定する。
【００８０】
次に、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定の第２の態様としては、出力制御部３１が前回の判定（画像信号Ｄ[m-1]を出力する準備が完了したか否かの判定）の結果が肯定となった後であって、画像信号出力部２３が出力完了信号ＰtBの示すライン番号ｍb＝m-1を出力したタイミングで、第１条件が充足されているか否かの判定（第１の判定）を実行する態様である。
この態様において、出力制御部３１は、第１の判定の判定結果が否定である場合、第１の判定の判定結果が肯定となるまで第１の判定を繰り返し、第１の判定の判定結果が肯定となったときに、出力制御信号ＣTRを、判定結果が肯定であることを示す値（ＣTR[m]）に設定する。具体的には、出力制御部３１は、例えば、出力完了信号ＰtBが出力されたタイミングで第１の判定の判定結果が否定である場合には、その後、画像処理部２１が書込完了信号ＰtAを出力する毎に、当該書込完了信号ＰtAの示すライン番号ｍaをもとにｍについて「ｍ≦ｍa」を満たすか否かを判定し、「ｍ≦ｍa」を満たしたときに、第１条件が充足されたと判定すればよい。
【００８１】
上述のとおり、画像処理部２１は、ライン番号順に画像信号Ｄ[m]（画像信号ＤGA[m]）を生成し、画像信号出力部２３は、ライン番号順に画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する。そして、本実施形態では、第ｍ-2行の画像信号Ｄ[m-2]の出力が完了し、出力制御部３１が「画像信号Ｄ[m-1]を出力する準備が完了した」と判定した後に、画像信号出力部２３が画像信号Ｄ[m-1]を出力する。よって、出力制御部３１が「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定を行うタイミングは、画像信号出力部２３から画像信号Ｄ[m-2]（画像信号ＤGB[m-2]）が出力された後のタイミングであって、且つ、出力制御部３１が「画像信号Ｄ[m-1]（画像信号ＤGB[m-1]）を出力する準備が完了した」と判定した後のタイミングである。つまり、出力制御部３１が、「画像信号Ｄ[m]を出力する準備が完了した」か否かの判定を行うタイミングにおいて、画像信号出力部２３が出力する出力完了信号ＰtBの示すライン番号ｍbは「ｍ-1」となる。
このため、第２の態様において、出力制御部３１は、画像信号出力部２３からの出力完了信号ＰtBの出力をもって第２条件が充足されたとみなす。そして、出力制御部３１は、画像信号出力部２３から出力完了信号ＰtBが出力されたタイミングにおいて第１条件が充足されているか否かの判定（第１の判定）を実行することで、「画像信号Ｄ[m]（画像信号ＤGB[m]）の出力準備が完了した」か否かの判定を行う。
【００８２】
本実施形態では、上述した２つの態様のうち、第２の態様を採用することを前提として、以下の説明を行う。
【００８３】
タイミングジェネレーター３２は、表示垂直同期信号ＤＶsync、垂直有効データ信号ＤＶactive、表示水平同期信号ＤＨsync、表示ドットクロック信号ＤCLK、及び、イネーブル信号ＤＥnbを生成し、生成したこれらの信号を、画像信号出力部２３及び表示部４０に対して出力する。
【００８４】
図１４Ａ乃至図１４Ｄは、タイミングジェネレーター３２が生成する、表示垂直同期信号ＤＶsync、垂直有効データ信号ＤＶactive、表示水平同期信号ＤＨsync、表示ドットクロック信号ＤCLK、及び、イネーブル信号ＤＥnbを説明するためのタイミングチャートである。
【００８５】
図１４Ａ及び図１４Ｂに示すように、表示垂直同期信号ＤＶsyncは、液晶パネル４２の表示領域ＡD全体（Ｍライン分）の画素で画像を表示するための表示垂直走査期間Ｆd（すなわち、表示部４０のフレーム期間）を規定する信号である。表示水平同期信号ＤＨsyncは、表示領域ＡDの１ライン分の画素で画像を表示すための水平走査期間Ｈdを規定する信号である。表示ドットクロック信号ＤCLKは、表示領域ＡDの各画素で画像を表示するためのタイミングを規定する信号である。
【００８６】
本実施形態において、水平走査期間Ｈdは、予め定められた一定の時間長を有している。また、本実施形態において、表示垂直走査期間Ｆdは、複数の水平走査期間Ｈdから構成されており、撮像垂直走査期間Ｆsの時間長（周期）より短い時間の可変な時間長（周期）を有する。このため、各表示垂直走査期間Ｆdに含まれる水平走査期間Ｈdの個数は可変になっている。図１４Ａに示す例では、図１４Ａに示す複数の表示垂直走査期間Ｆdのうち、最初の表示垂直走査期間Ｆdである表示垂直走査期間Ｆd1は、表示垂直走査期間Ｆd1に後続する表示垂直走査期間Ｆd2よりも短く、表示垂直走査期間Ｆd2は、表示垂直走査期間Ｆd2に後続する表示垂直走査期間Ｆd3よりも短い場合を例示している。
なお、表示垂直同期信号ＤＶsyncの有する波形のうち、表示垂直走査期間Ｆdの開始及び終了のタイミングを規定するパルス状の波形を、垂直同期パルスＰlsＶと称する。また、表示水平同期信号ＤＨsyncの有する波形のうち、水平走査期間Ｈdの開始及び終了のタイミングを規定するパルス状の波形を、水平同期パルスＰlsＨと称する。
【００８７】
図１４Ｂに示すように、表示垂直走査期間Ｆdは、垂直同期期間ＤＶpと、垂直バックポーチ期間ＤＶbと、垂直有効データ期間ＤＶＩと、垂直フロントポーチ期間ＤＶfと、からなる。
垂直同期期間ＤＶpは、表示垂直同期信号ＤＶsyncがアクティブ（この図の例ではローレベル）である期間であり、表示垂直走査期間Ｆdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。垂直バックポーチ期間ＤＶbは、垂直同期期間ＤＶpに後続する期間であり、予め定められた時間長を有する期間である。垂直有効データ期間ＤＶＩは、垂直バックポーチ期間ＤＶbに後続する、可変な時間長の期間である。当該垂直有効データ期間ＤＶＩにおいて、画像信号出力部２３から画像信号ＤGB（画像信号ＤGB[1]〜ＤGB[M]）が出力される。垂直フロントポーチ期間ＤＶfは、垂直有効データ期間ＤＶＩに後続する期間であり、表示垂直走査期間Ｆdの終了と同時に終了する、予め定められた時間長を有する期間である。
【００８８】
垂直有効データ期間ＤＶＩは、各表示垂直走査期間Ｆdにおいてイネーブル信号ＤＥnbが最初にアクティブとなる水平走査期間Ｈdの開始からイネーブル信号ＤＥnbがＭ回目にアクティブとなる水平走査期間Ｈdの終了までの期間である（イネーブル信号ＤＥnbがアクティブとなる場合については、後述する）。
当該垂直有効データ期間ＤＶＩは、例えば、イネーブル信号ＤＥnbがアクティブとなる回数をカウントするカウンタ（図示省略）が出力するカウント値に基づいて定めればよい。但し、本実施形態では、説明の便宜上、各表示垂直走査期間Ｆdにおいてイネーブル信号ＤＥnbが最初にアクティブとなる水平走査期間Ｈdの開始からイネーブル信号ＤＥnbがＭ回目にアクティブとなる水平走査期間Ｈdの終了までの期間においてアクティブ（この図の例ではハイレベル）となる垂直有効データ信号ＤＶactiveを導入する。すなわち、本実施形態では、垂直有効データ信号ＤＶactiveがアクティブである期間を垂直有効データ期間ＤＶＩとして説明する。なお、この垂直有効データ信号ＤＶactiveは、説明の便宜上導入した信号であり、出力制御部３１は、この垂直有効データ信号ＤＶactiveを出力しないものであってもよい。
【００８９】
図１４Ｃ及び図１４Ｄに示すように、水平走査期間Ｈdは、水平同期期間ＤＨpと、水平バックポーチ期間ＤＨbと、水平有効データ期間ＤＨＩと、水平フロントポーチ期間ＤＨfと、からなる。
水平同期期間ＤＨpは、表示水平同期信号ＤＨsyncがアクティブ（この図の例ではローレベル）である期間であり、水平走査期間Ｈdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。水平バックポーチ期間ＤＨbは、水平同期期間ＤＨpに後続する期間であり、予め定められた時間長を有する期間である。水平有効データ期間ＤＨＩは、水平バックポーチ期間ＤＨbに後続する、予め定められた時間長を有する期間である。水平フロントポーチ期間ＤＨfは、水平有効データ期間ＤＨＩに後続する期間であり、水平走査期間Ｈdの終了と同時に終了する、予め定められた時間長を有する期間である。
【００９０】
本実施形態では、水平走査期間Ｈdには、画像信号出力部２３が画像信号Ｄ[m]を出力するための有効水平走査期間Ｈd-Ａ（図１４Ｃ参照）と、画像信号Ｄ[m]を出力する代わりに無効信号Ｄmy[m]を出力する無効水平走査期間Ｈd-Ｄ（図１４Ｄ参照）と、が存在する。
図１４Ｃは、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合を例示している。この図に示すように、イネーブル信号ＤＥnbは、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合には、水平有効データ期間ＤＨＩにおいてアクティブ（この図の例ではハイレベル）となる。そして、イネーブル信号ＤＥnbがアクティブとなる水平有効データ期間ＤＨＩにおいて、画像信号出力部２３から画像信号Ｄ[m]（画像信号ＤGB[m]）が出力される。一方、イネーブル信号ＤＥnbは、有効水平走査期間Ｈd-Ａのうち、水平有効データ期間ＤＨＩ以外の期間（水平同期期間ＤＨp、水平バックポーチ期間ＤＨb、水平フロントポーチ期間ＤＨf）において、非アクティブとなる。画像信号出力部２３は、有効水平走査期間Ｈd-Ａのうち、イネーブル信号ＤＥnbが非アクティブとなる、水平有効データ期間ＤＨＩ以外の期間において、画像信号Ｄ[m]（画像信号ＤGB[m]）のラインデータの画素毎の出力を停止して、無効ライン信号ＤGB-dmyを出力する。
上述した第３条件は、タイミングジェネレーター３２が水平有効データ期間ＤＨＩにおいてイネーブル信号ＤＥnbをアクティブとすることで充足される。すなわち、出力制御部３１及びタイミングジェネレーター３２を備えるタイミング制御部３０は、上述した第１条件〜第３条件の全てが充足されたタイミングで、表示対象ラインに対応する画像信号Ｄ[m]（画像信号ＤGB[m]）のラインデータについて画素毎に画像信号出力部２３から出力させる。
【００９１】
図１４Ｄは、水平走査期間Ｈdが無効水平走査期間Ｈd-Ｄである場合を例示している。この図に示すように、イネーブル信号ＤＥnbは、水平走査期間Ｈdが無効水平走査期間Ｈd-Ｄである場合には、水平有効データ期間ＤＨＩにおいて非アクティブ（すなわち、ＤＥnbはローレベル）となる。そして、画像信号出力部２３は、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[m]（画像信号ＤGB[m]）の代わりに、無効信号Ｄmyを出力する。一方、イネーブル信号ＤＥnbは、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩ以外の期間（水平同期期間ＤＨp、水平バックポーチ期間ＤＨb、水平フロントポーチ期間ＤＨf）においても非アクティブとなる。画像信号出力部２３は、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩ以外の期間において、画像信号Ｄ[m]（画像信号ＤGB[m]）の出力を停止して、無効ライン信号ＤGB-dmyを出力する。
なお、タイミングジェネレーター３２は、出力制御部３１が出力する出力制御信号ＣTRに基づいて、水平走査期間Ｈdを有効水平走査期間Ｈd-Ａまたは無効水平走査期間Ｈd-Ｄのいずれにするか、換言すれば、水平有効データ期間ＤＨＩにおいてイネーブル信号ＤＥnbをアクティブとするか否かを決定する。この、出力制御信号ＣTR、イネーブル信号ＤＥnb、及び、水平走査期間Ｈdの種類の関係については、後述する。
【００９２】
図１５は、タイミングジェネレーター３２が生成する各種信号と、液晶パネル４２の表示領域ＡDにおける画像の表示タイミングとの関係を説明するための説明図である。
この図に示すように、表示領域ＡDの有する第１行のラインから第Ｍ行のラインに至るＭ行×Ｎ列の画素は、表示垂直走査期間Ｆdのうち、垂直有効データ信号ＤＶactiveがアクティブとなる垂直有効データ期間ＤＶＩにおいて、画像信号Ｄ[1]〜Ｄ[M]の示す１画面分の画像を表示する。
また、表示領域ＡDのうち第ｍ行のラインを構成するＮ個の画素は、水平走査期間Ｈd（有効水平走査期間Ｈd-Ａ）のうち、イネーブル信号ＤＥnbがアクティブとなる水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[m]の示すラインデータの画素毎の画像を表示する。
なお、垂直有効データ期間ＤＶＩは、当該垂直有効データ期間ＤＶＩに含まれる無効水平走査期間Ｈd-Ｄの個数によって延長されるが、この図では、垂直有効データ期間ＤＶＩに含まれる水平走査期間Ｈdは全て有効水平走査期間Ｈd-Ａである場合を想定している。
【００９３】
次に、図１６を参照しつつ、左側表示部４０−１について説明する。
図１６は、左側表示部４０−１の構成を示すブロック図である。上述のとおり、左側表示部４０−１は、液晶パネル４２の動作を制御するコントローラー４１と、画像信号Ｄに応じた画像を表示するための液晶パネル４２と、を備える。
液晶パネル４２には、上述のとおり、画像信号Ｄに応じた画像を表示するための表示領域ＡDが設けられている。表示領域ＡDは、図１５においてＸ軸方向に延在するＭ行の走査線と、Ｙ軸方向に延在するＮ列のデータ線と、走査線及びデータ線の交差に対応しても受けられるＭ行×Ｎ列の画素と、を含んで構成されている。また、液晶パネル４２は、走査線を選択するための走査線駆動回路４２１と、データ線を駆動するためのデータ線駆動回路４２２と、を備える。
【００９４】
コントローラー４１は、画像信号出力部２３から画像信号Ｄ（画像信号ＤGB）が入力されるデータ入力部４１１と、各垂直有効データ期間ＤＶＩにおいて有効水平走査期間Ｈd-Ａの個数（イネーブル信号ＤＥnbがアクティブとなる回数）をカウントするカウンタ４１２と、液晶パネル４２の駆動タイミングを規定する各種タイミング信号を生成するタイミング生成部４１３と、液晶パネル４２に対して画像信号Ｄ（画像信号ＤGC）を出力するデータ出力部４１４と、コントローラー４１の動作を規定する設定パラメーターＰRMを格納するためのレジスタ４１５と、を備える。
なお、本実施形態において、各画像処理回路１００（画像信号生成部２０、及び、タイミング制御部３０）とコントローラー４１との間のデータ伝送は、パラレルインタフェース（図示省略）によって行う。
【００９５】
レジスタ４１５に設定される設定パラメーターＰRMは、液晶パネル４２の仕様に応じてコントローラー４１を動作させるための、コントローラー４１の動作を規定する値である。
設定パラメーターＰRMとしては、例えば、水平走査期間Ｈdの時間長（または、水平走査期間Ｈdに含まれる表示ドットクロック信号ＤCLKのクロック数。以下、表示ドットクロック信号ＤCLKのクロック数を、単に「クロック数」と称する）、水平有効データ期間ＤＨＩの時間長（または、表示領域ＡDにおけるＸ軸方向の画素数（Ｎ））、水平同期期間ＤＨpの時間長（または、クロック数）、水平バックポーチ期間ＤＨbの時間長（または、クロック数）、水平フロントポーチ期間ＤＨfの時間長（または、クロック数）、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄが含まれない場合の垂直有効データ期間ＤＶＩの時間長（または、表示領域ＡDにおけるＹ軸方向のライン数（Ｍ）。すなわち、垂直有効データ期間ＤＶＩに含まれる有効水平走査期間Ｈd-Ａの個数）、垂直同期期間ＤＶpの時間長（または、クロック数）、垂直バックポーチ期間ＤＶbの時間長（または、クロック数）、垂直フロントポーチ期間ＤＶfの時間長（または、クロック数）、等を含むものであればよい。
本実施形態に係る車両用撮像表示システム１では、画像処理回路１００から、液晶パネル４２の仕様に応じたコントローラー４１の動作タイミングを設定できるので、液晶パネル４２のサイズを変更する場合や、フレームレート等の液晶パネル４２の仕様を変更する場合であっても、コントローラー４１を変更する必要がない。このため、システムの汎用性を向上させることが可能となる。
【００９６】
データ入力部４１１には、画像処理回路１００から、表示ドットクロック信号ＤCLKと、画像信号Ｄ（画像信号ＤGB）、無効ライン信号ＤGB-dmy、及び無効信号Ｄmyを含む画像信号出力部２３からの出力信号と、イネーブル信号ＤＥnbと、が供給される。
データ入力部４１１は、イネーブル信号ＤＥnbがアクティブとなると、当該イネーブル信号ＤＥnbがアクティブの間に表示ドットクロック信号ＤCLKに同期して画像信号出力部２３から供給される１ライン分の画像信号Ｄ[m]を取り込み、取り込んだ画像信号Ｄ[m]をデータ出力部４１４に対して出力する。一方、データ入力部４１１は、イネーブル信号ＤＥnbが非アクティブの場合、画像信号出力部２３から供給される無効信号Ｄmyを取り込まずに破棄する。
【００９７】
カウンタ４１２には、画像処理回路１００から、イネーブル信号ＤＥnbと、表示垂直同期信号ＤＶsyncとが供給される。
カウンタ４１２は、イネーブル信号ＤＥnbの立ち上がりエッジをカウントし、カウント結果を示すカウント値Ｃntを、タイミング生成部４１３に対して出力する。また、カウンタ４１２は、表示垂直同期信号ＤＶsyncがアクティブになり、表示垂直同期信号ＤＶsyncとして垂直同期パルスＰlsＶが供給されると、カウント値Ｃntを「０」にリセットする。このため、カウンタ４１２は、各表示垂直走査期間Ｆdに含まれる有効水平走査期間Ｈd-Ａの個数をカウントすることができる。すなわち、カウント値Ｃntは、データ入力部４１１が第ｍ行のラインで表示すべき画像を指定する画像信号Ｄ[m]を取り込む場合には、当該画像信号Ｄ[m]に対応するライン番号（ｍ）を示す。
【００９８】
タイミング生成部４１３には、画像処理回路１００から、表示垂直同期信号ＤＶsyncと、表示水平同期信号ＤＨsyncと、設定パラメーターＰRMと、が供給され、また、カウンタ４１２から、カウント値Ｃntが供給される。
上述のとおり、タイミング生成部４１３は、画像処理回路１００から設定パラメーターＰRMが供給されると、供給された設定パラメーターＰRMをレジスタ４１５に設定する。
【００９９】
タイミング生成部４１３は、カウント値Ｃntが「ｍ」を示す場合には、走査線駆動回路４２１に対して、カウント値Ｃntに対応する第ｍ行のライン（走査線）の選択を行わせる。また、タイミング生成部４１３は、カウント値Ｃntが「ｍ」を示す場合には、データ出力部４１４に対して、データ入力部４１１が取り込んだ１ライン分の画像信号Ｄ[m]を画像信号ＤGC[m]としてデータ線駆動回路４２２に供給させる。この場合、データ線駆動回路４２２は、走査線駆動回路４２１が選択している第ｍ行の走査線に対応して設けられるＮ個の画素（第ｍ行のライン）に対し、データ出力部４１４から供給された画像信号ＤGC[m]を、データ線を介して書き込む。これにより、選択されたラインの画像が表示領域ＡDに表示される。なお、本実施形態では、画像信号ＤGA及びＤGBはデジタルの信号であるが、画像信号ＤGCは、デジタルの信号であってもアナログの信号であってもよい。
このように、コントローラー４１は、画像信号出力部２３から供給された画像信号Ｄの示す画像（すなわち画像信号ＤLの示す画像）を、液晶パネル４２の表示領域ＡDに表示させる。
図１７に、左側フロントＡピラー部における画像信号ＤLの示す画像の表示例を示す。図示のように、画像信号ＤLの示す画像は、車両Ａのフロントガラスの左側にある左側フロントＡピラー部ＦＰにおいて室内側表面付近の領域Ａ−１において運転者に視認されるように表示される。左側表示部４０−１において、矩形の表示領域ＡDに表示された画像信号ＤLの示す画像がピコプロジェクター４０１Lから透過型スクリーン４０２Lに向けて照射されると、透過型スクリーン４０２L上に実像が形成され、その照射光がコンバイナー４０４Lから反射される。コンバイナー４０４Lから反射された照射光のうち、楕円形の開口部ＯpLの内側に至る部分だけが左側フロントＡピラー部ＦＰの外部に出力される結果、図示の例のように、楕円形の像が運転者に視認されることになる。
【０１００】
右側後方領域撮像部１０−３、画像処理回路１００−３、及び右側表示部４０−３の構成は、左右の相違がある点を除いて、左側後方領域撮像部１０−１、画像処理回路１００−１、及び左側表示部４０−１の構成と同様である。具体的には、左側表示部４０−１における縮小・拡大処理が図１２Ａ、図１２Ｄ、及び図１２Ｇに示すものである場合には、右側表示部４０−３における縮小・拡大処理は図１８Ａ、図１８Ｂ、及び図１８Ｃにそれぞれ示すものとなる。
図１８Ｄに例示するように、右側後方領域撮像部１０−３が撮像した撮像信号ＤSに基づく画像（画像信号ＤRの示す画像）は、左右方向において車体に近い領域ＲRC（図２）が車体から遠い領域ＲRRよりも拡大され、上下方向においては中央の領域が拡大されている。画像信号ＤRの示す画像は右側表示部４０−３のピコプロジェクター４０１Rから透過型スクリーン４０２Rに向けて投射され、コンバイナー４０４Rによって反射されて、車両Ａのフロントガラスの右側にある右側フロントＡピラー部において室内側表面付近の領域Ａ−３において運転者に視認されるように表示される。
左側表示部４０−１について上述したように、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理において用いる画面の分割比率、垂直方向変倍率、及び水平方向変倍率は任意に設定され得る。
【０１０１】
次に、中央後方領域撮像部１０−２、画像処理回路１００−２、及び中央表示部４０−２の構成は、左側後方領域撮像部１０−１、画像処理回路１００−１、及び左側表示部４０−１の構成と同様である。ただし、画像処理回路１００−２の画像処理部２１では、水平方向縮小・拡大処理部２２１による処理と拡大する垂直方向縮小・拡大処理部２２２による処理において、拡大及び縮小の比率が相違する。
図１９は、中央後方領域撮像部１０−２が撮像した撮像信号ＤSCに基づく画像に対して施す拡大・縮小処理の概念図である。図示の例は、撮像信号ＤSCに対してトリミング処理及び左右反転処理を施した画像信号ＤFを示す。図示のように、拡大・縮小処理においては、鏡像生成部２２０から出力された画像信号ＤIの画像を左上領域ＢR1、左中央領域ＢR2、左下領域ＢR3、中央上領域ＢR4、中央領域ＢR5、中央下領域ＢR6、右上領域ＢR7、右中央領域ＢR8、右下領域ＢR9の９つの領域に区分する。左右方向における左の領域ＢRL（図２）と中央の領域ＢRCと右の領域ＢRRとの長さの比、及び上下方向において、上の領域と、中央の領域と、下の領域との長さの比は任意に定めることができる。図１９に示す例では、左右方向を２０％、６０％、及び２０％に分割し、上下方向に２０％、６０％、及び２０％に分割してある。
【０１０２】
また、各領域には、所定の水平方向変倍率（左右方向における拡大率又は縮小率）と所定の垂直方向変倍率（上下方向における拡大率又は縮小率）が予め設定される。具体的には、図１９に示すように、左右方向及び上下方向のいずれにおいても端の領域である左上領域ＢR1、左下領域ＢR3、右上領域ＢR7、及び右下領域ＢR9については、左右方向の縮小率及び上下方向の縮小率がともに５０％に設定される。また、左右方向において端の領域ではあるが上下方向において中央の領域である左中央領域ＢR2と右中央領域ＢR8については、左右方向の縮小率が５０％且つ上下方向の拡大率が１３３％に設定される。また、左右方向において中央の領域ではあるが上又は下の領域である中央上領域ＢR4と中央下領域ＢR6については、左右方向の拡大率が１３３％、上下方向の縮小率が５０％に設定される。そして、左右方向及び上下方向のいずれにおいても中央の領域である中央領域ＢR5については、左右方向の拡大率及び上下方向の拡大率がともに１３３％に設定される。このように設定することにより、撮像信号ＤSに基づく画像のうち、車両の運転時の安全確認により必要な領域の視認性を向上することが可能となる。また、例えばバックミラーの鏡面に平面鏡部と凸面鏡部を設けて凸面鏡部に映る鏡像が圧縮されるようにする構成と比較して、物理的な加工処理を不要としつつ、左右及び上下方向における中央の領域の視認性を向上することが可能となる。
このようにして生成された画像信号ＤCの示す画像は中央表示部４０−２のピコプロジェクター４０１Cから透過型スクリーン４０２Cに向けて投射され、コンバイナー４０４Cによって反射されて、車両Ａのフロントガラス下部における領域Ａ−２において運転者に視認されるように表示される。
【０１０３】
図２０は、出力制御信号ＣTRと、イネーブル信号ＤＥnbとを説明するための説明図である。
上述のとおり、出力制御部３１は、画像信号Ｄ[m]の出力準備が完了したと判定したとき、つまり、第１条件及び第２条件が充足されたときに、出力制御信号ＣTRに判定結果が肯定であることを示す値ＣTR[m]を設定する。ここでは便宜的に、出力制御部３１は、画像信号Ｄ[m]の出力準備が完了したと判定したときに、出力制御信号ＣTRに一時的にハイレベルに立ち上がるパルス状の波形を出力することとし、図２０に示すように、出力制御信号ＣTRに設定される画像信号Ｄ[m]を出力する準備が完了した旨の判定結果を示す出力パルス波形を、出力許可パルスＰL[m]と称することにする（＝ＣTR[m]）。
【０１０４】
上述のとおり、本実施形態に係る出力制御部３１は、画像信号出力部２３から出力完了信号ＰtBが出力されたことをもって、第２条件が充足されたとみなす。そして、出力制御部３１は、出力完了信号ＰtBが出力されたときに画像信号Ｄ[m]の画像処理が完了しているか（第１条件が充足されているか）否かの判定（第１の判定）を実行することで、画像信号Ｄ[m]の出力準備が完了したか否かを判定する。
図２０に示すように、出力制御部３１が画像信号Ｄ[m]の出力準備が完了したか否かの判定を行う場合において、出力制御部３１が画像信号Ｄ[m]の画像処理が完了したと判定（第１条件が充足されたと判定）するタイミング、つまり、第１の判定の結果が肯定となるタイミングを、画像処理判定時刻ＴA[m]と称する。
また、出力制御部３１に出力完了信号ＰtBが供給された（第２条件が充足されたとみなす）タイミングを、表示準備判定時刻ＴB[m]と称する。
また、以下では、説明の便宜上、画像処理部２１による画像信号Ｄ[m]の生成が実際に完了した時刻を、画像信号生成時刻ＴC[m]と定義する。つまり、画像信号生成時刻ＴC[m]は、画像処理部２１が書込完了信号ＰtAを出力する時刻と略同じ時刻である。
【０１０５】
表示準備判定時刻ＴB[m]は、出力制御部３１からの画像信号Ｄ[m-1]の出力が完了した時刻と略同じ時刻であり、画像信号Ｄ[m-1]が出力される有効水平走査期間Ｈd-Ａ（有効水平走査期間Ｈd-Ａ[m-1]と称する）の水平有効データ期間ＤＨＩが終了する時刻と略同じ時刻である。なお、表示準備判定時刻ＴB[m]の後に最初の水平走査期間Ｈd[m]の水平有効データ期間ＤＨＩが開始される時刻は、「表示可能時刻」の一例である。
なお、本明細書において「略同じ時刻」とは、信号の送受信に起因するタイムラグや、各種処理に起因するタイムラグがある場合において、これらのタイムラグを無視した場合に同一の時刻であるとみなすことができる場合を含む概念である。
【０１０６】
画像処理判定時刻ＴA[m]は、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]（画像信号ＤGA[m]）の生成が完了している場合、すなわち、表示準備判定時刻ＴB[m]までに画像信号生成時刻ＴC[m]が経過している場合（Ｃase-1と称する）には、表示準備判定時刻ＴB[m]と略同じ時刻となる。
なお、Ｃase-1の場合、表示準備判定時刻ＴB[m] のタイミング（＝第２条件が充足されたとみなすタイミング）において、出力制御部３１が、当該表示準備判定時刻ＴB[m]までに出力制御部３１に供給されている書込完了信号ＰtAの示すライン番号ｍaをもとにｍについて「ｍ≦ｍa」を満たす旨の判定をし、当該判定をしたタイミングが画像処理判定時刻ＴA[m]であるため、画像処理判定時刻ＴA[m]及び表示準備判定時刻ＴB[m]の間には実際にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じとみなす。
【０１０７】
一方、画像処理判定時刻ＴA[m]については、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]（画像信号ＤGA[m]）の生成が完了していない場合においては（すなわち、表示準備判定時刻ＴB[m]までに画像信号生成時刻ＴC[m]が到来していない場合（Ｃase-2と称する））には、画像処理部２１が画像信号Ｄ[m]の生成を完了させた時刻（すなわち、画像信号生成時刻ＴC[m]と略同じ時刻）となる。
なお、Ｃase-2の場合、画像処理部２１が画像信号生成時刻ＴC[m]に画像信号Ｄ[m]の生成を完了させた後に、画像処理部２１が書込完了信号ＰtAを出力し、当該書込完了信号ＰtAの供給を受けた出力制御部３１が「ｍ≦ｍa」を満たす旨の判定をしたタイミングが画像処理判定時刻ＴA[m]であるため、画像処理判定時刻ＴA[m]及び画像信号生成時刻ＴC[m]の間にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じとみなす。
【０１０８】
この様にＣase-1とＣase-2の場合があり得るため、両ケースをまとめると、出力制御部３１は、画像信号生成時刻ＴC[m]及び表示準備判定時刻ＴB[m]のうち遅い方の時刻において（すなわちこの時刻は、画像処理判定時刻ＴA[m]）、出力制御信号ＣTRに出力許可パルスＰL[m]を設定する。つまり、この出力許可パルスＰL[m]は、画像信号Ｄ[m]についての第１条件及び第２条件が充足されたときに出力される。そして、タイミングジェネレーター３２は、出力許可パルスＰL[m]が出力された後であって第３条件が充足されたとき、換言すれば、出力許可パルスＰL[m]が出力された後に最初にイネーブル信号ＤＥnbがアクティブになるときに、画像信号出力部２３から画像信号Ｄ[m]が出力されるように制御する。
以下、説明の都合上、画像信号Ｄ[m]について、第１条件〜第３条件の全てが充足された時刻を、出力条件充足時刻ＴJ[m]と称する。
【０１０９】
本実施形態では、タイミングジェネレーター３２は、出力制御信号ＣTRに基づいて、タイミングジェネレーター３２の内部処理で用いるための内部処理信号ＩSのレベルを決定する。そして、タイミングジェネレーター３２は、内部処理信号ＩSに基づいて、イネーブル信号ＤＥnbをアクティブにするタイミング、及び、水平走査期間Ｈdの種別（有効水平走査期間Ｈd-Ａまたは無効水平走査期間Ｈd-Ｄ）を決定する。
【０１１０】
具体的には、タイミングジェネレーター３２は、図２０に示すように、出力制御信号ＣTRに出力許可パルスＰL[m]が設定されると、内部処理信号ＩSをアクティブ（この図の例ではハイレベル）とする。
タイミングジェネレーター３２は、水平走査期間Ｈdが開始されるタイミングにおいて内部処理信号ＩSがアクティブである場合、当該水平走査期間Ｈdの種別を有効水平走査期間Ｈd-Ａ[m]に決定（分類）し、当該有効水平走査期間Ｈd-Ａ[m]の水平有効データ期間ＤＨＩが開始されるタイミングでイネーブル信号ＤＥnbをアクティブにする。このイネーブル信号ＤＥnbがアクティブとなるタイミングが、出力条件充足時刻ＴJ[m]に該当する。
そして、タイミングジェネレーター３２は、当該有効水平走査期間Ｈd-Ａ[m]の水平有効データ期間ＤＨＩが開始されてイネーブル信号ＤＥnbがアクティブとなるタイミング、つまり、出力条件充足時刻ＴJ[m]において、内部処理信号ＩSを非アクティブにする。
【０１１１】
一方、タイミングジェネレーター３２は、水平走査期間Ｈdが開始されるタイミングにおいて内部処理信号ＩSが非アクティブである場合、当該水平走査期間Ｈdの種別を無効水平走査期間Ｈd-Ｄに決定（分類）し、当該無効水平走査期間Ｈd-Ｄの間はイネーブル信号ＤＥnbを非アクティブにする。
【０１１２】
ここで、図２０に示す例において、表示準備判定時刻ＴB[1]以前では、PtB信号のｍbは、１フレームの最終ラインを出力した直後よりｍb＝Ｍを維持している。そして、垂直同期信号の出力後の垂直バックポーチ期間が完了後のある時点で、次のフレームのデータ出力が可能になる。このため、表示準備判定時刻ＴB[1]の時点において、ｍb信号がリセットされて、ｍb＝０になる（Ｃase-0）。Ｃase-0は、１フレームの最初の1ライン目を表示開始するための特殊なタイミングであり、１フレームに１回のみ存在する。そしてその結果、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩが開始される。
次に，２ライン目以降の例を記載する。以下、図２０に示す例において、出力制御部３１が、画像信号Ｄ[2]の出力準備が完了したか否かの判定を行い、出力制御信号ＣTRに出力許可パルスＰL[2]を設定する場合（Ｃase-1に相当）を説明する。
図２０に示す例では、表示準備判定時刻ＴB[2]は、画像信号Ｄ[1]の出力が完了する水平走査期間Ｈd[1]（有効水平走査期間Ｈd-Ａ[1]）の水平有効データ期間ＤＨＩの終了時である。また、この例では、画像信号Ｄ[2]の画像処理が完了する画像信号生成時刻ＴC[2]が、表示準備判定時刻ＴB[2]よりも前に到来する場合を想定している。よって、この例では、画像処理判定時刻ＴA[2]は、表示準備判定時刻ＴB[2]と略同じ時刻となる。このため、出力制御部３１は、水平走査期間Ｈd[1]の水平有効データ期間ＤＨＩの終了時、つまり、表示準備判定時刻ＴB[2]に、出力制御信号ＣTRとして出力許可パルスＰL[2]を出力する。
タイミングジェネレーター３２は、出力制御信号ＣTRとして出力許可パルスＰL[2]が出力されるタイミング、つまり、水平走査期間Ｈd[1]の水平有効データ期間ＤＨＩの終了するタイミングにおいて、内部処理信号ＩSをアクティブにする。この場合、内部処理信号ＩSは、水平走査期間Ｈd[2]の開始時においてもアクティブとなっている。ここで、タイミングジェネレーター３２は、水平走査期間の開始タイミング（ＤＨsyncパルス）において、当該水平走査期間を有効水平走査期間Ｈd-Ａ[m]とするのか、無効水平走査期間Ｈd-Ｄとするのかを内部処理信号ＩSの状態に基づいて判断を行うものとする。上記の場合は、内部処理信号ＩSは、アクティブである。このため、タイミングジェネレーター３２は、水平走査期間Ｈd[2]を有効水平走査期間Ｈd-Ａ[2]とし、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbをアクティブにする。
すなわち、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩの開始時刻が、画像信号Ｄ[2]についての第１条件〜第３条件の全てが充足された出力条件充足時刻ＴJ[2]となる。このため、水平走査期間Ｈd[2]において、画像信号Ｄ[2]が出力されることになる。また、タイミングジェネレーター３２は、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩが開始されるタイミングにおいて、内部処理信号ＩSを非アクティブとする。
【０１１３】
次に、図２０に示す例において、出力制御部３１が、画像信号Ｄ[3]の出力準備が完了したか否かの判定を行い、出力制御信号ＣTRに出力許可パルスＰL[3]を設定する場合（Ｃase-2に相当）を説明する。
図２０に示す例では、表示準備判定時刻ＴB[3]は、画像信号Ｄ[2]の出力が完了する水平走査期間Ｈd[2]（有効水平走査期間Ｈd-Ａ[2]）の水平有効データ期間ＤＨＩの終了時である。この例では、画像信号Ｄ[3]の画像処理が完了する画像信号生成時刻ＴC[3]が、表示準備判定時刻ＴB[3]よりも後となる場合を想定している。よって、画像処理判定時刻ＴA[3]は、表示準備判定時刻ＴB[3]よりも後の時刻となる。また、この例では、画像信号生成時刻ＴC[3]が、水平走査期間Ｈd[3]の開始時よりも後となる場合を想定している。このため、出力制御部３１は、水平走査期間Ｈd[3]の開始時よりも後の時刻に、出力許可パルスＰL[3]を出力する。
上述のとおり、タイミングジェネレーター３２は、内部処理信号ＩSを、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩの開始時に非アクティブとする。このため、内部処理信号ＩSは、水平走査期間Ｈd[3]の開始時に非アクティブとなっている。このため、水平走査期間の開始タイミング（ＤＨsyncパルス）において、内部処理信号ＩSの状態は非アクティブであるので、タイミングジェネレーター３２は、水平走査期間Ｈd[3]を無効水平走査期間Ｈd-Ｄとして分類し、水平走査期間Ｈd[3]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbを非アクティブにする。この場合、画像信号出力部２３は、水平走査期間Ｈd[3]の水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[3]を出力せずに、無効信号Ｄmyを出力する。
【０１１４】
その後、タイミングジェネレーター３２は、出力制御信号ＣTRとして出力許可パルスＰL[3]が出力されタイミングにおいて、内部処理信号ＩSをアクティブにする。この例では、出力許可パルスＰL[3]が出力されるタイミングは、水平走査期間Ｈd[4]の開始前である。この場合、内部処理信号ＩSは、水平走査期間Ｈd[4]の開始時（ＤＨsyncパルス）においてもアクティブとなっている。このため、タイミングジェネレーター３２は、水平走査期間Ｈd[4]を有効水平走査期間Ｈd-Ａ[3]とし、水平走査期間Ｈd[4]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbをアクティブにする。
【０１１５】
すなわち、水平走査期間Ｈd[4]の水平有効データ期間ＤＨＩの開始時刻が、画像信号Ｄ[3]についての第１条件〜第３条件の全てが充足された出力条件充足時刻ＴJ[3]となる。このため、水平走査期間Ｈd[4]において、画像信号Ｄ[3]が出力されることになる。
なお、この図に示す例では、出力制御部３１が、画像信号Ｄ[1]の出力準備が完了したか否かの判定を行い出力制御信号ＣTRに出力許可パルスＰL[1]を設定する場合、及び、画像信号Ｄ[1]の出力準備が完了したか否かの判定を行い出力制御信号ＣTRに出力許可パルスＰL[1]を設定する場合（Ｃase-0）については、Ｃase-1としての条件である場合を想定している。
【０１１６】
このように本実施形態では、出力制御部３１は、第１条件及び第２条件が充足されときに、出力許可パルスＰL[m]を出力して、内部処理信号ＩSの状態をアクティブにし、水平走査期間の開始時（ＤＨsyncパルス）において、有効水平走査期間Ｈd-Ａ[m]とするのか、無効水平走査期間Ｈd-Ｄ[m]とするかを決定する。有効水平走査期間と決定された場合、画像信号出力部２３は、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈdにおいて、画像信号Ｄ[m]を出力する動作を行う。この様な動作により，画像処理部２１によるライン単位Ｄ[m]の画像処理結果の画像信号出力部２３からの画像信号Ｄ[m]の出力タイミングは，水平走査期間Ｈdの単位の精度で出力調整されることになる。
【０１１７】
なお、図２０に示す例では、タイミングジェネレーター３２は、水平走査期間Ｈdの種別を、水平走査期間Ｈdが開始されるタイミングで決定しているが、これは一例に過ぎず、例えば、出力許可パルスＰL[m]が出力される水平走査期間Ｈdの水平フロントポーチ期間ＤＨfの開始から、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈdの水平バックポーチ期間ＤＨbの終了までの間に決定すればよい。
また、図２０に示す例では、内部処理信号ＩSを非アクティブとするタイミングを、イネーブル信号ＤＥnbがアクティブとなるタイミングとしているが、これは一例に過ぎず、タイミングジェネレーター３２が内部処理信号ＩSを非アクティブとするタイミングは、イネーブル信号ＤＥnbがアクティブとなってから非アクティブとなるまでの水平有効データ期間ＤＨＩの間であればいつでもよい。
【０１１８】
また、本実施形態において、タイミングジェネレーター３２は、内部処理信号ＩSを用いて、イネーブル信号ＤＥnbの波形と、水平走査期間Ｈdの種別とを決定しているが、これは一例に過ぎず、内部処理信号ＩSを用いずに、出力制御信号ＣTRに基づいて、これらを決定してもよい。
また、本実施形態において、出力制御信号ＣTRは、出力許可パルスＰL[m]を含む波形となっているが、これは一例であり、出力制御信号ＣTRは、例えば、図２０に示す内部処理信号ＩSの波形を有していてもよい。この場合、タイミングジェネレーター３２は、出力制御部３１が出力制御信号ＣTRの波形の決定をするために必要なイネーブル信号ＤＥnb等の各種信号を、出力制御部３１に供給すればよい。
【０１１９】
図２１Ａ及び図２１Ｂは、有効水平走査期間Ｈd-Ａ及び無効水平走査期間Ｈd-Ｄと、表示垂直走査期間Ｆdとの関係を説明するための説明図である。
表示垂直走査期間Ｆdは、Ｍ行のラインに対応する画像信号Ｄ[1]〜Ｄ[M]を出力する期間である。このため、タイミングジェネレーター３２は、各表示垂直走査期間Ｆdの垂直有効データ期間ＤＶＩに、Ｍ個の有効水平走査期間Ｈd-Ａを設ける。
一方、本実施形態に係るタイミングジェネレーター３２は、水平走査期間Ｈdを、有効水平走査期間Ｈd-Ａまたは無効水平走査期間Ｈd-Ｄの何れかに分類する。そして、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合にのみ、当該水平走査期間Ｈdにおいて画像信号Ｄ[m]が出力される。
このため、本実施形態に係るタイミングジェネレーター３２は、表示垂直走査期間Ｆdの垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを設ける場合には、当該無効水平走査期間Ｈd-Ｄに相当する時間長だけ垂直有効データ期間ＤＶＩを延長し、各表示垂直走査期間Ｆdの垂直有効データ期間ＤＶＩにＭ個の有効水平走査期間Ｈd-Ａを設けるように、表示垂直同期信号ＤＶsync及び垂直有効データ信号ＤＶactiveを出力する。
【０１２０】
例えば、タイミングジェネレーター３２は、図２１Ａに示す表示垂直走査期間Ｆd1のように、垂直有効データ期間ＤＶＩの全ての水平走査期間Ｈdを有効水平走査期間Ｈd-Ａとする場合には、垂直有効データ期間ＤＶＩの時間長を、水平走査期間ＨdのＭ倍の時間長とする。ここで、表示垂直走査期間Ｆd1のうち、垂直同期フロントポーチ期間（ＤＶf）と垂直同期期間（ＤＶp）と垂直同期バックポーチ期間（ＤＶb）を除いた期間、すなわちＤＶＩを垂直有効データ期間ＤＶＩと呼び、ＤＶactive＝Ｈの期間とする。
一方、タイミングジェネレーター３２は、図２１Ｂに示す表示垂直走査期間Ｆd2のように、垂直有効データ期間ＤＶＩに１または複数の無効水平走査期間Ｈd-Ｄを設ける場合には、垂直有効データ期間ＤＶＩの時間長（ＤＶactive＝Ｈの期間）が、水平走査期間ＨdのＭ倍の時間長と、垂直有効データ期間ＤＶＩに存在する１または複数の無効水平走査期間Ｈd-Ｄの合計の時間長と、を加算した時間長とする。
つまり、タイミングジェネレーター３２は、表示垂直走査期間Ｆdの時間長を、水平走査期間Ｈdの単位で調整することで、各表示垂直走査期間Ｆdにおいて画像信号出力部２３が画像信号Ｄ[1]〜Ｄ[M]を出力することを可能としている。
【０１２１】
なお、図２１Ａに示す表示垂直走査期間Ｆd1のように、垂直有効データ期間ＤＶＩの全ての水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合における、表示垂直走査期間Ｆdの時間長を、標準垂直走査時間Ｔdと称する。また、表示部４０で表示可能な最高のフレームレート、すなわち、表示垂直走査期間Ｆdの時間長が標準垂直走査時間Ｔdである場合のフレームレートである「１／Ｔd」を、「第２フレームレート」と称する場合がある。また、タイミング制御部３０が実行するタイミングの制御のうち、第２フレームレートにより画像信号Ｄが出力されるようにタイミングを制御することを、「第１のタイミング制御」と称する場合がある。
【０１２２】
また、図２１Ｂに示す表示垂直走査期間Ｆd2のように、垂直有効データ期間ＤＶＩに１または複数の無効水平走査期間Ｈd-Ｄが設けられる場合における、当該１または複数の無効水平走査期間Ｈd-Ｄの時間長の合計値を、延長垂直走査時間Ｔexと称する。つまり、垂直有効データ期間ＤＶＩに１または複数の無効水平走査期間Ｈd-Ｄが設けられる場合の表示垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔdと延長垂直走査時間Ｔexとの合計である。なお、タイミング制御部３０が実行するタイミングの制御のうち、１または複数の無効水平走査期間Ｈd-Ｄが設けられる垂直有効データ期間ＤＶＩにおいて画像信号Ｄが出力されるようにタイミングを制御することを、「第２のタイミング制御」と称する場合がある。詳細は後述するが、第２のタイミング制御において、タイミング制御部３０は、第１フレームレートにより画像信号Ｄが出力されるようにタイミングを制御する。
【０１２３】
なお、コントローラー４１は、カウント値Ｃntが、レジスタ４１５に設定された表示領域ＡDのライン数「Ｍ」と等しくなったことを検出した場合、検出後に最初に表示水平同期信号ＤＨsyncが供給されるタイミング、つまり、垂直フロントポーチ期間ＤＶfが開始されるタイミングで、データ入力部４１１及びデータ出力部４１４に対して、改フレーム処理の準備に入る。そして、垂直フロントポーチ期間ＤＶfが開始された後、タイミング生成部４１３は、データ入力部４１１及びデータ出力部４１４に対して、改フレーム処理の実行を指令するための改フレーム処理開始信号Ｃngを出力する。
ここで、改フレーム処理とは、次の表示垂直走査期間Ｆdにおいて画像を表示する準備のための処理であり、例えば、データ入力部４１１及びデータ出力部４１４が備えるバッファに記憶されたデータの消去を実行する処理等が含まれる。改フレーム処理は、垂直フロントポーチ期間ＤＶfの開始以後に開始される。また、改フレーム処理は、垂直フロントポーチ期間ＤＶfの終了までに終了することが好ましい。
【０１２４】
＜３．画像信号の出力＞
次に、撮像部１０からの撮像信号ＤS[p]の出力タイミングと、画像信号生成部２０からの画像信号Ｄ[m]の出力タイミングとの関係について説明する。
図２２は、連続する複数の撮像垂直走査期間Ｆs（Ｆs0〜Ｆs3）のうち、撮像垂直走査期間Ｆs1〜Ｆs3のそれぞれにおいて、撮像部１０が撮像信号ＤS（ＤS[1]〜ＤS[P]）を出力するタイミングと、当該撮像信号ＤSに基づいて、画像処理部２１が画像信号Ｄ（Ｄ[1]〜Ｄ[M]）つまり画像信号ＤGA（ＤGA[1]〜ＤGA[M]）を生成し、生成した画像信号ＤGAをラインバッファ２２に格納するタイミングと、連続する複数の表示垂直走査期間Ｆd（Ｆd0〜Ｆd3）のうち、表示垂直走査期間Ｆd1〜Ｆd3のそれぞれにおいて、画像信号出力部２３が、ラインバッファ２２から画像信号Ｄつまり画像信号ＤGB（ＤGB[1]〜ＤGB[M]）を取得してこれを表示部４０に対して出力するタイミングと、の関係を、概略的に示すタイミングチャートである。なお、撮像垂直走査期間Ｆsのうち、撮像信号ＤSが出力される期間を、「撮像信号ＤSのフレーム」と称する。また、表示垂直走査期間Ｆdのうち、画像信号Ｄが出力されうる期間である垂直有効データ期間ＤＶＩを「画像信号Ｄのフレーム」と称する。そして、図２２に示すように、撮像信号ＤSのフレームの開始から、画像信号Ｄの開始までの時間を、位相差ＰDと称する。
【０１２５】
図２２では、説明の都合上、撮像垂直走査期間Ｆs0〜Ｆs3において出力される撮像信号ＤS[p]を、それぞれ、撮像信号ＤS0[p]〜ＤS3[p]と区別して表現することがある。
また、図１０において説明したとおり、画像処理部２１における画像信号Ｄ[1]〜Ｄ[M]の生成という視点から見れば、撮像部１０から出力される撮像信号ＤS[1]〜ＤS[P]は、撮像信号ＤGS[1]〜ＤGS[M]である。以下では、説明の都合上、撮像垂直走査期間Ｆs0〜Ｆs3において出力される撮像信号ＤGS[m]を、それぞれ、撮像信号ＤGS0[m]〜ＤGS3[m]として区別して表現することがある。
同様に、撮像信号ＤGS0[m]〜ＤGS3[m]に基づいて生成される画像信号Ｄ[m]（ＤGA[m]、ＤGA[m]）を、それぞれ、画像信号Ｄ0[m]〜Ｄ3[m]（ＤGA0[m]〜ＤGA3[m]、ＤGB0[m]〜ＤGB3[m]）として区別して表現することがある。
【０１２６】
上述のとおり、撮像部１０は、撮像水平同期信号ＳＨsync毎に撮像信号ＤS[1]〜ＤS[P]をライン単位に順次出力する。また、画像処理部２１は、撮像信号ＤGS[m]に対応する撮像信号ＤS[p]の供給が開始されると、画像信号ＤGA[m]を生成するための画像処理を開始する。つまり、画像処理部２１が、画像信号ＤGA[m]を生成するための画像処理を開始する垂直同期期間におけるタイミングは、生成するＤGA[m]の処理ライン位置によって異なる。
図２２では、撮像部１０が撮像信号ＤGS[1]〜ＤGS[M]を画像処理部２１に供給する１ライン単位の入力タイミングを線Ｌ1で表す。つまり、画像処理部２１が、画像信号ＤGA[1]〜ＤGA[M]のそれぞれを生成するための画像処理をライン毎に順番に開始する時刻方向での様子（タイミング）を、線Ｌ1で表す。
また、画像処理部２１による画像信号ＤGA[1]〜ＤGA[M]の生成が完了し、これらがライン毎に順番にラインバッファ２２に格納される時刻方向での様子（タイミング）を、線Ｌ2で表す。画像信号出力部２３は、画像信号ＤGA[m]の生成が完了した後に画像信号ＤGB[m]を出力する。よって、画像信号ＤGB[m]が、線Ｌ2の示す時刻よりも前の時刻に出力されることはない。なお、線Ｌ2は、図２０で説明した画像信号生成時刻ＴC[1]〜ＴC[M]を結んだ線である。
【０１２７】
また、画像信号出力部２３が、表示部４０にとって理想的なタイミングで画像信号ＤGB[1]〜ＤGB[M]を供給する場合、すなわち、表示部４０が表示可能な最高のフレームレート（表示垂直走査期間Ｆdの時間長が標準垂直走査時間Ｔdである場合のフレームレート）で表示するように画像信号ＤGB[1]〜ＤGB[M]を供給する場合の、画像信号出力部２３が画像信号ＤGB[1]〜ＤGB[M]をライン毎に順番に読み出されて出力するタイミングを、線Ｌ3で表す。つまり、線Ｌ3は、表示部４０が１ライン分の画像を表示可能な水平走査期間Ｈd毎に、画像信号出力部２３が１ライン分の画像信号ＤGB[m]を出力すると仮定した場合（つまり、表示部４０のフレームレートが第２フレームレートである場合）に、表示部４０が画像信号ＤGB[1]〜ＤGB[M]の示す画像を水平走査期間Ｈd毎にライン順に読み出されて表示するタイミングを示す線であり、水平走査期間Ｈd毎に１ライン増加するような傾きを有する。すなわち、線Ｌ3は、垂直有効データ期間ＤＶＩに含まれる水平走査期間Ｈdの全てが有効水平走査期間Ｈd-Ａである場合を想定したものであり、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄが含まれる場合も想定したうえで、第ｍ-1行の画像信号Ｄ[m-1]の出力の完了（第２条件の充足）を前提とした画像信号Ｄ[m]の出力時刻を示す表示準備判定時刻ＴB[m]とは、必ずしも一致しない。
画像信号出力部２３は、表示部４０が表示可能であるときに画像信号ＤGB[m]を出力する。よって、画像信号ＤGB[m]は、線Ｌ3の示す時刻よりも前の時刻に画像信号が読み出されて出力されることはない。
【０１２８】
また、図２２では、ライン毎の画像信号ＤGA[m]を生成するための画像処理に要する時間を、画像処理時間ＵAとしている。以下では、説明の都合上、画像信号ＤGA0[m]〜ＤGA3[m]のそれぞれに対応する画像処理時間ＵAを、画像処理時間ＵA0〜ＵA3として区別して表現することがある。
また、図２２では、画像信号ＤGA[m]がラインバッファ２２に格納されてから、画像信号出力部２３により表示部４０に対して出力されるまでの時間を待機時間ＵBとしている。以下では、説明の都合上、画像信号ＤGB1[m]〜ＤGB3[m]のそれぞれに対応する待機時間ＵBを、待機時間ＵB1〜ＵB3として区別して表現することがある。
【０１２９】
上述のとおり、撮像信号ＤS[1]〜ＤS[P]と、撮像信号ＤGS[1]〜ＤGS[M]とは１対１に対応するものではなく、各ラインに対応する画像信号Ｄ[m]を生成する画像処理の開始間隔は変動することがある。このため、線Ｌ1は通常は直線とはならずに折れ線となるが、図２２では、図示の都合上直線として描いている。なお、線Ｌ1を直線とした場合（例えば、線Ｌ1の始点と終点とを直線とつないだ場合）、線Ｌ1の傾きは、撮像部１０のフレームレートである第１フレームレートに応じて定められる。
また、上述のとおり、撮像信号ＤGS[1]〜ＤGS[M]のそれぞれに含まれる撮像信号ＤS[p]のライン数は、ラインの位置によって異なる場合がある。つまり、画像処理部２１は、図１０で説明したように、３ライン分の撮像信号ＤS[p]からなる撮像信号ＤGS[m]に基づいて画像信号ＤGA[m]を生成する場合もあれば、５ライン分の撮像信号ＤS[p]からなる撮像信号ＤGS[m]に基づいて画像信号ＤGA[m]を生成する場合もあり、後者の場合は前者の場合と比較して画像処理時間ＵAは長くなる。すなわち、画像処理部２１が、画像信号ＤGA[1]〜ＤGA[M]を生成するための画像処理時間ＵAは、通常、ラインの位置に応じて変動する。このため、線Ｌ2は通常は直線とはならずに折れ線となるが、図２２では、図示の都合上直線として描いている。
【０１３０】
図２２に示すように、撮像垂直走査期間Ｆs1において撮像部１０から出力される撮像信号ＤS1[p]（ＤGS1[m]）に基づいて画像処理部２１が画像信号Ｄ1[m]（ＤGA1[m]）を生成する時刻を示す線Ｌ2は、表示垂直走査期間Ｆd1において表示部４０が画像信号Ｄ1[m]（ＤGA1[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ4（前述の線Ｌ3の定義とは異なる仮想的なタイミングを線Ｌ4として説明する）よりも時間的に先行している。このような、線Ｌ2が線Ｌ3（線Ｌ4）よりも時間的に先行している状態を「第１の状態」と称する。
すなわち、第１の状態とは、画像処理部２１が撮像信号ＤS[p]に基づいて画像信号Ｄ[m]を生成したときに、表示部４０において当該画像信号Ｄ[m]の示す画像を表示する準備ができていない、という状態である。ここで、表示部４０において画像信号Ｄ[m]を表示する準備ができていない場合とは、例えば、画像信号Ｄ1[m]が生成されたときに、表示部４０が画像信号Ｄ1の前に表示すべき画像信号Ｄ0の示す画像を表示中であり、表示部４０が画像信号Ｄ1[m]の示す画像を表示できない場合等である。
つまり、第１の状態においては、画像処理部２１が画像信号Ｄ[m]を生成しても、画像信号Ｄ[m]を表示するための表示部４０側の準備が間に合っていないため、表示部４０における画像の表示が、表示部４０側の表示準備がボトルネックとなって、遅延する状態である。換言すれば、第１の状態は、表示部４０が画像信号Ｄ[m]を表示可能となったタイミングにおいて、遅延することなく速やかに画像信号Ｄ[m]を表示することができる、という状態である。
【０１３１】
ところで、表示部４０で１つの画面を表示するために必要な時間（周期）は、撮像部１０で１つの画面を撮像するために必要な時間（周期）よりも短いため、表示部４０側における表示準備がボトルネックとなる表示の遅延は、徐々に縮小されて解消されるに至る。
図２２では、図示の都合上、第１の状態として、１つの撮像垂直走査期間Ｆs（Ｆs1）及び１つの表示垂直走査期間Ｆd（Ｆd1）の１組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する場合がある。この場合、第１の状態における、位相差ＰD1（第１の状態における位相差ＰDとして、図２２に示すように符号ＰD1を付する）は、表示垂直走査期間Ｆdと撮像垂直走査期間Ｆsの差分に相当する時間ずつ短くなる。換言すれば、垂直走査期間の組毎に線Ｌ3と線Ｌ2との距離は、概ね、表示垂直走査期間Ｆdと撮像垂直走査期間Ｆsの差分に相当する時間ずつ短くなる。
表示部４０側における表示準備がボトルネックとなる表示の遅延が解消される前は、線Ｌ2が線Ｌ3（線Ｌ4）よりも時間的に先行する。一方、表示準備がボトルネックとなる表示の遅延が解消される様な状態になった場合は、実際にはその様な事にはならないものの、表示部４０側で画像を表示可能となる最早の時刻を示す線Ｌ4が、仮想的な状態として線Ｌ2よりも時間的に先行するタイミングになりえることが想定される。すなわち、表示準備がボトルネックとなる表示の遅延が解消されるタイミングにおいて、仮想的な状態では、最速な状態において線Ｌ2と線Ｌ4がクロスするタイミングになりえることが判る。
なお、上述のとおり、線Ｌ2は直線とはならず、折れ線となる場合が存在する。この場合、線Ｌ2及び仮想的な線Ｌ4のクロスは、複数回生じることがありえることが解る。
【０１３２】
図２２に示す例では、撮像垂直走査期間Ｆs2において撮像部１０が出力する撮像信号ＤS2[p]（ＤGS2[m]）に基づいて、画像処理部２１が画像信号Ｄ2[m]（ＤGA2[m]）を生成する時刻を示す線Ｌ2は、表示垂直走査期間Ｆd2において表示部４０が画像信号Ｄ2[m]（ＤGA2[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ4とクロスしている。このような、線Ｌ2と線Ｌ4がクロスする状態を、「第２の状態」と称する。なお、線Ｌ2及び線Ｌ4のクロスが複数回生じる場合には、このようなクロスが最初に生じる状態を、「第２の状態」と称する。また、線Ｌ2と線Ｌ4がクロスする時刻を、時刻Ｔthと称する。なお、線Ｌ2及び線Ｌ4のクロスが複数回生じる場合には、最初にクロスが生じる時刻を時刻Ｔthとする。
すなわち、第２の状態とは、画像処理部２１が撮像信号ＤS[p]に基づいて画像信号Ｄ[m]を生成したときに表示部４０において当該画像信号Ｄ[m]の示す画像を表示する準備ができていないという状態（常に線Ｌ2が線Ｌ3よりも時間的に先行する状態）から、表示部４０において画像信号Ｄ[m]の示す画像を表示可能となったときに画像処理部２１が画像信号Ｄ[m]を生成するための画像処理を完了していない場合が存在するという状態（線Ｌ4が線Ｌ2よりも時間的に先行する場合が存在するという状態）へと遷移することをいう。
つまり、第２の状態は、時刻Ｔth以前においては、表示部４０が画像信号Ｄ[m]の示す画像を表示することが可能となるタイミングにおいて、遅延することなく画像信号Ｄ[m]の示す画像を表示されるという状態であり、一方、時刻Ｔth以後においては、表示部４０側において画像信号Ｄ[m]を表示することが可能となる時刻に至っても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合っていないため、表示部４０における画像の表示が、画像処理部２１の画像処理がボトルネックとなって遅延する場合が存在する、という状態である。この、第２の状態における、位相差ＰD2（第２の状態における位相差ＰDとして、図２２に示すように符号ＰD2を付する）は、図２２に示すように位相差ＰD1よりも短くなる。
【０１３３】
なお、時刻Ｔth以降においては、タイミングジェネレーター３２が、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを１回挿入して、画像信号出力部２３からの画像信号Ｄ[m]の出力タイミング（表示部４０における画像信号Ｄ[m]の示す画像の表示タイミング）を調整する。但し、１回の無効水平走査期間Ｈd-Ｄの挿入を行っても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合わなかった場合は、更に次の無効水平走査期間Ｈd-Ｄの挿入を繰り返す。そして、表示部４０は、画像信号Ｄ[m]を生成するための画像処理の完了を待って、画像信号Ｄ[m]が生成された場合は、水平走査期間Ｈd以下の時間以内に、当該画像信号Ｄ[m]の示す画像を表示する。すなわち、時刻Ｔth以降は、無効水平走査期間Ｈd-Ｄの挿入により、画像信号出力部２３からの画像信号Ｄ[m]（ＤGB[m]）の出力タイミングを調整することで、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させる。
【０１３４】
図２２に示すように、表示垂直走査期間Ｆd3において表示部４０が画像信号Ｄ3[m]（ＤGA3[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ4は、撮像垂直走査期間Ｆs3において出力される撮像信号ＤS3[p]（ＤGS3[m]）に基づいて画像処理部２１が画像信号Ｄ3[m]（ＤGA3[m]）を生成する時刻を示す線Ｌ2よりも時間的に先行している。このような、線Ｌ4が線Ｌ2よりも時間的に先行している状態を、「第３の状態」と称する。換言すれば、時刻Ｔth以降に開始される撮像垂直走査期間Ｆs及び表示垂直走査期間Ｆdにおける状態が、第３の状態である。
すなわち、第３の状態とは、表示部４０において画像信号Ｄ[m]の示す画像を表示する準備が完了したときに、画像処理部２１が画像信号Ｄ[m]を生成するための画像処理を完了していない場合が恒常的に生じているという、状態である。
つまり、第３の状態においては、画像信号Ｄ[m]を表示するための表示部４０側の準備が完了しても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合っていないという状況が恒常的に生じているため、表示部４０における画像の表示が、画像処理部２１の画像処理がボトルネックとなって、遅延する状態である。
この、第３の状態における、位相差ＰD3（第３の状態における位相差ＰDとして、図２２に示すように符号ＰD3を付する）は、図２２に示すように、位相差ＰD2よりも短くなる。なお、第１の状態における位相差ＰD1は、画像処理時間ＵA（より具体的には、画像処理時間ＵA[1]〜ＵA[M]の最大値）よりも大きく、第３の状態における位相差ＰD3は、画像処理時間ＵA[1]〜ＵA[M]の最大値以下となる。
【０１３５】
上述のとおり、画像処理時間ＵAはライン毎に変動する。しかし、その変動幅は、撮像垂直走査期間Ｆsに比べれば十分に小さい。このため、画像信号Ｄ[m]の出力のタイミング（表示部４０側の表示タイミング）を、画像処理部２１における画像処理の完了タイミングに追従させている状態においては、撮像部１０が撮像信号ＤS3を出力している期間の時間長と、画像信号出力部２３が画像信号ＤGB3を出力している期間の時間長とは、略同じとなる。換言すれば、第３の状態においては、タイミング制御部３０は、表示部４０のフレームレートを撮像部１０のフレームレートである第１フレームレートとなるように、画像信号Ｄ[m]が出力されるタイミングを調整していることになる（第２のタイミング制御）。
なお、図２２では、図示の都合上、第３の状態として、１つの撮像垂直走査期間Ｆs（Ｆs3）及び１つの表示垂直走査期間Ｆd（Ｆd3）の１組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する。第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、撮像部１０が撮像信号ＤS3を出力している期間の時間長と、画像信号出力部２３が画像信号ＤGB3を出力している期間の時間長とが、略同じととなるように、画像信号Ｄ[m]が出力されるタイミングが調整される。すなわち、第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、表示部４０のフレームレートが撮像部１０のフレームレートである第１フレームレートとなるように、画像信号Ｄ[m]が出力されるタイミングが調整される。このため、第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、位相差ＰD3が略同じ時間長となる。
【０１３６】
以下、図２２及び図２３を参照しつつ、撮像垂直走査期間Ｆs1において撮像部１０が出力する撮像信号ＤS1（ＤGS1）と、表示垂直走査期間Ｆd1において画像信号生成部２０が表示部４０に出力する画像信号Ｄ1（ＤGB1）との関係を例にとって、第１の状態について説明する。
【０１３７】
図２３は、撮像信号ＤS1[p]（撮像信号ＤGS1[m]）と、画像信号Ｄ1[m]（画像信号ＤGA1[m]及び画像信号ＤGB1[m]）との関係を説明するためのタイミングチャートである。
なお、図２３と、後述する図２４及び図２５では、簡単のために、撮像信号ＤSの示す画像のライン数が５ライン（Ｐ＝５）であり、画像信号Ｄの示す画像のライン数が４ライン（Ｍ＝４）である場合を想定する。また、図２３乃至図２５に示す例では、撮像信号ＤGS[1]が、撮像信号ＤS[1]及びＤS[2]を含み、撮像信号ＤGS[2]が、撮像信号ＤS[2]及びＤS[3]を含み、撮像信号ＤGS[3]が、撮像信号ＤS[3]及びＤS[4]を含み、撮像信号ＤGS[4]が、撮像信号ＤS[4]及びＤS[5]を含む場合を想定する。すなわち、図２３乃至図２５に示す例では、画像信号Ｄ[1]が、撮像信号ＤS[1]及びＤS[2]に基づいて生成され、画像信号Ｄ[2]が、撮像信号ＤS[2]及びＤS[3]に基づいて生成され、画像信号Ｄ[3]が、撮像信号ＤS[3]及びＤS[4]に基づいて生成され、画像信号Ｄ[4]が、撮像信号ＤS[4]及びＤS[5]に基づいて生成される場合を想定する。また、図２３乃至図２５に示す例では、線Ｌ2及び線Ｌ3のクロスは、１回のみ生じる場合を想定する。
【０１３８】
図２３に示すように、撮像部１０から、撮像信号ＤS1[m]及びＤS1[m+1]が出力される（便宜的に撮像信号ＤGS1[m]の出力が開始される）と、画像処理部２１は、当該撮像信号ＤGS1[m]に基づいて画像信号ＤGA1[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA1[m]の経過後に画像信号ＤGA1[m]の生成を完了し、これをラインバッファ２２に格納する。
一方、図２３に示す例は、上述した第１の状態を例示するものであり、線Ｌ2が線Ｌ3よりも時間的に先行する。つまり、図２３に示す例では、画像処理部２１による画像信号ＤGA1[m]の生成が完了したタイミングでは、表示部４０において画像信号ＤGB1[m]の示す画像を表示する準備ができていない。換言すれば、画像処理部２１による画像信号ＤGA1[m]の生成が完了したタイミングでは、出力制御部３１から出力許可パルスＰL[m]が出力されていない。
このため、画像信号出力部２３は、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈd1[m]まで、待機時間ＵB1[m]だけ画像信号ＤGB1[m]の出力を待ち、その後、水平走査期間Ｈd1[m]において画像信号ＤGB1[m]を出力する。
【０１３９】
また、図２３に例示する第１の状態は、画像処理部２１による画像処理の完了までに表示部４０による表示準備が間に合わない場合である。換言すれば、水平走査期間Ｈd1[m]が開始されるまでに、画像処理部２１による画像信号ＤGA1[m]の生成が完了し、画像信号出力部２３から画像信号ＤGB1[m]を出力可能な状態となっている。このため、図２３に例示する第１の状態では、表示垂直走査期間Ｆd1の垂直有効データ期間ＤＶＩに含まれる全ての水平走査期間Ｈdが、有効水平走査期間Ｈd-Ａとなる。すなわち、第１の状態において、表示垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔdとなる。
【０１４０】
このように、図２３に例示する第１の状態では、画像信号Ｄ1を生成するための画像処理は十分に余裕を持って完了しているものの、表示部４０側の表示準備がボトルネックとなって、表示部４０における表示が遅延する。
このため、撮像部１０が撮像信号ＤS1を出力してから、表示部４０が画像信号Ｄ1の示す画像を表示するまでの遅延時間ΔＴ1は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と、画像処理の完了後に表示部４０における表示準備を待つための時間（待機時間ＵB）との合計時間となる。
【０１４１】
次に、図２２及び図２４を参照しつつ、撮像垂直走査期間Ｆs2において撮像部１０が出力する撮像信号ＤS2（ＤGS2）と、表示垂直走査期間Ｆd2において画像信号生成部２０が表示部４０に出力する画像信号Ｄ2（ＤGB2）との関係を例にとって、第２の状態について説明する。
図２４は、撮像信号ＤS2[p]（撮像信号ＤGS2[m]）と、画像信号Ｄ2[m]（画像信号ＤGA2[m]及び画像信号ＤGB2[m]）との関係を説明するためのタイミングチャートである。
【０１４２】
図２４に示すように、撮像部１０から、撮像信号ＤS2[m]及びＤS2[m+1]からなる撮像信号が出力される（便宜的にＤGS2[m]の出力が開始されると）、画像処理部２１は、当該撮像信号ＤGS2[m]に基づいて画像信号ＤGA2[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA2[m]の経過後に画像信号ＤGA2[m]の生成を完了し、これをラインバッファ２２に格納する。
【０１４３】
なお、図２４に示す例では、画像信号Ｄ2[1]、Ｄ2[2]、及び、Ｄ2[3]が、時刻Ｔth以前に画像信号出力部２３が出力する画像信号Ｄ[m]であり、画像信号Ｄ2[4]が、時刻Ｔth以後に画像信号出力部２３が出力する画像信号Ｄ[m]である場合を想定している。
【０１４４】
時刻Ｔth以前においては、線Ｌ2が線Ｌ3（線Ｌ4）よりも時間的に先行する。つまり、時刻Ｔth以前においては、画像処理部２１による画像信号ＤGA2[m]の生成が完了したタイミングでは、出力制御部３１から出力許可パルスＰL[m]が出力されていない。
このため、画像信号出力部２３は、時刻Ｔth以前においては、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈd2[m]まで、待機時間ＵB2[m]だけ画像信号ＤGB2[m]の出力を待ち、その後、水平走査期間Ｈd2[m]において画像信号ＤGB2[m]を出力する。
図２４に示す例では、画像信号出力部２３は、画像信号ＤGA2[1]が生成された後、待機時間ＵB2[1]だけ画像信号ＤGB2[1]の出力を待ち、その後、水平走査期間Ｈd2[1]において、画像信号ＤGB2[1]を出力する。同様に、画像信号出力部２３は、画像信号ＤGA2[2]が生成された後、待機時間ＵB2[2]だけ画像信号ＤGB2[2]の出力を待ち、その後、水平走査期間Ｈd2[2]において、画像信号ＤGB2[2]を出力する。
【０１４５】
一方、時刻Ｔth以後においては、通常、線Ｌ4が線Ｌ2よりも時間的に先行する。線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号ＤGA2[m]を生成すると、表示部４０は、すぐに（直後の水平走査期間Ｈdにおいて）、当該画像信号ＤGB2[m]の示す画像を表示することができる。よって、線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１による画像信号ＤGA2[m]の生成が完了したタイミングに、出力制御部３１から出力許可パルスＰL[m]が出力される。
図２４に示す例では、画像信号出力部２３は、画像信号ＤGA2[3]が生成され、出力許可パルスＰL[3]が出力された後の最初の水平走査期間Ｈd2[3]において、画像信号ＤGB2[3]を出力する。
また、この図に示す例では、画像信号ＤGA2[4]が生成されるのは、水平走査期間Ｈd2[4]の開始後である。このため、画像信号出力部２３は、画像信号ＤGA2[4]が生成され、出力許可パルスＰL[4]が出力された後の最初の水平走査期間Ｈd2[5]において、画像信号ＤGB2[4]を出力する。そして、タイミングジェネレーター３２は、水平走査期間Ｈd2[4]を無効水平走査期間Ｈd-Ｄとする。
【０１４６】
このように、図２４に例示する第２の状態では、時刻Ｔth以降において、画像処理に起因する表示の遅延が生じるため、表示垂直走査期間Ｆd2の垂直有効データ期間ＤＶＩには、無効水平走査期間Ｈd-Ｄが挿入される。つまり、第２の状態において、表示垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔd及び延長垂直走査時間Ｔexの合計となる。
また、撮像部１０が撮像信号ＤS2を出力してから、表示部４０が画像信号Ｄ2の示す画像を表示するまでの遅延時間ΔＴ2は、時刻Ｔth以前は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と、表示部４０における表示準備を待つための時間（待機時間ＵB）との合計時間であるが、時刻Ｔth以後において、線Ｌ4が線Ｌ2よりも時間的に先行する場合には、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）のみとなる。このため、第２の状態に係る遅延時間ΔＴ2は、第１の状態に係る遅延時間ΔＴ1よりも短くなる。
【０１４７】
次に、図２２及び図２５を参照しつつ、撮像垂直走査期間Ｆs3において撮像部１０が出力する撮像信号ＤS3（ＤGS3）と、表示垂直走査期間Ｆd3において画像信号生成部２０が表示部４０に出力する画像信号Ｄ3（ＤGB3）との関係を例にとって、第３の状態について説明する。
図２５は、撮像信号ＤS3[p]（撮像信号ＤGS3[m]）と、画像信号Ｄ3[m]（画像信号ＤGA3[m]及び画像信号ＤGB3[m]）との関係を説明するためのタイミングチャートである。
【０１４８】
図２５に示すように、撮像部１０から、撮像信号ＤS3[m]及びＤS3[m+1]からなる撮像信号が出力される（便宜的にＤGS3[m]の出力が開始される）と、画像処理部２１は、当該撮像信号ＤGS3[m]に基づいて画像信号ＤGA3[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA3[m]の経過後に画像信号ＤGA3[m]の生成を完了し、これをラインバッファ２２に格納する。
【０１４９】
第３の状態においては、通常、線Ｌ4が線Ｌ2よりも時間的に先行する。線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号ＤGA3[m]を生成すると、表示部４０は、すぐに（直後の水平走査期間Ｈdにおいて）、当該画像信号ＤGB3[m]の示す画像を表示することができる。よって、この場合、画像処理部２１による画像信号ＤGA3[m]の生成が完了したタイミングに、出力制御部３１から出力許可パルスＰL[m]が出力される。
具体的には、図２５に示す例では、画像信号出力部２３は、画像信号ＤGA3[1]が生成され、出力許可パルスＰL[1]が出力された後の最初の水平走査期間Ｈd3[3]において、画像信号ＤGB3[1]を出力し、画像信号ＤGA3[2]が生成され、出力許可パルスＰL[2]が出力された後の最初の水平走査期間Ｈd3[5]において、画像信号ＤGB3[2]を出力し、画像信号ＤGA3[3]が生成され、出力許可パルスＰL[3]が出力された後の最初の水平走査期間Ｈd3[7]において、画像信号ＤGB3[3]を出力し、画像信号ＤGA3[4]が生成され、出力許可パルスＰL[4]が出力された後の最初の水平走査期間Ｈd3[9]において、画像信号ＤGB3[4]を出力する。なお、この場合、タイミングジェネレーター３２は、表示垂直走査期間Ｆd1の垂直有効データ期間ＤＶＩが開始されているが、出力許可パルスＰL[1]が出力されていないため、水平走査期間Ｈd3[1]、Ｈd3[2]では、無効水平走査期間Ｈd-Ｄを出力し、同様に、Ｈd3[4]、Ｈd3[6]、及び、Ｈd3[8]では、無効水平走査期間Ｈd-Ｄを出力する処理を行う。
【０１５０】
このように、図２５に例示する第３の状態では、画像処理に起因する表示の遅延が生じているため、表示垂直走査期間Ｆd3の垂直有効データ期間ＤＶＩには、無効水平走査期間Ｈd-Ｄが挿入される。この結果、第３の状態では、表示部４０が、撮像垂直走査期間Ｆsに出力される撮像信号ＤSに同期した表示を行うことができるように、表示垂直走査期間Ｆdの時間長が水平走査期間Ｈdの精度で調整される。つまり、第３の状態では、概略的に見れば、表示垂直走査期間Ｆdは、撮像垂直走査期間Ｆsと略同じ時間となるように調整される。
【０１５１】
また、第３の状態では、線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号Ｄ[m]を生成した後の最初の水平走査期間Ｈdにおいて、表示部４０が画像信号Ｄ[m]の示す画像を表示する。このため、撮像部１０が撮像信号ＤS3を出力してから、表示部４０が画像信号Ｄ3の示す画像を表示するまでの遅延時間ΔＴ3は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と略同じになる。具体的には、第３の状態では、撮像部１０が撮像信号ＤS[p]の出力を開始してから表示部４０が画像信号Ｄ[m]の示す画像の表示を開始するまでの遅延時間ΔＴ3と、画像処理部２１が画像信号Ｄ[m]の生成に要する画像処理時間ＵAと、を水平走査期間Ｈdの精度で等しくする。
このため、第３の状態では、撮像部１０による撮像から表示部４０による表示までの遅延を、水平走査期間Ｈdの精度で最小化することができる。この場合、遅延時間ΔＴ3は、第１の状態に係る遅延時間ΔＴ1よりも短くなり、且つ、第２の状態に係る遅延時間ΔＴ2以下となる。
【０１５２】
また、上述のとおり、表示部４０で１つの画面を表示するために必要な時間（周期）は、撮像部１０で１つの画面を撮像するために必要な時間（周期）よりも短い。このため、車両用撮像表示システム１が第１の状態で動作して、表示部４０側における表示準備がボトルネックとなる表示の遅延が生じている場合であっても、撮像垂直走査期間Ｆs毎に当該表示の遅延は徐々に縮小する。
つまり、車両用撮像表示システム１は、当初、第１の状態で動作する場合であっても、最終的には第３の状態での動作に移行し、第３の状態での動作が開始された後は、第３の状態での動作を維持することができる。この結果、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させることができる。
このため、車両用撮像表示システム１が動作を開始すると、動作を開始した直後を除き、撮像部１０による撮像から表示部４０での画像表示までの遅延時間を最小化した状態を維持することができる。
【０１５３】
＜４．第１実施形態の効果＞
本実施形態に係る車両用撮像表示システム１では、第１条件及び第２条件が充足された場合に画像信号出力部２３から画像信号Ｄ[m]を出力し、第１条件または第２条件が充足されない場合には、無効水平走査期間Ｈd-Ｄを挿入することで、画像信号出力部２３からの画像信号Ｄ[m]の出力タイミングを水平走査期間Ｈdの精度で調整する。すなわち、本実施形態に係る車両用撮像表示システム１では、画像処理部２１が画像信号Ｄ[m]を生成した後の最初の水平走査期間Ｈdにおいて、表示部４０が画像信号Ｄ[m]の示す画像を表示することができる。これにより、撮像部１０による撮像から表示部４０による表示までの遅延を、水平走査期間Ｈdの精度で最小化することができる。よって、撮像から表示までの遅延時間を短縮することにより、車両の安全な運転に有用な車両外部の画像を表示させることが可能となる。
また、本実施形態に係る車両用撮像表示システム１では、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入することで、表示垂直走査期間Ｆdの時間長を可変とするとともに、撮像垂直走査期間Ｆsの時間長と略同じとなる状態を維持することができる。このため、表示のちらつき等を抑えた、高品位な表示を実現できる。また、位相差が所定時間よりも大きい場合において、位相差が所定時間以下となるまでは、位相差を段階的に短くすることができ、位相差が所定時間以下に収束した後は当該位相差を維持するため、運転者が予測不可能な遅れが生ずる可能性が低減される。
また、本実施形態によれば、例えば、画像処理の手法の変更等に伴う画像処理時間の変更がある場合や、ライン毎に画像処理時間ＵAが変動する場合、撮像部１０をフレームレートが異なるものに交換する場合、または、表示部４０をフレームレートが異なるものに交換する場合等、撮像部１０及び表示部４０の位相差、撮像部１０のフレームレート、並びに、表示部４０で表示可能な最高のフレームレートのうち、一部または全部が変化する場合であっても、位相差ＰDを画像処理時間ＵA以下の長さに自動的に収束させることが可能となる。
＜Ｂ．第２実施形態＞
【０１５４】
上述した第１実施形態では、図２０に示すように、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入することにより、画像信号Ｄ[m]の出力タイミングを、水平走査期間Ｈdの精度で調整し、水平走査期間Ｈdの時間長は固定長としていた。
これに対して、第２実施形態に係る車両用撮像表示システムでは、水平走査期間Ｈdの時間長を可変長として、画像信号Ｄ[m]の出力タイミングを、例えば表示ドットクロック信号ＤCLKの周期で調整する点において、第１実施形態に係る車両用撮像表示システム１と相違する。
以下、図２６乃至図２８を参照しつつ、第２実施形態に係る車両用撮像表示システムについて説明する。なお、以下に例示する第２実施形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する（以下で説明する変形例についても同様）。
【０１５５】
図２６は、第２実施形態に係る車両用撮像表示システムが備えるタイミング制御部３０（出力制御部３１及びタイミングジェネレーター３２）が生成する、出力制御信号ＣTRと、イネーブル信号ＤＥnbと、表示水平同期信号ＤＨsync2との関係を説明するための説明図である。
第２実施形態に係る車両用撮像表示システムが備えるタイミング制御部３０は、タイミングジェネレーター３２が、表示水平同期信号ＤＨsyncの代わりに、可変な周期の水平同期パルスＰlsＨを有する表示水平同期信号ＤＨsync2を生成し、表示垂直同期信号ＤＶsyncの変わりに、可変な周期の垂直同期パルスＰlsＶを有する表示垂直同期信号ＤＶsync2を生成する点を除き、第１実施形態に係る車両用撮像表示システム１（図２０参照）と同様に構成されている。
【０１５６】
図２６に示すように、第２実施形態に係る出力制御部３１は、第１実施形態と同様に、画像処理判定時刻ＴA[m]及び表示準備判定時刻ＴB[m]のうち遅い方の時刻（この図では、上述した第２の態様を採用しているため、画像処理判定時刻ＴA[m]）において、出力制御信号ＣTRに出力許可パルスＰL[m]を設定する。
また、図２６に示すように、第２実施形態に係るタイミングジェネレーター３２は、出力制御部３１が出力する出力制御信号ＣTRに出力許可パルスＰL[m]が設定されたタイミングから、固定の時間長である基準フロントポーチ時間ＴPの経過後に、表示水平同期信号ＤＨsync2として水平同期パルスＰlsＨを出力する。
【０１５７】
このため、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]の生成が完了し、画像信号生成時刻ＴC[m]が経過している場合（Ｃase-1）には、水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPとなる。
一方、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]の生成が完了していない場合、すなわち、表示準備判定時刻ＴB[m]よりも後に画像信号生成時刻ＴC[m]が到来する場合（Ｃase-2）には、水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、表示準備判定時刻ＴB[m]から画像信号生成時刻ＴC[m]（画像処理判定時刻ＴA[m]）までの時間長である延長フロントポーチ時間ＴPXとの合計となる。
【０１５８】
このように、第２実施形態に係るタイミングジェネレーター３２は、出力制御部３１が、画像信号Ｄ[m]の出力準備が完了したと判定し、出力制御信号ＣTRとして出力許可パルスＰL[m]を出力するのを待ち、出力許可パルスＰL[m]が出力されてから基準フロントポーチ時間ＴPだけ後に、水平走査期間Ｈd[m]を開始させる。換言すれば、第２実施形態に係るタイミングジェネレーター３２は、画像信号Ｄ[m]の出力準備が完了するまで、水平フロントポーチ期間ＤＨfを延長する。
このため、画像信号出力部２３は、たとえ画像処理部２１における画像信号Ｄ[m]の画像処理が遅延した場合であっても、水平走査期間Ｈd[m]において画像信号Ｄ[m]を出力することが可能となる。この場合、撮像部１０が撮像信号ＤGS[m]を出力してから、表示部４０が画像信号Ｄ[m]に基づく画像を表示するまでの遅延時間は、表示ドットクロック信号ＤCLKの精度で最小化されることになる。
【０１５９】
図２７は、表示部４０における表示準備がボトルネックとなる表示の遅延が解消されるに至る状態（すなわち、図２４で説明した第２の状態）における、第２実施形態に係る車両用撮像表示システムの動作を説明するためのタイミングチャートである。また、図２８は、画像処理部２１の画像処理がボトルネックとなって表示に遅延が生じている状態（すなわち、図２５で説明した第３の状態）における、第２実施形態に係る車両用撮像表示システムの動作を説明するためのタイミングチャートである。なお、図２７及び図２８では、図２２乃至図２５で説明した符号を流用する。
【０１６０】
図２７では、例えば、水平走査期間Ｈd2[2]におけるイネーブル信号ＤＥnbの立下りのタイミングまでに、画像信号ＤGA2[3]が生成される。このため、水平走査期間Ｈd2[2]におけるイネーブル信号ＤＥnbの立下りのタイミングにおいて、出力許可パルスＰL[3]が出力される。この場合、水平走査期間Ｈd2[2]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPとなる。
一方、この図に示す例では、画像信号ＤGA2[4]が生成されるタイミングは、水平走査期間Ｈd2[3]におけるイネーブル信号ＤＥnbの立下りのタイミングよりも後である。このため、画像信号ＤGA2[4]が生成されるタイミングにおいて、出力許可パルスＰL[4]が出力される。この場合、水平走査期間Ｈd2[3]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、延長フロントポーチ時間ＴPX（水平走査期間Ｈd2[3]におけるイネーブル信号ＤＥnbの立下りのタイミングから、出力許可パルスＰL[4]が出力されまでの時間）との、合計の時間長となる。すなわち、表示部４０における表示準備がボトルネックとなる表示の遅延が解消される時刻Ｔth以降は、画像処理の状況に応じて水平走査期間Ｈdが延長されることになる。
【０１６１】
また、図２８では、画像信号ＤGA3[m]が生成されるタイミングは、水平走査期間Ｈd3[m-1]におけるイネーブル信号ＤＥnbの立下りのタイミングよりも後である。このため、画像信号ＤGA3[m]が生成されるタイミングにおいて、出力許可パルスＰL[m]が出力される。この場合、水平走査期間Ｈd3[m]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、延長フロントポーチ時間ＴPX（水平走査期間Ｈd3[m]におけるイネーブル信号ＤＥnbの立下りのタイミングから、出力許可パルスＰL[m]が出力されまでの時間）との、合計の時間長となる。すなわち、画像処理部２１の画像処理がボトルネックとなって表示に遅延が生じている状態（第３の状態）においては、画像処理の状況に応じて水平走査期間Ｈdが延長されることになる。
【０１６２】
なお、図２７及び図２８からも明らかなように、第２実施形態においては、無効水平走査期間Ｈd-Ｄは存在せず、全ての水平走査期間Ｈdは有効水平走査期間Ｈd-Ａとなる。
また、第２実施形態では、水平走査期間Ｈdが例えば表示ドットクロック信号ＤCLKの単位で可変となるため、表示垂直走査期間Ｆdも可変の時間長を有することとなる。
【０１６３】
＜Ｃ．変形例＞  
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下において説明する変形例では、説明の重複を避けるため、上述した本発明の実施形態との共通点については説明を省略する。
【０１６４】
＜変形例１＞
上述した実施形態では、各表示部４０としてＨＵＤを例示したが、本発明はこのような態様に限定されるものではなく、背面投射型のプロジェクター、液晶表示装置、ＯＬＥＤ（organic light emitting diode）表示装置、プラズマ表示装置であってもよい。
【０１６５】
＜変形例２＞
上述した実施形態及び変形例では、画像処理回路１００と表示部４０との間のデータ伝送をパラレルインタフェースによって行うが、低電圧差動（ＬＶＤＳ）のシリアルインターフェースやEthernet（登録商標）のリアルインターフェース等によって行うようにしてもよい。
【０１６６】
＜変形例３＞
上述した実施形態及び変形例では、撮像垂直同期信号ＳＶsyncにより規定される撮像垂直走査期間Ｆsが、表示垂直同期信号ＤＶsync（またはＤＶsync2）により規定される表示垂直走査期間Ｆd以上の時間長を有しているが、本発明はこのような態様に限定されるものではなく、撮像垂直走査期間Ｆsは、表示垂直走査期間Ｆdよりも短い時間長を有していてもよい。
【０１６７】
＜変形例４＞
上述した実施形態及び変形例では、出力制御部３１は、画像処理部２１が出力する書込完了信号ＰtAと、画像信号出力部２３が出力する出力完了信号ＰtBと、に基づいて、画像信号Ｄ[m]を出力する準備が完了したか否かを判定するが、本発明はこのような態様に限定されるものではなく、出力制御部３１がラインバッファ２２を周期的に参照することで、ラインバッファ２２に画像信号Ｄ[m]が記録されていること、及び、ラインバッファ２２から画像信号Ｄ[m-1]が読み出されたことを判定することにより、画像信号Ｄ[m]を出力する準備が完了したか否かを判定してもよい。
【０１６８】
＜変形例５＞
上述した実施形態及び変形例では、ライン毎に画像処理時間ＵA[m]が変動する場合を例示して説明したが、本発明はこのような態様に限定されるものではなく、画像処理時間ＵA[m]はライン間で同一であってもよい。
【０１６９】
＜変形例６＞
上述した実施形態では、画像処理部２１において、左右方向について車体に近い領域を車体に遠い領域と比較して相対的に拡大する処理（第１処理）と、上下方向について中央の領域を上又は下の領域と比較して相対的に拡大する処理（第２処理）との両方を実行する態様について説明したが、そのいずれか一方を実行してもよい。
また、左右方向について車体に近い領域を車体から遠い領域と比較して相対的に拡大する処理（第１処理）は、車体から遠い領域を縮小する処理又は車体に近い領域を拡大する処理の少なくともいずれかによって実現可能な処理である。すなわち、車体に近い領域を拡大した場合には車体から遠い領域を縮小する処理は必須ではなく、車体から遠い領域を縮小した場合には車体に近い領域を拡大する処理は必須ではない。同様に、上下方向について中央の領域を上又は下の領域と比較して相対的に拡大する処理（第２処理）は、中央の領域を拡大する処理、上の領域を縮小する処理、又は下の領域を縮小する処理のいずれかによって実現可能な処理である。すなわち、中央の領域を拡大した場合には上又は下の領域を拡大する処理は必須ではなく、上又は下の領域を縮小した場合には中央の領域を拡大する処理は必須ではない。
なお、拡大・縮小処理において、各領域ＬR1〜ＬR6（図１２）や各領域ＢR1〜ＢR9（図１９）間の比率、区分する領域の個数、さらには、その拡大率や縮小率は適宜変更され得る。
【０１７０】
＜変形例７＞
上述した実施形態では、トリミング処理の後に鏡像生成処理を実行し、その後に水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を実行するが、これに限られず、その実行順は適宜変更され得る。また、上述した実施形態では、トリミング処理においてトリミングしたトリミング領域Ｔareaの画像を表示領域ＡDの大きさに合わせていったん拡大した後に、鏡像生成処理、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を実行するが、トリミングした画像の拡大処理を行うことなく、鏡像生成処理を実行し、その後、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理において、表示領域ＡDの大きさに合わせるための拡大処理を実行するようにしてもよい。このように構成することにより、画像処理時間を短縮することが可能となる。
【０１７１】
＜変形例８＞
上述した実施形態では、図３Ａ、図３Ｂ、及び、図３Ｃにおいて、左側後方領域ＬRを示す画像が視認される領域、後方領域ＢRを示す画像が視認される領域、右側後方領域ＲRを示す画像が視認される領域の例を示したが、これらの領域は本発明の趣旨を損なわない範囲で適宜変更され得る。
【０１７２】
＜変形例９＞
夜間の運転においては、サイドミラーやバックミラーに映る像の明度が不十分であるため運転者は危険を察知できない場合がある。そこで、上述した実施形態で説明した画像生成処理に加えて、画像処理部２１が撮像信号ＤSに基づく画像の明度を補正する処理を実行するようにしてもよい。撮像信号ＤSに基づく画像の明度を上げる補正を実行することで、暗い場所で撮像した画像であっても、車両の安全な運転により有用な車両外部の画像を表示することが可能となる。
【符号の説明】
【０１７３】
１……車両用撮像表示システム、１０−１……左側後方領域撮像部、１０−２……中央後方領域撮像部、１０−３……右側後方領域撮像部、１１……撮像光学系、１２……イメージセンサー、１３……タイミングジェネレーター、２０……画像信号生成部、２１……画像処理部、２１８……トリミング処理部、２１９……リサイズ処理部、２２０……鏡像生成部、２２１……水平方向縮小・拡大処理部、２２２……垂直方向縮小・拡大処理部、２２……ラインバッファ、２３……画像信号出力部、３０……タイミング制御部、３１……出力制御部、３２……タイミングジェネレーター、３３……パラメーター送信部、４０−１……左側表示部、４０−２……中央表示部、４０−３……右側表示部、４１……コントローラー、４２……液晶パネル、５０……制御部、６０……操作部、１００−１，１００−２，１００−３……画像処理回路。
【図１】
0006582642.tif 000002
【図２】
0006582642.tif 000003
【図３Ａ】
0006582642.tif 000004
【図３Ｂ】
0006582642.tif 000005
【図３Ｃ】
0006582642.tif 000006
【図４】
0006582642.tif 000007
【図５】
0006582642.tif 000008
【図６】
0006582642.tif 000009
【図７】
0006582642.tif 000010
【図８】
0006582642.tif 000011
【図９】
0006582642.tif 000012
【図１０】
0006582642.tif 000013
【図１１Ａ】
0006582642.tif 000014
【図１１Ｂ】
0006582642.tif 000015
【図１１Ｃ】
0006582642.tif 000016
【図１２Ａ】
0006582642.tif 000017
【図１２Ｂ】
0006582642.tif 000018
【図１２Ｃ】
0006582642.tif 000019
【図１２Ｄ】
0006582642.tif 000020
【図１２Ｅ】
0006582642.tif 000021
【図１２Ｆ】
0006582642.tif 000022
【図１２Ｇ】
0006582642.tif 000023
【図１２Ｈ】
0006582642.tif 000024
【図１２Ｉ】
0006582642.tif 000025
【図１２Ｊ】
0006582642.tif 000026
【図１３】
0006582642.tif 000027
【図１４Ａ】
0006582642.tif 000028
【図１４Ｂ】
0006582642.tif 000029
【図１４Ｃ】
0006582642.tif 000030
【図１４Ｄ】
0006582642.tif 000031
【図１５】
0006582642.tif 000032
【図１６】
0006582642.tif 000033
【図１７】
0006582642.tif 000034
【図１８Ａ】
0006582642.tif 000035
【図１８Ｂ】
0006582642.tif 000036
【図１８Ｃ】
0006582642.tif 000037
【図１８Ｄ】
0006582642.tif 000038
【図１９】
0006582642.tif 000039
【図２０】
0006582642.tif 000040
【図２１Ａ】
0006582642.tif 000041
【図２１Ｂ】
0006582642.tif 000042
【図２２】
0006582642.tif 000043
【図２３】
0006582642.tif 000044
【図２４】
0006582642.tif 000045
【図２５】
0006582642.tif 000046
【図２６】
0006582642.tif 000047
【図２７】
0006582642.tif 000048
【図２８】
0006582642.tif 000049