(57)【要約】【課題】フレーム遅れをより低減し、撮像装置の撮像素子が有する色認識のポテンシャルをより発揮することができる表示システム等を提供する。【解決手段】表示システムの処理装置は、撮像素子により撮像されるフレーム画像の一部分に対応する所定数のライン画像に対して画像処理を施して当該所定数のライン画像単位で表示装置に画像を逐次出力して表示装置にフレーム画像を表示させる画像処理部と、１フレーム分のフレーム画像が完成するまで所定数のライン画像を記憶する記憶部とを備え、画像処理部は、画像処理として、表示装置に出力される所定数のライン画像に対して１フレーム分のフレーム画像を用いたフレーム単位処理を施す。【選択図】図１０
2018022932.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像素子を有する撮像装置と、前記画像を表示する表示装置と、前記画像に対する画像処理を行う処理装置とを有する表示システムであって、
前記処理装置は、
前記撮像素子により撮像されるフレーム画像の一部分に対応する所定数のライン画像に対して画像処理を施して当該所定数のライン画像単位で前記表示装置に画像を逐次出力して前記表示装置にフレーム画像を表示させる画像処理部と、
１フレーム分のフレーム画像が完成するまで前記所定数のライン画像を記憶する記憶部とを備え、
前記画像処理部は、前記画像処理として、前記表示装置に出力される前記所定数のライン画像に対して前記１フレーム分のフレーム画像を用いたフレーム単位処理を施す
表示システム。
【請求項２】
前記画像処理部は、前記所定数のライン画像に対して当該ライン画像によって構成されるフレーム画像よりも１フレーム以上前のフレーム画像を用いた前記フレーム単位処理を行う
請求項１に記載の表示システム。
【請求項３】
前記画像処理部は、前記画像処理として、前記表示装置に出力される前記所定数のライン画像に対して当該所定数のライン画像を用いたライン単位処理を施す
請求項１又は２に記載の表示システム。
【請求項４】
前記ライン単位処理は、階調補正処理及び色補正処理のうち一つ以上の処理を含む
請求項３に記載の表示システム。
【請求項５】
前記フレーム単位処理は、画像の歪み補正処理、自動露出及びオートホワイトバランスのうち一つ以上の処理を含む
請求項１に記載の表示システム。
【請求項６】
前記撮像装置と前記処理装置との間及び前記処理装置と前記表示装置との間の少なくともいずれか一方で行われるデータ伝送に用いられる接続部を備える
請求項１に記載の表示システム。
【請求項７】
前記接続部は、前記撮像装置と前記処理装置との間に設けられ、ベイヤー変換処理前のライン画像のデータを伝送し、
前記処理装置は、前記ベイヤー変換処理前のライン画像に画素補完処理を施す
請求項６に記載の表示システム。
【請求項８】
前記撮像装置及び前記表示装置は、自動車に設けられ、
前記撮像装置は、車外を撮像する
請求項６又は７に記載の表示システム。
【請求項９】
前記表示装置は複数設けられ、複数の前記表示装置のうちいずれかが故障した場合、故障していない他の前記表示装置が故障した前記表示装置の表示出力を代替する
請求項８に記載の表示システム。
【請求項１０】
前記撮像装置は複数設けられ、
前記画像処理部は、複数の前記撮像装置の各々により撮像された画像を合成する
請求項８又は９に記載の表示システム。
【請求項１１】
撮像素子により撮像されるフレーム画像の一部分に対応する所定数のライン画像に対して画像処理を施して当該所定数のライン画像単位で表示部に画像を逐次出力して前記表示部にフレーム画像を表示させる画像処理部と、
１フレーム分のフレーム画像が完成するまで前記所定数のライン画像を記憶する記憶部とを備え、
前記画像処理部は、前記画像処理として、前記表示部に出力される前記所定数のライン画像に対して前記１フレーム分のフレーム画像を用いたフレーム単位処理を施す
表示装置。
【請求項１２】
画像を撮像する撮像素子を有する撮像装置と、前記画像を表示する表示装置と、前記画像に対する画像処理を行う処理装置とを有し、前記撮像装置、前記表示装置及び前記処理装置が自動車に設けられ、前記処理装置が前記撮像装置又は前記表示装置のいずれかに近接配置される表示システムであって、
前記処理装置は、
前記撮像素子により撮像されるフレーム画像の一部分に対応する所定数のライン画像に対して画像処理を施して当該所定数のライン画像単位で前記表示装置に画像を逐次出力して前記表示装置にフレーム画像を表示させる画像処理部を備える表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム及び表示装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により撮像した画像を表示装置に伝送して表示するシステムが知られている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００８／１１１２５７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のシステムは、撮像装置で撮像した画像データを表示装置に伝送する前に、当該画像データをｓＲＧＢ色空間に限定されたフォーマットの画像データにするエンコード処理を行っていた。このため、従来のシステムでは当該エンコード処理及び表示装置におけるデコード処理等のための処理時間が生じる。係る処理時間は、撮像された画像が表示されるまでの遅れ（フレーム遅れ）を大きくする。また、エンコード処理後の出力はフレーム画像単位での出力であるため、撮像装置からの出力の時点で最低１フレーム分のフレーム遅れが生じることが避けられなかった。また、表示装置で画像処理を行う場合、デコード処理の処理時間に加えて、画像処理前の逆ガンマ変換及び画像処理後のガンマ変換のための処理時間がさらに発生するため、フレーム遅れがより大きくなる。また、従来のシステムでは、撮像装置から出力される画像の色空間がｓＲＧＢ色空間に限定されるため、撮像装置の撮像素子が有する色認識のポテンシャルを十分に発揮することができない。
【０００５】
本発明は、上記の課題に鑑みてなされたもので、フレーム遅れをより低減することができる表示システム及び表示装置を提供することを目的とする。又は、撮像装置の撮像素子が有する色認識のポテンシャルをより発揮することができる表示システム及び表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様は、画像を撮像する撮像素子を有する撮像装置と、前記画像を表示する表示装置と、前記画像に対する画像処理を行う処理装置とを有する表示システムであって、前記処理装置は、前記撮像素子により撮像されるフレーム画像の一部分に対応する所定数のライン画像に対して画像処理を施して当該所定数のライン画像単位で前記表示装置に画像を逐次出力して前記表示装置にフレーム画像を表示させる画像処理部と、１フレーム分のフレーム画像が完成するまで前記所定数のライン画像を記憶する記憶部とを備え、前記画像処理部は、前記画像処理として、前記表示装置に出力される前記所定数のライン画像に対して前記１フレーム分のフレーム画像を用いたフレーム単位処理を施すことを特徴としたものである。
【０００７】
また、本発明の一態様である表示装置は、撮像素子により撮像されるフレーム画像の一部分に対応する所定数のライン画像に対して画像処理を施して当該所定数のライン画像単位で表示部に画像を逐次出力して前記表示部にフレーム画像を表示させる画像処理部と、１フレーム分のフレーム画像が完成するまで前記所定数のライン画像を記憶する記憶部とを備え、前記画像処理部は、前記画像処理として、前記表示部に出力される前記所定数のライン画像に対して前記１フレーム分のフレーム画像を用いたフレーム単位処理を施すことを特徴としたものである。
【０００８】
また、本発明の一態様は、画像を撮像する撮像素子を有する撮像装置と、前記画像を表示する表示装置と、前記画像に対する画像処理を行う処理装置とを有し、前記撮像装置、前記表示装置及び前記処理装置が自動車に設けられ、前記処理装置が前記撮像装置又は前記表示装置のいずれかに近接配置される表示システムであって、前記処理装置は、前記撮像素子により撮像されるフレーム画像の一部分に対応する所定数のライン画像に対して画像処理を施して当該所定数のライン画像単位で前記表示装置に画像を逐次出力して前記表示装置にフレーム画像を表示させる画像処理部を備えることを特徴としたものである。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明の実施形態１による表示システムの主要構成を示す図である。
【図２】図２は、ルームミラーユニット及びサイドミラーユニットが有する撮像装置の配置例を示す図である。
【図３】図３は、サイドミラーユニットが有する表示装置の配置例を示す図である。
【図４】図４は、表示装置の構成の一例を示すブロック図である。
【図５】図５は、実施形態１に係る画像表示パネルの画素配列を示す図である。
【図６】図６は、実施形態１に係る表示装置の画像表示パネル及び画像表示パネル駆動回路の概念図である。
【図７】図７は、実施形態１に係る画像表示パネルの画素配列の他の例を示す図である。
【図８】図８は、ルームミラーユニットの構成例を示す図である。
【図９】図９は、画素補完処理の処理内容を示す模式図である。
【図１０】図１０は、同期信号とルームミラーユニットの各部の動作との関係を示すタイミングチャートである。
【図１１】図１１は、従来のエンコード処理及びデコード処理を伴うデータ伝送の仕組みを示す模式図である。
【図１２】図１２は、実施形態１の表示システムにおけるデータ伝送の仕組みを示す模式図である。
【図１３】図１３は、走行中の自動車と遅延との関係の一例を示す模式図である。
【図１４】図１４は、実施形態２におけるルームミラーユニットの構成を示す図である。
【図１５】図１５は、ルームミラーユニットの構成の一変形例を示す図である。
【図１６】図１６は、図１５に示す変形例に対応するタイミングチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明の各実施形態について、図面を参照しつつ説明する。なお、開示はあくまで一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。
【００１１】
（実施形態１）
図１は、本発明の実施形態１による表示システム１の主要構成を示す図である。図１に示すように、表示システム１は、ルームミラーユニット２、二つのサイドミラーユニット３Ａ，３Ｂ及びＣＩＤ（Center  Information  Display）ユニット４を備える。表示システム１は、車載の表示システムであり、自動車に設けられる。
【００１２】
ルームミラーユニット２（及びサイドミラーユニット３Ａ，３Ｂ）は、画像を撮像する撮像素子７２（図８参照）を有する撮像装置５、画像を表示する表示装置２０（又は表示装置２０Ａ，２０Ｂ）、画像に対する画像処理を行う処理装置１０（又は処理装置１０Ａ，１０Ｂ）等を有する。ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂは、それぞれが一つの処理単位（表示システム）として機能しうる。すなわち、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂは、それぞれが有する表示装置２０，２０Ａ，２０Ｂに表示される画像の画像処理を、それぞれが有する処理装置１０，１０Ａ，１０Ｂにより行う。
【００１３】
図２は、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂが有する撮像装置５Ａ，５Ｂ，５Ｃの配置例を示す図である。図２では、撮像装置５Ａ，５Ｂ，５Ｃの画角を破線で示している。実施形態１のルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂは、撮像装置５を共有する。具体的には、例えば図２に示すように、実施形態１の表示システム１は、三つの撮像装置５Ａ，５Ｂ，５Ｃを有する。三つの撮像装置５Ａ，５Ｂ，５Ｃは、自動車の車体ＢＯの後方及び側方に配置される。三つの撮像装置５Ａ，５Ｂ，５Ｃの撮像素子７２はレンズ７１（図８参照）を介して外部に露出しており、画角が車外に向けられている。すなわち、三つの撮像装置５Ａ，５Ｂ，５Ｃは、車外の状況を確認可能な画像を撮像する。より具体的には、側方に設けられる撮像装置５Ｂ，５Ｃと後方に設けられる撮像装置５Ａの画角とは、画角が一部重複するように設けられている。これにより、側方の撮像装置５Ｂ，５Ｃの画角のうち、自動車の前方側の画角ＡＶ１，ＡＶ２よりも後方の状況を三つの撮像装置５Ａ，５Ｂ，５Ｃの撮像範囲内に収めることができる。実施形態１では、例えばルームミラーユニット２が後方の撮像装置５Ａにより撮像された画像を表示し、サイドミラーユニット３Ａ，３Ｂが後方の撮像装置５Ａと側方の撮像装置５Ｂ，５Ｃのうち一つにより撮像された画像を合成した画像を表示するが、これは一例であってこれに限られるものでない。例えば、ルームミラーユニット２は、三つの撮像装置５Ａ，５Ｂ，５Ｃからの画像を合成した画像を表示するようにしてもよい。撮像装置５Ａ，５Ｂ，５Ｃを特に区別する必要がない場合、撮像装置５と記載する。
【００１４】
図３は、サイドミラーユニット３Ａが有する表示装置２０Ａの配置例を示す図である。サイドミラーユニット３Ａが有する表示装置２０Ａは、四輪自動車の車内であって運転席の側方に配置される。具体的には、サイドミラーユニット３Ａが有する表示装置２０Ａは、例えば図３に示すように、フロントガラスＦＧとサイドガラスＳＧとの間に存するＡピラーＡＰの付け根付近に設けられる。サイドミラーユニット３Ｂが有する表示装置２０Ｂは、ハンドルＨＮ等が運転席に対してサイドミラーユニット３Ａが有する表示装置２０Ａと左右逆の位置に設けられる。サイドミラーユニット３Ａ，３Ｂが有する表示装置２０Ａ，２０Ｂは、車外の状況のうち主に車体ＢＯの側方の状況を示す画像を表示する。すなわち、サイドミラーユニット３Ａ，３Ｂは、従来ドアミラー又はフェンダーミラーにより確認されていた車外側方の状況確認に利用することができる。ルームミラーユニット２が有する表示装置２０は、例えば従来の自動車においてバックミラーが設けられていた位置に、バックミラーを代替するよう配置される。すなわち、ルームミラーユニット２は、従来バックミラーにより確認されていた車外後方の状況確認に利用することができる。
【００１５】
ＣＩＤユニット４は、例えば中央処理部１４、表示部２４等を有する。ＣＩＤユニット４の表示部２４は、例えばダッシュボードに設けられて、カーナビゲーションシステムにおける道案内情報等を表示するための表示装置として機能する。ＣＩＤユニット４の表示部２４は、スピードメータ、タコメータ、燃料計、水温計、距離計等の計器類と同様の情報を出力する表示装置として設けられてもよい。中央処理部１４は、ＣＩＤユニット４の表示部２４による表示出力に係る各種の処理を行う。
【００１６】
実施形態１のＣＩＤユニット４は、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとデータ伝送可能に接続される。具体的には、ＣＩＤユニット４とルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとは例えばＨＤＭＩ（登録商標、High-Definition  Multimedia  Interface）等のインタフェースを介して接続されるが、係る接続形態は、ＣＩＤユニット４とルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとの接続の具体的形態の一例であってこれに限られるものでなく、適宜変更可能である。ＣＩＤユニット４の表示部２４は、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂの各々が有する表示装置２０，２０Ａ，２０Ｂのうちいずれかが故障した場合、故障した表示装置の表示出力を代替する。
【００１７】
図４は、表示装置２０の構成の一例を示すブロック図である。図５は、実施形態１に係る画像表示パネルの画素配列を示す図である。図６は、実施形態１に係る表示装置２０の画像表示パネル及び画像表示パネル駆動回路の概念図である。図７は、実施形態１に係る画像表示パネルの画素配列の他の例を示す図である。実施形態１におけるＣＩＤユニット４の表示部２４の構成も、図４乃至図７に示す表示装置２０の構成と同様である。
【００１８】
図４に示すように、表示装置２０は、処理装置１０から出力された出力信号に基づいて画像を表示させる画像表示パネル３０と、画像表示パネル３０の駆動を制御する画像表示パネル駆動回路４０と、画像表示パネル３０を、例えばその背面から照明する光源装置５０と、光源装置５０の駆動を制御する光源装置制御回路６０と、を備える。
【００１９】
図５、図６に示すように、画像表示パネル３０は、画素４８が、Ｐ０×Ｑ０個（行方向にＰ０個、列方向にＱ０個）、２次元のマトリクス状に配列されている。図５、図６に示す例は、ＸＹの２次元座標系に複数の画素４８がマトリクス状に配列されている例を示している。この例において、行方向がＸ方向、列方向はＹ方向である。
【００２０】
画素４８は、第１副画素４９Ｒと、第２副画素４９Ｇと、第３副画素４９Ｂと、第４副画素４９Ｗとを有する。第１副画素４９Ｒは、第１色成分（例えば、第１原色として赤色）を表示する。第２副画素４９Ｇは、第２色成分（例えば、第２原色として緑色）を表示する。第３副画素４９Ｂは、第３色成分（例えば、第３原色として青色）を表示する。第４副画素４９Ｗは、第４色成分（具体的には白色）を表示する。以下において、第１副画素４９Ｒと、第２副画素４９Ｇと、第３副画素４９Ｂと、第４副画素４９Ｗとをそれぞれ区別する必要がない場合、副画素４９という。
【００２１】
表示装置２０は、より具体的には、例えば透過型のカラー液晶表示装置である。画像表示パネル３０は、カラー液晶表示パネルであり、第１副画素４９Ｒと画像観察者との間に第１原色を通過させる第１カラーフィルタが配置され、第２副画素４９Ｇと画像観察者との間に第２原色を通過させる第２カラーフィルタが配置され、第３副画素４９Ｂと画像観察者との間に第３原色を通過させる第３カラーフィルタが配置されている。また、画像表示パネル３０は、第４副画素４９Ｗと画像観察者との間にカラーフィルタが配置されていない。第４副画素４９Ｗには、カラーフィルタの代わりに透明な樹脂層が備えられていてもよい。このように画像表示パネル３０は、透明な樹脂層を設けることで、第４副画素４９Ｗにカラーフィルタを設けないことによって第４副画素４９Ｗに大きな段差が生じることを抑制することができる。
【００２２】
そして、画像表示パネル３０は、図５に示す例では、第１副画素４９Ｒ、第２副画素４９Ｇ、第３副画素４９Ｂ及び第４副画素４９Ｗが所定の配列（例えばストライプ配列）で配置されている。なお、１つの画素４８に含まれる第１副画素４９Ｒ、第２副画素４９Ｇ、第３副画素４９Ｂ、第４副画素４９Ｗの構造及びその配置は特に限定されない。例えば、画像表示パネル３０は、第１副画素４９Ｒ、第２副画素４９Ｇ、第３副画素４９Ｂ及び第４副画素４９Ｗをダイアゴナル配列（モザイク配列）に類似した配列で配置してもよい。また、例えば、デルタ配列（トライアングル配列）に類似した配列、レクタングル配列に類似した配列等としてもよい。さらに、図７に示す画像表示パネル３０Ａのように、画素４８Ａが第１副画素４９Ｒ、第２副画素４９Ｇ及び第３副画素４９Ｂを有し、第４副画素４９Ｗを有しない構成であってもよい。
【００２３】
画像表示パネル駆動回路４０は、信号出力回路４１及び走査回路４２を備えている。信号出力回路４１は、所謂ソースドライバであり、処理装置１０（又は中央処理部１４）から出力された画像データに応じて画素４８を駆動するための映像信号を生成する。画像表示パネル駆動回路４０は、信号出力回路４１によって映像信号を保持し、順次、画像表示パネル３０に出力する。信号出力回路４１は、配線ＤＴＬによって画像表示パネル３０と電気的に接続されている。画素４８は、副画素４９が映像信号に応じた光透過率となるように動作する。走査回路４２は、所謂ゲートドライバであり、処理装置１０（又は中央処理部１４）から出力された画像データが示す画素行に応じた走査信号を出力する。画像表示パネル駆動回路４０は、走査回路４２が走査信号を出力することによって、画像表示パネル３０における副画素の動作（例えば表示輝度で、この場合は光透過率）を制御するためのスイッチング素子（例えば、薄膜トランジスタ(ＴＦＴ：Thin  Film  Transistor)）のＯＮ／ＯＦＦを制御する。走査回路４２は、走査線ＳＣＬによって画像表示パネル３０と電気的に接続されている。走査回路４２が走査線ＳＣＬを介してスイッチング素子をＯＮ／ＯＦＦするということは、走査線ＳＣＬに沿って設けられた画素行（ライン）単位でスイッチング素子をＯＮ／ＯＦＦすることができるということである。このように、表示装置２０は、ライン単位で表示出力のＯＮ／ＯＦＦを制御することができるよう設けられている。
【００２４】
光源装置５０は、画像表示パネル３０の背面に配置され、画像表示パネル３０に向けて光を照射することで、バックライトとして機能して画像表示パネル３０を照明する。光源装置５０は、画像表示パネル３０の前面に配置したフロントライト構成であってもよい。また画像表示パネル３０として自発光のディスプレイ、例えばＯＬＥＤ（Organic  Light  Emitting  Diode）ディスプレイ等を用いる場合には、この光源装置５０は不要にできる。
【００２５】
光源装置５０は、画像表示パネル３０の全面にわたり光を照射し、画像表示パネル３０を照明する。光源装置制御回路６０は、光源装置５０から出力する光の照射光量等を制御する。具体的には、光源装置制御回路６０は、処理装置１０から出力される光源装置制御信号に基づいて光源装置５０に供給する電流、電圧又は信号のｄｕｔｙ比を調整することで、画像表示パネル３０を照射する光の照射光量（光の強度）を制御する。
【００２６】
図８は、ルームミラーユニット２の構成例を示す図である。撮像装置５Ａは、例えば、レンズ７１、撮像素子７２、撮像素子７２により撮像された所定数のライン画像を記憶する第１ラインバッファ７３、第１ラインバッファ７３に記憶された所定数のライン画像に対して画素補完処理を行う画素補完処理部７４、画素補完処理後のライン画像を記憶する第２ラインバッファ７５、ルームミラーユニット２の各部に同期信号を出力する同期信号制御部７６等を備える。第１ラインバッファ７３、画素補完処理部７４、第２ラインバッファ７５及び同期信号制御部７６は、例えばＦＰＧＡ（field-programmable  gate  array）７９のような集積回路に実装される。無論、ＦＰＧＡ７９以外の集積回路を用いてもよいし、構成毎に専用の回路を設けてもよい。
【００２７】
撮像素子７２は、例えばＣＣＤ（Charge  Coupled  Device）イメージセンサ又はＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサ等の固体撮像素子７２であり、撮像装置５Ａの画角に応じた画像データを出力する。より具体的には、ＣＣＤイメージセンサは、ベイヤー配列（Bayer  arrangement）のカラーフィルタを有し、レンズ７１越しに車外を撮像してカラー画像を生成することができるよう設けられている。ＣＣＤイメージセンサは、複数の画素データにより構成される１フレーム分のベイヤー配列画像を生成する。ＣＣＤイメージセンサは、当該１フレーム分のベイヤー配列画像の出力に際して、ＣＣＤイメージセンサを構成する複数の素子（画素）の各々の出力値を示すデータを順次出力する。
【００２８】
第１ラインバッファ７３は、バッファメモリである。第１ラインバッファ７３は、撮像素子７２により撮像されるフレーム画像の一部分である所定数のライン画像単位で記憶する。具体的には、第１ラインバッファ７３は、所定数のライン画像のデータ容量に対応する記憶容量を有する。第１ラインバッファ７３は、撮像素子７２から順次出力される複数の画素のデータを所定数のライン画像単位で保持することで所定数のライン画像に対応するデータを記憶する。第１ラインバッファ７３が記憶する画像データは、ベイヤー配列画像のライン画像のデータである。
【００２９】
図９は、画素補完処理の処理内容を示す模式図である。画素補完処理部７４は、図９に示すように、第１ラインバッファ７３に記憶されたベイヤー配列画像のライン画像のデータに基づいて、１画素に複数の色情報が存する画像データを生成する画素補完処理を行う。１画素に複数の色情報が存する画像データとは、例えば一つの画素のデータが赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の副画素の各々の階調値を示す情報を含む画像データであるが、一例であってこれに限られるものでなく、１画素に含まれる色情報は適宜変更可能である。一般的なデモザイク処理では、ベイヤー配列画像を汎用画像フォーマットへ変換する処理において色情報の切り捨てを行っているが、画素補完処理では、このような色情報の切り捨てを行わない。すなわち、画素補完処理部７４は、撮像素子７２が行ったアナログ／デジタル（Ａ／Ｄ）変換直後のデータが有する色空間を実質的に保持した状態で１画素に複数の色情報が存する画像データを生成する。
【００３０】
図９では、上側に記載された画素行列が画素補完処理前、すなわち、ベイヤー配列画像のライン画像のデータを示し、下側に記載された画素行列が画素補完処理後のライン画像のデータを示す。また、図９では、左右方向に沿う一つの画素行が一つのライン画像を示す。画素補完処理部７４は、例えばベイヤー配列画像のｍ行×ｎ列（ｍ，ｎともに２以上の自然数）の範囲に存する赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の画素に基づいて、画素補完処理後のｍ行×ｎ列の範囲の画素（ＲＧＢ画素）のデータを決定する。実施形態１では、画素補完処理部７４は、一度の画素補完処理で十数行分のライン画像のデータを処理するが、これは所定数の一例であってこれに限られるものでなく、適宜変更可能である。
【００３１】
第２ラインバッファ７５は、バッファメモリである。第２ラインバッファ７５は、画素補完処理後の所定数のライン画像を記憶する。具体的には、第２ラインバッファ７５は、画素補完処理後の所定数のライン画像のデータ容量に対応する記憶容量を有する。第２ラインバッファ７５に記憶される画素補完処理後の所定数のライン画像は、撮像素子７２により撮像されるフレーム画像を構成する一部分である画素補完処理前の所定数のライン画像に対して画素補完処理を施したライン画像であることから、撮像素子７２により撮像されるフレーム画像の一部分に対応する所定数のライン画像である。
【００３２】
同期信号制御部７６は、ルームミラーユニット２が有する各部が同期して動作するための信号（同期信号）を出力する。具体的には、同期信号は、例えば所定周期で出力されるクロック信号である。撮像素子７２等、ルームミラーユニット２の撮像装置５Ａが有する各部の構成及び後述する処理装置１０が有する各部の構成が同期信号の出力タイミングに応じて処理を行うことで、ルームミラーユニット２が有する各部の構成は同期して動作する。
【００３３】
実施形態１のルームミラーユニット２は、図８に示すように、撮像装置５Ａと処理装置１０との間で行われるデータ伝送に用いられる接続部８０を備える。具体的には、接続部８０は、例えばＬＶＤＳ（Low  voltage  differential  signaling）等の有線伝送方式が採用されたインタフェースである。より具体的には、接続部８０は、図８に示すように、撮像装置５Ａ側に設けられたシリアライザ８１、処理装置１０側に設けられたデシリアライザ８２、シリアライザ８１とデシリアライザ８２とを接続する信号線８３等を有する。シリアライザ８１は、第２ラインバッファ７５のパラレルバスを介して画素補完処理後の所定数のライン画像のデータを読み出してシリアル信号化し、信号線８３を介してデシリアライザ８２に出力する。デシリアライザ８２は、シリアライザ８１から出力されたシリアル信号をパラレル信号化して処理装置１０に出力する。
【００３４】
実施形態１の接続部８０は、同期信号制御部７６が出力する同期信号も撮像装置５Ａから処理装置１０に伝送する。具体的には、実施形態１における撮像装置５Ａは、ＳＹＮＣ合成部７７を有する。ＳＹＮＣ合成部７７は、撮像装置５Ａの第２ラインバッファ７５から出力されるデータに同期信号を合成する。また、実施形態１における処理装置１０は、ＳＹＮＣ分離部９４を有する。ＳＹＮＣ分離部９４は、接続部８０を介して処理装置１０に入力されたデータに含まれる同期信号を分離する。ＳＹＮＣ合成部７７、ＳＹＮＣ分離部９４は、例えばそれぞれの装置に設けられたＦＰＧＡ７９，９９の一機能として実装されている。
【００３５】
処理装置１０は、例えば、画像処理部９１、フレーム画像記憶部９２、フレーム単位処理部９３等を備える。画像処理部９１、フレーム画像記憶部９２及びフレーム単位処理部９３は、例えばＦＰＧＡ９９のような集積回路に実装される。無論、ＦＰＧＡ９９以外の集積回路を用いてもよいし、構成毎に専用の回路を設けてもよい。
【００３６】
実施形態１の処理装置１０は、表示装置２０と近接して設けられている。具体的には、処理装置１０と表示装置２０とは同一基板上又は異なる基板であっても上述の接続部８０に比して短い配線で接続される状態で設けられている。
【００３７】
画像処理部９１は、撮像素子７２により撮像されるフレーム画像の一部分に対応する所定数のライン画像に対して画像処理を施して当該所定数のライン画像単位で表示装置２０に画像を逐次出力して表示装置２０にフレーム画像を表示させる。具体的には、画像処理部９１は、画像処理として、表示装置２０に出力される所定数のライン画像に対して当該所定数のライン画像を用いたライン単位処理を施す。より具体的には、画像処理部９１は、ライン単位処理として、例えば、リサイズ処理、トーンカーブ補正処理、色補正処理、表示用画像補正処理等の画像処理を行う。
【００３８】
リサイズ処理とは、撮像によって得られるフレーム画像を構成する画素の数と表示装置２０が有する画素の数との関係に応じて、所定数のライン画像の画素数を表示装置２０が有する画素の数に合わせる処理である。
【００３９】
トーンカーブ補正処理とは、例えば予め用意されたトーンカーブを示すデータを用いて所定数のライン画像の各画素の階調を補正する処理である。このように、ライン単位処理は、階調補正処理を含む。トーンカーブ補正処理では、適用されるトーンカーブを状況に応じて決定するようにしてもよい。画像処理部９１は、例えば、晴れ、曇り、雨、霧その他の天候、日中、日没、夜間等の時間帯、トンネル内外その他の環境要因により変動する車内外の光の明るさや色合いの変化パターンに応じてトーンカーブを調整するようにしてもよいし、個々の変化パターンに応じたトーンカーブが予め用意されていてもよい。
【００４０】
色補正処理とは、例えば表示装置２０の色再現性（色味）の傾向等を考慮して所定数のライン画像の色味を補正する処理である。このように、ライン単位処理は、色補正処理を含む。色補正処理では、補正後の色味をユーザが決定できるようにしてもよい。具体的には、例えば色味の設定を行うことができる入力部をＣＩＤに設け、係る入力部を介してユーザにより入力された色味の設定が色補正処理により反映されるようにしてもよい。
【００４１】
表示用画像補正処理とは、画素補完処理により一つの画素が赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の副画素を有する画像データになった所定数のライン画像のデータを、一つの画素が赤（Ｒ）、緑（Ｇ）、青（Ｂ）及び白（Ｗ）の副画素を有する表示装置２０により出力するための色変換処理であり、所謂ホワイトマジック（登録商標）のための処理である。具体的には、画像処理部９１は、ライン画像を構成する画素の赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の各々の階調値のうち最も低い値を特定し、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の各々の階調値から特定された値を差し引くとともに、特定された値を白（Ｗ）の階調値とする。具体例を挙げると、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の階調値が（Ｒ，Ｇ，Ｂ）＝（ｐ，ｑ，ｒ）であり、ｐ，ｑ≧ｒが成立する場合、画像処理部９１は、表示用画像補正処理により、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、白（Ｗ）の階調値を、（Ｒ，Ｇ，Ｂ，Ｗ）＝（ｐ−ｒ，ｑ−ｒ，０，ｒ）とする。
【００４２】
画像処理部９１は、図５に示す例のように表示装置２０が白（Ｗ）の第４副画素４９Ｗを有する場合、表示用画像補正処理を行う。一方、画像処理部９１は、図７に示す例のように表示装置２０が白（Ｗ）の第４副画素４９Ｗを有しない場合、表示用画像補正処理を行わない。
【００４３】
フレーム画像記憶部９２は、１フレーム分のフレーム画像に対応するライン画像の取得が完了するまでライン画像を保持する保持部として機能する。具体的には、フレーム画像記憶部９２は、例えば書き換え可能な記憶装置（例えばＲＡＭ：Random  Access  Memory）であり、逐次伝送される画素補完処理後のライン画像により１フレーム分のフレーム画像が完成するまで当該１フレーム分のフレーム画像を構成するライン画像を保持する。
【００４４】
フレーム単位処理部９３は、保持部により保持された１フレーム分のフレーム画像を用いて表示装置２０に出力される所定数のライン画像に画像処理を施すための処理（補正データ生成処理）を行う。具体的には、フレーム単位処理部９３は、フレーム単位処理として、歪み補正処理を行う。歪み補正処理とは、レンズ７１を介した撮像により生じ得る画像の歪みを補正する処理である。歪み補正処理では、ライン画像単位で行うよりもフレーム画像単位で画像のバランスを取るように画像を補正する方がより高い精度で歪みを低減することができる。よって、本実施形態では、フレーム単位処理として歪み補正処理を行う。なお、画像の歪みとして、例えば、画像が外側に向かって膨張するように写る歪み（樽収差）、内側に向かって収縮するように写る歪み（糸巻き収差）、実際の被写体にはないはずの色がフレーム画像の縁付近に発生する歪み（色収差）等があるが、フレーム単位処理部９３は、予め定められた画像の解析パターンによりフレーム画像にこれらの歪みが生じているか否かを判定することができる。また、歪みが生じていると判定された場合に、これらの歪みを解消するための補正パターン、すなわちどのように画像を補正すれば画像の歪みを低減することができるのかを示すデータも予め用意されている。
【００４５】
また、フレーム単位処理部９３は、フレーム単位処理として、自動露出（ＡＥ：Auto  Exposure）による明るさの調整処理及びオートホワイトバランス（ＡＷＢ：Auto  White  Balance）による白色の基準の調整処理を行う。ＡＥ処理を行う際に必要になる画像の明るさ、ＡＷＢ処理を行う際に必要になる画像の色合い等の情報を所定数のライン画像から得た場合、偶然そのライン画像が特定の明るさや色合いに偏っている部分画像であったときに正しい情報を得られないことがある。そこで、フレーム単位処理部９３が１フレーム分の画像を用いてこれらの情報を得たうえでＡＥ処理及びＡＷＢ処理を行うことで、より適切に画像処理を行うことができる。このように、フレーム単位処理は、歪み補正処理、自動露出（ＡＥ）及びオートホワイトバランス（ＡＷＢ）を含む。
【００４６】
フレーム単位処理部９３は、歪み補正処理、ＡＥ処理及びＡＷＢ処理の結果として、フレーム画像に基づいて所定数のライン画像を補正するための補正データを生成し、係る補正データを以後表示される所定数のライン画像に適用する。処理装置１０は、係る補正データを記憶するための一時記憶部をＦＰＧＡ９９内等に有しており、フレーム単位処理部９３は、係る一時記憶部に補正データを格納する。
【００４７】
実施形態１では、フレーム単位処理部９３が同期信号制御部７６から出力される同期信号をカウントして、１フレーム分のフレーム画像がフレーム画像記憶部９２に記憶されるタイミングを特定して当該フレーム画像を読み出す。フレーム画像記憶部９２は、フレーム単位処理部９３によってフレーム画像が読み出されると、次フレームのフレーム画像を構成する全てのライン画像が記憶されるまで、次フレームのフレーム画像を構成する所定数のライン画像を保持する。
【００４８】
図１０は、同期信号とルームミラーユニット２の各部の動作との関係を示すタイミングチャートである。図１０に示すように、まず、撮像素子７２が撮像を行う。撮像素子７２は、同期信号によるクロックが刻まれる毎にベイヤー配列画像を構成する所定数のライン画像を出力する。撮像素子７２がｔ（ｔは自然数）回目の同期信号に応じてベイヤー配列画像を構成する所定数のライン画像を出力したとすると（ステップＳ１）、第１ラインバッファ７３は、ｔ＋１回目の同期信号のタイミングで、ｔ回目の同期信号に応じて撮像素子７２から出力されたベイヤー配列画像を構成する所定数のライン画像を記憶する（ステップＳ２）。画素補完処理部７４は、ｔ＋２回目の同期信号のタイミングで、ｔ＋１回目の同期信号のタイミングにおいて第１ラインバッファ７３に記憶されたライン画像を読み出して画素補完処理を行う（ステップＳ３）。第２ラインバッファ７５は、ｔ＋３回目の同期信号のタイミングで、ｔ＋２回目の同期信号のタイミングにおいて画素補完処理部７４により画素補完処理が施された所定数のライン画像を記憶する（ステップＳ４）。
【００４９】
接続部８０は、撮像装置５Ａの第２ラインバッファ７５に記憶されたデータを処理装置１０に伝送する（ステップＳ５）。ｔ＋４回目の同期信号以降の所定のタイミングで、ｔ＋３回目の同期信号のタイミングにおいて第２ラインバッファ７５に記憶されたライン画像が接続部８０を介して処理装置１０に入力される。図１０を参照した説明では、ｔ＋４回目の同期信号のタイミングで接続部８０がデータ伝送に係る処理を行い、ｔ＋５回目の同期信号のタイミングでライン画像が処理装置１０に入力されているものとして説明している。ｔ＋３回目の同期信号のタイミングにおいて第２ラインバッファ７５に記憶されたライン画像が処理装置１０に入力されるタイミングは、接続部８０の処理速度及び伝送速度に応じる。
【００５０】
画像処理部９１は、処理装置１０に入力された所定数のライン画像に対して逐次ライン単位処理を行い（ステップＳ６）、同期信号に応じたタイミングでライン単位処理後のライン画像を表示装置２０に逐次出力する（ステップＳ７）。表示装置２０の画像表示パネル３０は、画像処理部９１から出力されたライン画像を逐次表示することで、１フレーム分のフレーム画像を構成する全てのライン画像を表示出力し、画像表示パネルの表示領域においてフレーム画像を完成させる。図１０では、ｔ＋５回目の同期信号のタイミングでフレーム画像記憶部９２及び画像処理部９１に所定数のライン画像が入力され、ｔ＋６回目の同期信号のタイミングで画像処理部９１が画像処理を行い、ｔ＋７回目の同期信号のタイミングで表示装置２０に画像処理後の所定数のライン画像が出力される例を示している。なお、図１０では、各フレームの最初のライン画像に関する処理について同期信号に応じた処理の遷移を図示しているが、実際にはフレーム画像を構成する所定数のライン画像単位で毎回同様の処理が行われている。
【００５１】
また、フレーム画像記憶部９２は、画像処理部９１がライン単位処理を行っているのと並行して所定数のライン画像を保持する（ステップＳ８）。フレーム画像記憶部９２に１フレーム分のフレーム画像を構成する全てのライン画像が記憶されると、フレーム単位処理部９３が補正データを生成する（ステップＳ９）。図１０では、矢印Ｖ１がフレーム単位処理部９３によるフレーム画像記憶部９２からのフレーム画像の読み出しを示している。補正データの生成後、画像処理部９１は、ステップＳ６の処理において係る補正データによる画像の補正とライン単位処理とを所定数のライン画像に施して、これらの画像処理後のデータを表示装置２０に逐次出力する。このように、画像処理部９１は、画像処理として、表示装置２０に出力される所定数のライン画像に対して１フレーム分のフレーム画像を用いたフレーム単位処理を施す。
【００５２】
実施形態１では、１フレーム目のフレーム画像が表示装置２０に出力されるタイミングではまだ補正データが生成されていない。このため、１フレーム目のフレーム画像及び１フレーム目のフレーム画像を構成する所定数のライン画像の表示に際して、補正データによる補正は行われない。一方、ｕ（ｕは２以上の自然数）フレーム目以降のフレーム画像が表示装置２０に出力されるタイミングでは、（ｕ−１）フレーム目のフレーム画像を用いてフレーム単位処理部９３により補正データが生成されている。画像処理部９１は、ｕフレーム目以降のフレーム画像を構成する所定数のライン画像に対して、（ｕ−１）フレーム目のフレーム画像を用いて生成された補正データによる画像の補正とライン単位処理とを施す。
【００５３】
なお、図１０を参照した説明では、（ｕ−１）フレーム目のフレーム画像を用いて生成された補正データによる画像の補正（フレーム単位処理）について説明しているが、補正データは、１フレーム以上前のフレームであればよい。例えば、（ｕ＋１）フレーム目のライン画像に（ｕ−１）フレーム目のフレーム画像を用いて生成された補正データによる画像の補正（フレーム単位処理）を行うようにしてもよい。また、複数のフレーム画像に対するフレーム単位処理部９３の処理結果に基づいた補正データによる画像の補正（フレーム単位処理）を行うようにしてもよい。具体的には、例えば（ｕ＋１）フレーム目のライン画像に対する画像の補正（フレーム単位処理）において、ｕフレーム目及び（ｕ−１）フレーム目の補正データが示すパラメータを平均化したデータを「（一フレーム以上前の）複数のフレーム画像の解析結果に基づいた補正データ」として画像の補正（フレーム単位処理）を行うようにしてもよい。ここでは、２フレーム前のフレーム画像までを考慮した例を記載しているが、３フレーム以上前のフレーム画像についても同様に画像の補正（フレーム単位処理）に用いることができる。このように、フレーム単位処理は、一フレーム以上前のフレーム画像を用いて行うことができる。
【００５４】
上記のように補正データを用いることで、２フレーム分以上のフレーム画像に基づいた補正データによるフレーム単位処理を１フレーム分のフレーム画像に対応する記憶容量を有するフレーム画像記憶部９２により実現することができる。このため、フレーム画像記憶部９２に複数フレーム分の記憶容量を持たせる必要がなく、処理装置１０を低コストにすることができる。
【００５５】
本実施形態では、画像処理部９１は、例えばＭＩＰＩ（登録商標、Mobile  Industry  Processor  Interface）インタフェースを介して表示装置２０と接続されており、係るＭＩＰＩインタフェースを介してライン単位処理後のライン画像のデータを表示装置２０に逐次出力する。ＭＩＰＩインタフェースを介したデータ伝送は、同期信号に同期して行われる。具体的には、例えばＭＩＰＩ規格における自己クロック又は埋め込みクロックが示すクロックを同期信号のクロックに対応させる。上述のように同期信号制御部７６が出力する同期信号で同期を取ることで、ルームミラーユニット２の各部は、同期信号に応じたタイミングで各部が処理及び出力を逐次行うことができる。画像表示パネルのフレームレートは、同期信号のクロックに応じる。実施形態１では、例えばフレームレートが１２０［ｆｐｓ］〜２４０［ｆｐｓ］になることを想定しているが、これはフレームレートの一例であってこれに限られるものでなく、フレームレートは適宜変更可能である。
【００５６】
なお、同期信号に応じた表示装置２０の同期制御は、ＭＩＰＩインタフェースを介した方法以外の方法によってもよい。例えば、表示装置２０の動作を制御する回路（ドライバＩＣ）等に対して同期信号を出力することができるように処理装置１０と表示装置２０との間に配線を設けるようにしてもよい。
【００５７】
また、ルームミラーユニット２の各部が同期信号に応じたタイミングで各部が処理及び出力を逐次行うことができることから、所定数のライン画像のデータを構成する画素情報をパケットに分割して伝送することができる。このため、画素情報の伝送に必要なビット数に依存することなくデータを伝送することができる。
【００５８】
以上、ルームミラーユニット２の構成及び処理について説明したが、サイドミラーユニット３Ａ，３Ｂの構成及び処理についてもルームミラーユニット２の構成及び処理と同様である。すなわち、処理装置１０の構成と処理装置１０Ａ，１０Ｂの構成とは同様である。また、表示装置２０の構成と表示装置２０Ａ，２０Ｂの構成とは同様である。また、撮像装置５Ａの構成と撮像装置５Ｂ，５Ｃの構成とは同様である。ただし、サイドミラーユニット３Ａ，３Ｂは、接続部８０を介して処理装置１０Ａ，１０Ｂと接続される撮像装置５が二つである。具体的には、ルームミラーユニット２の処理装置１０には図２に示す後方の撮像装置５Ａが接続されているのに対し、サイドミラーユニット３Ａ，３Ｂの処理装置１０Ａ，１０Ｂには図２に示す後方の撮像装置５Ａと、二つある側方の撮像装置５Ｂ，５Ｃのうち一つが接続されている。二つの側方の撮像装置５Ｂ，５Ｃはそれぞれ異なるサイドミラーユニット３Ａ，３Ｂの処理装置１０Ａ，１０Ｂに接続されている。具体的には、サイドミラーユニット３Ａ，３Ｂが備える表示装置２０Ａ，２０ＢのフロントガラスＦＧに対する位置と、サイドミラーユニット３Ａ，３Ｂの処理装置１０Ａ，１０Ｂに接続される側方の撮像装置５Ｂ，５ＣのフロントガラスＦＧに対する位置とは対応する。すなわち、フロントガラスＦＧに対して右側に存する表示装置２０Ｂを備えるサイドミラーユニット３Ｂの処理装置１０Ｂには、右側に存する撮像装置５Ｃが接続される。左側の表示装置２０Ａ及び撮像装置５Ｂとサイドミラーユニット３Ａの処理装置１０Ａとの関係についても同様である。
【００５９】
サイドミラーユニット３Ａ，３Ｂが備える処理装置１０Ａ，１０Ｂの画像処理部９１は、ルームミラーユニット２の画像処理部９１の処理内容に加えて、合成処理を行う。合成処理とは、複数の撮像装置５により撮像された所定数のライン画像を合成して一つの表示装置に出力可能な所定数のライン画像とする処理である。具体的には、サイドミラーユニット３Ａ，３Ｂが備える処理装置１０Ａ，１０Ｂの画像処理部９１は、例えば後方の撮像装置５Ａにより撮像された画像と側方の撮像装置５Ｂ，５Ｃのうち一つにより撮像された画像とで共通する被写体の撮像範囲を重ね合わせるようにして、後方の撮像装置５Ａからの所定数のライン画像と側方の撮像装置５Ｂ，５Ｃからの所定数のライン画像とを合成する。後方の撮像装置５Ａの画角と側方の撮像装置５Ｂ，５Ｃの画角とは一部が重複しているので、それぞれの画像には共通する被写体が含まれている。
【００６０】
サイドミラーユニット３Ａ，３Ｂのフレーム画像記憶部９２は、二つの撮像装置分のフレーム画像を保持するための記憶容量を有する。サイドミラーユニット３Ａ，３Ｂのフレーム単位処理部９３は、二つの撮像装置５の各々のフレーム画像について個別に補正データを生成してもよい。この場合、画像処理部９１は、後方の撮像装置５Ａのフレーム画像から生成された補正データを後方の撮像装置５Ａからのライン画像に適用し、側方の撮像装置５Ｂ（又は撮像装置５Ｃ）のフレーム画像から生成された補正データを側方の撮像装置５Ｂ（又は撮像装置５Ｃ）からのライン画像に適用したうえで合成処理を行う。また、フレーム単位処理部９３は、二つの撮像装置分のフレーム画像を考慮した一つの補正データを生成してもよい。具体的には、フレーム単位処理部９３は、二つの撮像装置５の各々のフレーム画像について個別に生成された補正データの各々が示す明るさや色の補正に係る値を考慮した値（例えば、中間値）を一つの補正データとするようにしてもよい。この場合、画像処理部９１は、合成処理後の所定数のライン画像に対して補正データを適用する。
【００６１】
なお、ルームミラーユニット２の処理装置１０に複数の撮像装置５が接続されていてもよい。この場合、ルームミラーユニット２のフレーム画像記憶部９２は、処理装置１０に接続される撮像装置５の数に応じたフレーム画像を保持することができる記憶容量を有する。また、この場合、ルームミラーユニット２の画像処理部９１は、上記の合成処理を行う。
【００６２】
実施形態１のＣＩＤユニット４は、表示システム１の一構成として、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂの動作を制御する。具体的には、ＣＩＤユニット４は、例えば自動車のエンジンの始動と共に起動する。ＣＩＤユニット４の中央処理部１４は、起動後速やかにルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂを起動させて、表示装置２０，２０Ａ，２０Ｂを介して車外の状況を把握することができる状態にする。中央処理部１４は、エンジンの停止に伴いルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂの動作を終了させると共に、ＣＩＤユニット４自身の動作を終了させる。
【００６３】
また、上述したように、ＣＩＤユニット４の表示部２４は、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂの各々が有する表示装置２０，２０Ａ，２０Ｂのうちいずれかが故障した場合、故障した表示装置の表示出力を代替する。具体的には、例えばルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂが備える表示装置２０，２０Ａ，２０Ｂのいずれかの電源が入らない等、表示装置２０の故障が発生した場合に故障を検知する検知部を設ける。この場合、ＣＩＤユニット４の中央処理部１４は、当該検知部により故障が検知された表示装置を備えるルームミラーユニット２又はサイドミラーユニット３Ａ，３Ｂの処理装置１０又は処理装置１０Ａ，１０Ｂから出力される画像データを取得してＣＩＤユニット４の表示部２４に出力する。また、ＣＩＤユニット４の表示部２４による代替出力は、ユーザの手動によってもよい。この場合、ＣＩＤユニット４は、例えば入力部を介してルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂの各々が有する表示装置２０，２０Ａ，２０Ｂの代替出力をする旨の指示入力をユーザから受け付け、係る指示入力があった場合に代替出力を行う。係る指示入力は、表示装置２０，２０Ａ，２０Ｂのうちいずれを代替するのかを示す指定情報を伴う指示入力であることが望ましい。より具体的には、ＣＩＤユニット４は、例えばＣＩＤユニット４の表示部２４がタッチパネル付き表示装置であり、タッチパネルに対する入力を介して表示装置２０，２０Ａ，２０Ｂのうちいずれの出力を代替するのかを指示することができるように設けられていてもよい。このように、表示部２４を備えるＣＩＤユニット４は、表示システム１における複数の表示装置の一つとして機能し、表示システム１が備える複数の表示装置２０，２０Ａ，２０Ｂのうちいずれかが故障した場合、故障した表示装置の表示出力を代替する。
【００６４】
なお、代替出力の具体的形態は任意である。例えば、ＣＩＤユニット４の表示部２４は、故障した表示装置がある場合に、表示領域内を二分割してＣＩＤユニット４としての表示出力と故障した表示装置の代替出力とを同時に行うようにしてもよい。また、代替出力を行うのはＣＩＤユニット４に限らなくともよい。ルームミラーユニット２又はサイドミラーユニット３Ａ，３Ｂが備える表示装置２０，２０Ａ，２０Ｂの表示領域を二分割して、分割された表示領域の一方で代替出力を行うようにしてもよい。故障した表示装置が二つ以上になる場合に、表示領域を三分割以上にするようにしてもよい。
【００６５】
以上説明したように、実施形態１によれば、撮像素子７２により撮像された画像が表示装置２０，２０Ａ，２０Ｂに表示されるまでに画像のエンコード処理及びデコード処理を伴わない。このように、実施形態１によれば、フレーム遅れをより低減することができる。また、実施形態１によれば、画像のエンコード処理及びデコード処理を伴わないことから、エンコード処理に伴う情報の切り捨てが生じない。このように、実施形態１によれば、撮像装置５の撮像素子７２が有する色認識のポテンシャルをより発揮することができる。
【００６６】
図１１は、従来のエンコード処理及びデコード処理を伴うデータ伝送の仕組みを示す模式図である。図１２は、実施形態１の表示システム１におけるデータ伝送の仕組みを示す模式図である。図１３は、走行中の自動車と遅延との関係の一例を示す模式図である。図１１に示すように、従来のシステムでは、撮像装置が出力時にガンマ変換処理を伴うエンコード処理を行っていた。この出力はフレーム単位であるため、従来のシステムでは、撮像装置からの出力の時点で１フレーム＋エンコード処理等の時間によるフレーム遅れが生じる。また、従来のシステムで撮像装置の出力に対して画像処理を行う場合、撮像装置から出力された画像データに対して画像処理がデコード処理及び逆ガンマ変換を行ったうえで画像処理を行い、再度ガンマ変換処理を伴うエンコード処理を行うことになる。このため、逆ガンマ変換及びガンマ変換を伴うエンコード処理の時間によるフレーム遅れがさらに発生する。また、この出力もフレーム単位であるため、１フレーム分の画像に対する画像処理が完了するまでの待ち時間によるフレーム遅れがさらに発生する。また、従来のシステムでは、表示装置がデコード処理等を行う必要があるため、デコード処理等の時間に対応するフレーム遅れがさらに発生する。表示装置が単独で画像処理等をさらに行う構成である場合、係る画像処理等のための処理時間によるフレーム遅れがさらに発生することになる。このように、従来のシステムでは、装置間のデータ伝送時に行われるエンコード処理、ガンマ変換等の処理によるフレーム遅れが生じていた。係るフレーム遅れを有するシステムによる表示出力をバックミラー等に代えて用いたとすると、走行中の自動車の車内で確認することができる表示出力内容は、現在位置よりはるか後方の状況になってしまう。図１３に示す例を用いて説明すると、撮像タイミングから表示出力タイミングまでの時間がフレーム遅れにより２００［ｍｓｅｃ（以下ｍｓ）］であった場合、２００［ｋｍ／ｈ］で走行する自動車の車内における表示出力内容は１１［ｍ］以上後方を走っていた時の内容になる。仮に、撮像タイミングから表示出力タイミングまでの時間が１００［ｍｓ］であったとしても、２００［ｋｍ／ｈ］で走行する自動車の車内における表示出力内容は５．６［ｍ］程度後方を走っていた時の内容になる。自動車の位置と表示内容との間にこれほど大幅なずれが生じることは、車外の状況を確認するうえで好ましくない。また、従来のシステムでは、エンコード処理時にフォーマットが定める色空間以外の色情報の切り捨てを行っていた。このため、従来のシステムでは、画像処理の時点で既に撮像時に得られる色情報のうち一部が失われており、撮像素子の性能を十分に発揮した表示出力を行うことができなかった。
【００６７】
これに対し、実施形態１では、図１２に示すように、装置間のデータ伝送時にエンコード処理及びガンマ変換を伴わない。このため、実施形態１では、エンコード処理、デコード処理、ガンマ変換及び逆ガンマ変換によるフレーム遅れが生じない。このように、実施形態１によれば、フレーム遅れをより低減することができる。例えば、画素補完処理等により撮像タイミングから表示出力タイミングまでの時間が４．５［ｍｓ］かかったとしても、図１３の例で示すように、２００［ｋｍ／ｈ］で走行する自動車の車内における表示出力内容はわずか０．２５［ｍ］程度後方を走っていた時の内容になり、車外の状況を確認するための表示内容として実用上問題がない。また、実施形態１によれば、画像のエンコード処理及びデコード処理を伴わないことから、エンコード処理に伴う情報の切り捨てが生じない。このため、撮像素子７２の性能により撮像時に得られる色情報をより維持しやすくなる。このように、実施形態１によれば、撮像装置５の撮像素子７２が有する色認識のポテンシャルをより発揮することができる。
【００６８】
なお、フレーム単位処理としてガンマ変換を行うようにしてもよい。この場合のガンマ変換は、表示装置２０によって出力される画像の明るさを調整するための補正（ガンマ補正）を目的とし、ｓＲＧＢ色空間に対応するためのガンマ変換とは異なる。
【００６９】
また、所定数のライン画像に対して当該ライン画像によって構成されるフレーム画像よりも１フレーム以上前のフレーム画像を用いたフレーム単位処理を行うことで、フレーム単位処理のために１フレーム分の画像が完成するまでの待ち時間を生じさせることなく所定数のライン画像による表示出力を開始することができる。よって、撮像された画像が表示出力されるまでの遅延をより低減することができる。
【００７０】
また、表示装置２０，２０Ａ，２０Ｂに出力される所定数のライン画像に対して当該所定数のライン画像を用いたライン単位処理を施すことで、出力時の画質をより安定させることができる。また、ライン単位処理が階調補正処理及び色補正処理のうち一つ以上の処理を含むことで、処理内容に応じた画質の安定化をより実現しやすくなる。
【００７１】
また、フレーム単位処理が画像の歪み補正処理、自動露出及びオートホワイトバランスのうち一つ以上の処理を含むことで、処理内容に応じた画質の安定化をより実現しやすくなる。
【００７２】
また、データ伝送に用いられる接続部８０を備えることで、装置間の距離をより容易に確保することができる。また、接続部８０により高速な伝送方式を採用することで、装置間の伝送速度をより高速にすることができる。
【００７３】
また、表示システム１が自動車に設けられ、撮像装置５が車外を撮像することで、表示装置２０，２０Ａ，２０Ｂに車外の状況を表示出力させることができる。また、上述のように、実施形態１によればフレーム遅れをより低減することができるとともに撮像装置５の撮像素子７２が有する色認識のポテンシャルをより発揮することができることから、運転手等、車内のユーザに対して、車外の状況を撮像したより豊かな色情報を有する画像をより低遅延で提供することができる。
【００７４】
また、複数の表示装置２０，２０Ａ，２０Ｂのうちいずれかが故障した場合、故障していない他の表示装置（例えば、ＣＩＤユニット４の表示部２４）が故障した表示装置の表示出力を代替することで、表示出力の確実性をより担保しやすくなる。
【００７５】
また、複数の撮像装置５の各々により撮像された画像を合成することで、一つの撮像装置５による撮像に比してより広い撮像範囲をカバーしやすくなる。
【００７６】
（実施形態２）
次に、本発明の実施形態２による表示システムについて、図１４を参照して説明する。実施形態１と同様の構成については、同じ符号を付して説明を省略する。
【００７７】
図１４は、実施形態２におけるルームミラーユニット２の構成を示す図である。実施形態２では、実施形態１における撮像装置５に代えて撮像装置５Ｘが採用される。また、実施形態２では、実施形態１における処理装置１０に代えて処理装置１０Ｘが採用される。図１４に示すように、上記の実施形態１において撮像装置５が備えていた画素補完処理部７４と第２ラインバッファ７５は、処理装置１０Ｘが有していてもよい。具体的には、例えば実施形態２における処理装置１０ＸのＦＰＧＡ９９Ｘは、画素補完処理部７４と第２ラインバッファ７５としての機能を有していてもよい。この場合、接続部８０は、第１ラインバッファ７３に記憶されたベイヤー配列画像のライン画像のデータを処理装置１０Ｘに伝送する。すなわち、実施形態２の接続部８０は、ベイヤー変換処理前の所定数のライン画像のデータを伝送する。ベイヤー配列画像のライン画像のデータを伝送された処理装置１０Ｘは、画素補完処理部７４により画素補完処理を行って第２ラインバッファ７５に画素補完処理後のライン画像のデータを記憶する。すなわち、実施形態２の処理装置１０Ｘは、ベイヤー変換処理前のライン画像に画素補完処理を施す。第２ラインバッファ７５に記憶された所定数のライン画像のデータは、画像処理部９１及びフレーム画像記憶部９２に転送される。その後の処理は、上述の実施形態１と同様である。
【００７８】
また、同期信号制御部７６は、処理装置１０Ｘが有していてもよい。この場合、撮像装置５Ｘは、図１４に示すように、撮像素子７２と第１ラインバッファ７３のみを有する。また、同期信号制御部７６は、処理装置１０Ｘ及び撮像装置５Ｘと別個の構成であってもよい。実施形態２では、図１４に示すように、実施形態１にて撮像装置５が備えていたＦＰＧＡ７９は省略可能である。ＦＰＧＡ７９が省略される場合、第１ラインバッファ７３は独立した回路として設けられる。
【００７９】
実施形態２におけるサイドミラーユニット３Ａ，３Ｂも、図１４に示すような構成をとることができる。図１４を参照して説明した事項を除いて、実施形態２の構成は実施形態１の構成と同様である。
【００８０】
以上、実施形態２によれば、実施形態１の効果に加えて、接続部８０が撮像装置５Ｘと処理装置１０Ｘとの間に設けられてベイヤー変換処理前のライン画像のデータを伝送し、処理装置１０Ｘがベイヤー変換処理前のライン画像に画素補完処理を施すようにすることで、装置間で伝送されるデータをより小さくすることができる。このため、装置間の伝送速度をより高速にすることができることから、撮像された画像が表示出力されるまでの遅延をより低減しやすくなる。
【００８１】
（変形例）
次に、図１５及び図１６を参照して、本発明の変形例について説明する。変形例において説明される事項は、上記の実施形態１，２のどちらにも適用可能な変更点である。また、図１５ではルームミラーユニット２を図示しているが、同様の構成をサイドミラーユニット３Ａ，３Ｂにも適用可能である。
【００８２】
図１５は、ルームミラーユニット２の構成の一変形例を示す図である。図１６は、図１５に示す変形例に対応するタイミングチャートである。フレーム画像記憶部９２は、１フレーム分のフレーム画像が記憶されたタイミングで当該フレーム画像をフレーム単位処理部９３に自動的に出力する構成であってもよい。この場合、図１５に示すように、フレーム単位処理部９３に同期信号は必ずしも必要ない。フレーム単位処理部９３は、図１６の矢印Ｖ２で示すようにフレーム画像記憶部９２からフレーム画像が出力されたタイミングに応じて補正データを生成することで、１フレーム分のフレーム画像の完成と同期して動作することができる。
【００８３】
また、フレーム単位処理部９３は、さらに追加の処理を行ってもよい。例えば、フレーム単位処理部９３は、フレーム単位処理として、ローカルディミングに係る処理を行ってもよい。具体的には、光源装置５０の発光領域を複数の部分領域に分割し、光源装置制御回路６０を通した制御による部分領域毎に光の強度を調節可能に設ける。この場合、フレーム単位処理部９３は、複数の部分領域の各々に対応する部分画像単位でフレーム画像の表示に必要な照明の明るさを特定し、特定された明るさで各部分領域を発光させる制御信号を光源装置制御回路６０に出力する。
【００８４】
また、上記の実施形態において、表示装置２０，２０Ａ，２０Ｂ及びＣＩＤユニット４の表示部２４（以下、表示装置２０等）は液晶表示装置であるが、上述の通りＯＬＥＤディスプレイであってもよいし、ライン画像単位で表示可能な表示装置であればその他の方式による表示装置も採用することができる。
【００８５】
また、上記の実施形態では１フレーム目のフレーム画像を構成するライン画像の表示においてフレーム単位処理に基づいた補正が施されないが、フレーム単位処理に基づいた補正が施されない１フレーム目の表示を省略するようにしてもよい。この場合、表示装置２０等に表示される全ての画像にフレーム単位処理に基づいた補正を施すことができる。
【００８６】
また、フレーム単位処理として、他の処理を盛り込むこともできる。例えば、フレーム単位処理部は、撮像装置に対して所定距離内に存する物体を検知する検知処理を行ってもよい。車載の表示システムにおいて係る検知処理を行うことで、当該物体と車体との接触が生じる前に事前に当該物体を検知することができる。フレーム単位処理部が検知処理を行う場合、表示システム１は、検知された物体に対する注意を喚起するための報知部をさらに備えていてもよい。報知部は、発光体の光、画像、音声等の少なくともいずれか一つを用いてユーザに注意を喚起する。表示システム１は、表示装置を報知部として機能させてもよい。この場合、例えば画像処理部が係る注意を喚起するメッセージを画像に重ねて表示するための画像処理をさらに行う。また、フレーム単位処理部は、複数のフレーム画像を用いて撮像装置に対して近接するように移動する物体を検知するようにしてもよい。また、フレーム単位処理部は、フレーム画像を用いて車外の状況を把握するための情報を取得するようにしてもよい。フレーム単位処理部は、例えば、晴天時、曇り時、降雨時、降雪時、霧の発生時等の各種の気象条件の変化に応じたフレーム画像の傾向を示す照合用データを予め用意しておき、フレーム画像と当該照合用データとの照合による一致の度合いに基づいてフレーム画像が撮像された時の天候を判定するようにしてもよい。フレーム単位処理部は、天候の判断と同様の仕組みを用いて、自動車がトンネルの中を通っているか否か、日照時間中であるか夜間であるか等についても判定することができる。画像処理部は、これらの判定結果に基づいて、画像をより見やすくするための画像処理（例えば、明度の調整、コントラストの調整等）を行うようにしてもよい。
【００８７】
また、上述した画像処理の一部又は全部は省略されてもよい。全てのフレーム単位処理が省略される場合、フレーム画像記憶部９２及びフレーム単位処理部９３の構成は省略される。全てのライン単位処理及び全てのフレーム単位処理が省略される場合、画像処理部９１は省略される。
【００８８】
上記の実施形態では、処理装置１０，１０Ａ，１０Ｂ（又は処理装置１０Ｘ。以下、処理装置１０，１０Ａ，１０Ｂ，１０Ｘを纏めて処理装置１０等と記載する）が表示装置２０，２０Ａ，２０Ｂに近接配置されているが、処理装置１０等は撮像装置５（又は撮像装置５Ｘ。以下、撮像装置５，５Ｘを纏めて撮像装置５等と記載する）に近接していてもよい。この場合、接続部８０は、処理装置１０等と表示装置２０，２０Ａ，２０Ｂとを接続するよう設けられ、処理装置１０等と表示装置２０，２０Ａ，２０Ｂとの間で行われるデータ伝送に用いられる。すなわち、表示システムは、画像を撮像する撮像素子７２を有する撮像装置５等と、画像を表示する表示装置２０，２０Ａ，２０Ｂと、画像に対する画像処理を行う処理装置１０等とを有し、撮像装置５等、表示装置２０，２０Ａ，２０Ｂ及び処理装置１０等が自動車に設けられ、処理装置１０等が撮像装置５等又は表示装置２０，２０Ａ，２０Ｂのいずれかに近接配置される表示システムであってもよい。
【００８９】
また、処理装置１０等は、撮像装置５等及び表示装置２０，２０Ａ，２０Ｂの両方から独立して設けられていてもよい。この場合、接続部８０は、撮像装置５等と処理装置１０等との間及び処理装置１０等と表示装置２０，２０Ａ，２０Ｂとの間で行われるデータ伝送に用いられる。
【００９０】
また、変形例を含む本発明の実施形態等において述べた態様によりもたらされる他の作用効果について本明細書記載から明らかなもの、又は当業者において適宜想到し得るものについては、当然に本発明によりもたらされるものと解される。
【符号の説明】
【００９１】
１      表示システム
２      ルームミラーユニット
３Ａ，３Ｂ  サイドミラーユニット
４      ＣＩＤユニット
５，５Ａ，５Ｂ，５Ｃ  撮像装置
１０，１０Ａ，１０Ｂ  処理装置
１４    中央処理部
２０，２０Ａ，２０Ｂ  表示装置
２４    表示部
７１    レンズ
７２    撮像素子
７３    第１ラインバッファ
７４    画素補完処理部
７５    第２ラインバッファ
７６    同期信号制御部
８０    接続部
９１    画像処理部
９２    フレーム画像記憶部
９３    フレーム単位処理部
【図１】
2018022932.tif 000003
【図２】
2018022932.tif 000004
【図３】
2018022932.tif 000005
【図４】
2018022932.tif 000006
【図５】
2018022932.tif 000007
【図６】
2018022932.tif 000008
【図７】
2018022932.tif 000009
【図８】
2018022932.tif 000010
【図９】
2018022932.tif 000011
【図１０】
2018022932.tif 000012
【図１１】
2018022932.tif 000013
【図１２】
2018022932.tif 000014
【図１３】
2018022932.tif 000015
【図１４】
2018022932.tif 000016
【図１５】
2018022932.tif 000017
【図１６】
2018022932.tif 000018