(57)【要約】【課題】撮像素子内の回路を複雑化することなく、表示装置に表示される画像の動体歪みによる視認距離の誤認を抑制可能な撮像表示システムを提供する。【解決手段】撮像表示システムは、画像を撮像するローリングシャッタ型の撮像素子を有する撮像装置と、画像を表示する表示装置と、画像に対する画像処理を行う処理装置とを有し、基準平面上において任意の方向に移動する移動体に搭載され、撮像装置の撮像方向は、基準平面上における移動体の移動方向とは異なり、撮像素子上における画像の撮像走査方向が基準平面に対して水平であり、且つ、表示装置上で表示される画像の表示走査方向と撮像走査方向とが一致している。【選択図】図３
2018121092.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像するローリングシャッタ型の撮像素子を有する撮像装置と、前記画像を表示する表示装置と、前記画像に対する画像処理を行う処理装置とを有し、基準平面上において任意の方向に移動する移動体に搭載される撮像表示システムであって、
前記撮像装置の撮像方向は、前記基準平面上における前記移動体の移動方向とは異なり、
前記撮像素子上における前記画像の撮像走査方向が前記基準平面に対して水平であり、且つ、前記表示装置上で表示される前記画像の表示走査方向と前記撮像走査方向とが一致している
撮像表示システム。
【請求項２】
前記撮像走査方向における前記移動体の移動方向と平行な成分の向きが前記移動体の移動方向と一致している
請求項１に記載の撮像表示システム。
【請求項３】
前記撮像走査方向における前記移動体の移動方向と平行な成分の向きが前記移動体の移動方向とは逆向きである
請求項１に記載の撮像表示システム。
【請求項４】
同一の画角を有する前記撮像装置を複数有し、
前記複数の撮像装置は、
前記移動体の移動方向に並び、且つ、それぞれの画角で１つの画像が形成されるように配置され、
前記表示装置は、
前記複数の撮像装置で撮像された複数の画像が前記移動体の移動方向に並び合成された１つの画像を表示する
請求項１乃至３に記載の撮像表示システム。
【請求項５】
前記複数の撮像装置は、
それぞれの画角で前記移動体の移動方向に一部オーバーラップした画像を撮像し、
前記表示装置は、
前記複数の撮像装置で撮像された複数の画像がオーバーラップした区間内の何れかのタイミングで前記複数の撮像装置で撮像された複数の画像を切り替えて表示する
請求項４に記載の撮像表示システム。
【請求項６】
前記処理装置は、
前記複数の撮像装置の数に対応した複数のバッファメモリを有し、
前記複数のバッファメモリは、
それぞれ対応する撮像装置で撮像された１フレーム分の画像を保存し、
前記表示装置は、
前記複数のバッファメモリから読み出された複数の画像を用いて、前記１つの画像を表示する
請求項４又は５に記載の撮像表示システム。
【請求項７】
前記バッファメモリは、書き込みと読み出しとを同時に実行可能である
請求項６に記載の撮像表示システム。
【請求項８】
前記表示装置は、
前記複数の撮像装置で連続したそれぞれの撮像走査期間で撮像された画像を１フレーム期間で表示する
請求項６又は７に記載の撮像表示システム。
【請求項９】
前記移動体の移動方向を軸として対称な位置に配置された２つの前記撮像装置を有し、
前記表示装置は、
前記２つの撮像装置で撮像された２つの画像を並べて表示する
請求項１乃至３に記載の撮像表示システム。
【請求項１０】
前記２つの撮像装置の前記撮像素子上におけるそれぞれの画像の撮像走査方向において前記移動体の移動方向と平行な成分の向きが互いに逆向きである
請求項９に記載の撮像表示システム。
【請求項１１】
前記２つの撮像装置の前記撮像素子上におけるそれぞれの画像の撮像走査方向において前記移動体の移動方向と平行な成分の向きが互いに一致している
請求項９に記載の撮像表示システム。
【請求項１２】
前記表示装置は、
前記２つの画像を時系列で並べて表示する
請求項１０又は１１に記載の撮像表示システム。
【請求項１３】
前記表示装置は、
前記２つの画像を同時に並べて表示する
請求項１０又は１１に記載の撮像表示システム。
【請求項１４】
前記２つの画像と並べて表示する挿入画像を生成する画像生成装置を有する
請求項９乃至１３に記載の撮像表示システム。
【請求項１５】
前記表示装置は、
前記挿入画像を前記２つの画像の間に表示する
請求項１４に記載の撮像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像表示システムに関する。
【背景技術】
【０００２】
一般に、デジタルカメラ等の撮像装置に用いられる撮像素子としては、線順次走査方式のＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサを用いた所謂ローリングシャッタ型の撮像素子が用いられることが多い。このローリングシャッタ型の撮像素子は、ライン毎の露光開始時間にタイムラグがあるため、撮像素子の画角内で動く動体の撮影時において画像歪み（以下、「動体歪み」ともいう）が発生する。特に、撮像素子の走査方向と表示装置の走査とを同期させて表示する撮像表示システムにおいて、撮像素子の走査方向と動体の移動方向とが一致していない場合、表示装置に表示される動体の画像は斜めに歪んだ画像となる。このため、例えば自動車の車体にカメラを搭載し、車載ディスプレイに車外の画像を表示して運転者の運転を補助するデジタルミラー機能を実現しようとした場合に、運転者が併走する車や対向車線を走行する車との距離を見誤る可能性がある。
【０００３】
これに対し、例えばＣＣＤ（Charge  Coupled  Device）イメージセンサ等の一括露光方式の所謂グローバルシャッタ型の撮像素子では、ローリングシャッタ型の撮像素子のような動体歪みは発生しない。線順次走査方式のＣＭＯＳイメージセンサを用いた場合でも、メカニカルシャッタを併用することで、ＣＣＤイメージセンサのようなグローバルシャッタを実現することも考えられるが、制御の複雑化や、部品点数の増加、また、部品点数の増加に伴う装置の大型化を招くという課題がある。また、表示装置に画像を表示する際の表示フレームレートをシャッタクローズ期間とシャッタオープン期間（一括露光時間）との繰り返し周波数以上とすることが出来ない。特許文献１では、メカニカルシャッタを用いることなくグローバルシャッタ機能を実現したＣＭＯＳイメージセンサを用いて、車載カメラ装置を構成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１５７８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載されたものでは、グローバルシャッタ機能を実現する回路を撮像素子内に設ける必要があり、撮像素子内の回路が複雑化する。このため、フォトダイオードの面積が小さくなり開口率が下がり、グローバルシャッタ機能を持たないＣＭＯＳイメージセンサよりも感度が低下しダイナミックレンジが狭くなる。
【０００６】
本発明は、上記の課題に鑑みてなされたもので、撮像素子内の回路を複雑化することなく、表示装置に表示される画像の動体歪みによる視認距離の誤認を抑制可能な撮像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る撮像表示システムは、画像を撮像するローリングシャッタ型の撮像素子を有する撮像装置と、前記画像を表示する表示装置と、前記画像に対する画像処理を行う処理装置とを有し、基準平面上において任意の方向に移動する移動体に搭載される撮像表示システムであって、前記撮像装置の撮像方向は、前記基準平面上における前記移動体の移動方向とは異なり、前記撮像素子上における前記画像の撮像走査方向が前記基準平面に対して水平であり、且つ、前記表示装置上で表示される前記画像の表示走査方向と前記撮像走査方向とが一致している。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態１に係る撮像表示システムの概略構成の一例を示すブロック図である。
【図２】図２は、実施形態１に係る撮像表示システムの表示装置の構成の一例を示すブロック図である。
【図３】図３は、実施形態１に係る撮像表示システムの表示画像例を示す図である。
【図４】図４は、実施形態１に係る撮像表示システムの比較例における表示画像例を示す図である。
【図５】図５は、実施形態１に係る撮像表示システムにおける撮像走査期間及び表示走査期間のタイミングチャートの一例を示す図である。
【図６】図６は、一括露光方式のグローバルシャッタ型の撮像素子を用いた比較例における表示走査期間のタイミングチャートの一例を示す図である。
【図７】図７は、線順次走査方式のイメージセンサにメカニカルシャッタを併用してグローバルシャッタを実現した比較例における表示走査期間のタイミングチャートの一例を示す図である。
【図８】図８は、実施形態２に係る撮像表示システムの概略構成の一例を示すブロック図である。
【図９】図９は、実施形態２に係る撮像表示システムの表示画像例を示す図である。
【図１０】図１０は、実施形態２に係る撮像表示システムにおける撮像走査期間及び表示走査期間のタイミングチャートの一例を示す図である。
【図１１】図１１は、実施形態２に係る撮像表示システムにおける撮像走査期間及び表示走査期間のタイミングチャートの変形例の一例を示す図である。
【図１２】図１２は、実施形態３に係る撮像表示システムの概略構成の一例を示すブロック図である。
【図１３】図１３は、実施形態３に係る撮像表示システムにおける撮像走査期間及び表示走査期間のタイミングチャートの一例を示す図である。
【図１４】図１４は、実施形態３に係る撮像表示システムにおいて、３つの撮像装置を有する概略構成の一例を示すブロック図である。
【図１５】図１５は、図１４に示す構成における撮像走査期間及び表示走査期間のタイミングチャートの一例を示す図である。
【図１６】図１６は、実施形態３の変形例に係る撮像表示システムにおける撮像走査期間及び表示走査期間のタイミングチャートの一例を示す図である。
【図１７】図１７は、実施形態４に係る撮像表示システムの概略構成の一例を示すブロック図である。
【図１８】図１８は、実施形態４に係る撮像表示システムの表示画像例を示す図である。
【図１９】図１９は、実施形態４に係る撮像表示システムにおける撮像走査期間、画像挿入期間、及び表示走査期間のタイミングチャートの一例を示す図である。
【図２０】図２０は、実施形態５に係る撮像表示システムの表示画像例を示す図である。
【図２１】図２１は、実施形態５に係る撮像表示システムの概略構成の一例を示すブロック図である。
【図２２】図２２は、実施形態５に係る撮像表示システムの表示装置の構成の一例を示すブロック図である。
【図２３】図２３は、実施形態５に係る撮像表示システムにおける同期信号及び走査信号のタイミングチャートの一例を示す図である。
【図２４】図２４は、実施形態６に係る撮像表示システムにおける撮像走査期間、画像挿入期間、及び表示走査期間のタイミングチャートの一例を示す図である。
【図２５】図２５は、実施形態６に係る撮像表示システムの表示画像例を示す図である。
【図２６】図２６は、実施形態６に係る撮像表示システムの概略構成の一例を示すブロック図である。
【図２７】図２７は、実施形態６に係る撮像表示システムの表示装置の構成の一例を示すブロック図である。
【図２８】図２８は、実施形態６に係る撮像表示システムにおける同期信号及び走査信号のタイミングチャートの一例を示す図である。
【図２９】図２９は、実施形態６の変形例に係る撮像表示システムにおける撮像走査期間、画像挿入期間、及び表示走査期間のタイミングチャートの一例を示す図である。
【図３０】図３０は、実施形態７に係る撮像表示システムの概略構成の一例を示すブロック図である。
【図３１】図３１は、実施形態７に係る撮像表示システムの表示装置の構成の一例を示すブロック図である。
【図３２】図３２は、実施形態７に係る撮像表示システムの表示画像例を示す図である。
【図３３】図３３は、実施形態７に係る撮像表示システムにおける撮像走査期間及び表示走査期間のタイミングチャートの一例を示す図である。
【図３４】図３４は、実施形態１乃至７に係る撮像表示システムの適用例を示す図である。
【発明を実施するための形態】
【０００９】
以下、発明を実施するための形態について、図面を参照して詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能である。なお、開示はあくまで一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。
【００１０】
（実施形態１）
図１は、実施形態１に係る撮像表示システムの概略構成の一例を示すブロック図である。図１に示すように、実施形態１に係る撮像表示システム１は、画像を撮像する撮像素子１１を有する撮像装置１０と、画像を表示する表示装置２０と、画像に対する画像処理を行う処理装置３０とを有しており、例えば、基準平面上において任意の方向に移動する移動体である自動車１００に搭載される車載用の撮像表示システムである。
【００１１】
撮像装置１０は、撮像素子１１の他に、撮像素子１１により撮像される画像の画角ａを決めるレンズ１２を有し、例えば自動車１００の側面に設置されている。撮像装置１０の画角ａの中心線の方向ｂを示す撮像方向は、基準平面上における移動体の移動方向（図１中のＡ矢示方向）とは異なっている。
【００１２】
撮像表示システム１を搭載した車両が図１中のＡ矢示方向に走行すると、停止している他の車両２００は、撮像素子１１により撮像される画像の画角内で図１中のＢ矢示方向に移動する。以下の説明では、撮像素子１１により撮像される画像の画角内において移動する被写体（図１に示す例では、車両２００）を「動体」という。また、本実施形態に係る撮像表示システム１において、撮像表示システム１が搭載される移動体（例えば、自動車１００）の移動方向を「水平方向」、移動方向に直交する方向を「垂直方向」とする。すなわち、図１に示す例において、動体である車両２００は、水平方向に移動する。
【００１３】
本実施形態における撮像素子１１は、複数の受光画素が水平方向（行方向）及び垂直方向（列方向）に並び配列され、受光画素が垂直方向（列方向）に並び設けられた受光画素列（ライン）単位で、水平方向の一方から他方に向けて一定の時間差で露光される線順次走査方式のＣＭＯＳイメージセンサを用いたローリングシャッタ型の固体撮像素子である。したがって、本実施形態における撮像素子１１は、水平方向の一方から他方に向けて走査しながら撮像する。すなわち、本実施形態では、撮像装置１０の撮像素子１１上における画像の撮像走査方向は、撮像表示システム１が搭載される自動車１００が移動する基準平面に対して水平である。
【００１４】
撮像素子１１は、レンズ１２によって決まる撮像装置１０の画角に応じた画像データを出力する。より具体的には、撮像素子１１は、例えばベイヤー配列（Bayer  arrangement）のカラーフィルタを有し、レンズ１２越しに撮像したカラー画像を生成することができるよう設けられている。撮像素子１１は、複数の画素データにより構成される１フレーム分のベイヤー配列画像を生成し、ＣＭＯＳイメージセンサを構成する複数の受光画素の各々の出力値を示すデータを出力する。
【００１５】
処理装置３０は、画像処理部３１及び同期信号生成部３２を含み構成される。画像処理部３１は、撮像素子１１から出力される画像データに対し、撮像素子１１により撮像された画像を表示装置２０に表示するための画像処理を行う。同期信号生成部３２は、例えばＣＯＧ（Chip  on  Glass）方式でガラス基板上に実装されるタイミング制御回路であり、撮像装置１０における画像の撮像タイミングと表示装置２０における画像の表示タイミングとを同期させ、撮像装置１０及び表示装置２０のそれぞれに対して同期信号を生成して出力する。
【００１６】
表示装置２０は、例えばカラー液晶表示装置であり、画像表示パネル２１と、画像表示パネル２１の駆動を制御するパネル駆動部２２とを有し、例えば自動車１００のセンターコンソール等に設置されている。図２は、実施形態１に係る撮像表示システムの表示装置の構成の一例を示すブロック図である。
【００１７】
図２に示すように、画像表示パネル２１は、複数の表示画素２１１が水平方向（行方向）及び垂直方向（列方向）に並び配列され、表示領域２１２が形成されている。以下、表示画素２１１が行方向に並ぶ行を画素行、表示画素２１１が列方向に並ぶ列を画素列という。
【００１８】
パネル駆動部２２は、信号出力回路２２１及び走査回路２２２を備えている。
【００１９】
信号出力回路２２１は、所謂ソースドライバであり、配線ＤＴＬによって画像表示パネル２１と電気的に接続されている。信号出力回路２２１は、処理装置３０（画像処理部３１）から出力される画像データに応じて、各画素行の表示画素２１１を駆動するための映像信号を生成し、信号線ＤＴＬを介して、各画素行毎に映像信号を出力する。
【００２０】
走査回路２２２は、所謂ゲートドライバであり、例えばシフトレジスタ及びバッファ等を含み構成されている。走査回路２２２は、走査線ＳＣＬによって画像表示パネル２１と電気的に接続されている。走査回路２２２は、処理装置３０（同期信号生成部３２）から出力されるシフトクロックやスタートパルスを含む同期信号に応じて走査信号を生成し、走査線ＳＣＬを介して、各画素列毎に走査信号を出力する。
【００２１】
走査回路２２２から出力される走査信号は、上述した撮像素子１１の撮像走査方向と同じ向きで順に出力される。これにより、画像表示パネル２１上で表示される画像の表示走査方向は、撮像素子１１の撮像走査方向と一致する。
【００２２】
図３は、実施形態１に係る撮像表示システムの表示画像例を示す図である。図３（ａ）に示す例では、実施形態１に係る撮像表示システム１において、撮像素子１１の画角内における動体（車両２００）の移動方向（Ｂ矢示方向）と撮像素子１１における撮像走査方向及び画像表示パネル２１における表示走査方向とが等しい場合の表示画像例を示している。すなわち、この図３（ａ）に示す例では、撮像素子１１上における画像の撮像走査方向において自動車１００の移動方向と平行な成分の向きと自動車１００の移動方向とが一致している。図３（ｂ）に示す例では、実施形態１に係る撮像表示システム１において、撮像素子１１の画角内における動体（車両２００）の移動方向（Ｂ矢示方向）と撮像素子１１における撮像走査方向及び画像表示パネル２１における表示走査方向とが逆向きである場合の表示画像例を示している。すなわち、この図３（ｂ）に示す例では、撮像素子１１上における画像の撮像走査方向において自動車１００の移動方向と平行な成分の向きと自動車１００の移動方向とが互いに逆向きとなる。
【００２３】
図４は、実施形態１に係る撮像表示システムの比較例における表示画像例を示す図である。図４に示す例では、実施形態１に係る撮像表示システム１とは異なり、撮像素子１１の画角内における動体（車両２００）の移動方向（Ｂ矢示方向）に対し、撮像素子１１における撮像走査方向及び画像表示パネルにおける表示走査方向が直交した比較例における表示画像例を示している。
【００２４】
図４に示すように、撮像素子の画角内における動体の移動方向（Ｂ矢示方向）に対し、撮像素子における撮像走査方向及び画像表示パネルにおける表示走査方向が直交している場合には、動体（車両２００）が斜めに歪んだ像となるが、図３に示すように、本実施形態に係る撮像表示システム１では、動体の移動方向（水平方向）の縦横比率は変化するものの、図４に示す比較例のような動体（車両２００）の斜め方向の歪みが抑制される。
【００２５】
図５は、実施形態１に係る撮像表示システムにおける撮像走査期間及び表示走査期間のタイミングチャートの一例を示す図である。図５に示す例では、撮像素子１１の各受光画素列（ライン）Ｌ１〜Ｌｎのリセット時間及び露光時間と、撮像装置１０における撮像走査期間ＩＦ１，ＩＦ２，・・・と、表示装置２０における表示走査期間ＤＦ１，ＤＦ２，・・・との関係を模式的に示している。図５（ａ）は、各受光画素列Ｌ１〜Ｌｎの露光時間が比較的短く、受光画素列Ｌ１〜Ｌｎのリセット時間と露光時間とを合計した期間の長さが撮像走査期間ＩＦ１，ＩＦ２，・・・よりも短い場合の例を示している。図５（ｂ）は、受光画素列Ｌ１〜Ｌｎのリセット時間と露光時間とを合計した期間の長さが撮像走査期間ＩＦ１，ＩＦ２，・・・と等しい場合の例を示している。図５（ｃ）は、受光画素列Ｌ１〜Ｌｎのリセット時間と露光時間とを合計した期間の長さが撮像走査期間ＩＦ１，ＩＦ２，・・・よりも長い場合の例を示している。なお、図５に示す例では、処理装置３０の画像処理部３１等における画像処理時間を省略している。
【００２６】
図５に示すように、実施形態１に係る撮像表示システム１では、各受光画素列Ｌ１〜Ｌｎ毎に、一定の時間差でリセットされ、リセット時間経過後に露光が開始される。そして、各受光画素列Ｌ１〜Ｌｎの露光時間を経た後に、撮像素子１１から各受光画素列Ｌ１〜Ｌｎの画像データが順次出力され、撮像走査期間ＩＦ１，ＩＦ２，・・・が形成される。すなわち、各撮像走査期間ＩＦ１，ＩＦ２，・・・は、受光画素列Ｌ１の露光時間経過後から受光画素列Ｌｎの画像データが出力されるまでの期間となる。
【００２７】
本実施形態に係る撮像表示システム１では、同期信号生成部３２から出力される同期信号により、撮像装置１０における画像の撮像タイミングと表示装置２０における画像の表示タイミングとが同期しているので、各撮像走査期間ＩＦ１，ＩＦ２，・・・と各表示走査期間ＤＦ１，ＤＦ２，・・・とが等しくなる。また、図５（ａ）及び図５（ｂ）に示すように、受光画素列Ｌ１〜Ｌｎのリセット時間と露光時間とを合計した期間の長さが撮像走査期間ＩＦ１，ＩＦ２，・・・以下となる範囲内では、表示装置２０における表示フレームレートを変えることなく、撮像素子１１の各受光画素列Ｌ１〜Ｌｎの露光時間を設定できる。一方、図５（ｃ）に示すように、受光画素列Ｌ１〜Ｌｎのリセット時間と露光時間とを合計した期間の長さが撮像走査期間ＩＦ１，ＦＩ２，・・・を超えると、これに伴い表示装置２０における表示フレームレートが低下する。
【００２８】
図６は、一括露光方式のグローバルシャッタ型の撮像素子を用いた比較例における表示フレームのタイミングチャートの一例を示す図である。図６に示す例では、撮像素子のリセット時間、露光時間、及び画像データのバッファ時間と、表示装置における表示走査期間ＤＦ１，ＤＦ２，・・・との関係を模式的に示している。なお、図６に示す例では、撮像装置から出力される画像データ等の画像処理時間を省略している。
【００２９】
図６に示す比較例では、ＣＣＤイメージセンサのような一括露光方式の所謂グローバルシャッタ型の撮像素子を用いた場合の例を示している。この場合には、撮像素子を構成する各受光画素が一括してリセットされ、リセット時間経過後に露光が開始される。そして、各受光画素の露光時間を経た後に、撮像素子から出力された各受光画素の１フレーム分の画像データがバッファメモリに保存され、バッファ時間経過後に表示装置に１フレーム分の画像データが出力されて表示走査期間ＤＦ１，ＤＦ２，・・・が形成される。各表示走査期間ＤＦ１，ＤＦ２，・・・は、表示装置の表示フレームレートに依存して決まる。
【００３０】
一括露光方式のグローバルシャッタ型の撮像素子を用いれば、所謂動体歪みは原理的に発生しないが、この場合には、図６に示すように、一括露光後に１フレーム分の画像データを保存してから、表示装置のライン毎の表示走査に同期して出力する必要があるため、１フレーム分の画像データを保存するバッファメモリが必要となる。
【００３１】
図７は、線順次走査方式のイメージセンサにメカニカルシャッタを併用してグローバルシャッタを実現した比較例における表示フレームのタイミングチャートの一例を示す図である。図７に示す例では、メカニカルシャッタのシャッタクローズ期間、シャッタオープン期間、及び画像データのバッファ時間と、表示装置における表示走査期間ＤＦ１，ＤＦ２，・・・との関係を模式的に示す図である。
【００３２】
図７に示す比較例では、線順次走査方式のＣＭＯＳイメージセンサを併用してグローバルシャッタを実現した場合の例を示している。この場合には、全てのラインが露光可能な期間をシャッタオープン期間（一括露光時間）とし、各ラインのリセット時間を含む期間をシャッタクローズ期間とする。そして、シャッタオープン期間（一括露光時間）を経た後のシャッタクローズ期間において、撮像素子から出力された全てのラインの画像データがバッファメモリに保存され、バッファ時間経過後に表示装置に１フレーム分の画像データが出力されて表示走査期間ＤＦ１，ＤＦ２，・・・が形成される。
【００３３】
図７に示す比較例においても、図６に示す一括露光方式のグローバルシャッタ型の撮像素子を用いた場合と同様に、所謂動体歪みは原理的に発生しないが、シャッタクローズ期間において１フレーム分の画像データを保存してから、表示装置のライン毎の表示走査に同期して出力する必要があるため、１フレーム分の画像データを保存するバッファメモリが必要となる。また、図７に示す比較例では、表示装置における表示フレームレートをシャッタクローズ期間とシャッタオープン期間（一括露光時間）との繰り返し周波数以上とすることが出来ない。
【００３４】
また、特開２００８−１５７８８０号公報に記載されたように、メカニカルシャッタを用いることなくグローバルシャッタ機能を実現したＣＭＯＳエリアセンサを用いた場合には、グローバルシャッタ機能を実現する回路を撮像素子内に設ける必要があり、撮像素子内の回路が複雑化する。このため、フォトダイオードの面積が小さくなり開口率が下がり、グローバルシャッタ機能を持たないＣＭＯＳイメージセンサよりも感度が低下しダイナミックレンジが狭くなる。
【００３５】
これに対し、図５に示す実施形態１に係る撮像表示システム１では、撮像素子１１として線順次走査方式のＣＭＯＳイメージセンサを用いたローリングシャッタ型の固体撮像素子を用いた場合でも、撮像素子１１の画角内における動体の移動方向と撮像素子１１における撮像走査方向及び画像表示パネル２１における表示走査方向とを一致させることで、バッファメモリやメカニカルシャッタを用いることなく、また、撮像素子１１内の回路の複雑化や、これに伴う撮像素子１１の感度低下を招くことなく、画像表示パネル２１に表示される動体の斜め方向の歪みを抑制することができ、視認距離の誤認を抑制することができる。
【００３６】
さらには、図７に示すような線順次走査方式のイメージセンサにメカニカルシャッタを併用してグローバルシャッタを実現した比較例よりもフレームレートや露光時間の制約を軽減できる。また、グローバルシャッタ機能を実現する回路を撮像素子内に設けた構成よりも広いダイナミックレンジを実現することができる。
【００３７】
以上説明したように、実施形態１に係る撮像表示システム１によれば、基準平面上において任意の方向に移動する移動体（例えば、自動車１００）に搭載される撮像表示システム１において、撮像装置１０の撮像素子１１として線順次走査方式のＣＭＯＳイメージセンサを用いたローリングシャッタ型の固体撮像素子を用いて、撮像装置１０の撮像素子１１上における画像の撮像走査方向を基準平面に対して水平とし、且つ、表示装置２０上で表示される画像の表示走査方向を撮像素子１１上における画像の撮像走査方向と一致させることにより、撮像素子１１の画角内における動体の斜め方向の歪みを抑制することができ、視認距離の誤認を抑制することができる。
【００３８】
また、一括露光方式のグローバルシャッタ型の撮像素子を用いた場合や、線順次走査方式のイメージセンサにメカニカルシャッタを併用してグローバルシャッタを実現した場合に必要なバッファメモリが不要となる。
【００３９】
また、メカニカルシャッタを用いることなくグローバルシャッタ機能を実現したＣＭＯＳエリアセンサを用いた場合よりも、撮像素子１１の構造を単純化することができるので、撮像素子１１の感度低下を招くことなく、広いダイナミックレンジを実現することができる。
【００４０】
本実施形態により、撮像素子１１内の回路を複雑化することなく、表示装置２０に表示される画像の動体歪みによる視認距離の誤認を抑制可能な撮像表示システム１を提供することができる。
【００４１】
（実施形態２）
図８は、実施形態２に係る撮像表示システムの概略構成の一例を示すブロック図である。なお、上述した実施形態で説明したものと同じ構成要素には同一の符号を付して重複する説明は省略する。
【００４２】
図８に示すように、実施形態１に係る撮像表示システム１ａは、同一の画角を有する複数（ここでは、２つ）の撮像装置１０ａ，１０ｂが水平方向に並び、且つ、それぞれの画角を並べたときに１つの画像が形成されるように配置されているものとする。なお、撮像装置１０ａと撮像装置１０ｂとは同一機種あるいは同等品であるのが好ましい。
【００４３】
撮像装置１０ａの撮像素子１１ａ及び撮像装置１０ｂの撮像素子１１ｂは、実施形態１と同様に、複数の受光画素が水平方向（行方向）及び垂直方向（列方向）に並び配列され、受光画素が垂直方向（列方向）に並び設けられた受光画素列（ライン）単位で、水平方向の一方から他方に向けて一定の時間差で露光される線順次走査方式のＣＭＯＳイメージセンサを用いたローリングシャッタ型の固体撮像素子であり、水平方向の一方から他方に向けて走査しながら撮像することにより、撮像素子１１ａ及び撮像素子１１ｂの撮像走査方向は、撮像表示システム１ａが搭載される自動車１００の移動方向（水平方向）と一致しているものとする。
【００４４】
処理装置３０ａの画像処理部３１ａは、撮像素子１１ａにより撮像された画像と、撮像素子１１ｂにより撮像された画像とを水平方向に並べて表示装置２０に表示するための画像処理を行う。同期信号生成部３２ａについては後述する。
【００４５】
図９は、実施形態２に係る撮像表示システムの表示画像例を示す図である。図９に示す例では、実施形態２に係る撮像表示システム１ａにおいて、撮像素子１１ａ，１１ｂの画角内における動体（車両２００）の移動方向（Ｂ矢示方向）と撮像素子１１ａ，１１ｂにおける撮像走査方向及び画像表示パネル２１における表示走査方向とが等しい場合の表示画像例を示している。
【００４６】
図１０は、実施形態２に係る撮像表示システムにおける撮像走査期間及び表示走査期間のタイミングチャートの一例を示す図である。図１０に示す例では、撮像装置１０ａにおける撮像走査期間ＩＦ１Ａ，ＩＦ２Ａ，・・・と、撮像装置１０ｂにおける撮像走査期間ＩＦ１Ｂ，ＩＦ２Ｂ，・・・と、表示装置２０における表示走査期間ＤＦ１，ＤＦ２，・・・との関係を模式的に示している。なお、図１０に示す例では、処理装置３０ａの画像処理部３１ａ等における画像処理時間を省略している。
【００４７】
本実施形態に係る撮像表示システム１ａでは、複数（ここでは、２つ）の撮像装置１０ａ，１０ｂを水平方向に並べて配置し、撮像装置１０ａ，１０ｂのそれぞれに対して、撮像素子１１ａ，１１ｂ、レンズ１２ａ，１２ｂを有しているため、実施形態１に係る撮像表示システム１よりも、１つの撮像装置の画角を狭くすることができる。これにより、被写体の像の歪みを実施形態１に係る撮像表示システム１よりも抑制することができる。
【００４８】
本実施形態において、処理装置３０ａの同期信号生成部３２ａは、図９に示す各走査方向の並び順で、撮像装置１０ａで撮像された画像と、撮像装置１０ｂで撮像された画像とが連続した表示走査期間が形成されるように、撮像装置１０ａ、撮像装置１０ｂ、及び表示装置２０のそれぞれに対して同期信号を生成して出力する。これにより、撮像装置１０ａで撮像された画像と、撮像装置１０ｂで撮像された画像とが水平方向に並び合成されて１つの画像が形成され、画像表示パネル２１に表示される。
【００４９】
図１１は、実施形態２に係る撮像表示システムにおける撮像走査期間及び表示走査期間のタイミングチャートの変形例の一例を示す図である。図１１に示す例では、同一の画角を有する複数（ここでは、２つ）の撮像装置１０ａ，１０ｂの画角が水平方向にオーバーラップしている場合の例を示している。
【００５０】
撮像装置１０ａ，１０ｂの画角がオーバーラップしている場合、同期信号生成部３２ａは、図１１に示すように、撮像素子１１ａ，１１ｂの双方で画像の同一部分を撮像走査している期間をオーバーラップさせるように、撮像装置１０ａ及び撮像装置１０ｂのそれぞれに対する同期信号を生成する。
【００５１】
そして、画像処理部３１ａにおいて、上述したオーバーラップ期間内の何れかのタイミング、例えば、撮像素子１１ｂの撮像走査開始タイミングや、撮像素子１１ａの撮像走査終了タイミングで、撮像装置１０ａにおける撮像走査期間と撮像装置１０ｂにおける撮像走査期間とを切り替えて、表示走査期間が形成されるようにすればよい。
【００５２】
以上説明したように、実施形態２に係る撮像表示システム１ａによれば、同一の画角を有する複数の撮像装置１０ａ，１０ｂを移動体の移動方向に並べて配置し、撮像表示装置１０ａで撮像された画像と、撮像装置１０ｂで撮像された画像とを合成して１つの画像を形成するようにしたので、１つの撮像装置の画角を狭くすることができる。これにより、被写体の像の歪みを実施形態１よりも抑制することができる。
【００５３】
（実施形態３）
図１２は、実施形態３に係る撮像表示システムの概略構成の一例を示すブロック図である。なお、上述した実施形態で説明したものと同じ構成要素には同一の符号を付して重複する説明は省略する。
【００５４】
図１２に示すように、実施形態３に係る撮像表示システム１ｂの処理装置３０ｂは、実施形態２の構成に加え、同期信号生成部３２ｂから出力される同期信号に基づき、撮像素子１１ａから出力される画像データを撮像装置１０ａの撮像走査期間毎に保存するバッファメモリ３３ａと、撮像素子１１ｂから出力される画像データを撮像装置１０ｂの撮像走査期間毎に保存するバッファメモリ３３ｂとを備え構成される。
【００５５】
本実施形態において、バッファメモリ３３ａ及びバッファメモリ３３ｂは、例えばデュアルポートメモリやＦＩＦＯ（First  In  First  Out）メモリのような書き込みと読み出しとが同時に可能なメモリであるものとする。
【００５６】
本実施形態に係る撮像表示システム１ｂでは、実施形態２に係る撮像表示システム１ａと同様に、複数（ここでは、２つ）の撮像装置１０ａ，１０ｂを水平方向に並べて配置しているため、実施形態１に係る撮像表示システム１よりも、１つの撮像装置の画角を狭くすることができる。これにより、被写体の像の歪みを実施形態１に係る撮像表示システム１よりも抑制することができる。
【００５７】
図１３は、実施形態３に係る撮像表示システムにおける撮像走査期間及び表示走査期間のタイミングチャートの一例を示す図である。図１３に示す例では、撮像装置１０ａにおける撮像走査期間ＩＦ１Ａ，ＩＦ２Ａ，・・・と、撮像装置１０ｂにおける撮像走査期間ＩＦ１Ｂ，ＩＦ２Ｂ，・・・と、バッファメモリ３３ａに撮像装置１０ａから出力される画像データを保存するバッファ期間ＢＦ１Ａ，ＢＦ２Ａ，・・・と、バッファメモリ３３ｂに撮像装置１０ｂから出力される画像データを保存するバッファ期間ＢＦ１Ｂ，ＢＦ２Ｂ，・・・と、表示装置２０における表示走査期間ＤＦ１，ＤＦ２，・・・との関係を模式的に示している。なお、図１３に示す例では、処理装置３０ａの画像処理部３１ａ等における画像処理時間を省略している。
【００５８】
撮像装置１０ａにより撮像走査期間ＩＦ１Ａに撮像された画像データは、バッファメモリ３３ａに順次保存される。撮像装置１０ｂにより撮像走査期間ＩＦ１Ｂに撮像された画像データは、バッファメモリ３３ｂに順次保存される。
【００５９】
バッファメモリ３３ａに保存されたバッファ期間ＢＦ１Ａの画像データと、バッファメモリ３３ｂに保存されたバッファ期間ＢＦ１Ｂの画像データとが連続して読み出されることで、表示走査期間ＤＦ１が形成される。
【００６０】
バッファ期間ＢＦ１Ａの画像データが全て読み出されると、撮像装置１０ａにより次の撮像走査期間ＩＦ２Ａに撮像された画像データがバッファメモリ３３ａに順次保存される。バッファ期間ＢＦ１Ｂの画像データが全て読み出されると、撮像装置１０ｂにより次の撮像走査期間ＩＦ２Ｂに撮像された画像データがバッファメモリ３３ｂに順次保存される。
【００６１】
バッファ期間ＢＦ２Ａにバッファメモリ３３ａに保存された画像データと、バッファ期間ＢＦ２Ｂにバッファメモリ３３ｂに保存された画像データとが連続して読み出されることで、表示走査期間ＤＦ２が形成される。
【００６２】
以降、同様な処理が繰り返されることで、撮像素子１１ａにより撮像された画像と、撮像素子１１ｂにより撮像された画像との撮像時刻の連続性が保たれた１つの画像が合成され、画像表示パネル２１に表示される。
【００６３】
本実施形態では、バッファメモリ３３ａ，３３ｂとして書き込みと読み出しとが同時に可能なメモリを用いることで、前フレームでバッファメモリに保存された画像データの読み出しが開始した時点で、次のフレームの画像データの書き込みを開始することができる。
【００６４】
図１４は、実施形態３に係る撮像表示システムにおいて、３つの撮像装置を有する概略構成の一例を示すブロック図である。図１４に示す撮像表示システム１ｃは、撮像素子１１ｃとレンズ１２ｃとを有する撮像装置１０ｃをさらに有している。処理装置３０ｃは、同期信号生成部３２ｃから出力される同期信号に基づき、撮像素子１１ｃから出力される画像データを撮像装置１０ｃの撮像走査期間毎に保存するバッファメモリ３３ｃを有している。
【００６５】
バッファメモリ３３ｃは、バッファメモリ３３ａ及びバッファメモリ３３ｂと同様に、例えばデュアルポートメモリやＦＩＦＯ（First  In  First  Out）メモリのような書き込みと読み出しとを同時に実行可能なメモリであるものとする。
【００６６】
画像処理部３１ｂは、撮像素子１１ａにより撮像された画像と、撮像素子１１ｂにより撮像された画像と、撮像素子１１ｃにより撮像された画像とを水平方向に並べて表示装置２０に表示するための画像処理を行う。
【００６７】
図１５は、図１４に示す構成における撮像走査期間及び表示走査期間のタイミングチャートの一例を示す図である。図１５に示す例では、撮像装置１０ａにおける撮像走査期間ＩＦ１Ａ，ＩＦ２Ａ，・・・と、撮像装置１０ｂにおける撮像走査期間ＩＦ１Ｂ，ＩＦ２Ｂ，・・・と、撮像装置１０ｃにおける撮像走査期間ＩＦ１Ｃ，ＩＦ２Ｃ，・・・と、バッファメモリ３３ａに撮像装置１０ａから出力される画像データを保存するバッファ期間ＢＦ１Ａ，ＢＦ２Ａ，・・・と、バッファメモリ３３ｂに撮像装置１０ｂから出力される画像データを保存するバッファ期間ＢＦ１Ｂ，ＢＦ２Ｂ，・・・と、バッファメモリ３３ｃに撮像装置１０ｃから出力される画像データを保存するバッファ期間ＢＦ１Ｃ，ＢＦ２Ｃ，・・・と、表示装置２０における表示走査期間ＤＦ１，ＤＦ２，・・・との関係を模式的に示している。また、撮像装置１０ａにおける撮像走査期間ＩＦ１Ａ，ＩＦ２Ａ，・・・と、撮像装置１０ｂにおける撮像走査期間ＩＦ１Ｂ，ＩＦ２Ｂ，・・・と、撮像装置１０ｃにおける撮像走査期間ＩＦ１Ｃ，ＩＦ２Ｃ，・・・とを均等とし、且つ、これら各撮像装置１０ａ，１０ｂ，１０ｃにおける各撮像走査期間が最大となる条件で記載している。なお、図１５に示す例では、処理装置等における画像処理時間を省略している。
【００６８】
本実施形態において、１フレーム当たりの表示走査時間をｆ［ｓ／フレーム］とし、撮像装置数をｋ（図１４に示す例では、ｋ＝３）とすると、１フレーム当たりの各撮像装置における各撮像走査期間の合計撮像走査期間の最大値は２＊ｆ［ｓ］、１フレーム当たりの各撮像装置における各撮像走査期間の最大値は（２＊ｆ）／ｋ［ｓ］、表示装置２０における表示遅延時間の最大値はｆ［ｓ］となる。
【００６９】
撮像装置数が２、つまり、図１２に示す構成では、１フレーム当たりの各撮像装置１０ａ，１０ｂにおける各撮像走査期間の最大値は１ｆ［ｓ］、撮像装置数が３、つまり、図１４に示す構成では、１フレーム当たりの各撮像装置１０ａ，１０ｂ，１０ｃにおける各撮像走査期間の最大値は（２／３）＊ｆ［ｓ］、撮像装置数が４である構成では、１フレーム当たりの各撮像装置における各撮像走査期間の最大値は（１／２）＊ｆ［ｓ］となる。
【００７０】
一般に、撮像素子からのデータ読み出しスピードは、撮像装置のインターフェースのスピードで制限される。図８に示す実施形態２に係る撮像表示システム１ａでは、１フレーム当たりの表示走査時間をｆ［ｓ／フレーム］とし、撮像装置数をｋ（図８に示す例では、ｋ＝２）とすると、表示装置２０における表示遅延時間は、処理装置３０ａ等における画像処理時間を除き原理的に発生しないものの、１フレーム当たりの各撮像装置における各撮像走査期間は（１／ｋ）＊ｆ［ｓ］となり、撮像装置数が同数である場合には、撮像装置毎に書き込みと読み出しとを同時に実行可能なバッファメモリを具備した本実施形態の構成よりも各撮像装置における撮像時間が短くなる。すなわち、実施形態２に係る撮像表示システム１ａでは、撮像装置数の増加に伴い、１フレーム当たりの各撮像装置毎の撮像時間に与える影響が大きくなり、延いては、表示装置２０における表示フレームレート上昇への制約が大きくなる。
【００７１】
これに対し、実施形態３に係る撮像表示システム１ｂでは、実施形態２に係る撮像表示システム１ａとは異なり、各撮像装置毎に、書き込みと読み出しとを同時に実行可能なバッファメモリを具備した構成とすることで、表示装置２０における表示遅延時間の最大値はｆ［ｓ］となるものの、表示装置２０における各撮像装置毎の１フレーム当たりの撮像時間を実施形態２に係る撮像表示システム１ａよりも長くすることができる。すなわち、実施形態２に係る撮像表示システム１ａよりも撮像装置数の増加に伴う各撮像装置毎の１フレーム当たりの撮像時間への影響を小さくすることができ、延いては、表示装置２０における表示フレームレート上昇への制約を小さくすることができる。
【００７２】
図１６は、実施形態３の変形例に係る撮像表示システムにおける撮像走査期間及び表示走査期間のタイミングチャートの一例を示す図である。この実施形態３の変形例に係る撮像表示システムの概略構成は、図１４に示す構成と同様であり、バッファメモリ３３ａ，３３ｂ，３３ｃとして、書き込みと読み出しとを同時に実行可能なデュアルポートメモリやＦＩＦＯメモリを用いていない点が異なる。
【００７３】
図１６に示す例では、撮像装置１０ａにおける撮像走査期間ＩＦ１Ａ，ＩＦ２Ａ，・・・と、撮像装置１０ｂにおける撮像走査期間ＩＦ１Ｂ，ＩＦ２Ｂ，・・・と、撮像装置１０ｃにおける撮像走査期間ＩＦ１Ｃ，ＩＦ２Ｃ，・・・と、バッファメモリ３３ａに撮像装置１０ａから出力される画像データを保存するバッファ期間ＢＦ１Ａ，ＢＦ２Ａ，・・・と、バッファメモリ３３ｂに撮像装置１０ｂから出力される画像データを保存するバッファ期間ＢＦ１Ｂ，ＢＦ２Ｂ，・・・と、バッファメモリ３３ｃに撮像装置１０ｃから出力される画像データを保存するバッファ期間ＢＦ１Ｃ，ＢＦ２Ｃ，・・・と、表示装置２０における表示走査期間ＤＦ１，ＤＦ２，・・・との関係を模式的に示している。また、撮像装置１０ａにおける撮像走査期間ＩＦ１Ａ，ＩＦ２Ａ，・・・と、撮像装置１０ｂにおける撮像走査期間ＩＦ１Ｂ，ＩＦ２Ｂ，・・・と、撮像装置１０ｃにおける撮像走査期間ＩＦ１Ｃ，ＩＦ２Ｃ，・・・とを均等とし、且つ、これら各撮像装置１０ａ，１０ｂ，１０ｃにおける各撮像走査期間が最大となる条件で記載している。なお、図１６に示す例では、処理装置等における画像処理時間を省略している。
【００７４】
本実施形態において、１フレーム当たりの表示走査時間をｆ［ｓ／フレーム］とし、撮像装置数をｋ（図１５に示す例では、ｋ＝３）とすると、１フレーム当たりの各撮像装置における各撮像走査期間の合計撮像走査期間の最大値は（（ｋ−１）／ｋ）＊２＊ｆ［ｓ］、１フレーム当たりの各撮像装置における各撮像走査期間の最大値は（（（ｋ−１）／ｋ）＊２＊ｆ）／ｋ［ｓ］、表示装置２０における表示遅延時間の最大値は（（ｋ−１）／ｋ）＊ｆ［ｓ］となる。
【００７５】
撮像装置数が２である構成では、１フレーム当たりの各撮像装置における各撮像走査期間の最大値は（１／２）＊ｆ［ｓ］となり、実施形態２に係る撮像表示システム１ａと同等であり、表示装置２０における表示遅延時間の最大値も（１／２）＊ｆ［ｓ］となる。
【００７６】
撮像装置数が３である構成では、１フレーム当たりの各撮像装置における各撮像走査期間の最大値は（４／９）＊ｆ［ｓ］、撮像装置数が３である構成では、１フレーム当たりの各撮像装置における各撮像走査期間の最大値は（３／８）＊ｆ［ｓ］となる。このように、撮像装置数が３以上である場合には、実施形態２に係る撮像表示システム１ａよりも撮像装置数の増加に伴う各撮像装置毎の１フレーム当たりの撮像時間への影響を小さくすることができ、延いては、表示装置２０における表示フレームレート上昇への制約を小さくすることができる。
【００７７】
以上説明したように、実施形態３に係る撮像表示システム１ｂ，１ｃによれば、複数の撮像装置が具備する各撮像素子から出力される画像データを各撮像装置毎の撮像走査期間に保存するバッファメモリを備え、バッファメモリから読み出された複数の撮像装置の画像を用いて、１つの画像を表示するようにしたので、バッファメモリとして、書き込みと読み出しとを同時に実行可能なメモリを用いることで、実施形態２に係る撮像表示システム１ａよりも撮像装置数の増加に伴う各撮像装置毎の１フレーム当たりの撮像時間への影響を小さくすることができ、延いては、表示装置２０における表示フレームレート上昇への制約を小さくすることができる。
【００７８】
また、バッファメモリとして、書き込みと読み出しとを同時に実行可能なデュアルポートメモリやＦＩＦＯメモリを用いない構成においても、撮像装置数が３以上である場合には、実施形態２に係る撮像表示システム１ａよりも撮像装置数の増加に伴う各撮像装置毎の１フレーム当たりの撮像時間への影響を小さくすることができ、延いては、表示装置２０における表示フレームレート上昇への制約を小さくすることができる。
【００７９】
（実施形態４）
図１７は、実施形態４に係る撮像表示システムの概略構成の一例を示すブロック図である。なお、上述した実施形態で説明したものと同じ構成要素には同一の符号を付して重複する説明は省略する。
【００８０】
本実施形態に係る撮像表示システム１ｄにおいて、撮像装置１０ａは、例えば自動車１００の左側面に設置され、撮像装置１０ｂは、例えば自動車１００の右側面に設置されており、撮像装置１０ａで自動車１００の左側方あるいは左後方の画像（図１７に示す例では、車両２００ａ）を撮像し、撮像装置１０ｂで自動車１００の右側方あるいは右後方の画像（図１７に示す例では、車両２００ｂ）を撮像する。すなわち、撮像装置１０ａと撮像装置１０ｂとは、移動体である自動車１００の移動方向を軸として対称な位置に配置されている。
【００８１】
画像生成装置４０は、例えば自動車１００に搭載されたコンピュータで構成され、自動車１００のスピードメータやタコメータ等の計器類の画像や、ナビゲーション画像等の運転に必要な情報を含む画像を、撮像装置１０ａ及び撮像装置１０ｂで撮像された画像とともに表示装置２０ａに表示する挿入画像として作成する挿入画像作成部４１を含み構成される。
【００８２】
処理装置３０ｄは、画像処理部３１ａ、同期信号生成部３２ｄ、及び画像合成部３４を含み構成される。画像合成部３４は、画像処理部３１ａから出力される撮像装置１０ａ，１０ｂの画像と、画像生成装置４０で生成された挿入画像とを合成して表示装置２０ａに出力する。同期信号生成部３２ｄについては後述する。
【００８３】
図１８は、実施形態４に係る撮像表示システムの表示画像例を示す図である。画像表示パネル２１ａは、複数（ここでは、３つ）の表示領域２１２ａ，２１２ｂ，２１２ｃで構成されている。表示領域２１２ａには、撮像装置１０ａで撮像された画像が表示される。表示領域２１２ｂには、撮像装置１０ｂで撮像された画像が表示される。表示領域２１２ｃには、画像生成装置４０で生成された挿入画像が表示される。本実施形態では、撮像素子１１ａにおける撮像走査方向と、撮像素子１１ｂにおける撮像走査方向と、表示領域２１２ａにおける表示走査方向と、表示領域２１２ｂにおける表示走査方向と、表示領域２１２ｃにおける表示走査方向と、が全て同じ向き（図１８に示す例では、図中左から右への向き）であるものとする。すなわち、例えば自動車１００の左側面に配置される撮像装置１０ａの撮像素子１１ａ上における画像の撮像走査方向において自動車１００の移動方向と平行な成分の向きと、例えば自動車１００の左側面に配置される撮像装置１０ｂの撮像素子１１ａ上における画像の撮像走査方向において自動車１００の移動方向と平行な成分の向きとが互いに逆向きとなる。
【００８４】
図１９は、実施形態４に係る撮像表示システムにおける撮像走査期間、画像挿入期間、及び表示走査期間のタイミングチャートの一例を示す図である。図１９に示す例では、撮像装置１０ａにおける撮像走査期間ＩＦ１Ａ，ＩＦ２Ａ，・・・と、撮像装置１０ｂにおける撮像走査期間ＩＦ１Ｂ，ＩＦ２Ｂ，・・・と、画像生成装置４０における画像挿入期間ＩｎＦ１，ＩｎＦ２，・・・と、表示装置２０ａにおける表示走査期間ＤＦ１，ＤＦ２，・・・との関係を模式的に示している。なお、図１９に示す例では、処理装置３０ｄの画像処理部３１ｄ等における画像処理時間を省略している。
【００８５】
本実施形態において、処理装置３０ｄの同期信号生成部３２ｄは、図１８に示す各走査方向の並び順で、撮像装置１０ａで撮像された画像と、画像生成装置４０で生成された画像と、撮像装置１０ｂで撮像された画像とが連続した表示走査期間が形成されるように、撮像装置１０ａ、撮像装置１０ｂ、画像生成装置４０、及び表示装置２０ａのそれぞれに対して同期信号を生成して出力する。これにより、撮像装置１０ａで撮像された画像と、撮像装置１０ｂで撮像された画像とが画像生成装置４０で生成された画像を挟んで時系列で並び、画像表示パネル２１ａに表示される。
【００８６】
なお、上述した例では、画像生成装置４０により生成された挿入画像を、撮像装置１０ａで撮像された画像と撮像装置１０ｂで撮像された画像との間、つまり、画像表示パネル２１ａの水平方向の中央に表示する構成例を示したが、挿入画像の表示位置はこれに限らず、例えば、画像表示パネル２１ａの水平方向の一方端あるいは他方端に表示し、撮像装置１０ａで撮像された画像と撮像装置１０ｂで撮像された画像とを並べて表示する構成であってもよいし、挿入画像を表示せず、撮像装置１０ａで撮像された画像と撮像装置１０ｂで撮像された画像とを並べて表示する構成であってもよい。
【００８７】
以上説明したように、実施形態４に係る撮像表示システム１ｄによれば、撮像装置１０ａと撮像装置１０ｂとを移動体である自動車１００の移動方向を軸として対称な位置に配置することで、撮像装置１０ａで撮像された画像と撮像装置１０ｂで撮像された画像とを時系列で並べて表示することができる。
【００８８】
また、例えば、自動車１００のスピードメータやタコメータ等の計器類の画像や、ナビゲーション画像等の運転に必要な情報を含む画像を、撮像装置１０ａ及び撮像装置１０ｂで撮像された画像とともに表示装置２０ａに表示するようにしたので、表示装置２０ａに表示される情報量を増やすことができる。
【００８９】
（実施形態５）
図２０は、実施形態５に係る撮像表示システムの表示画像例を示す図である。本実施形態では、画像表示パネル２１ａの表示領域が３つの表示領域２１２ａ，２１２ｂ，２１２ｃで構成されている点では、実施形態４と同様であり、撮像素子１１ａにおける撮像走査方向と、表示領域２１２ａにおける表示走査方向とが、撮像素子１１ｂにおける撮像走査方向、表示領域２１２ｂにおける表示走査方向、及び表示領域２１２ｃにおける表示走査方向とは異なる点で、実施形態４と異なっている。また、画像表示パネル２１ａ上における表示領域２１２ａ，２１２ｂ，２１２ｃの並び順で画像表示を行う点では、実施形態４と同様である。
【００９０】
実施形態４では、上述したように、例えば自動車１００の左側面に配置される撮像装置１０ａの撮像素子１１ａ上における画像の撮像走査方向において自動車１００の移動方向と平行な成分の向きと、例えば自動車１００の左側面に配置される撮像装置１０ｂの撮像素子１１ａ上における画像の撮像走査方向において自動車１００の移動方向と平行な成分の向きとが互いに逆向きとなる。この場合、例えば撮像装置１０ａで撮像される自動車１００の左側方あるいは左後方の風景画像と、例えば撮像装置１０ｂで撮像される自動車１００の右側方あるいは右後方の風景画像とで、画像の伸縮方向が逆向きとなり違和感がある。
【００９１】
図２０に示すように、撮像素子１１ａにおける撮像走査方向と表示領域２１２ａにおける表示走査方向とを一致させつつ、撮像素子１１ａにおける撮像走査方向及び表示領域２１２ａにおける表示走査方向と撮像素子１１ｂにおける撮像走査方向及び表示領域２１２ｂにおける表示走査方向とを逆向きとすることにより、例えば自動車１００の左側面に配置される撮像装置１０ａの撮像素子１１ａ上における画像の撮像走査方向において自動車１００の移動方向と平行な成分の向きと、例えば自動車１００の左側面に配置される撮像装置１０ｂの撮像素子１１ａ上における画像の撮像走査方向において自動車１００の移動方向と平行な成分の向きとを互いに一致させることができる。これにより、撮像装置１０ａで撮像した画像と撮像装置１０ｂで撮像した画像とで、画像の伸縮方向が逆向きとなることを防ぐことができる。
【００９２】
図２１は、実施形態５に係る撮像表示システムの概略構成の一例を示すブロック図である。図２２は、実施形態５に係る撮像表示システムの表示装置の構成の一例を示すブロック図である。なお、上述した実施形態で説明したものと同じ構成要素には同一の符号を付して重複する説明は省略する。
【００９３】
表示装置２０ｂのパネル駆動部２２ａは、信号出力回路２２１及び走査回路２２２ａ，２２２ｂを備えている。
【００９４】
信号出力回路２２１は、所謂ソースドライバであり、配線ＤＴＬによって画像表示パネル２１ｂと電気的に接続されている。信号出力回路２２１は、処理装置３０ｅ（画像合成部３４）から出力される画像データに応じて、各画素行毎に信号線ＤＴＬを介して出力する映像信号を生成する。
【００９５】
走査回路２２２ａ，２２２ｂは、所謂ゲートドライバであり、例えばシフトレジスタ及びバッファ等を含み構成されている。走査回路２２２ａ，２２２ｂは、それぞれ走査線ＳＣＬによって画像表示パネル２１ｂと電気的に接続されている。
【００９６】
走査回路２２２ａは、処理装置３０ｅ（同期信号生成部３２ｅ）から出力される同期信号であるシフトクロック（ＳＦＴ＿ＣＫ）及びスタートパルス（ＳＴ＿Ａ）に応じて、表示領域２１２ａの各画素列毎に走査線ＳＣＬを介して出力する走査信号（Ｇａｔｅ＿１，Ｇａｔｅ＿２，Ｇａｔｅ＿３，・・・，Ｇａｔｅ＿ｎ−２，Ｇａｔｅ＿ｎ−１）を生成する。
【００９７】
走査回路２２２ｂは、処理装置３０ｅ（同期信号生成部３２ｅ）から出力されるシフトクロック（ＳＦＴ＿ＣＫ）及びスタートパルス（ＳＴ＿Ｂ）に応じて、表示領域２１２ｂ，２１２ｃの各画素列毎に走査線ＳＣＬを介して出力する走査信号（Ｇａｔｅ＿ｎ，Ｇａｔｅ＿ｎ＋１，Ｇａｔｅ＿ｎ＋２，・・・，Ｇａｔｅ＿ｍ−１，Ｇａｔｅ＿ｍ，Ｇａｔｅ＿ｍ＋１，・・・）を生成する。
【００９８】
図２３は、実施形態５に係る撮像表示システムにおける同期信号及び走査信号のタイミングチャートの一例を示す図である。
【００９９】
同期信号生成部３２ｅからスタートパルスＳＴ＿Ａが出力されると、シフトクロックＳＦＴ＿ＣＫに同期して、走査回路２２２ａから走査信号がＧａｔｅ＿ｎ−１，Ｇａｔｅ＿ｎ−２，・・・，Ｇａｔｅ＿２，Ｇａｔｅ＿１の順にシフトしつつ順次出力される。これにより、撮像素子１１ａにおける撮像走査方向と画像表示パネル２１ｂ上の表示領域２１２ａにおける表示走査方向とが一致した状態で、表示領域２１２ａにおける画像表示が行われる。
【０１００】
続いて、同期信号生成部３２ｅからスタートパルスＳＴ＿Ｂが出力されると、シフトクロックＳＦＴ＿ＣＫに同期して、走査回路２２２ｂから走査信号がＧａｔｅ＿ｎ，Ｇａｔｅ＿ｎ＋１，Ｇａｔｅ＿ｎ＋２，・・・，Ｇａｔｅ＿ｍ＋１の順にシフトしつつ順次出力される。これにより、表示領域２１２ｃにおける画像表示が行われる。
【０１０１】
引き続き、シフトクロックＳＦＴ＿ＣＫに同期して、走査回路２２２ｂから走査信号がＧａｔｅ＿ｍ−１，Ｇａｔｅ＿ｍ，Ｇａｔｅ＿ｍ＋１，・・・の順にシフトしつつ順次出力される。これにより、撮像素子１１ｂにおける撮像走査方向と画像表示パネル２１ｂ上の表示領域２１２ｂにおける表示走査方向とが一致した状態で、表示領域２１２ｂにおける画像表示が行われる。
【０１０２】
上記手順にて画像表示パネル２１ｂ上で１フレーム分の画像表示が行われることにより、撮像装置１０ａで撮像された画像と、撮像装置１０ｂで撮像された画像とが画像生成装置４０で生成された画像を挟んで時系列で並び、画像表示パネル２１ｂに表示される。
【０１０３】
なお、上述した例では、画像生成装置４０により生成された挿入画像を、撮像装置１０ａで撮像された画像と撮像装置１０ｂで撮像された画像との間、つまり、画像表示パネル２１ｂの水平方向の中央に表示する構成例を示したが、挿入画像の表示位置はこれに限らず、例えば、画像表示パネル２１ｂの水平方向の一方端あるいは他方端に表示し、撮像装置１０ａで撮像された画像と撮像装置１０ｂで撮像された画像とを並べて表示する構成であってもよいし、挿入画像を表示せず、撮像装置１０ａで撮像された画像と撮像装置１０ｂで撮像された画像とを並べて表示する構成であってもよい。
【０１０４】
以上説明したように、実施形態５に係る撮像表示システム１ｅによれば、撮像装置１０ａの撮像素子１１ａ上における画像の撮像走査方向において自動車１００の移動方向と平行な成分と、撮像装置１０ｂの撮像素子１１ｂ上における画像の撮像走査方向において自動車１００の移動方向と平行な成分とが互いに一致する構成とし、撮像素子１１ａにおける撮像走査方向と画像表示パネル２１ｂ上の表示領域２１２ａにおける表示走査方向とを一致させ、撮像素子１１ｂにおける撮像走査方向と画像表示パネル２１ｂ上の表示領域２１２ｂにおける表示走査方向とを一致させて表示するようにしたので、撮像装置１０ａで撮影された画像と撮像装置１０ｂで撮像された画像とで画像の伸縮方向が逆向きとなることを防ぐことができる。
【０１０５】
（実施形態６）
図２４は、実施形態６に係る撮像表示システムにおける撮像走査期間、画像挿入期間、及び表示走査期間のタイミングチャートの一例を示す図である。図２５は、実施形態６に係る撮像表示システムの表示画像例を示す図である。図２６は、実施形態６に係る撮像表示システムの概略構成の一例を示すブロック図である。図２７は、実施形態６に係る撮像表示システムの表示装置の構成の一例を示すブロック図である。図２８は、実施形態６に係る撮像表示システムにおける同期信号及び走査信号のタイミングチャートの一例を示す図である。なお、上述した実施形態で説明したものと同じ構成要素には同一の符号を付して重複する説明は省略する。また、図２４に示す例では、撮像装置１０ａにおける撮像走査期間ＩＦ１Ａ，ＩＦ２Ａ，・・・と、撮像装置１０ｂにおける撮像走査期間ＩＦ１Ｂ，ＩＦ２Ｂ，・・・と、画像生成装置４０における画像挿入期間ＩｎＦ１，ＩｎＦ２，・・・と、表示装置２０ｃの表示領域２１２ａ，２１２ｃにおける表示走査期間ＤＦ１Ａ，ＤＦ２Ａ，・・・と、表示装置２０ｃの表示領域２１２ｂにおける表示走査期間ＤＦ１Ｂ，ＤＦ２Ｂ，・・・との関係を模式的に示している。なお、図２４に示す例では、処理装置３０ｆの画像処理部３１１，３１２等における画像処理時間を省略している。
【０１０６】
本実施形態では、画像表示パネル２１ｃの表示領域が３つの表示領域２１２ａ，２１２ｂ，２１２ｃで構成されている点では、実施形態４乃至５と同様であり、撮像素子１１ａにおける撮像走査方向及び表示領域２１２ａにおける表示走査方向が、撮像素子１１ｂにおける撮像走査方向及び表示領域２１２ｂにおける表示走査方向とは異なる点では、実施形態５と同様である。実施形態４乃至５では、画像表示パネル上における表示領域２１２ａ，２１２ｂ，２１２ｃの並び順で、時系列で画像表示を行う例を説明したが、本実施形態６では、撮像装置１０ａ，１０ｂで同時に撮像し、且つ、撮像装置１０ａで撮像した画像と、撮像装置１０ｂで撮像した画像とを同時に並べて表示する例について説明する。
【０１０７】
図２４に示すように、撮像装置１０ａにおける撮像走査期間と撮像装置１０ｂにおける撮像走査期間とが一致し、且つ、表示領域２１２ａにおける表示走査期間と表示領域２１２ｂにおける表示走査期間とが一致している。これにより、撮像装置１０ａで撮像した画像と撮像装置１０ｂで撮像した画像とを同時に表示することができる。
【０１０８】
図２６に示すように、処理装置３０ｆは、画像処理部３１１、画像処理部３１２、同期信号生成部３２ｆ、及び画像合成部３４ａを含み構成される。画像処理部３１１は、撮像素子１１ａから出力される画像データに対し、撮像素子１１ａにより撮像された画像を表示装置２０ｃに表示するための画像処理を行う。画像処理部３１２は、撮像素子１１ｂから出力される画像データに対し、撮像素子１１ｂにより撮像された画像を表示装置２０ｃに表示するための画像処理を行い、表示装置２０ｃに出力する。画像合成部３４ａは、画像処理部３１１から出力される撮像装置１０ａの画像と、画像生成装置４０で生成された挿入画像とを合成して表示装置２０ｃに出力する。同期信号生成部３２ｆについては後述する。
【０１０９】
図２７に示すように、パネル駆動部２２ｂは、信号出力回路２２１ａ，２２１ｂ及び走査回路２２２ｃ，２２２ｄを備えている。
【０１１０】
信号出力回路２２１ａ，２２１ｂは、所謂ソースドライバである。信号出力回路２２１ａは、配線ＤＴＬ１によって画像表示パネル２１ｃと電気的に接続されている。信号出力回路２２１ａは、処理装置３０ｆ（画像合成部３４ａ）から出力される撮像装置１０ａで撮像された画像と画像生成装置４０で生成された挿入画像とが合成された画像データに応じて、各画素行毎に信号線ＤＴＬ１を介して出力する映像信号を生成する。信号出力回路２２１ｂは、配線ＤＴＬ２によって画像表示パネル２１ｃと電気的に接続されている。信号出力回路２２１ｂは、処理装置３０ｆ（画像処理部３１２）から出力される撮像装置１０ｂで撮像された画像の画像データに応じて、各画素行毎に信号線ＤＴＬ２を介して出力する映像信号を生成する。
【０１１１】
走査回路２２２ｃ，２２２ｄは、所謂ゲートドライバであり、例えばシフトレジスタ及びバッファ等を含み構成されている。走査回路２２２ｃ，２２２ｄは、それぞれ走査線ＳＣＬによって画像表示パネル２１ｃと電気的に接続されている。
【０１１２】
走査回路２２２ｃは、処理装置３０ｆ（同期信号生成部３２ｆ）から出力される同期信号であるシフトクロック（ＳＦＴ＿ＣＫ）及びスタートパルス（ＳＴ＿Ａ）に応じて、表示領域２１２ａ，２１２ｃの各画素列毎に走査線ＳＣＬを介して出力する走査信号（Ｇａｔｅ＿１，Ｇａｔｅ＿２，Ｇａｔｅ＿３，・・・，Ｇａｔｅ＿Ｎ−２，Ｇａｔｅ＿Ｎ−１，Ｇａｔｅ＿Ｎ，Ｇａｔｅ＿Ｎ＋１，Ｇａｔｅ＿Ｎ＋２，・・・，Ｇａｔｅ＿ｎ−２，Ｇａｔｅ＿ｎ−１，Ｇａｔｅ＿ｎ）を生成する。
【０１１３】
走査回路２２２ｂは、処理装置３０ｆ（同期信号生成部３２ｆ）から出力されるシフトクロック（ＳＦＴ＿ＣＫ）及びスタートパルス（ＳＴ＿Ｂ）に応じて、表示領域２１２ｂの各画素列毎に走査線ＳＣＬを介して出力する走査信号（Ｇａｔｅ＿ｎ＋１，Ｇａｔｅ＿ｎ＋２，・・・，Ｇａｔｅ＿ｍ−１，Ｇａｔｅ＿ｍ）を生成する。
【０１１４】
図２８に示すように、同期信号生成部３２ｆからスタートパルスＳＴ＿Ａが出力されると、シフトクロックＳＦＴ＿ＣＫに同期して、走査回路２２２ｃから走査信号がＧａｔｅ＿１，Ｇａｔｅ＿２，Ｇａｔｅ＿３，・・・，Ｇａｔｅ＿Ｎ−２，Ｇａｔｅ＿Ｎ−１，Ｇａｔｅ＿Ｎの順にシフトしつつ順次出力される。これにより、撮像素子１１ａにおける撮像走査方向と画像表示パネル２１ｃ上の表示領域２１２ａにおける表示走査方向とが一致した状態で、表示領域２１２ａにおける画像表示が行われる。続いて、走査回路２２２ｃから走査信号がＧａｔｅ＿Ｎ，Ｇａｔｅ＿Ｎ＋１，・・・，Ｇａｔｅ＿ｎ−２，Ｇａｔｅ＿ｎ−１の順にシフトしつつ順次出力される。これにより、表示領域２１２ｃにおける画像表示が行われる。
【０１１５】
同期信号生成部３２ｆからスタートパルスＳＴ＿Ａが出力されると同時に、同期信号生成部３２ｆからスタートパルスＳＴ＿Ｂが出力されると、シフトクロックＳＦＴ＿ＣＫに同期して、走査回路２２２ｄから走査信号がＧａｔｅ＿ｎ＋１，Ｇａｔｅ＿ｎ＋２，・・・，Ｇａｔｅ＿ｍ−１，Ｇａｔｅ＿ｍの順にシフトしつつ順次出力される。これにより、表示領域２１２ｂにおける画像表示が行われる。
【０１１６】
上記手順にて画像表示パネル２１ｃ上で１フレーム分の画像表示が行われることにより、撮像装置１０ａで撮像された画像と撮像装置１０ｂで撮像された画像とが同時に表示され、続いて、画像生成装置４０で生成された画像が表示される。
【０１１７】
図２９は、実施形態６の変形例に係る撮像表示システムにおける撮像走査期間、画像挿入期間、及び表示走査期間のタイミングチャートの一例を示す図である。図２９に示す例では、撮像装置１０ａにおける撮像走査期間ＩＦ１−１Ａ，ＩＦ１−２Ａ，ＩＦ２−１Ａ，ＩＦ２−２Ａ，・・・と、撮像装置１０ｂにおける撮像走査期間ＩＦ１−１Ｂ，ＩＦ１−２Ｂ，ＩＦ２−１Ｂ，ＩＦ２−２Ｂ，・・・と、画像生成装置４０における画像挿入期間ＩｎＦ１，ＩｎＦ２，・・・と、表示装置２０ｃの表示領域２１２ａ，２１２ｃにおける表示走査期間ＤＦ１Ａ，ＤＦ２Ａ，・・・と、表示装置２０ｃの表示領域２１２ｂにおける表示走査期間ＤＦ１−１Ｂ，ＤＦ１−２Ｂ，ＤＦ２−１Ｂ，ＤＦ２−２Ｂ，・・・との関係を模式的に示している。なお、図２９に示す例では、処理装置３０ｆの画像処理部３１１，３１２等における画像処理時間を省略している。
【０１１８】
実施形態６の変形例では、１フレーム分の表示を行う間に、複数回撮像装置１０ａ，１０ｂでの撮像を行う。図２９に示す例では、画像生成装置４０で生成された挿入画像を表示している期間を挟み、撮像装置１０ａ，１０ｂで撮像された画像を表示する期間を設けた例を示している。このようにすれば、図２４に示す例と１フレーム分の表示期間が同一であっても、図２４に示す例よりも高いレートで撮像した画像を表示することができる。
【０１１９】
なお、上述した例では、画像生成装置４０により生成された挿入画像を、撮像装置１０ａで撮像された画像と撮像装置１０ｂで撮像された画像との間、つまり、画像表示パネル２１ｃの水平方向の中央に表示する構成例を示したが、挿入画像の表示位置はこれに限らず、例えば、画像表示パネル２１ｃの水平方向の一方端あるいは他方端に表示し、撮像装置１０ａで撮像された画像と撮像装置１０ｂで撮像された画像とを並べて表示する構成であってもよいし、挿入画像を表示せず、撮像装置１０ａで撮像された画像と撮像装置１０ｂで撮像された画像とを並べて表示する構成であってもよい。
【０１２０】
以上説明したように、実施形態６に係る撮像表示システム１ｆによれば、撮像装置１０ａにおける撮像走査期間と撮像装置１０ｂにおける撮像走査期間とを一致させ、且つ、撮像装置１０ａで撮像された画像を表示する表示領域２１２ａにおける表示走査期間と撮像装置１０ｂで撮像された画像を表示する表示領域２１２ｂにおける表示走査期間とを一致させるようにしたので、撮像装置１０ａで撮像した画像と撮像装置１０ｂで撮像した画像とを同時に表示することができる。
【０１２１】
また、１フレーム分の表示を行う間に、複数回撮像装置１０ａ，１０ｂでの撮像を行うことで、より高いレートで撮像した画像を表示することができる。
【０１２２】
（実施形態７）
図３０は、実施形態７に係る撮像表示システムの概略構成の一例を示すブロック図である。なお、上述した実施形態で説明したものと同じ構成要素には同一の符号を付して重複する説明は省略する。
【０１２３】
図３０に示すように、実施形態７に係る撮像表示システム１ｇの処理装置３０ｇは、画像処理部３１ｂ、同期信号生成部３２ｇ、に加え、同期信号生成部３２ｇから出力される同期信号に基づき、撮像素子１１ａから出力される画像データを撮像装置１０ａの撮像走査期間毎に保存するバッファメモリ３３ｄと、撮像素子１１ｂから出力される画像データを撮像装置１０ｂの撮像走査期間毎に保存するバッファメモリ３３ｅとを有している。バッファメモリ３３ｄは、内部に撮像装置１０ａの画像データを２フレーム分保存できるように、２つの領域１，２を有している。バッファメモリ３３ｅは、内部に撮像装置１０ｂの画像データを２フレーム分保存できるように、２つの領域１，２を有している。
【０１２４】
なお、本実施形態に係る撮像表示システム１ｇでは、実施形態２に係る撮像表示システム１ａと同様に、複数（ここでは、２つ）の撮像装置１０ａ，１０ｂを水平方向に並べて配置しているため、実施形態１に係る撮像表示システム１よりも、１つの撮像装置の画角を狭くすることができる。これにより、被写体の像の歪みを実施形態１に係る撮像表示システム１よりも抑制することができる。
【０１２５】
画像処理部３１ｂは、撮像素子１１ａにより撮像され、バッファメモリ３３ｄから出力される画像と、撮像素子１１ｂにより撮像され、バッファメモリ３３ｅから出力される画像とを水平方向に並べて表示装置２０ｄに表示するための画像処理を行う。同期信号生成部３２ｇについては後述する。
【０１２６】
表示装置２０ｄは、例えばカラー液晶表示装置であり、画像表示パネル２１ｄと、画像表示パネル２１ｄの駆動を制御するパネル駆動部２２ｃとを有し、例えば自動車１００のセンターコンソール等に設置されている。図３１は、実施形態７に係る撮像表示システムの表示装置の構成の一例を示すブロック図である。
【０１２７】
図３１に示すように、画像表示パネル２１ｄは、複数の表示画素２１１ａが水平方向（行方向）及び垂直方向（列方向）に並び配列され、表示領域２１２ｄが形成されている。以下、表示画素２１１ａが行方向に並ぶ行を画素行、表示画素２１１ａが列方向に並ぶ列を画素列という。
【０１２８】
パネル駆動部２２ｃは、信号出力回路２２１ｄ及び走査回路２２２ｅを備えている。
【０１２９】
信号出力回路２２１ｄは、所謂ソースドライバであり、配線ＤＴＬによって画像表示パネル２１ｄと電気的に接続されている。信号出力回路２２１ｄは、処理装置３０ｇ（画像処理部３１ｂ）から出力される画像データに応じて、各画素列の表示画素２１１ａを駆動するための映像信号を生成し、信号線ＤＴＬを介して、各画素列毎に映像信号を出力する。
【０１３０】
走査回路２２２ｅは、所謂ゲートドライバであり、例えばシフトレジスタ及びバッファ等を含み構成されている。走査回路２２２ｅは、走査線ＳＣＬによって画像表示パネル２１ｄと電気的に接続されている。走査回路２２２ｅは、処理装置３０ｇ（同期信号生成部３２ｇ）から出力されるシフトクロックやスタートパルスを含む同期信号に応じて走査信号を生成し、走査線ＳＣＬを介して、各画素行毎に走査信号を出力する。
【０１３１】
図３２は、実施形態７に係る撮像表示システムの表示画像例を示す図である。本実施形態では、撮像素子１１ａ，１１ｂにおける撮像走査方向が水平方向であるのに対し、画像表示パネル２１ｄにおける表示走査方向を垂直方向とする。以下、本実施形態における走査方向の水平−垂直変換手法について説明する。
【０１３２】
本実施形態において、バッファメモリ３３ｄ，３３ｅは、各々保存された撮像装置１０ａ，１０ｂの画像データを、例えば、画像表示パネル２１ｄに表示される際に上端部に位置するデータから画像処理部３１ｄに出力し、順次下方に位置するデータを出力していく。
【０１３３】
同期信号生成部３２ｇは、図３２に示す撮像素子１１ａ，１１ｂの撮像走査方向の並び順で、撮像装置１０ａで撮像された画像と、撮像装置１０ｂで撮像された画像とが連続した画像が表示されるように、撮像装置１０ａ、撮像装置１０ｂ、バッファメモリ３３ｄ、バッファメモリ３３ｅ、及び表示装置２０ｄのそれぞれに対して同期信号を生成して出力する。これにより、撮像装置１０ａで撮像された画像と、撮像装置１０ｂで撮像された画像とが、画像表示パネル２１ｄの上端部から順次合成されて１つの画像が形成され、画像表示パネル２１ｄに表示される。
【０１３４】
図３３は、実施形態７に係る撮像表示システムにおける撮像走査期間及び表示走査期間のタイミングチャートの一例を示す図である。図３３に示す例では、撮像装置１０ａにおける撮像走査期間ＩＦ１Ａ，ＩＦ２Ａ，・・・と、撮像装置１０ｂにおける撮像走査期間ＩＦ１Ｂ，ＩＦ２Ｂ，・・・と、バッファメモリ３３ｄに撮像装置１０ａから出力される画像データを保存するバッファ期間ＢＦ１Ａ，ＢＦ２Ａ，・・・と、バッファメモリ３３ｅに撮像装置１０ｂから出力される画像データを保存するバッファ期間ＢＦ１Ｂ，ＢＦ２Ｂ，・・・と、表示装置２０ｄにおける表示走査期間ＤＦ１，ＤＦ２，・・・との関係を模式的に示している。なお、図３３に示す例では、処理装置３０ｇの画像処理部３１ｂ等における画像処理時間を省略している。
【０１３５】
撮像装置１０ａにより撮像走査期間ＩＦ１Ａに撮像された画像データは、バッファメモリ３３ｄの領域１に保存される。撮像装置１０ｂにより撮像走査期間ＩＦ１Ｂに撮像された画像データは、バッファメモリ３３ｅの領域１に保存される。
【０１３６】
バッファメモリ３３ｄ，３３ｅの各領域１に保存された画像データは、続く撮像装置１０ａ，１０ｂの撮像走査期間ＩＦ２Ａ，ＩＦ２Ｂにおいて、水平−垂直変換されて出力される。これにより、表示走査期間ＤＦ１が形成される。また、同時に、撮像装置１０ａにより撮像走査期間ＩＦ２Ａに撮像された画像データは、バッファメモリ３３ｄの領域２に保存され、撮像装置１０ｂにより撮像走査期間ＩＦ２Ｂに撮像された画像データは、バッファメモリ３３ｅの領域２に保存される。
【０１３７】
続く撮像装置１０ａ，１０ｂの撮像走査期間ＩＦ３Ａ，ＩＦ３Ｂにおいて、バッファメモリ３３ｄ，３３ｅの各領域２に保存された画像データが水平−垂直変換されて出力されることで、表示走査期間ＤＦ２が形成され、同時に、撮像装置１０ａ，１０ｂにより撮像された各画像データがバッファメモリ３３ｄ，３３ｅの各領域１に保存される。
【０１３８】
以降、同様な処理が繰り返されることで、撮像素子１１ａにより撮像された画像と、撮像素子１１ｂにより撮像された画像とが合成され、画像表示パネル２１ｄに表示される。
【０１３９】
本実施形態では、バッファメモリ３３ｄ，３３ｅとしてそれぞれ２フレーム分のメモリ容量が必要となるが、１フレーム分の遅延時間で画像データの水平−垂直変換が可能である。また、撮像装置と表示装置とで走査方向を一致させる必要がないので、例えば、撮像装置１０ａ，１０ｂでの撮像走査方向を水平方向として動体の斜め方向の歪みを抑制しつつ、表示走査方向を通常の垂直方向とでき、表示装置の選択自由度を高めることができる。
【０１４０】
以上説明したように、実施形態７に係る撮像表示システム１ｇによれば、撮像装置１０ａで撮像された画像を２フレーム分保存できるバッファメモリ３３ｄと、撮像装置１０ｂで撮像された画像を２フレーム分保存できるバッファメモリ３３ｅとを備え、バッファメモリ３３ｄ，３３ｅに保存された画像データを水平−垂直変換して出力するようにしたので、撮像装置と表示装置とで走査方向を一致させる必要がなく、表示装置の選択自由度を高めることができる。
【０１４１】
図３４は、実施形態１乃至７に係る撮像表示システムの適用例を示す図である。図３４（ａ）は、例えば移動体である自動車１００を、自動車１００の移動方向（進行方向）をＡ矢示方向として上方から見た図である。図３４（ｂ）は、自動車１００の車内を、ハンドル１０４を操作する運転者がシートに着座した視点から見た図である。
【０１４２】
各実施形態における撮像装置１０，１０ａ，１０ｂ，１０ｃは、移動体である自動車１００の左側面部１０１や右側面部１０２、あるいは、左側面後方部１０１ａや右側面後方部１０２ａに配置される。また、各実施形態における表示装置２０，２０ａ，２０ｂ，２０ｃ，２０ｄは、上述のようなセンターコンソールや、図３４（ｂ）に示すように、運転者が通常ピラー１０３越しにサイドミラーを視認する際の視線方向に位置するサイドミラー視認位置１０５に配置される。
【０１４３】
各実施形態における撮像装置１０，１０ａ，１０ｂ，１０ｃ及び表示装置２０，２０ａ，２０ｂ，２０ｃを上述のように配置することで、実施形態１乃至７に係る撮像表示システムは、通常のサイドミラーに代わる、所謂デジタルミラー機能を実現することができる。
【０１４４】
上述した実施形態１乃至７では、撮像装置１０，１０ａ，１０ｂ，１０ｃの撮像素子１１，１１ａ，１１ｂ，１１ｃの撮像走査方向を水平方向としている。このため、実施形態１乃至７に係る撮像表示システムを用いて、上述したデジタルミラーを構成することにより、撮像素子１１，１１ａ，１１ｂ，１１ｃの撮像走査方向が図３４に示す例における自動車１００の進行方向（移動方向）と一致する。これにより、表示装置２０，２０ａ，２０ｂ，２０ｃ，２０ｄに表示される画像の斜め方向の動体歪みを抑制することができ、画像の動体歪みに起因する視認距離の誤認を抑制することができる。
【０１４５】
以上、実施形態について説明したが、上述した各実施形態の構成を組み合わせることも可能であり、上述した内容により本発明が限定されるものではない。また、上述した本発明の構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、上述した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更を行うことができる。
【符号の説明】
【０１４６】
１，１ａ，１ｂ，１ｃ，１ｄ，１ｅ，１ｆ，１ｇ  撮像表示システム
１０，１０ａ，１０ｂ，１０ｃ  撮像装置
１１，１１ａ，１１ｂ，１１ｃ  撮像素子
１２，１２ａ，１２ｂ  レンズ
２０，２０ａ，２０ｂ，２０ｃ，２０ｄ  表示装置
２１，２１ａ，２１ｂ，２１ｃ，２１ｄ  画像表示パネル
２１１，２１１ａ  表示画素
２１２，２１２ａ，２１２ｂ，２１２ｃ，２１２ｄ  表示領域
２２，２２ａ，２２ｂ，２２ｃ  パネル駆動部
２２１，２２１ａ，２２１ｂ，  信号出力回路
２２２，２２２ａ，２２２ｂ，２２２ｃ，２２２ｄ  走査回路
３０，３０ａ，３０ｂ，３０ｃ，３０ｄ，３０ｅ，３０ｆ，３０ｇ  処理装置
３１，３１ａ，３１ｂ，３１１，３１２  画像処理部
３２，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ  同期信号生成部
３３ａ，３３ｂ，３３ｃ，３３ｄ  バッファメモリ
３４，３４ａ  画像合成部
４０  画像生成装置
４１  挿入画像作成部
１００  自動車（移動体）
１０１  左側面部（移動体）
１０１ａ  左側面後方部（移動体）
１０２  右側面部（移動体）
１０２ａ  右側面後方部（移動体）
１０３  ピラー
１０４  ハンドル
１０５  サイドミラー視認位置
２００，２００ａ，２００ｂ  車両（動体）
【図１】
2018121092.tif 000003
【図２】
2018121092.tif 000004
【図３】
2018121092.tif 000005
【図４】
2018121092.tif 000006
【図５】
2018121092.tif 000007
【図６】
2018121092.tif 000008
【図７】
2018121092.tif 000009
【図８】
2018121092.tif 000010
【図９】
2018121092.tif 000011
【図１０】
2018121092.tif 000012
【図１１】
2018121092.tif 000013
【図１２】
2018121092.tif 000014
【図１３】
2018121092.tif 000015
【図１４】
2018121092.tif 000016
【図１５】
2018121092.tif 000017
【図１６】
2018121092.tif 000018
【図１７】
2018121092.tif 000019
【図１８】
2018121092.tif 000020
【図１９】
2018121092.tif 000021
【図２０】
2018121092.tif 000022
【図２１】
2018121092.tif 000023
【図２２】
2018121092.tif 000024
【図２３】
2018121092.tif 000025
【図２４】
2018121092.tif 000026
【図２５】
2018121092.tif 000027
【図２６】
2018121092.tif 000028
【図２７】
2018121092.tif 000029
【図２８】
2018121092.tif 000030
【図２９】
2018121092.tif 000031
【図３０】
2018121092.tif 000032
【図３１】
2018121092.tif 000033
【図３２】
2018121092.tif 000034
【図３３】
2018121092.tif 000035
【図３４】
2018121092.tif 000036