(57)【要約】【課題】物体に向けて左右に水平配置された一対のカメラを用い、短時間露光と長時間露光を同時に行い、輪郭線のはっきりした画像を得るものである。【解決手段】所定のシャッター時間で前方物体を撮像して第１画像信号を出力する一方のカメラと同一方向に向けられて配置され、前記前方物体を撮像して第２画像信号を出力する他方のカメラと、該双方のカメラから出力される第１画像と第２画像との間のずれを修正する画像ずれ修正手段と、該画像ずれ修正手段で修正された第１画像と第２画像とを重ね合わせて出力する画像合成手段とを備えたものである。【選択図】　　　　図１
2004135074.tif 000002
【特許請求の範囲】
【請求項１】
所定のシャッター時間で前方物体を撮像して第１画像信号を出力する一方のカメラと、
該一方のカメラと同一方向に向けられて配置され、その一方のカメラよりも小さいシャッター時間で前記前方物体を撮像して第２画像信号を出力する他方のカメラと、
該双方のカメラから出力される第１画像と第２画像との間のずれを修正する画像ずれ修正手段と、
該画像ずれ修正手段で修正された第１画像と第２画像とを重ね合わせて合成し、その合成画像を出力する画像合成手段と
を備えた撮像装置。
【請求項２】
前記一方のカメラが１回シャッター操作される間に他方のカメラは、複数回シャッター操作されることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記他方のカメラが撮像した複数画像は、それぞれの画像を構成する画素のうち、同一画素同士を互いに比較し、一番明るい画素の明るさデータを選択して、１画像に形成してなることを特徴とする請求項２記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ダイナミックレンジを実質的に増大させた電子カメラ（ＣＣＤカメラ）を用いた撮像装置に関する。
【０００２】
【従来の技術】
従来のこの種の装置の一例としては、１つのＣＣＤカメラで同一物体を短時間露光Ｓ１と長時間露光Ｌ１との両方で交互に連続的に撮像し（図４参照）、それらの短時間露光Ｓ１によって得られた画像と長時間露光Ｌ１によって得られた画像とを合成して１つの画像を得ることによって、ダイナミックレンジを拡大するものである（例えば、特許文献１参照）。
【０００３】
しかしながら、このような従来の装置にあっては、例えば図５に示すように撮像エリア１を撮像するためにＣＣＤカメラを露光している間に、太陽光線によって照らされたエリア（斜線部分）が符号Ａ１で示される部分から符号Ａ２で示される部分に移動した場合、すなわち１画像の撮像中に太陽光線によって照らされてエリアが、符号Ａ１の部分から符号Ａ２の部分に移動してしまった場合には、太陽光線で照らされた部分Ａ３が、帯状になり、特にダイナミックレンジを広く取れないという問題点があった。
特に露光中に図５に符号Ａ１，Ａ２で示すように照らされる部分が離れてしまい、符号Ａ１で示される部分が照らされている間の短時間露光Ｓ１によって撮像された画像と、符号Ａ２で示される部分が照らされている間の長時間露光Ｌ１によって撮像された画像とが大きく異なってしまうので、その双方の画像を合成して得られた画像の画質は劣化し、ダイナミックレンジは広がらないという問題点があった。
【０００４】
具体的には、日差しの強い木漏れ日の中を走行するような場合には、図５に示すように、符号１で示す撮像エリア、すなわち自動車に乗った乗員の一部分を示すエリアの中を強い日差しが符号Ａ１で示す斜線部分から符号Ａ２で示す斜線部分まで矢印方向に移動することになる。
例えば、木漏れ日の中を自動車が時速１００ｋｍで走行したような場合には、ＣＣＤカメラのシャッター速度、すなわち露光時間Ｌが仮に１０ｍｓと考えると、その露光時間Ｌの間に、前記強い日差しの当たる部分Ａ１，Ａ２が２８ｃｍ移動することになり、ＣＣＤカメラで撮像された画像の中に強い日差しが当たる部分Ａ１，Ａ２、すなわち短時間露光Ｓ１によって図６（Ａ）に示すような楕円形状の白抜け部分（斜線部分）が撮像され、また長時間露光Ｓ２によって図６（Ｂ）に示すような長円形状の白抜け部分（斜線部分）が撮像され、それらが互いに重ならないので補完ができず、ダイナミックレンジを拡張することを目的とする画像合成等の信号処理ができないという問題点が発生する恐れがあった。
【０００５】
この問題を解決する手法として提案されているものは、第１の露光時間＞第２の露光時間＞…＞第ｎの露光時間の関係を持つ露光時間を設定する露光時間設定手段と、前記露光時間の配置が第１の露光時間・第２の露光時間・…・第ｎの露光時間・第（ｎ−１）の露光時間・…・第２の露光時間・第１の露光時間となるように上記露光時間設定手段の露光状態を設定する露光時間状態配置手段と、前記（２ｎ−１）個の露光状態により露光されて撮像された画像から合成画像を得る手段とを備え、短い露光時間が、撮像順番から言えば時間的な中間位置に配置されるために、被写体が動く場合、（２ｎ−１）種類の露光時間の最初と最後に一番長い露光時間が配置され、また中央に一番短い露光時間が配置されるのでバランスの取れた画像を得ることができる（特許文献２参照）。
【０００６】
【特許文献１】
特許第３０４０３７９号公報
【特許文献２】
特開平６−２２５２１７号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、この手法による画像は、写真として自然なものにしようとするものであるために周囲がぼけて犠牲になっても中央が鮮明になることによって効果を発揮するものであり、被写体のはっきりした輪郭線が欲しい場合には、依然として長時間露光のダイナミックレンジを補えるものではない。
【０００８】
そこで、この発明は、車室内の物体の位置を検出するために、物体に向けて左右に水平配置された一対のカメラを用い、短時間露光と長時間露光を同時に行い、輪郭線のはっきりした画像を得ることを目的とするものである。
【０００９】
具体的には、一方のＣＣＤカメラが短時間露光を、例えば４〜６回連続して行中の間に他方のＣＣＤカメラが長時間露光を１回行い、それが終了すると反対に他方のＣＣＤカメラが同一回数短時間露光を連続して行い、一方のＣＣＤカメラが長時間露光を１回行うものである。
【００１０】
そして、それによって選られた画像のダイナミックレンジを拡大し、撮像された乗員等の物体の輪郭の画像を鮮明に得ようとするものである。
【００１１】
【課題を解決するための手段】
この発明に係る撮像装置は、所定のシャッター時間で前方物体を撮像して第１画像信号を出力する一方のカメラと、該一方のカメラと同一方向に向けられて配置され、その一方のカメラよりも小さいシャッター時間で前記前方物体を撮像して第２画像信号を出力する他方のカメラと、該双方のカメラから出力される第１画像と第２画像との間のずれを修正する画像ずれ修正手段と、該画像ずれ修正手段で修正された第１画像と第２画像とを重ね合わせて合成し、その合成画像を出力する画像合成手段とを備えたものである。
【００１２】
また、前記一方のカメラが１回シャッター操作される間に他方のカメラを複数回シャッター操作し、それによって得られた複数画像を構成する画素のうち、同一画素同士を互いに比較し、一番明るい画素の明るさデータを選択して、１画像に形成することによって、さらに高速に移動する日差しなどの影響を受けない合成画像が得られ、ダイナミックレンジをさらに改善できる。
【００１３】
【発明の実施の形態】
以下に述べるこの発明は、一方のＣＣＤカメラが短時間露光中の時は他方のＣＣＤカメラが長時間露光を行い、他方のＣＣＤカメラが短時間露光中の時は一方のＣＣＤカメラが長時間露光を行う。しかも、その長時間露光中における短時間露光は数回連続して行うことに特徴がある。
【００１４】
実施の形態１．
次に実施の形態を図１及び図２に基づいて以下に説明する。
１０は撮像対象である被写体で、例えば車両内助手席に着座している物体で、ここでは人間である。１１，１２は車両のルームミラーの取り付け部に助手席方向に向けて取り付けられ、同一撮像方向にセットされた左側及び右側ＣＣＤカメラで、後述のタイミング発生手段１３から供給されるパルス（図２のＳ３参照）がハイレベルの時は、左側ＣＣＤカメラ１１が短時間露光を行い、右側ＣＣＤカメラ１２が長時間露光を行なう。また、左側及び右側ＣＣＤカメラ１１，１２で撮像された画像データは、それぞれに対応して接続された第１左画像記憶手段１４又は第１右画像記憶手段１５のそれぞれに掃き出され、記憶せしめ、その後に掃き出し及び記憶が終了すると、その終了タイミングでリセットされる。
【００１５】
タイミング発生手段１３は、出力ラインＳ１から短時間露光用のパルスＰ１（図２Ｓ１，Ｓ２の狭い幅のパルスＰ１〜Ｐ４参照）を複数個連続して出力した後に長時間露光用のパルスＬ１を左側ＣＣＤカメラ１１に供給し、また出力ラインＳ２から長時間露光用のパルスＬ２（図２Ｓ１，Ｓ２の広い幅のパルスＬ１〜Ｌ４参照）を出力した後に短時間露光用のパルスＰ２を複数個連続して右側ＣＣＤカメラ１２に供給する。
なお、パルスＰ１〜Ｐ４は同一パルスでまたパルスＬ１〜Ｌ４も同一パルスである。
【００１６】
また、タイミング発生手段１３は、出力ラインＳ３から後述の第１画像合成手段１６、第２画像合成手段１７、スイッチ手段２０及び距離検出手段２４のそれぞれに図２のＳ３で示す制御信号（左側及び右側ＣＣＤカメラ１１，１２の選択状況を示す信号）を供給する。
【００１７】
なお、出力ラインＳ１，Ｓ２に出力されるパルスのモードは位相が、図２のＳ１，Ｓ２に示すように１８０度異なっている。すなわち、前記出力ラインＳ１に短時間露光用のパルスＰ１，Ｐ２が出力されているときには、前記出力ラインＳ２には長時間露光用のパルスＬ２が、また前記出力ラインＳ１に長時間露光用のパルスＬ１が出力されているときには、前記出力ラインＳ２には短時間露光用のパルスＰ２，Ｐ４が出力されている。
第１左画像記憶手段１４及び第１右画像記憶手段１５は、前記左側ＣＣＤカメラ１１及び右側ＣＣＤカメラ１２のうち対応する方から画像データが供給されるとき、それを一時的に記憶し、それぞれから適宜第１及び第２画像合成手段１６，１７に供給される。
【００１８】
第１画像合成手段１６は、タイミング発生手段１３の出力ラインＳ３から供給される制御信号がハイレベルのときには第１左画像記憶手段１４から供給される短時間露光によって得られる画像の合成を行い、ダイナミックレンジ拡大手段１９に供給する。また、制御信号がローレベルのときには第１左画像記憶手段１４から供給される長時間露光によって得られる画像を加工せずにダイナミックレンジ拡大手段１９に供給する。
【００１９】
第２画像合成手段１７は、逆に、タイミング発生手段１３の出力ラインＳ３から供給される制御信号がローレベルのときには第１右画像記憶手段１５から供給される短時間露光によって得られる画像の合成を行い、画像ずらし手段１８に供給する。また、制御信号がハイレベルのときには第１右画像記憶手段１５から供給される長時間露光によって得られる画像を加工せずに画像ずらし手段１８に供給する。
【００２０】
なお、第１及び第２画像合成手段１６，１７における画像の合成は、図３に模式図的に示した図に基づいて以下に説明する。なお、画像合成に関して第１及び第２画像合成手段１６，１７は、実質同一機能を有するものであるので第１画像合成手段１６を例にとって説明する。
【００２１】
第１画像合成手段１６は、第１左画像記憶手段１４から供給される４つの画像データ（図３（Ａ）〜（Ｄ）参照）を合成するに当たり、単純な加算や平均だと、４つの画像データの同一部分が明るいと、その明るい部分ばかりが明るくなり、そうでない部分は暗くなるという問題が生じるため、４つの各画像（図３（Ａ）〜（Ｄ）参照）の同じ画素同士の明るさ、換言すると、画像データをＸＹ座標で考えた場合には同一座標同士の明るさを比較して、明るさを示す値の大きい（明るい）方を採用するという形で合成する。
【００２２】
具体的には、図３に示す模式図（Ａ）〜（Ｄ）において説明する。
たとえば、第１左画像記憶手段１４から供給される４つの画像の各画素の明るさを示す値（数値が大きい程明るい）が図に与えられているような場合を想定すると、各画像データにおけるＸＹ座標の明るさは次のようである。
座標（１，１）の明るさは、画像データＡは「６」、画像データＢは「４」、画像データＣは「６」、画像データＤは「６」であるので、合成後の画像データＥの明るさは「６」である。
座標（２，１）の明るさは、画像データＡは「８」、画像データＢは「８」、画像データＣは「８」、画像データＤは「６」であるので、合成後の画像データＥの明るさは「８」である。
以後同様にして短時間露光における合成画像が作られる。
【００２３】
次に、符号１８で示される画像ずらし手段は、前記第１画像合成手段１６に対する前記第２画像合成手段１７の画像データの左右方向へのずれ量を後述の距離検出手段２４からの、双方のＣＣＤカメラ１１，１２の画像データのずれ量から三角測量の原理を用いて算出された距離に基づいた指示、すなわち前回の画像データに基づいて後述の距離検出手段２４で算出された距離に応じたずれ量に従って補正し、一致せしめる。
【００２４】
ダイナミックレンジ拡大手段１９は、前記第１画像合成手段１６に対して前記画像ずらし手段１８を介して供給される前記第２画像合成手段１７からの画像データを重ねあわせて合成する。
なお、この画像合成に当たっては、前記第１画像合成手段１６及び画像ずらし手段１８の双方から供給される画像データを構成する各画素の明るさを示す値を各画素毎に単純平均して合成画像の各画素を求め、その合成した画像データを、図示されない外部回路、例えば画像データの中から人の頭等の輪郭を抽出するための演算回路に対して出力する。
【００２５】
２０はスイッチ手段で、前記タイミング発生手段１３から供給される制御信号（図２のＳ３参照）がハイレベルである場合には接点間を破線の如く接続してダイナミックレンジ拡大手段１９からの出力を第２左画像記憶手段２２に供給して記憶せしめる。
またローレベルである場合には接点間を実線の如く接続してダイナミックレンジ拡大手段１９からの出力を第２右画像記憶手段２１に供給して記憶せしめる。
【００２６】
２３は画像ずれ戻し手段で、第２右画像記憶手段２１から供給される画像データを、距離検出手段２４から供給される、画像ずれ量を示す信号を制御信号として入力し、その制御信号の非供給状態から供給状態への切り替えタイミングに合わせて、前記画像ずらし手段１８でずらしたずれ量分だけ元に戻して距離検出手段２４に供給する。
【００２７】
２４は距離検出手段で、第２左画像記憶手段２２から供給される左側ＣＣＤカメラ１１で撮像された最新の画像データと、画像ずれ戻し手段２３から供給される右側ＣＣＤカメラ１２で撮像された最新の画像データとに基づいて、双方の画像データの左右方向へのずれ量、すなわち撮像された対象物体までの距離を算出し、前記図示されない外部回路へ出力すると共に、その算出されたずれ量を次回の画像合成のために画像ずらし手段１８に供給し、そのずらした画像データを元に戻すために画像ずれ戻し手段２３に供給する。
【００２８】
次に、上記構成による作動を以下に説明する。
（図２の区間Ｔ１のとき）
タイミング発生回路１３の出力ラインＳ１に短いパルスＰ１が４つ連続的に出力され、それに基づいて左側ＣＣＤカメラ１１は、４回の短時間露光を行い、４回分の画像データを第１左画像記憶手段１４に記憶せしめる。
【００２９】
また、右側ＣＣＤカメラ１２にはタイミング発生手段１３から信号ラインＳ２に１つの長いパルスＬ１が出力されるので、それに基づいて右側ＣＣＤカメラ１２は長時間露光を行い、その長時間露光の画像データは第１右画像記憶手段１５に記憶せしめる。
【００３０】
また、このときタイミング発生手段１３から信号ラインＳ３にハイレベルな制御信号が供給されているので、第１画像合成手段１６は、第１左画像記憶手段１４に記憶されている４つの短時間露光で作成された画像データの各画素について同一座標同士で比較し、その比較した同一座標の画素の明るさのうち一番明るい画素をその座標での画素の真の明るさと判断し、短時間露光による画像データの合成を行う一方で、第２画像合成手段１７は、第１右画像記憶手段１５に記憶された１つの画像データをそのまま画像ずらし手段１８に供給し、その画像データを距離検出手段２４から供給されるずらし量に従って左右方向にずらす。
【００３１】
その結果、ダイナミックレンジ拡大手段１９は、第１画像合成手段１６及び画像ずらし手段１８から画像データが供給されるので、その第１画像合成手段１６及び画像ずらし手段１８のそれぞれから供給される画像データを合成して、スイッチ手段２０に供給すると共に、前記図示されない外部回路に供給する。
【００３２】
この時、タイミング発生手段１３からのハイレベルな制御信号によってスイッチ手段２０に供給されているので、スイッチ手段２０の接点は実線で示されているように接続されており、ダイナミックレンジ拡大手段１９で合成された画像データは第２右画像記憶手段２１に記憶され、画像ずれ戻し手段２３で画像データが左側ＣＣＤカメラ１１からの画像データに合わされる前のずれ操作が行なわれる前の、ずらされていない画像データに戻され、距離検出手段２４に供給され、距離検出手段２４は、前記合成された画像との間のずれ量に基づいて物体１０までの距離が算出され画像ずらし手段１８及び画像ずれ戻し手段２３に出力されると共に，前記図示されない外部回路に出力される。
【００３３】
（図２の区間Ｔ２のとき）
（図２の区間Ｔ１のとき）とは逆に、タイミング発生回路１３の出力ラインＳ２に短いパルスＰ２，Ｐ４が４つ連続的に出力され、また右側ＣＣＤカメラ１２にはタイミング発生手段１３の信号ラインＳ１に１つの長いパルスＬ１が出力されるので、それに基づいて左側ＣＣＤカメラ１１は長時間露光を行い、右側ＣＣＤカメラ１２は短時間露光を４回連続して行う。その結果、ダイナミックレンジ拡大手段１９は、第１画像合成手段１６から供給される画像データに、画像ずらし手段１８から供給される画像データを合成して、スイッチ手段２０に供給する。この時、スイッチ手段２０の接点は破線で示されているように接続されており、第２左画像記憶手段２２に記憶される。
【００３４】
その結果、距離検出手段２４は、第２右画像記憶手段２１に記憶されている画像をずらす前の元の状態の画像と、第２左画像記憶手段２２に記憶された画像データとの左右方向の画像のずれ量を算出して次回のずれ量として画像ずらし手段１８及び画像ずれ戻し手段２３に供給すると共に、そのずれ量に基づいて物体１０までの距離を算出し、図示されない外部回路に出力する。
【００３５】
【発明の効果】
この発明に係る撮像装置によれば、このように、短時間露光と長時間露光が同時にかつ、長時間露光中に短時間露光を常に行っているので、高速な日差しの変化にも対応可能になり、得られる画像の輪郭線をハッキリ撮像することができる。
また、短時間露光と長時間露光を同時に行うにあたり、１つのカメラに複数の撮像素子を必要としないという効果が得られる。
また、短時間露光を複数回にすることによって撮像される画像の品質を向上できる。またさらには、短時間露光による複数画像を合成するときには、一番明るい画素の明るさを有する画素を選択して、１画像に合成することによって画像の白抜けの度合いを低減でき、画像のダイナミックレンジを改善できるという効果が得られる。
【図面の簡単な説明】
【図１】本発明による実施の形態１を示す回路ブロック説明図である。
【図２】図１における回路ブロックを説明するためのタイミングチャートである。
【図３】本発明の要部をなす画像合成の仕方を説明する説明図である。
【図４】従来例を説明するためのタイミングチャートである。
【図５】従来の問題点を説明するための説明図である。
【図６】従来の問題点を説明するための説明図である。
【符号の説明】
１０　被写体（物体）
１１　左側ＣＣＤカメラ
１２　右側ＣＣＤカメラ
１３　タイミング発生手段
１４　第１左画像記憶手段
１５　第１右画像記憶手段
１６　第１画像合成手段
１７　第２画像合成手段
１８　画像ずらし手段
１９　ダイナミックレンジ拡大手段
２０　スイッチ手段
２１　第２右画像記憶手段
２２　第２左画像記憶手段
２３　画像ずれ戻し手段
２４　距離検出手段
【図１】
2004135074.tif 000003
【図２】
2004135074.tif 000004
【図３】
2004135074.tif 000005
【図４】
2004135074.tif 000006
【図５】
2004135074.tif 000007
【図６】
2004135074.tif 000008