(57)【特許請求の範囲】
【請求項１】
撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、
上記フレームメモリに蓄積する画像の蓄積枚数を、低輝度の画素ほど上記蓄積枚数を増加させる態様で、画素の輝度値に応じて画素ごとに変更する蓄積枚数変更手段を備えてなることを特徴とする映像入力装置。
【請求項２】
上記撮像手段により、複数の画像が一定の露光量をもって撮像されることを特徴とする請求項１記載の映像入力装置。
【請求項３】
蓄積枚数の異なる画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えてなることを特徴とする請求項２記載の映像入力装置。
【請求項４】
上記撮像手段により、複数の画像が露光時間を異ならせて撮像されることを特徴とする請求項１記載の映像入力装置。
【請求項５】
露光時間を異ならせて撮像した画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えてなることを特徴とする請求項４記載の映像入力装置。
【請求項６】
上記フレームメモリが、互いに異なる蓄積枚数を固定的に設定された複数のフレームメモリよりなることを特徴とする請求項２または４記載の映像入力装置。
【請求項７】
上記蓄積枚数を計数するカウンタと、上記フレームメモリに蓄積された画素の輝度値を所定のしきい値とを比較する比較器と、該比較器による比較に基づいて、上記しきい値よりも小さい輝度を有する画素の輝度値を上記フレームメモリに蓄積された輝度値に加算する加算器とを備えてなることを特徴とする請求項２または４記載の映像入力装置。
【請求項８】
電荷蓄積時間の制御可能な電荷蓄積型撮像手段を備え、該撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、
上記撮像手段における電荷蓄積時間を制御する制御手段を備え、該制御手段による電荷蓄積時間の制御の下に上記撮像手段により、蓄積時間が長い画像と短い画像とを交互に獲得し、低照度部分は上記蓄積時間が長い画像の画素情報を用い、高照度部分は上記蓄積時間が短い画像の画素情報を用いて、画像を合成するとともに、
上記蓄積時間が長い画像と短い画像の画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えていることを特徴とする映像入力装置。
【請求項９】
上記補正手段が、下記の式を用いて輝度値を補正することを特徴とする請求項８記載の映像入力装置。
【数１】
0003700232.tif 000005
但し、Ｌ（ｘ，ｙ）：蓄積時間が長い画像の座標（ｘ，ｙ）における輝度値
Ｓ（ｘ，ｙ）：蓄積時間が短い画像の座標（ｘ，ｙ）における輝度値
Ｈ（ｘ，ｙ）：補正画像の座標（ｘ，ｙ）における輝度値
Ｔ ：輝度のしきい値
ｎ ：蓄積時間が長い画像と短い画像との蓄積時間比（ｎ＞１）
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像入力装置に関し、特にＣＣＤカメラ等の撮像手段のダイナミックレンジを広げることができる映像入力装置に関する。
【０００２】
【従来の技術】
車両にＣＣＤカメラを搭載して道路前方の映像を画像処理することにより走行路認識および障害物認識を行なう装置や、ＣＣＤカメラを用いた車両用後方監視装置が知られているが、これらの装置を夜間に使用すると、前方車両や後続車両のヘッドライト部分の映像の輝度情報が飽和してグレアを生じ、画像認識ために必要十分な映像情報を得ることができなかったり、あるいは後方の監視に不都合を生じたりするという問題がある。一方、オートアイリスや電子シャッターの機能を用いて露光量を減少させると、明るい部分の飽和が解消されてグレアを防止することができるが、逆に暗い部分の映像情報が失われてしまうことになる。
【０００３】
これは、一般的なＣＣＤカメラのダイナミックレンジ（Ｓ／Ｎ比）が高々４０dB程度であるのに対し、夜間の道路シーン中の対象物の明るさのレンジは１Lux〜１００，０００Lux 程度（５０dB）の範囲に及ぶためである。すなわち、従来のＣＣＤカメラでは、夜間の道路シーンを撮像するにはダイナミックレンジが不足しており、暗い部分から明るい部分まで一度に映像を入力することは不可能であった。
【０００４】
このため、例えば特開昭６２−２３８４３号に記載された車両用視認補助装置では、特定波長領域の光を車両から照射して、この光によって照射された対象物を上記特定波長領域の光の狭帯域フィルタを介してＣＣＤカメラで撮像することによって、対象物からの光量を減少させることなく、ヘッドライト等の幻惑光の光量のみを減少させるようにしている。
【０００５】
また、車載ＣＣＤカメラのダイナミックレンジを広げる従来技術として、２種類のシャッタースピード、例えば1/60秒と1/100 秒をもって撮像した画像を合成することが知られている。これによって、明るい部分の映像情報が飽和することがないから、グレアを防止することができ、かつ、暗い部分の映像情報もある程度得ることができる。
【０００６】
さらに、暗い部分の映像を鮮明に撮像する従来技術として、電荷蓄積型ＣＣＤカメラを用いることが知られている。この場合は、比較的遅いシャッタースピード（1/30 秒〜１秒）をもって撮像することにより、照明の届かない非常に暗い対象物も、明るく、鮮明な映像を得ることができ、屋外監視用装置として利用されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記公報に記載された技術では、特定波長領域の光の照射装置を必要とする欠点があり、また、上記のＣＣＤカメラのダイナミックレンジを広げる従来技術では、シャッタースピードを遅くしようとしても1/60秒が限度であるため、これによって得た暗い部分の映像情報は十分のものとは言えず、この技術を用いた走行路認識・障害物認識装置あるいは後方監視装置は、夜間性能が不満足なものであった。
【０００８】
さらに、上記電荷蓄積型ＣＣＤカメラを用いた場合は、暗い部分の鮮明な映像を入力できるが、カメラのダイナミックレンジは広がっておらず、このため、明るい部分と暗い部分とが混在するシーンを撮像しようとするとき、明るい部分の映像情報が飽和しないように、かつ、暗い部分の映像情報は鮮明になるように映像を入力することは困難である。
【０００９】
上述の事情に鑑み、本発明は、明るい部分の映像情報が飽和しないようにし、かつ、暗い対象物の映像も明るく、かつ鮮明に撮像することが可能な映像入力装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明による映像入力装置は、ＣＣＤカメラのような撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、
上記フレームメモリに蓄積する画像の蓄積枚数を、低輝度の画素ほど上記蓄積枚数を増加させる態様で、画素の輝度値に応じて画素ごとに変更する蓄積枚数変更手段を備えてなることを特徴とするものである。
【００１１】
また、上記撮像手段により、複数の画像を一定の露光量をもって撮像してもよいし、あるいは、複数の画像を露光時間を異ならせて撮像してもよい。
【００１２】
さらに、蓄積枚数の異なる画素間で、あるいは露光時間を異ならせて撮像した画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えていることが好ましい。
【００１３】
上記フレームメモリは、互いに異なる蓄積枚数を固定的に設定された複数のフレームメモリによって構成することができる。
【００１４】
あるいは、蓄積枚数を計数するカウンタと、上記フレームメモリに蓄積された画素の輝度値を所定のしきい値とを比較する比較器と、この比較器による比較に基づいて、上記しきい値よりも小さい輝度を有する画素の輝度値を上記フレームメモリに蓄積された輝度値に加算する加算器とを設けてもよい。
【００１５】
また、本発明による映像入力装置は、電荷蓄積時間の制御可能な電荷蓄積型撮像手段を備え、該撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、  上記撮像手段における電荷蓄積時間を制御する制御手段を備え、該制御手段による電荷蓄積時間の制御の下に上記撮像手段により、蓄積時間が長い画像と短い画像とを交互に獲得し、低照度部分は上記蓄積時間が長い画像の画素情報を用い、高照度部分は上記蓄積時間が短い画像の画素情報を用いて、画像を合成することを特徴とするものである。
【００１６】
この場合も、蓄積時間が長い画像と短い画像の画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えているものとする。
【００１７】
そして、上記補正手段による輝度値の補正は、下記の式を用いて行なうことができる。
【００１８】
【数２】
0003700232.tif 000002
【００１９】
但し、Ｌ（ｘ，ｙ）：蓄積時間が長い画像の座標（ｘ，ｙ）における輝度値
Ｓ（ｘ，ｙ）：蓄積時間が短い画像の座標（ｘ，ｙ）における輝度値
Ｈ（ｘ，ｙ）：補正画像の座標（ｘ，ｙ）における輝度値
Ｔ ：輝度のしきい値
ｎ ：蓄積時間が長い画像と短い画像との蓄積時間比（ｎ＞１）
【００２０】
【発明の効果】
本発明によれば、フレームメモリに蓄積する画像の蓄積枚数を、低輝度の画素ほど上記蓄積枚数を増加させる態様で、画素の輝度値に応じて画素ごとに変更する蓄積枚数変更手段を備えていることにより、画素ごとに最適な露光量をもって映像を入力することができるから、明るい部分の画像を飽和させることなしに、暗い部分の画像に対して露光量を等価的に増大させることができるため、例えば車両のヘッドライトによるグレアを低減しながら、暗い部分の映像を明るく、かつ鮮明に撮像することができる。
【００２１】
また、蓄積枚数の異なる画素間で、あるいは露光時間を異ならせて撮像した画素間で輝度変化が少なくなるように輝度値を補正する補正手段を設けた場合は、明るい部分から暗い部分までの輝度情報を連続的に、かつ滑らかに変化させることができるから、自然な画像を得ることができる。
【００２２】
さらに、蓄積枚数を計数するカウンタと、上記フレームメモリに蓄積された画素の輝度値を所定のしきい値とを比較する比較器と、この比較器による比較に基づいて、上記しきい値よりも小さい輝度を有する画素の輝度値を上記フレームメモリに蓄積された輝度値に加算する加算器とを設けることにより、互いに異なる蓄積枚数を固定的に設定された複数のフレームメモリを設ける必要がなくなるから、蓄積枚数の変更に柔軟に対応でき、かつ、処理回路が簡単になる利点がある。
【００２３】
ところで、ＣＣＤ素子の出力には映像信号成分と雑音成分とがあるが、低輝度領域では、映像信号成分に対して雑音成分が相対的に大きい。このため、上述のように、低輝度の画素のフレームメモリへの蓄積枚数を増加させる場合には、低輝度領域の雑音成分も増幅されるから、Ｓ／Ｎ比（映像信号成分／雑音成分）の低下は否めない。
【００２４】
そこで、電荷蓄積時間の制御可能な電荷蓄積型撮像手段を用いて、蓄積時間が長い画像と短い画像とを交互に獲得し、低照度部分は、蓄積時間を長くして信号電荷量を増やした画像の画素情報を用い、高照度部分は蓄積時間が短い画像の画素情報を用いて、画像を合成するとにより、明るい部分の映像を飽和させることなしに、かつ暗い部分の映像を高Ｓ／Ｎ比をもって明るく、より鮮明に撮像することができる。
【００２５】
そして、この場合も、蓄積時間が長い画像と短い画像の画素間で輝度変化が少なくなるように輝度値を補正することにより、自然な画像を得ることができる。
【００２６】
【発明の実施の形態】
以下、図面を参照して、本発明による映像入力装置の実施の形態について説明する。
【００２７】
理解を容易にするために、本発明による映像入力装置の第１の実施の形態の構成の説明に先立って、この第１の実施の形態において行なわれる処理について説明する。画像の蓄積枚数ｎは予め設定されているものとして、ここではｎ＝４とする。
【００２８】
先ず、画像を１枚入力する。この１枚目の画像の座標（ｘ，ｙ）における輝度値をＩ1 （ｘ，ｙ）とする。このとき、明るい部分（ヘッドライトの光の部分）の輝度情報が飽和しないように、電子シャッターのスピードを速くして、もしくはレンズのアイリス（絞り）を絞って、露光量を制御する。この画像では、露光量を少なくしているため、明るい部分の輝度情報は飽和しないが、暗い部分の情報はノイズに埋もれてしまっており、獲得不能である。
【００２９】
次に、２枚目の画像を１枚目と同じ露光量で撮像し、この２枚目の画像の座標（ｘ，ｙ）における輝度値をＩ2 （ｘ，ｙ）とする。そして、１枚目の画像において輝度値が所定のしきい値Ｔ1 よりも小さい画素、すなわち、Ｉ1 （ｘ，ｙ）＜Ｔ1 となる画素について、Ｉ1 （ｘ，ｙ）とＩ2 （ｘ，ｙ）とを足し合わせる。このようにして得られた蓄積枚数が２枚の画素の輝度値をＪ2 （ｘ，ｙ）とすると、Ｊ2 （ｘ，ｙ）は次式で表すことができる。
【００３０】
Ｉ1 （ｘ，ｙ）＜Ｔ1 のとき
Ｊ2 （ｘ，ｙ）＝Ｉ1 （ｘ，ｙ）＋Ｉ2 （ｘ，ｙ）             (1)
画像を２枚蓄積すると露光量が２倍となるため、蓄積枚数が２枚の画像の輝度値Ｊ2 は、蓄積しない画像の輝度値Ｊ1 の２倍となる。したがって、次式が成立する。
【００３１】
Ｊ1 ＝（1/2 ）Ｊ2                                  (2)
ここで、画像の深さを８ビット、すなわち２５６階調とすると、Ｊ2 （ｘ，ｙ）≧２５６のとき座標（ｘ，ｙ）の画素の輝度情報が飽和する。(2) 式より、Ｊ2 ＝２５６のときＪ1 ＝１２８となるため、Ｉ1 （ｘ，ｙ）≧１２８である画素を蓄積すると輝度情報が飽和してしまう。そこで、しきい値Ｔ1 ＝１２８と設定する。
【００３２】
このように画像を２枚足し合わせる（蓄積する）ことにより等価的に露光量を２倍にすることができる（レンズの絞りを開けることと同じ効果が得られる）ため、暗い部分の映像を明るく、かつ鮮明に入力することができる。
【００３３】
しかしながら、画像を２枚足し合わせても、露光量が足りず、輝度情報がノイズに埋もれている画素がある。そこで、３枚目の画像を１、２枚目と同じ露光量で撮像し、その３枚目の画像の座標（ｘ，ｙ）における輝度値をＩ3 （ｘ，ｙ）とする。そして、蓄積枚数が２枚の画像において輝度値が所定のしきい値Ｔ2 よりも小さい画素、すなわち、Ｊ2 （ｘ，ｙ）＜Ｔ2 となる画素について、Ｊ2 （ｘ，ｙ）とＩ3 （ｘ，ｙ）とを足し合わせる。このようにして得られた蓄積枚数が３枚の画素の輝度値をＪ3 （ｘ，ｙ）とすると、Ｊ3 （ｘ，ｙ）は次式で表すことができる。
【００３４】
Ｊ2 （ｘ，ｙ）＜Ｔ2 のとき
Ｊ3 （ｘ，ｙ）＝Ｊ2 （ｘ，ｙ）＋Ｉ3 （ｘ，ｙ）
＝Ｉ1 （ｘ，ｙ）＋Ｉ2 （ｘ，ｙ）＋Ｉ3 （ｘ，ｙ）     (3)
蓄積枚数が３枚の画像の露光量は、蓄積枚数が２枚の画像の露光量の3/2 倍となるため、蓄積枚数が３枚の画像の輝度値Ｊ3 は、蓄積枚数が２枚の画像の輝度値Ｊ2 の3/2 倍となる。したがって、次式が成立する。
【００３５】
Ｊ2 ＝(2/3) Ｊ3                                 (4)
画像の深さが８ビットであるため、J3 ≧２５６のとき座標（ｘ，ｙ）の画素の輝度情報が飽和する。(4) 式より、Ｊ3 ＝２５６のときＪ2 ＝１７１となるため、Ｊ2 （ｘ，ｙ）≧１７１である画素を蓄積すると輝度情報が飽和してしまう。そこで、しきい値Ｔ2 ＝１７１と設定する。
【００３６】
さらに、画像を３枚足し合わせても、露光量が足りず、輝度情報がノイズに埋もれている画素がある。そこで、４枚目の画像を１〜３枚目と同じ露光量で撮像し、その４枚目の画像の座標（ｘ，ｙ）における画素の輝度値をＩ4 （ｘ，ｙ）とする。そして、蓄積枚数が３枚の画像において輝度値が所定のしきい値Ｔ3 よりも小さい画素、すなわち、Ｊ3 （ｘ，ｙ）＜Ｔ3 となる画素について、Ｊ3 （ｘ，ｙ）とＩ4 （ｘ，ｙ）とを足し合わせる。このようにして得られた蓄積数が４枚の画素の輝度値をＪ4 （ｘ，ｙ）とすると、Ｊ4 （ｘ，ｙ）は次式で表すことができる。
【００３７】
Ｊ3 （ｘ，ｙ）＜Ｔ3 のとき
Ｊ4 （ｘ，ｙ）＝Ｊ3 （ｘ，ｙ）＋Ｉ4 （ｘ，ｙ）
＝Ｉ1 （ｘ，ｙ）＋Ｉ2 （ｘ，ｙ）＋Ｉ3 （ｘ，ｙ）
＋Ｉ4 （ｘ，ｙ）                                 (5)
蓄積枚数が４枚の画像の露光量は、蓄積枚数が３枚の画像の露光量の4/3 倍となるため、蓄積枚数が４枚の画像の輝度値Ｊ4 は、蓄積枚数が３枚の画像の輝度値Ｊ3 の4/3 倍となる。したがって、次式が成立する。
【００３８】
Ｊ3 ＝(3/4) Ｊ4                                  (6)
画像の深さが８ビットであるため、Ｊ4 ≧２５６のとき座標（ｘ，ｙ）の画素の輝度情報が飽和する。(6) 式より、Ｊ4 ＝２５６のときＪ3 ＝１９２となるため、Ｊ3 （ｘ，ｙ）≧１９２である画素を蓄積すると輝度情報が飽和してしまう。そこで、しきい値Ｔ3 ＝１９２と設定する。
【００３９】
以上のような処理を行なうと、最も暗い部分の画素の蓄積枚数は４枚となり、明るくなるにつれて蓄積枚数が３枚、２枚、１枚（蓄積なし）となって、画素ごとに蓄積枚数が異なる画像が得られる。そして、蓄積枚数が１枚の画素Ｊ1 （ｘ，ｙ）、２枚の画素Ｊ2 （ｘ，ｙ）、３枚の画素Ｊ3 （ｘ，ｙ）、４枚の画素Ｊ4 （ｘ，ｙ）の輝度値が採り得る範囲は、それぞれ次の４つの式からなる(7) 式のようになる。
【００４０】
１２８≦Ｊ1 （ｘ，ｙ）＜２５６
１７１≦Ｊ2 （ｘ，ｙ）＜２５６                   (7)
１９２≦Ｊ3 （ｘ，ｙ）＜２５６
０≦Ｊ4 （ｘ，ｙ）＜２５６
横軸を明るさに、縦軸を輝度値にとって、(7) 式をグラフに描くと図１が得られる。しかしながら、図１のような画素ごとに蓄積枚数が異なる画像では、暗い部分から明るい部分にかけて輝度情報が連続的に変化していないため、自然な画像を得ることができない。そこで、暗い部分から明るい部分にかけて輝度値が滑らかに変化するように、Ｊ3 ，Ｊ2 ，Ｊ1 を補正する。
【００４１】
先ず、輝度値Ｊ4 とＪ3 とが連続的に繋がるように、式(8) を用いてＪ3 を補正する。
【００４２】
Ｊ3 ′＝２５５＋（Ｊ3 −１９１）                 (8)
次に、Ｊ3 ′とＪ2 とが連続的に繋がるように、式(9) を用いてＪ2 を補正する。
【００４３】
Ｊ2 ′＝２５５＋（２５５−１９１）＋（Ｊ2 −１７０）
＝３１９＋（Ｊ2 −１７０） (9)
さらに、Ｊ2 ′とＪ1 とが連続的に繋がるように、(10)式を用いてＪ1 を補正する。
【００４４】
Ｊ1 ′＝２５５＋（３１９−１７０）＋（Ｊ1 −１２７）
＝４０４＋（Ｊ1 −１２７）                 (10)
以上のようにして、Ｊ1 ，Ｊ2 ，Ｊ3 をそれぞれＪ1 ′，Ｊ2 ′，Ｊ3 ′に補正すると、Ｊ1 ′，Ｊ2 ′，Ｊ3 ′に採り得る範囲は、下記の４つの式からなる(11)式ようになる。
【００４５】
４０５≦Ｊ1 ′（ｘ，ｙ）＜５３３
３２０≦Ｊ2 ′（ｘ，ｙ）＜４０５                 (11)
２５６≦Ｊ3 ′（ｘ，ｙ）＜３２０
０≦Ｊ4 （ｘ，ｙ）＜２５６
再び横軸を明るさに、縦軸を輝度値にとって、(11)式をグラフに描くと図２が得られる。図２から明らかなように、式(8) ，(9) ，(10)を用いて輝度値を補正した画像は、画素間の輝度変化が少なく、輝度が連続的に滑らかに繋がっているため、自然な画像を得ることができる。
【００４６】
最後に５３３階調もある輝度を、次の４つの式からなる(12)式を用いて、フレームメモリの一般的な階調である２５６階調に変換する。
【００４７】
Ｊ1 ′＝Ｊ1 ′＊（２５６／５３３）
Ｊ2 ′＝Ｊ2 ′＊（２５６／５３３）             (12)
Ｊ3 ′＝Ｊ3 ′＊（２５６／５３３）
＝Ｊ4 ＊（２５６／５３３）
以上の処理を施すことにより、図１に示すようにＣＣＤカメラのダイナミックレンジをＤＲ1 からＤＲ2 に広げることができる。すなわち、画素ごとに蓄積枚数を変更して、明るい部分（ヘッドライト光）で輝度情報が飽和せず、暗い部分で、明るく、かつ鮮明な映像情報を得ることができる。さらに、必要に応じて、ヒストグラムを改善することにより、暗い部分のコントラストを高くすることができる。
【００４８】
以上説明した本発明の実施の形態は、画像の最大蓄積枚数を４とした場合であるが、蓄積枚数は任意に設定することができ、蓄積枚数をｎとした場合は、各式を次のように変更すればよい。
【００４９】
式(1),(3),(5)     Ｊ1 ＝Ｉ1
Ｊk ＝Ｊk-1 ＋Ｉk
＝Ｉ1 ＋Ｉ2 ＋…＋Ｉk
（ただし、ｋ＝１，２，…，ｎ）
式(2),(4),(6)     Ｊk ＝[k/(k+1)] Ｊk+1
（ただし、ｋ＝１，２，…，ｎ−１）
しきい値Ｔn  Ｔk ＝[k/(k+1)] ＊２５６
（ただし、ｋ＝２，…，ｎ−１）
式(7)            Ｔ1 ≦Ｊ1 （ｘ，ｙ）＜２５６
Ｔ2 ≦Ｊ2 （ｘ，ｙ）＜２５６
…
Ｔk ≦Ｊk （ｘ，ｙ）＜２５６
…
０≦Ｔn （ｘ，ｙ）＜２５６
（ただし、ｋ＝１，２，…，ｎ）
【００５０】
【数３】
0003700232.tif 000003
【００５１】
図３は、以上の処理を施すための映像入力装置の第１の実施の形態の回路例を示すブロック図であり、蓄積枚数ｎ＝４の場合を示す。１はＣＣＤカメラ、２は、電子シャッターまたはレンズのアイリス（絞り）を制御する回路、３はアドレス発生回路である。
【００５２】
ＣＣＤカメラ１で撮像された映像信号はＡ／Ｄ変換器４でデジタル信号に変換され、フレームメモリ５ａ〜５ｄに蓄積されるが、メモリ５ａ（メモリ１）は１枚目の画像（≧１２８）を記憶するメモリ、メモリ５ｂ（メモリ２）は１枚目と２枚目の画像を足し合わせた画像を記憶するメモリ、メモリ５ｃ（メモリ３）は１〜３枚目の画像を足し合わせた画像を記憶するメモリ、メモリ４は１〜４枚目の画像を足し合わせた画像を記憶するメモリである。輝度値Ｊ1 ，Ｊ2 ，Ｊ3 は、ルックアップ・テーブル（ＬＵＴ）６ａ〜６ｃでそれぞれ式(8) 〜(10)に基づいてＪ1 ′，Ｊ2 ′，Ｊ3 ′に補正され（図２）、かつＪ1 ′，Ｊ2 ′，Ｊ3 ′およびＪ4 に対してルックアップ・テーブル（ＬＵＴ）６ａ〜６ｄによって式(12)に示す２５６階調への変換がなされる。そして、変換されたＪ1 ′，Ｊ2 ′，Ｊ3 ′およびＪ4 を合成した映像情報がメモリ７に格納され、かつこのメモリ７から読み出されてＤ／Ａ変換器８でアナログ情報に変換されて出力される。
【００５３】
なお、図３の回路では、ルックアップ・テーブル（ＬＵＴ）６ａ〜６ｄにおいて、Ｊ1 ，Ｊ2 ，Ｊ3 をそれぞれＪ1 ′，Ｊ2 ′，Ｊ3 ′に補正し、かつ２５６階調に変換してから、その変換したＪ1 ′，Ｊ2 ′，Ｊ3 ′およびＪ4 を足し合わせているが、先に足し合わせてから変換を行なってもよい。
【００５４】
図４は、本発明の第２の実施の形態を示すブロック図である。この第２の実施の形態の回路では、蓄積枚数を任意に設定することができるから、映像の蓄積回数の変更に柔軟に対応でき、かつ回路構成がより簡単になる。
【００５５】
図４の回路では、画像を蓄積するための１個のフレームメモリ５を備えており、かつＣＣＤカメラ１からの同期信号を用いて、カウンタ９で蓄積枚数をカウントしている。そして、カウンタ９からの蓄積枚数情報は、しきい値Ｔを記憶しているメモリ１０に与えられ、このメモリ１０から蓄積枚数に対応するしきい値が、比較器１１に出力される。比較器１１では、メモリ５に蓄積されているデータＤと、メモリ１０から出力されるしきい値Ｔとを比較して、比較結果をセレクタ１２に出力する。セレクタ１２では、比較器１１の比較結果がＤ≧Ｔであれば０（データＤ２）を選択し、Ｄ＜Ｔであれば、メモリ５からのデータＤ１を選択する。セレクタ１２の出力は、加算器１３でＡ／Ｄ変換器４の出力に加算されてフレームメモリ５に蓄積されるように構成されている。
【００５６】
すなわち、Ｄ≧Ｔのとき、セレクタ１２が０を選択するという処理は、画素の輝度がしきい値Ｔよりも明るければ映像を足し合わさないという操作になり、Ｄ＜Ｔのとき、セレクタ１２がメモリ５からのデータＤ１を選択するという処理は、画素の輝度がしきい値Ｔよりも暗ければ映像を足し合わせてフレームメモリ５に書き込むという操作になる。そして、メモリ５から読み出された映像情報が一旦メモリ７に蓄積された後、ルックアップ・テーブル６で上述のような補正および変換がなされて、２５６階調の自然な画像に変換され、次いでＤ／Ａ変換器８でアナログ情報に変換されて出力される。
【００５７】
次に本発明による画像入力装置の第３の実施の形態について説明する。
【００５８】
先ず、第３の実施の形態において行なわれる処理について説明すると、シャッタースピードを変えることができる電子シャッターを備えたＣＣＤカメラを用いて、異なるシャッタースピードで画像を撮像する。例えば、シャッタースピードｔ1 ，ｔ2 で撮像した画像をＩ1 （ｔ1 ，ｘ，ｙ），Ｉ（ｔ2 ，ｘ，ｙ）とする。ｔ1 ，ｔ2 はｔ1 ＝Ｎt ・ｔ2 （ただしＮt ＞１）なる関係があるとする。すなわち、ｔ2 の方がシャッタースピードが速い。例えば、ｔ1 ＝１／６０秒、ｔ2 ＝１／２４０秒とすると、Ｎt ＝４となる。
【００５９】
画像Ｉ1 （ｔ1 ，ｘ，ｙ）の中で輝度がしきい値Ｓ1 （例えば、Ｓ1 ＝２４０）よりも大きい画素について、画像Ｉ（ｔ2 ，ｘ，ｙ）の輝度値と入れ替える。
【００６０】
Ｉ1 （ｔ1 ，ｘ，ｙ）≧Ｓ1 のとき
Ｊ1 （ｔ2 ，ｘ，ｙ）＝Ｉ（ｔ2 ，ｘ，ｙ）
Ｉ1 （ｔ1 ，ｘ，ｙ）＜Ｓ1 のとき
Ｊ1 （ｔ1 ，ｘ，ｙ）＝Ｉ1 （ｔ1 ，ｘ，ｙ）
シャッタースピードｔ1 とｔ2 との間にはｔ1 ＝Ｎt ・ｔ2 の関係があるため、画像Ｉ（ｔ2 ，ｘ，ｙ）の露光量は、画像Ｉ1 （ｔ1 ，ｘ，ｙ）の露光量の１／Ｎt 倍になっている。すなわち、Ｉ（ｔ2 ，ｘ，ｙ）＝（１／Ｎt ）・Ｉ1 （ｔ1 ，ｘ，ｙ）となる。したがって、Ｓ1 ≦Ｉ1 （ｔ1 ，ｘ，ｙ）である画素は、次式で示す関係を満たすようになる。
【００６１】
Ｓ1 ≦Ｉ1 （ｔ1 ，ｘ，ｙ）＝Ｎt ・Ｉ（ｔ2 ，ｘ，ｙ）
Ｓ1 ／Ｎt ≦ Ｉ（ｔ2 ，ｘ，ｙ）＜２５６
Ｓ1 ／Ｎt ≦Ｊ1 （ｔ2 ，ｘ，ｙ）＜２５６
このようにすることで、明るい部分はシャッタースピードを速くして露光量を少なくし、輝度情報が飽和することを防ぐことができる。
【００６２】
次に、画像Ｊ1 （ｘ，ｙ）の中で輝度がしきい値Ｓ1 よりも小さい画素について蓄積処理を行なう。例えば、蓄積枚数をｎ＝３とする。
【００６３】
シャッタースピードｔ1 で２枚目の画像Ｉ2 （ｔ1 ，ｘ，ｙ）を撮像する。画像Ｊ1 （ｘ，ｙ）の中で輝度がしきい値Ｔ1 よりも小さい画素について２枚目の画像の輝度値Ｉ2 （ｔ1 ，ｘ，ｙ）を加え、蓄積枚数が２枚の画像Ｊ2 （ｘ，ｙ）を得る。
【００６４】
Ｊ1 （ｘ，ｙ）＜Ｔ1 のとき
Ｊ2 （ｘ，ｙ）＝Ｊ1 （ｘ，ｙ）＋Ｉ2 （ｔ1 ，ｘ，ｙ）
＝Ｉ1 （ｔ1 ，ｘ，ｙ）＋Ｉ2 （ｔ1 ，ｘ，ｙ）
Ｔ1 ≦Ｊ1 （ｘ，ｙ）＜Ｓ1 のとき
Ｊ2 （ｘ，ｙ）＝Ｊ1 （ｘ，ｙ）
＝Ｉ1 （ｔ1 ，ｘ，ｙ）
画像を２枚蓄積することにより等価敵に露光量が２倍となるため、蓄積しない画像の輝度Ｊ1 （ｔ1 ）と蓄積枚数が２枚の画像の輝度Ｊ2 （ｔ1 ）との間には、理想的にはＪ2 （ｔ1 ）＝２Ｊ1 （ｔ1 ）の関係が成り立つ。したがって、Ｊ1 （ｔ1 ）≧１２８である画像について蓄積を行なうと、蓄積した画像はＪ2 （ｔ1 ）≧２５６となり、飽和してしまう。そこで、しきい値としてＴ1 ＝１２８を選ぶ。
【００６５】
さらに、画像Ｊ2 （ｘ，ｙ）の中で輝度がしきい値Ｔ2 よりも小さい画素についてさらに蓄積処理を行なう。
【００６６】
シャッタースピードｔ1 で３枚目の画像Ｉ3 （ｔ1 ，ｘ，ｙ）を撮像する。画像Ｊ2 （ｘ，ｙ）の中で輝度がしきい値Ｔ2 よりも小さい画素について３枚目の画像の輝度値Ｉ3 （ｔ1 ，ｘ，ｙ）を加え、蓄積枚数が３枚の画像Ｊ3 （ｘ，ｙ）を得る。
【００６７】
Ｊ2 （ｘ，ｙ）＜Ｔ2 のとき
Ｊ3 （ｘ，ｙ）＝Ｊ2 （ｘ，ｙ）＋Ｉ3 （ｔ1 ，ｘ，ｙ）
＝Ｉ1 （ｔ1 ，ｘ，ｙ）＋Ｉ2 （ｔ1 ，ｘ，ｙ）
＋Ｉ3 （ｔ1 ，ｘ，ｙ）
Ｔ2 ≦Ｊ2 （ｘ，ｙ）＜２５６のとき
Ｊ3 （ｘ，ｙ）＝Ｊ2 （ｘ，ｙ）
＝Ｉ1 （ｔ1 ，ｘ，ｙ）＋Ｉ2 （ｔ1 ，ｘ，ｙ）
蓄積枚数が２枚の画像の輝度Ｊ2 （ｔ1 ）と蓄積枚数が３枚の画像の輝度Ｊ3（ｔ1 ）との間には、理想的にはＪ3 （ｔ1 ）＝(3/2) Ｊ2 （ｔ1 ）の関係が成り立つ。したがって、Ｊ2 （ｔ1 ）≧１７１である画像について蓄積を行なうと、蓄積した画像はＪ3 （ｔ1 ）≧２５６となり、飽和してしまう。そこで、しきい値としてＴ2 ＝１７１を選ぶ。
【００６８】
以上のように蓄積処理を行なうことにより、等価的に露光量を多くすることができるため、暗い部分の映像を明るく、かつ鮮明に入力することができる。そして、シャッタースピードｔ1 で撮像した画像Ｉ1 （ｔ1 ）の中で輝度がしきい値Ｓ1 （＝２４０）よりも大きい画素について、シャッタースピードｔ2 で撮像した画像Ｉ（ｔ2 ）の輝度値と入れ替えた画素Ｊ1 （ｔ2 ）、シャッタースピードｔ1 で撮像した蓄積枚数が１枚の画素Ｊ1 （ｔ1 ）、２枚の画素Ｊ2 （ｔ1 ）、３枚の画素Ｊ3 （ｔ1 ）の輝度値が採り得る範囲は、下記の式に示すようになる。
【００６９】
６０≦Ｊ1 （ｔ2 ）＜２５６
１２８≦Ｊ1 （ｔ1 ）＜２４０
１７１≦Ｊ2 （ｔ1 ）＜２５６
０≦Ｊ3 （ｔ1 ）＜２５６
横軸に明るさを、縦軸に輝度値をとってグラフを描くと、図５のようになり、ダイナミックレンジがＤＲ1 からＤＲ2 に拡大されているが、輝度値が明るさに対して単調増加していないため、自然な画像が得られない。そこで、前述した第１の実施の形態と同様に、輝度値を補正すると、下記の式に示すようになる。
【００７０】
Ｊ3 ′（ｔ1 ）＝Ｊ3 （ｔ1 ）
Ｊ2 ′（ｔ1 ）＝２５５＋｛Ｊ2 （ｔ1 ）−１７０｝
Ｊ1 ′（ｔ1 ）＝２５５＋（２５５−１７０）＋｛Ｊ1 （ｔ1 ）−１２７｝
＝３４０＋｛Ｊ1 （ｔ1 ）−１２７｝
Ｊ1 ′（ｔ2 ）＝２３９＋（３４０−１２７）＋｛Ｊ1 （ｔ2 ）−５９｝
＝４５２＋｛Ｊ1 （ｔ2 ）−５９｝
以上のようにしてＪ1 （ｔ2 ），Ｊ1 （ｔ1 ），Ｊ2 （ｔ1 ）を補正すると、Ｊ1 ′（ｔ2 ），Ｊ1 ′（ｔ1 ），Ｊ2 ′（ｔ1 ），Ｊ3 ′（ｔ1 ）が採り得る範囲は次のようになる。
【００７１】
４５３≦Ｊ1 ′（ｔ2 ）＜６４９
３４１≦Ｊ1 ′（ｔ1 ）＜４５３
２５６≦Ｊ2 ′（ｔ1 ）＜３４１
０≦Ｊ3 ′（ｔ1 ）＜２５６
明るさを横軸に、輝度値を縦軸に取りグラフを描くと、図６のようになり、輝度値が連続的に繋がっているため、自然な画像をうることができる。
【００７２】
最後に、次式を用いて、階調を６４９階調から２５６階調へ変換し、その後、必要に応じてヒストグラムの改善を行なえばよい。
【００７３】
Ｊ1 ′（ｔ2 ）＝Ｊ1 ′（ｔ2 ）＊（２５６／６４９）
Ｊ1 ′（ｔ1 ）＝Ｊ1 ′（ｔ1 ）＊（２５６／６４９）
Ｊ2 ′（ｔ1 ）＝Ｊ2 ′（ｔ1 ）＊（２５６／６４９）
Ｊ3 ′（ｔ1 ）＝Ｊ3 ′（ｔ1 ）＊（２５６／６４９）
以上の処理を行なうことにより、図５に示すようにダイナミックレンジを広げることができる。すなわち、明るい部分は輝度情報が飽和していない映像を、暗い部分は明るく、かつ鮮明な画像を入力することができる。さらに、ヒストグラムを改善することにより、暗い部分のコントラストを高くすることができる。
【００７４】
なお、以上の説明では、蓄積枚数ｎ＝３、シャッタースピードｔ1 ＝１／６０秒、ｔ2 ＝１／２４０秒としたが、これは任意に設定することができる。
【００７５】
図７は、本発明による映像入力装置の第３の実施の形態の回路例を示すブロック図である。図７のブロック図では、図４の電子シャッターまたはレンズのアイリス（絞り）を制御する回路２に代えて、シャッタースピード制御回路２０を備えていることと、処理内容が異なることを除いては、図４の回路と同様であるから、対応する要素に同一符号を付し、重複する説明は省略する。
【００７６】
次に、本発明による映像入力装置の第４の実施の形態について説明する。
【００７７】
図８はＣＣＤカメラに用いられるＣＣＤ撮像素子への入射光量と出力信号との関係を表す光電変換特性を両対数グラフで示したものである。図８から明らかなように、低照度領域の撮像限界はアンプ雑音やリセットノイズにより決定される。したがって、暗い被写体を高Ｓ／Ｎ比をもって撮像するためには、これらの雑音を減らすか、あるいはＣＣＤ撮像素子における電荷蓄積時間を長くして、信号電荷量（信号電子数）を増加させることが重要となる。すなわち、電荷蓄積時間を長くすると、信号電荷量が増加することにより、図９に示すように、より低照度の領域の撮像が可能となる。
【００７８】
ところが、電荷蓄積時間を長くすることにより、信号電子数が飽和し始める照度が低くなるため、グレア発生領域が広がってしまう。
【００７９】
そこで、本実施の形態では、電荷蓄積時間ｔを制御することができるＣＣＤカメラを用いて、電荷蓄積時間が長い画像（例えば、ｔ＝４／３０sec ）と電荷蓄積時間が短い画像（例えば、ｔ＝１／６０sec ）とを交互に撮像し、低照度の部分は電荷蓄積時間が長い画像の画素情報を用い、高照度の部分は電荷蓄積時間が短い画像の画素情報を用いて、新しい画像を合成している。合成した新しい画像の光電変換特性は図１０に示すようになり、ヘッドライトの光による飽和がなく、かつ低照度部分は明るく、かつＳ／Ｎ比の高い画像となる。
【００８０】
以下、図１１のタイムチャートを参照しながら、本実施の形態における処理の流れを述べる。
【００８１】
(1) 電荷蓄積時間が長い画像（例えば、ｔ＝４／３０sec ）と、電荷蓄積時間が短い画像（例えば、ｔ＝１／６０sec ）とを交互に撮像しながら以下の処理を行なう（図１１(a) ）
(2) 電荷蓄積時間が長い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＬ1（ｘ，ｙ）とする（ｘ、ｙは画素の座標値）
(3) Ａ／Ｄ変換した画像Ｌ1 （ｘ，ｙ）をフレームメモリ１へ転送し、書き込む（図１１(b) ）。
【００８２】
(4) 次に、電荷蓄積時間が短い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＳ1 （ｘ，ｙ）とする(5) Ａ／Ｄ変換した画像Ｓ1 （ｘ，ｙ）をフレームメモリ１へ転送し、処理(6) を実行する（図１１(b) ）
(6) フレームメモリ１の座標（ｘ，ｙ）に書き込まれている画像Ｌ1 （ｘ，ｙ）の画素の輝度値を、所定のしきい値Ｔと比較し、Ｌ1 （ｘ，ｙ）＞Ｔであれば、Ｓ1 （ｘ，ｙ）を補正処理（後述）した後、フレームメモリ１の座標（ｘ，ｙ）に書き込む。Ｌ1 （ｘ，ｙ）≦Ｔであれば、書き込まれているＬ1 （ｘ，ｙ）を補正処理して再びフレームメモリ１に書き込む。
【００８３】
(7) 次に、電荷蓄積時間が長い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＬ2 （ｘ，ｙ）とする
(8) Ａ／Ｄ変換した画像Ｌ2 （ｘ，ｙ）をフレームメモリ２へ転送し、書き込む（図１１(d) ）。
【００８４】
(9) 次に、電荷蓄積時間が短い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＳ2 （ｘ，ｙ）とする
(10)Ａ／Ｄ変換した画像Ｓ2 （ｘ，ｙ）をフレームメモリ１へ転送し、処理(11)を実行する（図１１(d) ）
(11)フレームメモリ２の座標（ｘ，ｙ）に書き込まれている画像Ｌ2 （ｘ，ｙ）の画素の輝度値を、所定のしきい値Ｔと比較し、Ｌ2 （ｘ，ｙ）＞Ｔであれば、Ｓ2 （ｘ，ｙ）を補正処理（後述）した後、フレームメモリ１の座標（ｘ，ｙ）に書き込む。Ｌ2 （ｘ，ｙ）≦Ｔであれば、書き込まれているＬ2 （ｘ，ｙ）を補正処理して再びフレームメモリ２に書き込む。
【００８５】
(12)以下、(2) 〜(12)の処理を繰り返す
(13)映像出力は、フレームメモリ１で処理 (2)〜(6) を行なっているときにはフレームメモリ２の画像を出力し、フレームメモリ２で処理 (7)〜(11)を行なっているときにはフレームメモリ２の画像を出力する（図１１(c) ，(e)）。
【００８６】
なお、上述の処理では、Ｓ1 （ｘ，ｙ）またはＬ1 （ｘ，ｙ）に対して、またＳ2 （ｘ，ｙ）またはＬ2 （ｘ，ｙ）に対して補正処理を行なっているが、これら補正処理を施さない場合は、図１０に示すように、照度に対して電子数が単調増加していない。すなわち、明るさに対して輝度値が単調増加してないから、自然な映像が得られない。そこで、前述の実施の形態と同様に、輝度値を補正して自然な映像に変換する。
【００８７】
電荷蓄積時間が長い（例えば、ｔ＝ｎ・ｔ0 ）画像Ｌ（ｘ，ｙ）と、電荷蓄積時間が短い（例えば、ｔ＝ｔ0 ）画像Ｓ（ｘ，ｙ）の間には、理想的にはＬ（ｘ，ｙ）＝ｎ・Ｓ（ｘ，ｙ）の関係が成立する。そこで、下記の式を用いて補正画像Ｈ（ｘ，ｙ）を生成する。
【００８８】
【数４】
0003700232.tif 000004
【００８９】
但し、Ｌ（ｘ，ｙ）：蓄積時間が長い画像の座標（ｘ，ｙ）における輝度値
Ｓ（ｘ，ｙ）：蓄積時間が短い画像の座標（ｘ，ｙ）における輝度値
Ｈ（ｘ，ｙ）：補正画像の座標（ｘ，ｙ）における輝度値
この補正は、上述の処理 (3)，(6) ，(8) ，(11)で行なう。この補正により、明るさに対して輝度値が単調増加となり、自然な映像が得られる。
【００９０】
図１２は、本発明による映像入力装置の第４の実施の形態の回路例を示すブロック図である。図１２のブロック図では、電荷蓄積時間ｔを制御することができるＣＣＤカメラ４１のために蓄積時間制御回路４２を設け、これをコントローラ４０でコントロールする。
【００９１】
ＣＣＤカメラ４１から出力される映像信号は、Ａ／Ｄ変換器４３でＡ／Ｄ変換されて、演算回路４４ａを経てフレームメモリ４５ａ（フレームメモリ１）に転送されるとともに、上述の補正演算を行なう演算回路４４ｂを経てフレームメモリ４５ｂ（フレームメモリ２）に転送される。また、ＣＣＤカメラ４１から出力される映像信号に含まれる同期信号は、垂直・水平同期分離回路４６で分離されてアドレス発生回路４７に与えられ、ここで、フレームメモリ４５ａ，４５ｂのためのアドレス信号が作成される。
【００９２】
フレームメモリ４５ａ，４５ｂからそれぞれ読み出された蓄積時間が長い画像Ｌ1 （ｘ，ｙ），Ｌ2 （ｘ，ｙ）の画素情報は比較器４８ａ，４８ｂでそれぞれでしきい値Ｔと比較され、その比較結果によりメモリコントローラ４９ａ，４９ｂが演算回路４４ａ，４４ｂをそれぞれ制御して、上述の式に従って補正を行なわせるとともに、メモリコントローラ４９ａ，４９ｂがフレームメモリ４５ａ，４５ｂの動作をそれぞれ制御する。図１１のタイミングチャートに示すように、交互に出力されるフレームメモリ４５ａ，４５ｂの出力は、Ｄ／Ａ変換器５０でＤ／Ａされて外部に出力される。Ａ／Ｄ変換器４３およびＤ／Ａ変換器５０には、ドットクロック発生回路５１からクロック信号が与えられる。
【図面の簡単な説明】
【図１】  本発明による映像入力装置の第１の実施の形態における処理の説明に供するグラフ
【図２】  本発明による映像入力装置の第１の実施の形態における処理において輝度値を補正したグラフ
【図３】  本発明による映像入力装置の第１の実施の形態の回路構成を示すブロック図
【図４】  本発明による映像入力装置の第２の実施の形態の回路構成を示すブロック図
【図５】  本発明による映像入力装置の第３の実施の形態における処理の説明に供するグラフ
【図６】  本発明による映像入力装置の第３の実施の形態における処理において輝度値を補正したグラフ
【図７】  本発明による映像入力装置の第３の実施の形態の回路構成を示すブロック図
【図８】  ＣＣＤ撮像素子の光電変換特性を示すグラフ
【図９】  電荷蓄積時間を長くしたときの光電変換特性を示すグラフ
【図１０】  本発明による映像入力装置の第４の実施の形態における光電変換特性を示すグラフ
【図１１】  本発明による映像入力装置の第４の実施の形態における処理のタイミングチャート
【図１２】  本発明による映像入力装置の第４の実施の形態の回路構成を示すブロック図
【符号の説明】
１，４１ ＣＣＤカメラ
２ 電子シャッターまたはオートアイリス制御回路
３，４７ アドレス発生回路
４，４３ Ａ／Ｄ変換器
５，５ａ〜５ｄ，７，４５ａ，４５ｂ フレームメモリ
６，６ａ〜６ｄ ルックアップ・テーブル
８，５０ Ｄ／Ａ変換器
９ カウンタ
１０ メモリ
１１，４８ａ，４８ｂ 比較器
１２ セレクタ
１３ 加算器
２０ シャッタースピード制御回路
４０ コントローラ
４２ 電荷蓄積時間制御回路
４４ａ，４４ｂ 演算回路
４９ａ，４９ｂ メモリコントローラ
【図１】
0003700232.tif 000006
【図２】
0003700232.tif 000007
【図３】
0003700232.tif 000008
【図４】
0003700232.tif 000009
【図５】
0003700232.tif 000010
【図６】
0003700232.tif 000011
【図７】
0003700232.tif 000012
【図８】
0003700232.tif 000013
【図９】
0003700232.tif 000014
【図１０】
0003700232.tif 000015
【図１１】
0003700232.tif 000016
【図１２】
0003700232.tif 000017