(57)【特許請求の範囲】
【請求項１】
撮像素子と、前記撮像素子の各撮像ポイントの画像平均値を演算する演算手段と、ゲインをパラメータとする画像蓄積時間と画像平均値との関係を表わす特性曲線を有する調光手段とを備えた自動調光装置において、
前記撮像素子は、第１のゲインと当該ゲインに対応する所定の画像蓄積時間で撮像し、前記演算手段は、その撮像結果に基づいて第１の画像平均値を演算し、前記調光手段は、第１のゲインに対応する所定の画像蓄積時間のときに第１の画像平均値となるように第１のゲインの特性曲線を定め、第１の画像平均値が所定範囲内にある場合には、当該特性曲線を用いて画像平均値の最適値に対応するように画像蓄積時間を調整し、
第１の画像平均値が所定範囲よりも小さい場合には、前記撮像素子は、第１のゲインよりも大きな第２のゲインと当該ゲインに対応する所定の画像蓄積時間で撮像し、前記演算手段は、その撮像結果に基づいて第２の画像平均値を演算し、前記調光手段は、第２のゲインに対応する所定の画像蓄積時間のときに第２の画像平均値となるように第２のゲインの特性曲線を定め、当該ゲインの特性曲線を用いて画像平均値の最適値に対応する画像蓄積時間を演算し、
第１の画像平均値が所定範囲よりも大きい場合には、前記撮像素子は、第１のゲインよりも小さな第３のゲインと当該ゲインに対応する所定の画像蓄積時間で撮像し、前記演算手段は、その撮像結果に基づいて第３の画像平均値を演算し、前記調光手段は、第３のゲインに対応する所定の画像蓄積時間のときに第３の画像平均値となるように第３のゲインの特性曲線を定め、当該ゲインの特性曲線を用いて画像平均値の最適値に対応する画像蓄積時間を演算することを特徴とする自動調光装置。
【請求項２】
前記調光手段は、前記画像平均値演算手段で演算された画像平均値を所望の値と比較し、該画像平均値が所望の値よりも小さい場合には画像蓄積時間を所定割合増加させ、あるいは該画像平均値が所望の値よりも大きい場合には画像蓄積時間を所定割合減少させる機能をさらに備えていることを特徴とする、請求項１に記載の自動調光装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は自動調光装置に関する。特に、人工網膜や低解像度のＣＣＤ等の撮像素子を用いた撮像装置における自動調光装置に関する。
【０００２】
【従来の技術】
浴室内において入浴者を監視し、脳卒中等の事故が発生した場合には速やかに家人に通報するようにした人体検知装置、あるいは入浴者のジェスチャーに反応してシャワーやカラン等から湯を吐出させたり、浴槽内の湯の設定温度を変更したりする浴室用設備などに人工網膜を利用した撮像装置が用いられている。また、ヴァーチュアルリアリティのゲーム機器などにおいても人工網膜を利用した撮像装置が用いられている。
【０００３】
【発明が解決しようとする課題】
しかし、このような人工網膜を用いた撮像装置では、撮影対象物や撮影環境（照明や自然光）の明るさが変化すると、対象物やその状態を認識するのに適正な画像を得ることができず、誤検知を起こす可能性があった。例えば、浴室において入浴者を監視しているような場合、太陽が雲に隠れたり、あるいは雲から太陽が出たりすると、窓から浴室内に差し込む光量が急激に変化し、撮像装置がこの明るさの変化に対応できず、誤動作ないし誤検知する恐れがあった。
【０００４】
本発明は上述の技術的問題点を解決するためになされたものであり、その目的とするところは、人工網膜や低解像度のＣＣＤ等の撮像素子を利用した撮像装置において、撮像装置のゲイン及び蓄積時間を自動調整することによって自動調光を行い、常に最適な画像平均値を得られるようにすることにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の自動調光装置は、撮像素子と、前記撮像素子の各撮像ポイントの画像平均値を演算する演算手段と、ゲインをパラメータとする画像蓄積時間と画像平均値との関係を表わす特性曲線を有する調光手段とを備えた自動調光装置において、前記撮像素子は、第１のゲインと当該ゲインに対応する所定の画像蓄積時間で撮像し、前記演算手段は、その撮像結果に基づいて第１の画像平均値を演算し、前記調光手段は、第１のゲインに対応する所定の画像蓄積時間のときに第１の画像平均値となるように第１のゲインの特性曲線を定め、第１の画像平均値が所定範囲内にある場合には、当該特性曲線を用いて画像平均値の最適値に対応するように画像蓄積時間を調整し、第１の画像平均値が所定範囲よりも小さい場合には、前記撮像素子は、第１のゲインよりも大きな第２のゲインと当該ゲインに対応する所定の画像蓄積時間で撮像し、前記演算手段は、その撮像結果に基づいて第２の画像平均値を演算し、前記調光手段は、第２のゲインに対応する所定の画像蓄積時間のときに第２の画像平均値となるように第２のゲインの特性曲線を定め、当該ゲインの特性曲線を用いて画像平均値の最適値に対応する画像蓄積時間を演算し、第１の画像平均値が所定範囲よりも大きい場合には、前記撮像素子は、第１のゲインよりも小さな第３のゲインと当該ゲインに対応する所定の画像蓄積時間で撮像し、前記演算手段は、その撮像結果に基づいて第３の画像平均値を演算し、前記調光手段は、第３のゲインに対応する所定の画像蓄積時間のときに第３の画像平均値となるように第３のゲインの特性曲線を定め、当該ゲインの特性曲線を用いて画像平均値の最適値に対応する画像蓄積時間を演算することを特徴としている。
【０００６】
請求項２に記載の自動調光装置は、請求項１に記載した自動調光装置における前記調光手段が、前記画像平均値演算手段で演算された画像平均値を所望の値と比較し、該画像平均値が所望の値よりも小さい場合には画像蓄積時間を所定割合増加させ、あるいは該画像平均値が所望の値よりも大きい場合には画像蓄積時間を所定割合減少させる機能をさらに備えていることを特徴としている。
【０００７】
【作用】
請求項１に記載の自動調光装置にあっては、調光手段により画像平均値が所望の値となるように撮像素子の画像蓄積時間を調整することができるので、撮影対象物や周囲の明るさが急激に変化した場合にも、最適な画像平均値（最適な撮像状態）が得られるように自動調整することができる。更に、画像平均値を参照して最適なゲインを確定した後に、当該ゲインにおいて画像平均値が所望の値となるように撮像素子の画像蓄積時間を調整するので、はじめのゲインでは対応できない場合には、ゲインを切り替えて画像蓄積時間を調整することができ、大きな光量変化にも対応することができる。また、ゲインと画像蓄積時間との双方を調整する事により、処理時間が長くなったり、画像が粗くなったりするのを避けることができる。
【０００８】
また、請求項２に記載の自動調光装置にあっては、該画像平均値が所望の値よりも小さい場合には画像蓄積時間を所定割合増加させ、あるいは該画像平均値が所望の値よりも大きい場合には画像蓄積時間を所定割合減少させるので、画像平均値を微調整することができる。
【０００９】
【発明の実施の形態】
（第１の実施形態）
図１は人工網膜を利用した撮像装置の構成を示す図である。この撮像装置１の撮像部２は、縦３２×横３２画素（＝１０２４画素）のＣ−ＭＯＳアレイからなる画像検出部３、結像レンズ４、スキャナ５、マルチプレクサ６及びスキャナ駆動制御部７から構成されている。ここで、画像検出部３の画素はそれぞれモノクロ２５６階調〔レベル０（黒）〜２５５（白）の２５６階調〕で表現される。
【００１０】
この撮像部２にあっては、浴室内の画像は、結像レンズ４によって画像検出部３に結像される。スキャナ５は、スキャナ駆動制御部７によって駆動制御されており、画像検出部３の各画素列を順次一定周期毎に受光状態（オン状態）となるように制御している。受光状態となった１列の各画素から同時に出力された光電流は、マルチプレクサ６によってシリアルデータに変換され、増幅器８で増幅された後、画像処理部９へ入力される。調光部は１０は、画像処理部９における画像平均値（画像の明るさ）をチェックし、画像平均値が適切な範囲から外れていれば、増幅器８によって撮像装置１のゲインを調整すると共にスキャナ駆動制御部７によって画像検出部３の蓄積時間を調整し、適正な明るさの画像が得られるように調光する。判定部１１は、各撮像装置１の目的に応じた判断（例えば、浴室内に人がいるか否かといった判断）を実行し、判断結果を外部へ出力する。
【００１１】
このような撮像装置１において、精度の高い判定結果を得るためには、その前提として適正な明るさの画像を得る必要がある。人工網膜を用いた撮像装置１では、画像の明るさは画像平均値Ｓで表現される。画像平均値Ｓとは、画像検出部３を構成する３２×３２個の全画素における階調（０階調（黒）〜２５５階調（白）の２５６階調）の平均値であって、やはり０〜２５５の値で表わされる。また、撮像装置１における最適な画像平均値（基準撮像レベル）をＱとし、許容される画像平均値Ｓの幅は２Ａであるとする。すなわち、画像平均値Ｓが、
Ｑ−Ａ ≦ Ｓ ≦ Ｑ＋Ａ
を満たしていれば、許容されるとする。
【００１２】
この画像平均値Ｓは、増幅器のゲインＧと画像検出部の蓄積時間τによって決まる。カメラに例えれば、ここでいうゲインはカメラの絞りに相当し、蓄積時間はカメラのシャッタースピードに相当する。従って、撮像装置の適正な画像平均値を得ようとすれば、例えば適当なゲインに固定しておき、蓄積時間を調整すればよい。あるいは、適当な蓄積時間に固定しておき、適当なゲインとなるようにゲイン調整すればよいということができる。
【００１３】
しかしながら、蓄積時間を固定にする場合、蓄積時間を長くすると画像を得るのに時間が掛かって出力までのレスポンスが悪くなる。また、蓄積時間を短くすると、暗い画像の場合にはゲインを高くしなければならず、ゲインを高くすると画像が粗くなるという問題がある。一方、ゲインを固定にすると、画像が暗い場合には蓄積時間が長くなって出力までのレスポンスが低下する。よって、適正な画像平均値Ｓを得るためには、ゲインＧと蓄積時間τとの双方を調整する必要がある。
【００１４】
さらに、ゲインＧ及び蓄積時間τと画像平均値Ｓとの関係は、実際には対象物及び環境の明るさによって変化する。図２に示すように、横軸を蓄積時間τ、縦軸を画像平均値Ｓとして表した蓄積時間τと画像平均値Ｓとの関係を表す曲線（以下、特性曲線という）は、対象物及び環境が明るくなると上方へ移動し、暗くなると下方へ移動し、同時に、明るさの変化で上下に移動するに従って特性曲線の形状も次第に変化する。また、ゲインが大きくなると、蓄積時間τと画像平均値Ｓとの関係を表す特性曲線は上方へ移動し、ゲインが小さくなると下方へ移動する。このゲインの違いによる特性曲線の変化の仕方も、対象物及び環境の明るさが異なる毎に違っている。しかし、対象物の明るさや環境の明るさに応じて、明るさの異なる毎にゲインＧ及び蓄積時間τと画像平均値Ｓとの関係をメモリに記憶させておくとなると、メモリの記憶容量が極めて大きくなり、さらに適切なゲインＧと蓄積時間τを決定するのに処理時間が長くなる。
【００１５】
このため本発明の撮像装置１においては、平均的な明るさにおけるゲインＧ及び蓄積時間τと画像平均値Ｓとの関係を表す特性曲線が１種類だけテーブル形式等でメモリに記憶されており、対象物及び環境の明るさが変化すると、この特性曲線は形状を変えることなく上下に平行移動するものとしている。そして、以下に説明するような方法で適当な画像平均値Ｓが得られるよう自動調光している。なお、以下の説明では、ゲインＧはｇ１（小）、ｇ２（最適ゲイン）、ｇ３（大）の三段階に調整されるものとして説明する。また、横軸に蓄積時間τを取り、縦軸に画像平均値Ｓを取り、ゲインｇ１、ｇ２、ｇ３に対する蓄積時間τと画像平均値Ｓとの関係を実験的に求めたものを示すと、実際には図２に示すような関係になる。しかし、以下の説明においては、説明を分かり易くするため、各ゲインｇ１、ｇ２、ｇ３における蓄積時間τと画像平均値Ｓとの関係は、図３〜図５に示すようにほぼ直線で表されるものとする。
【００１６】
以下、この撮像装置１における調光方法を図３〜図５の画像平均値特性図及び図６のフロー図により説明する。なお、Ｑは最適な画像平均値で、画像平均値Ｓが
（Ｑ−Ａ） ＜ Ｓ ＜ （Ｑ＋Ａ）
であれば許容されるものとし、Ｒは適正な画像平均値の上限Ｑ＋Ａよりも上に設定された上限界値、Ｐは適正な画像平均値の下限Ｑ−Ａよりも下に設定された下限界値である。
【００１７】
まず、自動調光運転のスイッチがオンになると（ステップＳ１）、調光部１０はゲインを通常の最適ゲインｇ２に設定し、蓄積時間τをデフォールト値Ｘ（例えば、３５ｍｓ）に設定し、画像を取り込んで撮像する（ステップＳ２）。最初にゲインをｇ２とするのは、通常最適なゲインから始めるためである。そして、このときの画像平均値Ｓａを計測し、計測された画像平均値Ｓａが、下限界値Ｐと上限界値Ｒとの間に納まっている（Ｐ＜Ｓａ＜Ｒ）か否かをチェックする（ステップＳ３）。
【００１８】
計測した画像平均値Ｓａが下限界値Ｐと上限界値Ｒとの中間にある場合（ステップＳ３でYESの場合）には、図３に示すようにゲインｇ２、蓄積時間τ＝Ｘで画像平均値Ｓ＝Ｓａを通るように特性曲線を決める。説明的にいうと、メモリから読み出した特性曲線を上下に平行移動させ、ゲインｇ２の曲線上の蓄積時間τ＝Ｘにおける値が画像平均値Ｓａを通るところで特性曲線を止める（メモリ内に格納されている関数テーブルの各テーブル値を同じ値だけ増減させる）。
【００１９】
ついで、図３に示すように、この特性曲線のうちゲインｇ２の曲線から、画像平均値Ｓが最適値Ｑとなるように蓄積時間を定める。こうして求めた蓄積時間をτｂとすると、調光部１０はスキャナ駆動制御部７を介して蓄積時間をτｂに設定する（ステップＳ４）。
【００２０】
蓄積時間をτｂに設定したら、画像を読み込み直して再度画像平均値Ｓを求め、求めた画像平均値Ｓａが適正値Ｑに等しくなっているか否か検査する（ステップＳ５）。そして、画像平均値Ｓａが適正値Ｑに等しくなっていなければ、再度ステップＳ４に戻って蓄積時間τｂを設定し直す。
【００２１】
また、ステップＳ３で、求めた画像平均値ＳａがＰ＜Ｓａ＜Ｒを満たしていないと判断された場合（NOの場合）には、ついで画像平均値ＳａがＳａ≦Ｐであるか否か判定する（ステップＳ６）。画像平均値Ｓａが下限値Ｐ以下であると判断された場合には、ゲインをｇ３に切り替え、蓄積時間をゲインｇ３でのデフォールト値Ｙ（例えば、６８ｍｓ）に設定し、再度画像を取り込んで撮像する（ステップＳ７）。そして、画像平均値Ｓａが適正値Ｑに等しくなっているか否か調べる（ステップＳ８）。
【００２２】
ステップＳ８で画像平均値Ｓａが適正値Ｑに等しくないと判断した場合（ステップＳ８でNOの場合）には、図４に示すようにゲインｇ３、蓄積時間τ＝Ｙで画像平均値Ｓ＝Ｓａを通るように特性曲線の位置を決める。そして、この特性曲線を用いて、ゲインｇ３で画像平均値Ｓが適正値Ｑに等しくなるように蓄積時間をτｃに調整する（ステップＳ９）。
【００２３】
蓄積時間をτｃに設定したら、画像を読み込み直して再度画像平均値を求め、求めた画像平均値Ｓａが適正値Ｑに等しくなっているか否か検査する（ステップＳ１０）。そして、画像平均値Ｓａが適正値Ｑに等しくなっていなければ、再度ステップＳ９に戻って蓄積時間τｃを設定し直す。
【００２４】
また、ステップＳ６で、求めた画像平均値ＳａがＳａ≦Ｐを満たしておらず、Ｒ≦Ｓａであると判断された場合（ステップＳ６でNOの場合）には、ゲインをｇ１に切り替え、蓄積時間をゲインｇ１でのデフォールト値Ｗ（例えば、２６ｍｓ）に設定し、再度画像を取り込んで撮像する（ステップＳ１１）。そして、画像平均値Ｓａが適正値Ｑに等しくなっているか否か調べる（ステップＳ１２）。
【００２５】
ステップＳ１２で画像平均値Ｓａが適正値Ｑに等しくないと判断した場合（ステップＳ１２でNOの場合）には、図５に示すようにゲインｇ１、蓄積時間τ＝Ｗで画像平均値Ｓ＝Ｓａを通るように特性曲線の位置を決める。そして、この特性曲線を用いて、ゲインｇ１で画像平均値Ｓが適正値Ｑに等しくなるように蓄積時間をτｄに調整する（ステップＳ１３）。
【００２６】
蓄積時間をτｄに設定したら、画像を読み込み直して再度画像平均値を求め、求めた画像平均値Ｓａが適正値Ｑに等しくなっているか否か検査する（ステップＳ１４）。そして、画像平均値Ｓａが適正値Ｑに等しくなっていなければ、再度ステップＳ１３に戻って蓄積時間τｄを設定し直す。
【００２７】
こうして、Ｓ５、Ｓ８、Ｓ１０、Ｓ１２、Ｓ１４のいずれかのステップにおいて、画像平均値Ｓａが適正値Ｑとなるように調整されたと判断した場合には、そのゲインＧと蓄積時間τで撮影をつづけながら（Ｓ１５）、その画像平均値を計測し、その画像平均値Ｓａが適正範囲Ｑ−Ａ≦Ｓａ≦Ｑ＋Ａを外れていないかどうか監視している（Ｓ１６）。
【００２８】
この監視中に周囲の明るさが急に変化したりして、画像平均値Ｓａが適正範囲から外れた（Ｓａ＜Ｐ、Ｓａ＞Ｒ）場合には、再度ステップＳ２に戻ってステップＳ２以下の処理を繰り返す。
【００２９】
この撮像装置１にあっては、対象物やその環境に急激な明るさの変化があった場合（たとえば、浴室内で入浴者を監視している場合など、太陽が急に雲に隠れて急激な光量変化があった場合）には、最適な画像平均値となるように蓄積時間τを自動調整し、また、より大きな光量変化が生じた場合には、それに応じて撮像装置１のゲインＧを変化させ、ゲインの変化に応じて最適な蓄積時間τとなるように調整する。そして、常に最適な画像平均値となるように自動調光することにより、常に安定した撮影動作や検知動作を行わせることができる。
【００３０】
（第２の実施形態）
第１の実施形態では、対象物や環境の明るさの変化に応じてゲインＧや蓄積時間τを自動調整するようにしたが、実際には明るさに応じて特性曲線は変化する。従って、第１の実施形態のように、明るさによらず同じ特性曲線を用いていると、実際の最適な画像平均値と自動調光により得た画像平均値との間には誤差が生じる場合もある。
【００３１】
また、上記実施形態では、画像平均値ＳａがＱ−ＡとＱ＋Ａの間にある（Ｑ−Ａ≦Ｓａ≦Ｑ＋Ａ）場合には、画像平均値Ｓａが適正値Ｑから多少外れていても自動調光は働かない。
【００３２】
次に説明する実施形態は、図７のフロー図に示す方法により、小さな誤差も補正するものである。すなわち、この実施形態にあっては、画像平均値Ｓａを計測し（ステップＳ２１）、計測した画像平均値Ｓａが適正値Ｑと等しいか（あるいは、幅を持たせて、例えば０.９９Ｑ＜Ｓａ＜１.０１Ｑとしてもよい。）判定する（ステップＳ２２）。この判定結果が等しければ、なにも処理を行わず、そのままの状態を維持する。
【００３３】
計測した計測値Ｓａが適正値Ｑに等しくなければ、ついで、計測した画像平均値ＳａがＱ−Ａ＜Ｓａ＜Ｑ＋Ａ（ただし、Ｓａ≠Ｑ）の範囲にあるかどうか判定する。Ｓａ≦Ｑ−ＡまたはＳａ≧Ｑ＋Ａであれば、これは第１の実施形態における自動調光の対象であるから、第１の実施形態で説明した方法により自動調光される。
【００３４】
これに対し、Ｑ−Ａ≦Ｓａ≦Ｑ＋Ａ（Ｓａ≠Ｑ）であれば、さらに、Ｑ−Ａ≦Ｓａ＜Ｑの場合とＱ＜Ｓａ≦Ｑ＋Ａの場合とに分ける（ステップＳ２５）。このステップで、Ｑ−Ａ≦Ｓａ＜Ｑであった場合には、その蓄積時間τを（１＋α）倍する（ステップＳ２６）。そして、蓄積時間τが大きくなると、それに伴って画像平均値も大きくなる。ここでαは小さな正数であって、たとえばα＝０.１である。
【００３５】
また、Ｑ＜Ｓａ≦Ｑ＋Ａであった場合には、その蓄積時間τを（１−β）倍にして撮影する（ステップＳ２７）。そして、蓄積時間が小さくなると、それに伴って画像平均値も小さくなる。ここで、βも小さな正数であって、たとえばβ＝０.１である。
【００３６】
従って、画像平均値Ｓａが適正値Ｑから少し外れているだけの場合でも、上記ステップＳ２１〜Ｓ２３、Ｓ２５〜Ｓ２７のサイクルを繰り返すことにより、画像平均値は漸近的に適正値ｑに近づいてゆく。よって、この実施形態によれば、高い精度で画像平均値を適正値Ｑに一致させることが可能になる。
【００３７】
【発明の効果】
請求項１に記載の自動調光装置によれば、画像平均値を参照して最適なゲインを確定した後に、当該ゲインにおいて画像平均値が所望の値となるように撮像素子の画像蓄積時間を調整するので、人工網膜や低解像度のＣＣＤ等の撮像素子を用いた装置において、急激な光量変化があった場合にもゲイン及び画像蓄積時間を調整する事により、最適な画像平均値を得ることができる。
【００３８】
また、請求項２に記載の自動調光装置によれば、画像平均値が所望の値よりも小さい場合には画像蓄積時間を所定割合増加させ、あるいは画像平均値が所望の値よりも大きい場合には画像蓄積時間を所定割合減少させるので、画像平均値を微調整することができる。
【図面の簡単な説明】
【図１】人工網膜を用いた撮像装置の構成を示す概略図である。
【図２】ゲインをパラメータとする、蓄積時間と画像平均値との関係（実測データ）を示す図である。
【図３】画像平均値の調整例を説明する図である。
【図４】対象物及び環境が暗い場合の、画像平均値の調整例を説明する図である。
【図５】対象物及び環境が明るい場合の、画像平均値の調整例を説明する図である。
【図６】撮像装置における自動調光処理の手順を表したフロー図である。
【図７】本発明の別な実施形態による自動調光処理の手順を示すフロー図である。
【符号の説明】
１  撮像装置
２  撮像部
３  画像検出部
７  スキャナ駆動制御部
８  増幅器
９  画像処理部
１０  調光部
【図１】
0003661756.tif 000002
【図２】
0003661756.tif 000003
【図３】
0003661756.tif 000004
【図４】
0003661756.tif 000005
【図５】
0003661756.tif 000006
【図６】
0003661756.tif 000007
【図７】
0003661756.tif 000008