(57)【要約】【課題】同じ撮像領域を所定の時間差で撮像した複数の画像を取得でき、簡易な構成や処理で、処理時間を削減可能な撮像装置の提供を図る。【解決手段】撮像装置１００は、複数の画素Ｐ１１〜Ｐｍｎを配列した画像センサ１と、垂直駆動線Ｘ１〜Ｘｍを順に選択する水平走査回路３と、選択された水平行の画素から順に蓄積電荷電圧を読み取る垂直走査回路２とを備える。垂直駆動線と平行な方向に並べてレンズを配置し、画素領域Ｑ１，Ｑ２を設ける。レンズは同じ画像を画素領域Ｑ１，Ｑ２それぞれに結像する。画素Ｐ１１〜Ｐｍｎから配列順に蓄積電荷を読み出し、画像処理部５は時間差のある複数の撮像領域像を取得し、動体検出部６は、その差分から動体検出を行う。【選択図】図１
2007173914.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素がマトリクス状に配列された画像センサを備える撮像装置において、
前記画像センサは、垂直方向に区分された複数の画素領域を有し、
前記画素領域毎に同一の撮像領域の画像を結像させる結像部と、前記画像センサの水平行を前記垂直方向に順番に選択する行選択部と、前記行選択部により選択された前記水平行の各画素から電荷を読み出す読出部と、前記読出部が読み出した電荷から得た前記画素領域毎の複数の画像を用いて動体検出を行う動体検出部と、を備え、前記結像部は、前記画素領域毎に設けたレンズにより前記画像を結像させる撮像装置。
【請求項２】
複数の画素がマトリクス状に配列された画像センサを備える撮像装置において、
前記画像センサは、垂直方向に区分された複数の画素領域を有し、
前記画素領域毎に同一の撮像領域の画像を結像させる結像部と、前記画像センサの水平行を前記垂直方向に順番に選択する行選択部と、前記行選択部により選択された前記水平行の各画素から電荷を読み出す読出部と、を備える撮像装置。
【請求項３】
前記結像部は、前記画素領域毎に設けたレンズにより前記画像を結像させる請求項２に記載の撮像装置。
【請求項４】
前記読出部が読み出した電荷から得た前記画素領域毎の複数の画像を用いて動体検出を行う動体検出部を備える請求項２又は３に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像センサを用いて撮像領域の画像を撮像する撮像装置に関する。
【背景技術】
【０００２】
従来から、ＣＭＯＳイメージセンサなどの画素センサを備えた撮像装置において動体検出を行う技術が知られている。特許文献１に開示されている撮像装置では、同じ撮像領域の画像を所定の時間差で撮像し、予め取得した画像と、最新の画像との２枚の時間差のある画像の差分から動体検出を行う。
【特許文献１】特開平０８−１０６５３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記撮像装置で、同一の撮像領域を所定の時間差で撮像するためには、全画素から蓄積電荷を読み込む撮像フレーム処理を複数回行う必要があった。複数回の撮像フレーム処理を行う撮像装置としては、所定のフレームレートで動画処理を行うものが一般的であるが、このような撮像装置は複雑な構成や複雑な信号処理が必要であった。また、複数の撮像フレーム処理の間には、所定の処理時間（垂直帰線期間など）が必要なこともあり、動体検出に要する処理時間の短縮化には限界があった。
【０００４】
そこで本発明の目的は、一度の撮像フレーム処理のみで、同じ撮像領域の複数の画像を所定の時間差で取得できる撮像装置を提供することにある。また、簡易な構成や簡易な信号処理、短い処理時間で動体検出が可能な撮像装置を提供することにある。
【課題を解決するための手段】
【０００５】
（１）複数の画素がマトリクス状に配列された画像センサを備える撮像装置において、前記画像センサは、垂直方向に区分された複数の画素領域を有し、前記画素領域毎に同一の撮像領域の画像を結像させる結像部と、前記画像センサの水平行を前記垂直方向に順番に選択する行選択部と、前記行選択部により選択された前記水平行の各画素から電荷を読み出す読出部と、を備える。
【０００６】
この構成では、画像センサが水平行に垂直な方向（垂直走査方向）に並んだ画素領域に区分され、画素領域毎に同じ撮像領域の画像が結像する。したがって、水平行を順に切り換えながら電荷を読み出すローリングシャッタ方式を用いることにより、各画素領域からの電荷の読み出しタイミングに所定の時間差が生じる。これにより、一度の撮像フレーム処理のみで、同じ撮像領域を所定の時間差で撮像した複数の画像を取得できる。また、従来よりも処理を簡易にできる。
【０００７】
また、上記の時間差は、水平行の各画素から電荷を読み出す水平走査時間と、各画素領域の水平行の数に従って定まる。したがって、撮像装置のフレームレートや水平帰線期間などによらずに、所定の時間差の複数の画像を取得し、処理時間を抑制することが可能になる。
【０００８】
（２）前記結像部は、前記画素領域毎に設けたレンズにより前記画像を結像させる。この構成では、光学設計が容易で、光学系部材を簡易に構成できる。
【０００９】
（３）前記読出部が読み出した電荷から得た前記画素領域毎の複数の画像を用いて動体検出を行う動体検出部を備える。この構成では、一度の撮像フレーム処理で、撮像領域の動体検出ができる。
【発明の効果】
【００１０】
この発明の撮像装置は、一度の撮像フレーム処理のみで、同じ撮像領域を所定の時間差で撮像した複数の画像を取得できる。また、簡易な構成や信号処理の撮像装置で、処理時間を削減して動体検出できる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について説明する。図１は、本実施形態の撮像装置の構成の一部を示すブロック図である。図２は、光学系部材の焦点位置を説明する概念図である。図３は、動体検出処理を説明する概念図である。
【００１２】
図１に示す撮像装置１００は、被写体に対面して配置される光学系部材（不図示）と、複数の画素Ｐ１１〜Ｐｍｎ（ここで、ｍ，ｎは正の自然数である。）をマトリクス状に行列配置した画像センサ１と、垂直走査回路２と、水平走査回路３と、画像処理部５と、動体検出部６と、を備えている。
【００１３】
なお、ここでは図示の都合により、画像センサ１は画素数を少なくして説明するが、実際には数万以上の画素数であっても好適である。また、各画素Ｐ１１〜Ｐｍｎには、図示する以外の各種信号線（リセット信号の信号線など）を接続するが、本発明の本質とは直接は関係が無いため、ここでは説明を除いている。一般的なＣＭＯＳイメージセンサなどの画像センサの構成を用いればよい。
【００１４】
画像センサ１の水平行（図１横方向）に並んだ複数の画素は、同一の水平駆動線に接続し、水平駆動線の一端を垂直走査回路２に接続する。垂直走査回路２は本発明の行選択部であり、タイミングをずらしながら画像センサ１の水平行を順次選択する回路である。
【００１５】
ここでは図１に示すように水平行に並んだ画素Ｐ１１，Ｐ２１，Ｐｍ１に水平駆動線Ｙ１を接続している。同様に画素Ｐ１２，Ｐ２２，Ｐｍ２に水平駆動線Ｙ２を、画素Ｐ１３，Ｐ２３，Ｐｍ３に水平駆動線Ｙ３を、画素Ｐ１４，Ｐ２４，Ｐｍ４に水平駆動線Ｙ４を、画素Ｐ１５，Ｐ２５，Ｐｍ５に水平駆動線Ｙ５を、画素Ｐ１ｎ，Ｐ２ｎ，Ｐｍｎに水平駆動線Ｙｎを接続している。各水平駆動線Ｙ１〜Ｙｎの一端は垂直走査回路２に接続している。
【００１６】
また、画像センサ１の垂直列に並んだ複数の画素は、同一の垂直駆動線に接続し、垂直駆動線の一端をトランジスタなどのスイッチ回路を介して画像処理部５に接続し、各スイッチ回路に水平走査回路３を接続する。水平走査回路３とスイッチ回路とが本発明の読出部であり、選択されている水平行の各画素から電荷を読み出す回路である。
【００１７】
ここでは垂直列に並んだ各画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ１５，Ｐ１ｎに垂直駆動線Ｘ１を接続している。同様に各画素Ｐ２１，Ｐ２２，Ｐ２３，Ｐ２４，Ｐ２５，Ｐ２ｎに垂直駆動線Ｘ２を、各画素Ｐｍ１，Ｐｍ２，Ｐｍ３，Ｐｍ４，Ｐｍ５，Ｐｍｎに垂直駆動線Ｘｍを接続している。各垂直駆動線Ｘ１〜Ｘｍの一端はそれぞれスイッチ回路であるトランジスタＴｒ１，Ｔｒ２，Ｔｒｍを介して、画像処理部５に接続している。各トランジスタＴｒ１，Ｔｒ２，Ｔｒｍのベースは水平走査回路３に接続し、水平走査回路３によりスイッチングを行うようにしている。
【００１８】
また、画像センサ１は、水平行に垂直な方向、すなわち垂直走査方向に並ぶように複数の画素領域Ｑ１，Ｑ２に区分している。ここでは図２に示すように、光学レンズＬ１，Ｌ２を画素領域Ｑ１，Ｑ２にそれぞれ設け、画素領域Ｑ１を画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ２１，Ｐ２２，Ｐ２３，Ｐｍ１，Ｐｍ２，Ｐｍ３により構成し、同様に画素領域Ｑ２を画素Ｐ１４，Ｐ１５，Ｐ１ｎ，Ｐ２４，Ｐ２５，Ｐ２ｎ，Ｐｍ４，Ｐｍ５，Ｐｍｎにより構成している。ここで、光学レンズＬ１，Ｌ２が本発明の結像部である。なお、結像部としてはここで示した光学レンズＬ１，Ｌ２に限らず、画素領域ごとに同一の画像を結像するものであればよく、どのような光学系部材を用いてもよい。なお、各光学レンズＬ１，Ｌ２から入射する光が隣接する画素領域の迷光となることを防ぐために、各画素領域の境界部分に光を遮蔽する障壁を設けてもよい。
【００１９】
また、光学レンズＬ１，Ｌ２は複数の画素領域Ｑ１，Ｑ２それぞれに同じ撮像領域からの画像が結像するように、それぞれ焦点位置を設定する。ここでは画素領域Ｑ１の画素Ｐ１１と画素領域Ｑ２の画素Ｐ１４とに、同じ焦点位置からの入射光を受光するようにしている。また画素Ｐ１２と画素Ｐ１５とにも同じ焦点位置からの入射光を受光するようにしている。また画素Ｐ１３と画素Ｐ１６とにも同じ焦点位置からの入射光を受光するようにしている。
【００２０】
また、図１に示す垂直走査回路２と水平走査回路３とは、ローリングシャッタ方式で画像センサ１の全画素から順に蓄積電荷電圧を読み出す撮像フレーム処理を行う。ここでは、垂直走査回路２は垂直走査パルスを生成し、該垂直走査パルスを水平駆動線Ｙ１〜Ｙｎに順次出力し、画像センサ１の水平行を順次選択するようにしている。選択された水平行の各画素は、接続されている水平駆動線Ｙ１〜Ｙｎに垂直走査パルスが印加されると、該水平行の各画素のフォトダイオードに蓄積されている蓄積電荷電圧を、それぞれが接続されている垂直駆動線Ｘ１〜Ｘｍに出力するようにしている。
【００２１】
垂直走査回路２により水平行が選択されている間に、水平走査回路３は水平走査パルスを生成し、該水平走査パルスをトランジスタＴｒ１〜Ｔｒｍのベースに順次出力し、選択されている水平行の各画素を走査するようにしている。各トランジスタＴｒ１〜Ｔｒｍは水平走査パルスが与えられると、それぞれが接続された垂直駆動線から画像処理部５に、蓄積電荷電圧を出力するようにしている。
【００２２】
上記したように、ローリングシャッタ方式で撮像フレーム処理し、垂直走査方向に並ぶ画素領域Ｑ１と画素領域Ｑ２とに同じ撮像領域からの画像を結像させるので、図３に示すように、画像センサ１の図上側の水平行から図下側の水平行の順に、また各行では図左側の画素から図右側の画素にかけて、順に蓄積電荷電圧が読み出される。したがって各画素領域Ｑ１，Ｑ２からの蓄積電荷電圧の読み出しタイミングがそれぞれ異なり、各画素領域Ｑ１，Ｑ２先頭の画素からの蓄積電荷電圧の読出しには、各水平行の水平走査時間と各画素領域の水平行の数に従った所定の時間差が生じる。
【００２３】
したがって１度の撮像フレーム処理の間に、仮に被写体が手を画角の下から上に向かって動かした場合には、図３で示すように画素領域Ｑ１により得られる像Ｂ１の手Ｃ１は図下側に存在しているように撮像され、画素領域Ｑ２により得られる像Ｂ２の手Ｃ２は図上側に存在しているように撮像される。
【００２４】
図１に示す画像処理部５では、読み出した蓄積電荷電圧から、所定の時間差で撮像した複数の画像を取得する。そして取得した画像ごとにガンマ補正やホワイトバランス処理などの一般的な画像処理を行う。このようにして、一度の撮像フレーム処理で、同じ撮像領域を所定の時間差で撮像した複数の画像を取得できる。
【００２５】
画像処理部５での画像処理後の画像は、後段の動体検出部６に出力する。動体検出部６では、画像処理後の画像が入力されると、図３に示す像Ｂ１の手Ｃ１と、像Ｂ２の手Ｃ２とをそれぞれ抽出する。動体検出部６は、さらに、抽出した部分同士の特徴量を比較する。このようにして、画像中の動作部分を識別し、画像内での動作物体を検出する。
【００２６】
以上のようにして、一度の撮像フレーム処理のみで、同じ撮像領域を所定の時間差で撮像した複数の画像を取得し、動体検出できる。また、簡易な構成や信号処理であっても、処理時間を削減して動体検出することが可能になる。また、撮像装置の駆動周波数が小さくとも動体検出ができ、その場合には消費電力を抑制できる。
【００２７】
なお、上記した画像処理部５および動体検出部６での処理は、画像処理ＩＣやＣＰＵなどを用いたソフトウェア処理により実現してもよい。また、上記以外にも、光学系部材として光学レンズに加えて光学絞りや光学フィルタなどを設けるようにしても好適である。また、画像センサの撮像領域を２つよりも多くの領域に分割するようにしてもよい。また、撮像装置をテレビ装置に併設し、例えば人間のジェスチャ認識用途の装置として利用できる。他にも、監視カメラシステム、車載カメラシステム等に用いることができる。
【００２８】
このように本発明は、本発明の要旨を逸脱しない限り、この実施例で示した以外の多様な実施例で実施できる。
【図面の簡単な説明】
【００２９】
【図１】実施例の撮像装置の構成を示すブロック図である。
【図２】実施例の光学系部材を説明する概念図である。
【図３】実施例の動体検出処理を説明する概念図である。
【符号の説明】
【００３０】
１−画像センサ
２−垂直走査回路
３−水平走査回路
５−画像処理部
６−動体検出部
１００−撮像装置
Ｌ１，Ｌ２−光学レンズ
Ｐ１１〜Ｐｍｎ−画素
Ｑ１，Ｑ２−画素領域
Ｔｒ１，Ｔｒ２，Ｔｒｍ−トランジスタ
Ｘ１〜Ｘｍ−垂直駆動線
Ｙ１〜Ｙｎ−水平駆動線
【図１】
2007173914.tif 000003
【図２】
2007173914.tif 000004
【図３】
2007173914.tif 000005