(57)【要約】【課題】ＮＵＣ処理による映像遮断がある場合でも、画像処理結果を出力することができる画像処理ユニット、撮像装置及び画像処理方法を提供する。【解決手段】ＮＵＣ判定部３６は、信号処理部から出力される制御信号に基づいてＮＵＣ処理を行うか否かを判定する。選択部３５は、ＮＵＣ判定部３６での判定結果を用いて、ＮＵＣ処理が行われない場合には、移動体検出部３２を選択して画像処理を行い、ＮＵＣ処理が行われる間は、移動体推定部３１を選択して画像処理を行う。移動体検出部３２は、ＮＵＣ処理が行われない場合に得られた撮像データを用いて画像処理を行う。移動体推定部３１は、ＮＵＣ処理が行われる場合に、移動体検出部３２で得られた画像処理結果を用いて移動体の位置、速度、移動方向などを推定する。【選択図】図３
2011135237.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の出力に基づく撮像データを画像処理する画像処理ユニットにおいて、
撮像素子への入射光を遮断して撮像素子の特性を補正する補正処理を行うか否かを判定する判定手段と、
前記補正処理を行わない場合に得られた撮像データを用いて画像処理を行う第１の画像処理手段と、
前記補正処理が行われている間に前記第１の画像処理手段での処理結果を用いて該第１の画像処理手段での画像処理とは異なる画像処理を行う第２の画像処理手段と、
前記判定手段での判定結果に応じて、前記第１の画像処理手段又は第２の画像処理手段のいずれか一方を選択する選択手段と
を備え、
該選択手段で選択した画像処理手段により画像処理するように構成してあることを特徴とする画像処理ユニット。
【請求項２】
前記第１の画像処理手段は、
撮像データを用いて撮像対象の移動に関する情報を検出するようにしてあり、
前記第２の画像処理手段は、
前記第１の画像処理手段が検出した情報に基づいて、撮像対象の移動に関する情報を推定するようにしてあることを特徴とする請求項１に記載の画像処理ユニット。
【請求項３】
集光レンズと、該集光レンズで集光した光が入射される撮像素子と、該撮像素子の出力に基づく撮像データを画像処理する請求項１又は請求項２に記載の画像処理ユニットとを備えることを特徴とする撮像装置。
【請求項４】
前記集光レンズと撮像素子との間又は集光レンズの外側に開閉可能に設けられたシャッタと、
前記シャッタの開閉を制御する制御信号を生成する信号生成手段と
を備え、
前記判定手段は、
前記制御信号に基づいて前記補正処理を行うか否かを判定するようにしてあることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御信号に基づいて、前記シャッタが閉じている時間を算出する算出手段を備え、
前記第２の画像処理手段は、
前記算出手段で算出した時間の間、前記第１の画像処理手段での処理結果を用いて画像処理するようにしてあることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記算出手段は、
算出した時間に前記シャッタの移動時間を加算して該シャッタが閉じている時間を算出するようにしてあることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮像素子の出力に基づいて撮像画像内の画素値の分散を算出する分散算出手段を備え、
前記判定手段は、
前記分散算出手段で算出した分散に基づいて前記補正処理を行うか否かを判定するようにしてあることを特徴とする請求項３に記載の撮像装置。
【請求項８】
撮像素子の出力に基づく撮像データを画像処理する画像処理ユニットによる画像処理方法において、
撮像素子への入射光を遮断して撮像素子の特性を補正する補正処理を行うか否かを判定するステップと、
前記補正処理を行わない場合に得られた撮像データを用いて第１の画像処理を行うステップと、
前記補正処理が行われている間に前記第１の画像処理を行うステップでの処理結果を用いて該第１の画像処理とは異なる第２の画像処理を行うステップと、
前記判定するステップでの判定結果に応じて、前記第１の画像処理を行うステップ又は第２の画像処理を行うステップのいずれか一方を選択するステップと
を含み、
該選択するステップで選択した画像処理を行うステップで画像処理することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の出力に基づく撮像データを画像処理する画像処理ユニット、該画像処理ユニットを備える撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
歩行者又は車両などの移動体（撮像対象物）が発する赤外光を集光して映像を取得する赤外線カメラ（赤外撮像装置）は、非冷却型のボロメータなどの撮像素子を２次元アレイ状に配置してあり、撮像素子で取得した赤外光（遠赤外光）を電気信号に変換して出力する。
【０００３】
しかし、撮像素子毎の温度特性のばらつき（非均一性）が存在するため、映像の画質が劣化する。このため、従来の赤外線カメラは、画質を安定させるため、表面の温度分布が略均一である板状のシャッタを集光レンズと撮像素子との間、あるいは集光レンズの外側に開閉可能に配置し、シャッタを閉じた状態で撮像素子毎に異なる温度特性の非均一性を補正するＮＵＣ（Non-Uniformity Correction）処理を行っている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１８７２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
赤外線カメラは周囲温度の変化などの要因で撮像素子の温度特性ばらつきが顕著になるため、所要のタイミングでＮＵＣ処理を行う必要がある。しかし、ＮＵＣ処理が行われている間は、外部の映像が遮断される。一方で、移動体などの検出処理を常時行う必要がある用途があり、このような用途では、ＮＵＣ処理により外部の映像が得られない間は、移動体の検出結果を出力することができないという問題があった。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、ＮＵＣ処理による映像遮断がある場合でも、画像処理結果を出力することができる画像処理ユニット、該画像処理ユニットを備える撮像装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１発明に係る画像処理ユニットは、撮像素子の出力に基づく撮像データを画像処理する画像処理ユニットにおいて、撮像素子への入射光を遮断して撮像素子の特性を補正する補正処理を行うか否かを判定する判定手段と、前記補正処理を行わない場合に得られた撮像データを用いて画像処理を行う第１の画像処理手段と、前記補正処理が行われている間に前記第１の画像処理手段での処理結果を用いて該第１の画像処理手段での画像処理とは異なる画像処理を行う第２の画像処理手段と、前記判定手段での判定結果に応じて、前記第１の画像処理手段又は第２の画像処理手段のいずれか一方を選択する選択手段とを備え、該選択手段で選択した画像処理手段により画像処理するように構成してあることを特徴とする。
【０００８】
第２発明に係る画像処理ユニットは、第１発明において、前記第１の画像処理手段は、撮像データを用いて撮像対象の移動に関する情報を検出するようにしてあり、前記第２の画像処理手段は、前記第１の画像処理手段が検出した情報に基づいて、撮像対象の移動に関する情報を推定するようにしてあることを特徴とする。
【０００９】
第３発明に係る撮像装置は、集光レンズと、該集光レンズで集光した光が入射される撮像素子と、該撮像素子の出力に基づく撮像データを画像処理する第１発明又は第２発明に係る画像処理ユニットとを備えることを特徴とする。
【００１０】
第４発明に係る撮像装置は、第３発明において、前記集光レンズと撮像素子との間又は集光レンズの外側に開閉可能に設けられたシャッタと、前記シャッタの開閉を制御する制御信号を生成する信号生成手段とを備え、前記判定手段は、前記制御信号に基づいて前記補正処理を行うか否かを判定するようにしてあることを特徴とする。
【００１１】
第５発明に係る撮像装置は、第４発明において、前記制御信号に基づいて、前記シャッタが閉じている時間を算出する算出手段を備え、前記第２の画像処理手段は、前記算出手段で算出した時間の間、前記第１の画像処理手段での処理結果を用いて画像処理するようにしてあることを特徴とする。
【００１２】
第６発明に係る撮像装置は、第５発明において、前記算出手段は、算出した時間に前記シャッタの移動時間を加算して該シャッタが閉じている時間を算出するようにしてあることを特徴とする。
【００１３】
第７発明に係る撮像装置は、第３発明において、前記撮像素子の出力に基づいて撮像画像内の画素値の分散を算出する分散算出手段を備え、前記判定手段は、前記分散算出手段で算出した分散に基づいて前記補正処理を行うか否かを判定するようにしてあることを特徴とする。
【００１４】
第８発明に係る画像処理方法は、撮像素子の出力に基づく撮像データを画像処理する画像処理ユニットによる画像処理方法において、撮像素子への入射光を遮断して撮像素子の特性を補正する補正処理を行うか否かを判定するステップと、前記補正処理を行わない場合に得られた撮像データを用いて第１の画像処理を行うステップと、前記補正処理が行われている間に前記第１の画像処理を行うステップでの処理結果を用いて該第１の画像処理とは異なる第２の画像処理を行うステップと、前記判定するステップでの判定結果に応じて、前記第１の画像処理を行うステップ又は第２の画像処理を行うステップのいずれか一方を選択するステップとを含み、該選択するステップで選択した画像処理を行うステップで画像処理することを特徴とする。
【００１５】
第１発明及び第８発明にあっては、撮像素子への入射光を遮断して撮像素子の特性を補正する補正処理を行うか否かを判定する判定手段と、補正処理を行わない場合に得られた撮像データを用いて画像処理を行う第１の画像処理手段と、補正処理が行われている間に第１の画像処理手段での処理結果を用いて第１の画像処理手段での画像処理とは異なる画像処理を行う第２の画像処理手段と、判定手段での判定結果に応じて、第１の画像処理手段又は第２の画像処理手段のいずれか一方を選択する選択手段とを備える。補正処理は、例えば、ＮＵＣ処理である。補正処理を行わない場合、第１の画像処理を選択し、補正処理が行われている間は、第２の画像処理を選択することができる。これにより、撮像素子への入射光を遮断して撮像素子の特性を補正する場合に外部からの映像遮断がある場合でも、撮像データを用いて行われた画像処理の結果（補正処理前の画像処理結果）を用いて画像処理を行うことができ、画像処理結果を出力することができる。
【００１６】
第２発明にあっては、第１の画像処理手段は、撮像データを用いて撮像対象の移動に関する情報を検出し、第２の画像処理手段は、第１の画像処理手段が検出した情報に基づいて、撮像対象の移動に関する情報を推定する。移動に関する情報は、例えば、移動体の速度、移動方向などの情報である。補正処理を行っている間は、外部からの映像が遮断されているので、補正処理前に行われた画像処理の結果を用いることにより、撮像対象の過去の速度又は移動方向から現在の速度又は移動方向を推定する。推定方法は、例えば、移動体の移動方向を直線と仮定して予測する方法、カルマンフィルタ、あるいはパーティクルフィルタなどを利用した推定方向を用いることができる。これにより、撮像対象である移動体などの検出処理を常時行う必要がある用途において、ＮＵＣ処理により外部の映像が得られない間でも、移動体の情報を推定して出力することができる。
【００１７】
第３発明にあっては、集光レンズと、集光レンズで集光した光が入射される撮像素子と、撮像素子の出力に基づく撮像データを画像処理する画像処理ユニットとを備える。これにより、撮像素子への入射光を遮断して撮像素子の特性を補正する場合に外部からの映像遮断がある場合でも、補正処理前の画像処理結果を用いて画像処理を行って画像処理結果を出力することができる撮像装置を実現することができる。
【００１８】
第４発明にあっては、集光レンズと撮像素子との間又は集光レンズの外側に開閉可能に設けられたシャッタと、シャッタの開閉を制御する制御信号を生成する信号生成手段とを備える。判定手段は、制御信号に基づいて補正処理を行うか否かを判定する。ＮＵＣ処理を行う場合、外部の映像を遮断すべくシャッタが閉じられるので、制御信号に基づいてＮＵＣ処理を行うか否かの判定を正確に行うことができる。
【００１９】
第５発明にあっては、制御信号に基づいて、シャッタが閉じている時間を算出し、算出した時間の間、第１の画像処理手段での処理結果を用いて画像処理する。シャッタが閉じている時間の間、第１の画像処理手段での処理結果を用いて画像処理をするので、ＮＵＣ処理に要する時間に拘わらず画像処理結果を出力することができる。
【００２０】
第６発明にあっては、算出手段は、算出した時間にシャッタの移動時間を加算してシャッタが閉じている状態の時間を算出する。移動時間は、シャッタを開くべく指令が行われた時点からシャッタが完全に開くまでの遷移時間である。これにより、シャッタが閉じている状態から完全に開いた状態になるまでの遷移時間においても、実際の撮像データを用いずに、第１の画像処理手段での処理結果を用いて画像処理をするので、シャッタの移動中に光量が不足するような状態で得られた撮像データを用いることなく画像処理を行うことができ、正しい画像処理結果を出力することができる。
【００２１】
第７発明にあっては、撮像素子の出力に基づいて撮像画像内の画素値の分散を算出し、算出した分散に基づいて補正処理を行うか否かを判定する。補正処理（ＮＵＣ処理）を行うためシャッタを閉じた場合、撮像画像内の画素値が略一様になるため、画素値の分散が所定の閾値より小さい場合には、ＮＵＣ処理を行うと判定することができ、簡便な構成でＮＵＣ処理を行うか否かの判定を正確に行うことができる。
【発明の効果】
【００２２】
本発明によれば、撮像素子への入射光を遮断して撮像素子の特性を補正する場合に外部からの映像遮断がある場合でも、補正処理前の画像処理結果を用いて画像処理を行うことができ、画像処理結果を出力することができる。
【図面の簡単な説明】
【００２３】
【図１】本実施の形態の撮像装置の構成の一例を示すブロック図である。
【図２】本実施の形態の信号処理部の構成の一例を示すブロック図である。
【図３】本実施の形態の画像処理ユニットの構成の一例を示すブロック図である。
【図４】本実施の形態の画像処理ユニットによる画像処理の一例を示す概念図である。
【図５】本実施の形態の画像処理ユニットの処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明に係る画像処理ユニット及び撮像装置の実施の形態を示す図面に基づいて説明する。図１は本実施の形態の撮像装置１００の構成の一例を示すブロック図であり、図２は本実施の形態の信号処理部２０の構成の一例を示すブロック図であり、図３は本実施の形態の画像処理ユニット３０の構成の一例を示すブロック図である。図１に示す撮像装置１００は、赤外線撮像装置であり、集光レンズ１、集光レンズ１を保持する鏡筒２、シャッタ３、駆動アクチュエータ４、画像撮像部１０、信号処理部２０、画像処理ユニット３０などを備えている。なお、画像処理ユニット３０は、撮像装置１００の内部に設けることもできるが、撮像装置１００とは別個の装置としてもよい。
【００２５】
撮像装置１００は、例えば、交差点付近に設置され、交差点の横断歩道を歩行する歩行者を撮像対象（移動体）として撮像する。撮像装置１００は、撮像データを画像処理し、路側無線機などを介して処理結果を車両へ送信する。車両では、撮像装置１００で撮像して検出した歩行者の情報を表示パネル等に表示し、運転者に注意を喚起することができる。なお、撮像装置１００の設置例、利用形態はこれに限定されるものではない。撮像対象（移動対象）は、歩行者に限らず、二輪車（自転車に乗った人、バイクなど）、車両なども含んでもよい。
【００２６】
画像撮像部１０は、基板上に２次元アレイ状に複数配置された撮像素子１１、撮像素子１１からの出力を信号処理部２０へ出力する信号読み出し回路１２などを備えている。
【００２７】
シャッタ３は、集光レンズ１と撮像素子１１との間に開閉可能に設けてある。シャッタ３は、補正処理としてのＮＵＣ処理などのキャリブレーション実行時に、シャッタ３を閉じることで集光レンズ１からの遠赤外光を遮断するとともに、撮像素子１１に一様な温度分布を供給する。これにより、撮像素子１１の個々の感度（温度特性）のばらつきによるオフセットの補正などを行うことができる。シャッタ３は、駆動アクチュエータ４により開閉駆動される。なお、シャッタ３の構成は、機械式に限定されるものではなく、他の構成であってもよい。
【００２８】
集光レンズ１は、外部から入射する赤外光を集光して、撮像素子１１の表面に入射光を照射させるためのものであり、円筒状の鏡筒２内に保持されている。集光レンズ１には、例えば、Ｇｅ、ＺｎＳ、カルコゲナイトガラス等を用いることができる。
【００２９】
撮像素子１１は、例えば、ボロメータ型の遠赤外線センサであり、例えば、波長が７〜１４μｍの遠赤外光を輝度信号に熱電変換し、熱電変換した輝度信号を信号読み出し回路１２へ出力する。なお、撮像素子１１は、ボロメータの他にアモルファスＳｉ、ＳＯＩダイオード等であってもよい。
【００３０】
信号読み出し回路１２は、撮像素子１１からの出力（輝度信号）をフレーム単位（例えば、毎秒３０フレームなど）で読み出した輝度信号を信号処理部２０へ出力する。
【００３１】
駆動アクチュエータ４は、信号処理部２０から出力される制御信号に基づいて、ＮＵＣ処理が行われる場合、シャッタ３を閉じる（集光レンズ１からの入射光を遮断する）ようにシャッタ３を駆動する。また、ＮＵＣ処理を行わない場合には、シャッタ３を開き、集光レンズ１で集光した光が撮像素子１１へ入射する。
【００３２】
図２に示すように、信号処理部２０は、例えば、ＬＳＩで構成され、データ処理部２１、ＮＵＣ処理部２２、シャッタ制御部２３、及びメモリ２４などを備える。
【００３３】
データ処理部２１は、画像撮像部１０から入力された輝度信号をデジタル信号に変換する。データ処理部２１は、欠陥画素の補正処理、ゲイン又はオフセットの調整処理を行い、処理後の信号（撮像データ）を画像処理ユニット３０へ出力する。なお、画像処理ユニット３０を内蔵しない場合、処理後の信号を不図示の通信インタフェース部を介して外部へ出力することができる。また、処理後の信号を一旦メモリ２４に記憶してもよい。
【００３４】
シャッタ制御部２３は、撮像素子１１それぞれの温度特性のばらつきを補正するため、ＮＵＣ処理を行うべく周期的に制御信号を駆動アクチュエータ４及び画像処理ユニット３０へ出力する。制御信号は、例えば、矩形状の電圧波形であり、正電圧が出力されている間は、シャッタ３を閉じるように制御する。制御信号が出力されなくなった場合（正電圧がゼロ電圧に変化した場合）、閉じていたシャッタ３を開くように制御することができる。なお、制御信号をパルス波形とし、最初のパルス波形が出力された時点でシャッタ３を閉じるように制御し、次のパルス波形が出力された時点でシャッタ３を開くように制御してもよい。
【００３５】
ＮＵＣ処理部２２は、シャッタ３が閉じた状態で、撮像素子１１の出力値（輝度信号）を補正する。すなわち、ＮＵＣ処理部２２は、撮像素子１１毎のばらつきによる出力値を平均化等により均一化する。
【００３６】
メモリ２４は、撮像素子１１の特性ばらつき補正値マップ等を記憶する。
【００３７】
図３に示すように、画像処理ユニット３０は、第２の画像処理手段としての移動体推定部３１、第１の画像処理手段としての移動体検出部３２、撮像データ、画像処理結果、後述する候補領域リスト及び検出移動体リストなどの情報を記憶するメモリ３３、シャッタ３が閉じている時間を算出する算出手段としての算出部３４、移動体推定部３１又は移動体検出部３２のいずれか一方を選択する選択手段としての選択部３５、並びに判定手段及び分散算出手段としてのＮＵＣ判定部３６などを備える。
【００３８】
ＮＵＣ判定部３６は、ＮＵＣ処理（補正処理）を行うか否かを判定し、判定結果を選択部３５へ出力する。判定処理は、例えば、信号処理部２０から出力される制御信号に基づいて行うことができる。ＮＵＣ判定部３６は、信号処理部２０から出力される制御信号を算出部３４へ出力する。
【００３９】
また、判定処理は、制御信号に代えて、別の方法を用いることもできる。ＮＵＣ判定部３６は、選択部３５を介して、あるいは、直接に信号処理部２０から出力された撮像素子１１の出力に基づいて撮像画像内の画素値の分散を算出する。シャッタ３が閉じている場合には、各撮像素子１１の出力はほぼ一様になるから、算出した画素値の分散が所定の閾値より小さい場合には、シャッタ３が閉じている、すなわちＮＵＣ処理が行われると判定することができる。この場合には、制御信号を用いる必要はない。
【００４０】
算出部３４は、制御信号に基づいて、シャッタ３が閉じている時間を算出し、算出した時間を選択部３５へ出力する。また、算出部３４は、シャッタ３の移動時間を算出した時間に加算してシャッタが閉じている時間を算出することもできる。シャッタ３の移動時間は、シャッタ３を開くべく指令の時点からシャッタ３が完全に開くまでの遷移時間であり、例えば、１００ｍｓ〜２００ｍｓとすることができる。なお、シャッタ３の移動時間は、予め測定しておき、測定値を用いることができる。なお、算出部３４に代えて、シャッタ３の移動時間を予め測定しておき、測定値をメモリ３３などに記憶しておき、算出する代わりにメモリ３３等から読み出して利用することもできる。
【００４１】
選択部３５は、ＮＵＣ判定部３６での判定結果、及び算出部３４で算出したシャッタ３が閉じている時間を用いて、ＮＵＣ処理が行われない場合には、移動体検出部３２を選択して画像処理を行い、ＮＵＣ処理が行われる間は、移動体推定部３１を選択して画像処理を行う。
【００４２】
移動体検出部３２は、ＮＵＣ処理が行われない場合に得られた撮像データを用いて画像処理を行うことで移動体の移動に関する情報を検出する。移動体検出部３２は、移動体（撮像対象）の候補領域検出処理、移動体種別判定処理、過去の検出移動体との対応付け処理、移動体の速度及び移動方向検出処理などの画像処理を行う。以下、各画像処理について説明する。
【００４３】
候補領域検出処理は、撮像画像の中から移動体の候補となる領域を検出し、検出した領域の画像座標又はワールド座標などを格納した候補領域リストを作成する。候補領域リストは、例えば、移動体の外接四角形を候補領域とし、候補領域の識別符号と外接四角形の四隅の座標などを有する。候補領域検出処理は、具体的には、例えば、撮像画像から予め求められていた背景画像を差し引いて歩行者などの移動体を抽出する背景差分法を用いることができる。また、候補領域検出処理は、現在のフレームと過去のフレームとの差分から歩行者などの移動体を抽出するフレーム差分法（フレーム間差分法）を用いることができる。
【００４４】
移動体種別判定処理は、候補領域リストにおける各領域に対して移動体であるか否かの判定を行い、検出移動体リストを作成する。検出移動体リストは、例えば、移動体の外接四角形を検出領域とし、検出領域の識別符号と外接四角形の四隅の座標などを有する。なお、検出移動体リストは、候補領域リストにおける候補領域毎に移動体であるか否かを示すフラグを付与するようにしてもよい。移動体種別判定処理は、具体的には、例えば、検出領域の大きさ情報に基づいて歩行者又は車両などの移動体であることの種別判定を行うことができる。また、移動体種別判定処理は、学習機能を組み込んだパターン認識手法の１つであるサポートベクターマシンなどの手法を用いることができる。
【００４５】
過去の検出移動体との対応付け処理は、検出移動体リストにおいて、例えば、１周期前（１フレーム前）の移動体の中から現在の移動体に対応する同一の移動体を探索し、同じ移動体には同一のフラグを付与する。対応付け処理は、具体的には、例えば、現在と過去の検出領域の画素値分布の類似度（相関係数）、検出領域の大きさ又は縦横比の類似度、検出領域の座標移動量（例えば、移動体が歩行者の場合、時間当たりの移動量は小さい）などを用いることができる。
【００４６】
移動体の速度及び移動方向検出処理は、対応付けできた同一の移動体の現在及び過去の座標を比較し、移動体の速度、移動方向を検出する。これにより、移動体検出部３２では、実際に取得した撮像データに基づいて、移動体の位置、速度、移動方向などを検出することができる。
【００４７】
移動体推定部３１は、ＮＵＣ処理が行われる間に、移動体検出部３２で得られた画像処理結果を用いて移動体の位置、速度、移動方向などを推定する。移動体推定部３１での画像処理は、ＮＵＣ処理が行われている間の画像処理であるため、その間は、実際の撮像データを得ることができない。このため、移動体推定部３１は、移動体の過去の履歴情報（すなわち、移動体検出部３２で得られた画像処理結果である位置、速度、移動方向などの情報）を用いて現在の移動体の位置、速度、移動方向などを推定する。なお、過去の履歴情報としては、常に直近の数秒間程度の情報を記憶しておくことができる。
【００４８】
移動体の推定処理は、ＮＵＣ処理時には実際の撮像データを取得することができないので、過去の検出移動体リストを用いて現在の移動体の位置を推定する。推定処理は、例えば、移動体の移動を単純に等速直線運動と仮定して移動体の位置を推定することができる。また、推定処理は、カルマンフィルタ又はパーティクルフィルタなどを利用した方法を用いることもできる。推定した位置から、移動体の速度、移動方向も推定することができる。
【００４９】
図４は本実施の形態の画像処理ユニット３０による画像処理の一例を示す概念図である。図４は、移動体としての歩行者が時系列に検出される様子を示す。図４では、歩行者の移動軌跡を表わしている。ＮＵＣ処理が行われていない場合、移動体検出部３２による画像処理により、歩行者の位置、速度、移動方向などが、時系列に検出される（符号Ａ参照）。
【００５０】
ＮＵＣ処理が開始されると（符号Ｂ参照）、移動体検出部３２から移動体推定部３１に切り替わり、移動体推定部３１による画像処理により、歩行者の位置、速度、移動方向などが、時系列に推定される（符号Ｃ参照）。ＮＵＣ処理に要する時間は、およそ２００ｍｓ〜３００ｍｓ程度であるが、この間の移動体の推定には、過去２〜３秒程度の移動体の履歴情報を用いることができる。
【００５１】
ＮＵＣ処理が終了すると（符号Ｄ参照）、移動体推定部３１から移動体検出部３２に切り替わり、移動体検出部３２による画像処理により、歩行者の位置、速度、移動方向などが、時系列に検出される（符号Ｅ参照）。
【００５２】
上述のとおり、撮像素子１１への入射光を遮断して撮像素子１１の特性を補正する補正処理（ＮＵＣ処理）を行うか否かを判定するＮＵＣ判定部３６と、ＮＵＣ処理を行わない場合に得られた撮像データを用いて画像処理を行う移動体検出部３２と、補正処理が行われている間に移動体検出部３２での処理結果を用いて画像処理を行う移動体推定部３１と、ＮＵＣ判定部３６での判定結果に応じて、移動体検出部３２又は移動体推定部３１のいずれか一方を選択する選択部３５を備えることにより、ＮＵＣ処理を行う場合に外部からの映像遮断があるときでも、実際の撮像データを用いて行われた画像処理の結果（ＮＵＣ補正処理前の画像処理結果）を用いて画像処理を行うことができ、画像処理結果を出力することができる。
【００５３】
また、移動体検出部３２は、撮像データを用いて撮像対象の移動に関する情報を検出し、移動体推定部３１は、移動体検出部３２が検出した情報に基づいて、撮像対象の移動に関する情報を推定することにより、撮像対象である移動体などの検出処理を常時行う必要がある用途において、ＮＵＣ処理により外部の映像が得られない間でも、移動体の情報を推定して推定結果を出力することができる。
【００５４】
また、撮像装置１００は、集光レンズ１と、集光レンズ１で集光した光が入射される撮像素子１１と、撮像素子１１の出力に基づく撮像データを画像処理する画像処理ユニット３０とを備える。これにより、ＮＵＣ処理を行う場合に外部からの映像遮断があるときでも、ＮＵＣ処理前の画像処理結果を用いて画像処理を行うことができ、画像処理結果を出力することができる撮像装置を実現することができる。
【００５５】
また、撮像装置１００は、集光レンズ１と撮像素子１１との間又は集光レンズの外側に開閉可能に設けられたシャッタ３と、シャッタ３の開閉を制御する制御信号を生成する信号処理部２０とを備える。ＮＵＣ処理を行う場合、外部の映像を遮断すべくシャッタ３が閉じられるので、制御信号を画像処理ユニット３０で取得することで、ＮＵＣ処理を行うか否かの判定を正確に行うことができる。
【００５６】
また、制御信号に基づいて、シャッタ３が閉じている時間を算出し、算出した時間の間、ＮＵＣ処理前の画像処理結果を用いて画像処理するので、ＮＵＣ処理に要する時間に拘わらず画像処理結果を出力することができる。
【００５７】
また、算出した時間にシャッタ３の移動時間を加算してシャッタ３が閉じている状態の時間を算出するので、シャッタ３が閉じている状態から完全に開いた状態になるまでの遷移時間においては、ＮＵＣ処理前の画像処理結果を用い、実際の撮像データを用いた画像処理を行わないので、シャッタ３の移動中に撮像画像の光量が不足するような状態で得られた撮像データを用いることなく画像処理を行うことができ、正しい画像処理結果を出力することができる。
【００５８】
また、撮像素子１１の出力に基づいて撮像画像内の画素値の分散を算出し、算出した分散に基づいてＮＵＣ処理を行うか否かを判定するので、制御信号を用いることなく簡便な構成でＮＵＣ処理を行うか否かの判定を正確に行うことができる。
【００５９】
図５は本実施の形態に係る画像処理ユニット３０の処理手順を示すフローチャートである。画像処理ユニット３０は、ＮＵＣ処理の開始であるか否かを判定し（Ｓ１１）、ＮＵＣ処理の開始でない場合（Ｓ１１でＮＯ）、撮像データを取得し（Ｓ１２）、移動体の候補領域を検出する（Ｓ１３）。
【００６０】
画像処理ユニット３０は、移動体種別を判定し（Ｓ１４）、過去に検出した移動体との対応付けを行う（Ｓ１５）。画像処理ユニット３０は、移動体の速度、移動方向を検出し（Ｓ１６）、検出結果を出力する（Ｓ１７）。
【００６１】
ＮＵＣ処理が開始される場合（Ｓ１１でＹＥＳ）、画像処理ユニット３０は、シャッタ３が閉じている時間を算出し（Ｓ１８）、実際の撮像データを画像処理して得られたＮＵＣ処理前の移動体の速度、移動方向を参照する（Ｓ１９）。なお、常に直近の数秒間程度の過去の移動体の履歴情報として移動体の速度、移動方向を記憶しておけばよい。
【００６２】
画像処理ユニット３０は、移動体の速度、移動方向を推定し（Ｓ２０），推定結果を出力する（Ｓ２１）。画像処理ユニット３０は、算出時間が経過したか否かを判定し（Ｓ２２）、算出時間が経過していない場合（Ｓ２２でＮＯ）、すなわち、未だＮＵＣ処理中である場合、ステップＳ１９以降の処理を続ける。算出時間が経過した場合（Ｓ２２でＹＥＳ）、画像処理ユニット３０は、後述のステップＳ２３の処理を行う。
【００６３】
なお、算出時間が経過したか否かの判定は、ＮＵＣ処理が終了したか否かの判定に相当する。制御信号又は画素値の分散を用いる判定処理では、必ずしもシャッタ３が閉じている時間を算出する必要はないが、シャッタ３の移動時間を考慮する場合には、移動時間を加算した時間の経過を判定することにより、ＮＵＣ処理による実際の撮像データを取得することができない時間を一層正確に把握することができる。
【００６４】
画像処理ユニット３０は、処理を終了するか否かを判定し（Ｓ２３）、処理を終了しない場合（Ｓ２３でＮＯ）、ステップＳ１１以降の処理を続け、処理を終了すると判定した場合（Ｓ２３でＹＥＳ）、処理を終了する。
【００６５】
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６６】
１  集光レンズ
３  シャッタ
４  駆動アクチュエータ
１０  画像撮像部
１１  撮像素子
１２  信号読み出し回路
２０  信号処理部
２２  ＮＵＣ処理部
２３  シャッタ制御部（信号生成手段）
３０  画像処理ユニット
３１  移動体推定部（第２の画像処理手段）
３２  移動体検出部（第１の画像処理手段）
３４  算出部（算出手段）
３５  選択部（選択手段）
３６  ＮＵＣ判定部（判定手段、分散算出手段）
【図１】
2011135237.tif 000003
【図２】
2011135237.tif 000004
【図３】
2011135237.tif 000005
【図４】
2011135237.tif 000006
【図５】
2011135237.tif 000007