(57)【要約】【課題】多重露光画像における被写体の位置の特定の精度を、従来よりも向上し得るカメラシステムを提供する。【解決手段】カメラシステム１０は、１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置２０と、前記第１画像から第１対象物の特徴量を抽出し、前記第２画像において前記特徴量に対応する少なくとも一つの第１位置を特定する画像処理装置３０と、を備える。【選択図】図１
2019140676.tif 000002
【特許請求の範囲】
【請求項１】
１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、
前記第１画像から第１対象物の特徴量を抽出し、前記第２画像において前記特徴量に対応する少なくとも一つの第１位置を特定する画像処理装置と、
を備える、カメラシステム。
【請求項２】
前記撮像装置は、第１フレーム期間に前記第１画像を取得し、前記第１フレーム期間の後の第２フレーム期間に前記第２画像を取得する、請求項１に記載のカメラシステム。
【請求項３】
前記第２画像に基づいて、前記第２フレーム期間の後の第３フレーム期間に、前記通常露光により画像を取得するか前記多重露光により画像を取得するかを決定する制御回路をさらに備える、請求項２に記載のカメラシステム。
【請求項４】
前記第２画像において前記特徴量に対応する前記少なくとも一つの第１位置を特定できなかった場合、前記制御回路は、前記第３フレーム期間に、前記通常露光により画像を取得することを決定する、請求項３に記載のカメラシステム。
【請求項５】
前記第２画像において前記第１対象物とは異なる第２対象物を検出した場合、前記制御回路は、前記第３フレーム期間に、前記通常露光により画像を取得することを決定する、請求項３又は請求項４に記載のカメラシステム。
【請求項６】
前記第２画像の予め定められた領域において前記第１対象物とは異なる第２対象物を検出した場合、前記制御回路は、前記第３フレーム期間に、前記通常露光により画像を取得することを決定する、請求項３又は請求項４に記載のカメラシステム。
【請求項７】
前記撮像装置は、前記複数回の露光のうちの少なくとも１回の露光により生成した信号を非破壊で読み出す、請求項１から請求項６のいずれか１項に記載のカメラシステム。
【請求項８】
前記撮像装置は、複数の画素を含み、前記複数の画素のうちの一部の画素からの前記信号を非破壊で呼び出す、請求項７に記載のカメラシステム。
【請求項９】
前記撮像装置は、第１フレーム期間に前記第１画像および前記第２画像を取得し、
前記撮像装置は、前記多重露光のうちの最初の１回の露光により前記第１画像を取得し、
前記多重露光により前記第２画像を取得する、請求項１に記載のカメラシステム。
【請求項１０】
前記撮像装置は、前記最初の１回の露光により発生した信号を非破壊で読み出す、請求項９に記載のカメラシステム。
【請求項１１】
前記多重露光は、第１露光と、前記第１露光と異なる第２露光とを含み、
前記第１露光時の感度は、前記第２露光時の感度と異なる、請求項１から請求項１０のいずれか１項に記載のカメラシステム。
【請求項１２】
前記多重露光の前記複数回の露光の間の期間における感度は、ゼロよりも大きく前記複数回の露光時の感度よりも小さい、請求項１から請求項１１のいずれか１項に記載のカメラシステム。
【請求項１３】
前記第１対象物は、自動車、バイク、電車、自転車、人、動物のうちの少なくとも１つを含む、請求項１から請求項１２のいずれか１項に記載のカメラシステム。
【請求項１４】
前記画像処理装置は、前記第２画像に基づいて、前記第１対象物の運動方向、速度、加速度のうちの少なくとも１つを算出する、請求項１から請求項１３のいずれか１項に記載のカメラシステム。
【請求項１５】
前記画像処理装置によって算出された前記運動方向、前記速度、前記加速度のうちの少なくとも１つを表示する表示装置をさらに備える、請求項１４に記載のカメラシステム。
【請求項１６】
前記画像処理装置は、前記第１対象物の前記特徴量に基づいて、第２画像において前記第１対象物に対応する少なくとも一つの像を検出する、請求項１から請求項１５のいずれか１項に記載のカメラシステム。
【請求項１７】
請求項１から請求項１３のいずれか１項に記載のカメラシステムと、
制御装置と
を備え、
前記カメラシステムは、前記第２画像に基づいて、前記第１対象物の運動方向、速度、加速度のうちの少なくとも１つを算出し、
前記制御装置は、前記運動方向、前記速度、前記加速度のうちの少なくとも１つに基づいて車両の走行を制御する、車両走行制御システム。
【請求項１８】
少なくとも１回の露光を行うことにより第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、
前記第１画像から第１対象物の特徴量を抽出し、前記第２画像において前記特徴量に対応する少なくとも一つの第１位置を特定する画像処理装置と
を備える、カメラシステム。
【請求項１９】
前記撮像装置は、第１フレーム期間に前記第１画像および前記第２画像を取得し、
前記撮像装置は、前記多重露光のうちの最初の前記少なくとも１回の露光により前記第１画像を取得し、前記多重露光により前記第２画像を取得する、請求項１８に記載のカメラシステム。
【請求項２０】
前記画像処理装置は、前記第１対象物の前記特徴量に基づいて、前記第２画像において前記第１対象物に対応する少なくとも一つの像を検出する、請求項１８に記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラシステムに関する。
【背景技術】
【０００２】
従来、複数回露光を行うことで多重露光画像を取得する撮像装置を備えたカメラシステムが知られている。例えば、特許文献1には、撮像装置によって取得される多重露光画像から被写体の特徴量を抽出し、抽出した特徴量をもとに、多重露光画像における被写体の位置を特定するカメラシステムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２７３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
多重露光画像における被写体の位置を、より高い精度で特定し得るカメラシステムが求められている。
【課題を解決するための手段】
【０００５】
本開示の一態様に係るカメラシステムは、１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、前記第１画像から第１対象物の特徴量を抽出し、前記第２画像において前記特徴量に対応する少なくとも一つの第１位置を特定する画像処理装置と、を備える。
【０００６】
包括的または具体的な態様は、素子、デバイス、装置、カメラシステム、集積回路、方法、コンピュータプログラムまたはプログラムが記録されたコンピュータ読み取り可能な記録媒体で実現されてもよい。また、包括的または具体的な態様は、素子、デバイス、装置、カメラシステム、集積回路、方法、コンピュータプログラムおよび記録媒体の任意の組み合わせによって実現されてもよい。
【０００７】
開示された実施形態の追加的な効果および利点は、明細書および図面から明らかになる。効果および／または利点は、明細書および図面に開示の様々な実施形態または特徴によって個々に提供され、これらの１つ以上を得るために全てを必要とはしない
【発明の効果】
【０００８】
多重露光画像における被写体の位置を、より高い精度で特定し得るカメラシステムが提供される。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１に係る車両走行制御システムの構成を示すブロック図である。
【図２】図２は、実施の形態１に係る撮像装置の回路構成例を示す模式図である。
【図３】図３は、実施の形態１に係る画素の回路構成例を示す回路図である。
【図４】図４は、実施の形態１に係る光電変換部及びＦＤの構造を模式的に示す断面図である。
【図５】図５は、実施の形態１に係る画素の回路構成例を示すブロック図である。
【図６】図６は、実施の形態１に係る撮像装置における、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。
【図７Ａ】図７Ａは、実施の形態１に係る撮像装置によって取得された多重露光画像の一例である。
【図７Ｂ】図７Ｂは、実施の形態１に係る撮像装置によって取得された基準画像の一例である。
【図８】図８は、実施の形態１に係る撮像装置における、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。
【図９】図９は、第１動体検出処理のフローチャートである。
【図１０】図１０は、被写体から特徴量が抽出される様子を模式的に示す概念図である。
【図１１】図１１は、多重露光画像の一例である。
【図１２】図１２は、多重露光画像の一例である。
【図１３】図１３は、実施の形態１に係る撮像装置が電荷量を非破壊で読み出す動作タイミングを示す。
【図１４】図１４は、多重露光画像の一例である。
【図１５】図１５は、第２動体検出処理のフローチャートである。
【図１６】図１６は、第３動体検出処理のフローチャートである。
【図１７】図１７は、第４動体検出処理のフローチャートである。
【図１８】図１８は、実施の形態４に係る撮像装置における、２つのフレーム期間における多重露光の動作タイミングの例を示す。
【図１９Ａ】図１９Ａは、実施の形態５に係る撮像装置における、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。
【図１９Ｂ】図１９Ｂは、実施の形態５に係る撮像装置における、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。
【図１９Ｃ】図１９Ｃは、実施の形態５に係る撮像装置における、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。
【図２０Ａ】図２０Ａは、実施の形態６に係る撮像装置における、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。
【図２０Ｂ】図２０Ｂは、実施の形態６に係る撮像装置における、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。
【図２１】図２１は、実施の形態７に係る撮像装置における、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。
【図２２Ａ】図２２Ａは、第１動体検出処理において取得された多重露光画像の一例である。
【図２２Ｂ】図２２Ｂは、第７動体検出処理において取得された多重露光画像の一例である。
【図２３】図２３は、変形例に係る車両走行制御システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
（本発明者らの知見）
被写体が撮像装置に対して相対的に動いている場合、撮像装置によって取得される多重露光画像では、複数の被写体像が互いにずれて重畳される。このような場合には、従来のカメラシステムでは、多重露光画像から、被写体像の形状、数等を誤って検出してしまうことがある。このような誤検出に起因して、多重露光画像における被写体像の位置を特定する精度が低下してしまうことがある。
【００１１】
本開示の一態様の概要は以下のとおりである。
［項目１］
１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、
前記第１画像から第１対象物の特徴量を抽出し、前記第２画像において前記特徴量に対応する少なくとも一つの第１位置を特定する画像処理装置と、
を備える、カメラシステム。
［項目２］
前記撮像装置は、第１フレーム期間に前記第１画像を取得し、前記第１フレーム期間の後の第２フレーム期間に前記第２画像を取得する、項目１に記載のカメラシステム。
［項目３］
前記第２画像に基づいて、前記第２フレーム期間の後の第３フレーム期間に、前記通常露光により画像を取得するか前記多重露光により画像を取得するかを決定する制御回路をさらに備える、項目２に記載のカメラシステム。
［項目４］
前記第２画像において前記特徴量に対応する前記少なくとも一つの第１位置を特定できなかった場合、前記制御回路は、前記第３フレーム期間に、前記通常露光により画像を取得することを決定する、項目３に記載のカメラシステム。
［項目５］
前記第２画像において前記第１対象物とは異なる第２対象物を検出した場合、前記制御回路は、前記第３フレーム期間に、前記通常露光により画像を取得することを決定する、項目３又は項目４に記載のカメラシステム。
［項目６］
前記第２画像の予め定められた領域において前記第１対象物とは異なる第２対象物を検出した場合、前記制御回路は、前記第３フレーム期間に、前記通常露光により画像を取得することを決定する、項目３又は項目４に記載のカメラシステム。
［項目７］
前記撮像装置は、前記複数回の露光のうちの少なくとも１回の露光により生成した信号を非破壊で読み出す、項目１から６のいずれか一項に記載のカメラシステム。
［項目８］
前記撮像装置は、複数の画素を含み、前記複数の画素のうちの一部の画素からの前記信号を非破壊で呼び出す、項目７に記載のカメラシステム。
［項目９］
前記撮像装置は、第１フレーム期間に前記第１画像および前記第２画像を取得し、
前記撮像装置は、前記多重露光のうちの最初の１回の露光により前記第１画像を取得し、前記多重露光により前記第２画像を取得する、項目１に記載のカメラシステム。
［項目１０］
前記撮像装置は、前記最初の１回の露光により発生した信号を非破壊で読み出す、項目９に記載のカメラシステム。
［項目１１］
前記多重露光は、第１露光と、前記第１露光と異なる第２露光とを含み、
前記第１露光時の感度は、前記第２露光時の感度と異なる、項目１から１０のいずれか一項に記載のカメラシステム。
［項目１２］
前記多重露光の前記複数回の露光の間の期間における感度は、ゼロよりも大きく前記複数回の露光時の感度よりも小さい、項目１から１１のいずれか一項に記載のカメラシステム。
［項目１３］
前記第１対象物は、自動車、バイク、電車、自転車、人、動物のうちの少なくとも１つを含む、項目１から１２のいずれか一項に記載のカメラシステム。
［項目１４］
前記画像処理装置は、前記第２画像に基づいて、前記第１対象物の運動方向、速度、加速度のうちの少なくとも１つを算出する、項目１から１３のいずれか一項に記載のカメラシステム。
［項目１５］
前記画像処理装置によって算出された前記運動方向、前記速度、前記加速度のうちの少なくとも１つを表示する表示装置をさらに備える、項目１４に記載のカメラシステム。
［項目１６］
前記画像処理装置は、前記第１対象物の前記特徴量に基づいて、第２画像において前記第１対象物に対応する少なくとも一つの像を検出する、項目１に記載のカメラシステム。
［項目１７］
項目１に記載のカメラシステムと、
制御装置と
を備え、
前記カメラシステムは、前記第２画像に基づいて、前記第１対象物の運動方向、速度、加速度のうちの少なくとも１つを算出し、
前記制御装置は、前記運動方向、前記速度、前記加速度のうちの少なくとも１つに基づいて車両の走行を制御する、車両走行制御システム。
［項目１８］
少なくとも１回の露光を行うことにより第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、
前記第１画像から第１対象物の特徴量を抽出し、前記第２画像において前記特徴量に対応する少なくとも一つの第１位置を特定する画像処理装置と
を備える、カメラシステム。
［項目１９］
前記撮像装置は、第１フレーム期間に前記第１画像および前記第２画像を取得し、
前記撮像装置は、前記多重露光のうちの最初の前記少なくとも１回の露光により前記第１画像を取得し、前記多重露光により前記第２画像を取得する、項目１８に記載のカメラシステム。
［項目２０］
前記画像処理装置は、前記第１対象物の前記特徴量に基づいて、第２画像において前記第１対象物に対応する少なくとも一つの像を検出する、項目１８に記載のカメラシステム。
【００１２】
また、本開示の一態様の概要は以下のとおりである。
【００１３】
本開示の一態様に係るカメラシステムは、画像を取得する撮像装置と、画像処理を行う画像処理装置と、を備え、前記撮像装置は、１回の露光を行って第１画像を取得し、複数回の露光を行って第２画像を取得し、前記画像処理装置は、前記第１画像から、第１対象物の特徴量を抽出し、前記特徴量をもとに、前記第２画像における前記第１対象物の位置を特定する。
【００１４】
このカメラシステムは、多重露光画像ではない第１画像から、被写体である第１対象物の像の特徴量を抽出する。そして、抽出された特徴量を用いて、多重露光画像から第１対象物の複数の像を抽出する。これにより、このカメラシステムは、多重露光画像から被写体像の特徴量を抽出する従来のカメラシステムに比べて、被写体像の形状、数等を誤って検出してしまう頻度を低減し得る。
【００１５】
従って、このカメラシステムは、多重露光画像における被写体の位置の特定の精度を、従来よりも向上し得る。
【００１６】
また、例えば、前記撮像装置は、前記１回の露光を第１フレーム期間に行い、前記複数回の露光を前記第１フレーム期間の後の第２フレーム期間に行ってもよい。
【００１７】
これにより、第２画像の取得を開始する前に、又は第２画像の取得と並行して、第１対象物の特徴量の抽出を開始することができるようになる。
【００１８】
また、例えば、さらに、前記撮像装置を制御する制御回路を備え、前記制御回路は、前記第２画像をもとに、前記第２フレーム期間後の第３フレーム期間に、前記撮像装置が前記１回の露光を行うか、前記複数回の露光を行うかを決定するとしてもよい。
【００１９】
これにより、第３フレーム期間に行う露光を１回の露光とするか複数回の露光とするかを、動的に決定し得るようになる。
【００２０】
また、例えば、前記制御回路は、前記第３フレーム期間に、前記撮像装置が前記１回の露光を行うとの前記決定を、前記画像処理装置が、前記第２画像において前記第１対象物を検出できなかった場合に行うとしてもよい。
【００２１】
これにより、第３フレーム期間に、新たな対象物の特徴量を抽出するための画像を取得することができるようになる。
【００２２】
また、例えば、前記制御回路は、前記第３フレーム期間に、前記撮像装置が前記１回の露光を行うとの前記決定を、前記画像処理装置が、前記第２画像において、前記第１対象物とは異なる第２対象物を検出した場合に行うとしてもよい。
【００２３】
これにより、第３フレーム期間に、第２対象物の特徴量を抽出するための画像を取得することができるようになる。
【００２４】
また、例えば、前記制御回路は、前記第３フレーム期間に、前記撮像装置が前記１回の露光を行うとの前記決定を、前記画像処理装置が、前記第２画像のうちの一部の予め定められた領域において、前記第１対象物とは異なる第２対象物を検出した場合に行うとしてもよい。
【００２５】
これにより、第３フレーム期間に１回の露光を行うか複数回の露光を行うかの決定に係る処理量を低減し得るようになる。
【００２６】
また、例えば、前記複数回の露光のうち、少なくとも１回の露光によって得られる電荷は、非破壊で読み出されるとしてもよい。
【００２７】
これにより、上記少なくとも１回の露光以前の露光による画像を取得することができるようになる。
【００２８】
また、例えば、前記非破壊での読み出しの対象となる画素は、前記撮像装置に含まれる画素の一部であるとしてもよい。
【００２９】
これにより、非破壊での読み出しの対象とする画素を撮像装置に含まれる画素の全てとする場合に比べて、非破壊での読み出しにおける読み出し時間又は／及び非破壊での読み出しにおける電力消費量を削減し得るようになる。
【００３０】
また、例えば、前記１回の露光は、前記複数回の露光のうちの最初の露光であり、前記撮像装置は、前記複数回の露光を、同一のフレーム期間に行うとしてもよい。
【００３１】
これにより、第２画像の取得の開始よりも前に、又は第２画像の取得と並行して、第１対象物の特徴量の抽出を開始し得るようになる。
【００３２】
また、例えば、前記１回の露光によって得られる電荷は、非破壊で読み出されるとしてもよい。
【００３３】
これにより、第１回の露光による被写体を、第２画像に重畳させることができるようになる。
【００３４】
また、例えば、前記複数回の露光は、第１の露光感度で行われる第１露光と、前記第１の露光感度とは異なる第２の露光感度で行われる第２露光と、を含むとしてもよい。
【００３５】
これにより、第２画像において重畳される、第１露光による被写体の明度と、第２露光によるその被写体の明度とを、互いに異ならせることができるようになる。
【００３６】
また、例えば、前記複数回の露光の各々は、所定の露光感度で行われる高感度露光であり、前記撮像装置は、前記高感度露光と、前記所定の露光感度よりも低い露光感度で行われる低感度露光とを、交互に連続して行うことで、前記複数回の露光を行うとしてもよい。
【００３７】
これにより、第２画像に、時系列における被写体の位置の推移の軌跡を残すことができるようになる。
【００３８】
また、例えば、前記第１対象物は、自動車、バイク、電車、自転車、人、動物のいずれかであるとしてもよい。
【００３９】
これにより、第２画像において、自動車、バイク、電車、自転車、人、動物のいずれかの位置を特定し得るようになる。
【００４０】
また、例えば、前記画像処理装置は、前記第２画像をもとに、前記第１対象物の動く方向、速度、加速度のうちの少なくとも１つを算出するとしてもよい。
【００４１】
これにより、第１対象物の動く方向、速度、加速度のうちの少なくとも１つを算出できるようになる。
【００４２】
また、例えば、さらに、前記方向、前記速度、前記加速度のうちの少なくとも１つを表示する表示装置を備えるとしてもよい。
【００４３】
これにより、このカメラシステムを利用するユーザは、第１対象物の動く方向、速度、加速度のうちの少なくとも１つを視認し得るようになる。
【００４４】
本開示の一態様に係る車両走行制御システムは、走行している自車両の走行を制御する車両走行制御システムであって、上記カメラシステムを備え、前記画像処理装置は、前記第２画像をもとに、前記第１対象物の動く方向、速度、加速度のうちの少なくとも１つを算出し、上記車両走行制御システムは、前記方向、前記速度、前記加速度のうちの少なくとも１つをもとに、上記制御を行う。
【００４５】
この車両走行制御システムでは、第１対象物の動く方向、速度、加速度のうちの少なくとも１つをもとに、自車両の走行を制御できるようになる。
【００４６】
以下、本開示の一態様に係るカメラシステム、及び車両走行制御システムの具体例について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【００４７】
（実施の形態１）
以下、実施の形態１に係るカメラシステム、及び実施の形態１に係る車両走行制御システムの構成について、図面を参照しながら説明する。
【００４８】
［１−１．構成］
図１は、車両走行制御システム１の構成を示すブロック図である。車両走行制御システム１は、車両に搭載され、その車両の走行を制御する。
【００４９】
図１に示されるように、車両走行制御システム１は、カメラシステム１０と、電子制御ユニット８０とを含んで構成される。
【００５０】
カメラシステム１０は、撮像装置２０と、画像処理装置３０と、制御回路４０と、光学系５０と、画像送信部６０と、表示装置７０とを含む。
【００５１】
光学系５０は、レンズ群を有する。光学系５０は、カメラシステム１０の外部から入力される光を、撮像装置２０に集光する。レンズ群は、フォーカスレンズを含んでいてもよい。フォーカスレンズは、レンズ群の光軸方向に移動することで、撮像装置２０における被写体像の合焦位置を調整してもよい。
【００５２】
撮像装置２０は、画像を取得する。撮像装置２０は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサであってよい。
【００５３】
図２は、撮像装置２０の回路構成例を示す模式図である。図２では、撮像装置２０がＣＭＯＳ型イメージセンサである場合を示している。
【００５４】
図２に示されるように、撮像装置２０は、行列状に配列された複数の画素１０１と、行走査回路１０２と、列走査回路１０３と、列毎に設けられた電流源１０４と、ＡＤ（Analog to Digital）変換回路１０５とを含んで構成される。
【００５５】
同じ行に位置する画素１０１は、共通の水平信号線１０７を介して、行走査回路１０２に接続される。そして、同じ列に位置する画素１０１は、共通の垂直信号線１０８と共通のＡＤ変換回路１０５とを介して、列走査回路１０３に接続される。また。各画素１０１への電力は、全ての画素１０１に共通の電源線１０６から供給される。
【００５６】
なお、ここでは、各列にＡＤ変換回路１０５を設けることで、列走査回路１０３からデジタル信号が出力される構成を例に挙げて説明した。しかし、ＡＤ変換回路１０５を設けずに、列走査回路１０３からアナログ信号が出力される構成であってもよい。また、列走査回路１０３は、各列に、その列の画素１０１からの信号を加算又は減算する加減算回路を備え、加算結果又は減算結果を出力する構成であってもよい。
【００５７】
画素１０１は、光電変換を行う光電変換部を備える。光電変換部は、例えば光電変換膜を利用するものであってもよいし、半導体基板中に設けられたフォトダイオードであってもよい。
【００５８】
図３は、画素１０１の回路構成の一例を示す回路図である。図３では、画素１０１は、光電変換膜を利用する光電変換部を備える。
【００５９】
図３に示されるように、画素１０１は、光電変換部２１と、フローティングディフュージョン（以下、「ＦＤ」と呼ぶ。）２２と、増幅トランジスタ２３と、選択トランジスタ２４と、リセットトランジスタ２５とを含む。
【００６０】
光電変換部２１は、入射光を光電変換する。ＦＤ２２は、光電変換部２１で生成された電荷を蓄積する。
【００６１】
図４は、図３に示された光電変換部２１及びＦＤ２２の構造を模式的に示す断面図である。
【００６２】
図４に示されるように、光電変換部２１は、薄膜状の光電変換層１１０Ｃと、光電変換層１１０Ｃの上方に位置する薄膜状の透明電極１１０Ａと、光電変換層１１０Ｃの下方に位置する薄膜状の画素電極１１０Ｂとを含む。画素電極１１０Ｂは、コンタクトプラグ１１０Ｅを介して、半導体基板１１０Ｄ内に設けられたＦＤ２２に接続される。ＦＤ２２は、例えば不純物を含む拡散層である。
【００６３】
光電変換層１１０Ｃは、透明電極１１０Ａと画素電極１１０Ｂとの間にバイアス電圧が印加された状態で受光すると、光電効果による電荷を生成する。生成された電荷のうち、正の電荷と負の電荷とのうちの一方が、画素電極１１０Ｂに収集される。画素電極１１０Ｂに収集された電荷は、ＦＤ２２に蓄積される。
【００６４】
光電変換層１１０Ｃに印加されるバイアス電圧を変化させることで、光電変換層１１０Ｃの光電変換効率、すなわち感度を変更することができる。例えば、光電変換層１１０Ｃに印加されるバイアス電圧が比較的高ければ、光電変換層１１０Ｃの光電変換効率、すなわち感度は比較的高くなる。一方、光電変換層１１０Ｃに印加されるバイアス電圧が比較的低ければ、光電変換層１１０Ｃの光電変換効率、すなわち感度は比較的低くなる。
【００６５】
また、光電変換層１１０Ｃに印加されるバイアス電圧を所定の閾値よりも小さくすることで、光電変換層１１０Ｃの光電変換効率を実質的に０とすることができる。以下、この閾値のことを露光閾値と呼ぶ。
【００６６】
つまり、光電変換層１１０Ｃに印加されるバイアス電圧が、露光閾値よりも大きい状態と小さい状態とを切り替えることで、光電変換部２１の露光状態と非露光状態とを切り替えることができる。これにより、撮像装置２０は、断続的に複数回の露光を行う多重露光動作を行うことができる。
【００６７】
再び図３に戻って、画素１０１の説明を続ける。
【００６８】
Ｖｒｓｔ信号によってリセットトランジスタ２５をオン状態とすることにより、ＦＤ２２の電位は、所望のリセット電位Ｖ１にリセットされる。
【００６９】
増幅トランジスタ２３は、ＦＤ２２に蓄積された電荷の量に対応する信号を出力する。
【００７０】
Ｖｓｅｌ信号によって選択トランジスタ２４のオン状態とオフ状態とを切り替えることにより、増幅トランジスタ２３から出力された信号を、垂直信号線１０８へ出力するか否かが選択される。
【００７１】
図５は、画素１０１の回路構成の別の例を示す回路図である。図５では、画素１０１は、光電変換部としてフォトダイオードを備える。
【００７２】
図５に示されるように、画素１０１は、フォトダイオード２６と、フローティングディフュージョン（以下、「ＦＤ」と呼ぶ。）２２と、増幅トランジスタ２３と、選択トランジスタ２４と、リセットトランジスタ２５と、転送トランジスタ２７と、排出トランジスタ２８を含んで構成される。
【００７３】
フォトダイオード２６は、入射光を光電変換する。
【００７４】
Ｖｔｒｓ信号によって転送トランジスタ２７をオン状態とすることにより、フォトダイオード２６で発生した電荷がＦＤ２２に転送される。
【００７５】
Ｖｄｒ信号によって排出トランジスタ２８をオン状態とすることにより、フォトダイオード２６で発生した電荷が排出される。
【００７６】
撮像装置２０は、フォトダイオード２６で発生した電荷のうち、有効とする露光により生じた電荷を、転送トランジスタ２７を介してＦＤ２２へ転送し、無効とする露光により生じた電荷を、排出トランジスタ２８を介して排出する。これにより、断続的に複数回の露光を行う多重露光動作を行うことができる。
【００７７】
再び図１に戻って、車両走行制御システム１の説明を続ける。
【００７８】
画像処理装置３０は、撮像装置２０によって取得された画像に対して、各種処理を行う。画像処理装置３０の行う第１動体検出処理については、後ほどフローチャートを用いて説明する。
【００７９】
図１に示されるように、画像処理装置３０は、画像処理プロセッサ（Image Signal Processor）（以下、「ＩＳＰ」と呼ぶ。）３１と、動き検出部３２とを含んで構成される。
【００８０】
ＩＳＰ３１は、主として、補正処理等を行う。
【００８１】
動き検出部３２は、主として、ＩＳＰ３１から出力される画像に対して、特徴量の抽出、及び、動き検出、動体検出等といった動体に関する処理、を行う。動き検出部３２は、例えばプロセッサを含み、プロセッサがプログラムを実行することで動体に関する処理が実現される。動き検出部３２は、画像を格納するフレームメモリを含んでもよいし、プログラム、抽出された特徴量等を格納するメモリを含んでもよい。
【００８２】
画像送信部６０は、ＩＳＰ３１から出力された画像等のデータを、外部に出力する。外部とは、例えば電子制御ユニット８０である。画像送信部６０から出力される画像は、例えば、未圧縮、未加工の生データであってもよいし、画像圧縮や所定の画像処理が行われた所定のフォーマットのデータであってもよい。
【００８３】
制御回路４０は、カメラシステム１０を制御する。また、制御回路４０は、撮像装置２０を制御する。
【００８４】
図１に示されるように、制御回路４０は、例えば、出力部４１と、入力部４２と、マイコン４５と、マイコン４５が実行するプログラムを記憶するプログラムメモリ４３と、マイコン４５が利用するワーキングメモリ４４とを含んで構成されてもよい。
【００８５】
表示装置７０は、動き検出部３２によって実行された処理の結果を表示する。表示装置７０は、例えば、動き検出部３２によって算出された、被写体の動く方向、速度、加速度のうちの少なくとも１つを表示してもよい。
【００８６】
電子制御ユニット８０は、いわゆるＥＣＵ（Engine Control Unit）と呼ばれるユニットである。電子制御ユニット８０は、搭載される車両の、エンジン、制動、加速等を制御する。電子制御ユニット８０は、例えば、動き検出部３２によって算出された、被写体の動く方向、速度、加速度のうちの少なくとも１つをもとに、上記制御を行うとしてもよい。
【００８７】
以下、上記構成のカメラシステム１０が行う動作について、図面を参照しながら説明する。
【００８８】
［１−２．動作］
［１−２−１．撮像］
以下、撮像装置２０が行う撮像の詳細について説明する。なお、光電変換部が光電変換膜を利用するものである場合と、フォトダイオードである場合とに分けて、図面を参照しながら説明する。
【００８９】
図６は、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。なお、撮像装置２０の画素１０１は、光電変換膜を利用する光電変換部を備える。
【００９０】
図６において、ＶＤのグラフは、所定のフレームレート（例えば、６０ｆｐｓ）でパルス状に変化する垂直同期信号ＶＤの変化を示す。
【００９１】
撮像装置２０は、ＶＤが立ち上がるタイミングで、各画素１０１から画素信号を読み出すことで、画像を取得する。画素信号は、ＦＤ２２に蓄積された電荷量に対応する。
【００９２】
図６において、ＶＩＴＯのグラフは、透明電極１１０Ａに印加されるバイアス電圧ＶＩＴＯの変化を示す。バイアス電圧ＶＩＴＯは、光電変換層１１０Ｃにかかる電圧とみなすこともできる。バイアス電圧ＶＩＴＯは、露光閾値よりも低いローレベルと、露光閾値よりも高いハイレベルとに交互に設定される。
【００９３】
図６に示される例では、ＶＩＴＯがハイレベルとなる期間は、第１フレーム期間では１回、第１フレーム期間の後の第２フレーム期間では３回である。これにより、各画素１０１は、第１フレーム期間において、露光状態となる期間が１回あり、第２フレーム期間において、露光状態となる期間が３回ある。つまり、第１フレーム期間においては１回の露光を行った画像が取得され、第２フレーム期間においては複数回の露光を行った画像が取得される。以下、１回の露光のことを通常露光、同じフレーム期間において複数の露光が行われることを多重露光と呼ぶことがある。通常露光を行って取得される画像のことを基準画像、多重露光を行って取得される画像のことを多重露光画像と呼ぶ。例えば、各画素１０１が１回露光状態となる第１フレーム期間においてＦＤ２２に蓄積された電荷量が読み出される画像は、基準画像となり、各画素１０１が複数回露光状態となる第２フレーム期間においてＦＤ２２に蓄積された電荷量が読み出される画像は、多重露光画像となる。例えば、被写体が撮像装置２０に対して相対的に動いている場合、多重露光画像は、被写体の動きの方向に互いにずれて重畳された複数の被写体像を含む画像となる。一方、基準画像は、被写体が撮像装置２０に対して相対的に動いている場合であっても、動いていない場合であっても、単一の被写体像を含む画像となる。言い換えれば、基準画像は、被写体の動きの方向に互いにずれて重畳された複数の被写体像を含む画像とはならない。
【００９４】
図７Ａは、自車両に搭載された撮像装置２０によって取得された、多重露光画像の例である。図７Ｂは、自車両に搭載された撮像装置２０によって取得された基準画像の例である。
【００９５】
図７Ａ、図７Ｂ共に、自車両の前方を、他の１台の車両２０１と、互いに外観が似ている３台のバイク２１１、バイク２１２、及びバイク２１３とが走行している状況において取得された画像である。車両２０１は、自車両に対して所定の相対速度で移動しており、バイク２１１、２１２、２１３は、自車両に対して相対速度がほぼゼロである。
【００９６】
図７Ａに例示されるように、多重露光画像では、他の車両２０１の像はその相対的な動きの方向にずれた複数の像となる。一方で、３台のバイク２１１、２１２、２１３は、多重露光画像においても、それぞれが一つの像となる。このため、これら３台のバイク２１１、２１２、２１３の像が、異なる３台のバイクの像なのか、同一のバイクの多重露光による像なのかを、この多重露光画像から判定することは比較的難しい。
【００９７】
これに対して、図７Ｂに例示されるように、基準画像では、同一の被写体に対して複数の被写体像が得られることはない。
【００９８】
図８は、撮像装置２０における、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。なお、撮像装置２０は、光電変換部としてフォトダイオードを備える画素１０１を備えている。
【００９９】
図８において、ＶＤのグラフは、所定のフレームレート（例えば、６０ｆｐｓ）でパルス状に変化する垂直同期信号ＶＤの変化を示す。
【０１００】
撮像装置２０は、ＶＤが立ち上がるタイミングで、各画素１０１から画素信号を読み出すことで、画像を取得する。画素信号は、ＦＤ２２に蓄積された電荷量に対応する。
【０１０１】
Ｖｔｒｓのグラフは、転送トランジスタ２７を制御するパルス状の信号Ｖｔｒｓの変化を示す。Ｖｔｒｓがハイレベルの期間、転送トランジスタ２７はオン状態となり、Ｖｔｒｓがローレベルの期間、転送トランジスタ２７はオフ状態となる。言い換えると、Ｖｔｒｓがハイレベルの期間には、フォトダイオード２６で発生した電荷がＦＤ２２に転送され、Ｖｔｒｓがローレベルの期間には、フォトダイオード２６で発生した電荷がＦＤ２２に転送されない。
【０１０２】
Ｖｄｒのグラフは、排出トランジスタ２８を制御するパルス状の信号Ｖｄｒの変化を示す。Ｖｄｒがハイレベルの期間には、排出トランジスタ２８はオン状態となり、Ｖｄｒがローレベルの期間には、排出トランジスタ２８はオフ状態となる。言い換えると、フレーム期間の開始から、Ｖｄｒがハイレベルになる前までの期間、およびＶｔｒｓがローレベルになってからＶｄｒがハイレベルになる前までの期間には、フォトダイオード２６に発生した電荷が排出され、Ｖｄｒがローレベルの期間には、フォトダイオード２６に発生した電荷が排出されない。
【０１０３】
従って、Ｖｄｒが立ち下がってから、次にＶｔｒｓが立ち下がるまでの期間が、露光期間となる。
【０１０４】
図８に示される例では、ＶｄｒとＶｔｒｓとがハイレベルとなる期間は、第１フレーム期間では１回、第２フレーム期間では３回である。いずれの期間においても、まずＶｄｒがハイレベルとなり、その後にＶｔｒｓがハイレベルとなる。これにより、各画素１０１は、第１フレーム期間において、露光状態となる期間が１回あり、第２フレーム期間において、露光状態となる期間が３回ある。つまり、第１フレーム期間においては１回の露光を行った画像が取得され、第２フレーム期間においては複数回の露光を行った画像が取得される。各画素１０１が１回だけ露光状態となる第１フレーム期間においてＦＤ２２に蓄積された電荷量が読み出された画像は、基準画像となる。また、各画素１０１が複数回露光状態となる第２フレーム期間においてＦＤ２２に蓄積された電荷量が読み出された画像は、多重露光画像となる。
【０１０５】
［１−２−２．第１動体検出処理］
カメラシステム１０は、第１動体検出処理を行う。
【０１０６】
以下、この第１動体検出処理について、図面を参照しながら説明する。
【０１０７】
図９は、第１動体検出処理のフローチャートである。
【０１０８】
第１動体検出処理は、例えば、カメラシステム１０が、カメラシステム１０を利用するユーザから、カメラシステム１０の動作モードを、動体検出モードに設定する旨の操作を受け付けることで開始される。
【０１０９】
図９に示されるように、第１動体検出処理が開始されると、撮像装置２０は、通常露光を行って、基準画像を取得する（ステップＳ１００）。ここで得られる基準画像の例を図７Ｂに示す。
【０１１０】
基準画像が取得されると、画像処理装置３０は、その基準画像から、全ての被写体の特徴量を抽出する。そして、その特徴量に基づいて、その被写体が動きベクトルを抽出する対象となる特定種類の被写体であるか否かを判定する（ステップＳ１１０）。以下、動きベクトルを抽出する対象となる特定種類の被写体のことを「特定被写体」と呼ぶ。
【０１１１】
ここでの特徴量とは、被写体の照合や判別に利用される、形状の定量的な特徴であり、例えば、エッジパターン、輝度パターン、色パターン、アスペクト比である。エッジパターンとは、例えば被写体の頂点の位置、頂点の個数、エッジの勾配方向、エッジの角度である。輝度パターン、色パターンとは、画像中の輝度、色の分布を特徴量として数値化したものである。アスペクト比とは、画像の縦・横比等を特徴量として数値化したものである。なお、他にも、局所領域間の関係に注目した、SIFT（Scale Invariant Feature Transform）特徴量、HOG（Histogram of oriented gradient）特徴量、EOH（Edge of Orientation Histograms）特徴量、Edgelet特徴量などがある。また、これらに限定されない多様な特徴量が抽出され得る。
【０１１２】
また、ここでの特定被写体は、例えば、自身で動くことができる物体である。特定被写体は、より具体的には、例えば、自動車、バイク、電車、自転車、人、動物である。
【０１１３】
車両走行制御システム１においては、動きベクトルを抽出する対象を、動力源を持った移動体、自立して移動することが可能な生体に限定することで、その処理量を低減しつつ、車両走行において危険となり得る対象を効果的にモニタできる。動力源を持った移動体は、例えば自動車、バイク、電車、自転車である。自立して移動することが可能な生体は、例えば、人、動物である。図１０に、基準画像から、被写体の特徴量１０００ａ〜１０００ｎが抽出される様子を模式的に示す。
【０１１４】
画像処理装置３０は、抽出された特徴量から、被写体が何であるかを認識する（ステップＳ１２０）。
【０１１５】
画像処理装置３０は、例えば、特定被写体とその特徴量との関係を定義したテーブルを予め記憶しており、抽出された特徴量と、そのテーブルにおける特徴量との一致度を調べることで、その被写体を認識してもよい。以下、この認識された被写体のことを、「第１対象物」と呼ぶ。そして、画像処理装置３０は、抽出された第１対象物の特徴量を記憶する。
【０１１６】
被写体が認識されると、撮像装置２０は、多重露光を行って、多重露光画像を取得する（ステップＳ１３０）。
【０１１７】
なお、ここでは、便宜上、ステップＳ１１０からステップＳ１２０までの処理が終了してからステップＳ１３０の処理を行うとした。しかし、撮像装置２０と画像処理装置３０とは、互いに独立して動作し得るため、ステップＳ１１０からステップＳ１２０までの処理と、ステップＳ１３０の処理とを、同時に実行することも可能である。
【０１１８】
多重露光画像が取得されると、画像処理装置３０は、記憶された特徴量をもとに、多重露光画像における第１対象物を抽出する（ステップＳ１４０）。例えば、画像処理装置３０は、記憶された特徴量をテンプレートとするテンプレートマッチングを行うことで、第１対象物を抽出してもよい。また、画像処理装置３０は、多重露光画像において、記憶された特徴量に対応する位置を特定してもよい。
【０１１９】
多重露光画像から第１対象物が抽出されると、画像処理装置３０は、多重露光画像における第１対象物の位置を特定する（ステップＳ１５０）。
【０１２０】
そして、画像処理装置３０は、特定された、多重露光画像における第１対象物の位置から、第１対象物の運動方向、速度、加速度を算出する（ステップＳ１６０）。
【０１２１】
以下、運動方向、速度、加速度を算出する方法について説明する。
【０１２２】
＜運動方向の算出＞
ここでは、多重露光画像から、第１対象物の運動方向を算出する具体的な方法の例について述べる。
【０１２３】
多重露光画像からは、第１対象物の時間毎の位置が特定される。このため、各位置の時間的変化が判別できれば、第１対象物の運動方向を算出できる。また、微小時間であれば、第１対象物は、運動の始点における位置から徐々に遠ざかる。このため、始点となる位置がわかれば、始点に近いほど過去の位置であると推定でき、運動方向を算出できる。１フレーム前の画像が基準画像である場合には、その基準画像における第１対象物の位置を始点とすることで、多重露光画像から第１対象物の運動方向を算出できる。１フレーム前の画像が基準画像でなく多重露光画像である場合には、１フレーム前の多重露光画像における第１対象物の運動の終点の位置を始点とすることで、対象とする多重露光画像から第１対象物の運動方向を算出できる。
【０１２４】
＜速度の算出＞
ここでは、多重露光画像から、第１対象物の速度を算出する具体的な算出方法の例について述べる。
【０１２５】
図１１は、時間ｔ毎に複数回（ここでは、３回）の露光を行うことで取得された多重露光画像の一例である。この多重露光画像において、第１対象物は自動車である。
【０１２６】
図１１に示されるように、多重露光画像において、第１対象物の位置の変位量ｄを算出する。実空間における第１対象物の大きさがわかれば、実空間において時間ｔの間に第１対象物が移動した実距離Ｄがわかる。ここで言う時間ｔは、図６、８における露光周期ｔに対応する。実空間における第１対象物の大きさは、例えば、車のナンバープレート等といった、規格で寸法が決まっているものを基準に推定することができる。また、実空間における第１対象物の大きさは、例えば、第１対象物の種類（例えば、自動車、人等）から、おおよその大きさを推定することもできる。そして、実距離Ｄがわかれば、実距離Ｄを時間ｔで除算することで、第１対象物の速度を算出することができる。
【０１２７】
なお、ここでは、複数回の露光のうち、１回目の露光による第１対象物の位置と、２回目の露光による第１対象物との位置とに基づいて、第１対象物の速度を算出する算出方法を説明した。しかし、任意の２つの露光による第１対象物の位置に基づいて、第１対象物の速度を算出することもできる。さらには、複数回の露光のうち任意に組合せた２回の露光による第１対象物の位置に基づいて速度の算出を行い、算出された速度を平均して第１対象物の速度としてもよい。
【０１２８】
なお、ここで算出される速度は、撮像装置２０が移動している場合には、撮像装置２０を基準とした第１対象物の相対速度となる。撮像装置２０が静止している場合には、第１対象物の絶対速度となる。
【０１２９】
＜加速度の算出＞
ここでは、多重露光画像から第２対象物の加速度を算出する、具体的な算出方法の例について述べる。
【０１３０】
上述したように、多重露光画像において、複数回の露光のうち任意に組合せた２回の露光による第１対象物の位置に基づいて速度の算出を行ってもよい。これにより、互いに異なる期間における第１対象物の速度を算出することができる。そして、互いに異なる期間における速度の差分から、第１対象物の加速度を算出することができる。
【０１３１】
再び、図９に戻って、第１動体検出処理の説明を続ける。
【０１３２】
ステップＳ１６０の処理が終了すると、カメラシステム１０は、動体検出モードを終了するか否かを判定する（ステップＳ１７０）。
【０１３３】
カメラシステム１０は、例えば、カメラシステム１０を利用するユーザから、カメラシステム１０の動作モードを、動体検出モード以外のモードに設定する旨の操作を受け付けていた場合に、動体検出モードを終了すると判定してもよい。また、カメラシステム１０は、例えば、電子制御ユニット８０から、エンジンが停止した旨の信号を受け付けていた場合に、動体検出モードを終了すると判定してもよい。
【０１３４】
ステップＳ１７０の処理において、動体検出モードを終了しないと判定する場合に（ステップＳ１７０：Ｎｏ）、制御回路４０は、次のフレーム期間に、通常露光を行うか多重露光を行うかを決定する（ステップＳ１８０）。
【０１３５】
以下、次のフレーム期間に、通常露光を行うか多重露光を行うかを決定する方法について説明する。
【０１３６】
＜次のフレーム期間の露光方法の決定＞
一度、基準画像から第１対象物の特徴量を抽出すると、その後の多重露光画像における第１対象物の位置の特定において、その特徴量を繰り返し利用することができる。
【０１３７】
一方で、その後の多重露光画像において第１対象物が消失した場合、及び、第１対象物とは異なる新たな対象物（以下、「第２対象物」と呼ぶ。）が出現した場合には、再度基準画像から、新たな特徴量の抽出を行う必要がある。
【０１３８】
このため、制御回路４０は、多重露光画像をもとに、次のフレーム期間に、撮像装置２０が、通常露光を行うか多重露光を行うかを決定する。より具体的には、例えば、制御回路４０は、多重露光画像において第１対象物を検出できなかった場合、及び、多重露光画像において第２対象物を検出した場合、次のフレーム期間には通常露光を行うことを決定する。そして、それら以外の場合には、制御回路４０は、次のフレーム期間に多重露光を行うことを決定する。
【０１３９】
多重露光画像において第１対象物が消失する場合とは、例えば、第１対象物が、撮像装置２０の撮像範囲外に移動した場合、第１対象物の向きや角度が変化して見え方が変化した場合、第１対象物に他の物体が重なり、撮像装置２０側から見て第１対象物が手前の物体の死角となった場合等が考えられる。
【０１４０】
第１対象物の消失は、例えば、多重露光画像において、検出された第１対象物の数が多重露光撮影における露光回数よりも少ないかどうかで検出することができる。
【０１４１】
図１２は、多重露光画像の一例である。
【０１４２】
第２対象物は、図１２に示されるように、撮像装置２０の撮像範囲における上端領域２００ａ、下端領域２００ｂ、左端領域２００ｃ、右端領域２００ｄから撮像範囲に進入すると考えられる。そこで、これらの領域に対応する画素領域において、多重露光の各露光間で非破壊読み出しを行ってもよい。これにより、撮像装置２０の撮像範囲内へ第２対象物が進入したことを検知することができる。この第２対象物の進入を検知するための領域を、以下の説明において「移動体検出領域」とも呼ぶ。
【０１４３】
図１３は、移動体検出領域に対応する画素１０１から、ＦＤ２２に蓄積された電荷量を非破壊で読み出す動作タイミングを示す。なお、撮像装置２０の画素１０１は、光電変換膜を利用する光電変換部を備える。
【０１４４】
図１３において、非破壊読み出し信号のグラフは、画素１０１から、ＦＤ２２に蓄積された電荷量の非破壊読み出しを開始させるパルス信号のタイミングを示す。非破壊読み出し信号がローレベルからハイレベルへと立ち上がるタイミングで、ＦＤ２２に蓄積された電荷が非破壊で読み出される。
【０１４５】
このように、多重露光の各露光の間に非破壊読み出しを行うことで、撮像装置２０の撮像範囲内へ進入してくる対象物の位置の変化を検出でき、多重露光画像において対象物を検出し易くなる。移動体検出領域の大きさは特に限定されないが、処理量と対処物の大きさとの兼ね合いから移動体検出領域の大きさを決定することが望ましい。
【０１４６】
なお、ここでは多重露光の各露光の間の全てで非破壊読み出しを行う例を図示して説明したが、各露光の間のうちのいずれか一つにおいて１回だけ非破壊読み出しを行ってもよい。
【０１４７】
なお、撮像装置２０が車両に搭載される場合には、撮像装置２０の撮像範囲の上部は空である。このような場合、移動体検出領域のうちの上端領域２００ｅを、図１４に示されるように撮像範囲の中央寄りに設定してもよい。
【０１４８】
また、移動体検出領域は、固定された領域ではなく、可変の領域であってもよい。
【０１４９】
再び、図９に戻って、第１動体検出処理の説明を続ける。
【０１５０】
ステップＳ１８０の処理において、次のフレーム期間に通常露光を行うと決定された場合、カメラシステム１０は、再びステップＳ１００の処理に進む（ステップＳ１９０：Ｙｅｓ）。その後、ステップＳ１００以降の処理を行う。
【０１５１】
ステップＳ１８０の処理において、次のフレーム期間に、通常露光を行うと決定されなかった場合、すなわち、次のフレーム期間に、多重露光を行うと決定された場合、カメラシステム１０は、再びステップＳ１３０の処理に進む（ステップＳ１９０：Ｎｏ）。その後、ステップＳ１３０以降の処理を行う。
【０１５２】
ステップＳ１７０の処理において、動体検出モードを終了すると判定する場合（ステップＳ１７０：Ｙｅｓ）、カメラシステム１０は、その第１動体検出処理を終了する。
【０１５３】
［１−３．考察］
カメラシステム１０は、多重露光画像において第１対象物の位置の変化を追跡することで、第１対象物の相対的な運動方向を検出することができる。また、第１対象物の実際の大きさと、光学系５０の焦点距離と、多重露光における露光周期とがわかれば、第１対象物の相対速度、相対加速度等を算出することができる。
【０１５４】
また、上述した通り、カメラシステム１０は、多重露光画像ではない第１画像から、第１対象物の特徴量を抽出する。そして、抽出された特徴量を用いて、多重露光画像から第１対象物を抽出する。これにより、カメラシステム１０は、第１対象物の形状、数等を誤って検出してしまう頻度を低減し得る。
【０１５５】
従って、カメラシステム１０は、多重露光画像において第１対象物の位置を精度良く特定できる。
【０１５６】
（実施の形態２）
［２−１．概要］
以下、実施の形態２に係るカメラシステムについて説明する。
【０１５７】
実施の形態１では、基準画像を取得した後には多重露光画像を取得することとしていた。
【０１５８】
これに対して、実施の形態２では、基準画像を取得した後、取得された基準画像に基づいて、次に基準画像を取得するか多重露光画像を取得するかを決定する。
【０１５９】
［２−２．構成］
実施の形態２に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
【０１６０】
［２−３．動作］
実施の形態２に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第２動体検出処理を行う。
【０１６１】
以下、この第２動体検出処理について、図面を参照しながら説明する。
【０１６２】
図１５は、第２動体検出処理のフローチャートである。
【０１６３】
図１５に示されるように、第２動体検出処理は、ステップＳ１２０の処理をステップＳ２２０の処理に変更した点で、実施の形態１の第１動体検出処理と異なる。
【０１６４】
ここでは、ステップＳ２２０の処理を中心に説明する。
【０１６５】
ステップＳ１１０の処理において、基準画像から、特定被写体の特徴量が抽出されると、画像処理装置３０は、抽出された特定被写体の特徴量をもとに、その基準画像に対して、特定被写体が何であるか認識することを試みる（ステップＳ２２０）。
【０１６６】
ステップＳ２２０の処理において特定被写体を認識できた場合（ステップＳ２２０：Ｙｅｓ）、ステップＳ１３０の処理に進んで多重露光画像を取得する。
【０１６７】
ステップＳ２２０の処理において特定被写体を認識できなかった場合（ステップＳ２２０：Ｎｏ）、ステップＳ１００の処理に進んで基準画像を取得する。
【０１６８】
［２−４．考察］
実施の形態２に係るカメラシステムは、ステップＳ２２０の処理において基準画像から特定被写体が認識されるまで、すなわち、車両走行において危険となり得る対象が認識されるまで、基準画像の取得を繰り返す。そして、ステップＳ２２０の処理において基準画像から特定被写体が認識された場合に限って、多重露光画像を取得する。
【０１６９】
このように、実施の形態２に係るカメラシステムは、基準画像から走行車両において危険となり得る対象が検出されない場合には、多重露光画像の取得を行わない。
【０１７０】
このため、実施の形態２に係るカメラシステムは、動体検出処理の処理量を低減しつつ、車両走行において危険となり得る対象を効果的にモニタし得る。
【０１７１】
（実施の形態３）
［３−１．概要］
以下、実施の形態３に係るカメラシステムについて説明する。
【０１７２】
実施の形態１では、多重露光画像が取得される毎に、次のフレーム期間に基準画像を取得するか多重露光画像を取得するかを判定し、判定結果に基づいて次の画像の取得を行った。
【０１７３】
これに対して実施の形態３では、基準画像を１回取得した後、多重露光画像を所定の回数だけ連続して取得する。また、基準画像の取得と多重露光画像の取得とを交互に繰り返して行う。
【０１７４】
［３−２．構成］
実施の形態３に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
【０１７５】
［３−３．動作］
実施の形態３に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第３動体検出処理を行う。
【０１７６】
以下、この第３動体検出処理について、図面を参照しながら説明する。
【０１７７】
図１６は、第３動体検出処理のフローチャートである。
【０１７８】
図１６に示されるように、第３動体検出処理は、ステップＳ１００の処理の前にステップＳ３００の処理を追加した点、ステップＳ１８０の処理をステップＳ３８０の処理に変更した点、ステップＳ１９０の処理をステップＳ３９０の処理に変更した点で、実施の形態１の第１動体検出処理と異なる。
【０１７９】
ここでは、ステップＳ３００の処理と、ステップＳ３８０の処理と、ステップＳ３９０の処理とを中心に説明する。
【０１８０】
図１６に示されるように、第３動体検出処理が開始されると、制御回路４０は、インテジャ型の変数ｎを初期化する（ステップＳ３００）。ここでは、変数ｎを初期化するとは、変数ｎに０を代入することをいう。
【０１８１】
変数ｎを初期化すると、ステップＳ１００の処理に進んで、基準画像を取得する。
【０１８２】
ステップＳ１７０の処理において、動体検出モードを終了しないと判定する場合（ステップＳ１７０：Ｎｏ）、制御回路４０は、変数ｎにｎ＋１を代入する（ステップＳ３８０）。
【０１８３】
そして、制御回路４０は、変数ｎに代入された新たな値が、予め設定された１以上の整数Ｘと等しいか否かを調べる（ステップＳ３９０）。すなわち、制御回路４０は、多重露光画像の連続取得回数が、予め設定された所定の回数であるＸ回に達しているか否かを調べる。
【０１８４】
ここで、Ｘの値は、例えば、撮像装置２０が搭載される車両の走行速度に応じて設定してもよい。Ｘの値は、撮像装置２０が搭載される車両が走行する道路の種類に応じて設定されてもよい。Ｘの値は、撮像装置２０が搭載される車両付近の天候に応じて設定されてもよい。道路の種類としては、例えば高速道路、一般道路が挙げられる。天候としては、例えば晴天、雨天が挙げられる。
【０１８５】
ステップＳ３９０の処理において、変数ｎに代入された新たな値が整数Ｘと等しい場合（ステップＳ３９０：Ｙｅｓ）、ステップＳ１００の処理に進んで、ステップＳ３００以降の処理を繰り返す。すなわち、変数ｎを初期化して（ステップＳ３００）、基準画像を撮像する（ステップＳ１００）。なお、変数ｎに代入された新たな値が整数Ｘと等しい場合とは、多重露光画像の連続取得回数が予め設定された所定の回数であるＸ回に達した場合である。
【０１８６】
ステップＳ３９０の処理において、変数ｎに代入された新たな値が、整数Ｘと等しくない場合（ステップＳ３９０：Ｎｏ）、ステップＳ１３０の処理に進んで、ステップＳ１３０以降の処理を繰り返す。すなわち、さらに多重露光画像の連続取得を続ける。なお、変数ｎに代入された新たな値が整数Ｘと等しくない場合とは、多重露光画像の連続取得回数が予め設定された所定の回数であるＸ回に達していない場合である。
【０１８７】
［３−４．考察］
実施の形態１では、多重露光画像を取得する毎に、次のフレーム期間に通常露光を行うか多重露光を行うかを決定していた。
【０１８８】
これに対して、実施の形態３では、多重露光画像を取得する毎に、次のフレーム期間に通常露光を行うか多重露光を行うかを決定しない。
【０１８９】
このため、実施の形態３に係るカメラシステムは、動体検出処理の処理量を、実施の形態１に係るカメラシステムよりもさらに低減し得る。
【０１９０】
また、上述した通り、実施の形態３に係るカメラシステムは、基準画像を１回取得した後、多重露光画像を予め設定された所定の回数だけ連続して取得する。また、実施の形態３に係るカメラシステムは、上記した処理を繰り返し行う。
【０１９１】
このため、実施の形態３に係るカメラシステムは、基準画像の取得を定期的に行うことができる。
【０１９２】
例えば、基準画像を取得するか、多重露光画像を取得するかを判定するための機構に不具合があった場合、あるいは、判定に誤りがあった場合を想定する。そのような場合、基準画像を取得すべきであるにも関わらず、多重露光画像が取得されてしまう可能性がある。そのようなことが起こると、基準画像が一定期間の間取得されず、多重露光画像から対象物を適切に抽出し難くなる可能性がある。
【０１９３】
これに対し実施の形態３に係るカメラシステムによれば、基準画像が一定期間の間取得されないという状況が発生することを抑止できる。
【０１９４】
（実施の形態４）
［４−１．概要］
以下、実施の形態４に係るカメラシステムについて説明する。
【０１９５】
実施の形態１では、通常露光による基準画像から被写体の特徴量を抽出した。
【０１９６】
実施の形態４では、多重露光のうちの最初のＮ回の露光による画像から特徴量の抽出を行う。ここでＮは、多重露光画像を取得するときの露光回数よりも小さい１以上の整数とする。
【０１９７】
［４−２．構成］
実施の形態４に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
【０１９８】
［４−３．動作］
実施の形態４に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第４動体検出処理を行う。
【０１９９】
以下、この第４動体検出処理について、図面を参照しながら説明する。
【０２００】
図１７は、第４動体検出処理のフローチャートである。
【０２０１】
図１７に示されるように、第４動体検出処理は、ステップＳ１００〜ステップＳ１２０の処理を削除した点、ステップＳ４００〜ステップＳ４６０の処理を追加した点、ステップＳ１８０の処理をステップＳ４８０の処理に変更した点、ステップＳ１９０の処理をステップＳ４９０の処理に変更した点で、実施の形態１の第１動体検出処理と異なる。
【０２０２】
よって、ステップＳ４００〜ステップＳ４６０の処理と、ステップＳ４８０の処理と、ステップＳ４９０の処理とを中心に説明する。
【０２０３】
図１７に示されるように、第４動体検出処理が開始されると、撮像装置２０は、多重露光による多重露光画像の撮像を開始する（ステップＳ４００）。そして、多重露光のうちＮ回目の露光が終了するタイミングで、各画素１０１から非破壊による画素値の読み出しを行う（ステップＳ４１０、Ｓ４２０）。これによりＮ回の露光による画像を取得する。以下、この画像のことを「非破壊画像」と呼ぶ。ここで、Ｎは１であることが望ましいが、必ずしも１に限定される必要はない。
【０２０４】
なお、以下の説明において、多重露光におけるＮ回目の露光が終了するタイミングで非破壊画像を取得する動作モードのことを「非破壊読み出しモード」と呼ぶ。また、多重露光の途中で非破壊画像を取得しない動作モードのことを「通常読み出しモード」と呼ぶ。このとき、ステップＳ４００の処理は、非破壊読み出しモードによる多重露光画像の撮像を開始する処理と言える。
【０２０５】
図１８は、２つのフレーム期間における多重露光の動作タイミングの例を示す。なお、撮像装置２０の画素１０１は、光電変換膜を利用する光電変換部を備える。
【０２０６】
図１８に示される非破壊読み出し信号のグラフは、非破壊読み出しのタイミングを制御するパルス状の信号の変化を示す。
【０２０７】
非破壊読み出し信号は、動作モードが非破壊読み出しモードとなるフレーム期間において、Ｎ回目の露光が終了するタイミングで立ち上がる。図１８は、多重露光の回数が３であり、Ｎが１である場合を例示している。
【０２０８】
撮像装置２０は、非破壊読み出し信号の立ち上がりのタイミングで非破壊画像を取得する。よって、撮像装置２０は、第１フレーム期間において非破壊画像と多重露光画像とを取得する。また、撮像装置２０は、第２フレーム期間において非破壊画像を取得せずに多重露光画像を取得する。
【０２０９】
再び図１７に戻って、第４動体検出処理の説明を続ける。
【０２１０】
非破壊画像が取得されると、画像処理装置３０は、その非破壊画像から全ての被写体の特徴量を抽出する（ステップＳ４３０）。そして、特徴量に基づいて被写体が何であるかを認識する（ステップＳ４４０）。多重露光画像の取得が終了すると（ステップＳ４５０）、ステップＳ１３０の処理に進み、ステップＳ１３０以降の処理を行う。
【０２１１】
ステップＳ１７０の処理において、動体検出モードを終了しないと判定する場合に（ステップＳ１７０：Ｎｏ）、制御回路４０は、次のフレーム期間に非破壊読み出しモードで多重露光画像を取得するか、通常読み出しモードで多重露光画像を取得するかを決定する（ステップＳ４８０）。
【０２１２】
次のフレーム期間に非破壊読み出しモードで多重露光画像を取得するか、通常読み出しモードで多重露光画像を取得するかを決定する方法は、実施の形態１に係る第１動体検出処理のステップＳ１８０の処理において説明した方法と同じである。具体的には、ステップＳ１８０の処理の説明において、「通常露光を行う」を「非破壊読み出しモードで多重露光画像を取得する」に読み替え、「多重露光を行う」を「通常読み出しモードで多重露光画像を取得する」に読み替えた方法と同じである。よって、その詳細な説明を省略する。
【０２１３】
ステップＳ４８０の処理において、次のフレーム期間に、非破壊読み出しモードで多重露光画像を取得すると決定された場合（ステップＳ４９０：Ｙｅｓ）、再びステップＳ４００の処理に進みステップＳ４００以降の処理を行う。
【０２１４】
ステップＳ４８０の処理において、次のフレーム期間に非破壊読み出しモードで多重露光画像を取得すると決定されなかった場合、すなわち、次のフレーム期間に通常読み出しモードで多重露光画像を取得すると決定された場合（ステップＳ４９０：Ｎｏ）、通常読み出しモードで多重露光画像を取得し始める（ステップＳ４６０）。そして、多重露光画像を取得し終わると（ステップＳ４５０）、ステップＳ１３０の処理に進み、ステップＳ１３０以降の処理を行う。
【０２１５】
［４−４．考察］
実施の形態４に係るカメラシステムは、非破壊読み出しモードで取得された非破壊画像から特徴量を抽出する。
【０２１６】
よって、実施の形態４に係るカメラシステムによれば、通常露光を行うフレーム期間を別に設けなくても、多重露光画像において被写体の位置を精度よく特定できる。また、基準画像を取得するためのフレーム期間を設ける必要がないため、多重露光画像を連続的に取得することができる。したがって、連続して動体の検出を行うことができる。
【０２１７】
（実施の形態５）
［５−１．概要］
以下、実施の形態５に係るカメラシステムについて説明する。
【０２１８】
実施の形態１では、多重露光画像を取得するときの各露光時の感度は一定であった。
【０２１９】
これに対して、実施の形態５では、多重露光画像を取得するときの各露光時の感度を変化させている。
【０２２０】
［５−２．構成］
実施の形態５に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
【０２２１】
［５−３．動作］
実施の形態５に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第５動体検出処理を行う。
【０２２２】
以下、この第５動体検出処理について、図面を参照しながら説明する。
【０２２３】
第５動体検出処理は、多重露光画像を取得するときの各露光時の感度を２種類の互いに異なる感度のいずれかに設定するように変更した点で、実施の形態１の第１動体検出処理と異なる。第５動体検出処理のフローチャートは、実施の形態１に係る第１動体検出処理のフローチャートと同じである。よって、各ステップの説明を省略する。
【０２２４】
図１９Ａ〜図１９Ｃは、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。なお、撮像装置２０の画素１０１は、光電変換膜を利用する光電変換部を備える。図１９Ａ〜図１９Ｃにおいて、第１フレーム期間に通常露光が行われ、第２フレーム期間に多重露光が行われている。
【０２２５】
図１９Ａ〜図１９Ｃに示されるように、多重露光を行う第２フレーム期間における透明電極１１０Ａの電圧は、ローレベルである期間を除いて、ハイレベルの電圧Ｖ１と、Ｖ１よりも低くローレベルよりも高い電圧Ｖ２との２種類の電圧のいずれかに設定される。
【０２２６】
前述したように、光電変換層１１０Ｃに印加されるバイアス電圧が比較的高いとき光電変換効率は高くなり、光電変換層１１０Ｃに印加されるバイアス電圧が比較的低いとき光電変換効率は低くなる。このため、透明電極１１０Ａの電圧がＶ１である期間の感度は、透明電極１１０Ａの電圧がＶ２である期間の感度よりも高くなる。
【０２２７】
［５−４．考察］
実施の形態５に係るカメラシステムは、多重露光画像において、同一被写体の複数の像のうち特定の露光による像の明度を変化させることができる。
【０２２８】
例えば、図１９Ａに示されるように、多重露光のうち最後の露光期間だけ透明電極１１０Ａの電圧をＶ１とし、他の露光期間の透明電極１１０Ａの電圧をＶ２としてもよい。これにより、多重露光画像において、同一被写体の複数の像のうち最後の露光による像の明度を他の像の明度よりも高くすることができる。これにより、多重露光画像において、最後の露光による被写体の像を比較的容易に特定し得る。
【０２２９】
例えば、図１９Ｂに示されるように、多重露光のうち最初の露光期間だけ透明電極１１０Ａの電圧をＶ１とし、他の露光期間の透明電極１１０Ａの電圧をＶ２としてもよい。これにより、多重露光画像において、同一被写体の複数の像のうち最初の露光による像の明度を他の像の明度よりも高くすることができる。これにより、多重露光画像において、最初の露光による被写体の像を比較的容易に特定し得る。
【０２３０】
例えば、図１９Ｃに示されるように、多重露光のうち最初と最後の露光期間だけ透明電極１１０Ａの電圧をＶ１とし、他の露光期間の透明電極１１０Ａの電圧をＶ２としてもよい。これにより、多重露光画像において、同一被写体の複数の像のうち最初と最後の露光による像の明度を他の像の明度よりも高くすることができる。これにより、多重露光画像において、同一被写体の複数の像のうち最初と最後の露光による被写体の像を比較的容易に特定し得る。
【０２３１】
上記したいずれの場合においても、実施の形態５に係るカメラシステムは、実施の形態１に係るカメラシステムよりも、被写体の運動方向を容易に算出し得る。
【０２３２】
（実施の形態６）
［６−１．概要］
以下、実施の形態６に係るカメラシステムについて説明する。
【０２３３】
実施の形態５では、多重露光画像を取得するときの各露光時の感度を２種類とした。
【０２３４】
これに対して、実施の形態６では、多重露光を取得するときの各露光時の感度を３種類以上としている。
【０２３５】
［６−２．構成］
実施の形態６に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
【０２３６】
［６−３．動作］
実施の形態６に係るカメラシステムは、実施の形態５に係る第５動体検出処理に替えて、第６動体検出処理を行う。
【０２３７】
以下、この第６動体検出処理について、図面を参照しながら説明する。
【０２３８】
第６動体検出処理は、多重露光画像を取得するときの各露光時の感度を３種類以上の互いに異なる感度のいずれかに設定するように変更した点で実施の形態１と異なる。第６動体検出処理のフローチャートは、実施の形態１の第１動体検出処理のフローチャートと同じである。よって、各ステップの説明を省略する。
【０２３９】
図２０Ａ、図２０Ｂは、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。なお、撮像装置２０の画素１０１は、光電変換膜を利用する光電変換部を備える。図２０Ａ、図２０Ｂにおいて、第１フレーム期間に通常露光が行われ、第２フレーム期間に多重露光が行われている。
【０２４０】
図２０Ａ、図２０Ｂに示されるように、多重露光を行う第２フレーム期間における透明電極１１０Ａの電圧は、ローレベルである期間を除いて、ハイレベルの電圧Ｖ１と、Ｖ１よりも低くローレベルよりも高い電圧Ｖ２と、Ｖ２よりも低くローレベルよりも高い電圧Ｖ３との３種類の電圧のいずれかに設定される。透明電極１１０Ａの電圧がＶ１である期間の方が、透明電極１１０Ａの電圧がＶ２である期間よりも感度は高くなる。また、透明電極１１０Ａの電圧がＶ２である期間の方が、透明電極１１０Ａの電圧がＶ３である期間よりも感度は高くなる。
【０２４１】
実施の形態６では、透明電極１１０Ａの電圧が、ローレベルを除いて、Ｖ１、Ｖ２、およびＶ３の３種類の場合について説明するが、透明電極１１０Ａの電圧は、ローレベルを除いて４種類以上であってもよい。
【０２４２】
［６−４．考察］
実施の形態６に係るカメラシステムによれば、多重露光画像において、同一被写体の複数の像のそれぞれの明度を変化させることができる。
【０２４３】
例えば、図２０Ａに示されるように、多重露光画像を取得するときの各露光時の透明電極１１０Ａの電圧を、後の露光時ほど高くしてもよい。これにより、多重露光画像において、同一被写体の複数の像のうち後に取得された像ほど明度を高くすることができる。これにより、多重露光画像において、同一被写体の像の時系列の順番を比較的容易に特定し得る。従って、多重露光画像を取得するときの各露光時の感度を変化させない場合よりも容易に、被写体の運動方向を算出し得る。
【０２４４】
例えば、図２０Ｂに示されるように、多重露光画像を取得するときの各露光時の透明電極１１０Ａ電圧を、後の露光時ほど低くしてもよい。これにより、多重露光画像において、同一被写体の複数の像のうち後に取得された像ほど明度を低くすることができる。これにより、多重露光画像において、同一被写体の像の時系列の順番を比較的容易に特定し得る。従って、多重露光画像を取得するときの各露光時の感度を変化させない場合よりも容易に、被写体の動く方向を算出し得る。
【０２４５】
（実施の形態７）
［７−１．概要］
以下、実施の形態７に係るカメラシステムについて説明する。
【０２４６】
実施の形態１では、多重露光画像を取得するとき、露光期間と非露光期間とを交互に設けて複数回の露光を行う例を示した。
【０２４７】
ここで、非露光期間とは、例えば、撮像装置２０の画素１０１が、光電変換膜を利用する光電変換部を備える場合には、透明電極１１０Ａの電圧ＶＩＴＯがローレベルになる期間（図６参照）が該当する。また、非露光期間は、例えば、撮像装置２０の画素１０１が、光電変換部としてフォトダイオードを備える場合には、Ｖｔｒｓが立ち下がってから、次にＶｄｒが立ち下がるまでの期間（図８参照）が該当する。
【０２４８】
これに対して、実施の形態７では、多重露光画像を取得するとき、高感度露光と低感度露光とを交互に行う。
【０２４９】
［７−２．構成］
実施の形態７に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
【０２５０】
［７−３．動作］
実施の形態７に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第７動体検出処理を行う。
【０２５１】
以下、この第７動体検出処理について、図面を参照しながら説明する。
【０２５２】
第７動体検出処理は、多重露光画像を取得するとき、高感度露光と低感度露光とを交互に連続して行う点で、実施の形態１に係る第１動体検出処理と異なる。第７動体検出処理のフローチャートは、実施の形態１に係る第１動体検出処理と同様のフローチャートとなる。よって、各ステップの説明を省略する。
【０２５３】
図２１は、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。なお、撮像装置２０の画素１０１は、光電変換膜を利用する光電変換部を備える。図２１において、第１フレーム期間に通常露光が行われ、第２フレーム期間に多重露光が行われている。
【０２５４】
図２１に示されるように、多重露光を行う第２フレーム期間における透明電極１１０Ａの電圧は、撮像装置２０の感度が所定の感度となるＶ１と、上記所定の電圧よりも低くローレベルよりも高いＶ４とを交互に連続して繰り返す。
【０２５５】
［７−４．考察］
上記実施の形態７に係るカメラシステムは、第７動体検出処理において、多重露光画像を取得する際に、透明電極１１０Ａの電圧がＶ１となる高感度露光期間と、透明電極１１０Ａの電圧がＶ２となる低感度露光期間とを交互に連続して繰り返す。これにより、取得された多重露光画像には、被写体の運動の軌跡が残る。
【０２５６】
図２２Ａは、実施の形態１に係る第１動体検出処理によって取得された多重露光画像の一例である。図２２Ｂは、実施の形態７に係る第７動体検出処理によって取得された多重露光画像の一例である。
【０２５７】
図２２Ａでは、同一被写体の像のそれぞれが離散的に存在している。これに対して図２２Ｂでは、高感度露光時に取得された同一被写体の複数の像の間に、低感度露光時に取得された被写体の像が軌跡として現れる。
【０２５８】
このように、第７動体検出処理によって取得された多重露光画像には、被写体の運動の軌跡が現れる。被写体の像を探索する場合、予測される進行方向およびその周辺を探索する必要がある。本実施の形態においては、被写体の運動の軌跡を辿ることで、高感度露光による同一被写体の複数の像のそれぞれを探索する範囲を絞ることができる。従って、実施の形態７に係るカメラシステムは、多重露光画像において、高感度露光時に取得された同一被写体の複数の像のそれぞれを比較的容易に検出することができる。
【０２５９】
（補足）
以上のように、本出願において開示する技術の例示として、実施の形態１から実施の形態７について説明した。しかしながら、本開示による技術は、これらに限定されず、本開示の趣旨を逸脱しない限り、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。
【０２６０】
以下に、本開示における変形例の一例について列記する。
【０２６１】
（１）実施の形態１において、車両走行制御システム１は、図１に図示される各構成要素を含んで構成されると説明した。しかしながら、本開示における車両走行制御システムは、車両走行制御システム１と同様の機能を実現することができれば、必ずしも、図１に図示された構成例に限定される必要はない。
【０２６２】
図２３は、変形例に係る車両走行制御システム１ａの構成を示すブロック図である。
【０２６３】
図２３に示されるように、車両走行制御システム１ａは、動き検出部３２が削除されている点、ＩＳＰ３１がＩＳＰ３１ａに変更されている点で、車両走行制御システム１と異なる。これに伴って、画像処理装置３０が画像処理装置３０ａに変更され、カメラシステム１０がカメラシステム１０ａに変更されている。
【０２６４】
ＩＳＰ３１ａは、ＩＳＰ３１により実現される機能と、動き検出部３２により実現される機能とを実現する。これにより、車両走行制御システム１ａは、車両走行制御システム１と同様の機能を実現することができる。
【０２６５】
（２）実施の形態３において、多重露光画像の連続取得を続けるか、多重露光画像の連続取得をやめて基準画像の取得を行うかの決定を、多重露光画像の連続取得回数に基づいて行うと説明した。しかしながら、実施の形態３に係るカメラシステムは、上記決定を、他の基準に基づいて行ってもよい。
【０２６６】
一例として、上記決定を、多重露光画像の連続して取得し続けた時間に基づいて行ってもよい。また、他の一例として、上記決定を、撮像装置２０が搭載される車両の走行距離に基づいて行ってもよい。
【産業上の利用可能性】
【０２６７】
本開示に係るカメラシステム、及び車両走行制御システムは、画像を取得するシステムに広く利用可能である。
【符号の説明】
【０２６８】
１  車両走行制御システム
１０  カメラシステム
２０  撮像装置
３０  画像処理装置
４０  制御回路
５０  光学系
６０  画像送信部
７０  表示装置
８０  電子制御ユニット
【図１】
2019140676.tif 000003
【図２】
2019140676.tif 000004
【図３】
2019140676.tif 000005
【図４】
2019140676.tif 000006
【図５】
2019140676.tif 000007
【図６】
2019140676.tif 000008
【図７Ａ】
2019140676.tif 000009
【図７Ｂ】
2019140676.tif 000010
【図８】
2019140676.tif 000011
【図９】
2019140676.tif 000012
【図１０】
2019140676.tif 000013
【図１１】
2019140676.tif 000014
【図１２】
2019140676.tif 000015
【図１３】
2019140676.tif 000016
【図１４】
2019140676.tif 000017
【図１５】
2019140676.tif 000018
【図１６】
2019140676.tif 000019
【図１７】
2019140676.tif 000020
【図１８】
2019140676.tif 000021
【図１９Ａ】
2019140676.tif 000022
【図１９Ｂ】
2019140676.tif 000023
【図１９Ｃ】
2019140676.tif 000024
【図２０Ａ】
2019140676.tif 000025
【図２０Ｂ】
2019140676.tif 000026
【図２１】
2019140676.tif 000027
【図２２Ａ】
2019140676.tif 000028
【図２２Ｂ】
2019140676.tif 000029
【図２３】
2019140676.tif 000030