(57)【要約】【課題】高速フレーム撮像でフレーム間差分から動く被写体を検出する場合、被写体の動きが遅くフレーム間差分の量が少なくとも、雑音に埋もれることなく検出できるようにする。【解決手段】生成するフレーム間差分情報の大きさに応じて、画素ごとに、フレームメモリに記憶する内容を制御する。差分が小さい画素ではフレームメモリの内容をあまり更新しない。動きが遅い被写体ではフレーム間差分情報が徐々に大きくなる。これにより、動く被写体を検出することができる。【選択図】図３
2014072629.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像信号をフレーム単位で記憶する記憶手段を有し、新たに入力された映像信号と前記記憶手段に記憶された映像信号との差分を画素に応じて生成するフレーム間差分生成方法において、
前記差分の絶対値が所定の値より大きい画素においては、前記記憶手段に記憶された映像信号を新たに入力された映像信号に更新し、
前記差分の絶対値が所定の値より小さい画素においては、前記記憶手段に記憶された映像信号を保持し、又は、前記記憶手段に記憶された映像信号を新たに入力された映像信号に近づけるように更新する
ことを特徴とするフレーム間差分生成方法。
【請求項２】
請求項１に記載のフレーム間差分生成方法において、
前記差分の絶対値が所定の値より小さい画素で前記記憶手段の映像信号を新たに入力された映像信号に近づけるために、前記記憶手段に記憶された１フレーム前の映像信号を所定の帰還率で新たに入力された映像信号と加算する巡回型フィルタを用いることを特徴とするフレーム間差分生成方法。
【請求項３】
請求項２に記載のフレーム間差分生成方法において、
前記巡回型フィルタの帰還率は、3/4,7/8,15/16,31/32,63/64,127/128の内のいずれかに設定されることを特徴とするフレーム間差分生成方法。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載のフレーム間差分生成方法において、
入力される映像信号のフレームレートが毎秒５００より大きいことを特徴とするフレーム間差分生成方法。
【請求項５】
請求項１乃至請求項４に記載のフレーム間差分生成方法において、
前記差分を２値化して、２値化されたフレーム間差分情報を出力し、
該フレーム間差分情報に応じて前記記憶手段に記憶する映像信号を保持又は更新することを特徴とするフレーム間差分生成方法。
【請求項６】
被写体を撮像して所定のフレームレートで動画像の映像信号を生成する撮像装置において、
前記被写体を撮像して該被写体に基づく映像信号を出力する撮像部と、
該撮像部が出力した映像信号に基づく映像信号をフレーム単位で記憶するフレームメモリと、
前記撮像部から出力された新たなフレームの映像信号と前記フレームメモリが記憶する映像信号との差分情報を生成して出力する差分情報生成部と、
該差分情報生成部が出力した差分情報の絶対値が所定の値より大きい画素においては、前記フレームメモリに記憶された映像信号を新たに生成された映像信号に更新し、前記差分情報生成部が出力した差分情報の絶対値が所定の値より小さい画素においては、前記フレームメモリに記憶された映像信号を保持する、又は、前記フレームメモリに記憶された映像信号を新たに生成された映像信号に近づけるように更新する映像処理を行う映像処理部と、
該映像処理部が映像処理した映像信号を出力する映像信号出力部と
を有することを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記フレームメモリに記憶された１フレーム前の映像信号を所定の帰還率で新たに入力された映像信号と加算する巡回型フィルタ
を有することを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記巡回型フィルタの帰還率は、3/4,7/8,15/16,31/32,63/64,127/128の内のいずれかに設定されることを特徴とする撮像装置。
【請求項９】
請求項６乃至請求項８のいずれか１項に記載の撮像装置において、
前記フレームレートが毎秒５００より大きいことを特徴とする撮像装置。
【請求項１０】
請求項６乃至請求項９のいずれか１項に記載の撮像装置において、
前記差分情報生成部は、前記差分情報を２値化して、２値化されたフレーム間差分情報を出力し、
前記映像処理部は、該差分情報生成部が出力したフレーム間差分情報に応じて前記フレームメモリに記憶する映像信号を保持又は更新する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号のフレーム間差分生成方法および撮像装置に係り、特に、速く動く被写体から遅く動く被写体まで、幅広い被写体速度に対応して動体を検出する、フレーム間差分生成方法および撮像装置に関する。
【背景技術】
【０００２】
映像信号から動く被写体を検出ないし抽出する方法として、隣接するフレーム間の差分を使う方法が古くから知られている。公知文献としては、例えば特許文献１がある。従来のようにフレームレートが例えば３０／秒と小さい場合は、少し速く動く被写体では差分の形状が速度により大きく変化するので、必ずしも動く被写体の抽出を簡単に行うことができなかった。最近になって、フレームレートが１０００／秒ないし１００００／秒といった高速撮像装置が開発され、このような高速撮像装置でフレーム間の差分をとると動く被写体の境界部のみが抽出できるので、動く被写体を効率よく抽出することができる。
【０００３】
例えばフレームレートが１０００／秒の場合、画素数が縦横それぞれ１０００程度と仮定すると、１秒間に画面を横切ってしまうような速い被写体でも、１フレームで動く距離は１画素程度であり、フレーム間差分は約１画素幅となって、動く被写体の境界部分だけを抽出することができる。もっと遅い被写体でも１フレームで動く距離は１画素未満であり、フレーム間差分は１画素幅となって輪郭を抽出することができる。フレームレートがさらに高い場合、例えば１００００／秒の場合でも、同様に１フレームで動く距離は１画素未満であり、フレーム間差分は１画素幅となる。このように高速フレーム撮像装置でフレーム間差分をとることにより、動く被写体の輪郭を効率よく抽出することができるようになった。画素数が縦横概略５００程度では、５００／秒以上のフレームレートで、同様に動く被写体の輪郭を効率よく抽出することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２２７６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記したように高速フレーム撮像装置ではフレーム間差分をとることにより、高速に動く被写体の輪郭を効率よく抽出することができるようになった。低速の被写体についてもフレーム間差分が検出できさえすれば被写体の輪郭を抽出することができる。しかし被写体が遅くなるにしたがってフレーム間差分の信号量も小さくなり、雑音に埋もれてうまく検出できなくなってしまう。
【０００６】
図１は、典型的な従来例の撮像装置の回路ブロック図であり、映像信号S1に加えて、フレーム間差分信号S3、あるいはその絶対値S4を出力する例である。101が撮像素子で、そこで得られるディジタル映像信号S1は、映像信号出力端子109から出力されると同時に、フレームメモリ102に入力される。フレームメモリ102からは１フレーム前の映像信号S2が出力されるが、減算回路103で現在の映像信号S1との差分をとって、フレーム間差分信号S3が得られる。これは正負両方の極性を持っているので、絶対値生成回路104で差分の絶対値S4に変換して、動き情報出力端子108から出力する。差分の絶対値S4が一定値より大きい部分を「変化がある」部分と理解することができ、後段、あるいは外部CPU、あるいはクラウドシステムで動体を検出する基礎情報になる。
【０００７】
図２は、このような回路でフレーム間差分が検出される様子を示すグラフである。横軸が時間で、フレーム単位で示しており、縦軸がある画素の信号量を表し、数値は黒を0、白を1で示す。線500がその画素の信号量変化を示し、フレーム2までは黒っぽい背景の信号だったものが、フレーム2以降徐々に明るい被写体が動いてきた場合の例である。線501が１フレーム前の信号量で、線500との差503がフレーム間差分となる。
【０００８】
被写体の動きが速く、１フレームで１画素程度動けば、線500が急峻に立ち上がり、差503は充分大きくなって、「変化がある」部分として検出することができる。しかし数十ないし数百フレームかけて１画素動く場合は、線500のように少しずつ信号量が変化することになり、フレーム間差分503は、最終的な変化量の数十分の一、ないし数百分の一になってしまう。通常最大信号変化量の百分の一程度の雑音が存在するため、その程度に小さな変化は「変化がある」部分と判断させないように設定する。その結果、高速フレーム撮像装置では、動きの遅い被写体の動き検出が難しいという課題があった。
【０００９】
なお図２は、黒っぽい背景に白っぽい被写体が進入してくる例を想定したが、逆に白っぽい背景に黒っぽい被写体が進入してくる例ではグラフの上下が逆になる。白っぽい背景ではショットノイズなどが大きいので、前記した雑音の問題はさらに厳しくなって、小さな変化を「変化がある」部分と判断させにくくなってしまう。
本発明の目的は、高速フレーム撮像装置で動きの遅い被写体を撮像する場合でも、被写体の動きを検出できるフレーム間差分生成方法および撮像装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明の実施例におけるフレーム間差分生成方法では、図２のように小さなフレーム間差分が連続する場合でも「変化がある」部分と判断できるようにするため、「変化がない」と判断されるような小さな変化の場合は、フレームメモリの内容を保持したままにする。それによりフレームの進行とともにフレーム間差分が大きくなり、所定のしきい値を超えたタイミングで「変化がある」部分と判断することができる。
【００１１】
図３は、具体的に信号量変化の様子を示したグラフである。線500が図２と同じくある画素の信号量変化を表し、線502が本発明の実施例における手段を用いた場合の、同じ画素のフレームメモリ出力である。フレーム3で変化が始まるが、フレーム間差分503が小さすぎて「変化がない」と判断した場合、フレームメモリ出力は更新されず線502のように保持される。したがってフレーム間差分は時間とともに増えてゆき、どこかのタイミングでしきい値を超えて「変化がある」部分と判断することになる。例えばフレーム5で差分が504になったときに「変化がある」部分と判断したとすると、フレームメモリは更新されフレーム5の信号量に置き換わる。
【００１２】
このようにして「変化がない」と判断したときにフレームメモリの内容を保持することによりフレームの進行とともにフレーム間差分が大きくなって、しきい値を越えたタイミングで「変化がある」部分と判断することができる。但し、必ずしもフレームメモリの内容を完全に保持する必要はない。どこまで遅く動く被写体にまで対応するか、という仕様にも依存するが、ある程度の時定数でフレームメモリの内容に現フレームの信号量を反映させても同様の効果を達成することができる。例えば、更新するフレームメモリの内容を、前回の内容と、現在の映像信号との中間のいずれかの値にすれば、図２、図３のように１方向に増減する場合には、従来例と比べて確実に「変化がある」と検知しやすくなる。
【発明の効果】
【００１３】
本発明によれば、高速フレーム撮像装置で動きの遅い被写体を撮像する場合でも、フレーム間差分により被写体の動きを検出できるという効果が有る。
【図面の簡単な説明】
【００１４】
【図１】撮像装置の一従来例を示す回路構成図。
【図２】フレーム間差分生成方法の従来例の課題を説明するグラフ。
【図３】本発明の一実施例でのフレーム間差分生成方法の概要を説明するグラフ。
【図４】撮像装置の一実施例を示す回路構成図（実施例１）。
【図５】撮像装置の一実施例を示す回路構成図（実施例２）。
【図６】フレーム間差分生成方法の一実施例を示すフローチャート（実施例３）。
【図７】フレーム間差分生成方法の一実施例を示すフローチャート（実施例４）。
【発明を実施するための形態】
【００１５】
本発明の実施例では、生成するフレーム間差分情報の大きさに応じて、画素ごとに、フレームメモリに記憶する内容を制御することを一つの特徴としている。
以下、このような具体的な実施例を説明する。
【実施例１】
【００１６】
図４は、本発明の一実施例を示す回路構成図である。図１の従来例と比べて、フレーム間差分情報S4を用いてフレームメモリ102を制御する点が特徴で、S4が一定値より小さい画素、すなわち前のフレームと「変化がない」と判断した画素についてはフレームメモリ102の内容を更新せずそれまでの内容を保持する。S4が一定値を越え、「変化がある」部分と判断した画素については、フレームメモリ102の内容を更新して現在のフレームの信号量を記憶する。これにより、図３で説明したように、１フレームあたりの動きが小さく、信号量が少しずつ変化していく場合でも、ある程度時間はかかるが動きを検出することができる。
【００１７】
なお、本発明を限定するものではないが、フレーム間差分情報S4で動く被写体の輪郭を抽出する場合、端子１０８で輪郭情報が同時にすべて揃うとは限らない。しばらくフレームメモリ102でS2を保持した後に「変化がある」と判断する場合では、輪郭の部分によってS2が保持される期間が異なり、したがって「変化がある」と判断できる時間も異なってくるのが普通である。したがって、端子１０８から出力されるフレーム間差分情報S4は、ある程度保持した後に輪郭全体を認識することが望ましい。
【実施例２】
【００１８】
図５は、本発明の第２の実施例を示す回路構成図である。図１の従来例と比べて、簡単な演算回路（除算回路106と加算回路107）と選択回路105を追加して、前のフレームと「変化がない」と判断した画素についてはフレームメモリ102の内容をゆるやかに変化させるようにして、動きの小さい被写体も検出できるようにしたものである。
【００１９】
現在のフレームの映像信号S1とフレームメモリ102の出力S2との減算によりフレーム間差分S3を生成し、それの絶対値S4をフレーム間差分情報として端子108から出力する点は図１の従来例、図４の実施例１と同じである。絶対値S4により選択回路105を制御して、フレームメモリ102に記憶する情報を切り替える。絶対値S4が一定値より大きいとき、選択回路105は現在のフレームの信号量S1を選択して出力する。絶対値S4が一定値より小さいとき、フレームメモリ出力S2（前フレームの選択回路出力S6）と少ししか異ならない加算回路出力S5を選択して出力する。
【００２０】
加算回路出力S5は、以下に示すように、前フレームの選択回路出力S6（すなわち現フレームのフレームメモリ出力S2）に少しだけ現フレームの信号量S1を影響させた値になる。減算回路103では、撮像素子出力S1と、フレームメモリS2との差をとって、
S3=S1-S2    ・・・・・（式１）
を出力する。このS3は、除算回路106で1/ｎにされた後、加算回路107でS2と加算され、加算回路出力S5を生成する。ｎは整数だが、２、４、８、１６、３２、６４、１２８…と２の整数乗の値にすることにより、除算回路106がごく簡単な回路になって好ましい。加算回路出力S5は以下のようになり、新しい撮像素子出力S1を少しずつ影響させていく形になる。
S5=S2+S3/n=(1-1/n)S2+(1/n)S1    ・・・・・(式２)
被写体がゆっくり動いてフレーム間差分が小さく、前のフレームと「変化がない」と判断した画素については加算回路出力S5が選択されて選択回路出力S6（すなわち次のフレームのフレームメモリ出力S2）となる。nをある程度大きく設定することにより、フレームメモリ出力S2は少しずつしか変化しないので、図３のように被写体が動く場合フレーム間差分が徐々に大きくなっていき、しきい値を越えたタイミングで「変化がある」と判断されることが期待できる。
【００２１】
さらに、固定した撮像装置で高速フレーム撮像する場合は、ほとんどの画素でフレーム間差分が小さくなり、選択回路出力S6は加算回路出力S5の方が選択される。したがってほとんどの画素で巡回型フィルタが効くことになり、SN比が改善される。すなわち撮像素子出力S1に比べて選択回路出力S6の方がSN比は良い。したがってスイッチ出力S6の方を映像信号として使う場合もあり、映像信号出力端子110から出力する。
なお、（式２）の（1-1/n）は巡回型フィルタの帰還率に相当する。
以上説明したように、図５の実施例の撮像装置では、ゆっくり動く被写体でも検出しやすいフレーム間差分情報が得られるとともに、映像信号のＳＮ比も改善することができる。
【実施例３】
【００２２】
図６は、本発明の第３の実施例を示すフローチャートである。201が入力される映像情報で、フレームメモリ211で記憶される。減算処理212で映像情報201とフレームメモリ出力とを減算してフレーム間差分を得る。このフレーム間差分は絶対値化処理213で絶対値に変換された後、２値化処理214により、「変化あり」「変化なし」の２値の信号にしてフレーム間差分情報202として出力する。このフレーム間差分情報202を用いてフレームメモリ211の更新を制御し、「変化なし」の場合はフレームメモリ211の更新を行わず、「変化あり」の場合にフレームメモリ211に新たな映像情報201を記憶する。これにより、図３で説明したように、１フレームあたりの動きが小さく、信号量が少しずつ変化していく場合でも、ある程度時間はかかるが動きを検出することができる。
【実施例４】
【００２３】
図７は、本発明の撮像装置の第４の実施例を示すフローチャートである。２１５が演算処理で、前記（式２）で示した簡単な計算を行う。具体的には減算処理212の出力を1/nとした出力とフレームメモリ211の出力とを加算する。この演算処理215の出力は、フレームメモリ211の出力を少しだけ新しい入力映像情報に近づけた値になり、選択処理216に入力されて、フレーム間差分情報202が小さいとき、すなわち「動きがない」と判断された画素が選択される。「動きがない」と判断された状況が続く限り選択処理216でこの演算処理215の出力が選択され続け、フレームメモリ211の出力はゆっくり変化する。そして入力映像情報201との差分が一定値を越えたときに、フレーム間差分情報202が大きくなり、「動きがある」と判断される。そのときその画素を選択するよう、選択処理216では入力映像情報201の方を選択し、そちらをフレームメモリ211に記憶することになる。
【符号の説明】
【００２４】
１０１…撮像素子、１０２…フレームメモリ、１０３…減算回路、１０４…絶対値生成回路、１０５…選択回路、１０６…除算回路、１０７…加算回路、１０８，１０９，１１０…出力端子、２０１…入力映像情報、２０２…フレーム間差分情報、２１１…フレームメモリ、２１２…減算処理、２１３…絶対値化処理、２１４…２値化処理、２１５…演算処理、２１６…選択処理、５００，５０１，５０２…信号量、５０３，５０４…信号量差分。
【図１】
2014072629.tif 000003
【図２】
2014072629.tif 000004
【図３】
2014072629.tif 000005
【図４】
2014072629.tif 000006
【図５】
2014072629.tif 000007
【図６】
2014072629.tif 000008
【図７】
2014072629.tif 000009