(57)【要約】【課題】被写体の撮像回数をより少なくし且つ演算処理の負担を軽減したイベント検出装置を提供すること。【解決手段】イベント検出装置１は、複数の単位レンズを有する複眼レンズと、各撮像領域において単位レンズにより形成された被写体像を撮像可能な撮像部と、撮像毎に、撮像部１２において１又は複数の異なる撮像領域を選択し、選択した撮像領域で撮像した被写体像の画像データを取得する動作を所定の時間差で順に実行させると共に、そのうちの少なくとも１回は２つ以上の撮像領域で被写体像を撮像させ、すべての撮像領域で撮像した被写体像の画像データを合成して１つの複眼画像とする画像取得部２０と、前記複眼画像と同一条件で人工知能に学習させた解析用データを記憶する記憶部３０と、前記複眼画像と前記解析用データとに基づいて映像認識処理を行い、被写体の種類及びその動作をイベントとして検出する画像解析部４０と、を備える。【選択図】図１
2020113260.tif 000002
【特許請求の範囲】
【請求項１】
単位レンズが少なくとも２行２列に配列された複眼レンズと、
前記単位レンズに対応する各撮像領域において前記単位レンズにより形成された被写体像を撮像可能な撮像部と、
撮像毎に、前記撮像部において１又は複数の異なる撮像領域を選択し、選択した撮像領域で撮像した被写体像の画像データを取得する動作を所定の時間差で順に実行させると共に、そのうちの少なくとも１回は２つ以上の撮像領域で被写体像を撮像させ、すべての撮像領域で撮像した被写体像の画像データを合成して１つの複眼画像とする画像取得部と、
前記複眼画像と同一条件で人工知能に学習させた解析用データを記憶する記憶部と、
前記複眼画像と、前記記憶部に記憶された前記解析用データとに基づいて映像認識処理を行い、被写体の種類及びその動作をイベントとして検出する画像解析部と、
を備えるイベント検出装置。
【請求項２】
請求項１に記載のイベント検出装置であって、
前記画像取得部は、２つ以上の撮像領域として、前記撮像部において水平方向に隣接する２つの撮像領域を選択する、
イベント検出装置。
【請求項３】
請求項１又は請求項２に記載のイベント検出装置であって、
二次元的に配列される前記単位レンズの一方向の配列数をＭ、一方向と交差する他方向の配列数をＮとした場合に、
前記画像取得部は、前記撮像部において複数の画像データを取得する回数として、（Ｍ×Ｎ）−１回を上限とする、
イベント検出装置。
【請求項４】
請求項１から請求項３までのいずれかに記載のイベント検出装置であって、
前記単位レンズは、前記単位レンズの光軸方向から見た最大寸法が、２０μｍ以上、２ｃｍ以下である、
イベント検出装置。
【請求項５】
単位レンズが少なくとも２行２列に配列された複眼レンズと、前記単位レンズに対応する各撮像領域において前記単位レンズにより形成された被写体像を撮像可能な撮像部と、複眼画像と同一条件で人工知能に学習させた解析用データを記憶する記憶部と、画像取得部と、画像解析部と、を備えるイベント検出装置のイベント検出方法であって、
前記画像取得部が、撮像毎に、前記撮像部において１又は複数の異なる撮像領域を選択し、選択した撮像領域で撮像した画像データを取得する動作を所定の時間差で順に実行させると共に、そのうちの少なくとも１回は２つ以上の撮像領域で被写体像を撮像させ、すべての撮像領域で撮像した被写体像の画像データを合成して１つの複眼画像とするステップと、
前記画像解析部が、前記複眼画像と、前記記憶部に記憶された前記解析用データとに基づいて映像認識処理を行い、被写体の種類及びその動作をイベントとして検出するステップと、
を有するイベント検出方法。
【請求項６】
単位レンズが少なくとも２行２列に配列された複眼レンズと、前記単位レンズに対応する各撮像領域において前記単位レンズにより形成された被写体像を撮像可能な撮像部と、複眼画像と同一条件で人工知能に学習させた解析用データを記憶する記憶部と、画像取得部と、画像解析部と、を備えるイベント検出装置のイベント検出プログラムであって、
コンピュータを、
撮像毎に、前記撮像部において１又は複数の異なる撮像領域を選択し、選択した撮像領域で撮像した被写体像の画像データを取得する動作を所定の時間差で順に実行させると共に、そのうちの少なくとも１回は２つ以上の撮像領域で被写体像を撮像させ、すべての撮像領域で撮像した被写体像の画像データを合成して１つの複眼画像とする画像取得部、
前記複眼画像と同一条件で人工知能に学習させた解析用データを記憶する記憶部、
前記複眼画像と、前記記憶部に記憶された前記解析用データとに基づいて映像認識処理を行い、被写体の種類及びその動作をイベントとして検出する画像解析部、
として機能させるイベント検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イベント検出装置、イベント検出方法及びイベント検出プログラムに関する。
【背景技術】
【０００２】
従来、被写体を１フレーム毎に撮像した時系列の画像を、ｘ軸、ｙ軸、ｔ軸（時間）を考慮した機械学習機能で解析して、被写体の動き（イベント）を検出する手法が提案されている（非特許文献１、特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】４次元データに対する高次局所自己相関特徴を用いた３次元動画モーション認識、「画像の認識・理解シンポジウム（ＭＩＲＵ２０１２）」  ２０１２年８月
【特許文献】
【０００４】
【特許文献１】特許第４３６８７６７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記手法においては、被写体の動きを検出するために、被写体を１フレーム毎に連続的に撮像し、それらの画像データを時系列に組み合わせて解析を行う必要があった。そのため、被写体の撮像回数が多くなると共に、演算処理の負担も大きくなる。
本発明の目的は、被写体の撮像回数をより少なくし且つ演算処理の負担を軽減したイベント検出装置、イベント検出方法及びイベント検出プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により、課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。また、符号を付して説明した構成は、適宜に改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
【０００７】
第１の発明は、単位レンズ（Ｌ）が少なくとも２行２列に配列された複眼レンズ（１１）と、前記単位レンズに対応する各撮像領域において前記単位レンズにより形成された被写体像を撮像可能な撮像部（１２）と、撮像毎に、前記撮像部において１又は複数の異なる撮像領域を選択し、選択した撮像領域で撮像した被写体像の画像データを取得する動作を所定の時間差で順に実行させると共に、そのうちの少なくとも１回は２つ以上の撮像領域で被写体像を撮像させ、すべての撮像領域で撮像した被写体像の画像データを合成して１つの複眼画像とする画像取得部（２０）と、前記複眼画像と同一条件で人工知能に学習させた解析用データを記憶する記憶部（３０）と、前記複眼画像と、前記記憶部に記憶された前記解析用データとに基づいて映像認識処理を行い、被写体の種類及びその動作をイベントとして検出する画像解析部（４０）と、を備えるイベント検出装置（１）に関する。
【０００８】
第２の発明は、第１の発明に係るイベント検出装置であって、前記画像取得部は、前記２つ以上の撮像領域として、前記撮像部において水平方向に隣接する２つの撮像領域を選択する。
【０００９】
第３の発明は、第１又は第２の発明に係るイベント検出装置であって、二次元的に配列される前記単位レンズの一方向の配列数をＭ、一方向と交差する他方向の配列数をＮとした場合に、前記画像取得部は、前記撮像部において複数の画像データを取得する回数として、（Ｍ×Ｎ）−１回を上限とする。
【００１０】
第４の発明は、第１の発明から第３の発明までのいずれかに記載のイベント検出装置であって、前記単位レンズは、前記単位レンズの光軸方向から見た最大寸法が、２０μｍ以上、２ｃｍ以下である。
【００１１】
第５の発明は、単位レンズが少なくとも２行２列に配列された複眼レンズと、前記単位レンズに対応する各撮像領域において前記単位レンズにより形成された被写体像を撮像可能な撮像部と、複眼画像と同一条件で人工知能に学習させた解析用データを記憶する記憶部と、画像取得部と、画像解析部と、を備えるイベント検出装置のイベント検出方法であって、前記画像取得部が、撮像毎に、前記撮像部において１又は複数の異なる撮像領域を選択し、選択した撮像領域で撮像した画像データを取得する動作を所定の時間差で順に実行させると共に、そのうちの少なくとも１回は２つ以上の撮像領域で被写体像を撮像させ、すべての撮像領域で撮像した被写体像の画像データを合成して１つの複眼画像とするステップと、前記画像解析部が、前記複眼画像と、前記記憶部に記憶された前記解析用データとに基づいて映像認識処理を行い、被写体の種類及びその動作をイベントとして検出するステップと、を有するイベント検出方法に関する。
【００１２】
第６の発明は、単位レンズが少なくとも２行２列に配列された複眼レンズと、前記単位レンズに対応する各撮像領域において前記単位レンズにより形成された被写体像を撮像可能な撮像部と、複眼画像と同一条件で人工知能に学習させた解析用データを記憶する記憶部と、画像取得部と、画像解析部と、を備えるイベント検出装置のイベント検出プログラムであって、コンピュータを、撮像毎に、前記撮像部において１又は複数の異なる撮像領域を選択し、選択した撮像領域で撮像した被写体像の画像データを取得する動作を所定の時間差で順に実行させると共に、そのうちの少なくとも１回は２つ以上の撮像領域で被写体像を撮像させ、すべての撮像領域で撮像した被写体像の画像データを合成して１つの複眼画像とする画像取得部、前記複眼画像と同一条件で人工知能に学習させた解析用データを記憶する記憶部、前記複眼画像と、前記記憶部に記憶された前記解析用データとに基づいて映像認識処理を行い、被写体の種類及びその動作をイベントとして検出する画像解析部として機能させるイベント検出プログラムに関する。
【発明の効果】
【００１３】
本発明の一態様によれば、被写体の撮像回数をより少なくし且つ演算処理の負担を軽減したイベント検出装置、イベント検出方法及びイベント検出プログラムを提供できる。
【図面の簡単な説明】
【００１４】
【図１】イベント検出装置１の構成を示すブロック図である。
【図２】撮影装置１０の概略構成を示す図である。
【図３】画像取得部２０における領域の選択パターンを説明する図である。
【図４】画像取得部２０における領域の選択パターンを説明する図である。
【図５】画像取得部２０における領域の選択パターンを説明する図である。
【図６】複眼画像の例を示す図である。
【図７】イベント検出装置１で実行されるイベント検出処理の手順を示すフローチャートである。
【図８】図７のステップＳ３で行われる第１実施形態のイベント検出処理をより詳細に示すフローチャートである。
【図９】図７のステップＳ３で行われる第２実施形態のイベント検出処理をより詳細に示すフローチャートである。
【図１０】第３実施形態の撮影装置１０の概略構成を示す図である。
【図１１】第３実施形態のイベント検出装置１の構成を示すブロック図である。
【図１２】複眼画像の他の例を示す図である。
【図１３】図７のステップＳ３で行われる第３実施形態のイベント検出処理をより詳細に示すフローチャートである。
【発明を実施するための形態】
【００１５】
（第１実施形態）
以下、本発明に係るイベント検出装置、イベント検出方法及びイベント検出プログラムの実施形態について説明する。本実施形態では、被写体（物体）を撮影し、その被写体及びその動作をイベントとして検出する例を説明する。
図１は、本実施形態におけるイベント検出装置１の構成を示すブロック図である。図２は、撮影装置１０の概略構成を示す図である。図２（Ａ）は、撮影装置１０の分解斜視図である。図２（Ｂ）は、撮影装置１０の平面図である。
【００１６】
図１に示すように、イベント検出装置１は、撮影装置１０、画像取得部２０、記憶部３０及び画像解析部４０を備えている。このうち、撮影装置１０を除く画像取得部２０、記憶部３０及び画像解析部４０は、例えば、不図示のＣＰＵ（中央処理装置）、メモリ等を備えたマイクロコンピュータにより構成される。
【００１７】
撮影装置１０は、被写体像を画素毎の輝度信号に変換して、二値又は多値の画像データとして取得する装置である。撮影装置１０は、図２（Ａ）に示すように、レンズ部１１と、撮像部１２と、を備えている。なお、図２には示していないが、撮影装置１０は、レンズ部１１、撮像部１２の他に、レンズホルダ、隔壁、光学フィルタ、フレキシブル基板等を備えている。
【００１８】
レンズ部１１は、図２（Ａ）に示すように、単位レンズＬ１〜Ｌ４（以下、「単位レンズ」ともいう）が２行２列に配列された複眼レンズである。図２に示すＸ−Ｙ方向は、それぞれ行（Ｘ）方向、列（Ｙ）方向を示している。Ｘ方向は、撮像時の画面において水平方向（左右方向）となる。Ｙ方向は、撮影時の画面において垂直方向（上下方向）となる。なお、本実施形態において、単位レンズは、焦点距離が固定であり、且つ、実使用時の撮影距離において、焦点が合焦又はほぼ合焦しているとみなせる、いわゆるパンフォーカスレンズとして説明する。
【００１９】
撮像部１２は、図２（Ａ）に示すように、多数の画素（受光素子）ＰＸがＸ−Ｙ方向に格子状に配列されたイメージセンサ（例えば、ＣＭＯＳイメージセンサ）である。図２（Ｂ）に示すように、レンズ部１１の単位レンズＬ１〜Ｌ４は、平面視において、撮像部１２の領域（撮像領域）Ｅ１〜Ｅ４にそれぞれ対応する。Ｌ１〜Ｌ４単位レンズにより形成された被写体像は、撮像部１２の対応する領域Ｅ１〜Ｅ４（以下、「領域」ともいう）でそれぞれ撮像され、領域毎に画像データが取得される。なお、図２（Ｂ）では、領域Ｅ１〜Ｅ４の範囲を模式的に示している。
【００２０】
画像取得部２０は、撮像部１２における一回の撮像毎に、１又は複数の異なる領域を選択し、選択した領域で撮像した被写体像の画像データを取得する動作を所定の時間差で順に実行させる。画像取得部２０は、撮像部１２における複数回の撮像のうち、少なくとも１回は、２つ以上の領域で被写体像を撮像させる。そして、画像取得部２０は、すべての領域Ｅ１〜Ｅ４で撮像した被写体像の画像データを合成して１つの複眼画像を作成する。
【００２１】
画像取得部２０において、選択した領域で撮像した被写体像の画像データを取得する回数は、（Ｍ×Ｎ）−１回が上限となる。ここで、「Ｍ」は、図２に示すように、二次元的に配列される単位レンズのＸ方向の配列数である。また、「Ｎ」は、Ｘ方向と交差するＹ方向の配列数である。そのため、本実施形態のように、２行２列に配列された複眼レンズでは、Ｍ＝２、Ｎ＝２となるため、選択した領域で撮像した被写体像の画像データを取得する回数は、３回が上限となる。例えば、後述する図３に示す選択パターンの場合、選択した領域で撮像した被写体像の画像データを取得する回数は、３回となる。また、後述する図４及び図５に示す選択パターンの場合、選択した領域で撮像した被写体像の画像データを取得する回数は、２回となる。
【００２２】
選択した１又は複数の領域を撮像する際の時間差（露光停止時間）は、１μｓｅｃ以上とすることが望ましい。時間差は、検出するイベントに合わせて可変となる。本実施形態のように、動きのある被写体の場合、その被写体の動きが速ければ、時間差を短くし、被写体の動きが遅ければ、時間差を長くする。なお、２つ以上の領域を選択した場合、選択された領域は、同時に撮像される。
【００２３】
ここで、画像取得部２０における領域の選択パターンについて説明する。図３〜図５は、画像取得部２０における領域の選択パターンを説明する図である。
図３に示す選択パターンの場合、１回目の撮像において、画像取得部２０は、図３（Ａ）に示すように、Ｙ方向の上側に位置する領域であって、水平方向（Ｘ方向）に隣接する２つの領域Ｅ１及びＥ２を選択する。２回目の撮像において、画像取得部２０は、図３（Ｂ）に示すように、領域Ｅ１及びＥ２よりも垂直方向（Ｙ方向）の下側に位置する領域であって、水平方向の左側に位置する領域Ｅ３を選択する。３回目の撮像において、画像取得部２０は、図３（Ｃ）に示すように、領域Ｅ３の右隣に位置する領域Ｅ４を選択する。画像取得部２０は、上記３回の撮像により得られた被写体像の画像データを合成して、図３（Ｄ）に示すような１つの複眼画像を作成する。
【００２４】
図４に示す選択パターンの場合、１回目の撮像において、画像取得部２０は、図４（Ａ）に示すように、垂直方向（Ｙ方向）の上側に位置する領域であって、水平方向（Ｘ方向）に隣接する２つの領域Ｅ１及びＥ２を選択する。２回目の撮像において、画像取得部２０は、図４（Ｂ）に示すように、領域Ｅ１及びＥ２よりもＹ方向の下側に位置する領域であって、水平方向（Ｘ方向）に隣接する２つの領域Ｅ３及びＥ４を選択する。画像取得部２０は、上記２回の撮像により得られた被写体像の画像データを合成して、図４（Ｃ）に示すような１つの複眼画像を作成する。
【００２５】
図５に示す選択パターンの場合、１回目の撮像において、画像取得部２０は、図５（Ａ）に示すように、水平方向（Ｘ方向）の右側に位置する領域であって、垂直方向（Ｙ方向）に隣接する２つの領域Ｅ２及びＥ４を選択する。２回目の撮像において、画像取得部２０は、図５（Ｂ）に示すように、水平方向の左側に位置する領域であって、垂直方向に隣接する２つの領域Ｅ１及びＥ３を選択する。画像取得部２０は、上記２回の撮像により得られた被写体像の画像データを合成して、図５（Ｃ）に示すような１つの複眼画像を作成する。
【００２６】
上述した各選択パターンにおいて、２つ以上の領域で同時に撮像された画像は、視差を有する画像となる。画像取得部２０は、上述した各選択パターンの例に示すように、撮像部１２における複数回の撮像のうち、少なくとも１回は、２つ以上の領域で被写体像を撮像させる。そのため、画像取得部２０で作成される複眼画像には、視差を有する画像が少なくとも１つ含まれることになる。
【００２７】
ここで、撮影装置１０により撮像され、画像取得部２０で作成される複眼画像の例について説明する。
図６は、複眼画像の例を示す図である。図６（Ａ）は、本物の猫が撮影装置１０の前を横切った場合の複眼画像Ｐ１を示す図である。図６（Ｂ）は、猫の絵が描かれたトラックが撮影装置１０の前を横切った場合の複眼画像Ｐ２を示す図である。
【００２８】
図６（Ａ）及び（Ｂ）に示す各複眼画像は、上述した図３に示す選択パターンで撮像したものである。図６（Ａ）では、本物の猫が撮影装置１０の前を横切っているため、撮影装置１０と被写体との距離は、例えば、数メートル程度となる。一方、図６（Ｂ）では、猫の描かれたトラックが撮影装置１０の前を横切っているため、撮影装置１０と被写体との距離は、例えば、十数メートル程度となる。いずれの複眼画像も、各領域における被写体（猫）がほぼ同じ大きさで撮影されている。
【００２９】
記憶部３０は、イベント検出装置１で実行されるオペレーティングシステム（ＯＳ）、各種のアプリケーションプログラム、データ等を記憶する記憶媒体である。記憶部３０には、例えば、以下のデータ、プログラムが記憶される。
記憶部３０は、画像取得部２０で作成された複眼画像と同一条件で人工知能に学習させた解析用データを記憶する。同一条件とは、上述した領域の選択パターン、選択した１又は複数の領域を撮像する際の時間差等が同じであることを意味する。人工知能による学習・判定方法としては、例えば、前述した特許文献１の手法が挙げられる。
【００３０】
また、記憶部３０は、後述するイベント検出プログラムを記憶する。
イベント検出プログラムは、コンピュータを、撮像毎に、撮像部１２において１又は複数の異なる撮像領域を選択し、選択した撮像領域で撮像した被写体像の画像データを取得する動作を所定の時間差で順に実行させると共に、そのうちの少なくとも１回は隣接する２つの撮像領域で被写体像を撮像させ、すべての撮像領域で撮像した被写体像の画像データを合成して１つの複眼画像とする画像取得部として機能させると共に、複眼画像と、記憶部３０に記憶された解析用データとに基づいて映像認識処理を行い、被写体の種類及びその動作をイベントとして検出する画像解析部として機能させるためのプログラムである。
【００３１】
画像解析部４０は、画像取得部２０で作成された複眼画像の画像データ、この画像データに基づいて算出した各種の情報（後述する距離情報、高次局所相関特徴）及び記憶部３０に記憶された解析用データに基づいて映像認識処理を行い、被写体の種類及びその動作をイベントとして検出する。
画像解析部４０は、複眼画像の画像データのうち、視差を含む画像セットに対してステレオ法又はマルチベースラインステレオ法等を用いて被写体までの距離情報を算出する。また、画像解析部４０は、複眼画像の画像データのうち、時系列のデータセットに対し、例えば高次局所相関特徴（特許文献１）を用いて、特定のイベントを検出する。或いは、全ての撮像を二つ以上の領域で行って３次元空間の時系列データを生成し、それに対して、例えば、４次元の高次局所相関特徴法（非特許文献１）でイベントを識別してもよい。
【００３２】
次に、本実施形態のイベント検出装置１で実行されるイベント検出処理について説明する。以下に説明するイベント検出処理は、イベント検出装置１において、画像取得部２０及び画像解析部４０が、記憶部３０からイベント検出プログラムを読み出すことにより実行される。
【００３３】
図７は、イベント検出装置１で実行されるイベント検出処理の手順を示すフローチャートである。
ステップＳ１において、画像取得部２０は、撮像部１２を制御して、レンズ部１１で形成された被写体像を撮像し、画像データを取得する。ここでは、撮像部１２において、本物の猫が撮影装置１０の前を横切った場合の画像データと、猫の絵が描かれたトラックが撮影装置１０の前を横切った場合の画像データとが、図３に示す選択パターンに基づいて取得されたものとする。
【００３４】
ステップＳ２において、画像取得部２０は、領域Ｅ１〜Ｅ４（図２参照）で撮像した被写体像の画像データを合成して１つの複眼画像を作成する。本物の猫が撮影装置１０の前を横切った場合に撮像された画像データからは、図６（Ａ）に示すような複眼画像Ｐ１が作成される。また、猫の絵が描かれたトラックが撮影装置１０の前を横切った場合に撮像された画像データからは、図６（Ｂ）に示すような複眼画像Ｐ２が作成される。
【００３５】
ステップＳ３において、画像解析部４０は、画像取得部２０で作成された２つの複眼画像の画像データ、これら画像データから算出した各種の情報（距離情報、高次局所相関特徴）及び記憶部３０に記憶された解析用データに基づいて映像認識処理を行い、被写体の種類及びその動作をイベントとして検出する。
【００３６】
図８は、図７のステップＳ３で行われる第１実施形態のイベント検出処理をより詳細に示すフローチャートである。
第１実施形態では、特許文献１（特許第４３６８７６７号）に記載されている３次元の高次局所相関特徴法を用いる。なお、３次元の高次局所相関特徴法とは、２次元で表される平面の情報と、時間情報（時系列データ）とを用いることから３次元と呼んでいる。
ステップＳ１０１において、画像解析部４０は、同時撮像された少なくとも１つの領域の像から、被写体を特定する。
ステップＳ１０２において、画像解析部４０は、同時撮像された領域の被写体の距離からそのサイズを、ステレオ法等を利用して算定する。
ステップＳ１０３において、同時撮像された像の中の１つの像と、それ以降に順次撮像された像による高次局所相関特徴から、異常状態を検出する。
ステップＳ１０４において、被写体とそのサイズ、及び、高次局所相関での特定結果を組み合わせて、イベントを検出する。
【００３７】
図６（Ａ）に示す複眼画像Ｐ１の場合、距離情報及び高次局所相関特徴から、被写体が本物の猫であると判定される。なお、この際の判定には、Ｈａａｒ−ｌｉｋｅ特徴等を組み合わせてもよい。また、被写体までの距離と選択した領域の画像を撮像する際の時間差により、その被写体が遅い速度で動いていると判定される。そのため、図６（Ａ）に示す複眼画像Ｐ１の場合、画像解析部４０において、通常とは異なる状態となった（異常状態）というイベントが検出される。
【００３８】
一方、図６（Ｂ）に示す複眼画像Ｐ２の場合、距離情報及び高次局所相関特徴から、被写体が猫の形状ではあるが、本物の猫ではないと判定される。なお、この際の判定には、Ｈａａｒ−ｌｉｋｅ特徴等を組み合わせてもよい。また、被写体までの距離と選択した領域の画像を撮像する際の時間差により、その被写体が速い速度で動いていると判定される。そのため、図６（Ｂ）に示す複眼画像Ｐ２の場合、画像解析部４０において、通常とは異なる状態となった（異常状態）というイベントではなく、別のイベントとして検出される。
ステップＳ４において、画像解析部４０は、イベントの検出結果を出力する。イベントの検出結果は、例えば、イベント検出装置１に接続されたディスプレイ装置（不図示）に表示してもよいし、外部メモリ（不図示）に記憶してもよい。
【００３９】
上述した本実施形態のイベント検出装置１によれば、被写体を１フレーム毎に連続的に撮像する場合に比べて被写体像の撮像回数をより少なくできる。また、被写体を１フレーム毎に連続的に撮像する場合に比べて処理対象となるデータを少なくできるため、演算処理の負担を軽減できる。
【００４０】
（第２実施形態）
第２実施形態のイベント検出装置１は、画像解析部４０における画像解析の具体的な手法が異なる他は、第１実施形態のイベント検出装置と同様である。よって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
【００４１】
第１実施形態では、特許文献１に記載されている３次元の高次局所相関特徴法を用いたが、第２実施形態では、非特許文献１（４次元データに対する高次局所自己相関特徴を用いた３次元動画モーション認識、「画像の認識・理解シンポジウム（ＭＩＲＵ２０１２）」  ２０１２年８月）に記載されている４次元の高次局所相関特徴法を用いる。なお、４次元の高次局所相関特徴法とは、３次元空間で表される立体の情報と、時間情報（時系列データ）とを用いることから４次元と呼んでいる。
よって、第２実施形態は、図７のステップＳ３で行われるイベント検出処理の処理内容が第１実施形態と異なっている。
【００４２】
図９は、図７のステップＳ３で行われる第２実施形態のイベント検出処理をより詳細に示すフローチャートである。
ステップＳ２０１において、画像解析部４０は、同時撮像された領域の像からステレオ法等を利用してデプスマップを生成する。
ステップＳ２０２において、画像解析部４０は、順次生成されるデプスマップの高次局所相関特徴からイベントを特定する。
【００４３】
図６（Ａ）に示す複眼画像Ｐ１の場合、第２実施形態では、全ての撮像を二つ以上の領域で行って３次元空間の時系列データを生成し、それに対して、４次元の高次局所相関特徴法（非特許文献１）で検出、具体的には該文献の図２の３Ｄ  Ｍｏｖｉｅとして与えることで、本物の猫が撮影装置１０の前を歩いて横切ったというイベントが検出される。
一方、図６（Ｂ）に示す複眼画像Ｐ２の場合、また、第２実施形態では、全ての撮像を二つ以上の領域で行って３次元空間の時系列データを生成し、それに対して、４次元の高次局所相関特徴法（非特許文献１）で検出し、本物の猫が撮影装置１０の前を歩いて横切ったというイベントではなく、別のイベントとして検出される。
【００４４】
第２実施形態によれば、４次元の高次局所相関特徴法を用いることにより、第１実施形態よりも詳細に、すなわち、本物の猫が撮影装置１０の前を歩いて横切ったというイベントと、本物の猫が撮影装置１０の前を歩いて横切ったというイベントではなく別のイベントとを適切に区別して検出できる。
【００４５】
（第３実施形態）
第３実施形態のイベント検出装置１は、撮影装置の直近の被写体についてもイベント検出が行えるように撮影装置を構成した点と、画像解析部４０における画像解析の具体的な手法を変更した点で、第１実施形態及び第２実施形態と異なっているが、その他の点については、第１実施形態及び第２実施形態と同様である。よって、前述した第１実施形態及び第２実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
【００４６】
図１０は、第３実施形態の撮影装置１０の概略構成を示す図である。
第３実施形態の撮影装置１０は、単位レンズ（Ｌ１〜Ｌ４）の光軸方向から見た最大寸法が、２０μｍ以上、２ｃｍ以下であるように構成されている。ここで、最大寸法とは、隣り合う単位レンズの境界から反対側の境界、又は、端部までの距離のうち、最大となる寸法を指している。図１０に示す例では、寸法ＢＸ、ＢＹのうちの大きい方を指しており、対角線方向の寸法を指すものではない。なお、レンズ部１１の具体的な構成において、単位レンズの境界が不明瞭な場合も想定される。そのような場合、隣り合う単位レンズの中間位置を境界とみなすことができる。また、隣り合う単位レンズそれぞれの頂点間の距離、又は、光軸中心間の距離（いずれも、単位レンズの配列ピッチに相当）は、単位レンズの寸法と対応するので、これを単位レンズの寸法とみなしてもよい。
【００４７】
単位レンズ（Ｌ１〜Ｌ４）の光軸方向から見た最大寸法を、２０μｍ以上、２ｃｍ以下とすることにより、撮影装置１０に近接した被写体についても、その移動をより正確に検出することが可能となり、イベント検出を行うことができる。また、撮影装置１０の大きさが小型になるので、例えば、スマートフォン等に搭載することが容易となる。
従来公知の構成（特許文献１及び非特許文献１）では、概ね２０ｃｍ未満の距離にあっては、距離データを持った画像データを１つのセンサで取得することができなかった。
第３実施形態の撮影装置１０は、単位レンズ（Ｌ１〜Ｌ４）の光軸方向から見た最大寸法が、２０μｍ以上、２ｃｍ以下であるように構成されている。例えば、単位レンズを１ｍｍ×１ｍｍのサイズの視野角４０°のレンズとし、画素サイズ約１ｕｍのイメージセンサとを組み合わせた装置の場合は、少なくとも２ｃｍまで近接した場合も測距が可能である。このような構成とすることにより、第３実施形態の撮影装置１０は、概ね２０ｃｍ以上の測距データに加え、それ未満の測距データをも同時に取得することができる。
【００４８】
単位レンズ（Ｌ１〜Ｌ４）の光軸方向から見た最大寸法が２０μｍ未満では、画素サイズが１μｍであっても単位レンズの解像度が２０×２０と対象物を識別するには少なすぎるので、望ましくない。一方、単位レンズ（Ｌ１〜Ｌ４）の光軸方向から見た最大寸法が２ｃｍ以上では、近接域でのステレオ測距において、レンズ毎に撮られた画像が大きく異なり、視差計算の手掛かりとなる特徴点が一方のレンズからは見えなくなる、一般的にオクルージョンと呼ばれる現象により、測距不能になり易くなることから、望ましくない。
【００４９】
図１１は、第３実施形態のイベント検出装置１の構成を示すブロック図である。
図１１の構成は、図１に示した第１実施形態、及び、第２実施形態の構成と基本は同じであるが、図１１では、各構成をより詳しく示している。よって、第１実施形態及び第２実施形態についても、図１１に示す具体的な構成を適用可能である。
【００５０】
画像取得部２０は、露光選定部２１と、露光制御部２２と、画像取得実行部２３とを備えている。
露光選定部２１は、撮像部１２の領域（撮像領域）Ｅ１〜Ｅ４のそれぞれについて、露光タイミングを選定する。すなわち、第１実施形態において図３から図５に例示した選択パターンから撮影に用いるパターンを選択する。なお、この選択は、通常は利用者による入力設定にしたがって行われるが、例えば、時刻の変化に応じて切り替える等、その選択条件はどのようなものであってもよい。
露光制御部２２は、撮影時に露光条件、すなわち、露光時間、ゲイン等を決定し、さらに、露光選定部２１が設定した選択パターンにしたがって撮像部１２の動作を制御する。
画像取得実行部２３は、露光制御部２２により制御された撮像部１２が撮像した画像を取得し、記憶部３０へ送る。
【００５１】
画像解析部４０は、測距部４１と、イベント識別部４２とを備えている。
測距部４１は、同時に撮影された視差のある複数の撮像領域の画像を用いて、撮像部１２から被写体までの距離を測距（演算）する。
イベント識別部４２は、測距部４１により得られた測距結果（距離データ）を含む画像を用いて、イベントが発生していない場合も含めて、どのようなイベントが発生したか識別を行う。
【００５２】
第１実施形態では、特許文献１に記載されている３次元の高次局所相関特徴法を用いた。第２実施形態では、非特許文献１に記載されている４次元の高次局所相関特徴法を用いた。これらに対して、第３実施形態のイベント識別部４２では、特許文献１及び非特許文献１とは異なるアルゴリズムによって、イベント識別を行う。第３実施形態のイベント識別部４２では、T.Kobaysahi and N.Otsu, ”Action and Simultaneous Multiple-Person Identification Using Cubic Higher-order Local Auto-Correlation” Proceedings of the 17th International Conference on Pattern Recognition (ICPR’04) （以下、小林文献とも呼ぶ）に記載された、３次元の高次局所相関特徴法を用いてイベント識別を行う。
【００５３】
第３実施形態のイベント検出装置１は、先に示した図６の例のように、比較的距離が離れた場合のイベント検出を行えることに加えて、より近接した被写体であってもイベント検出を行うことができる。
図１２は、複眼画像の他の例を示す図である。図１２（Ａ）は、撮影装置１０の直前において、手でスワイプ動作に相当するジェスチャーを行った場合の複眼画像Ｐ３を示す図である。図１２（Ｂ）は、撮影装置１０の前を人が横切った場合の複眼画像Ｐ４を示す図である。
【００５４】
図１２（Ａ）では、撮影装置１０の前の近接した距離で手をかざしている例であり、Ｌ１とＬ２間の視差が大きいことがわかる。一方、図１２（Ｂ）では、撮影装置１０の比較的遠くを人が横切っているため、図１２（Ａ）に比べて視差が小さいことがわかる。いずれの複眼画像も、各領域における被写体（手と人）がほぼ同じ大きさで撮影されており、また、照明の条件によっては、図示したようにシルエットしか撮影できず、距離情報を含まない被写体像のみでは、手であるのか人であるのかを正しく判別することが困難な場合もある。
【００５５】
次に、第３実施形態のイベント検出装置１の動作について説明する。以下の説明では、図６に示した複眼画像の例の場合と、図１２に示した複眼画像の場合との双方について、説明を行う。
第３実施形態のイベント検出装置１の動作は、基本的には、図７に示した動作を行うが、上述したように、イベント識別の具体的な手法が第１実施形態及び第２実施形態と異なっている。よって、第３実施形態は、図７のステップＳ３で行われるイベント検出処理の処理内容が第１実施形態及び第２実施形態と異なっている。よって、ステップＳ１、Ｓ２、Ｓ４については、第１実施形態及び第２実施形態と同様である。
なお、図６に示した複眼画像の場合には、図７のステップＳ２の動作は、第１実施形態と同様であるが、図１２に示した複眼画像を取得する場合には、被写体が異なるので、ステップＳ２の動作は、以下のようになる。
【００５６】
図１２に示した複眼画像を取得する場合、ステップＳ２において、画像取得部２０は、領域Ｅ１〜Ｅ４（図２参照）で撮像した被写体像の画像データを合成して１つの複眼画像を作成する。近接位置で手をかざした場合に撮像された画像データからは、図１２（Ａ）に示すような複眼画像Ｐ３が作成される。また、撮影装置１０から比較的離れた位置を人が横切った場合に撮像された画像データからは、図１２（Ｂ）に示すような複眼画像Ｐ４が作成される。
【００５７】
図１３は、図７のステップＳ３で行われる第３実施形態のイベント検出処理をより詳細に示すフローチャートである。
上述したように、第３実施形態では、小林文献に記載されている３次元の高次局所相関特徴法を用いる。
ステップＳ３０１において、画像解析部４０は、同時撮像された少なくとも１つの領域の像から、被写体を特定する。
ステップＳ３０２において、画像解析部４０は、同時撮像された領域の被写体の距離からそのサイズを、ステレオ法等を利用して算定する。
ステップＳ３０３において、同時撮像された像の中の１つの像と、それ以降に順次撮像された像による高次局所相関特徴から、被写体と動作を特定する。
ステップＳ３０４において、被写体とそのサイズ、及び、高次局所相関での特定結果を組み合わせて、イベントを検出する。
【００５８】
（図６に示した複眼画像の場合）
図６（Ａ）に示す複眼画像Ｐ１の場合、まず同時撮像された上２エリアの像のうち１つから、例えばＨａａｒ−ｌｉｋｅ特徴を用い被写体が猫であることを特定し、さらに同時撮像された上２エリアの像の両方からステレオ法等を用いそのサイズを算定する。次いで、同時撮像された上２エリアの像のうち１つとその後順次撮像された下２エリアの像を、Ｃｕｂｉｃ  Ｈｉｇｈｅｒ−ｏｒｄｅｒ  Ｌｏｃａｌ  Ａｕｔｏ−Ｃｏｒｒｅｌａｔｉｏｎ（小林文献）で評価する。具体的には、該文献のＦｉｇｕｒｅ３に示される時系列データとして与えることで、立体高次局所自己相関特徴により猫が横切っているとして特定される。最後に、被写体が猫であること、そのサイズが本物の猫のサイズであること、立体高次局所自己相関特徴での猫が横切ったとの特定を組み合わせ、本物の猫が横切ったとのイベントが検出される。
【００５９】
一方、図６（Ｂ）に示す複眼画像Ｐ２の場合、まず同時撮像された上２エリアの像のうち１つから、例えばＨａａｒ−ｌｉｋｅ特徴を用い被写体が猫であることを特定し、さらに同時撮像された上２エリアの像の両方からステレオ法等を用いそのサイズを算定する。次いで、同時撮像された上２エリアの像のうち１つとその後順次撮像された下２エリアの像を、Ｃｕｂｉｃ  Ｈｉｇｈｅｒ−ｏｒｄｅｒ  Ｌｏｃａｌ  Ａｕｔｏ−Ｃｏｒｒｅｌａｔｉｏｎ（小林文献）で評価する。具体的には、該文献のＦｉｇｕｒｅ３に示される時系列データとして与えることで、立体高次局所自己相関特徴により猫が横切っているとして特定される。しかし最後に、被写体が猫であること、立体高次局所自己相関特徴で猫が横切ったと特定されたものの、そのサイズが本物の猫より大きいことから、本物の猫が横切ったとのイベントとしては検出されない。
【００６０】
（図１２に示した複眼画像の場合）
図１２（Ａ）に示す複眼画像Ｐ３の場合、まず同時撮像された上２エリアの像のうち１つから、例えばＨａａｒ−ｌｉｋｅ特徴を用い被写体が手であることを特定し、さらに同時撮像された上２エリアの像の両方からステレオ法等を用いそのサイズを算定する。次いで、同時撮像された上２エリアの像のうち１つとその後順次撮像された下２エリアの像を、Ｃｕｂｉｃ  Ｈｉｇｈｅｒ−ｏｒｄｅｒ  Ｌｏｃａｌ  Ａｕｔｏ−Ｃｏｒｒｅｌａｔｉｏｎ（小林文献）で評価する。具体的には、該文献のＦｉｇｕｒｅ３に示される時系列データとして与えることで、立体高次局所自己相関特徴により手によるスワイプ動作として特定される。最後に、被写体が手であること、そのサイズが手のサイズであること、立体高次局所自己相関特徴での手によるスワイプ動作との特定を組み合わせ、手によるスワイプ動作とのイベントが検出される。
【００６１】
なお、第２実施形態であっても、図１２（Ａ）に示す複眼画像Ｐ３からイベント検出が可能である。すなわち、全ての撮像を二つ以上の領域で行って３次元空間の時系列データを生成し、それに対して、４次元の高次局所相関特徴法（非特許文献１）で検出する。具体的には、該文献の図２の３Ｄ  Ｍｏｖｉｅとして与えることで、同様のイベントが検出できる。
【００６２】
一方、図１２（Ｂ）に示す複眼画像Ｐ４の場合、まず同時撮像された上２エリアの像のうち１つから、例えばＨａａｒ−ｌｉｋｅ特徴を用い被写体が手であると誤って特定し、さらに同時撮像された上２エリアの像の両方からステレオ法等を用いそのサイズを算定する。次いで、同時撮像された上２エリアの像のうち１つとその後順次撮像された下２エリアの像を、Ｃｕｂｉｃ  Ｈｉｇｈｅｒ−ｏｒｄｅｒ  Ｌｏｃａｌ  Ａｕｔｏ−Ｃｏｒｒｅｌａｔｉｏｎ（小林文献）で評価する。具体的には、該文献のＦｉｇｕｒｅ３に示される時系列データとして与えることで、立体高次局所自己相関特徴により手によるスワイプ動作として特定される。しかし最後に、被写体が手であること、立体高次局所自己相関特徴で手によるスワイプ動作と特定されたものの、そのサイズが本物の手より大きいことから、手によるスワイプ動作としては検出されない。
【００６３】
なお、第２実施形態であっても、図１２（Ｂ）に示す複眼画像Ｐ３からイベント検出が可能である。すなわち、全ての撮像を二つ以上の領域で行って３次元空間の時系列データを生成し、それに対して、４次元の高次局所相関特徴法（非特許文献１）で検出しても、手によるスワイプ動作とのイベントとしては検出されない。
【００６４】
以上説明したように、第３実施形態によれば、単位レンズ（Ｌ１〜Ｌ４）の光軸方向から見た最大寸法を、２０μｍ以上、２ｃｍ以下であるように構成した。これにより、近距離の被写体によるイベントの検出が可能である。
【００６５】
以上、本発明の実施形態について説明したが、本発明は、前述した実施形態に限定されるものではなく、後述する変形形態のように種々の変形や変更が可能であって、それらも本発明の技術的範囲内に含まれる。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、実施形態に記載したものに限定されない。なお、上述の実施形態及び後述する変形形態は、適宜に組み合わせて用いることもできるが、詳細な説明は省略する。
【００６６】
（変形形態）
実施形態では、イベント検出装置１に撮像部１２が含まれる構成について説明したが、これに限らず、撮像部１２は、画像取得部２０、記憶部３０及び画像解析部４０とは別体の構成としてもよい。その場合、撮像部１２は、イベント検出装置１の本体と通信回線を介してデータを送受信する構成としてもよい。
【００６７】
実施形態では、レンズ部１１において、単位レンズを２行２列に配列した例について説明したが、これに限らず、単位レンズを２行３列、３行３列等に配列してもよい。すなわち、レンズ部１１において、単位レンズは、少なくとも２行２列に配列されていればよく、その配列パターンは特に限定されない。
【符号の説明】
【００６８】
１    イベント検出装置
１０    撮影装置
１１    レンズ部
１２    撮像部
２０    画像取得部
３０    記憶部
４０    画像解析部
Ｅ１〜Ｅ４    領域
Ｌ１〜Ｌ４    単位レンズ
【図１】
2020113260.tif 000003
【図２】
2020113260.tif 000004
【図３】
2020113260.tif 000005
【図４】
2020113260.tif 000006
【図５】
2020113260.tif 000007
【図６】
2020113260.tif 000008
【図７】
2020113260.tif 000009
【図８】
2020113260.tif 000010
【図９】
2020113260.tif 000011
【図１０】
2020113260.tif 000012
【図１１】
2020113260.tif 000013
【図１２】
2020113260.tif 000014
【図１３】
2020113260.tif 000015