(57)【要約】【課題】画像センサにおいて、表示のための低速画像データとは異なる高速画像データを用いて、高速な認識処理を行う。【解決手段】撮像素子は、対象物を撮像して時系列に並ぶ画像データのフレームを生成する。二値化処理部は、フレームの各々に対して二値化処理を行って二値化フレームを生成する。トラッキング処理部は、時系列に隣接する二値化フレームの間の差分を生成して二値化フレームに含まれる対象物の位置の変化を追跡する。【選択図】図１
2018092495.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮像して時系列に並ぶ画像データのフレームを生成する撮像素子と、
前記フレームの各々に対して二値化処理を行って二値化フレームを生成する二値化処理部と、
時系列に隣接する前記二値化フレームの間の差分を生成して前記二値化フレームに含まれる前記対象物の位置の変化を追跡するトラッキング処理部と
を具備する画像センサ。
【請求項２】
前記フレームの各々に対してフィルタ処理を施すフィルタ処理部をさらに具備し、
前記二値化処理部は、前記フィルタ処理の施されたフレームの各々に対して前記二値化処理を行う
請求項１記載の画像センサ。
【請求項３】
前記トラッキング処理部による結果に基づいて前記二値化フレームに含まれる前記対象物のモーメントを算出するモーメント生成部をさらに具備する請求項１記載の画像センサ。
【請求項４】
前記モーメント生成部によって生成された前記モーメントに基づいて前記二値化フレームに含まれる前記対象物の重心位置を生成する重心位置生成部をさらに具備する請求項３記載の画像センサ。
【請求項５】
前記重心位置生成部によって生成された前記対象物の重心位置に基づいて前記対象物に関する集計処理を行う集計処理部をさらに具備する請求項４記載の画像センサ。
【請求項６】
前記集計処理部による前記集計処理の結果を表示させるための表示制御部をさらに具備する請求項５記載の画像センサ。
【請求項７】
前記集計処理部は、前記対象物の個数、サイズ、および、運動率の少なくとも何れか一つを集計する請求項５記載の画像センサ。
【請求項８】
前記集計処理部は、前記対象物の形状変化を検出し、
前記トラッキング処理部は、前記対象物の形状変化が検出されると前記追跡を開始する
請求項５記載の画像センサ。
【請求項９】
前記集計処理部は、前記対象物の速度を計測し、前記対象物が複数ある場合にそれら対象物の速度の統計値を算出する請求項５記載の画像センサ。
【請求項１０】
前記撮像素子は、前記対象物として生体の眼を撮像し、
前記二値化処理部は、前記撮像された生体の眼において瞳孔を検出し、
前記トラッキング処理部は、前記撮像された生体の眼における視線を追跡し、
前記モーメント生成部は、前記撮像された生体の眼における瞳孔の面積を算出し、
前記集計処理部は、前記瞳孔の面積と前記瞳孔が継続して認識されている時間とからまばたきの実施を検出する
請求項５記載の画像センサ。
【請求項１１】
前記まばたきの実施の態様に応じて操作入力を受け付けるインターフェースをさらに具備する請求項１０記載の画像センサ。
【請求項１２】
前記重心位置生成部は、前記撮像された生体の眼における瞳孔の重心位置を生成し、
前記集計処理部は、前記瞳孔の重心位置から視線方向を判定する
請求項１０記載の画像センサ。
【請求項１３】
前記まばたきの実施の態様および前記視線方向に応じて操作入力を受け付けるインターフェースをさらに具備する請求項１２記載の画像センサ。
【請求項１４】
前記集計処理部は、前記まばたきの実施が検出されると前記瞳孔の検出を再度行うよう前記二値化処理部を制御する請求項１０記載の画像センサ。
【請求項１５】
前記集計処理部は、前記対象物の速度を計測し、前記対象物の速度が所定の条件を満たさない場合には異常を検知する請求項５記載の画像センサ。
【請求項１６】
前記集計処理部は、前記対象物の振動量を計測し、前記対象物の振動量が所定の条件を満たさない場合には異常を検知する請求項５記載の画像センサ。
【請求項１７】
前記集計処理部は、前記対象物の回転量を計測し、前記対象物の回転量が所定の条件を満たさない場合には異常を検知する請求項５記載の画像センサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像センサに関する。詳しくは、撮像された画像データを利用して認識処理を行うための画像センサに関する。
【背景技術】
【０００２】
従来、撮像された画像データを利用して様々な認識処理が行われている。そのような認識処理の一例として、撮像された画像データから人の身振りや手振りなどのジェスチャを操作情報として認識するマンマシンインターフェースが組み込まれた端末装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０２０３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、画像データを表示画像として出力するデータフローと、画像データから必要な情報を抽出して認識処理を行うデータフローとに大別される。画像を表示するためには、一般に３０乃至１２０ｆｐｓ（フレーム／秒）程度の処理速度で足りるが、高度な認識処理を行うためにはそれでは不十分である。すなわち、通常のカメラで捉えた低フレームレート画像では、フレーム画像間隔が広いため、画像処理を用いた物体の移動量や、移動速度、回転速度などといった動作に基づく測定においてはリアルタイム性が低くなり、動作物体の計測に不向きである。また、高速に動作する物体検出に対応するためには、フレーム補間などの処理が必要になるが、そのような画像を解析するためには、画像を保持するための大容量のデータベースと多大な処理時間とが必要となってしまう。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、認識処理に必要な処理部を画像センサに設けて、表示のための低速画像データとは異なる高速画像データを用いて高速な認識処理を行うことを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、対象物を撮像して時系列に並ぶ画像データのフレームを生成する撮像素子と、上記フレームの各々に対して二値化処理を行って二値化フレームを生成する二値化処理部と、時系列に隣接する上記二値化フレームの間の差分を生成して上記二値化フレームに含まれる上記対象物の位置の変化を追跡するトラッキング処理部とを具備する画像センサである。これにより、撮像されたフレームを画像センサ内において二値化して対象物の追跡を行うという作用をもたらす。
【０００７】
また、この第１の側面において、上記フレームの各々に対してフィルタ処理を施すフィルタ処理部をさらに具備し、上記二値化処理部は、上記フィルタ処理の施されたフレームの各々に対して上記二値化処理を行うようにしてもよい。これにより、フレームの各々に対してフィルタ処理を施すという作用をもたらす。
【０００８】
また、この第１の側面において、上記トラッキング処理部による結果に基づいて上記二値化フレームに含まれる前記対象物のモーメントを算出するモーメント生成部をさらに具備してもよい。これにより、二値化フレームに含まれる対象物の面積の変化量を生成するという作用をもたらす。
【０００９】
また、この第１の側面において、上記モーメント生成部によって生成された上記モーメントに基づいて上記二値化フレームに含まれる上記対象物の重心位置を生成する重心位置生成部をさらに具備してもよい。これにより、二値化フレームに含まれる対象物の重心位置を生成するという作用をもたらす。
【００１０】
また、この第１の側面において、上記重心位置生成部によって生成された上記対象物の重心位置に基づいて上記対象物に関する集計処理を行う集計処理部をさらに具備してもよい。これにより、対象物に関する集計処理を行うという作用をもたらす。
【００１１】
また、この第１の側面において、上記集計処理部による上記集計処理の結果を表示させるための表示制御部をさらに具備してもよい。これにより、集計処理の結果を表示させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記集計処理部は、上記対象物の個数、サイズ、および、運動率の少なくとも何れか一つを集計するようにしてもよい。これにより、対象物の個数、サイズ、および、運動率を集計するという作用をもたらす。
【００１３】
また、この第１の側面において、上記集計処理部は、上記対象物の形状変化を検出し、上記トラッキング処理部は、上記対象物の形状変化が検出されると上記追跡を開始してもよい。これにより、対象物の形状変化をトリガとして対象物を追跡させるという作用をもたらす。
【００１４】
また、この第１の側面において、上記集計処理部は、上記対象物の速度を計測し、上記対象物が複数ある場合にそれら対象物の速度の統計値を算出するようにしてもよい。これにより、複数の対象物の速度の統計値を算出するという作用をもたらす。
【００１５】
また、この第１の側面において、上記撮像素子は、上記対象物として生体の眼を撮像し、上記二値化処理部は、上記撮像された生体の眼において瞳孔を検出し、上記トラッキング処理部は、上記撮像された生体の眼における視線を追跡し、上記モーメント生成部は、上記撮像された生体の眼における瞳孔の面積を算出し、上記集計処理部は、上記瞳孔の面積と上記瞳孔が継続して認識されている時間とからまばたきの実施を検出するようにしてもよい。これにより、撮像された眼からまばたきの実施を検出するという作用をもたらす。また、この場合において、上記まばたきの実施の態様に応じて操作入力を受け付けるインターフェースをさらに具備してもよい。これにより、まばたきの実施の態様に応じた操作入力を行うという作用をもたらす。
【００１６】
また、この第１の側面において、上記重心位置生成部は、上記撮像された生体の眼における瞳孔の重心位置を生成し、上記集計処理部は、上記瞳孔の重心位置から視線方向を判定するようにしてもよい。これにより、撮像された眼から視線方向を判定するという作用をもたらす。また、この場合において、上記まばたきの実施の態様および上記視線方向に応じて操作入力を受け付けるインターフェースをさらに具備してもよい。これにより、まばたきの実施の態様および視線方向に応じた操作入力を行うという作用をもたらす。
【００１７】
また、この第１の側面において、上記集計処理部は、上記まばたきの実施が検出されると上記瞳孔の検出を再度行うよう上記二値化処理部を制御するようにしてもよい。これにより、まばたきの実施をトリガとして、瞳孔の検出を再開するという作用をもたらす。
【００１８】
また、この第１の側面において、上記集計処理部は、上記対象物の速度を計測し、上記対象物の速度が所定の条件を満たさない場合には異常を検知するようにしてもよい。これにより、撮像された対象物の速度により異常を検知するという作用をもたらす。
【００１９】
また、この第１の側面において、上記集計処理部は、上記対象物の振動量を計測し、上記対象物の振動量が所定の条件を満たさない場合には異常を検知するようにしてもよい。これにより、撮像された対象物の振動量により異常を検知するという作用をもたらす。
【００２０】
また、この第１の側面において、上記集計処理部は、上記対象物の回転量を計測し、上記対象物の回転量が所定の条件を満たさない場合には異常を検知するようにしてもよい。これにより、撮像された対象物の回転量により異常を検知するという作用をもたらす。
【発明の効果】
【００２１】
本技術によれば、画像センサにおいて高速な認識処理を行うことができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２２】
【図１】本技術の実施の形態における画像処理システムの一構成例を示す図である。
【図２】本技術の実施の形態の第１の適用例における細胞計測の例を示す図である。
【図３】本技術の実施の形態の第１の適用例における細胞計測の処理手順例を示す流れ図である。
【図４】本技術の実施の形態の第２の適用例における細胞分裂計測の例を示す図である。
【図５】本技術の実施の形態の第２の適用例における細胞分裂計測の処理手順例を示す流れ図である。
【図６】本技術の実施の形態の第３の適用例における細胞動作計測の例を示す図である。
【図７】本技術の実施の形態の第３の適用例における細胞動作計測の処理手順例を示す流れ図である。
【図８】本技術の実施の形態の第４の適用例におけるまばたき検出および視線検出の例を示す図である。
【図９】本技術の実施の形態の第４の適用例におけるまばたき検出および視線検出の処理手順例を示す流れ図である。
【図１０】本技術の実施の形態の第５の適用例における血流速度計測の例を示す図である。
【図１１】本技術の実施の形態の第５の適用例における血流速度計測の処理手順例を示す流れ図である。
【図１２】本技術の実施の形態の第６の適用例における振動量計測による不調検出の例を示す図である。
【図１３】本技術の実施の形態の第６の適用例における振動量計測による不調検出の処理手順例を示す流れ図である。
【図１４】本技術の実施の形態の第７の適用例における回転量計測による不調検出の例を示す図である。
【図１５】本技術の実施の形態の第７の適用例における回転量計測による不調検出の処理手順例を示す流れ図である。
【発明を実施するための形態】
【００２３】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．実施の形態（画像処理システムの構成例）
２．第１の適用例（細胞計測の例）
３．第２の適用例（細胞分裂計測の例）
４．第３の適用例（細胞動作計測の例）
５．第４の適用例（まばたき検出および視線検出の例）
６．第５の適用例（血流速度計測の例）
７．第６の適用例（振動量計測による不調検出の例）
８．第７の適用例（回転量計測による不調検出の例）
【００２４】
＜１．実施の形態＞
図１は、本技術の実施の形態における画像処理システムの一構成例を示す図である。この実施の形態における画像処理システムは、画像センサ１００と、集計部２００と、操作入力装置３１０と、表示装置３２０とを備える。
【００２５】
画像センサ１００は、対象物を含む被写体を撮像して、対象物の認識処理を行うものである。集計部２００は、画像センサ１００によって得られた各種データに基づいて集計を行うものである。操作入力装置３１０は、外部からの操作入力を受け付けるものである。表示装置３２０は、集計部２００によって得られた集計結果を表示するものである。
【００２６】
なお、ここでは一例として、集計部２００の各機能が画像センサ１００から独立した態様について説明するが、集計部２００の一部または全部の機能を画像センサ１００に組み込むような態様であってもよい。
【００２７】
画像センサ１００は、撮像部１１０と、フィルタ処理部１２０と、二値化処理部１３０と、トラッキング処理部１４０と、モーメント生成部１５０と、重心位置生成部１６０とを備える。
【００２８】
撮像部１１０は、対象物を含む被写体を撮像する撮像素子である。この撮像部１１０は、所定のフレームレートにより、時系列に並ぶ画像データのフレームを生成する。ここで、フレームレートとしては、１秒当たり１０００フレーム（１０００ｆｐｓ）以上の高フレームレートを想定する。この撮像部１１０によって撮像された画像データのフレームは、その全てが画像センサ１００の外部に供給される必要はない。高フレームレートの画像データは以下に説明する認識処理を目的としたものであり、表示のためにはこれよりも低いフレームレートで十分である。すなわち、高フレームレートの画像データを画像センサ１００内の参照に留めることにより、画像センサ１００のバンド幅を有効に活用することが可能となる。なお、撮像部１１０は、特許請求の範囲に記載の撮像素子の一例である。また、対象物は、人物や動物などの生物のみならず、非生物を広く含むオブジェクトである。
【００２９】
フィルタ処理部１２０は、撮像部１１０によって撮像された画像データのフレームの各々に対してフィルタ処理を施すものである。このフィルタ処理部１２０におけるフィルタ処理としては、例えば、移動平均フィルタやメディアンフィルタなどによるノイズ除去処理、Ｓｏｂｅｌフィルタなどによる輪郭検出処理、ラプラシアンフィルタなどによるエッジ検出などが想定される。また、このフィルタ処理部１２０によって画像のオイラー数を求めることにより、画像に含まれる対象物の個数を算出することも可能である。オイラー数とは、成分数から孔の数を引いた数である。
【００３０】
二値化処理部１３０は、フィルタ処理部１２０によってフィルタ処理の施されたフレームの各々に対して二値化処理を行うものである。この二値化処理部１３０は、各フレームの画像データに含まれる輝度や色のヒストグラム情報に基づいてその画像データを二値化して、二値化データからなる二値化フレームを生成する。
【００３１】
トラッキング処理部１４０は、二値化処理部１３０によって生成された二値化フレームについて、時系列に隣接するフレーム間の差分を生成することにより、二値化フレームに含まれる対象物を検出して、その対象物の位置の変化を追跡するものである。対象物の検出の際には、画像における特定の領域を測定対象として指定することが可能である。
【００３２】
モーメント生成部１５０は、トラッキング処理部１４０による結果に基づいて、二値化フレームにおける２変数関数のモーメントを算出するものである。０次モーメントは、その二値化フレームに含まれる対象物の面積の変化量を表し、画像の回転や拡大縮小に対して不変な値である。
【００３３】
重心位置生成部１６０は、モーメント生成部１５０によって生成されたモーメントに基づいて、二値化フレームに含まれる対象物の重心位置を生成するものである。水平方向および垂直方向の各１次モーメントをそれぞれ０次モーメントで除算した値が、重心位置を表す。
【００３４】
集計部２００は、集計処理部２１０と、制御部２２０と、インターフェース２３０とを備える。集計処理部２１０は、画像センサ１００によって得られた各種データに基づいて集計処理を行うものである。この集計処理部２１０は、以下の適用例に示すように、動作するアプリケーションに応じて必要な処理を行う。制御部２２０は、集計部２００および画像センサ１００の各部に対する動作制御を行うものである。インターフェース２３０は、外部とのインターフェースを司るものである。この例では、インターフェース２３０は表示装置３２０と接続して、集計部２００によって得られた集計結果を表示装置３２０に表示させるための入出力制御を行う。なお、インターフェース２３０は、特許請求の範囲に記載のインターフェースおよび表示制御部の一例である。
【００３５】
なお、この図においては、重心位置生成部１６０からの出力が集計処理部２１０および制御部２２０に供給される経路を明示しているが、画像センサ１００の各部から集計部２００に対して各種データを供給する経路が必要に応じて設けられてもよい。
【００３６】
このように構成することにより、認識処理に合わせてフレーム単位の処理の中にプログラム演算を埋め込むことができ、対象物の移動量およびサイズ、移動方向、ヒストグラム情報といったフレーム毎の演算結果をセンシング情報として高速に出力することができる。また、後段において画像を処理する必要がなく、演算結果のみを利用して解析を行うことができる。
【００３７】
＜２．第１の適用例＞
図２は、本技術の実施の形態の第１の適用例における細胞計測の例を示す図である。本実施の形態における画像処理システムを用いて細胞計測を行うためには、測定の対象物となる細胞を培養する細胞培養プレート等を用意し、顕微鏡を介して撮像部１１０によって撮像する。これにより、画像６１１に示すように時系列のフレームからなる動画像として細胞の動きを、高フレームレートにより観測することができる。
【００３８】
撮像された各フレームは、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去される。また、フィルタ処理部１２０において、画像６１２に示すように、Ｓｏｂｅｌフィルタなどによる輪郭検出処理が行われる。
【００３９】
フィルタ処理部１２０において輪郭検出処理が行われた後、二値化処理部１３０において輪郭内の有効化が行われて、画像６１３に示すように二値化される。白い部分が個々の細胞を示す。
【００４０】
二値化された画像６１３に基づいて、トラッキング処理部１４０においてフレーム間の差分が生成され、各細胞の動きが追跡される。また、モーメント生成部１５０においてモーメントが計算される。
【００４１】
画像６１４に示すように操作入力装置３１０によって特定の領域が測定対象として定義されると、この特定の領域においてフレーム間差分およびモーメント演算が行われ、その特定の領域における細胞の運動率が算出される。また、画像６１５に示すように操作入力装置３１０によって複数の領域が測定対象として定義されると、その複数の領域毎に細胞の運動率が算出される。
【００４２】
図３は、本技術の実施の形態の第１の適用例における細胞計測の処理手順例を示す流れ図である。
【００４３】
まず、測定対象となる細胞を含む画像データが取得される（ステップＳ８１１）。そのために、例えば顕微鏡を介して細胞培養プレートの画像が撮像部１１０によって撮像される。取得された画像データは、時系列のフレームを構成する。
【００４４】
取得された各フレームは、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去（ノイズリダクション）される（ステップＳ８１２）。そして、そのノイズ除去されたフレームについて、フィルタ処理部１２０において、輪郭検出処理が行われる（ステップＳ８１３）。
【００４５】
その後、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ８１４）。細胞の運動率の算出が選択されると、二値化処理部１３０において輪郭検出処理が行われたフレームの輪郭内の有効化が行われて、フレームは二値化される（ステップＳ８１５）。
【００４６】
操作入力装置３１０からの指示により特定の領域が測定対象として設定されると（ステップＳ８１６）、この特定の領域において時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成される（ステップＳ８１７）。そして、設定された特定の領域について、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８１８）。
【００４７】
演算されたモーメントに基づいて、集計処理部２１０において特定の領域毎に細胞の運動率が算出される（ステップＳ８１９）。算出された細胞の運動率は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８２１）。
【００４８】
輪郭個数の算出が選択されると（ステップＳ８１４）、集計処理部２１０は、二値化処理部１３０において輪郭検出処理が行われた画像のオイラー数を求めることにより、その画像に含まれる対象物の個数を算出する（ステップＳ８２２）。例えば、所望の細胞のサイズをナノメートル単位で予め設定しておいて、その所定サイズの細胞がいくつあるかを計算する。このようにして算出された輪郭個数は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８２３）。
【００４９】
輪郭サイズの算出が選択されると（ステップＳ８１４）、集計処理部２１０は、モーメント生成部１５０によって生成されたモーメントに基づいて画像に含まれる輪郭のサイズを算出する（ステップＳ８２４）。これにより、画像に含まれる複数の細胞のそれぞれのサイズが得られる。集計処理部２１０は、得られた細胞のサイズをソートして、その最大値および最小値を求める。これら細胞のサイズの最大値および最小値は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８２５）。
【００５０】
これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
【００５１】
なお、この例においては、集計処理部２１０が独立して動作することを想定しているため、ステップＳ８１５乃至Ｓ８１８の処理とステップＳ８２２乃至Ｓ８２５の処理とは、互いに並列に実行することができる。
【００５２】
＜３．第２の適用例＞
図４は、本技術の実施の形態の第２の適用例における細胞分裂計測の例を示す図である。本実施の形態における画像処理システムを用いて細胞分裂計測を行うためには、上述の細胞計測の例と同様に、測定の対象物となる細胞を培養する細胞培養プレート等を用意し、顕微鏡を介して撮像部１１０によって撮像する。これにより、画像６２１に示すように時系列のフレームからなる動画像として細胞の動きを、高フレームレートにより観測することができる。
【００５３】
撮像された各フレームは、上述の細胞計測の例と同様に、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去される。また、フィルタ処理部１２０において、画像６１２に示すように、Ｓｏｂｅｌフィルタなどによる輪郭検出処理が行われる。このようにして得られた画像６２２は、細胞分裂の直前の状態を示す画像６２４として保持される。
【００５４】
画像６２２に示すように操作入力装置３１０によって特定の領域が測定対象として定義されると、この特定の領域において輪郭個数の変化が検知される。画像６２３に示すように輪郭の個数が変化した場合、その特定の領域において細胞の分裂が発生したと推定される。この細胞分裂が発生したタイミングでフレーム間の差分が生成され、その結果からターゲットが画像６２５に示すように指定されてトラッキングが開始する。これにより、その後の細胞の動作が観測される。
【００５５】
図５は、本技術の実施の形態の第２の適用例における細胞分裂計測の処理手順例を示す流れ図である。
【００５６】
まず、測定対象となる細胞を含む画像データが取得される（ステップＳ８３１）。そのために、例えば顕微鏡を介して細胞培養プレートの画像が撮像部１１０によって撮像される。取得された画像データは、時系列のフレームを構成する。
【００５７】
取得された各フレームは、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去される（ステップＳ８３２）。そして、そのノイズ除去されたフレームについて、フィルタ処理部１２０において、輪郭検出処理が行われる（ステップＳ８３３）。
【００５８】
その後、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ８３４）。画像センサ１００内のハードウェアによる連動処理が選択されると、二値化処理部１３０において輪郭検出処理が行われたフレームの輪郭内の有効化が行われて、フレームは二値化される（ステップＳ８３５）。その後、輪郭個数の変化が検知されるまで待機される（ステップＳ８３６）。
【００５９】
一方、集計部２００における輪郭個数の変化検知が選択されると（ステップＳ８３４）、集計処理部２１０は、二値化処理部１３０において輪郭検出処理が行われた画像のオイラー数を求めることにより、輪郭の個数を算出する（ステップＳ８４４）。算出された輪郭個数は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８４５）。そして、輪郭個数の変化が検知されると、制御部２２０はトラッキング処理部１４０にその旨を通知する（ステップＳ８４６）。
【００６０】
輪郭個数の変化検知が通知されると（ステップＳ８３６）、トラッキング処理部１４０は、時系列に隣接するフレーム間の差分を生成される（ステップＳ８３７）。この結果から追跡すべきターゲットが設定され（ステップＳ８３８）、トラッキング処理部１４０によるターゲットトラッキングが開始する（ステップＳ８３９）。そして、設定されたターゲットについて、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８４１）。
【００６１】
そして、フレーム毎の個別移動量が重心位置生成部１６０によって算出される（ステップＳ８４２）。また、フレーム毎の個別移動量が集計処理部２１０において集計され、複数のフレームの集計結果として、平均速度や速度のばらつき等の集計移動量が得られる。そして、このようにして得られた個別移動量や集計移動量は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８４３）。
【００６２】
これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
【００６３】
なお、この例においては、集計処理部２１０が独立して動作することを想定しているため、ステップＳ８３５乃至Ｓ８４１の処理とステップＳ８４４乃至Ｓ８４６の処理とは、互いに並列に実行することができる。
【００６４】
＜４．第３の適用例＞
図６は、本技術の実施の形態の第３の適用例における細胞動作計測の例を示す図である。本実施の形態における画像処理システムを用いて細胞動作計測を行うためには、上述の細胞計測の例と同様に、測定の対象物となる細胞を培養する細胞培養プレート等を用意し、顕微鏡を介して撮像部１１０によって撮像する。これにより、画像６３１に示すように時系列のフレームからなる動画像として細胞の動きを、高フレームレートにより観測することができる。
【００６５】
撮像された各フレームは、上述の細胞計測の例と同様に、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去される。また、二値化処理部１３０において二値化処理が行われる。
【００６６】
操作入力装置３１０によって特定の領域が測定対象として定義されると、この特定の領域においてフレーム間差分およびモーメント演算が行われ、画像６３２に示すように、その特定の領域における細胞の移動量が算出される。また、細胞の遊動率や移動速度を演算することができる。
【００６７】
さらに、特定のターゲットの動き出しを検知し、それをトリガにして、データ解析の開始を定義することができる。これにより、不要な画像解析の負荷を削減することができる。
【００６８】
また、個別に測定対象となる細胞を定義した場合、トラッキング処理部１４０においてターゲットトラッキングを行うことにより、細胞の移動速度を算出することができる。これにより、例えば、がん細胞などの悪性度を判定することができる。
【００６９】
また、本実施の形態のように高速な撮像を前提とすることにより、精子のように１５０ｆｐｓ程度の速度を必要とし、不規則に動く対象についても、特定の領域内において元気に動いている割合を示す遊走率を計測することができる。
【００７０】
図７は、本技術の実施の形態の第３の適用例における細胞動作計測の処理手順例を示す流れ図である。
【００７１】
まず、測定対象となる細胞を含む画像データが取得される（ステップＳ８５１）。そのために、例えば顕微鏡を介して細胞培養プレートの画像が撮像部１１０によって撮像される。取得された画像データは、時系列のフレームを構成する。
【００７２】
取得された各フレームは、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去される（ステップＳ８５２）。そして、そのノイズ除去されたフレームについて、フィルタ処理部１２０において、規定サイズ以下の対象物が除去される（ステップＳ８５３）。
【００７３】
その後、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ８５４）。画像センサ１００内のハードウェアによる連動処理が選択されると、二値化処理部１３０においてフレームの二値化処理が行われる（ステップＳ８５５）。
【００７４】
操作入力装置３１０からの指示により単独の個体が測定対象として設定されると（ステップＳ８５６）、その単独の個体について時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成される（ステップＳ８５７）。そして、その単独の個体について、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８５８）。また、その単独の個体について、個別移動量（移動速度）が重心位置生成部１６０によって算出される（ステップＳ８５９）。このようにして得られた個別移動量は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８６１）。
【００７５】
操作入力装置３１０からの指示により複数の個体が測定対象として設定されると（ステップＳ８５６）、その複数の個体のそれぞれについて時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成される（ステップＳ８６２）。そして、その複数の個体について、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８６３）。その後、複数の個体について、個別移動量が重心位置生成部１６０によって算出される（ステップＳ８６４）。集計処理部２１０は、得られた個別移動量をソートして、その最大値および最小値を求める。これら個別移動量の最大値および最小値は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８６５）。
【００７６】
対象物の個数の算出が選択されると（ステップＳ８５４）、集計処理部２１０は、画像のオイラー数を求めることにより、その画像に含まれる対象物の個数を算出する（ステップＳ８６６）。例えば、所望の細胞のサイズをナノメートル単位で予め設定しておいて、その所定サイズの細胞がいくつあるかを計算する。このようにして算出された個数は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８６７）。
【００７７】
対象物のサイズの算出が選択されると（ステップＳ８５４）、集計処理部２１０は、モーメント生成部１５０によって生成されたモーメントに基づいて画像に含まれる対象物のサイズを算出する（ステップＳ８６８）。これにより、画像に含まれる複数の対象物のそれぞれのサイズが得られる。集計処理部２１０は、得られた対象物のサイズをソートして、その最大値および最小値を求める。これら対象物のサイズの最大値および最小値は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８６９）。
【００７８】
これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
【００７９】
なお、この例においては、集計処理部２１０が独立して動作することを想定しているため、ステップＳ８５５乃至Ｓ８５８の処理とステップＳ８６６乃至Ｓ８６９の処理とは、互いに並列に実行することができる。
【００８０】
＜５．第４の適用例＞
図８は、本技術の実施の形態の第４の適用例におけるまばたき検出および視線検出の例を示す図である。人間のまばたき動作を捉えるためには６０乃至１２５ｆｐｓの速度を必要とするが、本実施の形態における画像処理システムを用いて人間の眼を対象物として撮像して、瞳孔の面積および継続時間を生成することにより、まばたきの実施の有無を判定することができる。また、両目の瞳孔の重心位置を生成することにより、視線方向を判定することができる。
【００８１】
これにより、使用環境に限定されることのないユーザインターフェースを実現することができると同時に、慣れ親しんだ機器と同様の操作を行うことができる。また、左右の手が自由に使えるため、機器に縛られないウェアラブルデバイスの利点を有効活用することができる。
【００８２】
例えば、人間の眼を含む画像６４４を撮像して、左目のウィンクが検知されると、マウスの左ボタン６４１が押下されたのと同様の動作を行うことが考えられる。また、右目のウィンクが検知されると、マウスの右ボタン６４２が押下されたのと同様の動作を行うことが考えられる。さらに、視線方向に応じてマウスのホイール６４３が操作されたのと同様の動作を行うことが考えられる。
【００８３】
図９は、本技術の実施の形態の第４の適用例におけるまばたき検出および視線検出の処理手順例を示す流れ図である。
【００８４】
まず、測定対象となる人間の眼を含む画像データが取得される（ステップＳ８７１）。そのために、例えば、ウェアラブルデバイスやアイウェアデバイスを撮像部１１０として利用することができる。
【００８５】
そして、二値化処理部１３０において二値化処理が行われて、瞳孔領域が検出される（ステップＳ８７２）。また、トラッキング処理部１４０において、瞳孔の動きが追跡される（ステップＳ８７３）。
【００８６】
このようにして認識された瞳孔について、重心位置生成部１６０によってその瞳孔の重心が算出され（ステップＳ８７４）、モーメント生成部１５０によってモーメント演算が行われ、瞳孔の面積が算出される（ステップＳ８７５）。これにより、まばたきが検出される。また、重心位置生成部１６０によって生成された瞳孔の重心に基づいて、集計処理部２１０において視線方向が判定される（ステップＳ８７６）。例えば、ユーザが映像として３０ｃｍ先の空間に浮かぶ映像を観る場合、重心位置生成部１６０によって生成された瞳孔の座標情報を集計処理部２１０が補正することなどが想定される。
【００８７】
その結果、左目のまばたきが検知されたと判定された場合には（ステップＳ８８１：Ｙｅｓ）、左クリック処理が行われる（ステップＳ８８２）。一方、右目のまばたきが検知されたと判定された場合には（ステップＳ８８３：Ｙｅｓ）、右クリック処理が行われる（ステップＳ８８４）。なお、両目のまばたきが検知されたと判定された場合には（ステップＳ８７７：Ｙｅｓ）、これらの処理は行われない。
【００８８】
これら何れかのまばたきが検出された場合、まばたきにより瞳孔が完全に隠れた際に、再検出のための制御が実施される（ステップＳ８７８）。そして、表示装置３２０において画面描画が行われる（ステップＳ８７９）。その後、ステップＳ８７３以降の処理が繰り返される。
【００８９】
なお、上述の適用例では瞳孔を検出してその面積を算出したが、虹彩を検出してその面積を算出するようにしてもよい。
【００９０】
＜６．第５の適用例＞
図１０は、本技術の実施の形態の第５の適用例における血流速度計測の例を示す図である。ゼブラフィッシュは、コイ科の小型魚類で、最近１０年において最も発展したモデル脊椎動物である。このゼブラフィッシュは、体内が透けて見えることから、脳や内臓の形成を研究するために適していることが知られている。一方、このゼブラフィッシュの血流を捉えるためには６００ｆｐｓの速度を必要とする。本実施の形態における画像処理システムでは、このゼブラフィッシュの血流を高フレームレートにより撮像することにより、その観測を可能にする。
【００９１】
ゼブラフィッシュの血流を計測するためには、まず、撮像の対象物として、無害なカラーボールをゼブラフィッシュに飲み込ませる。そして、画像６５１に示すようにそのカラーボール６５５がフレームに出現した瞬間に、画像６５２に示す枠表示６５６と共に録画を開始する。そして、画像６５３に示すようにカラーボール６５５が流れきったところで録画を停止して、そのフレーム数から速度を求めることができる。
【００９２】
図１１は、本技術の実施の形態の第５の適用例における血流速度計測の処理手順例を示す流れ図である。
【００９３】
まず、測定対象となる画像データが取得される（ステップＳ７１１）。そのために、例えば、顕微鏡を介してゼブラフィッシュの血流部分の画像を撮像部１１０により撮像することができる。
【００９４】
取得された各フレームは、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去される（ステップＳ７１２）。また、二値化処理部１３０において画像データの色成分に従って二値化処理が行われる（ステップＳ７１３）。
【００９５】
そして、時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成されて、操作入力装置３１０によって指定された領域内の動体が検索される（ステップＳ７１４）。ここで、動体が検出されるまで待機される（ステップＳ７１５）。
【００９６】
操作入力装置３１０によって単体がトラッキング対象として指定されると（ステップＳ７１６）、その単体についてトラッキング処理部１４０においてターゲットトラッキングが行われる（ステップＳ７１７）。そして、その単体について、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ７１８）。また、その単体について、個別移動量が重心位置生成部１６０によって算出される（ステップＳ７１９）。このようにして得られた個別移動量は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ７２１）。
【００９７】
一方、操作入力装置３１０によって複数個体がトラッキング対象として指定されると（ステップＳ７１６）、それら複数個体についてトラッキング処理部１４０においてターゲットトラッキングが行われる（ステップＳ７２２）。そして、その複数個体について、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ７２３）。また、その複数個体について、それぞれの個別移動量が重心位置生成部１６０によって算出される（ステップＳ７２４）。集計処理部２１０は、得られた個別移動量をソートして、その最大値および最小値を求める。これら個別移動量の最大値および最小値は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ７２５）。
【００９８】
これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
【００９９】
なお、この例では血流速度の計測および統計値の算出の例について示したが、血流速度をデータベースなどに保持された期待値と比較して、その期待値の範囲を満たさない場合には異常を検知するようにしてもよい。
【０１００】
＜７．第６の適用例＞
図１２は、本技術の実施の形態の第６の適用例における振動量計測による不調検出の例を示す図である。機器の振動量を計測するために通常用いられる振動センサでは、機器に直接接続する必要があり、機器に固定するための手間を要するだけでなく、安全性についても配慮しなければならない。一方、外観を観測する場合、例えばアイドリング時に回転数が１２００ｒｐｍ（rotation per minute：毎分の回転数）のエンジンの１次振動の周波数は２０Ｈｚ程度であるが、動作時には２００Ｈｚ程度になる。本実施の形態における画像処理システムでは、機器の外観を高フレームレートにより撮像することにより、その観測を可能にする。
【０１０１】
対象物である機器６６１の振動量を観測する場合、観測対象となる位置や幅を、操作入力装置３１０によって画像上の枠６６２または６６３のように指定する。時系列に並ぶフレームにおいて動作を観察し、領域毎の期待値と比較することにより、機器６６１の不調を検出することができる。
【０１０２】
図１３は、本技術の実施の形態の第６の適用例における振動量計測による不調検出の処理手順例を示す流れ図である。
【０１０３】
まず、測定対象となる画像データが取得される（ステップＳ７３１）。そのために、例えば、撮像部１１０により測定対象の機器の画像が撮像される。
【０１０４】
取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去される（ステップＳ７３２）。また、フィルタ処理部１２０によって、エッジ検出が行われる（ステップＳ７３３）。そして、検出されたエッジ部分を有効とする二値化処理が二値化処理部１３０によって行われる（ステップＳ７３４）。
【０１０５】
測定対象となる画像データのフレームにおいて、操作入力装置３１０によって観測対象となる領域が設定される（ステップＳ７３５）。その設定された領域は、制御部２２０からトラッキング処理部１４０に供給される。
【０１０６】
トラッキング処理部１４０では、時系列に隣接するフレーム間の差分が生成される（ステップＳ７３６）。そして、設定された領域毎にモーメント生成部１５０によってモーメント演算が行われる（ステップＳ７３７）。領域毎に生成されたモーメントに基づいて、集計処理部２１０において領域毎の振動率が算出される（ステップＳ７３８）。
【０１０７】
その後、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ７３９）。振動率の出力が指示された場合は、集計処理部２１０において算出された領域毎の振動率がインターフェース２３０を介して表示装置３２０に表示される（ステップＳ７４１）。
【０１０８】
振動量の期待値判定が指示されると（ステップＳ７３９）、データベースなどに保持された期待値と集計処理部２１０において算出された領域毎の振動率とが比較される。振動率が期待値の範囲内であれば（ステップＳ７４２：Ｙｅｓ）、正常であるとの判定結果がインターフェース２３０を介して表示装置３２０に表示される（ステップＳ７４３）。一方、振動率が期待値と大きく異なる場合には（ステップＳ７４２：Ｎｏ）、異常が発生した旨の判定結果がインターフェース２３０を介して表示装置３２０に表示される（ステップＳ７４４）。
【０１０９】
なお、これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
【０１１０】
＜８．第７の適用例＞
図１４は、本技術の実施の形態の第７の適用例における回転量計測による不調検出の例を示す図である。ドローンや換気扇のように機器の主要部にプロペラを備える場合において、対象物であるプロペラの回転量を観測することにより不調を検出することが可能である。例えば、家庭用扇風機では強設定で１５００乃至１６００ｒｐｍ程度、台所の換気扇で２５００ｒｐｍ程度である。また、ボートのスクリューはフルスロットルで５０００乃至６０００ｒｐｍ程度、プロペラ機のプロペラは２３００乃至２４００ｒｐｍ程度、ラジコンやドローンでは１３００乃至２５００ｒｐｍ程度である。
【０１１１】
ボートのスクリューやプロペラ機のプロペラなどについては、内蔵のタコメータによって計測することが可能であるが、タコメータの故障もあり得るため、外側からの客観的な観測により不調を検出できることは有用である。本実施の形態における画像処理システムでは、機器の外観を高フレームレートにより撮像することにより、その観測を可能にする。
【０１１２】
例えば、ドローン６７１のプロペラ部分を対象物として携帯端末６７２のカメラによって撮像する。その際、複数枚のプロペラのうち特定の１枚のプロペラにマーカとなるシールを貼り付けておいて、ターゲットトラッキングを行うことによりその移動量を計測することができる。また、エッジ検出を行い、それによって得られた形状についてトラッキングすることも可能である。
【０１１３】
このようなアプリケーションを携帯端末６７２に搭載することにより、撮像されたプロペラ部分の回転率を、携帯端末６７２の表示部にリアルタイムに表示させることができる。
【０１１４】
図１５は、本技術の実施の形態の第７の適用例における回転量計測による不調検出の処理手順例を示す流れ図である。
【０１１５】
まず、測定対象となる画像データが取得される（ステップＳ７５１）。そのために、例えば、撮像部１１０により測定対象の機器におけるプロペラ部分の画像が撮像される。
【０１１６】
取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去される（ステップＳ７５２）。そして、二値化処理部１３０によって色および輝度による二値化処理が行われて、プロペラ部分に貼り付けられたシールのマーカが検出される（ステップＳ７５３）。
【０１１７】
検出されたマーカに対して画像上の領域が設定され（ステップＳ７５４）、トラッキング処理部１４０によってターゲットトラッキングが行われる（ステップＳ７５５）。また、設定された領域についてモーメント生成部１５０によってモーメント演算が行われる（ステップＳ７５６）。そして、その生成されたモーメントに基づいて、集計処理部２１０において回転率が算出される（ステップＳ７５７）。
【０１１８】
その後、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ７５８）。回転率の出力が指示された場合は、集計処理部２１０において算出された回転率がインターフェース２３０を介して表示装置３２０に表示される（ステップＳ７５９）。
【０１１９】
回転率の期待値判定が指示されると（ステップＳ７５８）、データベースなどに保持された期待値と集計処理部２１０において算出された回転率とが比較される。回転率が期待値の範囲内であれば（ステップＳ７６１：Ｙｅｓ）、正常であるとの判定結果がインターフェース２３０を介して表示装置３２０に表示される（ステップＳ７６２）。一方、回転率が期待値と大きく異なる場合には（ステップＳ７６１：Ｎｏ）、異常が発生した旨の判定結果がインターフェース２３０を介して表示装置３２０に表示される（ステップＳ７６３）。
【０１２０】
なお、これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
【０１２１】
このように、本技術の実施の形態によれば、対象物（物体や機器）を高フレームレートにより撮像して画像センサ内で画像処理することにより、画像データを出力することなく測定結果を定量化することができる。これにより、画像解析の時間を短縮し、保持するデータストレージ量を削減することができる。また、センサレベルで演算結果を生成できるため、携帯機器を含む小型システムにおいても実現することができる。
【０１２２】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１２３】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１２４】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１２５】
なお、本技術は以下のような構成もとることができる。
（１）対象物を撮像して時系列に並ぶ画像データのフレームを生成する撮像素子と、
前記フレームの各々に対して二値化処理を行って二値化フレームを生成する二値化処理部と、
時系列に隣接する前記二値化フレームの間の差分を生成して前記二値化フレームに含まれる前記対象物の位置の変化を追跡するトラッキング処理部と
を具備する画像センサ。
（２）前記フレームの各々に対してフィルタ処理を施すフィルタ処理部をさらに具備し、
前記二値化処理部は、前記フィルタ処理の施されたフレームの各々に対して前記二値化処理を行う
前記（１）に記載の画像センサ。
（３）前記トラッキング処理部による結果に基づいて前記二値化フレームのモーメントを算出して前記二値化フレームに含まれる前記対象物の面積の変化量を生成するモーメント生成部をさらに具備する前記（１）または（２）に記載の画像センサ。
（４）前記モーメント生成部によって生成された前記モーメントに基づいて前記二値化フレームに含まれる前記対象物の重心位置を生成する重心位置生成部をさらに具備する前記（３）に記載の画像センサ。
（５）前記重心位置生成部によって生成された前記対象物の重心位置に基づいて前記対象物に関する集計処理を行う集計処理部をさらに具備する前記（４）に記載の画像センサ。
（６）前記集計処理部による前記集計処理の結果を表示させるための表示制御部をさらに具備する前記（５）に記載の画像センサ。
（７）前記集計処理部は、前記対象物の個数、サイズ、および、運動率の少なくとも何れか一つを集計する前記（５）に記載の画像センサ。
（８）前記集計処理部は、前記対象物の形状変化を検出し、
前記トラッキング処理部は、前記対象物の形状変化が検出されると前記追跡を開始する
前記（５）に記載の画像センサ。
（９）前記集計処理部は、前記対象物の速度を計測し、前記対象物が複数ある場合にそれら対象物の速度の統計値を算出する前記（５）に記載の画像センサ。
（１０）前記撮像素子は、前記対象物として生体の眼を撮像し、
前記二値化処理部は、前記撮像された生体の眼において瞳孔を検出し、
前記トラッキング処理部は、前記撮像された生体の眼における視線を追跡し、
前記モーメント生成部は、前記撮像された生体の眼における瞳孔の面積を算出し、
前記集計処理部は、前記瞳孔の面積と前記瞳孔が継続して認識されている時間とからまばたきの実施を検出する
前記（５）に記載の画像センサ。
（１１）前記まばたきの実施の態様に応じて操作入力を受け付けるインターフェースをさらに具備する前記（１０）に記載の画像センサ。
（１２）前記重心位置生成部は、前記撮像された生体の眼における瞳孔の重心位置を生成し、
前記集計処理部は、前記瞳孔の重心位置から視線方向を判定する
前記（１０）に記載の画像センサ。
（１３）前記まばたきの実施の態様および前記視線方向に応じて操作入力を受け付けるインターフェースをさらに具備する前記（１２）に記載の画像センサ。
（１４）前記集計処理部は、前記まばたきの実施が検出されると前記瞳孔の検出を再度行うよう前記二値化処理部を制御する前記（１０）に記載の画像センサ。
（１５）前記集計処理部は、前記対象物の速度を計測し、前記対象物の速度が所定の条件を満たさない場合には異常を検知する前記（５）に記載の画像センサ。
（１６）前記集計処理部は、前記対象物の振動量を計測し、前記対象物の振動量が所定の条件を満たさない場合には異常を検知する前記（５）に記載の画像センサ。
（１７）前記集計処理部は、前記対象物の回転量を計測し、前記対象物の回転量が所定の条件を満たさない場合には異常を検知する前記（５）に記載の画像センサ。
【符号の説明】
【０１２６】
１００  画像センサ
１１０  撮像部
１２０  フィルタ処理部
１３０  二値化処理部
１４０  トラッキング処理部
１５０  モーメント生成部
１６０  重心位置生成部
２００  集計部
２１０  集計処理部
２２０  制御部
２３０  インターフェース
３１０  操作入力装置
３２０  表示装置
【図１】
2018092495.tif 000003
【図２】
2018092495.tif 000004
【図３】
2018092495.tif 000005
【図４】
2018092495.tif 000006
【図５】
2018092495.tif 000007
【図６】
2018092495.tif 000008
【図７】
2018092495.tif 000009
【図８】
2018092495.tif 000010
【図９】
2018092495.tif 000011
【図１０】
2018092495.tif 000012
【図１１】
2018092495.tif 000013
【図１２】
2018092495.tif 000014
【図１３】
2018092495.tif 000015
【図１４】
2018092495.tif 000016
【図１５】
2018092495.tif 000017