(57)【要約】【課題】センサー内においてフレーム間の演算処理を行う演算処理部の規模を削減する。【解決手段】フレームメモリは、時系列に遷移するフレームの画素データを記憶する。フレーム間演算処理部は、現行フレームの画素データおよびフレームメモリに記憶された過去フレームの画素データについて行単位に列並列で所定の演算を施して、その結果に基づいてフレームメモリに記憶される過去フレームの画素データを更新する。【選択図】図１
2018047616.tif 000002
【特許請求の範囲】
【請求項１】
時系列に遷移するフレームの画素データを記憶するフレームメモリと、
現行フレームの画素データおよび前記フレームメモリに記憶された過去フレームの画素データについて行単位に列並列で所定の演算を施してその結果に基づいて前記フレームメモリに記憶される前記過去フレームの画素データを更新するフレーム間演算処理部と
を具備する演算装置。
【請求項２】
前記画素データは、物体の存在の有無の何れかを示す二値化されたデータであり、
前記所定の演算は、前記物体を追跡するためのトラッキング演算である
請求項１記載の演算装置。
【請求項３】
前記フレーム間演算処理部は、前記過去フレームの画素データに対して拡張処理を施した領域における前記現行フレームの画素データを前記過去フレームの画素データとして前記フレームメモリに更新する
請求項１記載の演算装置。
【請求項４】
前記フレーム間演算処理部は、前記行単位の画素データの各々に対応して、
前記過去フレームの画素データが前記物体の存在を示す領域についてその周辺まで拡張した領域を生成する論理和回路と、
前記拡張した領域と前記現行フレームの画素データとの論理積を新たな前記過去フレームの画素データとして生成する論理積回路とを備える
請求項３記載の演算装置。
【請求項５】
前記論理和回路は、前記拡張した領域を生成するために隣接する行の画素データを参照する
請求項４記載の演算装置。
【請求項６】
前記論理和回路は、前記フレームにおいてｐ画素×ｐ画素の領域（ｐは３以上の奇数）について前記拡張した領域を生成するために前記フレームメモリに記憶された過去フレームのｐ個の画素データを同時に参照する
請求項４記載の演算装置。
【請求項７】
前記論理和回路は、前記フレームにおいてｐ画素×ｐ画素の領域（ｐは３以上の奇数）について前記拡張した領域を生成するために前記フレームメモリに記憶された過去フレームのｑ個（ｑはｐより小さい奇数）の画素データを同時に参照する
請求項４記載の演算装置。
【請求項８】
前記フレーム間演算処理部は、前記行単位の画素データのうち必要な画素データを選択する選択器をさらに備え、
前記論理和回路は、前記選択器に選択された画素データが前記物体の存在を示す領域についてその周辺まで拡張した領域を生成する
請求項４記載の演算装置。
【請求項９】
前記選択器は、前記必要な画素データを選択する際に左右対称に選択の有無を決定する
請求項８記載の演算装置。
【請求項１０】
前記選択器は、前記必要な画素データを選択する際に左右非対称に選択の有無を決定する
請求項８記載の演算装置。
【請求項１１】
画像を撮像して時系列に遷移するフレームの画素データを生成する画素アレイ部と、
前記フレームの画素データを記憶するフレームメモリと、
前記フレームにおける現行フレームの画素データおよび前記フレームメモリに記憶された過去フレームの画素データについて行単位に列並列で所定の演算を施してその結果に基づいて前記フレームメモリに記憶される前記過去フレームの画素データを更新するフレーム間演算処理部と
を具備するセンサー。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、時系列に遷移するフレームの画素データを扱う演算装置およびセンサーに関する。詳しくは、フレーム間の物体の動きを追跡する演算装置およびセンサーに関する。
【背景技術】
【０００２】
高速ビジョンセンサーは、物体を追跡するためのトラッキング機能などの検知（センシング）機能を実現する回路をセンサー内に備えることにより、画素の蓄積データを直接参照してセンシング演算を実現する。これにより、少ないレイテンシによって演算結果を出力することが可能となる。この低レイテンシ動作は、画像の変化から迅速にセンシング情報を出力することができるため、近年では、車の自動運転などの危険回避、ＵＩ（ユーザインターフェース）や、決定的瞬間の撮影などの機能を実現するために、重要なファクタとなっている。【０００３】
また、近年の撮像センサーでは、高フレームレート（高ＦＰＳ）化や高解像度化が進んでいるが、これらはセンサーから出力されるインターフェースの転送帯域を圧迫することにもなる。さらに、それを受けて動作する後段の信号処理も含めると、システムの肥大化や消費電力増大の要因となっている。これに対し、センサー内でセンシング機能を直接実現することにより、センシング情報のみを出力するセンサー構成をとることが可能となり、画像データを転送しなくてもセンシング機能を実現することができる。また、センシング性能を向上させるために高ＦＰＳ化や高解像度化が進んでも、例えば画像表示に必要なフレーム時のみ画像転送をすればよく、それ以外の画像はセンシング計算のみに利用することにより、インターフェースの負荷を大きく軽減することができる。すなわち、センサー内にセンシング機能を備えることにより、システムの肥大化や負荷を抑制することができ、消費電力の低減にも繋げることが可能となる。【０００４】
一方、従来からの高速ビジョンシステムで使用されるビジョンセンサーでは、トラッキング等の機能を実現する演算器が、各画素と１対１で配置される。または、画素データのアナログデジタル変換の結果を蓄えるフレームメモリを配置し、そのフレームメモリに対して演算器が１対１で配置される（例えば、特許文献１乃至３参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３６２４６２号公報
【特許文献２】特開２００３−２１８３３８号公報
【特許文献３】特開平１０−１４５６８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術では、センサー内にセンシング機能を備えることにより、画像表示に必要なフレーム時のみ画像転送をすればよく、システムの肥大化や負荷を抑制することができ、消費電力の低減にも繋げることができる。しかしながら、この従来技術では、演算器が各画素と１対１で配置されるため、画素数分の機能実現演算器が必要となり、画素数が増えるほど回路規模が増大し、高画素数化および高解像度化によるセンシング性能向上を妨げるおそれがある。【０００７】
本技術はこのような状況に鑑みて生み出されたものであり、センサー内においてフレーム間の演算処理を行う演算処理部の規模を削減することを目的とする。
【課題を解決するための手段】
【０００８】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、時系列に遷移するフレームの画素データを記憶するフレームメモリと、現行フレームの画素データおよび上記フレームメモリに記憶された過去フレームの画素データについて行単位に列並列で所定の演算を施してその結果に基づいて上記フレームメモリに記憶される上記過去フレームの画素データを更新するフレーム間演算処理部とを具備する演算装置である。これにより、現行フレームと過去フレームとの間の演算を行単位の列並列の演算により実現するという作用をもたらす。【０００９】
また、この第１の側面において、上記画素データは、物体の存在の有無の何れかを示す二値化されたデータであってもよく、上記所定の演算は、上記物体を追跡するためのトラッキング演算であってもよい。これにより、列並列の演算によりフレームにおける物体を追跡するという作用をもたらす。【００１０】
また、この第１の側面において、上記フレーム間演算処理部は、上記過去フレームの画素データに対して拡張処理を施した領域における上記現行フレームの画素データを上記過去フレームの画素データとして上記フレームメモリに更新するようにしてもよい。これにより、列並列の演算により拡張処理を施して、フレームメモリへの更新を行うという作用をもたらす。【００１１】
また、この第１の側面において、上記フレーム間演算処理部は、上記行単位の画素データの各々に対応して、上記過去フレームの画素データが上記物体の存在を示す領域についてその周辺まで拡張した領域を生成する論理和回路と、上記拡張した領域と上記現行フレームの画素データとの論理積を新たな上記過去フレームの画素データとして生成する論理積回路とを備えるようにしてもよい。これにより、論理和回路および論理積回路によりセルフウィンドウ法における拡張処理および抽出処理を行うという作用をもたらす。【００１２】
また、この第１の側面において、上記論理和回路は、上記拡張した領域を生成するために隣接する行の画素データを参照するようにしてもよい。これにより、列並列の演算により拡張処理を実現するという作用をもたらす。【００１３】
また、この第１の側面において、上記論理和回路は、上記フレームにおいてｐ画素×ｐ画素の領域（ｐは３以上の奇数）について上記拡張した領域を生成するために上記フレームメモリに記憶された過去フレームのｐ個の画素データを同時に参照するようにしてもよい。これにより、ｐ個の画素データを参照して、ｐ画素×ｐ画素の領域の拡張領域を生成するという作用をもたらす。【００１４】
また、この第１の側面において、上記論理和回路は、上記フレームにおいてｐ画素×ｐ画素の領域（ｐは３以上の奇数）について上記拡張した領域を生成するために上記フレームメモリに記憶された過去フレームのｑ個（ｑはｐより小さい奇数）の画素データを同時に参照するようにしてもよい。これにより、ｑ個の画素データを参照して、ｐ画素×ｐ画素の領域の拡張領域を生成するという作用をもたらす。【００１５】
また、この第１の側面において、上記フレーム間演算処理部は、上記行単位の画素データのうち必要な画素データを選択する選択器をさらに備え、上記論理和回路は、上記選択器に選択された画素データが上記物体の存在を示す領域についてその周辺まで拡張した領域を生成するようにしてもよい。これにより、論理和回路によりセルフウィンドウ法における拡張処理を行うという作用をもたらす。この場合において、上記選択器は、上記必要な画素データを選択する際に左右対称に選択の有無を決定してもよく、また、上記必要な画素データを選択する際に左右非対称に選択の有無を決定してもよい。【００１６】
また、本技術の第２の側面は、画像を撮像して時系列に遷移するフレームの画素データを生成する画素アレイ部と、上記フレームの画素データを記憶するフレームメモリと、上記フレームにおける現行フレームの画素データおよび上記フレームメモリに記憶された過去フレームの画素データについて行単位に列並列で所定の演算を施してその結果に基づいて上記フレームメモリに記憶される上記過去フレームの画素データを更新するフレーム間演算処理部とを具備するセンサーである。これにより、撮像した現行フレームと過去フレームとの間の演算を行単位の列並列の演算により実現するという作用をもたらす。
【発明の効果】
【００１７】
本技術によれば、センサー内においてフレーム間の演算処理を行う演算処理部の規模を削減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１８】
【図１】本技術の実施の形態におけるビジョンセンサー１００の構成例を示す図である。
【図２】本技術の実施の形態におけるビジョンセンサー１００の処理手順例を示す流れ図である。
【図３】本技術の実施の形態のビジョンセンサー１００において想定する画素データの遷移例を示す図である。
【図４】本技術の実施の形態における第２フレームの第０行目の処理例を示す図である。
【図５】本技術の実施の形態における第２フレームの第１行目の処理例を示す図である。
【図６】本技術の実施の形態における第２フレームの第２行目の処理例を示す図である。
【図７】本技術の実施の形態における第２フレームの第３行目の処理例を示す図である。
【図８】本技術の実施の形態における第２フレームの第４行目の処理例を示す図である。
【図９】本技術の実施の形態における第２フレームの第５行目の処理例を示す図である。
【図１０】本技術の実施の形態における第２フレームの第６行目の処理例を示す図である。
【図１１】本技術の実施の形態における第２フレームの第７行目の処理例を示す図である。
【図１２】本技術の実施の形態における第２フレームの第８行目の処理例を示す図である。
【図１３】本技術の実施の形態における第２フレームの第９行目の処理例を示す図である。
【図１４】本技術の実施の形態における第３フレームの第０行目の処理例を示す図である。
【図１５】本技術の実施の形態における第３フレームの第１行目の処理例を示す図である。
【図１６】本技術の実施の形態における第３フレームの第２行目の処理例を示す図である。
【図１７】本技術の実施の形態における第３フレームの第３行目の処理例を示す図である。
【図１８】本技術の実施の形態における第３フレームの第４行目の処理例を示す図である。
【図１９】本技術の実施の形態における第３フレームの第５行目の処理例を示す図である。
【図２０】本技術の実施の形態における第３フレームの第６行目の処理例を示す図である。
【図２１】本技術の実施の形態における第３フレームの第７行目の処理例を示す図である。
【図２２】本技術の実施の形態における第３フレームの第８行目の処理例を示す図である。
【図２３】本技術の実施の形態における第３フレームの第９行目の処理例を示す図である。
【図２４】本技術の実施の形態における第３フレームの第９行目の処理後のフレームメモリ１６０の内容例を示す図である。
【図２５】本技術の実施の形態における画素アレイ部１１０における画素のベイヤー配列の例を示す図である。
【図２６】本技術の第１の実施の形態におけるフレーム間演算処理部２００の構成例を示す図である。
【図２７】本技術の第１の実施の形態において想定する演算対象の画素配置の一例を示す図である。
【図２８】本技術の第１の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。
【図２９】本技術の第２の実施の形態におけるフレーム間演算処理部２００の構成例を示す図である。
【図３０】本技術の第２の実施の形態において想定する演算対象の画素配置の一例を示す図である。
【図３１】本技術の第２の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。
【図３２】本技術の第２の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。
【図３３】本技術の第３の実施の形態において想定する演算対象の画素配置の一例を示す図である。
【図３４】本技術の第３の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。
【図３５】本技術の第３の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。
【図３６】本技術の第３の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。
【図３７】本技術の第３の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。
【図３８】本技術の第４の実施の形態におけるフレーム間演算処理部２００の構成例を示す図である。
【図３９】本技術の第４の実施の形態において想定する演算対象の画素配置の一例を示す図である。
【図４０】本技術の第４の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。
【図４１】本技術の第４の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。
【図４２】本技術の第４の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。
【図４３】車両制御システムの概略的な構成例を示すブロック図である。
【図４４】撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１９】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．全体構成（ビジョンセンサー）
２．動作例（列並列演算により物体追跡を行う例）
３．第１の実施の形態（３×３画素領域について３列並列演算を行う例）
４．第２の実施の形態（５×５画素領域について５列並列演算を行う例）
５．第３の実施の形態（５×５画素領域について３列並列演算を行う例）
６．第４の実施の形態（５×５画素領域について３列並列演算を行う他の例）
７．適用例（移動体制御システムへの適用例）
【００２０】
＜１．全体構成＞
［ビジョンセンサーの構成］
図１は、本技術の実施の形態におけるビジョンセンサー１００の構成例を示す図である。ビジョンセンサー１００は、物体を追跡するためのトラッキング機能などの検知（センシング）機能を備えるセンサーである。このビジョンセンサー１００は、画素アレイ部１１０と、アナログデジタル変換部１２０と、画素データメモリ１３０と、二値化処理部１４０と、フレームメモリ１６０と、フレーム間演算処理部２００と、パラレルシリアル変換部１７０と、信号処理部１８０と、制御部１９０とを備える。
【００２１】
画素アレイ部１１０は、受光した光を光電変換して画素信号を生成する画素を２次元アレイ状に配置した光電変換素子群である。この画素アレイ部１１０は、行毎にアドレス付けされており、制御部１９０から指定されたアドレスに対応する行の画素信号が列並列に読み出される。この読み出された画素信号は、アナログデジタル変換部１２０に供給される。
【００２２】
アナログデジタル変換部１２０は、画素アレイ部１１０から供給された１行分の列並列の画素信号をアナログ信号からデジタル信号に変換するものである。このアナログデジタル変換部１２０によってアナログ信号から変換されたデジタル信号は、画素データとして画素データメモリ１３０に保持される。
【００２３】
画素データメモリ１３０は、アナログデジタル変換部１２０によってデジタル信号に変換された１行分の列並列の画素データを保持するメモリである。この画素データメモリ１３０に保持された画素データは、二値化処理部１４０によって読み出される。
【００２４】
二値化処理部１４０は、画素データメモリ１３０から１行分の列並列の画素データを読み出して、予め設定された閾値を基準として大小関係を判別して、「１」または「０」のいずれか一方の二値化データを出力するものである。この二値化データは、例えば、物体の存在の有無の何れかを示すデータであり、物体が存在すると判別された画素は「１」、物体が存在しないと判別された画素は「０」を示すことが想定される。なお、上述のアナログデジタル変換部１２０において画素データを１ビット化した場合には、この二値化処理部１４０による二値化を省略することもできる。
【００２５】
フレームメモリ１６０は、時系列に遷移するフレームの二値化された画素データを記憶するメモリである。この実施の形態では、時系列に遷移するフレームからなる動画を想定し、フレームを構成する画素データをこのフレームメモリ１６０が記憶する。フレーム間演算処理部２００が演算処理を行う際、二値化処理部１４０から供給されているフレームを現行フレームとし、その現行フレームの時系列上１つ前のフレームを過去フレームとする。その際、フレームメモリ１６０は、過去フレームの画素データをフレーム間演算処理部２００に供給する。
【００２６】
フレーム間演算処理部２００は、二値化処理部１４０から供給されている現行フレームの画素データおよびフレームメモリ１６０に記憶されている過去フレームの画素データについて、行単位に列並列で所定の演算処理を施すものである。そして、このフレーム間演算処理部２００は、その演算処理の結果に基づいて、フレームメモリ１６０に記憶される過去フレームの画素データを更新する。このフレーム間演算処理部２００における所定の演算処理としては、例えば、物体を追跡するためのトラッキング演算が想定される。この場合、フレーム間演算処理部２００は、過去フレームの画素データと現行フレームの画素データとを比較して、物体の動きを追跡する。後述するように、このフレーム間演算処理部２００は、セルフウィンドウ法によるトラッキング演算を行う。
【００２７】
パラレルシリアル変換部１７０は、フレーム間演算処理部２００による１行分の列並列の演算結果である画素データをパラレル信号からシリアル信号に変換するものである。このパラレルシリアル変換部１７０によりシリアル信号に変換された画素データは、信号処理部１８０に供給される。
【００２８】
信号処理部１８０は、パラレルシリアル変換部１７０によりシリアル信号に変換された画素データに対して所定の信号処理を施すものである。この信号処理部１８０における所定の信号処理としては、例えば、物体の重心や面積を求める処理、または、直前のフレームからの動き差分（動きベクトルや動き方向）を求める処理などが想定される。
【００２９】
制御部１９０は、ビジョンセンサー１００の各部を制御するものである。この制御部１９０による制御としては、例えば、画素アレイ部１１０において読出し対象となる行のアドレス指定や、フレーム間演算処理部２００におけるフレームメモリ１６０からの読出し対象となる画素データの指定などが想定される。この制御部１９０による制御の詳細については後述する。
【００３０】
［ビジョンセンサーの処理］
図２は、本技術の実施の形態におけるビジョンセンサー１００の処理手順例を示す流れ図である。
【００３１】
まず、画素アレイ部１１０は、受光した光を光電変換して行毎の画素信号を列並列に出力する（ステップＳ９１１）。ここで、出力対象となる行のアドレスは、制御部１９０から指定される。アナログデジタル変換部１２０は、画素アレイ部１１０から供給された１行分の列並列の画素信号をアナログ信号からデジタル信号に変換して、画素データとして画素データメモリ１３０に保持する（ステップＳ９１２）。二値化処理部１４０は、画素データメモリ１３０に保持された１行分の列並列の画素データを二値化する（ステップＳ９１３）。このようにして得られた二値化された画素データは、現行フレームを構成する。
【００３２】
現行フレームが動画の最初のフレームであれば（ステップＳ９１４：Ｙｅｓ）、現行フレームの画素データは、そのままフレームメモリ１６０に記憶される（ステップＳ９１５）。このフレームメモリ１６０に記憶された画素データは、時系列上の次のフレームにとっては過去フレームの画素データとなる。
【００３３】
一方、現行フレームが動画の最初のフレームでなければ（ステップＳ９１４：Ｎｏ）、フレーム間演算処理部２００は、現行フレームおよび過去フレームのそれぞれの画素データを参照してトラッキング演算を行う（ステップＳ９２０）。そして、フレーム間演算処理部２００は、そのトラッキング演算の結果をフレームメモリ１６０において更新する（ステップＳ９１７）。このフレームメモリ１６０において更新された画素データは、時系列上の次のフレームにとっては過去フレームの画素データとなる。また、トラッキング演算の結果は、パラレルシリアル変換部１７０によってパラレル信号からシリアル信号に変換された後、信号処理部１８０において所定の信号処理が施される（ステップＳ９１８）。
【００３４】
これらの処理（ステップＳ９１１乃至Ｓ９１８）はフレーム毎に繰り返し実行される（ステップＳ９１９：Ｙｅｓ）。次のフレームがなくなると（ステップＳ９１９：Ｎｏ）、処理は終了する。
【００３５】
［セルフウィンドウ法］
この実施の形態においては、フレーム間演算処理部２００は、セルフウィンドウ法によるトラッキング演算を行う。このセルフウィンドウ法は、フレーム間の物体移動量を数ピクセルと仮定して、その領域内においてのみ物体の追跡を行うアルゴリズムである。このセルフウィンドウ法は、拡張処理と抽出処理を繰り返すことにより物体を追跡する。拡張処理は、過去フレームにおける物体の領域を周辺まで拡張した拡張ウィンドウを生成する処理である。抽出処理は、拡張された領域において物体（ターゲット）を抽出する処理である。
【００３６】
これらを式で表すと以下の通りである。ただし、ｆｋ（ｉ，ｊ）は現行フレームの画素データである。Ｗｋ（ｉ，ｊ）は拡張領域（拡張ウィンドウ）を示すデータである。ｇｋ（ｉ，ｊ）は、過去フレームの画素データである。変数ｉはフレーム内の列方向のインデックスであり、０以上の整数である。変数ｊはフレーム内の行方向のインデックスであり、０以上の整数である。変数ｋは、フレームの時系列を示す時刻であり、１以上の整数である。また、記号∩は積集合を意味し、記号∪は和集合を意味する。なお、この式では、フレーム間の物体移動量を１ピクセルと仮定して、拡張領域（拡張ウィンドウ）を生成している。
（抽出処理）
ｇｋ（ｉ，ｊ）＝Ｗｋ（ｉ，ｊ）∩ｆｋ（ｉ，ｊ）
（拡張処理）
Ｗｋ＋１（ｉ，ｊ）＝ｇｋ（ｉ，ｊ）∪ｇｋ（ｉ＋１，ｊ）∪ｇｋ（ｉ−１，ｊ）
∪ｇｋ（ｉ，ｊ＋１）∪ｇｋ（ｉ，ｊ−１）
【００３７】
＜２．動作例＞
次に、本技術の実施の形態におけるビジョンセンサー１００の動作例について説明する。図３は、本技術の実施の形態のビジョンセンサー１００において想定する画素データの遷移例を示す図である。ここでは、時系列に、第１フレーム、第２フレーム、第３フレームと遷移していくものと想定する。この想定する遷移例を用いて、列並列演算により物体追跡を行う動作について検証する。なお、以下の例では、フレーム間の物体移動量を１ピクセルと仮定する。
【００３８】
第１フレームの画素データは、最上位に示される通りである。各フレームにおける黒丸印の画素は、物体が存在すると判別された画素「１」を示す。それ以外の画素は、物体が存在しないと判別された画素「０」を示す。
【００３９】
第２フレームの画素データは、第１フレームの画素データに対して、右方向に１画素分移動している。第２フレームにおいて灰色に示された画素は、第１フレームにおいて物体が存在すると判別された画素「１」を示す。
【００４０】
第３フレームの画素データは、第２フレームの画素データに対して、下方向に１画素分移動している。第３フレームにおいて灰色に示された画素は、第２フレームにおいて物体が存在すると判別された画素「１」を示す。また、第３フレームの画素データにおいては、左上部分にノイズが発生しているものと想定している。
【００４１】
［第２フレームの処理］
図４は、本技術の実施の形態における第２フレームの第０行目の処理例を示す図である。第２フレームを現行フレームとして処理する際には、過去フレームとして第１フレームの画素データを参照する必要がある。この時点では、第１フレームの画素データは、フレームメモリ１６０に記憶されている。すなわち、上述の処理手順において、第１フレームが最初のフレームであると判断されて（ステップＳ９１４：Ｙｅｓ）、その画素データはそのままフレームメモリ１６０に記憶される（ステップＳ９１５）。ただし、この実施の形態においては、フレームメモリ１６０は、１行分の処理が行われるたびに下方向にシフトされ、更新された画素データが最上位の行に挿入されることを想定する。したがって、第２フレームの第０行目の処理が開始される時点においては、フレームメモリ１６０には第１フレームの上下反転した画素データが記憶されていることになる。
【００４２】
まず、フレーム間演算処理部２００は、フレームメモリ１６０に記憶されている過去フレームの第０行目の画素データについて拡張処理を行う。そのために、過去フレームの第０行目の前後の行を読み出す。過去フレームの第０行目は、フレームメモリ１６０における第９行に相当するため、フレームメモリ１６０の第８乃至１０行が読み出される。ここでは、該当する範囲には物体が存在しないため、拡張処理の結果として得られる拡張領域は空の状態となる。
【００４３】
また、フレーム間演算処理部２００は、現行フレームの第０行目の画素データを二値化処理部１４０から読み出す。そして、現行フレームの第０行目と拡張領域との積集合を求める抽出処理を行う。ここでは、現行フレームの画素データにおいて物体が存在せず、拡張領域も空であるため、得られる画素データにおいても物体が存在しない。この１行分の画素データは、次のフレームの演算処理に備えて過去フレームとしてフレームメモリ１６０に更新される。その際、上述のように、フレームメモリ１６０に記憶される画素データが下方向にシフトされ、更新された画素データが最上位の行に挿入される。
【００４４】
図５は、本技術の実施の形態における第２フレームの第１行目の処理例を示す図である。
【００４５】
フレーム間演算処理部２００は、フレームメモリ１６０に記憶されている過去フレームの第１行目の画素データについて拡張処理を行う。そのために、過去フレームの第１行目の前後の行を読み出す。過去フレームの第１行目は、フレームメモリ１６０における第９行に相当するため、フレームメモリ１６０の第８乃至１０行が読み出される。ここでは、第８行の第４列に物体が存在するため、拡張処理の結果として得られる拡張領域は第４列が有効（抽出を行うべき領域）となる。
【００４６】
また、フレーム間演算処理部２００は、現行フレームの第１行目の画素データを二値化処理部１４０から読み出す。そして、現行フレームの第１行目と拡張領域との積集合を求める抽出処理を行う。ここでは、拡張領域が空でないものの、現行フレームの画素データにおいて物体が存在しないため、得られる画素データにおいては物体が存在しない。この１行分の画素データは、次のフレームの演算処理に備えて過去フレームとしてフレームメモリ１６０に更新される。
【００４７】
図６は、本技術の実施の形態における第２フレームの第２行目の処理例を示す図である。
【００４８】
フレーム間演算処理部２００は、フレームメモリ１６０に記憶されている過去フレームの第２行目の画素データについて拡張処理を行う。そのために、過去フレームの第２行目の前後の行を読み出す。過去フレームの第２行目は、フレームメモリ１６０における第９行に相当するため、フレームメモリ１６０の第８乃至１０行が読み出される。ここでは、第８行の第３乃至５列および第９行の第４列に物体が存在するため、拡張処理の結果として得られる拡張領域は第３乃至５列が有効（抽出を行うべき領域）となる。
【００４９】
また、フレーム間演算処理部２００は、現行フレームの第２行目の画素データを二値化処理部１４０から読み出す。そして、現行フレームの第２行目と拡張領域との積集合を求める抽出処理を行う。ここでは、現行フレームの画素データにおいて第５列に物体が存在し、拡張領域は第３乃至５列が有効であるため、トラッキング演算の結果として、第５列に物体が存在する旨を示す画素データが得られる。この１行分の画素データは、次のフレームの演算処理に備えて過去フレームとしてフレームメモリ１６０に更新される。
【００５０】
その後、第２フレームの各行について逐一、同様の処理が行われる。図７乃至図１２は、本技術の実施の形態における第２フレームの第３乃至８行目の処理例を示す図である。
【００５１】
図１３は、本技術の実施の形態における第２フレームの第９行目の処理例を示す図である。
【００５２】
フレーム間演算処理部２００は、フレームメモリ１６０に記憶されている過去フレームの第９行目の画素データについて拡張処理を行う。そのために、過去フレームの第９行目の前後の行を読み出す。過去フレームの第９行目は、フレームメモリ１６０における第９行に相当するため、フレームメモリ１６０の第８乃至１０行が読み出される。ここでは、該当する範囲には物体が存在しないため、拡張処理の結果として得られる拡張領域は空の状態となる。
【００５３】
また、フレーム間演算処理部２００は、現行フレームの第９行目の画素データを二値化処理部１４０から読み出す。そして、現行フレームの第９行目と拡張領域との積集合を求める抽出処理を行う。ここでは、現行フレームの画素データにおいて物体が存在せず、拡張領域も空であるため、得られる画素データにおいても物体が存在しない。この１行分の画素データは、次のフレームの演算処理に備えて過去フレームとしてフレームメモリ１６０に更新される。その結果、この更新がされた時点においては、フレームメモリ１６０には第２フレームの上下反転した画素データが記憶されていることになる。
【００５４】
［第３フレームの処理］
図１４は、本技術の実施の形態における第３フレームの第０行目の処理例を示す図である。第３フレームを現行フレームとして処理する際には、過去フレームとして第２フレームの画素データを参照する。上述のように、第２フレームの第９行目の処理による更新がされた時点においては、フレームメモリ１６０には第２フレームの上下反転した画素データが記憶されている。
【００５５】
フレーム間演算処理部２００は、フレームメモリ１６０に記憶されている過去フレームの第０行目の画素データについて拡張処理を行う。そのために、過去フレームの第０行目の前後の行を読み出す。過去フレームの第０行目は、フレームメモリ１６０における第９行に相当するため、フレームメモリ１６０の第８乃至１０行が読み出される。ここでは、該当する範囲には物体が存在しないため、拡張処理の結果として得られる拡張領域は空の状態となる。
【００５６】
また、フレーム間演算処理部２００は、現行フレームの第０行目の画素データを二値化処理部１４０から読み出す。そして、現行フレームの第０行目と拡張領域との積集合を求める抽出処理を行う。ここでは、現行フレームの画素データにおいて第２列に物体が存在する旨が示されているが、拡張領域が空であるため、得られる画素データにおいては物体が存在しないことになる。すなわち、この第０行目の第２列のデータはノイズとして取り扱われ、物体は存在しないものとなる。この１行分の画素データは、次のフレームの演算処理に備えて過去フレームとしてフレームメモリ１６０に更新される。
【００５７】
図１５は、本技術の実施の形態における第３フレームの第１行目の処理例を示す図である。
【００５８】
フレーム間演算処理部２００は、フレームメモリ１６０に記憶されている過去フレームの第１行目の画素データについて拡張処理を行う。そのために、過去フレームの第１行目の前後の行を読み出す。過去フレームの第１行目は、フレームメモリ１６０における第９行に相当するため、フレームメモリ１６０の第８乃至１０行が読み出される。ここでは、第８行の第５列に物体が存在するため、拡張処理の結果として得られる拡張領域は第５列が有効（抽出を行うべき領域）となる。
【００５９】
また、フレーム間演算処理部２００は、現行フレームの第１行目の画素データを二値化処理部１４０から読み出す。そして、現行フレームの第１行目と拡張領域との積集合を求める抽出処理を行う。ここでは、現行フレームの画素データは第１列において物体が存在することを示しているが、拡張領域が有効となる第５列とは重ならないため、得られる画素データにおいては物体が存在しないものとなる。この１行分の画素データは、次のフレームの演算処理に備えて過去フレームとしてフレームメモリ１６０に更新される。
【００６０】
その後、第３フレームの各行について逐一、同様の処理が行われる。図１６乃至図２２は、本技術の実施の形態における第３フレームの第２乃至８行目の処理例を示す図である。
【００６１】
図２３は、本技術の実施の形態における第３フレームの第９行目の処理例を示す図である。
【００６２】
フレーム間演算処理部２００は、フレームメモリ１６０に記憶されている過去フレームの第９行目の画素データについて拡張処理を行う。そのために、過去フレームの第９行目の前後の行を読み出す。過去フレームの第９行目は、フレームメモリ１６０における第９行に相当するため、フレームメモリ１６０の第８乃至１０行が読み出される。ここでは、該当する範囲には物体が存在しないため、拡張処理の結果として得られる拡張領域は空の状態となる。
【００６３】
また、フレーム間演算処理部２００は、現行フレームの第９行目の画素データを二値化処理部１４０から読み出す。そして、現行フレームの第９行目と拡張領域との積集合を求める抽出処理を行う。ここでは、現行フレームの画素データにおいて物体が存在せず、拡張領域も空であるため、得られる画素データにおいても物体が存在しない。この１行分の画素データは、次のフレームの演算処理に備えて過去フレームとしてフレームメモリ１６０に更新される。その結果、この更新がされた時点においては、フレームメモリ１６０には第３フレームの上下反転した画素データが記憶されていることになる。
【００６４】
図２４は、本技術の実施の形態における第３フレームの第９行目の処理後のフレームメモリ１６０の内容例を示す図である。同図に示すように、第３フレームの第９行目の処理による更新がされた時点においては、フレームメモリ１６０には第３フレームの上下反転した画素データが記憶されている。すなわち、第１フレームから第３フレームにかけて物体が移動した軌跡が追跡されていることがわかる。また、第３フレームにおけるノイズについては追跡の対象とせずに、物体の動きのみが追跡されていることがわかる。
【００６５】
＜３．第１の実施の形態＞
次に、本技術の実施の形態におけるフレーム間演算処理部２００の具体的構成例について説明する。上述の画素アレイ部１１０には、各画素の受光素子毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタが設けられ、各色成分の光のみが色フィルタを通過して受光素子に入射するようになっている。以下の例においては、画素アレイ部１１０における画素配列としてベイヤー配列を想定する。
【００６６】
図２５は、本技術の実施の形態における画素アレイ部１１０における画素のベイヤー配列の例を示す図である。ベイヤー配列では、Ｒ画素およびＧ画素が交互に配列された行と、Ｇ画素およびＢ画素が交互に配列された行とが交互に繰り返されている。Ｇ画素に着目すると、Ｇ画素は市松状に配置されており、Ｇ画素が存在しない空間位置にＲ画素またはＢ画素が配置されていることになる。
【００６７】
このように、画素アレイ部１１０から出力された画素信号は、１つの行において交互に異なる色成分を有する。そのため、以下の例では、１画素おきに画素データを選択して、同じ色成分同士が演算対象となるようにする。
【００６８】
図２６は、本技術の第１の実施の形態におけるフレーム間演算処理部２００の構成例を示す図である。この第１の実施の形態では、３×３画素領域について３列の並列演算を行うことを想定する。この第１の実施の形態におけるフレーム間演算処理部２００は、１つの行の各列に対応して、メモリバッファ２１０と、選択器２２１乃至２２３と、演算部２３０と、ワークメモリ２４０と、選択器２５１とを備える。すなわち、これらは基本的に１つの行の列数分の数が設けられる。
【００６９】
メモリバッファ２１０は、フレームメモリ１６０から読み出された１行分の画素データを保持するバッファである。このメモリバッファ２１０は、拡張処理を行うために利用される。
【００７０】
選択器２２１乃至２２３は、メモリバッファ２１０から演算部２３０に供給すべき１行分の画素データを選択する選択器である。この例では、１回に最大３つの画素データを参照することを想定しているため、３つの選択器２２１乃至２２３を備えるものとしている。選択器２２１は３つの画素データの中心の画素データを選択する。選択器２２２は、中心の左隣の画素データを選択する。選択器２２３は、中心の右隣の画素データを選択する。選択器２２１には、制御部１９０から選択信号ｓｅｌ２が供給される。選択器２２２および２２３には、制御部１９０から共通の選択信号ｓｅｌ１が供給される。なお、これら選択器２２１乃至２２３においては、選択信号が「１」を示す場合には右ポートのメモリバッファ２１０からの画素データを選択し、選択信号が「０」を示す場合には左ポートの値「０」を選択するものとする。
【００７１】
演算部２３０は、１行分の画素データのそれぞれに対応して設けられた列並列の演算部である。この図においては、中央の画素に対応する演算部２３０の構成を示しているが、他の画素に対応する演算部２３０も同様の構成を有する。１つの演算部２３０は、論理和回路２３１と、選択器２３２と、論理積回路２３３とを備える。
【００７２】
論理和回路２３１は、選択器２２１乃至２２３から供給された画素データの論理和演算を行う回路である。すなわち、選択器２２１乃至２２３の何れかの出力が「１」であれば、この論理和回路２３１の出力も「１」となる。一方、選択器２２１乃至２２３の全ての出力が「０」であれば、この論理和回路２３１の出力は「０」となる。
【００７３】
選択器２３２は、二値化処理部１４０から供給されている現行フレームにおける、演算対象となる行の画素データ（ターゲット）を選択する選択器である。この選択器２３２には、制御部１９０から選択信号ｓｅｌ３が供給される。この選択器２３２においては、選択信号が「１」を示す場合には右ポートの二値化処理部１４０からの画素データを選択し、選択信号が「０」を示す場合には左ポートの値「１」を選択するものとする。
【００７４】
論理積回路２３３は、論理和回路２３１の出力と選択器２３２の出力との論理積演算を行う回路である。すなわち、論理和回路２３１および選択器２３２の両方の出力が「１」であれば、この論理積回路２３３の出力も「１」となる。一方、論理和回路２３１および選択器２３２の何れかの出力が「０」であれば、この論理和回路２３１の出力は「０」となる。
【００７５】
ワークメモリ２４０は、演算部２３０による１行分の画素データの演算結果を一時的に保持するメモリである。このワークメモリ２４０に保持された演算結果は、１行分の演算が終了するたびに選択器２５１を介してフレームメモリ１６０に更新される。
【００７６】
選択器２５１は、ワークメモリ２４０に保持された演算結果のそれぞれに対応して、演算結果と「０」の何れかを選択する選択器である。この選択器２５１には、制御部１９０から選択信号ｓｅｌ４が供給される。この選択器２５１においては、選択信号が「１」を示す場合には右ポートのワークメモリ２４０からの演算結果を選択し、選択信号が「０」を示す場合には左ポートの値「０」を選択するものとする。
【００７７】
図２７は、本技術の第１の実施の形態において想定する演算対象の画素配置の一例を示す図である。この第１の実施の形態では、中心の画素６１１に対して３×３画素領域を演算対象６１２とする。灰色で示した隣接した画素が拡張領域の候補となる。なお、上述のように、ベイヤー配列を想定するため、他の色を含めると５×５画素領域となるが、ここでは一つの色に着目して３×３画素領域と呼称する。以下では、流れ図を参照してこの画素配置における処理手順を説明する。
【００７８】
図２８は、本技術の第１の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。この例では、現行フレームの第ｎ行の処理を行うために、３×３画素領域を演算対象６１２として、過去フレームが第（ｎ−１）行、第ｎ行、第（ｎ＋１）行の順に参照されて、拡張処理が行われる。そして、その拡張処理により得られた拡張領域を利用して抽出処理が行われる。これら現行フレームの第ｎ行の処理において、各列について同時に並列に処理が行われる。
【００７９】
まず、フレームメモリ１６０の第（ｎ−１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８１１）。そして、選択信号として、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「０」がそれぞれ供給される（ステップＳ８１２）。これにより、第（ｎ−１）行の第ｍ列の画素データが選択される。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８１３）。
【００８０】
次に、フレームメモリ１６０の第ｎ行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８１４）。そして、選択信号として、ｓｅｌ１＝「１」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８１５）。これにより、第ｎ行の第（ｍ−１）列、第ｍ列、第（ｍ＋１）列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８１６）。
【００８１】
次に、フレームメモリ１６０の第（ｎ＋１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８１７）。そして、選択信号として、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８１８）。これにより、第（ｎ＋１）行の第ｍ列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８１９）。
【００８２】
ここまでの処理が拡張処理に対応する。以下では抽出処理が行われる。選択信号として、ｓｅｌ１＝「０」、ｓｅｌ２＝「０」、ｓｅｌ３＝「１」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８２１）。これにより、現行フレームの画素データと拡張領域との論理積演算が論理積回路２３３により行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８２２）。
【００８３】
これにより、現行フレームの第ｎ行に対する処理が完了したため、ワークメモリ２４０の内容がフレームメモリ１６０に更新される（ステップＳ８２３）。このようにして、現行フレームの各行に対する処理が繰り返される。
【００８４】
＜４．第２の実施の形態＞
図２９は、本技術の第２の実施の形態におけるフレーム間演算処理部２００の構成例を示す図である。この第２の実施の形態では、５×５画素領域について５列の並列演算を行うことを想定する。この第２の実施の形態におけるフレーム間演算処理部２００は、１つの行の各列に対応して、メモリバッファ２１０と、選択器２２１乃至２２５と、演算部２３０と、ワークメモリ２４０と、選択器２５１とを備える。第１の実施の形態と比べて、入力される画素データが増えた分、選択器の数が増え、論理和回路２３１の入力数も増えている。これ以外の点は第１の実施の形態と同様である。
【００８５】
選択器２２１乃至２２５は、メモリバッファ２１０から演算部２３０に供給すべき１行分の画素データを選択する選択器である。この例では、１回に最大５つの画素データを参照することを想定しているため、５つの選択器２２１乃至２２５を備えるものとしている。選択器２２１は５つの画素データの中心の画素データを選択する。選択器２２２は、中心の左隣の画素データを選択する。選択器２２３は、中心の右隣の画素データを選択する。選択器２２４は、中心の２つ左隣の画素データを選択する。選択器２２５は、中心の２つ右隣の画素データを選択する。
【００８６】
選択器２２１には、制御部１９０から選択信号ｓｅｌ２が供給される。選択器２２２および２２３には、制御部１９０から共通の選択信号ｓｅｌ１が供給される。選択器２２４および２２５には、制御部１９０から共通の選択信号ｓｅｌ０が供給される。なお、これら選択器２２１乃至２２５においては、選択信号が「１」を示す場合には右ポートのメモリバッファ２１０からの画素データを選択し、選択信号が「０」を示す場合には左ポートの値「０」を選択するものとする。
【００８７】
図３０は、本技術の第２の実施の形態において想定する演算対象の画素配置の一例を示す図である。この第２の実施の形態では、中心の画素６２１に対して５×５画素領域を演算対象６２２とする。灰色で示した隣接した画素が拡張領域の候補となる。なお、上述のように、ベイヤー配列を想定するため、他の色を含めると９×９画素領域となるが、ここでは一つの色に着目して５×５画素領域と呼称する。以下では、流れ図を参照してこの画素配置における処理手順を説明する。
【００８８】
図３１および図３２は、本技術の第２の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。この例では、現行フレームの第ｎ行の処理を行うために、５×５画素領域を演算対象６２２として、過去フレームが第（ｎ−２）行、第（ｎ−１）行、第ｎ行、第（ｎ＋１）行、第（ｎ＋２）行の順に参照されて、拡張処理が行われる。そして、その拡張処理により得られた拡張領域を利用して抽出処理が行われる。これら現行フレームの第ｎ行の処理において、各列について同時に並列に処理が行われる。
【００８９】
まず、フレームメモリ１６０の第（ｎ−２）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８３１）。そして、選択信号として、ｓｅｌ０＝「０」、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「０」がそれぞれ供給される（ステップＳ８３２）。これにより、第（ｎ−２）行の第ｍ列の画素データが選択される。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８３３）。
【００９０】
次に、フレームメモリ１６０の第（ｎ−１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８３４）。そして、選択信号として、ｓｅｌ０＝「０」、ｓｅｌ１＝「１」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８３５）。これにより、第（ｎ−１）行の第（ｍ−１）列、第ｍ列、第（ｍ＋１）列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８３６）。
【００９１】
次に、フレームメモリ１６０の第ｎ行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８３７）。そして、選択信号として、ｓｅｌ０＝「１」、ｓｅｌ１＝「１」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８３８）。これにより、第ｎ行の第（ｍ−２）列、第（ｍ−１）列、第ｍ列、第（ｍ＋１）列、第（ｍ＋２）列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８３９）。
【００９２】
次に、フレームメモリ１６０の第（ｎ＋１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８４１）。そして、選択信号として、ｓｅｌ０＝「０」、ｓｅｌ１＝「１」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８４２）。これにより、第（ｎ＋１）行の第（ｍ−１）列、第ｍ列、第（ｍ＋１）列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８４３）。
【００９３】
次に、フレームメモリ１６０の第（ｎ＋２）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８４４）。そして、選択信号として、ｓｅｌ０＝「０」、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８４５）。これにより、第（ｎ＋２）行の第ｍ列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８４６）。
【００９４】
ここまでの処理が拡張処理に対応する。以下では抽出処理が行われる。選択信号として、ｓｅｌ０＝「０」、ｓｅｌ１＝「０」、ｓｅｌ２＝「０」、ｓｅｌ３＝「１」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８４７）。これにより、現行フレームの画素データと拡張領域との論理積演算が論理積回路２３３により行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８４８）。
【００９５】
これにより、現行フレームの第ｎ行に対する処理が完了したため、ワークメモリ２４０の内容がフレームメモリ１６０に更新される（ステップＳ８４９）。このようにして、現行フレームの各行に対する処理が繰り返される。
【００９６】
＜５．第３の実施の形態＞
本技術の第３の実施の形態では、５×５画素領域について３列の並列演算を行うことを想定する。この第３の実施の形態におけるフレーム間演算処理部２００は、上述の第１の実施の形態において説明したフレーム間演算処理部２００と同様の構成を有する。したがって、ここでは構成の詳細な説明は省略する。
【００９７】
図３３は、本技術の第３の実施の形態において想定する演算対象の画素配置の一例を示す図である。この第３の実施の形態では、中心の画素６３１に対して５×５画素領域を演算対象６３２とする。灰色で示した隣接した画素が拡張領域の候補となる。なお、上述のように、ベイヤー配列を想定するため、他の色を含めると９×９画素領域となるが、ここでは一つの色に着目して５×５画素領域と呼称する。
【００９８】
また、この第３の実施の形態では、演算部２３０の各々では３列の並列演算を行うことを想定するため、演算対象６３２において４つの演算領域６３３乃至６３６に分けて演算を行う。演算領域６３３乃至６３６は、中心の画素６３１からそれぞれ１画素分、上下左右に移動した画素を中心とする３×３画素領域であり、左右対称となる。以下では、流れ図を参照してこの画素配置における処理手順を説明する。
【００９９】
図３４乃至図３７は、本技術の第３の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。この例では、現行フレームの第ｎ行の処理を行うために、４つの演算領域６３３乃至６３６が順に参照されて、拡張処理が行われる。そして、その拡張処理により得られた拡張領域を利用して抽出処理が行われる。これら現行フレームの第ｎ行の処理において、各列について同時に並列に処理が行われる。
【０１００】
まず、中心の画素６３１から左に１画素分オフセットした演算領域６３３について、以下のステップＳ８５１乃至Ｓ８５９の処理が行われる。まず、フレームメモリ１６０の第（ｎ−１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８５１）。そして、選択信号として、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「０」がそれぞれ供給される（ステップＳ８５２）。これにより、第（ｎ−１）行の第（ｍ−１）列の画素データが選択される。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８５３）。
【０１０１】
次に、フレームメモリ１６０の第ｎ行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８５４）。そして、選択信号として、ｓｅｌ１＝「１」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８５５）。これにより、第ｎ行の第（ｍ−２）列、第（ｍ−１）列、第ｍ列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８５６）。
【０１０２】
次に、フレームメモリ１６０の第（ｎ＋１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８５７）。そして、選択信号として、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８５８）。これにより、第（ｎ＋１）行の第（ｍ−１）列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８５９）。
【０１０３】
続いて、中心の画素６３１から右に１画素分オフセットした演算領域６３４について、以下のステップＳ８６１乃至Ｓ８６９の処理が行われる。まず、フレームメモリ１６０の第（ｎ−１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８６１）。そして、選択信号として、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８６２）。これにより、第（ｎ−１）行の第（ｍ＋１）列の画素データが選択される。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８６３）。
【０１０４】
次に、フレームメモリ１６０の第ｎ行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８６４）。そして、選択信号として、ｓｅｌ１＝「１」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８６５）。これにより、第ｎ行の第ｍ列、第（ｍ＋１）列、第（ｍ＋２）列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８６６）。
【０１０５】
次に、フレームメモリ１６０の第（ｎ＋１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８６７）。そして、選択信号として、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８６８）。これにより、第（ｎ＋１）行の第（ｍ＋１）列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８６９）。
【０１０６】
続いて、中心の画素６３１から下に１画素分オフセットした演算領域６３５について、以下のステップＳ８７１乃至Ｓ８７９の処理が行われる。まず、フレームメモリ１６０の第（ｎ−２）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８７１）。そして、選択信号として、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８７２）。これにより、第（ｎ−２）行の第ｍ列の画素データが選択される。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８７３）。
【０１０７】
次に、フレームメモリ１６０の第（ｎ−１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８７４）。そして、選択信号として、ｓｅｌ１＝「１」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８７５）。これにより、第（ｎ−１）行の第（ｍ−１）列、第ｍ列、第（ｍ＋１）列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８７６）。
【０１０８】
次に、フレームメモリ１６０の第ｎ行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８７７）。そして、選択信号として、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８７８）。これにより、第ｎ行の第ｍ列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８７９）。
【０１０９】
続いて、中心の画素６３１から上に１画素分オフセットした演算領域６３６について、以下のステップＳ８８１乃至Ｓ８８９の処理が行われる。まず、フレームメモリ１６０の第ｎ行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８８１）。そして、選択信号として、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８８２）。これにより、第ｎ行の第ｍ列の画素データが選択される。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８８３）。
【０１１０】
次に、フレームメモリ１６０の第（ｎ＋１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８８４）。そして、選択信号として、ｓｅｌ１＝「１」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８８５）。これにより、第（ｎ＋１）行の第（ｍ−１）列、第ｍ列、第（ｍ＋１）列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８８６）。
【０１１１】
次に、フレームメモリ１６０の第（ｎ＋２）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ８８７）。そして、選択信号として、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８８８）。これにより、第（ｎ＋２）行の第ｍ列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８８９）。
【０１１２】
ここまでの処理が拡張処理に対応する。以下では抽出処理が行われる。選択信号として、ｓｅｌ１＝「０」、ｓｅｌ２＝「０」、ｓｅｌ３＝「１」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ８９１）。これにより、現行フレームの画素データと拡張領域との論理積演算が論理積回路２３３により行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ８９２）。
【０１１３】
これにより、現行フレームの第ｎ行に対する処理が完了したため、ワークメモリ２４０の内容がフレームメモリ１６０に更新される（ステップＳ８９３）。このようにして、現行フレームの各行に対する処理が繰り返される。
【０１１４】
＜６．第４の実施の形態＞
上述の第３の実施の形態では、選択器２２２および２２３の選択信号を共通のものとして制御したため、中心の画素６３１に対して左右対称に処理を行うことになり、対象となる領域が重複していた。これに対し、第４の実施の形態では、選択器２２２および２２３の選択信号を個別に設けることにより、処理効率を向上させる。
【０１１５】
図３８は、本技術の第４の実施の形態におけるフレーム間演算処理部２００の構成例を示す図である。この第４の実施の形態では、５×５画素領域について３列の並列演算を行うことを想定する。基本的には第３の実施の形態と同様の構成を有するが、選択器２２２および２２３の選択信号を個別に設け、制御部１９０から選択信号ｓｅｌ０を選択器２２２に供給し、選択信号ｓｅｌ１を選択器２２３に供給する点において異なる。
【０１１６】
図３９は、本技術の第４の実施の形態において想定する演算対象の画素配置の一例を示す図である。この第４の実施の形態では、中心の画素６４１に対して５×５画素領域を演算対象６４２とする。灰色で示した隣接した画素が拡張領域の候補となる。そして、この第４の実施の形態では、演算対象６４２において左右非対称の３つの演算領域６４３乃至６４５に分けて演算を行う。以下では、流れ図を参照してこの画素配置における処理手順を説明する。
【０１１７】
図４０乃至図４２は、本技術の第４の実施の形態のフレーム間演算処理部２００による処理手順例を示す流れ図である。この例では、現行フレームの第ｎ行の処理を行うために、３つの演算領域６４３乃至６４５が順に参照されて、拡張処理が行われる。そして、その拡張処理により得られた拡張領域を利用して抽出処理が行われる。これら現行フレームの第ｎ行の処理において、各列について同時に並列に処理が行われる。
【０１１８】
まず、中心の画素６４１から左および下に１画素分オフセットした演算領域６４３について、以下のステップＳ７１１乃至Ｓ７１９の処理が行われる。まず、フレームメモリ１６０の第（ｎ−２）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ７１１）。そして、選択信号として、ｓｅｌ０＝「０」、ｓｅｌ１＝「１」、ｓｅｌ２＝「０」、ｓｅｌ３＝「０」、ｓｅｌ４＝「０」がそれぞれ供給される（ステップＳ７１２）。これにより、第（ｎ−２）行の第ｍ列の画素データが選択される。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ７１３）。
【０１１９】
次に、フレームメモリ１６０の第（ｎ−１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ７１４）。そして、選択信号として、ｓｅｌ０＝「０」、ｓｅｌ１＝「１」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ７１５）。これにより、第（ｎ−１）行の第（ｍ−１）列、第ｍ列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ７１６）。
【０１２０】
次に、フレームメモリ１６０の第ｎ行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ７１７）。そして、選択信号として、ｓｅｌ０＝「１」、ｓｅｌ１＝「１」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ７１８）。これにより、第ｎ行の第（ｍ−２）列、第（ｍ−１）列、第ｍ列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ７１９）。
【０１２１】
続いて、中心の画素６４１から右に２画素分および下に１画素分オフセットした演算領域６４４について、以下のステップＳ７２１乃至Ｓ７２６の処理が行われる。まず、フレームメモリ１６０の第（ｎ−１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ７２１）。そして、選択信号として、ｓｅｌ０＝「１」、ｓｅｌ１＝「０」、ｓｅｌ２＝「０」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ７２２）。これにより、第（ｎ−１）行の第（ｍ＋１）列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ７２３）。
【０１２２】
次に、フレームメモリ１６０の第ｎ行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ７２４）。そして、選択信号として、ｓｅｌ０＝「１」、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ７２５）。これにより、第ｎ行の第（ｍ＋１）列、第（ｍ＋２）列の画素データが選択される。また、直前のワークメモリ２４０の保持内容も選択されて、論理和回路２３１による論理和演算が行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ７２６）。
【０１２３】
続いて、中心の画素６４１から上に２画素分オフセットした演算領域６４５について、以下のステップＳ７３１乃至Ｓ７３６の処理が行われる。まず、フレームメモリ１６０の第（ｎ＋１）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ７３１）。そして、選択信号として、ｓｅｌ０＝「１」、ｓｅｌ１＝「１」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ７３２）。これにより、第（ｎ＋１）行の第（ｍ−１）、第ｍ列、第（ｍ＋１）列の画素データが選択される。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ７３３）。
【０１２４】
次に、フレームメモリ１６０の第（ｎ＋２）行の画素データが読み出されて、メモリバッファ２１０に保持される（ステップＳ７３４）。そして、選択信号として、ｓｅｌ０＝「０」、ｓｅｌ１＝「０」、ｓｅｌ２＝「１」、ｓｅｌ３＝「０」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ７３５）。これにより、第（ｎ＋２）行の第ｍ列の画素データが選択される。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ７３６）。
【０１２５】
ここまでの処理が拡張処理に対応する。以下では抽出処理が行われる。選択信号として、ｓｅｌ０＝「０」、ｓｅｌ１＝「０」、ｓｅｌ２＝「０」、ｓｅｌ３＝「１」、ｓｅｌ４＝「１」がそれぞれ供給される（ステップＳ７３７）。これにより、現行フレームの画素データと拡張領域との論理積演算が論理積回路２３３により行われる。演算部２３０による演算結果は、ワークメモリ２４０に保持される（ステップＳ７３８）。
【０１２６】
これにより、現行フレームの第ｎ行に対する処理が完了したため、ワークメモリ２４０の内容がフレームメモリ１６０に更新される（ステップＳ７３９）。このようにして、現行フレームの各行に対する処理が繰り返される。
【０１２７】
＜７．適用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１２８】
図４３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１２９】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（interface）１２０５３が図示されている。
【０１３０】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１３１】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１３２】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１３３】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１３４】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１３５】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
【０１３６】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１３７】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１３８】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１３９】
図４４は、撮像部１２０３１の設置位置の例を示す図である。
【０１４０】
図４４では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
【０１４１】
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１４２】
なお、図４４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２、１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２、１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１４３】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１４４】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１４５】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１４６】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１４７】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１において撮像された画素データについて物体を追跡するためのトラッキング演算を行うことにより、上述の自動運転や運転支援を実現することが可能になる。
【０１４８】
このように、本技術の実施の形態によれば、画素アレイ部１１０において得られた２次元の画素データについて、フレーム間演算処理部２００において１行ずつ列並列に処理を行うことにより、ハードウェア規模を削減することができる。
【０１４９】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１５０】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１５１】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１５２】
なお、本技術は以下のような構成もとることができる。
（１）時系列に遷移するフレームの画素データを記憶するフレームメモリと、
現行フレームの画素データおよび前記フレームメモリに記憶された過去フレームの画素データについて行単位に列並列で所定の演算を施してその結果に基づいて前記フレームメモリに記憶される前記過去フレームの画素データを更新するフレーム間演算処理部と
を具備する演算装置。
（２）前記画素データは、物体の存在の有無の何れかを示す二値化されたデータであり、
前記所定の演算は、前記物体を追跡するためのトラッキング演算である
前記（１）に記載の演算装置。
（３）前記フレーム間演算処理部は、前記過去フレームの画素データに対して拡張処理を施した領域における前記現行フレームの画素データを前記過去フレームの画素データとして前記フレームメモリに更新する
前記（１）または（２）に記載の演算装置。
（４）前記フレーム間演算処理部は、前記行単位の画素データの各々に対応して、
前記過去フレームの画素データが前記物体の存在を示す領域についてその周辺まで拡張した領域を生成する論理和回路と、
前記拡張した領域と前記現行フレームの画素データとの論理積を新たな前記過去フレームの画素データとして生成する論理積回路とを備える
前記（３）に記載の演算装置。
（５）前記論理和回路は、前記拡張した領域を生成するために隣接する行の画素データを参照する
前記（４）に記載の演算装置。
（６）前記論理和回路は、前記フレームにおいてｐ画素×ｐ画素の領域（ｐは３以上の奇数）について前記拡張した領域を生成するために前記フレームメモリに記憶された過去フレームのｐ個の画素データを同時に参照する
前記（４）に記載の演算装置。
（７）前記論理和回路は、前記フレームにおいてｐ画素×ｐ画素の領域（ｐは３以上の奇数）について前記拡張した領域を生成するために前記フレームメモリに記憶された過去フレームのｑ個（ｑはｐより小さい奇数）の画素データを同時に参照する
前記（４）に記載の演算装置。
（８）前記フレーム間演算処理部は、前記行単位の画素データのうち必要な画素データを選択する選択器をさらに備え、
前記論理和回路は、前記選択器に選択された画素データが前記物体の存在を示す領域についてその周辺まで拡張した領域を生成する
前記（４）に記載の演算装置。
（９）前記選択器は、前記必要な画素データを選択する際に左右対称に選択の有無を決定する
前記（８）に記載の演算装置。
（１０）前記選択器は、前記必要な画素データを選択する際に左右非対称に選択の有無を決定する
前記（８）に記載の演算装置。
（１１）画像を撮像して時系列に遷移するフレームの画素データを生成する画素アレイ部と、
前記フレームの画素データを記憶するフレームメモリと、
前記フレームにおける現行フレームの画素データおよび前記フレームメモリに記憶された過去フレームの画素データについて行単位に列並列で所定の演算を施してその結果に基づいて前記フレームメモリに記憶される前記過去フレームの画素データを更新するフレーム間演算処理部と
を具備するセンサー。
【符号の説明】
【０１５３】
１００  ビジョンセンサー
１１０  画素アレイ部
１２０  アナログデジタル変換部
１３０  画素データメモリ
１４０  二値化処理部
１６０  フレームメモリ
１７０  パラレルシリアル変換部
１８０  信号処理部
１９０  制御部
２００  フレーム間演算処理部
２１０  メモリバッファ
２２１〜２２５  選択器
２３０  演算部
２３１  論理和回路
２３２  選択器
２３３  論理積回路
２４０  ワークメモリ
２５１  選択器
１２０３１    撮像部
【図１】
2018047616.tif 000003
【図２】
2018047616.tif 000004
【図３】
2018047616.tif 000005
【図４】
2018047616.tif 000006
【図５】
2018047616.tif 000007
【図６】
2018047616.tif 000008
【図７】
2018047616.tif 000009
【図８】
2018047616.tif 000010
【図９】
2018047616.tif 000011
【図１０】
2018047616.tif 000012
【図１１】
2018047616.tif 000013
【図１２】
2018047616.tif 000014
【図１３】
2018047616.tif 000015
【図１４】
2018047616.tif 000016
【図１５】
2018047616.tif 000017
【図１６】
2018047616.tif 000018
【図１７】
2018047616.tif 000019
【図１８】
2018047616.tif 000020
【図１９】
2018047616.tif 000021
【図２０】
2018047616.tif 000022
【図２１】
2018047616.tif 000023
【図２２】
2018047616.tif 000024
【図２３】
2018047616.tif 000025
【図２４】
2018047616.tif 000026
【図２５】
2018047616.tif 000027
【図２６】
2018047616.tif 000028
【図２７】
2018047616.tif 000029
【図２８】
2018047616.tif 000030
【図２９】
2018047616.tif 000031
【図３０】
2018047616.tif 000032
【図３１】
2018047616.tif 000033
【図３２】
2018047616.tif 000034
【図３３】
2018047616.tif 000035
【図３４】
2018047616.tif 000036
【図３５】
2018047616.tif 000037
【図３６】
2018047616.tif 000038
【図３７】
2018047616.tif 000039
【図３８】
2018047616.tif 000040
【図３９】
2018047616.tif 000041
【図４０】
2018047616.tif 000042
【図４１】
2018047616.tif 000043
【図４２】
2018047616.tif 000044
【図４３】
2018047616.tif 000045
【図４４】
2018047616.tif 000046
【国際調査報告】
2018047616.tif 000047
2018047616.tif 000048
2018047616.tif 000049
2018047616.tif 000050