【手続補正書】
【提出日】令和3年10月11日(2021.10.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
可視光または非可視光の撮像素子が複数、１次元または２次元に配列されたアレイセンサと、
前記アレイセンサでの撮像により得られた画像信号に対して画像処理を行う画像処理部と、
前記アレイセンサによる撮像に関する撮像処理又は前記画像処理部の画像処理に用いるパラメータの全部又は一部について、パラメータ設定に用いる閾値を設定し、前記閾値に基づいて設定したパラメータを用いた処理が行われるようにする閾値設定部と、を備えた
センサ装置。
【請求項２】
前記閾値設定部は、画像信号から検出される物体のクラスに応じた前記閾値を設定する
請求項１に記載のセンサ装置。
【請求項３】
前記閾値設定部は、画像信号に対する学習処理に基づいて前記閾値を設定する
請求項１に記載のセンサ装置。
【請求項４】
前記閾値設定部は、物体検出の確証性の割合として所定の割合が得られるように前記閾値を設定する
請求項１に記載のセンサ装置。
【請求項５】
前記閾値設定部は、前記画像処理部と同一筐体の装置内に設けられる
請求項１に記載のセンサ装置。
【請求項６】
検出素子が複数、１次元または２次元に配列されたアレイセンサと、
前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、
前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する演算部と、
を備え、
前記演算部は、
過去の領域情報に関する情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定し、前記アクティブエリアの検出信号を用いて物体検出を行う
センサ装置。
【請求項７】
前記演算部は、過去の所定期間に生成した複数の領域情報について、各領域情報が基づく物体検出における検出領域が含まれるように前記アクティブエリアを設定する
請求項６に記載のセンサ装置。
【請求項８】
前記信号処理部は、前記アレイセンサの検出素子について選択的に検出信号を取得する取得部を有し、
前記取得部は、検出信号の１フレームとして、前記演算部からの領域情報に基づいて選択される検出素子の検出信号を取得し、
前記演算部は、前記取得部が領域情報による検出素子の選択を行なった状態で前記アレイセンサから取得した検出信号に対して物体検出を行って目的の物体が検出されなかった場合は、後続フレームにおいて、前記取得部が前記アクティブエリアの検出信号を前記アレイセンサから取得するように指示する
請求項６に記載のセンサ装置。
【請求項９】
前記演算部は、
前記アレイセンサから得られる検出信号のうちでキーフレームとされるフレームを対象として、前記アクティブエリアの検出信号から物体検出を行い、物体の検出に基づいて領域情報を生成する
請求項６に記載のセンサ装置。
【請求項１０】
前記演算部は、前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、当該物体に対応する領域情報を、識別されたクラスに対応して検出信号の取得領域を示したテンプレートを用いて生成し、
前記信号処理部の信号処理又は前記アレイセンサによる検出信号の取得に用いるパラメータの全部又は一部について、パラメータの閾値を設定し、前記テンプレートで示される取得領域に対する処理のパラメータを前記閾値に基づいて設定する閾値設定部を備える
請求項６に記載のセンサ装置。
【請求項１１】
検出素子が複数、１次元または２次元に配列されたアレイセンサと、
前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、
前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じてフレームレートの閾値を設定し、前記閾値に基づいて設定したフレームレートを用いた処理が、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて行われるようにする閾値設定部と、を備えた  
センサ装置。
【請求項１２】
前記閾値設定部は、画像からのオブジェクトトラッキングが維持できるフレームレートとして前記閾値を設定する
請求項１１に記載のセンサ装置。
【請求項１３】
物体検出の結果に応じて第１モードと第２モードのいずれかのフレームレートの設定値による制御を行うとともに、前記第１モードと前記第２モードの一方のフレームレートの設定値として、前記閾値設定部が設定したフレームレートの設定値が用いられるようにする
請求項１１に記載のセンサ装置。
【請求項１４】
前記画像処理部で画像処理された画像信号を外部装置に出力する出力部を備えた
請求項１に記載のセンサ装置。
【請求項１５】
前記出力部は、出力する画像信号についてのクラス識別に関する情報の送信も行う
請求項１４に記載のセンサ装置。
【請求項１６】
前記画像処理部は、画像信号に対する画像処理として、色補正、ガンマ補正、色階調処理、ゲイン処理、輪郭強調処理、データ圧縮処理、フレームレート変換、解像度変換、縦横比率変換、コントラスト調整処理、シャープネス調整処理、グレーレベル調整処理、サンプリングレート変更処理の少なくとも１つを行う
請求項１に記載のセンサ装置。
【請求項１７】
可視光または非可視光の撮像素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサでの撮像により得られた画像信号に対し画像処理を行う画像処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサによる撮像に関する撮像処理又は前記画像処理部の画像処理に用いるパラメータの全部又は一部について、パラメータ設定に用いる閾値を設定し、前記閾値に基づいて変更されたパラメータを用いた処理が行われるようにする
信号処理方法。
【請求項１８】
検出素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する処理と、
過去の領域情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定する処理と、
を行い、
前記アレイセンサによる検出信号として前記アクティブエリアの検出信号を用いて前記物体検出を行う
信号処理方法。
【請求項１９】
検出素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じてフレームレートの閾値を設定し、前記閾値に基づいて設定したフレームレートを用いた処理が、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて行われるようにする
信号処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
上記した第２の開示技術としてのセンサ装置においては、前記演算部は、前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、当該物体に対応する領域情報を、識別されたクラスに対応して検出信号の取得領域を示したテンプレートを用いて生成し、前記信号処理部の信号処理又は前記アレイセンサによる検出信号の取得に用いるパラメータの全部又は一部について、パラメータの閾値を設定し、前記テンプレートで示される取得領域に対する処理のパラメータを前記閾値に基づいて設定する閾値設定部を備えることが考えられる。
閾値を設定し、テンプレートで示される取得領域の処理のパラメータを閾値に基づいて変更できるようにする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
第３の開示技術としてのセンサ装置は、検出素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じてフレームレートの閾値を設定し、前記閾値に基づいて設定したフレームレートを用いた処理が、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて行われるようにする閾値設定部と、を備える。
クラスに応じた閾値を設定し、フレームレートが閾値に基づいて変更できるようにする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
上記の第１の開示技術に係る画像処理方法は、可視光または非可視光の撮像素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサでの撮像により得られた画像信号に対し画像処理を行う画像処理部とを有するセンサ装置における信号処理方法として、前記アレイセンサによる撮像に関する撮像処理又は前記画像処理部の画像処理に用いるパラメータの全部又は一部について、パラメータ設定に用いる閾値を設定し、前記閾値に基づいて変更されたパラメータを用いた処理が行われるようにする。
閾値を用いてパラメータを設定（変更）することで、例えば画像信号について、物体検出等の処理のための必要最小限の品質等として出力することができる。
上記の第２の開示技術に係る画像処理方法は、検出素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する処理と、過去の領域情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定する処理と、を行い、前記アレイセンサによる検出信号として前記アクティブエリアの検出信号を用いて前記物体検出を行う。
これにより領域情報を設定するための物体検出の処理を画像のフレーム全体を対象としなくてもよいものとする。
上記の第３の開示技術に係る画像処理方法は、検出素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じてフレームレートの閾値を設定し、前記閾値に基づいて設定したフレームレートを用いた処理が、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて行われるようにする。
閾値を用いてフレームレートを設定（変更）することで、検出対象のクラスに適したフレームレートを適用する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
図１のようにセンサ装置１は、アレイセンサ２、ＡＤＣ（Analog to Digital Converter）／ピクセルセレクタ３、バッファ４、ロジック部５、メモリ６、インタフェース部７、演算部８を有する。
ＡＤＣ／ピクセルセレクタ３、バッファ４、ロジック部５は、アレイセンサ２で得られる検出信号を外部への出力のために信号処理する信号処理部３０の例となる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
ロジック部５で処理された画像信号はメモリ６に記憶される。
メモリ６に記憶された画像信号は、必要なタイミングでインタフェース部７によりプロセッサ１１等に送信出力される。
なお、メモリ６としてはＤＲＡＭ、ＳＲＡＭ（Static Random Access Memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory ：磁気抵抗メモリ）などが想定される。
なおＭＲＡＭは磁気によってデータを記憶するメモリであり、磁気コアの代わりにＴＭＲ素子（Tunneling Magneto Resistive）を使用するものが知られている。ＴＭＲ素子は数原子分という極めて薄い絶縁物の層を磁性体ではさんだもので、磁性体の層の磁化の方向によって電気抵抗が変化する。ＴＭＲ素子の磁化の方向は電源が切られても変化せず、不揮発性のメモリとなる。微細化すればするほど書き込み電流を大きくする必要があるため、メモリセルを微細化するためには、磁界を使わず、スピンがそろった電子を流して書き込むスピン注入磁化反転方式（ＳＴＴ：Spin Torque Transfer）を用いたＳＴＴ−ＭＲＡＭが知られている。
もちろんメモリ６の具体例としては、これら以外の記憶素子でもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
図１２は人の画像領域に対して「人」というクラスに対応するテンプレートを用いて生成したＡＲＯＩ２２を示している。図の格子は画素（ピクセル）であり、濃い画素がＡＲＯＩで指定される画素であるとしている。
例えば「人」というクラスに対応するテンプレートは、顔の部分を高密度に必要画素とし、身体部分は必要画素を低密度に配置して全体をカバーできるようなものとされる。
また図１３は「自動車」というクラスに対応するテンプレートを用いて生成したＡＲＯＩ２２を示している。この例では、自動車の背面画像に適応するもので、例えばナンバープレートが位置する部分を高密度に必要画素とし、それ以外は必要画素を低密度に配置して全体をカバーできるようなものとされる。
実際には、「人」のクラスも細分化して、「横向きの人」「正面向きの人」「座っている人」などとしてテンプレートを細分化したり、「自動車」のクラスについては「側面画像」「正面画像」「背面画像」などとしてテンプレートを細分化することも考えられる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【０１２６】
今、図１９の例において、コンフィデンスレートＣＲ＝０．８０以上が求められるとする。
その場合に、コンフィデンスレートＣＲとしての閾値０．８０以上となるようなパラメータを計算し、ロジック部５等で用いられるパラメータを設定する。特には閾値より高いが、比較的データ量が少なくなるようなパラメータを設定する。
例えば図示するコンフィデンスレートＣＲ＝０．８１となる解像度、色階調数、フレームレートなどのパラメータが設定されるようにする。
すると、例えばコンフィデンスレートＣＲ＝０．９８となるようにパラメータを設定して画像信号を出力する場合に比べて、大幅にデータ量を削減し、しかも必要な物体検出精度を維持できる。
なお、「閾値」とは、コンフィデンスレートとしての要求される値と考えても良いが、パラメータ調整のために算出する閾値という意味では、要求される「閾値」としてのコンフィデンスレートを得るためのパラメータの値としても考えることもできる。
つまり技術的な意味では、「パラメータの閾値を設定し、閾値に基づいて設定したパラメータを用いた処理が行われるようにする」という処理は、次の［１］［２］のような処理手法が想定される。
［１］使用態様や使用環境に適したコンフィデンスレート等の指標値の閾値を算出し、その指標値の閾値を越える指標値が得られるパラメータ値として実際に使用するパラメータを設定する。つまり物体検出の指標値の観点でパラメータの閾値を設定する。
［２］コンフィデンスレート等の指標値としての要求される値を得るためのパラメータの閾値を算出し、その閾値に基づいて実際に使用するパラメータを設定する。つまりパラメータ自体の値という観点でパラメータの閾値を設定する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１６３
【補正方法】変更
【補正の内容】
【０１６３】
さらに図示は省略するが、図２５のようにセンサ装置１と演算部８が別体の構成において、さらに閾値設定部８５が別体のプロセッサなどにより構成されてもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０２３３
【補正方法】変更
【補正の内容】
【０２３３】
各実施の形態のセンサ装置１は、ロジック部５（画像処理部）で画像処理された画像信号を外部装置に出力するインタフェース部７（出力部）を備えている。
センサ装置１は、内部のロジック部５により、物体のクラスに応じた画像処理を行い、これをプロセッサ１１に送信出力することになるが（図５のステップＳ１０８）、これによりプロセッサ１１において物体検出を向上させるための画質調整を行う必要をなくすものとなる。従ってプロセッサ１１での処理負担を軽減しつつ、精度の高い物体検出が可能となる。
またクラス認識に基づいて選択されたパラメータセットは、必ずしも人の視認上の最高画質を得るためのパラメータセットではない。場合によっては処理される画像のデータ量が低減されることもある。つまり、必ずしも人が見た場合の最高画質ではなく、プロセッサが認識しようとする物体に適した画質の画像を出力するものとなり、送信する画像信号のデータ量を低減できる場合もある。
これにより物体検出の精度を落とすことなく、通信コストを削減できる。クラウドで計算処理をする場合の転送の遅延も改善される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０２８４
【補正方法】変更
【補正の内容】
【０２８４】
なお本技術は以下のような構成も採ることができる。
（１）
可視光または非可視光の撮像素子が複数、１次元または２次元に配列されたアレイセンサと、
前記アレイセンサでの撮像により得られた画像信号に対して画像処理を行う画像処理部と、
前記アレイセンサによる撮像に関する撮像処理又は前記画像処理部の画像処理に用いるパラメータの全部又は一部について、パラメータ設定に用いる閾値を設定し、前記閾値に基づいて設定したパラメータを用いた処理が行われるようにする閾値設定部と、を備えた
センサ装置。
（２）
前記閾値設定部は、画像信号から検出される物体のクラスに応じた前記閾値を設定する
上記（１）に記載のセンサ装置。
（３）
前記閾値設定部は、画像信号に対する学習処理に基づいて前記閾値を設定する
上記（１）又は（２）に記載のセンサ装置。
（４）
前記閾値設定部は、物体検出の確証性の割合として所定の割合が得られるように前記閾値を設定する
上記（１）から（３）のいずれかに記載のセンサ装置。
（５）
前記閾値設定部は、前記画像処理部と同一筐体の装置内に設けられる
上記（１）から（４）のいずれかに記載のセンサ装置。
（６）
検出素子が複数、１次元または２次元に配列されたアレイセンサと、
前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、
前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する演算部と、
を備え、
前記演算部は、
過去の領域情報に関する情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定し、前記アクティブエリアの検出信号を用いて物体検出を行う
センサ装置。
（７）
前記演算部は、過去の所定期間に生成した複数の領域情報について、各領域情報が基づく物体検出における検出領域が含まれるように前記アクティブエリアを設定する
上記（６）に記載のセンサ装置。
（８）
前記信号処理部は、前記アレイセンサの検出素子について選択的に検出信号を取得する取得部を有し、
前記取得部は、検出信号の１フレームとして、前記演算部からの領域情報に基づいて選択される検出素子の検出信号を取得し、
前記演算部は、前記取得部が領域情報による検出素子の選択を行なった状態で前記アレイセンサから取得した検出信号に対して物体検出を行って目的の物体が検出されなかった場合は、後続フレームにおいて、前記取得部が前記アクティブエリアの検出信号を前記アレイセンサから取得するように指示する
上記（６）又は（７）に記載のセンサ装置。
（９）
前記演算部は、
前記アレイセンサから得られる検出信号のうちでキーフレームとされるフレームを対象として、前記アクティブエリアの検出信号から物体検出を行い、物体の検出に基づいて領域情報を生成する
上記（６）から（８）のいずれかに記載のセンサ装置。
（１０）
前記演算部は、前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、当該物体に対応する領域情報を、識別されたクラスに対応して検出信号の取得領域を示したテンプレートを用いて生成し、
前記信号処理部の信号処理又は前記アレイセンサによる検出信号の取得に用いるパラメータの全部又は一部について、パラメータの閾値を設定し、前記テンプレートで示される取得領域に対する処理のパラメータを前記閾値に基づいて設定する閾値設定部を備える
上記（６）から（９）のいずれかに記載のセンサ装置。
（１１）
検出素子が複数、１次元または２次元に配列されたアレイセンサと、
前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、
前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じてフレームレートの閾値を設定し、前記閾値に基づいて設定したフレームレートを用いた処理が、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて行われるようにする閾値設定部と、を備えた  
センサ装置。
（１２）
前記閾値設定部は、画像からのオブジェクトトラッキングが維持できるフレームレートとして前記閾値を設定する
上記（１１）に記載のセンサ装置。
（１３）
物体検出の結果に応じて第１モードと第２モードのいずれかのフレームレートの設定値による制御を行うとともに、前記第１モードと前記第２モードの一方のフレームレートの設定値として、前記閾値設定部が設定したフレームレートの設定値が用いられるようにする
上記（１１）又は（１２）に記載のセンサ装置。
（１４）
前記画像処理部で画像処理された画像信号を外部装置に出力する出力部を備えた
上記（１）から（１３）のいずれかに記載のセンサ装置。
（１５）
前記出力部は、出力する画像信号についてのクラス識別に関する情報の送信も行う
上記（１４）に記載のセンサ装置。
（１６）
前記画像処理部は、画像信号に対する画像処理として、色補正、ガンマ補正、色階調処理、ゲイン処理、輪郭強調処理、データ圧縮処理、フレームレート変換、解像度変換、縦横比率変換、コントラスト調整処理、シャープネス調整処理、グレーレベル調整処理、サンプリングレート変更処理の少なくとも１つを行う
上記（１）から（１５）のいずれかに記載のセンサ装置。
（１７）
可視光または非可視光の撮像素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサでの撮像により得られた画像信号に対し画像処理を行う画像処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサによる撮像に関する撮像処理又は前記画像処理部の画像処理に用いるパラメータの全部又は一部について、パラメータ設定に用いる閾値を設定し、前記閾値に基づいて変更されたパラメータを用いた処理が行われるようにする
信号処理方法。
（１８）
検出素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する処理と、
過去の領域情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定する処理と、
を行い、
前記アレイセンサによる検出信号として前記アクティブエリアの検出信号を用いて前記物体検出を行う
信号処理方法。
（１９）
検出素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じてフレームレートの閾値を設定し、前記閾値に基づいて設定したフレームレートを用いた処理が、前記アレイセンサから得られた検出信号から検出される物体について識別されるクラスに応じて行われるようにする
信号処理方法。