(57)【要約】【課題】認識処理用の撮像と視認用の撮像とを両立可能な撮像装置、撮像システム、撮像方法および撮像プログラムを提供する。【解決手段】複数の画素が配列された画素領域を有し、画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、画素領域の一部として設定される読出単位を制御する読出単位制御部と、読出単位毎の教師データを学習した認識処理のために画素領域から画素信号を読み出す第１の読出単位を設定する、第１の読出単位設定部と、後段に出力するために画素領域から画素信号を読み出す第２の読出単位を設定する第２の読出単位設定部と、第１の読出単位と第２の読出単位とで調停を行う調停部と、を備え、読出単位制御部は、調停部による調停により、読出単位を設定する。【選択図】図５２
2020039126.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域から前記画素信号を読み出す第１の読出単位を設定する、第１の読出単位設定部と、
後段に出力するために前記画素領域から前記画素信号を読み出す第２の読出単位を設定する第２の読出単位設定部と、
前記第１の読出単位と前記第２の読出単位とで調停を行う調停部と、
を備え、
前記読出単位制御部は、
前記調停部による調停により、前記読出単位を設定する、
撮像装置。
【請求項２】
前記調停部は、
前記第１の読出単位と前記第２の読出単位との論理積により、前記調停を行う、
請求項１に記載の撮像装置。
【請求項３】
前記調停部は、
前記認識処理の結果に基づき前記調停を行う、
請求項１に記載の撮像装置。
【請求項４】
前記調停部は、
前記認識処理の結果が動物体の認識を示している場合、前記第２の読出単位を選択する、
請求項３に記載の撮像装置。
【請求項５】
前記調停部は、
前記認識処理の結果が閾値以下の認識確信度を示している場合に、前記第２の読出単位を選択する、
請求項３に記載の撮像装置。
【請求項６】
前記調停部は、
前記第２の読出単位から読み出された前記画素信号に基づき前記調停を行う、
請求項１に記載の撮像装置。
【請求項７】
前記調停部は、
前記画素信号に基づく輝度が閾値を超える場合に、前記第２の読出単位を選択する、
請求項６に記載の撮像装置。
【請求項８】
前記調停部は、
当該撮像装置の外部から供給される外部情報に基づき前記調停を行う、
請求項１に記載の撮像装置。
【請求項９】
前記調停部は、
前記外部から供給される動作モードに応じて前記調停を行う、
請求項８に記載の撮像装置。
【請求項１０】
前記調停部は、
前記外部から供給される他のセンサ装置の検知出力に応じて前記調停を行う、
請求項８に記載の撮像装置。
【請求項１１】
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域から前記画素信号を読み出す第１の読出単位を設定する、第１の読出単位設定部と、
後段に出力するために前記画素領域から前記画素信号を読み出す第２の読出単位を設定する第２の読出単位設定部と、
前記第１の読出単位と前記第２の読出単位とで調停を行う調停部と、
を備える撮像装置と、
前記認識処理を実行する認識部、
を備える情報処理装置と、
を含み、
前記読出単位制御部は、
前記調停部による調停により、前記読出単位を設定する、
撮像システム。
【請求項１２】
プロセッサにより実行される、
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域に含まれる画素から画素信号を読み出す第１の読出単位を設定する、第１の読出単位設定ステップと、
後段に出力するために前記画素領域から前記画素信号を読み出す第２の読出単位を設定する第２の読出単位設定ステップと、
前記第１の読出単位と前記第２の読出単位とで調停を行う調停ステップと、
を含み、
前記読出単位制御ステップは、
前記調停ステップによる調停により、前記読出単位を設定する、
撮像方法。
【請求項１３】
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域に含まれる画素から画素信号を読み出す第１の読出単位を設定する、第１の読出単位設定ステップと、
後段に出力するために前記画素領域から前記画素信号を読み出す第２の読出単位を設定する第２の読出単位設定ステップと、
前記第１の読出単位と前記第２の読出単位とで調停を行う調停ステップと、
をプロセッサに実行させ、
前記読出単位制御ステップは、
前記調停ステップによる調停により、前記読出単位を設定する、
るための撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、撮像システム、撮像方法および撮像プログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ、デジタルビデオカメラ、多機能型携帯電話機（スマートフォン）などに搭載される小型カメラなどの撮像装置の高性能化に伴い、撮像画像に含まれる所定のオブジェクトを認識する画像認識機能を搭載する撮像装置が開発されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１１２４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的に、画像認識機能において認識処理に適した画像は、人による視認に適した画像とは異なる。そのため、画像認識機能を搭載する撮像装置において認識の精度を高めようとする場合、認識処理のために撮像された画像が、視認用の画像としての情報を十分に提供することが困難になるおそれがある。
【０００５】
本開示は、認識処理用の撮像と視認用の撮像とを両立可能な撮像装置、撮像システム、撮像方法および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係る撮像装置は、複数の画素が配列された画素領域を有し、画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、画素領域の一部として設定される読出単位を制御する読出単位制御部と、読出単位毎の教師データを学習した認識処理のために画素領域から画素信号を読み出す第１の読出単位を設定する、第１の読出単位設定部と、後段に出力するために画素領域から画素信号を読み出す第２の読出単位を設定する第２の読出単位設定部と、第１の読出単位と第２の読出単位とで調停を行う調停部と、を備え、読出単位制御部は、調停部による調停により、読出単位を設定する。
【図面の簡単な説明】
【０００７】
【図１】本開示の各実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。
【図２Ａ】各実施形態に係る撮像装置のハードウェア構成の例を示す模式図である。
【図２Ｂ】各実施形態に係る撮像装置のハードウェア構成の例を示す模式図である。
【図３Ａ】各実施形態に係る撮像装置を２層構造の積層型ＣＩＳにより形成した例を示す図である。
【図３Ｂ】各実施形態に係る撮像装置を３層構造の積層型ＣＩＳにより形成した例を示す図である。
【図４】各実施形態に適用可能なセンサ部の一例の構成を示すブロック図である。
【図５Ａ】ローリングシャッタ方式を説明するための模式図である。
【図５Ｂ】ローリングシャッタ方式を説明するための模式図である。
【図５Ｃ】ローリングシャッタ方式を説明するための模式図である。
【図６Ａ】ローリングシャッタ方式におけるライン間引きを説明するための模式図である。
【図６Ｂ】ローリングシャッタ方式におけるライン間引きを説明するための模式図である。
【図６Ｃ】ローリングシャッタ方式におけるライン間引きを説明するための模式図である。
【図７Ａ】ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。
【図７Ｂ】ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。
【図８Ａ】グローバルシャッタ方式を説明するための模式図である。
【図８Ｂ】グローバルシャッタ方式を説明するための模式図である。
【図８Ｃ】グローバルシャッタ方式を説明するための模式図である。
【図９Ａ】グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。
【図９Ｂ】グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。
【図１０】ＣＮＮによる画像認識処理を概略的に説明するための図である。
【図１１】認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図である。
【図１２Ａ】時系列の情報を用いない場合の、ＤＮＮによる識別処理の例を概略的に示す図である。
【図１２Ｂ】時系列の情報を用いない場合の、ＤＮＮによる識別処理の例を概略的に示す図である。
【図１３Ａ】時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。
【図１３Ｂ】時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。
【図１４Ａ】時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。
【図１４Ｂ】時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。
【図１５Ａ】フレームの駆動速度と画素信号の読み出し量との関係について説明するための図である。
【図１５Ｂ】フレームの駆動速度と画素信号の読み出し量との関係について説明するための図である。
【図１６】本開示の各実施形態に係る認識処理を概略的に説明するための模式図である。
【図１７】第１の実施形態に係る認識処理部による認識処理を示す一例のフローチャートである。
【図１８】１フレーム分の画像データの一例を示す図である。
【図１９】第１の実施形態に係る認識処理部が実行する機械学習処理の流れを説明するための図である。
【図２０Ａ】第１の実施形態の応用例について説明するための模式図である。
【図２０Ｂ】第１の実施形態の応用例について説明するための模式図である。
【図２１】第２の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。
【図２２】第２の実施形態に係る認識処理部における処理の例についてより詳細に示す模式図である。
【図２３】第２の実施形態に係る機能を説明するための一例の機能ブロック図である。
【図２４】第２の実施形態に係るフレームの読み出し処理を説明するための模式図である。
【図２５】第２の実施形態に係る認識処理を概略的に示す模式図である。
【図２６】フレーム読み出しの途中で認識処理を終了させる例について説明するための図である。
【図２７】フレーム読み出しの途中で認識処理を終了させる例について説明するための図である。
【図２８】第２の実施形態に係る認識処理を示す一例のフローチャートである。
【図２９Ａ】第２の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。
【図２９Ｂ】第２の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。
【図３０】第２の実施形態に係る読み出しおよび認識処理の制御の別の例を示す一例のタイムチャートである。
【図３１】第３の実施形態に係る制御を示す一例のフローチャートである。
【図３２】第３の実施形態に係る出力制御処理の例を模式的に示す模式図である。
【図３３Ａ】第３の実施形態に係る撮像装置の認識処理部側の一例の機能を示す機能ブロック図である。
【図３３Ｂ】第３の実施形態に係る撮像装置の視認処理部側の一例の機能を示す機能ブロック図である。
【図３４】第３の実施形態に係る、時間に応じてトリガ信号を出力する場合の処理を示す一例のフローチャートである。
【図３５】第３の実施形態の第１の変形例に係る出力制御処理の例を模式的に示す模式図である。
【図３６Ａ】第３の実施形態の第１の変形例に係る撮像装置の認識処理部側の一例の機能を示す機能ブロック図である。
【図３６Ｂ】第３の実施形態の第１の変形例に係る撮像装置の視認処理部側の一例の機能を示す機能ブロック図である。
【図３７】第３の実施形態の第１の変形例に係る処理を示す一例のフローチャートである。
【図３８】第３の実施形態の第２の変形例に係る出力制御処理の例を模式的に示す模式図である。
【図３９Ａ】第３の実施形態の第２の変形例に係る撮像装置の認識処理部側の一例の機能を示す機能ブロック図である。
【図３９Ｂ】第３の実施形態の第２の変形例に係る撮像装置の視認処理部側の一例の機能を示す機能ブロック図である。
【図４０】第３の実施形態の第２の変形例に係る処理を示す一例のフローチャートである。
【図４１Ａ】第３の実施形態の第３の変形例に係る撮像装置の認識処理部側の一例の機能を示す機能ブロック図である。
【図４１Ｂ】第３の実施形態の第３の変形例に係る撮像装置の視認処理部側の一例の機能を示す機能ブロック図である。
【図４２】第３の実施形態の第３の変形例に係る処理を示す一例のフローチャートである。
【図４３】第４の実施形態に係る出力制御処理の例を模式的に示す模式図である。
【図４４】第４の実施形態に係る撮像装置の一例の機能を示す機能ブロック図である。
【図４５】第４の実施形態に係る処理を示す一例のフローチャートである。
【図４６】第４の実施形態の第１の変形例に係る撮像装置の一例の機能を示す機能ブロック図である。
【図４７】第４の実施形態の第１の変形例に係る処理を示す一例のフローチャートである。
【図４８】第４の実施形態の第２の変形例に係る出力制御処理の例を模式的に示す模式図である。
【図４９】第４の実施形態の第２の変形例に係る撮像装置１の一例の機能を示す機能ブロック図である。
【図５０】第４の実施形態の第１の変形例に係る処理を示す一例のフローチャートである。
【図５１】第５の実施形態に係る調停処理の概要を説明するための一例のフローチャートである。
【図５２】第５の実施形態に適用可能な撮像装置１の機能を説明するための一例の機能ブロック図である。
【図５３】第５の実施形態に係る調停処理を説明するための模式図である。
【図５４】第５の実施形態に係る調停処理を示す一例のフローチャートである。
【図５５】第５の実施形態の第１の変形例に適用可能な撮像装置の機能を説明するための一例の機能ブロック図である。
【図５６】第５の実施形態の第１の変形例に係る調停処理の第１の例を説明するための模式図である。
【図５７】第５の実施形態の第１の変形例に係る調停処理の第２の例を説明するための模式図である。
【図５８】第５の実施形態の第１の変形例に係る調停処理を示す一例のフローチャートである。
【図５９】第５の実施形態の第２の変形例に適用可能な撮像装置の機能を説明するための一例の機能ブロック図である。
【図６０】第５の実施形態の第２の変形例に係る調停処理を説明するための模式図である。
【図６１】第５の実施形態の第２の変形例に係る調停処理を示す一例のフローチャートである。
【図６２】第５の実施形態の第３の変形例に適用可能な撮像装置１の機能を説明するための一例の機能ブロック図である。
【図６３】第５の実施形態の第３の変形例に係る調停処理を示す一例のフローチャートである。
【図６４】本開示の技術を適用した撮像装置の使用例を説明する図である。
【図６５】車両制御システムの概略的な構成の一例を示すブロック図である。
【図６６】車外情報検出部および撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【０００８】
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
【０００９】
以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示の各実施形態に係る構成例
２．本開示に適用可能な既存技術の例
２−１．ローリングシャッタの概要
２−２．グローバルシャッタの概要
２−３．ＤＮＮ(Deep  Neural  Network)について
２−３−１．ＣＮＮ(Convolutional  Neural  Network)の概要
２−３−２．ＲＮＮ(Recurrent  Neural  Network)の概要
２−４．駆動速度について
３．本開示の概要
４．第１の実施形態
４−１．認識処理部による動作例
４−２．認識処理部による動作の具体例
４−３．第１の実施形態の応用例
５．第２の実施形態
５−０−１．第２の実施形態に係る構成例
５−０−２．第２の実施形態に係る認識処理部における処理の例
５−０−３．第２の実施形態に係る認識処理の詳細
５−０−４．第２の実施形態に係る読み出しおよび認識処理の制御例
６．第３の実施形態
６−０．第３の実施形態の概要
６−０−１．時間によるトリガ信号出力の例
６−１．第３の実施形態の第１の変形例
６−２．第３の実施形態の第２の変形例
６−３．第３の実施形態の第３の変形例
７．第４の実施形態
７−１．第４の実施形態の第１の変形例
７−２．第４の実施形態の第２の変形例
８．第５の実施形態
８−０−１．調停処理の具体例
８−１．第５の実施形態の第１の変形例
８−２．第５の実施形態の第２の変形例
８−３．第５の実施形態の第３の変形例
９．第６の実施形態
【００１０】
［１．本開示の各実施形態に係る構成例］
本開示に係る撮像装置の構成について、概略的に説明する。図１は、本開示の各実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。図１において、撮像装置１は、センサ部１０と、センサ制御部１１と、認識処理部１２と、メモリ１３と、視認処理部１４と、出力制御部１５と、を含み、これら各部がＣＭＯＳ(Complementary  Metal  Oxide  Semiconductor)を用いて一体的に形成されたＣＭＯＳイメージセンサ（ＣＩＳ）である。なお、撮像装置１は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。
【００１１】
センサ部１０は、光学部３０を介して受光面に照射された光に応じた画素信号を出力する。より具体的には、センサ部１０は、少なくとも１つの光電変換素子を含む画素が行列状に配列される画素アレイを有する。画素アレイに行列状に配列される各画素により受光面が形成される。センサ部１０は、さらに、画素アレイに含まれる各画素を駆動するための駆動回路と、各画素から読み出された信号に対して所定の信号処理を施して各画素の画素信号として出力する信号処理回路と、を含む。センサ部１０は、画素領域に含まれる各画素の画素信号を、デジタル形式の画像データとして出力する。
【００１２】
以下、センサ部１０が有する画素アレイにおいて、画素信号を生成するために有効な画素が配置される領域を、フレームと呼ぶ。フレームに含まれる各画素から出力された各画素信号に基づく画素データにより、フレーム画像データが形成される。また、センサ部１０の画素の配列における各行をそれぞれラインと呼び、ラインに含まれる各画素から出力された画素信号に基づく画素データにより、ライン画像データが形成される。さらに、センサ部１０が受光面に照射された光に応じた画素信号を出力する動作を、撮像と呼ぶ。センサ部１０は、後述するセンサ制御部１１から供給される撮像制御信号に従い、撮像の際の露出や、画素信号に対するゲイン（アナログゲイン）を制御される。
【００１３】
センサ制御部１１は、例えばマイクロプロセッサにより構成され、センサ部１０からの画素データの読み出しを制御し、フレームに含まれる各画素から読み出された各画素信号に基づく画素データを出力する。センサ制御部１１から出力された画素データは、認識処理部１２および視認処理部１４に渡される。
【００１４】
また、センサ制御部１１は、センサ部１０における撮像を制御するための撮像制御信号を生成する。センサ制御部１１は、例えば、後述する認識処理部１２および視認処理部１４からの指示に従い、撮像制御信号を生成する。撮像制御信号は、上述した、センサ部１０における撮像の際の露出やアナログゲインを示す情報を含む。撮像制御信号は、さらに、センサ部１０が撮像動作を行うために用いる制御信号（垂直同期信号、水平同期信号、など）を含む。センサ制御部１１は、生成した撮像制御信号をセンサ部１０に供給する。
【００１５】
光学部３０は、被写体からの光をセンサ部１０の受光面に照射させるためのもので、例えばセンサ部１０に対応する位置に配置される。光学部３０は、例えば複数のレンズと、入射光に対する開口部の大きさを調整するための絞り機構と、受光面に照射される光の焦点を調整するためのフォーカス機構と、を含む。光学部３０は、受光面に光が照射される時間を調整するシャッタ機構（メカニカルシャッタ）をさらに含んでもよい。光学部３０が有する絞り機構やフォーカス機構、シャッタ機構は、例えばセンサ制御部１１により制御するようにできる。これに限らず、光学部３０における絞りやフォーカスは、撮像装置１の外部から制御するようにもできる。また、光学部３０を撮像装置１と一体的に構成することも可能である。
【００１６】
認識処理部１２は、センサ制御部１１から渡された画素データに基づき、画素データによる画像に含まれるオブジェクトの認識処理を行う。本開示においては、例えば、ＤＳＰ(Digital  Signal  Processor)が、教師データにより予め学習されメモリ１３に学習モデルとして記憶されるプログラムを読み出して実行することで、ＤＮＮ(Deep  Neural  Network)を用いた認識処理を行う、機械学習部としての認識処理部１２が構成される。認識処理部１２は、認識処理に必要な画素データをセンサ部１０から読み出すように、センサ制御部１１に対して指示することができる。認識処理部１２による認識結果は、出力制御部１５に渡される。
【００１７】
視認処理部１４は、センサ制御部１１から渡された画素データに対して、人が視認するために適した画像を得るための処理を実行し、例えば一纏まりの画素データからなる画像データを出力する。例えば、ＩＳＰ(Image  Signal  Processor)が図示されないメモリに予め記憶されるプログラムを読み出して実行することで、当該視認処理部１４が構成される。
【００１８】
例えば、視認処理部１４は、センサ部１０に含まれる各画素にカラーフィルタが設けられ、画素データがＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色情報を持っている場合、デモザイク処理、ホワイトバランス処理などを実行することができる。また、視認処理部１４は、視認処理に必要な画素データをセンサ部１０から読み出すように、センサ制御部１１に対して指示することができる。視認処理部１４により画素データが画像処理された画像データは、出力制御部１５に渡される。
【００１９】
出力制御部１５は、例えばマイクロプロセッサにより構成され、認識処理部１２から渡された認識結果と、視認処理部１４から視認処理結果として渡された画像データと、のうち一方または両方を、撮像装置１の外部に出力する。出力制御部１５は、画像データを、例えば表示デバイスを有する表示部３１に出力することができる。これにより、ユーザは、表示部３１により表示された画像データを視認することができる。なお、表示部３１は、撮像装置１に内蔵されるものでもよいし、撮像装置１の外部の構成であってもよい。
【００２０】
図２Ａおよび図２Ｂは、各実施形態に係る撮像装置１のハードウェア構成の例を示す模式図である。図２Ａは、１つのチップ２に対して、図１に示した構成のうちセンサ部１０、センサ制御部１１、認識処理部１２、メモリ１３、視認処理部１４および出力制御部１５が搭載される例である。なお、図２Ａにおいて、メモリ１３および出力制御部１５は、煩雑さを避けるため省略されている。
【００２１】
図２Ａに示す構成では、認識処理部１２による認識結果は、図示されない出力制御部１５を介してチップ２の外部に出力される。また、図２Ａの構成においては、認識処理部１２は、認識に用いるための画素データを、センサ制御部１１から、チップ２の内部のインタフェースを介して取得できる。
【００２２】
図２Ｂは、１つのチップ２に対して、図１に示した構成のうちセンサ部１０、センサ制御部１１、視認処理部１４および出力制御部１５が搭載され、認識処理部１２およびメモリ１３（図示しない）がチップ２の外部に置かれた例である。図２Ｂにおいても、上述した図２Ａと同様に、メモリ１３および出力制御部１５は、煩雑さを避けるため省略されている。
【００２３】
この図２Ｂの構成においては、認識処理部１２は、認識に用いるための画素データを、チップ間の通信を行うためのインタフェースを介して取得することになる。また、図２Ｂでは、認識処理部１２による認識結果が、認識処理部１２から直接的に外部に出力されるように示されているが、これはこの例に限定されない。すなわち、図２Ｂの構成において、認識処理部１２は、認識結果をチップ２に戻し、チップ２に搭載される不図示の出力制御部１５から出力させるようにしてもよい。
【００２４】
図２Ａに示す構成は、認識処理部１２がセンサ制御部１１と共にチップ２に搭載され、認識処理部１２とセンサ制御部１１との間の通信を、チップ２の内部のインタフェースにより高速に実行できる。その一方で、図２Ａに示す構成では認識処理部１２の差し替えができず、認識処理の変更が難しい。これに対して、図２Ｂに示す構成は、認識処理部１２がチップ２の外部に設けられるため、認識処理部１２とセンサ制御部１１との間の通信を、チップ間のインタフェースを介して行う必要がある。そのため、認識処理部１２とセンサ制御部１１との間の通信は、図２Ａの構成と比較して低速となり、制御に遅延が発生する可能性がある。その一方で、認識処理部１２の差し替えが容易であり、多様な認識処理の実現が可能である。
【００２５】
以下、特に記載の無い限り、撮像装置１は、図２Ａの、１つのチップ２にセンサ部１０、センサ制御部１１、認識処理部１２、メモリ１３、視認処理部１４および出力制御部１５が搭載される構成を採用するものとする。
【００２６】
上述した図２Ａに示す構成において、撮像装置１は、１つの基板上に形成することができる。これに限らず、撮像装置１を、複数の半導体チップが積層され一体的に形成された積層型ＣＩＳとしてもよい。
【００２７】
一例として、撮像装置１を半導体チップを２層に積層した２層構造により形成することができる。図３Ａは、各実施形態に係る撮像装置１を２層構造の積層型ＣＩＳにより形成した例を示す図である。図３Ａの構造では、第１層の半導体チップに画素部２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部２０ｂを形成している。画素部２０ａは、少なくともセンサ部１０における画素アレイを含む。メモリ＋ロジック部２０ｂは、例えば、センサ制御部１１、認識処理部１２、メモリ１３、視認処理部１４および出力制御部１５と、撮像装置１と外部との通信を行うためのインタフェースと、を含む。メモリ＋ロジック部２０ｂは、さらに、センサ部１０における画素アレイを駆動する駆動回路の一部または全部を含む。また、図示は省略するが、メモリ＋ロジック部２０ｂは、例えば視認処理部１４が画像データの処理のために用いるメモリをさらに含むことができる。
【００２８】
図３Ａの右側に示されるように、第１層の半導体チップと、第２層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像装置１を１つの固体撮像素子として構成する。
【００２９】
別の例として、撮像装置１を、半導体チップを３層に積層した３層構造により形成することができる。図３Ｂは、各実施形態に係る撮像装置１を３層構造の積層型ＣＩＳにより形成した例を示す図である。図３Ｂの構造では、第１層の半導体チップに画素部２０ａを形成し、第２層の半導体チップにメモリ部２０ｃを形成し、第３層の半導体チップにロジック部２０ｂ’を形成している。この場合、ロジック部２０ｂ’は、例えば、センサ制御部１１、認識処理部１２、視認処理部１４および出力制御部１５と、撮像装置１と外部との通信を行うためのインタフェースと、を含む。また、メモリ部２０ｃは、メモリ１３と、例えば視認処理部１４が画像データの処理のために用いるメモリを含むことができる。メモリ１３は、ロジック部２０ｂ’に含めてもよい。
【００３０】
図３Ｂの右側に示されるように、第１層の半導体チップと、第２層の半導体チップと、第３層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像装置１を１つの固体撮像素子として構成する。
【００３１】
図４は、各実施形態に適用可能なセンサ部１０の一例の構成を示すブロック図である。図４において、センサ部１０は、画素アレイ部１０１と、垂直走査部１０２と、ＡＤ(Analog  to  Digital)変換部１０３と、画素信号線１０６と、垂直信号線ＶＳＬと、制御部１１００と、信号処理部１１０１と、を含む。なお、図４において、制御部１１００および信号処理部１１０１は、例えば図１に示したセンサ制御部１１に含まれるものとすることもできる。
【００３２】
画素アレイ部１０１は、それぞれ受光した光に対して光電変換を行う、例えばフォトダイオードによる光電変換素子と、光電変換素子から電荷の読み出しを行う回路と、を含む複数の画素回路１００を含む。画素アレイ部１０１において、複数の画素回路１００は、水平方向（行方向）および垂直方向（列方向）に行列状の配列で配置される。画素アレイ部１０１において、画素回路１００の行方向の並びをラインと呼ぶ。例えば、１９２０画素×１０８０ラインで１フレームの画像が形成される場合、画素アレイ部１０１は、少なくとも１９２０個の画素回路１００が含まれるラインを、少なくとも１０８０ライン、含む。フレームに含まれる画素回路１００から読み出された画素信号により、１フレームの画像（画像データ）が形成される。
【００３３】
以下、センサ部１０においてフレームに含まれる各画素回路１００から画素信号を読み出す動作を、適宜、フレームから画素を読み出す、などのように記述する。また、フレームに含まれるラインが有する各画素回路１００から画素信号を読み出す動作を、適宜、ラインを読み出す、などのように記述する。
【００３４】
また、画素アレイ部１０１には、各画素回路１００の行および列に対し、行毎に画素信号線１０６が接続され、列毎に垂直信号線ＶＳＬが接続される。画素信号線１０６の画素アレイ部１０１と接続されない端部は、垂直走査部１０２に接続される。垂直走査部１０２は、後述する制御部１１００の制御に従い、画素から画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線１０６を介して画素アレイ部１０１へ伝送する。垂直信号線ＶＳＬの画素アレイ部１０１と接続されない端部は、ＡＤ変換部１０３に接続される。画素から読み出された画素信号は、垂直信号線ＶＳＬを介してＡＤ変換部１０３に伝送される。
【００３５】
画素回路１００からの画素信号の読み出し制御について、概略的に説明する。画素回路１００からの画素信号の読み出しは、露出により光電変換素子に蓄積された電荷を浮遊拡散層（ＦＤ；Floating  Diffusion）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線ＶＳＬに出力される。
【００３６】
より具体的には、画素回路１００において、露出中は、光電変換素子と浮遊拡散層との間をオフ（開）状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露出終了後、画素信号線１０６を介して供給される選択信号に応じて浮遊拡散層と垂直信号線ＶＳＬとを接続する。さらに、画素信号線１０６を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線ＶＳＬには、浮遊拡散層のリセットレベルの電圧（電圧Ａとする）が出力される。その後、画素信号線１０６を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン（閉）状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線ＶＳＬに対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｂとする）が出力される。
【００３７】
ＡＤ変換部１０３は、垂直信号線ＶＳＬ毎に設けられたＡＤ変換器１０７と、参照信号生成部１０４と、水平走査部１０５と、を含む。ＡＤ変換器１０７は、画素アレイ部１０１の各列（カラム）に対してＡＤ変換処理を行うカラムＡＤ変換器である。ＡＤ変換器１０７は、垂直信号線ＶＳＬを介して画素回路１００から供給された画素信号に対してＡＤ変換処理を施し、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Correlated  Double  Sampling）処理のための２つのディジタル値（電圧Ａおよび電圧Ｂにそれぞれ対応する値）を生成する。
【００３８】
ＡＤ変換器１０７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１０７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成された画素データは、センサ部１０の外部に出力される。
【００３９】
参照信号生成部１０４は、制御部１１００から入力される制御信号に基づき、各ＡＤ変換器１０７が画素信号を２つのディジタル値に変換するために用いるランプ信号を参照信号として生成する。ランプ信号は、レベル（電圧値）が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部１０４は、生成したランプ信号を、各ＡＤ変換器１０７に供給する。参照信号生成部１０４は、例えばＤＡＣ(Digital  to  Analog  Converter)などを用いて構成される。
【００４０】
参照信号生成部１０４から、所定の傾斜に従い階段状に電圧が降下するランプ信号が供給されると、カウンタによりクロック信号に従いカウントが開始される。コンパレータは、垂直信号線ＶＳＬから供給される画素信号の電圧と、ランプ信号の電圧とを比較して、ランプ信号の電圧が画素信号の電圧を跨いだタイミングでカウンタによるカウントを停止させる。ＡＤ変換器１０７は、カウントが停止された時間のカウント値に応じた値を出力することで、アナログ信号による画素信号を、デジタル値に変換する。
【００４１】
ＡＤ変換器１０７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１０７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成されたディジタル信号による画素信号は、センサ部１０の外部に出力される。
【００４２】
水平走査部１０５は、制御部１１００の制御の下、各ＡＤ変換器１０７を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器１０７が一時的に保持している各ディジタル値を信号処理部１１０１へ順次出力させる。水平走査部１０５は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
【００４３】
制御部１１００は、センサ制御部１１から供給される撮像制御信号に従い、垂直走査部１０２、ＡＤ変換部１０３、参照信号生成部１０４および水平走査部１０５などの駆動制御を行う。制御部１１００は、垂直走査部１０２、ＡＤ変換部１０３、参照信号生成部１０４および水平走査部１０５の動作の基準となる各種の駆動信号を生成する。制御部１１００は、例えば、撮像制御信号に含まれる垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部１０２が画素信号線１０６を介して各画素回路１００に供給するための制御信号を生成する。制御部１１００は、生成した制御信号を垂直走査部１０２に供給する。
【００４４】
また、制御部１１００は、例えば、センサ制御部１１から供給される撮像制御信号に含まれる、アナログゲインを示す情報をＡＤ変換部１０３に渡す。ＡＤ変換部１０３は、このアナログゲインを示す情報に応じて、ＡＤ変換部１０３に含まれる各ＡＤ変換器１０７に垂直信号線ＶＳＬを介して入力される画素信号のゲインを制御する。
【００４５】
垂直走査部１０２は、制御部１１００から供給される制御信号に基づき、画素アレイ部１０１の選択された画素行の画素信号線１０６に駆動パルスを含む各種信号を、ライン毎に各画素回路１００に供給し、各画素回路１００から、画素信号を垂直信号線ＶＳＬに出力させる。垂直走査部１０２は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。また、垂直走査部１０２は、制御部１１００から供給される露出を示す情報に応じて、各画素回路１００における露出を制御する。
【００４６】
このように構成されたセンサ部１０は、ＡＤ変換器１０７が列毎に配置されたカラムＡＤ方式のＣＭＯＳ(Complementary  Metal  Oxide  Semiconductor)イメージセンサである。
【００４７】
［２．本開示に適用可能な既存技術の例］
本開示に係る各実施形態の説明に先んじて、理解を容易とするために、本開示に適用可能な既存技術について、概略的に説明する。
【００４８】
（２−１．ローリングシャッタの概要）
画素アレイ部１０１による撮像を行う際の撮像方式として、ローリングシャッタ（ＲＳ）方式と、グローバルシャッタ（ＧＳ）方式とが知られている。まず、ローリングシャッタ方式について、概略的に説明する。図５Ａ、図５Ｂおよび図５Ｃは、ローリングシャッタ方式を説明するための模式図である。ローリングシャッタ方式では、図５Ａに示されるように、フレーム２００の例えば上端のライン２０１からライン単位で順に撮像を行う。
【００４９】
なお、上述では、「撮像」を、センサ部１０が受光面に照射された光に応じた画素信号を出力する動作を指す、と説明した。より詳細には、「撮像」は、画素において露出を行い、画素に含まれる光電変換素子に露出により蓄積された電荷に基づく画素信号をセンサ制御部１１に転送するまでの一連の動作を指すものとする。また、フレームは、上述したように、画素アレイ部１０１において、画素信号を生成するために有効な画素回路１００が配置される領域を指す。
【００５０】
例えば、図４の構成において、１つのラインに含まれる各画素回路１００において露出を同時に実行する。露出の終了後、露出により蓄積された電荷に基づく画素信号を、当該ラインに含まれる各画素回路１００において一斉に、各画素回路１００に対応する各垂直信号線ＶＳＬを介してそれぞれ転送する。この動作をライン単位で順次に実行することで、ローリングシャッタによる撮像を実現することができる。
【００５１】
図５Ｂは、ローリングシャッタ方式における撮像と時間との関係の例を模式的に示している。図５Ｂにおいて、縦軸はライン位置、横軸は時間を示す。ローリングシャッタ方式では、各ラインにおける露出がライン順次で行われるため、図５Ｂに示すように、各ラインにおける露出のタイミングがラインの位置に従い順にずれることになる。したがって、例えば撮像装置１と被写体との水平方向の位置関係が高速に変化する場合、図５Ｃに例示されるように、撮像されたフレーム２００の画像に歪みが生じる。図５Ｃの例では、フレーム２００に対応する画像２０２が、撮像装置１と被写体との水平方向の位置関係の変化の速度および変化の方向に応じた角度で傾いた画像となっている。
【００５２】
ローリングシャッタ方式において、ラインを間引きして撮像することも可能である。図６Ａ、図６Ｂおよび図６Ｃは、ローリングシャッタ方式におけるライン間引きを説明するための模式図である。図６Ａに示されるように、上述した図５Ａの例と同様に、フレーム２００の上端のライン２０１からフレーム２００の下端に向けてライン単位で撮像を行う。このとき、所定数毎にラインを読み飛ばしながら撮像を行う。
【００５３】
ここでは、説明のため、１ライン間引きにより１ラインおきに撮像を行うものとする。すなわち、第ｎラインの撮像の次は第（ｎ＋２）ラインの撮像を行う。このとき、第ｎラインの撮像から第（ｎ＋２）ラインの撮像までの時間が、間引きを行わない場合の、第ｎラインの撮像から第（ｎ＋１）ラインの撮像までの時間と等しいものとする。
【００５４】
図６Ｂは、ローリングシャッタ方式において１ライン間引きを行った場合の撮像と時間との関係の例を模式的に示している。図６Ｂにおいて、縦軸はライン位置、横軸は時間を示す。図６Ｂにおいて、露出Ａは、間引きを行わない図５Ｂの露出と対応し、露出Ｂは、１ライン間引きを行った場合の露出を示している。露出Ｂに示すように、ライン間引きを行うことにより、ライン間引きを行わない場合に比べ、同じライン位置での露出のタイミングのズレを短縮することができる。したがって、図６Ｃに画像２０３として例示されるように、撮像されたフレーム２００の画像に生ずる傾き方向の歪が、図５Ｃに示したライン間引きを行わない場合に比べ小さくなる。一方で、ライン間引きを行う場合には、ライン間引きを行わない場合に比べ、画像の解像度が低くなる。
【００５５】
上述では、ローリングシャッタ方式においてフレーム２００の上端から下端に向けてライン順次に撮像を行う例について説明したが、これはこの例に限定されない。図７Ａおよび図７Ｂは、ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。例えば、図７Ａに示されるように、ローリングシャッタ方式において、フレーム２００の下端から上端に向けてライン順次の撮像を行うことができる。この場合は、フレーム２００の上端から下端に向けてライン順次に撮像した場合に比べ、画像２０２の歪の水平方向の向きが逆となる。
【００５６】
また、例えば画素信号を転送する垂直信号線ＶＳＬの範囲を設定することで、ラインの一部を選択的に読み出すことも可能である。さらに、撮像を行うラインと、画素信号を転送する垂直信号線ＶＳＬと、をそれぞれ設定することで、撮像を開始および終了するラインを、フレーム２００の上端および下端以外とすることも可能である。図７Ｂは、幅および高さがフレーム２００の幅および高さにそれぞれ満たない矩形の領域２０５を撮像の範囲とした例を模式的に示している。図７Ｂの例では、領域２０５の上端のライン２０４からライン順次で領域２０５の下端に向けて撮像を行っている。
【００５７】
（２−２．グローバルシャッタの概要）
次に、画素アレイ部１０１による撮像を行う際の撮像方式として、グローバルシャッタ（ＧＳ）方式について、概略的に説明する。図８Ａ、図８Ｂおよび図８Ｃは、グローバルシャッタ方式を説明するための模式図である。グローバルシャッタ方式では、図８Ａに示されるように、フレーム２００に含まれる全画素回路１００で同時に露出を行う。
【００５８】
図４の構成においてグローバルシャッタ方式を実現する場合、一例として、各画素回路１００において光電変換素子とＦＤとの間にキャパシタをさらに設けた構成とすることが考えられる。そして、光電変換素子と当該キャパシタとの間に第１のスイッチを、当該キャパシタと浮遊拡散層との間に第２のスイッチをそれぞれ設け、これら第１および第２のスイッチそれぞれの開閉を、画素信号線１０６を介して供給されるパルスにより制御する構成とする。
【００５９】
このような構成において、露出期間中は、フレーム２００に含まれる全画素回路１００において、第１および第２のスイッチをそれぞれ開、露出終了で第１のスイッチを開から閉として光電変換素子からキャパシタに電荷を転送する。以降、キャパシタを光電変換素子と見做して、ローリングシャッタ方式において説明した読み出し動作と同様のシーケンスにて、キャパシタから電荷を読み出す。これにより、フレーム２００に含まれる全画素回路１００において同時の露出が可能となる。
【００６０】
図８Ｂは、グローバルシャッタ方式における撮像と時間との関係の例を模式的に示している。図８Ｂにおいて、縦軸はライン位置、横軸は時間を示す。グローバルシャッタ方式では、フレーム２００に含まれる全画素回路１００において同時に露出が行われるため、図８Ｂに示すように、各ラインにおける露出のタイミングを同一にできる。したがって、例えば撮像装置１と被写体との水平方向の位置関係が高速に変化する場合であっても、図８Ｃに例示されるように、撮像されたフレーム２００の画像２０６には、当該変化に応じた歪が生じない。
【００６１】
グローバルシャッタ方式では、フレーム２００に含まれる全画素回路１００における露出タイミングの同時性を確保できる。そのため、各ラインの画素信号線１０６により供給する各パルスのタイミングと、各垂直信号線ＶＳＬによる転送のタイミングとを制御することで、様々なパターンでのサンプリング（画素信号の読み出し）を実現できる。
【００６２】
図９Ａおよび図９Ｂは、グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。図９Ａは、フレーム２００に含まれる、行列状に配列された各画素回路１００から、画素信号を読み出すサンプル２０８を市松模様状に抽出する例である。また、図９Ｂは、当該各画素回路１００から、画素信号を読み出すサンプル２０８を格子状に抽出する例である。また、グローバルシャッタ方式においても、上述したローリングシャッタ方式と同様に、ライン順次で撮像を行うことができる。
【００６３】
（２−３．ＤＮＮについて）
次に、各実施形態に適用可能なＤＮＮ(Deep  Neural  Network)を用いた認識処理について、概略的に説明する。各実施形態では、ＤＮＮのうち、ＣＮＮ(Convolutional  Neural  Network)と、ＲＮＮ(Recurrent  Neural  Network)とを用いて画像データに対する認識処理を行う。以下、「画像データに対する認識処理」を、適宜、「画像認識処理」などと呼ぶ。
【００６４】
（２−３−１．ＣＮＮの概要）
先ず、ＣＮＮについて、概略的に説明する。ＣＮＮによる画像認識処理は、一般的には、例えば行列状に配列された画素による画像情報に基づき画像認識処理を行う。図１０は、ＣＮＮによる画像認識処理を概略的に説明するための図である。認識対象のオブジェクトである数字の「８」を描画した画像５０の全体の画素情報５１に対して、所定に学習されたＣＮＮ５２による処理を施す。これにより、認識結果５３として数字の「８」が認識される。
【００６５】
これに対して、ライン毎の画像に基づきＣＮＮによる処理を施し、認識対象の画像の一部から認識結果を得ることも可能である。図１１は、この認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図である。図１１において、画像５０’は、認識対象のオブジェクトである数字の「８」を、ライン単位で部分的に取得したものである。この画像５０’の画素情報５１’を形成する例えばライン毎の画素情報５４ａ、５４ｂおよび５４ｃに対して順次、所定に学習されたＣＮＮ５２’による処理を施す。
【００６６】
例えば、第１ライン目の画素情報５４ａに対するＣＮＮ５２’による認識処理で得られた認識結果５３ａは、有効な認識結果ではなかったものとする。ここで、有効な認識結果とは、例えば、認識された結果に対する信頼度を示すスコアが所定以上の認識結果を指す。ＣＮＮ５２’は、この認識結果５３ａに基づき内部状態の更新５５を行う。次に、第２ライン目の画素情報５４ｂに対して、前回の認識結果５３ａにより内部状態の更新５５が行われたＣＮＮ５２’により認識処理が行われる。図１１では、その結果、認識対象の数字が「８」または「９」の何れかであることを示す認識結果５３ｂが得られている。さらに、この認識結果５３ｂに基づき、ＣＮＮ５２’の内部情報の更新５５を行う。次に、第３ライン目の画素情報５４ｃに対して、前回の認識結果５３ｂにより内部状態の更新５５が行われたＣＮＮ５２’により認識処理が行われる。図１１では、その結果、認識対象の数字が、「８」または「９」のうち「８」に絞り込まれる。
【００６７】
ここで、この図１１に示した認識処理は、前回の認識処理の結果を用いてＣＮＮの内部状態を更新し、この内部状態が更新されたＣＮＮにより、前回の認識処理を行ったラインに隣接するラインの画素情報を用いて認識処理を行っている。すなわち、この図１１に示した認識処理は、画像に対してライン順次に、ＣＮＮの内部状態を前回の認識結果に基づき更新しながら実行されている。したがって、図１１に示す認識処理は、ライン順次に再帰的に実行される処理であり、ＲＮＮに相当する構造を有していると考えることができる。
【００６８】
（２−３−２．ＲＮＮの概要）
次に、ＲＮＮについて、概略的に説明する。図１２Ａおよび図１２Ｂは、時系列の情報を用いない場合の、ＤＮＮによる識別処理（認識処理）の例を概略的に示す図である。この場合、図１２Ａに示されるように、１つの画像をＤＮＮに入力する。ＤＮＮにおいて、入力された画像に対して識別処理が行われ、識別結果が出力される。
【００６９】
図１２Ｂは、図１２Ａの処理をより詳細に説明するための図である。図１２Ｂに示されるように、ＤＮＮは、特徴抽出処理と、識別処理とを実行する。ＤＮＮにおいて、入力された画像に対して特徴抽出処理により特徴量を抽出する。また、ＤＮＮにおいて、抽出された特徴量に対して識別処理を実行し、識別結果を得る。
【００７０】
図１３Ａおよび図１３Ｂは、時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。この図１３Ａおよび図１３Ｂの例では、時系列上の、固定数の過去情報を用いて、ＤＮＮによる識別処理を行う。図１３Ａの例では、時間Ｔの画像［Ｔ］と、時間Ｔより前の時間Ｔ−１の画像［Ｔ−１］と、時間Ｔ−１より前の時間Ｔ−２の画像［Ｔ−２］と、をＤＮＮに入力する。ＤＮＮにおいて、入力された各画像［Ｔ］、［Ｔ−１］および［Ｔ−２］に対して識別処理を実行し、時間Ｔにおける識別結果［Ｔ］を得る。
【００７１】
図１３Ｂは、図１３Ａの処理をより詳細に説明するための図である。図１３Ｂに示されるように、ＤＮＮにおいて、入力された画像［Ｔ］、［Ｔ−１］および［Ｔ−２］それぞれに対して、上述の図１２Ｂを用いて説明した特徴抽出処理を１対１に実行し、画像［Ｔ］、［Ｔ−１］および［Ｔ−２］にそれぞれ対応する特徴量を抽出する。ＤＮＮでは、これら画像［Ｔ］、［Ｔ−１］および［Ｔ−２］に基づき得られた各特徴量を統合し、統合された特徴量に対して識別処理を実行し、時間Ｔにおける識別結果［Ｔ］を得る。
【００７２】
この図１３Ａおよび図１３Ｂの方法では、特徴量抽出を行うための構成が複数必要になると共に、利用できる過去の画像の数に応じて、特徴量抽出を行うための構成が必要になり、ＤＮＮの構成が大規模になってしまうおそれがある。
【００７３】
図１４Ａおよび図１４Ｂは、時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。図１４Ａの例では、内部状態が時間Ｔ−１の状態に更新されたＤＮＮに対して時間Ｔの画像［Ｔ］を入力し、時間Ｔにおける識別結果［Ｔ］を得ている。
【００７４】
図１４Ｂは、図１４Ａの処理をより詳細に説明するための図である。図１４Ｂに示されるように、ＤＮＮにおいて、入力された時間Ｔの画像［Ｔ］に対して上述の図１２Ｂを用いて説明した特徴抽出処理を実行し、画像［Ｔ］に対応する特徴量を抽出する。ＤＮＮにおいて、時間Ｔより前の画像により内部状態が更新され、更新された内部状態に係る特徴量が保存されている。この保存された内部情報に係る特徴量と、画像［Ｔ］における特徴量とを統合し、統合された特徴量に対して識別処理を実行する。
【００７５】
この図１４Ａおよび図１４Ｂに示す識別処理は、例えば直前の識別結果を用いて内部状態が更新されたＤＮＮを用いて実行されるもので、再帰的な処理となる。このように、再帰的な処理を行うＤＮＮをＲＮＮ(Recurrent  Neural  Network)と呼ぶ。ＲＮＮによる識別処理は、一般的には動画像認識などに用いられ、例えば時系列で更新されるフレーム画像によりＤＮＮの内部状態を順次に更新することで、識別精度を向上させることが可能である。
【００７６】
本開示では、ＲＮＮをローリングシャッタ方式の構造に適用する。すなわち、ローリングシャッタ方式では、画素信号の読み出しがライン順次で行われる。そこで、このライン順次で読み出される画素信号を時系列上の情報として、ＲＮＮに適用させる。これにより、ＣＮＮを用いた場合（図１３Ｂ参照）と比較して小規模な構成で、複数のラインに基づく識別処理を実行可能となる。これに限らず、ＲＮＮをグローバルシャッタ方式の構造に適用することもできる。この場合、例えば隣接するラインを時系列上の情報と見做すことが考えられる。
【００７７】
（２−４．駆動速度について）
次に、フレームの駆動速度と、画素信号の読み出し量との関係について、図１５Ａおよび図１５Ｂを用いて説明する。図１５Ａは、画像内の全ラインを読み出す例を示す図である。ここで、認識処理の対象となる画像の解像度が、水平６４０画素×垂直４８０画素（４８０ライン）であるものとする。この場合、１４４００［ライン／秒］の駆動速度で駆動することで、３０［ｆｐｓ(frame  per  second)］での出力が可能となる。
【００７８】
次に、ラインを間引いて撮像を行うことを考える。例えば、図１５Ｂに示すように、１ラインずつ読み飛ばして撮像を行う、１／２間引き読み出しにて撮像を行うものとする。１／２間引きの第１の例として、上述と同様に１４４００［ライン／秒］の駆動速度で駆動する場合、画像から読み出すライン数が１／２になるため、解像度は低下するが、間引きを行わない場合の倍の速度の６０［ｆｐｓ］での出力が可能となり、フレームレートを向上できる。１／２間引きの第２の例として、駆動速度を第１の例の半分の７２００［ｆｐｓ］として駆動する場合、フレームレートは間引かない場合と同様に３０［ｆｐｓ］となるが、省電力化が可能となる。
【００７９】
画像のラインを読み出す際に、間引きを行わないか、間引きを行い駆動速度を上げるか、間引きを行い駆動速度を間引きを行わない場合と同一とするか、は、例えば、読み出した画素信号に基づく認識処理の目的などに応じて選択することができる。
【００８０】
［３．本開示の概要］
以下、本開示の各実施形態について、より詳細に説明する。先ず、本開示の各実施形態に係る処理について、概略的に説明する。図１６は、本開示の各実施形態に係る認識処理を概略的に説明するための模式図である。図１６において、ステップＳ１で、各実施形態に係る撮像装置１（図１参照）により、認識対象となる対象画像の撮像を開始する。
【００８１】
なお、対象画像は、例えば手書きで数字の「８」を描画した画像であるものとする。また、メモリ１３には、所定の教師データにより数字を識別可能に学習された学習モデルがプログラムとして予め記憶されており、認識処理部１２は、メモリ１３からこのプログラムを読み出して実行することで、画像に含まれる数字の識別を可能とされているものとする。さらに、撮像装置１は、ローリングシャッタ方式により撮像を行うものとする。なお、撮像装置１がグローバルシャッタ方式で撮像を行う場合であっても、以下の処理は、ローリングシャッタ方式の場合と同様に適用可能である。
【００８２】
撮像が開始されると、撮像装置１は、ステップＳ２で、フレームをライン単位で、フレームの上端側から下端側に向けて順次に読み出す。
【００８３】
ある位置までラインが読み出されると、認識処理部１２により、読み出されたラインによる画像から、「８」または「９」の数字が識別される（ステップＳ３）。例えば、数字「８」および「９」は、上半分の部分に共通する特徴部分を含むので、上から順にラインを読み出して当該特徴部分が認識された時点で、認識されたオブジェクトが数字「８」および「９」の何れかであると識別できる。
【００８４】
ここで、ステップＳ４ａに示されるように、フレームの下端のラインまたは下端付近のラインまで読み出すことで認識されたオブジェクトの全貌が現れ、ステップＳ２で数字の「８」または「９」の何れかとして識別されたオブジェクトが数字の「８」であることが確定される。
【００８５】
一方、ステップＳ４ｂおよびステップＳ４ｃは、本開示に関連する処理となる。
【００８６】
ステップＳ４ｂに示されるように、ステップＳ３で読み出しを行ったライン位置からさらにラインを読み進め、数字「８」の下端に達する途中でも、認識されたオブジェクトが数字の「８」であると識別することが可能である。例えば、数字「８」の下半分と、数字「９」の下半分とは、それぞれ異なる特徴を有する。この特徴の差異が明確になる部分までラインを読み出すことで、ステップＳ３で認識されたオブジェクトが数字の「８」および「９」の何れであるかが識別可能となる。図１６の例では、ステップＳ４ｂにおいて、当該オブジェクトが数字の「８」であると確定されている。
【００８７】
また、ステップＳ４ｃに示されるように、ステップＳ３のライン位置から、ステップＳ３の状態においてさらに読み出すことで、ステップＳ３で識別されたオブジェクトが数字の「８」または「９」の何れであるかを見分けられそうなライン位置にジャンプすることも考えられる。このジャンプ先のラインを読み出すことで、ステップＳ３で識別されたオブジェクトが数字の「８」または「９」のうち何れであるかを確定することができる。なお、ジャンプ先のライン位置は、所定の教師データに基づき予め学習された学習モデルに基づき決定することができる。
【００８８】
ここで、上述したステップＳ４ｂまたはステップＳ４ｃでオブジェクトが確定された場合、撮像装置１は、認識処理を終了させることができる。これにより、撮像装置１における認識処理の短時間化および省電力化を実現することが可能となる。
【００８９】
なお、教師データは、読出単位毎の入力信号と出力信号の組み合わせを複数保持したデータである。一例として、上述した数字を識別するタスクでは、入力信号として読出単位毎のデータ（ラインデータ、サブサンプルされたデータなど）を適用し、出力信号として「正解の数字」を示すデータを適用することができる。他の例として、例えば物体を検出するタスクでは、入力信号として読出単位毎のデータ（ラインデータ、サブサンプルされたデータなど）を適用し、出力信号として物体クラス（人体／車両／非物体）や物体の座標（ｘ，ｙ，ｈ，ｗ）などを適用することができる。また、自己教師学習を用いて入力信号のみから出力信号を生成してもよい。
【００９０】
［４．第１の実施形態］
次に、本開示の第１の実施形態について説明する。
【００９１】
（４−１．認識処理部による動作例）
第１の実施形態に係る撮像装置１において、認識処理部１２は、上述したように、所定の教師データに基づき予め学習された学習モデルとしてメモリ１３に記憶されるプログラムを読み出して実行することで、ＤＮＮを利用した認識器として機能する。
【００９２】
図１７は、第１の実施形態に係る認識処理部１２による認識処理を示す一例のフローチャートである。図１７において、ステップＳ１２１で、撮像装置１において、認識処理部１２を構成するＤＳＰは、メモリ１３から学習モデルを読み出して実行する。これにより、当該ＤＳＰが認識処理部１２として機能する。
【００９３】
次に、ステップＳ１２２で、撮像装置１において認識処理部１２は、センサ制御部１１に対してセンサ部１０からのフレーム読み出しを開始するように指示する。このフレーム読出しでは、例えば、１フレーム分の画像データがライン単位（行単位ともいう）で順次読み出される。認識処理部１２は、１フレームにおける所定ライン数の画像データが読み出されたか否かを判定する。
【００９４】
認識処理部１２は、１フレームにおける所定ライン数の画像データが読み出されたと判定すると（ステップＳ１２３、「ＹＥＳ」）、処理をステップＳ１２４に移行させる。ステップＳ１２４で、認識処理部１２は、読み出された所定ライン数分の画像データに対して、ＣＮＮを利用した機械学習処理としての認識処理を実行する。すなわち、認識処理部１２は、所定ライン数の画像データを単位領域として、学習モデルを用いた機械学習処理を実行する。また、ＣＮＮを利用した機械学習処理では、例えば、顔検出、顔認証、視線検出、表情認識、顔方向検出、物体検出、物体認識、動き（動物体）検出、ペット検出、シーン認識、状態検出、回避対象物認識、などの認識処理や検出処理が実行される。
【００９５】
ここで、顔検出とは、画像データに含まれる人物の顔を検出する処理である。顔認証とは、生体認証の一つであって、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理である。視線検出とは、画像データに含まれる人物の視線の方向を検出する処理である。表情認識とは、画像データに含まれる人物の表情を認識する処理である。顔方向検出とは、画像データに含まれる人物の顔の上下方向を検出する処理である。物体検出とは、画像データに含まれる物体を検出する処理である。物体認識とは、画像データに含まれる物体が何であるかを認識する処理である。動き（動物体）検出とは、画像データに含まれる動物体を検出する処理である。ペット検出とは、画像データに含まれる犬や猫などのペットを検出する処理である。シーン認識とは、撮影しているシーン（海や山等）を認識する処理である。状態検出とは、画像データに含まれる人物等の状態（通常の状態か異常の状態か等）を検出する処理である。回避対象物認識とは、自身が移動する場合のその進行方向前方に存在する回避対象の物体を認識する処理である。認識処理部１２により実行される機械学習処理は、これらの例に限定されない。
【００９６】
ステップＳ１２５で、認識処理部１２は、ステップＳ１２４によるＣＮＮを利用した機械学習処理が成功したか否かを判定する。認識処理部１２は、ＣＮＮを利用した機械学習処理に成功したと判定した場合（ステップＳ１２５、「ＹＥＳ」）、処理をステップＳ１２９に移行させる。一方、認識処理部１２は、ステップＳ１２４によるＣＮＮを利用した機械学習処理に失敗したと判定した場合（ステップＳ１２５、「ＮＯ」）、処理をステップＳ１２６に移行させる。ステップＳ１２６で、認識処理部１２は、センサ制御部１１から次の所定ライン数の画像データが読み出されるのを待機する（ステップＳ１２６、「ＮＯ」）。
【００９７】
なお、本説明において、機械学習処理に成功するとは、例えば、上記において例示したような顔検出や顔認証等において、一定の検出結果や認識結果や認証が得られたことを意味する。一方、機械学習処理に失敗するとは、例えば、上記において例示したような顔検出や顔認証等において、十分な検出結果や認識結果や認証が得られなかったことを意味する。
【００９８】
次に、ステップＳ１２６において、次の所定ライン数の画像データ（単位領域）が読み出されると（ステップＳ１２６、「ＹＥＳ」）、認識処理部１２は、ステップＳ１２７で、読み出された所定ライン数の画像データに対して、ＲＮＮを利用した機械学習処理を実行する。ＲＮＮを利用した機械学習処理では、例えば、同一フレームの画像データに対してこれまでに実行したＣＮＮまたはＲＮＮを利用した機械学習処理の結果も利用される。
【００９９】
ステップＳ１２８で、認識処理部１２は、ステップＳ１２７におけるＲＮＮを利用した機械学習処理に成功したと判定した場合（ステップＳ１２８、「ＹＥＳ」）、処理をステップＳ１２９に移行させる。
【０１００】
ステップＳ１２９で、認識処理部１２は、ステップＳ１２４またはステップＳ１２７で成功した機械学習結果が、例えば、認識処理部１２から出力制御部１５に供給される。このステップＳ１２９で出力される機械学習結果は、例えば認識処理部１２による有効な認識結果である。認識処理部１２は、当該機械学習結果をメモリ１３に格納してもよい。
【０１０１】
また、認識処理部１２は、ステップＳ１２８で、ステップＳ１２７におけるＲＮＮを利用した機械学習処理に失敗したと判定した場合（ステップＳ１２８、「ＮＯ」）、処理をステップＳ１３０に移行させる。ステップＳ１３０で、認識処理部１２は、１フレーム分の画像データの読出しが完了したか否かを判定する。認識処理部１２は、１フレーム分の画像データの読出しが完了していないと判定した場合（ステップＳ１３０、「ＮＯ」）、処理をステップＳ１２６に戻し、次の所定ライン数の画像データに対する処理が実行される。
【０１０２】
一方、認識処理部１２は、ステップＳ１３０で１フレーム分の画像データの読出しが完了していると判定した場合（ステップＳ１３０、「ＹＥＳ」）、例えば、認識処理部１２は、ステップＳ１３１で、この図１７のフローチャートによる一連の処理を終了するか否かを判定する。認識処理部１２は、終了しないと判定した場合（ステップＳ１３１、「ＮＯ」）、処理をステップＳ１２２に戻し、次のフレームに対して同様の動作を実行する。また、認識処理部１２は、終了すると判定した場合（ステップＳ１３１、「ＹＥＳ」）、この図１７のフローチャートによる一連の処理を終了させる。
【０１０３】
なお、ステップＳ１３１による次のフレームへ移行するか否かの判定は、例えば、撮像装置１の外部から終了の指示が入力されたか否かに基づいて行ってもよいし、予め定めておいた所定フレーム数の画像データに対する一連の処理が完了したか否かに基づいて行ってもよい。
【０１０４】
また、顔検出や顔認証や視線検出や表情認識や顔方向検出や物体検出や物体認識や動き（動物体）検出やシーン認識や状態検出等の機械学習処理を連続して行なう場合、直前の機械学習処理に失敗している場合には、次の機械学習処理がスキップされてもよい。例えば、顔検出の次に顔認証を実行する場合に、顔検出に失敗している場合には、次の顔認証がスキップされてもよい。
【０１０５】
（４−２．認識処理部による動作の具体例）
次に、図１７を用いて説明した機械学習部の動作を、具体例を用いて説明する。なお、以下では、ＤＮＮを利用して顔検出を実行する場合を例示する。
【０１０６】
図１８は、１フレーム分の画像データの一例を示す図である。図１９は、第１の実施形態に係る認識処理部１２が実行する機械学習処理の流れを説明するための図である。
【０１０７】
図１８に示すような画像データに対して機械学習により顔検出を実行する場合、図１９のセクション（ａ）に示すように、認識処理部１２には、まず、所定ライン数分の画像データが入力される（図１７のステップＳ１２３に相当）。認識処理部１２は、入力された所定ライン数分の画像データに対してＣＮＮを利用した機械学習処理を実行することで、顔検出を実行する（図１７のステップＳ１２４に相当）。ただし、図１９のセクション（ａ）の段階では、未だ顔全体の画像データが入力されていないため、認識処理部１２は、顔検出に失敗する（図１７のステップＳ１２５の「ＮＯ」に相当）。
【０１０８】
つづいて、図１９のセクション（ｂ）に示すように、認識処理部１２には、次の所定ライン数分の画像データが入力される（図１７のステップＳ１２６に相当）。認識処理部１２は、図１９のセクション（ａ）で入力された所定ライン数分の画像データに対して実行したＣＮＮを利用した機械学習処理の結果を用いつつ、新たに入力された所定ライン数分の画像データに対してＲＮＮを利用した機械学習処理を実行することで、顔検出を実行する（図１７のステップＳ１２７に相当）。
【０１０９】
図１９のセクション（ｂ）の段階では、図１９のセクション（ａ）の段階で入力された所定ライン数分の画素データと合せて、顔全体の画像データが入力されている。したがって、図１９のセクション（ｂ）の段階において、認識処理部１２は、顔検出に成功する（図１７のステップＳ１２８の「ＹＥＳ」に相当）。すると、本動作では、次以降の画像データ（図１９セクション（ｃ）〜（ｆ）の画像データ）が読み出されることなく、顔検出の結果が出力される（図１７のステップＳ１２９に相当）。
【０１１０】
このように、所定ライン数ずつの画像データに対してＤＮＮを利用した機械学習処理を実行することで、顔検出に成功した時点以降の画像データに対する読出しや機械学習処理の実行を省略することが可能となる。それにより、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮および消費電力の低減を実現することが可能となる。
【０１１１】
なお、所定ライン数は、学習モデルのアルゴリズムが要求するフィルタの大きさによって決定されるライン数であり、その最小数は１ラインである。
【０１１２】
また、センサ制御部１１によりセンサ部１０から読み出される画像データは、列方向および行方向のうち少なくとも一方に間引かれた画像データであってもよい。その場合、例えば、列方向に１行置きに画像データを読み出す場合には、２（Ｎ−１）（Ｎは１以上の整数）ライン目の画像データが読み出される。
【０１１３】
また、学習モデルのアルゴリズムが要求するフィルタがライン単位でなく、例えば、１×１画素や５×５画素などの画素単位の矩形領域である場合には、所定ライン数の画像データに代えて、そのフィルタの形状やサイズに応じた矩形領域の画像データを、認識処理部１２が機械学習処理を実行する単位領域の画像データとして、認識処理部１２に入力されてもよい。
【０１１４】
さらに、上述では、ＤＮＮの例としてＣＮＮとＲＮＮとを例示したが、これらに限定されず、他の学習モデルを利用することも可能である。
【０１１５】
（４−３．第１の実施形態の応用例）
次に、第１の実施形態の応用例について説明する。ここでは、第１の実施形態の応用例として、例えば図１７のフローチャートのステップＳ１２４でのＣＮＮによる機械学習処理の結果や、ステップＳ１２７でのＲＮＮによる機械学習処理の結果に基づき、次に読み出しを行う所定ライン数における露出を制御する例について説明する。図２０Ａおよび図２０Ｂは、第１の実施形態の応用例について説明するための模式図である。
【０１１６】
図２０Ａのセクション（ａ）は、露出オーバーの画像６０ａの例を示す模式図である。画像６０ａは、露出オーバーのため、画像６０ａが全体的に白っぽくなり、例えば画像６０ａに含まれるオブジェクトとしてのモニタ６２は、画面内が所謂白飛びしており人の目には細部の判別が困難となっている。一方、画像６０ａに含まれるオブジェクトとしての人６１は、露出オーバーのため若干白っぽくなっているが、モニタ６２と比較すると、人の目には識別が容易に見える。
【０１１７】
図２０Ａのセクション（ｂ）は、露出アンダーの画像６０ｂの例を示す模式図である。画像６０ｂは、露出アンダーのため、画像６０ｂが全体的に黒っぽくなり、例えば画像６０ａでは見えていた人６１が人の目に識別困難となってしまっている。一方、画像６０ｂに含まれるモニタ６２は、画像６０ａと比較して、人の目には細部まで詳細に識別可能となっている。
【０１１８】
図２０Ｂは、第１の実施形態の応用例に係る読み出し方法を説明するための模式図である。図２０Ｂのセクション（ａ）および（ｂ）では、上述した図１７のフローチャートのステップＳ１２２において、フレーム読み出しを露出アンダーの状態で開始する場合について示されている。
【０１１９】
図２０Ｂのセクション（ａ）は、第１の実施形態の応用例における第１の例による読み出し方法を示している。図２０Ｂのセクション（ａ）の画像６０ｃにおいて、例えばフレームの先頭のラインＬ＃１のステップＳ１２４によるＣＮＮを利用した認識処理が失敗、あるいは、認識結果の信頼度を示すスコアが所定以下であったものとする。この場合、認識処理部１２は、ステップＳ１２６で読み出すラインＬ＃２の露出を、認識処理に適した露出に設定（この場合、露出量を多く設定）するように、センサ制御部１１に指示する。なお、図２０Ｂにおいて、ラインＬ＃１、Ｌ＃２、…は、それぞれ１本のラインであってもよいし、互いに隣接する複数ラインであってもよい。
【０１２０】
図２０Ｂのセクション（ａ）の例では、ラインＬ＃２の露出量をラインＬ＃１の露出量より多くしている。その結果、ラインＬ＃２が露出オーバーになり、例えばステップＳ１２７によるＲＮＮを利用した認識処理が失敗あるいはスコアが所定以下であったものとする。認識処理部１２は、ステップＳ１３０からステップＳ１２６に処理が戻されて読み出されるラインＬ＃３の露出量をラインＬ＃２の露出量よりも少なく設定するように、センサ制御部１１に指示する。ラインＬ＃４、…、Ｌ＃ｍ、…についても、同様に、認識処理の結果に応じて次のラインの露出量を順次に設定していく。
【０１２１】
このように、あるラインの認識結果に基づき次に読み出しを行うラインの露出量を調整することで、より高精度に認識処理を実行することが可能となる。
【０１２２】
また、上述の応用例のさらなる応用として、図２０Ｂのセクション（ｂ）に示されるように、所定のラインまで読み出した時点で露出を再設定し、再びフレームの先頭のラインから読み出しを実行する方法も考えられる。図２０Ｂのセクション（ｂ）に示されるように、認識処理部１２は、上述したセクション（ａ）と同様にして、フレームの先頭のラインＬ＃１から例えばラインＬ＃ｍまで読み出しを行い（１ｓｔ）、その認識結果に基づき露出を再設定する。認識処理部１２は、再設定された露出に基づき再びフレームの各ラインＬ＃１、Ｌ＃２、…の読み出しを行う（２ｎｄ）。
【０１２３】
このように、所定数のラインの読み出しを行った結果に基づき露出を再設定し、再設定された露出に基づき再びフレームの先頭からラインＬ＃１、Ｌ＃２、…を読み直すことで、さらに高精度に認識処理を実行することが可能となる。
【０１２４】
［５．第２の実施形態］
（５−０−１．第２の実施形態に係る構成例）
次に、本開示の第２の実施形態について説明する。第２の実施形態は、上述した第１の実施形態による認識処理を拡張したものである。図２１は、第２の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。なお、図２１において、図１に示される光学部３０、センサ部１０、メモリ１３および表示部３１は、省略されている。また、図２１において、図１の構成に対してトリガ生成部１６が追加されている。
【０１２５】
図２１において、センサ制御部１１は、読出部１１０と読出制御部１１１とを含む。認識処理部１２は、特徴量計算部１２０と、特徴量蓄積制御部１２１と、読出決定部１２３と、認識処理実行部１２４と、を含み、特徴量蓄積制御部１２１は、特徴量蓄積部１２２を含む。また、視認処理部１４は、画像データ蓄積制御部１４０と、読出決定部１４２と、画像処理部１４３と、を含み、画像データ蓄積制御部１４０は、画像データ蓄積部１４１を含む。
【０１２６】
センサ制御部１１において、読出制御部１１１は、認識処理部１２に含まれる読出決定部１２３から、認識処理部１２において読み出しを行う読出領域を示す読出領域情報を受け取る。読出領域情報は、例えば、１または複数のラインのライン番号である。これに限らず、読出領域情報は、１つのライン内の画素位置を示す情報であってもよい。また、読出領域情報として、１以上のライン番号と、ライン内の１以上の画素の画素位置を示す情報とを組み合わせることで、様々なパターンの読出領域を指定することが可能である。なお、読出領域は、読出単位と同等である。これに限らず、読出領域と読出単位とが異なっていてもよい。
【０１２７】
同様に、読出制御部１１１は、視認処理部１４に含まれる読出決定部１４２から、視認処理部１４において読み出しを行う読出領域を示す読出領域情報を受け取る。
【０１２８】
読出制御部１１１は、これら読出決定部１２３および１４２に基づき、実際に読み出しを行う読出領域を示す読出領域情報を読出部１１０に渡す。例えば、読出制御部１１１は、読出決定部１２３から受け取った読出領域情報と、読出決定部１４２から受け取った読出領域情報と、にコンフリクトが生じている場合、調停を行い読出部１１０に渡す読出領域情報を調整することができる。
【０１２９】
また、読出制御部１１１は、読出決定部１２３、あるいは、読出決定部１４２から露出やアナログゲインを示す情報を受け取ることができる。読出制御部１１１は、受け取った露出やアナログゲインを示す情報を、読出部１１０に渡す。
【０１３０】
読出部１１０は、読出制御部１１１から渡された読出領域情報に従い、センサ部１０からの画素データの読み出しを行う。例えば、読出部１１０は、読出領域情報に基づき、読み出しを行うラインを示すライン番号と、当該ラインにおいて読み出す画素の位置を示す画素位置情報と、を求め、求めたライン番号と画素位置情報と、をセンサ部１０に渡す。読出部１１０は、センサ部１０から取得した各画素データを、読出領域情報と共に、認識処理部１２および視認処理部１４に渡す。
【０１３１】
また、読出部１１０は、読出制御部１１１から受け取った露出やアナログゲインを示す情報に従い、センサ部１０に対して露出やアナログゲイン（ＡＧ）を設定する。さらに、読出部１１０は、垂直同期信号および水平同期信号を生成し、センサ部１０に供給することができる。
【０１３２】
認識処理部１２において、読出決定部１２３は、特徴量蓄積制御部１２１から、次に読み出しを行う読出領域を示す読出情報を受け取る。読出決定部１２３は、受け取った読出情報に基づき読出領域情報を生成し、読出制御部１１１に渡す。
【０１３３】
ここで、読出決定部１２３は、読出領域情報に示される読出領域として、例えば、所定の読出単位に、当該読出単位の画素データを読み出すための読出位置情報が付加された情報を用いることができる。読出単位は、１つ以上の画素の集合であり、認識処理部１２や視認処理部１４による処理の単位となる。一例として、読出単位がラインであれば、ラインの位置を示すライン番号［Ｌ＃ｘ］が読出位置情報として付加される。また、読出単位が複数の画素を含む矩形領域であれば、当該矩形領域の画素アレイ部１０１における位置を示す情報、例えば左上隅の画素の位置を示す情報が読出位置情報として付加される。読出決定部１２３は、適用される読出単位が予め指定される。これに限らず、読出決定部１２３は、例えば読出決定部１２３の外部からの指示に応じて、読出単位を決定することもできる。したがって、読出決定部１２３は、読出単位を制御する読出単位制御部として機能する。
【０１３４】
なお、読出決定部１２３は、後述する認識処理実行部１２４から渡される認識情報に基づき次に読み出しを行う読出領域を決定し、決定された読出領域を示す読出領域情報を生成することもできる。
【０１３５】
同様に、視認処理部１４において、読出決定部１４２は、例えば画像データ蓄積制御部１４０から、次に読み出しを行う読出領域を示す読出情報を受け取る。読出決定部１４２は、受け取った読出情報に基づき読出領域情報を生成し、読出制御部１１１に渡す。
【０１３６】
認識処理部１２において、特徴量計算部１２０は、読出部１１０から渡された画素データおよび読出領域情報に基づき、当該読出領域情報に示される領域における特徴量を算出する。特徴量計算部１２０は、算出した特徴量を、特徴量蓄積制御部１２１に渡す。
【０１３７】
特徴量計算部１２０は、後述するように、読出部１１０から渡された画素データと、特徴量蓄積制御部１２１から渡された、過去の特徴量と、に基づき特徴量を算出してもよい。これに限らず、特徴量計算部１２０は、例えば読出部１１０から露出やアナログゲインを設定するための情報を取得し、取得したこれらの情報をさらに用いて特徴量を算出してもよい。
【０１３８】
認識処理部１２において、特徴量蓄積制御部１２１は、特徴量計算部１２０から渡された特徴量を、特徴量蓄積部１２２に蓄積する。また、特徴量蓄積制御部１２１は、特徴量計算部１２０から特徴量が渡されると、次の読み出しを行う読み出し領域を示す読出情報を生成し、読出決定部１２３に渡す。
【０１３９】
ここで、特徴量蓄積制御部１２１は、既に蓄積された特徴量と、新たに渡された特徴量とを統合して蓄積することができる。また、特徴量蓄積制御部１２１は、特徴量蓄積部１２２に蓄積された特徴量のうち、不要になった特徴量を削除することができる。不要になった特徴量は、例えば前フレームに係る特徴量や、新たな特徴量が算出されたフレーム画像とは異なるシーンのフレーム画像に基づき算出され既に蓄積された特徴量などが考えられる。また、特徴量蓄積制御部１２１は、必要に応じて特徴量蓄積部１２２に蓄積された全ての特徴量を削除して初期化することもできる。
【０１４０】
また、特徴量蓄積制御部１２１は、特徴量計算部１２０から渡された特徴量と、特徴量蓄積部１２２に蓄積される特徴量と、に基づき認識処理実行部１２４が認識処理に用いるための特徴量を生成する。特徴量蓄積制御部１２１は、生成した特徴量を認識処理実行部１２４に渡す。
【０１４１】
認識処理実行部１２４は、特徴量蓄積制御部１２１から渡された特徴量に基づき認識処理を実行する。認識処理実行部１２４は、認識処理により物体検出、顔検出などを行う。認識処理実行部１２４は、認識処理により得られた認識結果を出力制御部１５に渡す。認識処理実行部１２４は、認識処理により生成される認識結果を含む認識情報を読出決定部１２３に渡すこともできる。なお、認識処理実行部１２４は、例えばトリガ生成部１６により生成されたトリガを切掛に特徴量蓄積制御部１２１から特徴量を受け取って認識処理を実行することができる。
【０１４２】
一方、視認処理部１４において、画像データ蓄積制御部１４０は、読出部１１０から、読出領域から読み出された画素データと、当該画像データに対応する読出領域情報と、を受けとる。画像データ蓄積制御部１４０は、これら画素データおよび読出領域情報と、を関連付けて画像データ蓄積部１４１に蓄積する。
【０１４３】
画像データ蓄積制御部１４０は、読出部１１０から渡された画素データと、画像データ蓄積部１４１に蓄積された画像データと、に基づき、画像処理部１４３が画像処理を行うための画像データを生成する。画像データ蓄積制御部１４０は、生成した画像データを画像処理部１４３に渡す。これに限らず、画像データ蓄積制御部１４０は、読出部１１０から渡された画素データを、そのまま画像処理部１４３に渡すこともできる。
【０１４４】
また、画像データ蓄積制御部１４０は、読出部１１０から渡された読出領域情報に基づき、次の読み出しを行う読み出し領域を示す読出情報を生成し、読出決定部１４２に渡す。
【０１４５】
ここで、画像データ蓄積制御部１４０は、既に蓄積された画像データと、新たに渡された画素データとを、例えば加算平均などにより統合して蓄積することができる。また、画像データ蓄積制御部１４０は、画像データ蓄積部１４１に蓄積された画像データのうち、不要になった画像データを削除することができる。不要になった画像データは、例えば前フレームに係る画像データや、新たな画像データが算出されたフレーム画像とは異なるシーンのフレーム画像に基づき算出され既に蓄積された画像データなどが考えられる。また、画像データ蓄積制御部１４０は、必要に応じて画像データ蓄積部１４１に蓄積された全ての画像データを削除して初期化することもできる。
【０１４６】
さらに、画像データ蓄積制御部１４０は、読出部１１０から露出やアナログゲインを設定するための情報を取得し、取得したこれらの情報を用いて補正した画像データを、画像データ蓄積部１４１に蓄積することもできる。
【０１４７】
画像処理部１４３は、画像データ蓄積制御部１４０から渡された画像データに対して所定の画像処理を施す。例えば、画像処理部１４３は、当該画像データに対して所定の高画質化処理を施すことができる。また、渡された画像データがライン間引きなどにより空間的にデータが削減された画像データである場合、補間処理により間引きされた部分に画像情報を補填することも可能である。画像処理部１４３は、画像処理を施した画像データを出力制御部１５に渡す。
【０１４８】
なお、画像処理部１４３は、例えばトリガ生成部１６により生成されたトリガを切掛に画像データ蓄積制御部１４０から画像データを受け取って画像処理を実行することができる。
【０１４９】
出力制御部１５は、認識処理実行部１２４から渡された認識結果と、画像処理部１４３から渡された画像データと、のうち一方または両方を出力する。出力制御部１５は、例えばトリガ生成部１６により生成されたトリガに応じて、認識結果および画像データのうち一方または両方を出力する。
【０１５０】
トリガ生成部１６は、認識処理部１２から渡される認識処理に係る情報と、視認処理部１４から渡される画像処理に係る情報とに基づき、認識処理実行部１２４に渡すトリガと、画像処理部１４３に渡すトリガと、出力制御部１５に渡すトリガと、を生成する。トリガ生成部１６は、生成した各トリガを、それぞれ所定のタイミングで認識処理実行部１２４と、画像処理部１４３と、出力制御部１５と、に渡す。
【０１５１】
（５−０−２．第２の実施形態に係る認識処理部における処理の例）
図２２は、第２の実施形態に係る認識処理部１２における処理の例について、より詳細に示す模式図である。ここでは、読出領域がラインとされ、読出部１１０が、画像６０のフレーム上端から下端に向けて、ライン単位で画素データを読み出すものとする。読出部１１０にライン単位で読み出されたラインＬ＃ｘのライン画像データ（ラインデータ）が特徴量計算部１２０に入力される。
【０１５２】
特徴量計算部１２０では、特徴量抽出処理１２００と、統合処理１２０２とが実行される。特徴量計算部１２０は、入力されたラインデータに対して特徴量抽出処理１２００を施して、ラインデータから特徴量１２０１を抽出する。ここで、特徴量抽出処理１２００は、予め学習により求めたパラメータに基づき、ラインデータから特徴量１２０１を抽出する。特徴量抽出処理１２００により抽出された特徴量１２０１は、統合処理１２０２により、特徴量蓄積制御部１２１により処理された特徴量１２１２と統合される。統合された特徴量１２１０は、特徴量蓄積制御部１２１に渡される。
【０１５３】
特徴量蓄積制御部１２１では、内部状態更新処理１２１１が実行される。特徴量蓄積制御部１２１に渡された特徴量１２１０は、認識処理実行部１２４に渡される共に、内部状態更新処理１２１１を施される。内部状態更新処理１２１１は、予め学習されたパラメータに基づき特徴量１２１０を削減してＤＮＮの内部状態を更新し、更新された内部状態に係る特徴量１２１２を生成する。この特徴量１２１２が統合処理１２０２により特徴量１２０１と統合される。この特徴量蓄積制御部１２１による処理が、ＲＮＮを利用した処理に相当する。
【０１５４】
認識処理実行部１２４は、特徴量蓄積制御部１２１から渡された特徴量１２１０に対して、例えば所定の教師データを用いて予め学習されたパラメータに基づき認識処理１２４０を実行し、認識結果を出力する。
【０１５５】
上述したように、第２の実施形態に係る認識処理部１２では、特徴量抽出処理１２００と、統合処理１２０２と、内部状態更新処理１２１１と、認識処理１２４０と、において、予め学習されたパラメータに基づき処理が実行される。パラメータの学習は、例えば想定される認識対象に基づく教師データを用いて行われる。
【０１５６】
なお、上述した特徴量計算部１２０、特徴量蓄積制御部１２１、読出決定部１２３および認識処理実行部１２４の機能は、例えば、撮像装置１が備えるＤＳＰに、メモリ１３などに記憶されるプログラムが読み込まれて実行されることで実現される。同様に、上述した画像データ蓄積制御部１４０、読出決定部１４２および画像処理部１４３の機能は、例えば、撮像装置１が備えるＩＳＰに、メモリ１３などに記憶されるプログラムが読み込まれて実行されることで実現される。これらのプログラムは、予めメモリ１３に記憶されていてもよいし、外部から撮像装置１に供給してメモリ１３に書き込んでもよい。
【０１５７】
（５−０−３．第２の実施形態に係る認識処理の詳細）
次に、第２の実施形態についてより詳細に説明する。図２３は、第２の実施形態に係る機能を説明するための一例の機能ブロック図である。第２の実施形態では、認識処理部１２による認識処理が主となるので、図２３では、上述した図２１の構成に対して、視認処理部１４、出力制御部１５およびトリガ生成部１６を省略している。また、図２３では、センサ制御部１１において、読出制御部１１１が省略されている。
【０１５８】
図２４は、第２の実施形態に係るフレームの読み出し処理を説明するための模式図である。第２の実施形態では、読出単位がラインとされ、フレームＦｒ（ｘ）に対してライン順次で画素データの読み出しが行われる。図２４の例では、第ｍのフレームＦｒ（ｍ）において、フレームＦｒ（ｍ）の上端のラインＬ＃１からライン順次でラインＬ＃２、Ｌ＃３、…とラインの読み出しが行われる。フレームＦｒ（ｍ）におけるライン読み出しが完了すると、次の第（ｍ＋１）のフレームＦｒ（ｍ＋１）において、同様にして上端のラインＬ＃１からライン順次でラインの読み出しが行われる。
【０１５９】
図２５は、第２の実施形態に係る認識処理を概略的に示す模式図である。図２５に示されるように、認識処理は、ＣＮＮ５２’による処理および内部情報の更新５５を、各ラインＬ＃１、Ｌ＃２、Ｌ＃３…の画素情報５４それぞれに対して順次に実行することで行われる。そのため、ＣＮＮ５２’には１ライン分の画素情報５４を入力すればよく、認識器５６を極めて小規模に構成することが可能である。なお、認識器５６は、順次に入力される情報に対してＣＮＮ５２’による処理を実行し内部情報の更新５５を行うことから、ＲＮＮとしての構成を有する。
【０１６０】
ライン順次の認識処理を、ＲＮＮを用いて行うことで、フレームに含まれる全てのラインを読み出さなくても、有効な認識結果が得られる場合がある。この場合、認識処理部１２は、有効な認識結果が得られた時点で、認識処理を終了させることができる。図２６および図２７を用いて、フレーム読み出しの途中で認識処理を終了させる例について説明する。
【０１６１】
図２６は、認識対象が数字の「８」である場合の例を示す図である。図２６の例では、フレーム７０において、垂直方向の３／４程度の範囲７１が読み出された時点で数字「８」が認識されている。したがって、認識処理部１２は、この範囲７１が読み出された時点で数字の「８」が認識された旨を示す有効な認識結果を出力し、フレーム７０に対するライン読み出しおよび認識処理を終了させることができる。
【０１６２】
図２７は、認識対象が人である場合の例を示す図である。図２７の例では、フレーム７２において、垂直方向の１／２程度の範囲７３が読み出された時点で、人７４が認識されている。したがって、認識処理部１２は、この範囲７３が読み出された時点で人７４が認識された旨を示す有効な認識結果を出力し、フレーム７２に対するライン読み出しおよび認識処理を終了させることができる。
【０１６３】
このように、第２の実施形態では、フレームに対するライン読み出しの途中で有効な認識結果が得られた場合に、ライン読み出しおよび認識処理を終了させることができる。そのため、認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
【０１６４】
上述では、ライン読み出しをフレームの上端側から下端側に向けて行っているが、これはこの例に限定されない。例えば、ライン読み出しをフレームの下端側から上端側へ向けて行ってもよい。すなわち、撮像装置１に対して遠方にある物体によるオブジェクトは、一般的には、ライン読み出しをフレームの上端側から下端側に向けて行うことで、より早期に認識することが可能である。一方、撮像装置１に対して手前側にある物体によるオブジェクトは、一般的には、ライン読み出しをフレームの下端側から上端側に向けて行うことで、より早期に認識することが可能である。
【０１６５】
例えば、当該撮像装置１を車載用として前方を撮像するように設置することを考える。この場合、手前の物体（例えば自車の前方の車両や歩行者）は、撮像される画面の下の部分に存在するため、ライン読み出しをフレームの下端側から上端側に向けて行うと、より効果的である。また、ＡＤＡＳ(Advanced  driver-assistance  systems)において即時停止が必要な場合は、該当する物体が少なくとも１つ認識されればよく、１つの物体が認識された場合に、再びフレームの下端側からライン読み出しを実行することが、より効果的であると考えられる。さらに、例えば高速道路などでは、遠方の物体が優先される場合がある。この場合には、フレームの上端側から下端側に向けてライン読み出しを実行することが好ましい。
【０１６６】
さらに、読出単位を、画素アレイ部１０１における行列方向のうち列方向としてもよい。例えば、画素アレイ部１０１において１列に並ぶ複数の画素を、読出単位とすることが考えられる。撮像方式としてグローバルシャッタ方式を適用することで、列を読出単位とする列読み出しが可能である。グローバルシャッタ方式では、列読み出しとライン読み出しとを切り替えて実行することが可能である。読み出しを列読み出しに固定的とする場合、例えば画素アレイ部１０１を９０°回転させ、ローリングシャッタ方式を用いることが考えられる。
【０１６７】
例えば、撮像装置１に対して左側にある物体のオブジェクトは、列読み出しによりフレームの左端側から順次に読み出しを行うことで、より早期に認識することが可能である。同様に、撮像装置１に対して右側にある物体のオブジェクトは、列読み出しによりフレームの右端側から順次に読み出しを行うことで、より早期に認識することが可能である。
【０１６８】
当該撮像装置１を車載用として用いる例では、例えば車両が旋回している際には、旋回側にある物体のオブジェクトが優先される場合がある。このような場合、旋回側の端から列読み出しにより読み出しを行うことが好ましい。旋回方向は、例えば車両のステアリング情報に基づき取得することができる。これに限らず、例えば撮像装置１に対して３方向の角速度を検知可能なセンサを設け、このセンサの検知結果に基づき旋回方向を取得することが可能である。
【０１６９】
図２８は、第２の実施形態に係る認識処理を示す一例のフローチャートである。この図２８のフローチャートによる処理は、例えばフレームからの読出単位（例えば１ライン）の画素データの読み出しに対応する処理である。ここでは、読出単位がラインであるものとして説明を行う。例えば、読出領域情報は、読出を行うラインを示すライン番号を用いることができる。
【０１７０】
ステップＳ１００で、認識処理部１２は、フレームの読出ラインで示されるラインからラインデータの読み出しを行う。より具体的には、認識処理部１２において読出決定部１２３は、次に読み出しを行うラインのライン番号をセンサ制御部１１に渡す。センサ制御部１１において、読出部１１０は、渡されたライン番号に従い、センサ部１０から、当該ライン番号に示されるラインの画素データをラインデータとして読み出す。読出部１１０は、センサ部１０から読み出したラインデータを特徴量計算部１２０に渡す。また、読出部１１０は、画素データの読み出しを行った領域を示す読出領域情報（例えばライン番号）を、特徴量計算部１２０に渡す。
【０１７１】
次のステップＳ１０１で、特徴量計算部１２０は、読出部１１０から渡された画素データに基づき、ラインデータに基づく特徴量を計算し、ラインの特徴量を算出する。次のステップＳ１０２で、特徴量計算部１２０は、特徴量蓄積制御部１２１から、特徴量蓄積部１２２に蓄積されている特徴量を取得する。次のステップＳ１０３で、特徴量計算部１２０は、ステップＳ１０１で算出された特徴量と、ステップＳ１０２で特徴量蓄積制御部１２１から取得した特徴量と、を統合する。統合された特徴量は、特徴量蓄積制御部１２１に渡される。特徴量蓄積制御部１２１は、特徴量計算部１２０から渡された統合された特徴量を、特徴量蓄積部１２２に蓄積する（ステップＳ１０４）。
【０１７２】
なお、ステップＳ１００からの一連の処理がフレームの先頭のラインに対する処理であり、且つ、特徴量蓄積部１２２が例えば初期化されている場合には、ステップＳ１０２およびステップＳ１０３による処理を省略することができる。またこのとき、ステップＳ１０４による処理は、当該先頭のラインに基づき計算されたライン特徴量を特徴量蓄積部１２２に蓄積する処理となる。
【０１７３】
また、特徴量蓄積制御部１２１は、特徴量計算部１２０から渡された統合された特徴量を、認識処理実行部１２４にも渡す。ステップＳ１０５で、認識処理実行部１２４は、特徴量蓄積制御部１２１から渡された、統合された特徴量を用いて認識処理を実行する。次のステップＳ１０６で、認識処理実行部１２４は、ステップＳ１０５の認識処理による認識結果を出力する。
【０１７４】
ステップＳ１０７で、認識処理部１２において読出決定部１２３は、特徴量蓄積制御部１２１から渡された読出情報に従い次の読み出しを行う読出ラインを決定する。例えば、特徴量蓄積制御部１２１は、特徴量計算部１２０から、特徴量と共に、読出領域情報を受けとる。特徴量蓄積制御部１２１は、この読出領域情報に基づき、例えば予め指定された読出パターン（この例ではライン順次）に従い、次に読み出しを行う読出ラインを決定する。この決定された読出ラインに対して、ステップＳ１００からの処理が再び実行される。
【０１７５】
（５−０−４．第２の実施形態に係る読み出しおよび認識処理の制御例）
次に、第２の実施形態に係る読み出しおよび認識処理の制御の例について説明する。図２９Ａおよび図２９Ｂは、第２の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。図２９Ａおよび図２９Ｂの例では、１撮像周期（１フレーム周期）内に撮像動作を行わないブランク期間ｂｌｋを設ける例である。図２９Ａおよび図２９Ｂにおいて、右方向に時間が進行することを示している。
【０１７６】
図２９Ａは、撮像周期の例えば１／２の期間を連続的にブランク期間ｂｌｋに割り当てる例である。図２９Ａにおいて、撮像周期は、フレーム周期であって、例えば１／３０［ｓｅｃ］である。センサ部１０からのフレームの読み出しは、このフレーム周期で行われる。撮像時間は、フレームに含まれる全てのラインの撮像を行うために要する時間である。図２９Ａの例では、フレームがｎ本のラインを含むものとし、ラインＬ＃１〜ラインＬ＃ｎのｎ本のラインの撮像を、１／３０［ｓｅｃ］のフレーム周期に対して１／２の期間の１／６０［ｓｅｃ］で完了している。１ラインの撮像に割り当てられる時間は、１／（６０×ｎ）［ｓｅｃ］となる。フレームにおいて最後のラインＬ＃ｎを撮像したタイミングから、次のフレームの先頭のラインＬ＃１を撮像するタイミングまでの１／３０［ｓｅｃ］の期間は、ブランク期間ｂｌｋとされている。
【０１７７】
例えばラインＬ＃１の撮像が終了したタイミングで、次のラインＬ＃２の撮像が開始されると共に、認識処理部１２により、当該ラインＬ＃１に対するライン認識処理、すなわち、ラインＬ＃１に含まれる画素データに対する認識処理が実行される。認識処理部１２は、ラインＬ＃１に対するライン認識処理を、次のラインＬ＃２の撮像が開始される前に終了させる。認識処理部１２は、ラインＬ＃１に対するライン認識処理が終了されると、当該認識処理の認識結果を出力する。
【０１７８】
次のラインＬ＃２についても同様に、ラインＬ＃２の撮像が終了したタイミングで次のラインＬ＃３の撮像が開始されると共に、認識処理部１２により、当該ラインＬ＃２に対するライン認識処理が実行され、実行されたライン認識処理が次のラインＬ＃３の撮像の開始前に終了される。図２９Ａの例では、このように、ラインＬ＃１、Ｌ＃２、＃３、…、Ｌ＃ｍ、…の撮像が順次に実行される。そして、各ラインＬ＃１、Ｌ＃２、Ｌ＃３、…、Ｌ＃ｍ、…それぞれにおいて、撮像の終了のタイミングで、撮像が終了されたラインの次のラインの撮像が開始されると共に、撮像が終了したラインに対するライン認識処理が実行される。
【０１７９】
このように、読み出し単位（この例ではライン）毎に、逐次に認識処理を実行することで、認識器（認識処理部１２）にフレームの画像データを全て入力しなくても、認識結果を逐次に得ることができ、認識結果が得られるまでの遅延を低減させることが可能となる。また、あるラインで有効な認識結果が得られた場合、その時点で、認識処理を終了させることができ、認識処理の時間の短縮や、省電力化が可能となる。また、各ラインの認識結果などに対し、時間軸で情報伝播を行い統合することで、認識精度を徐々に向上させていくことが可能となる。
【０１８０】
なお、図２９Ａの例では、フレーム周期内のブランク期間ｂｌｋにおいて、フレーム周期内に実行されるべき他の処理（例えば認識結果を用いた視認処理部１４における画像処理）を実行することができる。
【０１８１】
図２９Ｂは、１ラインの撮像毎にブランク期間ｂｌｋを設ける例である。図２９Ｂの例では、フレーム周期（撮像周期）が図２９Ａの例と同様の１／３０［ｓｅｃ］とされている。一方、撮像時間は、撮像周期と同一の１／３０［ｓｅｃ］とされている。また、図２９Ｂの例では、１フレーム周期において、ラインＬ＃１〜ラインＬ＃ｎのｎ本のラインの撮像が１／（３０×ｎ）［ｓｅｃ］の時間間隔で実行され、１ライン分の撮像時間が１／（６０×ｎ）［ｓｅｃ］であるものとする。
【０１８２】
この場合、各ラインＬ＃１〜Ｌ＃ｎの撮像毎に、１／（６０×ｎ）［ｓｅｃ］のブランク期間ｂｌｋを設けることが可能となる。この各ラインＬ＃１〜Ｌ＃ｎのブランク期間ｂｌｋそれぞれにおいて、対応するラインの撮像画像に対して実行されるべき他の処理（例えば認識結果を用いた視認処理部１４における画像処理）を実行することができる。このとき、この他の処理に対して、対象のラインの次のラインの撮像が終了する直前までの時間（この例では略１／（３０×ｎ）［ｓｅｃ］）を、割り当てることができる。この図２９Ｂの例では、この他の処理の処理結果をライン毎に出力することができ、他の処理による処理結果をより迅速に取得することが可能となる。
【０１８３】
図３０は、第２の実施形態に係る読み出しおよび認識処理の制御の別の例を示す一例のタイムチャートである。上述した図２９の例では、フレームに含まれる全ラインＬ＃１〜Ｌ＃ｎの撮像を、フレーム周期の１／２の期間で完了させ、フレーム周期の残りの１／２の期間をブランク期間としていた。これに対して、図３０に示す例では、フレーム周期内にブランク期間を設けずに、フレームに含まれる全ラインＬ＃１〜Ｌ＃ｎの撮像をフレーム周期の全期間を用いて行う。
【０１８４】
ここで、１ラインの撮像時間を図２９Ａおよび図２９Ｂと同一の１／（６０×ｎ）［ｓｅｃ］とし、フレームに含まれるライン数を、図２９Ａおよび図２９Ｂと同一のｎ本とした場合、フレーム周期すなわち撮像周期は、１／６０［ｓｅｃ］となる。したがって、図３０に示すブランク期間ｂｌｋを設けない例では、上述した図２９Ａおよび図２９Ｂの例に対して、フレームレートを高速化することができる。
【０１８５】
［６．第３の実施形態］
次に、本開示の第３の実施形態について説明する。第３の実施形態は、認識処理部１２による認識結果と、視認処理部１４による視認用の画像データと、の出力のタイミングを制御する例である。第３の実施形態では、図２１を参照し、トリガ生成部１６で生成されたトリガ信号に基づき、認識処理実行部１２４からの認識結果の出力と、画像処理部１４３からの画像データの出力と、を制御する。
【０１８６】
（６−０．第３の実施形態の概要）
図３１は、第３の実施形態に係る出力制御処理の概要を説明するための一例のフローチャートである。図３１のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。以下では、読出単位をラインとし、センサ制御部１１は、センサ部１０からライン単位で画素データを読み出すものとする。
【０１８７】
ステップＳ２００で、読出部１１０は、センサ部１０からライン単位の画素データ（以下、適宜、ラインデータと呼ぶ）を読み出す。読出部１１０は、センサ部１０から読み出されたラインデータを、認識処理部１２および視認処理部１４に渡す。視認処理部１４は、読出部１１０から渡された画素データを画像データ蓄積制御部１４０に渡す。画像データ蓄積制御部１４０は、例えば、渡された画素データを例えば画像データ蓄積部１４１に蓄積すると共に、画像処理部１４３に渡す。
【０１８８】
一方、認識処理部１２は、ステップＳ２０１で、読出部１１０から渡されたラインデータに基づく特徴量計算部１２０による特徴量の計算、計算された特徴量の特徴量蓄積部１２２への蓄積、特徴量蓄積部１２２に蓄積された、統合された特徴量に基づく認識処理実行部１２４による認識処理、などを実行する。次のステップＳ２０２で、認識処理部１２は、認識処理実行部１２４から認識処理による認識結果を出力する。次のステップＳ２０３で、認識処理部１２において、読出決定部１２３は、次の読出ラインを示す読出領域情報を生成してセンサ制御部１１に渡す。
【０１８９】
次のステップＳ２０４で、トリガ生成部１６は、例えばステップＳ２０２での認識結果の出力に応じて、画像処理部１４３から視認用画像の出力を行うか否かを判定する。トリガ生成部１６は、視認用画像の出力を行わないと判定した場合（ステップＳ２０４、「Ｎｏ」）、処理をステップＳ２０６に移行させる。一方、トリガ生成部１６は、視認用画像の出力を行うと判定した場合（ステップＳ２０４、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。
【０１９０】
ステップＳ２０５で、トリガ生成部１６は、出力処理を実行して、トリガ信号を出力する。トリガ信号は、認識処理実行部１２４および画像処理部１４３と、出力制御部１５と、に渡される。認識処理実行部１２４および画像処理部１４３は、このトリガ信号に応じて、それぞれ認識結果および画像データを出力する。これら認識処理実行部１２４および画像処理部１４３から出力された認識結果および画像データは、それぞれ出力制御部１５に渡される。
【０１９１】
次のステップＳ２０６で、出力制御部１５は、ステップＳ２０５でトリガ生成部１６から渡されたトリガ信号に応じて出力制御処理を行い、認識結果および画像データを後段に出力する。
【０１９２】
このように、トリガ生成部１６により生成されたトリガ信号に応じて認識処理実行部１２４および画像処理部１４３と、出力制御部１５とを制御することで、認識結果および画像データを適切なタイミングで出力することが可能となる。
【０１９３】
（６−０−１．時間によるトリガ信号出力の例）
図３２は、第３の実施形態に係る出力制御処理の例を模式的に示す模式図である。ここでは、トリガ生成部１６が時間に基づきトリガ信号を出力する場合について説明する。
【０１９４】
図３２において、撮像装置１（図１参照）により、認識対象となる対象画像（手書きの数字の「８」）の撮像を開始し、ステップＳ１０で、センサ制御部１１は、認識処理部１２から渡される読出領域情報に従い、時間ｔ0において、フレームのライン単位での読み出しが開始される。センサ制御部１１は、フレームをライン単位で、フレームの上端側から下端側に向けて順次に読み出す。
【０１９５】
ある位置までラインが読み出されると、認識処理部１２により、読み出されたラインによる画像から、「８」または「９」の数字が識別される（ステップＳ１１）。認識処理部１２において、読出決定部１２３は、特徴量蓄積制御部１２１から渡された統合された特徴量に基づき、ステップＳ１１で識別されたオブジェクトが数字の「８」または「９」の何れであるかを識別可能と予測されるラインを指定する読出領域情報を生成し、読出部１１０に渡す。そして、認識処理部１２は、読出部１１０により指定されたラインを読み出した画素データに基づき認識処理を実行する（ステップＳ１２）。
【０１９６】
トリガ生成部１６は、読み出し開始の時間ｔ0から所定時間が経過した時間ｔTRGにおいて、トリガ信号を出力する。例えば、フレームのライン単位での読み出しがフレーム周期で行われる場合、トリガ生成部１６は、フレーム周期に対応する一定時間毎にトリガ信号を出力することになる。この図３２の例では、ステップＳ１２の処理の時点で時間ｔTRGが経過し、トリガ生成部１６がトリガ信号を出力している。このトリガ信号に応じて、認識処理実行部１２４から認識結果が出力されると共に、画像処理部１４３から画像データが出力される。また、出力制御部１５は、このトリガ信号に応じて、認識処理実行部１２４から出力された認識結果と、画像処理部１４３から出力された画像データと、を後段に出力する。
【０１９７】
なお、認識処理部１２は、視認処理部１４やトリガ生成部１６などとは異なるタイミングで処理を実行する。そのため、認識処理部１２は、時間ｔTRGより時間的に前に認識処理が完了している場合がある。その場合には、認識処理部１２は、トリガ生成部１６から時間ｔTRGにトリガ信号が出力されるまで、次の処理を待機する。
【０１９８】
またこの場合、視認処理部１４は、認識処理部１２における認識処理が完了した時点でフレームから読み出されていない未処理のラインが存在する場合には、その未処理のラインをさらに読み出すことができる。出力制御部１５は、視認処理部１４に読み出された未処理のラインのラインデータを、認識処理部１２による認識処理のために読み出したラインデータと合わせて出力することができる。
【０１９９】
一方、認識処理部１２は、時間ｔTRGの時点で認識処理が完了していない場合もある。その場合には、認識処理部１２は、トリガ信号に応じて、時間ｔTRGの時点での認識結果を出力する。
【０２００】
図３３Ａおよび図３３Ｂは、それぞれ、第３の実施形態に係る撮像装置１の、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ示す機能ブロック図である。図３３Ａおよび図３３Ｂは、それぞれ、上述した図２１の構成から、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ抜き出して示している。
【０２０１】
図３３Ａに示されるように、トリガ生成部１６ａは、一定時間毎にトリガ信号を認識処理実行部１２４に対して出力する。また、図３３Ｂに示されるように、トリガ生成部１６ａは、一定時間毎にトリガ信号を画像処理部１４３に対して出力する。
【０２０２】
図３４は、第３の実施形態に係る、時間に応じてトリガ信号を出力する場合の処理を示す一例のフローチャートである。図３４において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３１のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様である。
【０２０３】
すなわち、ステップＳ２００で、読出部１１０は、センサ部１０からラインデータを読み出して、認識処理部１２および視認処理部１４に渡す。視認処理部１４は、読出部１１０から渡された画素データを画像データ蓄積制御部１４０に渡す。画像データ蓄積制御部１４０は、例えば、渡された画素データを例えば画像データ蓄積部１４１に蓄積すると共に、画像処理部１４３に渡す。
【０２０４】
認識処理部１２は、ステップＳ２０１で、読出部１１０から渡されたラインデータに基づく特徴量の計算、計算された特徴量の蓄積、蓄積された、統合された特徴量に基づく認識処理、などを実行する。次のステップＳ２０２で、認識処理部１２は、認識処理実行部１２４から認識処理による認識結果を出力する。次のステップＳ２０３で、認識処理部１２において、読出決定部１２３は、次の読出ラインを示す読出領域情報を生成してセンサ制御部１１に渡す。
【０２０５】
次のステップＳ２０４０で、トリガ生成部１６は、ステップＳ２００のライン読み出し開始から一定時間が経過したか否かを判定する。経過していないと判定した場合（ステップＳ２０４０、「Ｎｏ」）、この図３４のフローチャートによる一連の処理が終了される。一方、トリガ生成部１６は、一定時間が経過したと判定した場合（ステップＳ２０４０、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。
【０２０６】
ステップＳ２０５で、トリガ生成部１６は、出力処理を実行して、トリガ信号を出力する。トリガ信号は、認識処理実行部１２４および画像処理部１４３と、出力制御部１５と、に渡される。認識処理実行部１２４および画像処理部１４３は、このトリガ信号に応じて、それぞれ認識結果および画像データを出力する。これら認識処理実行部１２４および画像処理部１４３から出力された認識結果および画像データは、それぞれ出力制御部１５を介して後段に出力される。
【０２０７】
このように、第３の実施形態では、トリガ生成部１６により一定周期でトリガ信号が出力されるため、認識結果および視認用の画像データを、一定周期、例えばフレーム周期で出力することができる。
【０２０８】
［６−１．第３の実施形態の第１の変形例］
次に、第３の実施形態の第１の変形例について説明する。第３の実施形態の第１の変形例は、トリガ信号を、センサ制御部１１によりフレームから読み出された領域に応じて生成する例である。
【０２０９】
図３５は、第３の実施形態の第１の変形例に係る出力制御処理の例を模式的に示す模式図である。図３５において、セクション（ａ）は、センサ制御部１１がフレームから読み出した領域の、フレーム全体に対する割合（読出領域の割合）の時間変化を示している。また、セクション（ｂ）は、上述した図３２に対応する図であって、センサ制御部１１によるフレーム読み出しの様子を模式的に示している。すなわち、ステップＳ１０でフレームがライン順次で読み出され、ステップＳ１１でオブジェクトを識別可能であると予測されるラインにジャンプして、読出が行われる。そして、ステップＳ１２で認識結果が出力される。
【０２１０】
図３５のセクション（ａ）において、読出領域の割合は、ステップＳ１１まで一定の速度で変化し、ステップＳ１１からは、ステップＳ１１よりも小さい速度で変化している。ここで、トリガ生成部１６は、読出領域の割合が閾値Ｒthに達した時間ｔTRGにおいて、トリガ信号を生成する。このトリガ信号に応じて、認識処理実行部１２４から認識結果が出力されると共に、画像処理部１４３から画像データが出力される。また、出力制御部１５は、このトリガ信号に応じて、認識処理実行部１２４から出力された認識結果と、画像処理部１４３から出力された画像データと、を後段に出力する。
【０２１１】
図３６Ａおよび図３６Ｂは、それぞれ、第３の実施形態の第１の変形例に係る撮像装置１の、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ示す機能ブロック図である。図３６Ａおよび図３６Ｂは、それぞれ、上述した図２１の構成から、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ抜き出して示している。
【０２１２】
図３６Ａおよび図３６Ｂにそれぞれに示されるように、トリガ生成部１６ｂは、センサ制御部１１の読出制御部１１１から読出領域情報を受け取り、受け取った読出領域情報に基づき読出領域の割合を求める。トリガ生成部１６ｂは、求めた読出領域の割合が閾値Ｒthを超えたと判定すると、トリガ信号を生成し、生成したトリガ信号を、認識処理実行部１２４と（図３６Ａ参照）、画像処理部１４３と（図３６Ｂ参照）と、に対してそれぞれ出力する。
【０２１３】
図３７は、第３の実施形態の第１の変形例に係る処理を示す一例のフローチャートである。図３７において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３４のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様であるので、ここでの説明を省略する。ステップＳ２０３で、認識処理部１２において、読出決定部１２３により、次の読出ラインを示す読出領域情報がセンサ制御部１１に渡されると、処理がステップＳ２０４１に移行される。
【０２１４】
ステップＳ２０４１で、トリガ生成部１６ｂは、センサ制御部１１から受け取った読出領域情報に基づき、読出領域の割合が閾値Ｒthを超えているか否かを判定する。超えていないと判定した場合（ステップＳ２０４１、「Ｎｏ」）、この図３７のフローチャートによる一連の処理が終了される。その後、例えばステップＳ２００から、次のラインデータの読み出しが行われる。
【０２１５】
一方、トリガ生成部１６ｂは、読出領域の割合が閾値Ｒthを超えていると判定した場合（ステップＳ２０４１、「Ｙｅｓ」）、処理をステップＳ２０５に移行させ、出力処理を実行して、トリガ信号を出力する。このトリガ信号に応じて、認識処理実行部１２４および画像処理部１４３により、それぞれ認識結果および画像データが出力される。
【０２１６】
このように、第３の実施形態の第１の変形例では、トリガ生成部１６ｂにより読出領域の割合に応じてトリガ信号が出力されるため、フレームにおける一定以上の領域の画像データを、視認用の画像データとして出力することができる。
【０２１７】
［６−２．第３の実施形態の第２の変形例］
次に、第３の実施形態の第２の変形例について説明する。第３の実施形態の第２の変形例は、トリガ信号を、認識処理実行部１２４による認識処理の結果の確からしさを示す認識確信度に応じて生成する例である。
【０２１８】
図３８は、第３の実施形態の第１の変形例に係る出力制御処理の例を模式的に示す模式図である。図３８において、セクション（ａ）は、センサ制御部１１がフレームから読み出したラインデータに対する認識処理実行部１２４による認識処理の認識確信度を示す認識確信度スコアの時間変化を示している。また、セクション（ｂ）は、上述した図３２に対応する図であって、センサ制御部１１によるフレーム読み出しの様子を模式的に示している。すなわち、ステップＳ１０でフレームがライン順次で読み出され、ステップＳ１１でオブジェクトを識別可能であると予測されるラインにジャンプして、読出が行われる。そして、ステップＳ１２で認識結果が出力される。
【０２１９】
図３８のセクション（ａ）において、認識確信度スコアは、ステップＳ１１まで一定の速度で変化し、ステップＳ１１で「８」または「９」の数字が識別されてからは、ステップＳ１１よりも大きな速度で変化している。ここで、トリガ生成部１６は、認識確信度スコアが閾値Ｃthに達した時間ｔTRGにおいて、トリガ信号を生成する。このトリガ信号に応じて、認識処理実行部１２４から認識結果が出力されると共に、画像処理部１４３から画像データが出力される。また、出力制御部１５は、このトリガ信号に応じて、認識処理実行部１２４から出力された認識結果と、画像処理部１４３から出力された画像データと、を後段に出力する。
【０２２０】
図３９Ａおよび図３９Ｂは、それぞれ、第３の実施形態の第２の変形例に係る撮像装置１の、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ示す機能ブロック図である。図３９Ａは、上述した図２１の構成から、認識処理部１２側の一例の機能を抜き出して示している。
【０２２１】
図３９Ａおよび図３９Ｂにそれぞれに示されるように、認識処理実行部１２４は、認識確信度スコアを含む認識結果を随時、出力する。トリガ生成部１６ｃは、認識処理実行部１２４から認識結果を受け取り、受け取った認識結果に含まれる認識確信度スコアを取得する。トリガ生成部１６ｃは、取得した認識確信度スコアが閾値Ｃthを超えたと判定すると、トリガ信号を生成し、生成したトリガ信号を、認識処理実行部１２４と（図３９Ａ参照）、画像処理部１４３と（図３９Ｂ参照）と、に対してそれぞれ出力する。
【０２２２】
図４０は、第３の実施形態の第２の変形例に係る処理を示す一例のフローチャートである。図４０において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３４のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様であるので、ここでの説明を省略する。ステップＳ２０３で、認識処理部１２において、読出決定部１２３により、次の読出ラインを示す読出領域情報がセンサ制御部１１に渡されると、処理がステップＳ２０４１に移行される。
【０２２３】
ステップＳ２０４２で、トリガ生成部１６ｃは、認識処理実行部１２４から受け取った認識結果に含まれる認識確信度スコアが閾値Ｃthを超えているか否か判定する。超えていないと判定した場合（ステップＳ２０４２、「Ｎｏ」）、この図４０のフローチャートによる一連の処理が終了される。その後、例えばステップＳ２００から、次のラインデータの読み出しが行われる。
【０２２４】
一方、トリガ生成部１６ｃは、認識確信度スコアが閾値Ｃthを超えていると判定した場合（ステップＳ２０４２、「Ｙｅｓ」）、処理をステップＳ２０５に移行させ、出力処理を実行して、トリガ信号を出力する。このトリガ信号に応じて、認識処理実行部１２４および画像処理部１４３により、それぞれ認識結果および画像データが出力される。
【０２２５】
このように、第３の実施形態の第２の変形例では、トリガ生成部１６により認識確信度スコアに応じてトリガ信号が出力されるため、視認用の画像データに含まれるオブジェクトに関するより高精度な認識情報を取得できる。
【０２２６】
［６−３．第３の実施形態の第３の変形例］
【０２２７】
次に、第３の実施形態の第３の変形例について説明する。第３の実施形態の第３の変形例は、トリガ信号を、当該撮像装置１の外部から取得される外部情報に応じて生成する例である。
【０２２８】
図４１Ａおよび図４１Ｂは、それぞれ、第３の実施形態の第３の変形例に係る撮像装置１の、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ示す機能ブロック図である。図４１Ａおよび図４１Ｂは、それぞれ、上述した図２１の構成から、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ抜き出して示している。
【０２２９】
図４１Ａおよび図４１Ｂ２それぞれ示されるように、第３の実施形態の第３の変形例に係る撮像装置１は、外部からの情報を取得する外部情報取得部１７を備えている。外部情報取得部１７は、外部から取得された外部情報をトリガ生成部１６ｄに渡す。トリガ生成部１６ｄは、外部情報取得部１７から渡された外部情報に応じてトリガ信号を生成し、生成したトリガ信号を、認識処理実行部１２４と（図４１Ａ参照）、画像処理部１４３と（図４１Ｂ参照）と、に対してそれぞれ出力する。
【０２３０】
ここで、外部情報取得部１７が取得する外部情報としては、外部からのトリガ信号、外部の認識装置による認識結果など、当該撮像装置１の外部から取得可能な様々な情報を適用できる。このような外部情報を出力する外部装置としては、他の撮像装置、ＬｉＤＡＲ(Laser  Imaging  Detection  and  Ranging)方式のセンサ（ＬｉＤＡＲセンサと呼ぶ）、レーダ装置などが考えられる。例えば当該撮像装置１が車載の用途に用いられる場合、同じ車両に搭載される他の撮像装置、ＬｉＤＡＲセンサ、レーダ装置などから出力される認識情報、トリガ信号、車両情報などの外部情報を当該撮像装置１に入力できるようにする。
【０２３１】
一例として、外部情報が、他の撮像装置による認識結果や、ＬｉＤＡＲセンサあるいはレーダ装置による認識結果である場合、トリガ生成部１６ｄは、外部情報取得部１７により外部情報として取得された認識結果の認識確信度スコアに応じて、トリガ信号の生成を行うことが考えられる。
【０２３２】
なお、これら外部装置から出力される外部情報を用いる場合には、当該撮像装置１の撮像画像に対する位置および時間に関するキャリブレーションを実行することが好ましい。また、上述では、外部装置をマスタとして、当該撮像装置１は、外部装置から出力される外部情報に応じてトリガ信号を出力するように説明したが、これはこの例に限定されない。例えば、撮像装置１をマスタとし、トリガ生成部１６ｄは、他の方法（時間、読出領域の割合、認識確信度スコアなど）により生成したトリガ信号を、外部装置に対して出力することも可能である。
【０２３３】
上述の例に限らず、ＧＮＳＳ(Global  Navigation  Satellite  System)を利用して取得した時間情報を外部情報として用いることもできる。さらに、当該撮像装置１が車載用途の場合、外部情報取得部１７は、当該撮像装置１が搭載される車両の車両情報（ステアリング情報、速度情報、ブレーキ情報、方向指示情報など）を外部情報として取得することもできる。
【０２３４】
図４２は、第３の実施形態の第３の変形例に係る処理を示す一例のフローチャートである。図４２において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３４のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様であるので、ここでの説明を省略する。ステップＳ２０３で、認識処理部１２において、読出決定部１２３により、次の読出ラインを示す読出領域情報がセンサ制御部１１に渡されると、処理がステップＳ２０４３に移行される。
【０２３５】
ステップＳ２０４３で、トリガ生成部１６ｄは、外部情報取得部１７により所定の外部情報が取得されたか否かを判定する。取得されていないと判定した場合（ステップＳ２０４３、「Ｎｏ」）、この図４２のフローチャートによる一連の処理が終了される。その後、例えばステップＳ２００から、次のラインデータの読み出しが行われる。
【０２３６】
一方、トリガ生成部１６ｄは、外部情報取得部１７により所定の外部情報が取得されたと判定した場合（ステップＳ２０４３、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。トリガ生成部１６ｄは、外部装置から外部情報取得部１７に入力された所定の外部情報を外部情報取得部１７から取得する。トリガ生成部１６ｄは、取得した所定の外部情報に応じて出力処理を実行して、トリガ信号を出力する。このトリガ信号に応じて、認識処理実行部１２４および画像処理部１４３により、それぞれ認識結果および画像データが出力される。
【０２３７】
このように、第３の実施形態の第３の変形例では、外部から入力された外部情報に応じてトリガ信号が出力されることにより、複数のセンサ装置による認識結果を利用可能である。そのため、第３の実施形態の第３の変形例に係る撮像装置１は、外部装置との連携が可能となる。
【０２３８】
［７．第４の実施形態］
次に、第４の実施形態について説明する。第４の実施形態は、認識処理部１２による認識結果の出力と、視認処理部１４による視認用の画像データの出力と、のズレに対応する例である。
【０２３９】
図４３は、第４の実施形態に係る出力制御処理の例を模式的に示す模式図である。第４の実施形態では、認識処理実行部１２４に対するトリガ信号と、画像処理部１４３に対するそれぞれトリガ信号と、をそれぞれ独立して出力する。また、以下の例では、認識処理実行部１２４および画像処理部１４３それぞれに対するトリガ信号は、第３の実施形態の第２の変形例で説明した、それぞれの処理において読み出された読出領域のフレームに対する割合に応じて、出力される。認識処理実行部１２４に対する読出領域の割合の閾値を閾値Ｒth1とし、画像処理部１４３に対する読出領域の割合の閾値を閾値Ｒth2とする。
【０２４０】
図４３において、フレーム読み出しが時間ｔ0で開始され（ステップＳ１０）、ステップＳ１１でフレームがライン順次で読み出される。この例では、ステップＳ１１の後、ステップＳ２０でオブジェクトを識別可能であると予測されるラインにジャンプして、読み出しが行われる。ここで、ステップＳ２０の処理において、認識処理実行部１２４による処理に対する読出領域の割合が時間ｔTRG1で閾値Ｒth1に達したものとする。この場合、時間ｔTRG1において認識処理実行部１２４に対してトリガ信号が出力される。認識処理実行部１２４は、このトリガ信号に応じて認識結果を出力する。認識処理実行部１２４により時間ｔTRG1に出力された認識結果は、所定の記憶領域（キャッシュメモリと呼ぶ）にキャッシュされる（ステップＳ２１）。認識処理部１２は、認識結果が出力されキャッシュされると、認識処理を終了させる。
【０２４１】
ここで、時間ｔTRG1の時点では、フレーム読み出しが開始された時間ｔ0から所定時間、例えばフレーム周期が経過してないものとする。
【０２４２】
視認処理部１４は、ステップＳ２１において認識処理部１２による認識処理が終了した後、読出開始の時間ｔ０から所定時間、例えばフレーム周期が経過するまで、フレーム読み出しを実行する。ここで、画像処理部１４３よる処理に対する読出領域の割合が時間ｔTRG2で閾値Ｒth2に達したものとする。この時間ｔTRG2において、画像処理部１４３に対してトリガ信号が出力される。
【０２４３】
画像処理部１４３は、この時間ｔTRG2でのトリガ信号に応じて視認用の画像データを出力する。また、ステップＳ２１でキャッシュされた認識結果が、この時間ｔTRG2でのトリガ信号に応じて、キャッシュメモリから読み出されて出力される。これにより、視認用の画像データと、認識結果との同時出力が可能となる。
【０２４４】
なお、上述では、ステップＳ２１において、認識結果のみをキャッシュしているが、これはこの例に限定されず、視認用の画像データをさらにキャッシュしてもよい。
【０２４５】
図４４は、第４の実施形態に係る撮像装置１の一例の機能を示す機能ブロック図である。図４４において、撮像装置１に対し、認識処理実行部１２４に対するトリガ信号を生成するトリガ生成部１６e1と、画像処理部１４３に対するトリガ信号を生成するトリガ生成部１６e2と、の２つのトリガ生成部が設けられている。
【０２４６】
トリガ生成部１６e1は、認識処理実行部１２４における読出領域の割合に対する閾値Ｒth1が設定される。同様に、トリガ生成部１６e2は、画像処理部１４３における読出領域の割合に対する閾値Ｒth2が設定される。これら閾値Ｒth1およびＲth2は、トリガ生成部１６e1および１６e2に対して予め設定されていてもよいし、例えばフレーム読み出しの状態に応じて適応的に設定してもよい。
【０２４７】
また、出力制御部１５ａは、認識結果をキャッシュするキャッシュメモリ１５０と、視認用の画像データをキャッシュするキャッシュメモリ１５１と、を含む。
【０２４８】
読出制御部１１１は、次に読み出す読み出しラインを示す読出領域情報をトリガ生成部１６e1および１６e2にそれぞれ渡す。トリガ生成部１６e1および１６e2は、渡された読出領域情報に基づき現在の読出領域の割合を求める。トリガ生成部１６e1は、求めた現在の読出領域の割合が閾値Ｒth1に達した場合に、認識処理実行部１２４に対してトリガ信号を出力する。同様に、トリガ生成部１６e2は、求めた現在の読出領域の割合が閾値Ｒth2に達した場合に、画像処理部１４３に対してトリガ信号を出力する。
【０２４９】
トリガ信号に応じて認識処理実行部１２４から出力された認識結果は、出力制御部１５ａに渡され、キャッシュメモリ１５０に格納される。同様に、トリガ信号に応じて画像処理部１４３から出力された視認用の画像データは、出力制御部１５ａに渡され、キャッシュメモリ１５１に格納される。出力制御部１５ａは、キャッシュメモリ１５０および１５１にそれぞれ格納した認識結果および視認用の画像データを、所定のタイミング、例えばフレーム周期に同期したタイミングで出力する。
【０２５０】
図４５は、第４の実施形態に係る処理を示す一例のフローチャートである。図４５において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３４のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様であるので、ここでの説明を省略する。ステップＳ２０３で、認識処理部１２において、読出決定部１２３により、次の読出ラインを示す読出領域情報がセンサ制御部１１に渡されると、処理がステップＳ２０４４に移行される。
【０２５１】
ステップＳ２０４４、および、ステップＳ２０４４の次のステップＳ２０５の処理は、トリガ生成部１６e1および１６e2それぞれにおいて例えば並列的に実行される。
【０２５２】
トリガ生成部１６e1においては、ステップＳ２０４４で、認識処理実行部１２４に対して認識結果の出力をさせるか否かを判定する。より具体的には、ステップＳ２０４４で、トリガ生成部１６e1は、ステップＳ２０３において決定された次の読出ラインを示す読出領域情報に基づき現在の読出領域の割合を求め、求めた現在の読出領域の割合が閾値Ｒth1に達した場合に、認識処理実行部１２４に対して認識結果を出力させると判定する。トリガ生成部１６e1は、現時点では認識結果を出力させないと判定した場合（ステップＳ２０４４、「Ｎｏ」）、処理をステップＳ２０６０に移行させる。
【０２５３】
一方、トリガ生成部１６ｅ１は、認識結果を出力させると判定した場合（ステップＳ２０４４、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。ステップＳ２０５で、トリガ生成部１６e1は、認識処理実行部１２４に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップＳ２０６０に移行される。
【０２５４】
トリガ生成部１６e2における処理も、トリガ生成部１６e1の処理と同様である。すなわち、トリガ生成部１６e2においては、ステップＳ２０４４で、画像処理部１４３に対して視認用の画像データの出力をさせるか否かを判定する。より具体的には、ステップＳ２０４４で、トリガ生成部１６e2は、ステップＳ２０３において決定された次の読出ラインを示す読出領域情報に基づき現在の読出領域の割合を求め、求めた現在の読出領域の割合が閾値Ｒth2に達した場合に、画像処理部１４３に対して視認用の画像データを出力させると判定する。トリガ生成部１６e2は、現時点では認識結果を出力させないと判定した場合（ステップＳ２０４４、「Ｎｏ」）、処理をステップＳ２０６０に移行させる。
【０２５５】
一方、トリガ生成部１５ｆは、ステップＳ２０４４で認識結果を出力させると判定した場合（ステップＳ２０４４、「Ｎｏ」）、処理をステップＳ２０５に移行させる。ステップＳ２０５で、トリガ生成部１６e2は、画像処理部１４３に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップＳ２０６０に移行される。
【０２５６】
ステップＳ２０６０、および、ステップＳ２０６０の次のステップＳ２０６１の処理は、出力制御部１５ａによる処理となる。出力制御部１５ａは、認識処理実行部１２４から出力された認識結果と、画像処理部１４３から出力された視認用の画像データと、に対して、それぞれ出力制御処理を実行する。
【０２５７】
出力制御部１５ａは、認識処理実行部１２４から出力された認識結果に対しては、ステップＳ２０６０で、キャッシュメモリ１５０に格納し、出力蓄積処理を行う。出力制御部１５ａは、認識結果をキャッシュメモリ１５０に格納すると、処理をステップＳ２０６１に移行させる。ステップＳ２０６１で、出力制御部１５ａは、所定のタイミング、例えばフレーム周期に同期したタイミングで、キャッシュメモリ１５０に格納された認識結果を出力する、出力制御処理を実行する。
【０２５８】
同様に、出力制御部１５ａは、画像処理部１４３から出力された視認用の画像データに対しては、ステップＳ２０６０で、キャッシュメモリ１５１に格納し、出力蓄積処理を行う。出力制御部１５ａは、視認用の画像データをキャッシュメモリ１５０に格納すると、処理をステップＳ２０６１に移行させる。ステップＳ２０６１で、出力制御部１５ａは、所定のタイミング、例えばフレーム周期に同期したタイミングで、キャッシュメモリ１５１に格納された視認用の画像データを出力する、出力制御処理を実行する。
【０２５９】
ここで、出力制御部１５ａは、ステップＳ２０６１における認識結果の出力と、視認用の画像データの出力とを同期させて実行する。これにより、認識結果と、視認用の画像データとが、時間的なズレが無く出力される。
【０２６０】
ステップＳ２０６１で認識結果および視認用の画像データに対する出力処理が実行されると、例えばステップＳ２００から、次の読出ラインのラインデータの読み出しが行われる。
【０２６１】
このように、第４の実施形態では、認識結果と視認用の画像データとをそれぞれキャッシュし、キャッシュされた認識結果と視認用の画像データとを所定のタイミングで出力している。そのため、認識結果と視認用の画像データとの時間的なズレを抑制した状態で、認識結果と視認用の画像データとを出力することができる。
【０２６２】
［７−１．第４の実施形態の第１の変形例］
次に、第４の実施形態の第１の変形例について説明する。上述した第４の実施形態では、認識結果と視認用の画像データとの時間的なズレを抑制しているが、この第４の実施形態の第１の変形例では、認識結果と視認用の画像データとの空間的なズレを抑制する。例えば、車載の用途などにより、撮像装置１が撮像中に高速に移動している場合、認識結果と視認用の画像データとの間に、空間的なズレ（例えばオブジェクトの２次元面内の位置ズレ）が発生する場合がある。また、高速で移動する動物体を撮像装置１で撮像した場合も、この動物体の画像データ内におけるオブジェクトにおいて、空間的なズレが発生する場合がある。第４の実施形態の第１の変形例では、このようなズレを、外部センサから取得する情報に基づき抑制する。
【０２６３】
図４６は、第４の実施形態の第１の変形例に係る撮像装置１の一例の機能を示す機能ブロック図である。この図４６に示す構成は、撮像装置１が高速に移動する場合に発生する空間的なズレを抑制する場合の例である。
【０２６４】
図４６に示す構成では、上述した図４４で示した構成に対して、出力制御部１５ｂに対して外部センサ１８の出力が供給されている。外部センサ１８は、例えば当該撮像装置１の動きを検知可能な装置であって、当該撮像装置１に搭載される角速度センサを適用できる。例えば、３軸のジャイロセンサを用いて各方向の角速度を計測し、撮像装置１の動き情報を取得し、取得した動き情報を、出力制御部１５ｂに入力する。また、外部センサ１８として、動き検出を用いて動画圧縮あるいは手ブレ補正などを行う他の撮像装置を用いることもできる。この他の撮像装置を、当該撮像装置１と一体的あるいは同期して移動可能に設置し、この他の撮像装置における動き検出の検出結果を、撮像装置１の動き情報として出力制御部１５ｂに入力する。
【０２６５】
出力制御部１５ｂは、外部センサ１８から入力された動き情報と、トリガ生成部１６e1および１６e2により出力された各トリガ信号の出力タイミングと、に基づき、認識結果と視認用の画像データと、の空間的なズレ量を推測する。例えば、出力制御部１５ｂは、トリガ生成部１６e1および１６e2により出力された各トリガ信号の出力タイミングの差分を求める。
【０２６６】
なお、出力制御部１５ｂに対する、認識処理実行部１２４からの認識結果の入力タイミングと、画像処理部１４３からの視認用の画像データの入力タイミングと、をそれぞれトリガ生成部１６e1および１６e2により出力された各トリガ信号の出力タイミングと見做すことができる。
【０２６７】
また、出力制御部１５ｂは、外部センサ１８から入力された動き情報に基づき、当該撮像装置１の動き方向と速度とを求める。出力制御部１５ｂは、これら、各トリガ信号の出力タイミングの差分と、当該撮像装置１の動き方向および速度と、に基づき、認識結果と視認用の画像データとの空間的なズレ量を算出する。出力制御部１５ｂは、算出した空間的なズレ量に基づき、キャッシュメモリ１５１に格納された視認用の画像データを補正する。補正は、例えば視認用の画像データに対するトリミングや、傾き補正などが考えられる。出力制御部１５ｂは、補正した視認用の画像データを、キャッシュメモリ１５１に格納する。
【０２６８】
出力制御部１５ｂは、所定のタイミング、例えばフレーム周期に同期したタイミングで、キャッシュメモリ１５０に格納された認識結果と、キャッシュメモリ１５１に格納された、補正した視認用の画像データと、を出力する。
【０２６９】
上述では、出力制御部１５ｂは、算出した空間的なズレ量に基づきキャッシュメモリ１５１に格納された視認用の画像データを補正するように説明したが、これはこの例に限定されない。すなわち、出力制御部１５ｂは、算出した空間的なズレ量に基づき、キャッシュメモリ１５０に格納された認識結果を補正することもできる。出力制御部１５ｂは、算出した空間的なズレ量に基づき、例えば認識結果に含まれる認識されたオブジェクトなどの座標情報を補正することが考えられる。また、出力制御部１５ｂは、認識結果および視認用の画像データをそれぞれ補正してもよい。
【０２７０】
図４７は、第４の実施形態の第１の変形例に係る処理を示す一例のフローチャートである。図４７において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３４のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様であるので、ここでの説明を省略する。また、図４７のステップＳ２０４およびステップＳ２０５の処理は、上述した図４５のステップＳ２０４４およびステップＳ２０５の処理と同様の処理であって、トリガ生成部１６e1および１６e2それぞれにおいて例えば並列的に実行される。これらステップＳ２０４４およびステップＳ２０５の処理については、ここでの詳細な説明を省略する。
【０２７１】
トリガ生成部１６e1においては、ステップＳ２０４４で、認識処理実行部１２４に対して認識結果の出力をさせるか否かを、上述した図４５のフローチャートのステップＳ２０４４と同様にして判定する。トリガ生成部１６e1は、現時点では認識結果を出力させないと判定した場合（ステップＳ２０４４、「Ｎｏ」）、処理をステップＳ２０６０に移行させる。
【０２７２】
一方、トリガ生成部１５ｆは、ステップＳ２０４４で認識結果を出力させると判定した場合（ステップＳ２０４４、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。ステップＳ２０５で、トリガ生成部１６e1は、認識処理実行部１２４に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップＳ２０６０に移行される。
【０２７３】
トリガ生成部１６e2における処理も、トリガ生成部１６e1の処理と同様である。すなわち、トリガ生成部１６e2においては、ステップＳ２０４４で、画像処理部１４３に対して視認用の画像データの出力をさせるか否かを判定する。トリガ生成部１６e1は、現時点では認識結果を出力させないと判定した場合（ステップＳ２０４４、「Ｎｏ」）、処理をステップＳ２０６０に移行させる。一方、トリガ生成部１５ｆは、認識結果を出力させると判定した場合（ステップＳ２０４４、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。ステップＳ２０５で、トリガ生成部１６e2は、画像処理部１４３に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップＳ２０６０に移行される。
【０２７４】
ステップＳ２０６０、および、ステップＳ２０６０の次のステップＳ２０６２の処理は、出力制御部１５ｂによる処理となる。出力制御部１５ｂは、認識処理実行部１２４から出力された認識結果と、画像処理部１４３から出力された視認用の画像データと、に対して、それぞれ出力制御処理を実行する。
【０２７５】
出力制御部１５ｂは、認識処理実行部１２４から出力された認識結果に対しては、ステップＳ２０６０で、キャッシュメモリ１５０に格納し、出力蓄積処理を行う。出力制御部１５ａは、認識結果をキャッシュメモリ１５０に格納すると、処理をステップＳ２０６２に移行させる。
【０２７６】
ステップＳ２０６２で、出力制御部１５ｂは、外部センサ１８から入力された動き情報を用いて、ステップＳ２０６０でキャッシュメモリ１５１に格納された視認用の画像データの補正処理を行い、補正された視認用の画像データをキャッシュメモリ１５１に格納する。これに限らず、ステップＳ２０６２で、出力制御部１５ｂは、ステップＳ２０６０でキャッシュメモリ１５０に格納された認識結果に対して補正処理を行ってもよい。出力制御部１５ｂは、補正された認識結果をキャッシュメモリ１５０に格納する。
【０２７７】
出力制御部１５ｂは、キャッシュメモリ１５０に格納された認識結果と、キャッシュメモリ１５１に格納された補正された視認用の画像データと、を所定のタイミングで出力する。
【０２７８】
このように、第４の実施形態の第１の変形例では、認識結果と視認用の画像データとをそれぞれキャッシュし、外部センサ１８から入力された動き情報を用いて、認識結果または視認用の画像データを補正している。そのため、認識結果と視認用の画像データとの空間的なズレを抑制した状態で、認識結果と視認用の画像データとを出力することができる。
【０２７９】
［７−２．第４の実施形態の第２の変形例］
次に、第４の実施形態の第２の変形例について説明する。第４の実施形態の第２の変形例は、認識処理部１２による認識処理の後に視認処理部１４において行われる画素データの読み出しを高速に行い、認識結果の出力タイミングと、視認用の画像データの出力タイミングと、の差分を抑制する例である。
【０２８０】
図４８は、第４の実施形態の第２の変形例に係る出力制御処理の例を模式的に示す模式図である。図４８において、ステップＳ１０〜ステップＳ１２は、上述した図３２に対応する図であって、センサ制御部１１によるフレーム読み出しの様子を模式的に示している。すなわち、ステップＳ１０でフレームがライン順次で読み出され、ステップＳ１１でオブジェクトを識別可能であると予測されるラインにジャンプして、読出が行われる。そして、ステップＳ１２で認識結果が出力される。
【０２８１】
図４８において、ステップＳ１２でフレームの全てのラインデータを読み出していない状態で認識結果が出力されているので、次のステップＳ２０で、視認処理部１４は、フレームにおける、ステップＳ１２までの処理で読み出されていないラインの読み出しを行う。このとき、視認処理部１４は、ステップＳ１２までの処理で認識処理部１２により行われていた読み出しの読み出し速度よりも高速の読み出し速度で、フレーム読み出しを実行する。視認処理部１４は、所定のタイミングで読み出しを終了させ、視認用の画像データを出力する。
【０２８２】
第４の実施形態の第２の変形例は、これにより、認識結果の出力タイミングと、視認用の画像データの出力タイミングとの時間差が抑制可能である。
【０２８３】
図４９は、第４の実施形態の第２の変形例に係る撮像装置１の一例の機能を示す機能ブロック図である。図４９において、トリガ生成部１６ｆは、認識処理実行部１２４から認識結果が随時、供給され、トリガ信号を、第３の実施形態の第２の変形例で説明（図３８〜図４０参照）した、認識処理実行部１２４から認識結果に含まれて渡される、認識確信度スコアに応じて生成する。
【０２８４】
トリガ生成部１６ｆは、認識処理実行部１２４から渡された認識結果に含まれる認識確信度スコアが閾値Ｃthに達した時間ｔTRGにおいて、トリガ信号を生成する。このトリガ信号に応じて、認識処理実行部１２４から出力制御部１５ｃに対して認識結果が渡される。出力制御部１５ｃは、渡された認識結果をキャッシュメモリ１５０に格納する。
【０２８５】
一方、トリガ生成部１６ｆは、認識処理実行部１２４に対してトリガ信号を出力すると共に、センサ部１０から画素データをより高速に読み出すように指示する高速読出指示を生成し、生成した高速読出指示を、読出決定部１４２に渡す。
【０２８６】
読出決定部１４２は、出力制御部１５ｂから渡された高速読出指示を含んだ読出領域情報を生成し、生成した読出領域情報をセンサ制御部１１に渡す。センサ制御部１１において、高速読出指示を含んだ読出領域情報は、読出制御部１１１から読出部１１０に渡される。読出部１１０は、読出領域情報に含まれる高速読出指示に応じて、センサ部１０をトリガ信号以前の駆動速度よりも高速の駆動速度で駆動するための撮像制御信号を生成する。センサ部１０は、この撮像制御信号に従いセンサ部１０を高速に駆動し、トリガ信号以前より高速に画素データを読み出す。
【０２８７】
読出部１１０に読み出された画素データは、画像データ蓄積制御部１４０を介して視認用の画像データとして画像処理部１４３に渡される。画像処理部１４３は、渡された画像データに対して処理の画像処理を施して出力制御部１５ｃに渡す。出力制御部１５ｃは、画像処理部１４３から渡された画像データをキャッシュメモリ１５１に格納する。出力制御部１５ｃは、所定のタイミング、例えばフレーム周期に同期したタイミングで、キャッシュメモリ１５０に格納された認識結果と、キャッシュメモリ１５１に格納された視認用の画像データと、を読み出し、それぞれ出力する。
【０２８８】
図５０は、第４の実施形態の第１の変形例に係る処理を示す一例のフローチャートである。図５０において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３４のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様であるので、ここでの説明を省略する。また、図５０のステップＳ２０４およびステップＳ２０５の処理は、上述した図５０のステップＳ２０４４およびステップＳ２０５の処理と同様の処理であって、トリガ生成部１６e1および１６e2それぞれにおいて例えば並列的に実行される。これらステップＳ２０４４およびステップＳ２０５の処理については、ここでの詳細な説明を省略する。
【０２８９】
トリガ生成部１６e1においては、ステップＳ２０４４で、認識処理実行部１２４に対して認識結果の出力をさせるか否かを、上述した図４５のフローチャートのステップＳ２０４４と同様にして判定する。トリガ生成部１６e1は、現時点では認識結果を出力させないと判定した場合（ステップＳ２０４４、「Ｎｏ」）、処理をステップＳ２０６３に移行させる。一方、トリガ生成部１６ｆは、認識結果を出力させると判定した場合（ステップＳ２０４４、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。ステップＳ２０５で、トリガ生成部１６e1は、認識処理実行部１２４に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップＳ２０５１に移行される。
【０２９０】
ステップＳ２０５１では、高速読出処理が行われる。すなわち、ステップＳ２０５１で、トリガ生成部１６ｆは、高速読出指示を生成して読出決定部１４２に渡す。この高速読出指示は、読出決定部１４２により生成される読出領域情報に含められてセンサ制御部１１に渡される。センサ制御部１１は、渡された読出領域情報を読出部１１０に渡す。読出部１１０は、渡された読出領域情報に含まれる高速読出指示に応じて、センサ部１０をより高速に駆動する。このとき、読出部１１０は、センサ部１０に対して間引き読み出しを行って読み出し速度を高速化してもよいし、読み出す画像データのビット数を削減して読み出し速度を高速化してもよい。
【０２９１】
読出部１１０は、高速に駆動されるセンサ部１０から画素データを読み出して視認処理部１４に渡す。視認処理部１４は、読出部１１０から渡された画素データを画像データ蓄積制御部１４０を介して画像処理部１４３に渡す。画像処理部１４３は、渡された画像データに対して処理の画像処理を施して、視認用の画像データとして出力する。画像処理部１４３から出力された視認用の画像データは、出力制御部１５ｃに渡され、キャッシュメモリ１５１に格納される。
【０２９２】
次のステップＳ２０６３で、出力制御部１５ｃは、キャッシュメモリ１５０に格納された認識結果と、キャッシュメモリ１５１に格納された補正された視認用の画像データと、を所定のタイミング、例えばフレーム周期に同期したタイミングで出力する。
【０２９３】
このように、第４の実施形態の第２の変形例では、認識結果が出力された後に高速読み出しにより視認用の画像データを取得し、取得した視認用の画像データと認識結果とを所定のタイミングで出力している。そのため、認識結果と視認用の画像データとの時間的なズレを抑制した状態で、認識結果と視認用の画像データとを出力することができる。
【０２９４】
なお、上述では、認識結果の出力後に、視認用の画像データのための高速読み出しを行っているが、これはこの例に限定されない。すなわち、視認用の画像データの読み出し終了後に、認識処理のための高速読み出しを行ってもよい。
【０２９５】
この場合、トリガ生成部１６ｆは、画像処理部１４３に対するトリガ信号の出力に応じて高速読出指示を生成し、生成した高速読出指示を、図４９において点線で示される経路により読出決定部１２３に渡す。この高速読出指示は、読出決定部１４２により生成される読出領域情報に含められてセンサ制御部１１に渡される。センサ制御部１１は、渡された読出領域情報を読出部１１０に渡す。読出部１１０は、渡された読出領域情報に含まれる高速読出指示に応じて、センサ部１０をより高速に駆動する。読出部１１０は、高速に駆動されるセンサ部１０から画素データを読み出して認識処理部１２に渡す。
【０２９６】
［８．第５の実施形態］
次に、第５の実施形態について説明する。第５の実施形態は、認識処理部１２が読み出しを行う読出領域と、視認処理部１４が読み出しを行う読出領域と、で調停を行う例である。例えば、認識処理部１２と視認処理部１４とのうち一方がライン間引きによりライン読み出しを行い、他方がライン順次で読み出しを行う場合、あるタイミングで認識処理部１２と視認処理部１４とで読み出しの対象とするラインが異なるものとなる。このような場合、認識処理部１２と視認処理部１４と間で読出領域の調停を行い、読出対象のラインを決定する。
【０２９７】
図５１は、第５の実施形態に係る調停処理の概要を説明するための一例のフローチャートである。図５１のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。以下では、読出単位をラインとし、センサ制御部１１は、センサ部１０からライン単位で画素データを読み出すものとする。
【０２９８】
図２１を参照しながら、図５１のフローチャートによる処理について説明する。ステップＳ３００で、読出部１１０は、センサ部１０からライン単位の画素データ（ラインデータ）を読み出す。読出部１１０は、センサ部１０から読み出されたラインデータを、認識処理部１２および視認処理部１４に渡す。視認処理部１４は、読出部１１０から渡された画素データを画像データ蓄積制御部１４０に渡す。画像データ蓄積制御部１４０は、渡された画素データを例えば画像データ蓄積部１４１に蓄積すると共に、画像処理部１４３に渡す。
【０２９９】
ステップＳ３００の処理が終了すると、処理がステップＳ３０１およびステップＳ３１１に移行される。ステップＳ３０１〜ステップＳ３０３の処理は、認識処理部１２における処理である。一方、ステップＳ３１１〜ステップＳ３１３の処理は、視認処理部１４における処理である。これら認識処理部１２における処理と、視認処理部１４における処理とは、並列して実行することが可能である。
【０３００】
先ず、ステップＳ３０１からの認識処理部１２による処理について説明する。認識処理部１２は、ステップＳ３０１で、読出部１１０から渡されたラインデータに基づく特徴量計算部１２０による特徴量の計算、計算された特徴量の特徴量蓄積部１２２への蓄積、特徴量蓄積部１２２に蓄積された、統合された特徴量に基づく認識処理実行部１２４による認識処理、などを実行する。次のステップＳ３０２で、認識処理部１２は、認識処理実行部１２４から認識処理による認識結果を出力する。次のステップＳ３０３で、認識処理部１２において、読出決定部１２３は、統合された特徴量を用いて、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。ステップＳ３０３の処理が終了すると、処理がステップＳ３２０ａに移行される。
【０３０１】
次に、ステップＳ３１１からの視認処理部１４による処理について説明する。視認処理部１４は、ステップＳ３１１で、読出部１１０から渡されたラインデータの画像データ蓄積部１４１への蓄積、画像データ蓄積部１４１に蓄積された画像データに対する画像処理部１４３による画像処理、などを実行する。次のステップＳ３１２で、視認処理部１４において画像処理部１４３は、ステップＳ３１１で画像処理を行った画像データを出力する。次のステップＳ３１２で、視認処理部１４において読出決定部１４２は、ステップＳ３００で読み出されたラインのライン情報と、ステップＳ３０２で認識処理部１２により出力された認識結果と、を用いて、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。ステップＳ３１３の処理が終了すると、処理がステップＳ３２０ａに移行される。
【０３０２】
ステップＳ３２０ａで、センサ制御部１１は、後述する調停制御部により、読出領域の調停に用いるための調停情報を取得する。調停情報の具体例については、後述する。
【０３０３】
次のステップＳ３２１で、調停制御部は、ステップＳ３２０ａで取得した調停情報を用いて、ステップＳ３０３で認識処理部１２から渡された読出ライン情報が示す読出ラインと、ステップＳ３１３で視認処理部１４から渡された読出ライン情報が示す読出ラインと、のうち、何れを次に読み出しを行う読出ラインとするかを決定する。次のステップＳ３２２で、センサ制御部１１は、ステップＳ３２１で調停制御部により決定された読出ラインの読み出しを行うためのライン制御処理を実行する。
【０３０４】
このように、第５の実施形態では、調停制御部により、所定に取得された調停情報に基づき、認識処理部１２と視認処理部１４との間で、次に読み出しを行う読出ラインの調停を行っている。そのため、例えば認識処理部１２と視認処理部１４とが異なるラインを読出ラインとして決定している場合であっても、ラインの読み出しに支障が生じることを回避することができる。
【０３０５】
（８−０−１．調停処理の具体例）
次に、第５の実施形態に係る調停処理について、より具体的に説明する。図５２は、第５の実施形態に適用可能な撮像装置１の機能を説明するための一例の機能ブロック図である。
【０３０６】
図５２に示される構成は、図２１に示した構成に対し、センサ制御部１１における読出制御部１１１ａが、調停制御部１１１０と、読出処理制御部１１１１と、を含む。調停制御部１１１０は、認識処理部１２の読出決定部１２３と、視認処理部１４の読出決定部１４２と、からそれぞれ１または複数の読出領域情報が、それぞれ調停処理を制御するための制御信号として入力される。換言すれば、この例における調停制御部１１１０は、この制御信号を、調停制御を行うための調停情報として用いる。
【０３０７】
ここで、１つの読出領域情報は、１本のラインを示しているものとする。すなわち、調停制御部１１１０は、読出決定部１２３および１４２それぞれから、１または複数のライン情報が入力される。
【０３０８】
第５の実施形態では、調停制御部１１１０は、読出決定部１２３から入力された制御信号と、視認処理部１４から入力された制御信号と、に対して論理積を取って、次に読み出しを行う１本の読出ラインを決定する。
【０３０９】
読出処理制御部１１１１は、調停制御部１１１０は、調停処理により決定された読出ラインを示す制御信号を、読出処理制御部１１１１に渡す。読出処理制御部１１１１は、渡された制御信号を、読出ラインを示す読出領域情報として、読出部１１０に渡す。
【０３１０】
なお、図５２の構成において、出力制御部１５は、認識処理実行部１２４から出力される認識結果と、画像処理部１４３から出力される視認用の画像データと、を後段の装置に出力する。ここで、後段の装置は、認識処理を行う他のセンサ装置を適用することができ、この場合、当該撮像装置１から出力される認識結果や視認用の画像データを、当該他のセンサ装置における認識処理に適用することも可能である。
【０３１１】
図５３は、第５の実施形態に係る調停処理を説明するための模式図である。図５３は、調停制御部１１１０が制御信号に基づき調停処理を行う例である。ここで、制御信号として、読出領域情報を用いる。
【０３１２】
図５３において、右方向に時間の経過を示している。また、縦方向は、上から認識処理部１２による認識制御、視認処理部１４による視認制御、センサ部１０から読み出される読出画像、調停制御部１１１０による調停結果、についてそれぞれ示している。上述したように、調停制御部１１１０は、認識処理部１２が出力する制御信号（読出領域情報）と、視認処理部１４が出力する制御信号と、の論理積を取ることで、調停を行う。
【０３１３】
ステップＳ４０では、認識処理部１２および視認処理部１４により、第ｉ行目（第ｉライン）を読み出す読出領域情報が生成される。認識処理部１２は、第（ｉ＋１）ライン、第（ｉ＋２）ライン、第（ｉ＋３）ラインの３ラインを読み出すための読出領域情報をそれぞれ出力している。視認処理部１４も同様に、第（ｉ＋１）ライン、第（ｉ＋２）ライン、第（ｉ＋３）ラインの３ラインを読み出すための制御信号をそれぞれ出力している。認識処理部１２から出力された各読出領域情報と、視認処理部１４から出力された各読出領域情報とは、それぞれ、調停制御部１１１０が調停制御を行うための制御信号として、調停制御部１１１０に入力される。
【０３１４】
調停制御部１１１０は、これら認識処理部１２からの第（ｉ＋１）ライン、第（ｉ＋２）ライン、第（ｉ＋３）ラインの各制御信号と、視認処理部１４からの、第（ｉ＋１）ライン、第（ｉ＋２）ライン、第（ｉ＋３）ラインの各制御信号に対して論理積を取る。ここでは、認識処理部１２からの各制御信号と、視認処理部１４からの各制御信号とが一致しているため、各制御信号が示す全てのラインを読み出すことができる。調停制御部１１１０は、第（ｉ＋１）ライン、第（ｉ＋２）ライン、第（ｉ＋３）ラインを、フレーム内の読み出し順に従い一つずつ選択し、順次に出力する。調停制御部１１１０は、例えば、最初に、第（ｉ＋１）ライン、第（ｉ＋２）ライン、第（ｉ＋３）ラインのうちフレーム上端に最も近い第（ｉ＋１）ラインを示す制御信号を、調停結果として選択する。調停制御部１１１０は、以降、第（ｉ＋２）ラインを示す制御信号、第（ｉ＋３）ラインを示す制御信号、と、ライン順次で１つずつ制御信号を選択する。
【０３１５】
調停制御部１１１０は、調停結果として選択した制御信号を読出処理制御部１１１１に渡す。読出処理制御部１１１１は、調停制御部１１１０から渡された制御信号を、読出領域情報として読出部１１０に渡す。読出部１１０は、この読出領域情報に示されるライン（第（ｉ＋１）ライン）のラインデータを、センサ部１０から読み出す。読出部１１０は、センサ部１０から読み出された第（ｉ＋１）ラインのラインデータを、認識処理部１２および視認処理部１４に渡す。
【０３１６】
これにより、ステップＳ４０では、図５３の読出画像として示されるように、例えばフレームの上端側のラインＬ＃ｉからフレームの下端側に向けて、ライン順次でラインデータが読み出される。
【０３１７】
ライン順次でフレームを読み出しを行い、フレームの例えば中央付近の第ｊ行目（第ｊライン）まで読み出した時点で、認識処理部１２により、読み出されたラインデータに基づき例えば数字の「８」または「９」が認識されたものとする（ステップＳ４１）。
【０３１８】
認識処理部１２は、ステップＳ４１で認識されたオブジェクトが数字の「８」または「９」の何れであるかを識別可能と予測されるラインまでラインを飛ばして読み出すことができる。この例では、認識処理部１２は、１ラインずつ間引いて読み出しを行うように、第（ｊ＋３）ライン、第（ｊ＋５）ライン、第（ｊ＋７）ラインの３ラインを読み出すための読出領域情報をそれぞれ出力している。認識処理部１２から出力された各読出領域情報は、調停制御部１１１０が調停制御を行うための各制御情報として、調停制御部１１１０に入力される。
【０３１９】
一方、視認用の画像は、認識比で密である必要があるため、視認処理部１４は、第（ｊ＋１）ライン、第（ｊ＋２）ライン、第（ｊ＋３）ラインの、ライン順次で３ラインを読み出すための読出領域情報をそれぞれ出力している。視認処理部１４から出力された各読出領域情報は、調停制御部１１１０が調停制御を行うための各制御情報として、調停制御部１１１０に入力される。
【０３２０】
調停制御部１１１０は、認識処理部１２から渡された各制御信号と、視認処理部１４から渡された各制御信号と、の論理積を取る。この場合、認識処理部１２から渡された各制御信号が第（ｊ＋３）ライン、第（ｊ＋５）ライン、第（ｊ＋７）ラインを示し、視認処理部１４から渡された各制御信号が第（ｊ＋１）ライン、第（ｊ＋２）ライン、第（ｊ＋３）ラインである。そのため、調停制御部１１１０により論理積を取ることで、第（ｊ＋３）ラインを示す制御信号が、調停結果として調停制御部１１１０から出力される。
【０３２１】
次に、ステップＳ４２で、上述の第ｊラインよりフレームの下端側の第ｋラインを読み出した時点で、ステップＳ４１において数字の「８」または「９」の何れかとして識別されたオブジェクトが、数字の「８」であることが確定したとする。この場合、認識処理部１２は、認識処理を終了させることができる。認識処理が終了した場合、認識処理部１２から調停制御部１１１０に入力される制御信号は、任意で良い。
【０３２２】
一方、視認用の画像としては、さらにラインを読み出す必要がある。この例では、視認処理部１４は、第（ｋ＋１）ライン、第（ｋ＋２）ライン、第（ｋ＋３）ラインの、ライン順次で３ラインを読み出すための読出領域情報をそれぞれ出力している。
【０３２３】
調停制御部１１１０は、例えば認識処理部１２による認識処理が終了した場合、認識処理部１２から入力される制御信号を無視する。そのため、調停制御部１１１０は、例えば、視認処理部１４から入力された制御信号に示される第（ｋ＋１）ライン、第（ｋ＋２）ライン、第（ｋ＋３）ラインを、フレーム内の読み出し順に従い一つずつ選択し、順次に出力する。調停制御部１１１０は、例えば、最初に、第（ｋ＋１）ライン、第（ｋ＋２）ライン、第（ｋ＋３）ラインのうちフレーム上端に近い第（ｋ＋１）ラインを示す制御信号を、調停結果として選択する。
【０３２４】
このように、第５の実施形態では、調停制御部１１１０により、認識処理部１２から入力された各制御信号と、視認処理部１４から入力された各制御信号と、の論理積を取ることで調停を行い、次に読み出しを行う読出ラインを決定している。そのため、そのため、例えば認識処理部１２と視認処理部１４とが異なるラインを読出ラインとして決定している場合であっても、ラインの読み出しに支障が生じることを回避することができる。
【０３２５】
なお、認識処理部１２から入力される制御信号が示すラインと、視認処理部１４から入力される制御信号が示すラインと、に重複が無い場合が有り得る。例えば、認識処理部１２から調停制御部１１１０に入力される各制御信号が第（ｉ＋１）ライン、第（ｉ＋３）ライン、第（ｉ＋５）ラインであり、視認処理部１４から調停制御部１１１０に入力される各制御信号が第（ｉ＋２）ライン、第（ｉ＋４）ライン、第（ｉ＋６）ラインであれば、両者の間に重複が無い。
【０３２６】
調停制御部１１１０において両者の論理積を取ると、出力が空集合となり、次に読み出しを行う読出ラインが決定されないことになる。これを回避するための第１の例として、認識処理部１２から入力される制御信号と、視認処理部１４から入力される制御信号と、のうち優先的に用いる制御信号を予め決めておくことが考えられる。一例として、認識処理部１２から入力される制御信号を、視認処理部１４から入力される制御信号に対して優先的に選択する。このとき、優先とされた認識処理部１２から入力される各制御信号の中で、視認処理部１４から入力される制御信号に近い制御信号を採用することが考えられる。
【０３２７】
第２の例として、認識処理部１２および視認処理部１４において、出力が可能な読出領域情報の数に予め制限を設けることが考えられる。例えば、認識処理部１２および視認処理部１４それぞれにおいて、順次に隣接する５ラインから３ラインを候補として選択する。
【０３２８】
図５４は、第５の実施形態に係る調停処理を示す一例のフローチャートである。図５４のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。
【０３２９】
ステップＳ３００で、読出部１１０は、センサ部１０からラインデータを読み出す。読出部１１０は、センサ部１０から読み出されたラインデータを、認識処理部１２および視認処理部１４に渡す。以降、図５４のステップＳ３０１〜ステップＳ３０３の認識処理部１２側の処理と、ステップＳ３１１〜ステップＳ３１３の視認処理部１４側の処理は、上述した図５１の対応する処理と同一であるので、ここでの説明を省略する。
【０３３０】
図５４において、ステップＳ３０３で、上述したようにして、認識処理部１２は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０に入力される。同様に、ステップＳ３１３で、視認処理部１４は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０に入力される。
【０３３１】
ステップＳ３０３およびステップＳ３１３で認識処理部１２および視認処理部１４から調停制御部１１１０に制御信号が入力されると、処理がステップＳ３２１に移行される。ステップＳ３２１で、調停制御部は、認識処理部１２および視認処理部１４から入力された各制御信号を調停情報として用いて、各制御信号の調停を行う。この調停により、ステップＳ３０３で認識処理部１２から渡された制御信号が示す読出ラインと、ステップＳ３１３で視認処理部１４から渡された制御信号が示す読出ラインと、のうち、何れを次に読み出しを行う読出ラインとするかを決定する。次のステップＳ３２２で、センサ制御部１１は、ステップＳ３２１で調停制御部により決定された読出ラインの読み出しを行うためのライン制御処理を実行する。
【０３３２】
［８−１．第５の実施形態の第１の変形例］
次に、第５の実施形態の第１の変形例について説明する。第５の実施形態の第１の変形例は、調停制御部１１１０ａが調停処理に用いる調停情報として、認識処理部１２による認識結果を適用する例である。図５５は、第５の実施形態の第１の変形例に適用可能な撮像装置１の機能を説明するための一例の機能ブロック図である。
【０３３３】
図５５に示される構成は、上述した図５１に示した構成に対して、調停制御部１１１０ａｂに対して認識処理実行部１２４から出力される認識結果が入力されている。第５の実施形態の第１の変形例に係る調停制御部１１１０ａｂは、この認識結果を調停情報として用いて、認識処理部１２から入力される読出領域情報と、視認処理部１４から入力される読出領域情報と、の調停処理を行う。
【０３３４】
図５６は、第５の実施形態の第１の変形例に係る調停処理の第１の例を説明するための模式図である。図５６において、右方向に時間の経過を示している。また、縦方向に、上から、読出制御および認識結果、センサ制御部１１により読み出された読出画像、調停制御部１１１０ａによる調停結果をそれぞれ示している。また、図５６の例では、当該撮像装置１が車載の用途とされ、フレームを下端側から上端側に向けてライン単位で読み出すものとしている。
【０３３５】
この図５６の例では、認識処理において動物体が認識された場合に、視認処理部１４の制御を優先させる。
【０３３６】
フレームの下端側において（ステップＳ５０）、ラインデータに基づき、認識処理部１２において認識処理実行部１２４により、路面が認識されている。この場合、認識対象が路面であるため、ある程度ラインをスキップして読み出すことができる。また、調停制御部１１１０ａは、認識結果に基づき認識処理に従い調停を行う。例えば、調停制御部１１１０ａは、路面が認識された認識結果に応じて、認識処理部１２から入力される読出領域情報を、視認処理部１４から入力される読出領域情報に対して優先して選択して、読出処理制御部１１１１に渡す。例えば、認識処理部１２がラインを間引きして読む制御を行う場合、ラインを所定の間隔で間引いて生成された読出領域情報が調停制御部１１１０ａに入力される。調停制御部１１１０ａは、この間引きを示す読出領域情報を、読出処理制御部１１１１に渡す。
【０３３７】
間引きを行いながらライン読み出しを行ったラインデータに基づき、認識処理部１２により、動物体が認識されたものとする。図５６の例では、ステップＳ５１で、認識処理実行部１２４により、フレームの１／２のライン位置の少し手前で物体が検出されたことを示す物体検出結果が取得され、またその検出された物体が動物体（人体）であることが検出される。認識処理部１２において、認識処理実行部１２４は、この人体が認識されたことを示す認識結果を、調停制御部１１１０ａに渡す。
【０３３８】
動物体は、時間による位置変化などが大きいため、例えばラインをスキップして読み出すライン読み出しでは、認識されたオブジェクトの、読み出したライン毎における位置のズレが大きくなり、ズレの補正が必要になる。そのため、調停制御部１１１０ａは、人体が認識されたことを示す認識結果に基づき視認用の制御を優先させ、視認処理部１４から入力される読出領域情報を、認識処理部１２から入力される読出領域情報に対して優先して選択して、読出処理制御部１１１１に渡す。この場合、視認処理部１４は、例えばライン順次で読み出しを行う読出領域情報を生成し、調停制御部１１１０ａに入力する。
【０３３９】
さらにフレームの上端側に向けてライン読み出しを行い、認識処理部１２において認識処理実行部１２４により路面外を示す認識結果が得られたものとする。路面外では、ステップＳ５０で認識された路面に対して、さらに疎らに間引きを行ってライン読み出しを行っても問題ないと考えられる。そのため、認識処理部１２は、路面の場合よりも間引きの間隔を大きくした読出領域情報を生成し、調停制御部１１１０ａに入力する。調停制御部１１１０ａは、認識処理実行部１２４から出力された、路面外を示す認識結果に応じて、認識処理部１２から入力される読出領域情報を、視認処理部１４から入力される読出領域情報に対して優先して選択して、読出処理制御部１１１１に渡す。
【０３４０】
図５６において、ステップＳ５２は、この読出領域情報に従いフレーム上端側における路面外の領域が、フレーム下端側の路面の領域に対してさらに疎らに読み出されている様子が示されている。また、ステップＳ５２において、フレームにおいて人体が検出されている中央部分は、視認用に密に読み出されている様子が示されている。
【０３４１】
図５７は、第５の実施形態の第１の変形例に係る調停処理の第２の例を説明するための模式図である。図５７における各部の意味は、上述の図５６と同様であるので、ここでの説明を省略する。また、図５７に例示される各画像は、全体的に輝度が低く暗めの画像となっており、手前側（フレームの下端側）が若干輝度が高く明るい画像となっている。
【０３４２】
この第２の例では、調停制御部１１１０ａは、認識結果の確からしさを示す確信度を調停情報として用いて、認識処理部１２から入力された読出領域情報と、視認処理部１４から入力された読出領域情報と、の調停を行う。
【０３４３】
フレームの下端側からライン読み出しが開始され、ラインデータに基づき、認識処理部１２において認識処理実行部１２４により、路面が所定以上の確信度（高確信度）で認識されたものとする（ステップＳ６０）。この場合、撮像対象が路面であるため、ある程度ラインをスキップして読み出すことができる。認識処理部１２は、認識結果に応じて、ラインを所定の間隔で間引いた読出領域情報を生成し、調停制御部１１１０ａに入力する。
【０３４４】
調停制御部１１１０ａは、認識処理実行部１２４から出力された認識結果が高確信度であるため、認識結果を信頼し、認識処理部１２から入力された読出領域情報と、視認処理部１４から入力された読出領域情報と、のうち認識処理部１２から入力された、この間引きを示す読出領域情報を選択する。調停制御部１１１０ａは、この間引きを示す読出領域情報を、読出処理制御部１１１１に渡す。
【０３４５】
間引きを行いながらライン読み出しを行ったラインデータに基づき、認識処理部１２により、動物体が認識されたものとする。図５７の例では、ステップＳ５１で、認識処理実行部１２４により、フレームの１／２のライン位置の少し手前で動物体（人体）が認識されている。ここで、図５７の例では、人体が認識された部分の輝度が低く、認識処理実行部１２４は、この人体の検出を、所定未満の確信度（低確信度）で認識したものとする。認識処理実行部１２４は、認識処理実行部１２４は、この人体が低確信度で認識されたことを示す認識結果を、調停制御部１１１０ａに渡す。
【０３４６】
この場合、人体が低確信度で認識されているので、人が視認で確認する必要があると考えられる。そのため、調停制御部１１１０ａは、視認処理部１４から出力される読出領域情報を、認識処理部１２から出力される読出領域情報に対して優先する。
【０３４７】
ここで、調停制御部１１１０ａは、認識処理実行部１２４から出力された確信度に応じて読出処理制御部１１１１に対して視認が容易となるような読み出し指示を与えることができる。例えば、低確信度で人体が認識されたライン範囲のラインを複数回読み出させる制御が考えられる。この場合、視認処理部１４において画像処理部１４３などにより、読み出したラインデータを位置が対応するライン同士で合成し、さらに画像処理（例えば高解像度化処理、コントラストの調整）などを施して、低確信度で認識された人物の画像を明確化させることが考えられる。
【０３４８】
また、当該撮像装置１が自動運転可能な車両に搭載される場合、当該車両が対応可能な自動運転のレベル（例えばレベル２〜４）に応じて、読出回数、画像処理の内容などを設定することも考えられる。
【０３４９】
さらにフレームの上端側に向けてライン読み出しを行い、認識処理部１２において認識処理実行部１２４により路面外を示す認識結果が高確信度で得られたものとする（ステップＳ６２）。路面外では、ステップＳ６０で認識された路面に対して、さらに疎らに間引きを行ってライン読み出しを行っても問題ないと考えられる。そのため、認識処理部１２は、路面の場合よりも間引きの間隔を大きくした読出領域情報を生成し、調停制御部１１１０ａに入力する。
【０３５０】
なお、視認用の画像において、路面外の画像に対しては高画質が要求されないと考えられる。そのため、視認処理部１４は、認識処理実行部１２４により路面外の認識がなれた場合に、デフォルトの画質設定で視認用の画像データを出力することが考えられる。
【０３５１】
図５８は、第５の実施形態の第１の変形例に係る調停処理を示す一例のフローチャートである。図５８のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。
【０３５２】
ステップＳ３００で、読出部１１０は、センサ部１０からラインデータを読み出す。読出部１１０は、センサ部１０から読み出されたラインデータを、認識処理部１２および視認処理部１４に渡す。以降、図５８のステップＳ３０１〜ステップＳ３０３の認識処理部１２側の処理と、ステップＳ３１１〜ステップＳ３１３の視認処理部１４側の処理は、上述した図５１の対応する処理と同一であるので、ここでの説明を省略する。
【０３５３】
図５８において、ステップＳ３０３で、上述したようにして、認識処理部１２は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０ａに入力される。同様に、ステップＳ３１３で、視認処理部１４は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０ａに入力される。
【０３５４】
ステップＳ３０３およびステップＳ３１３で認識処理部１２および視認処理部１４から調停制御部１１１０ａに制御信号が入力されると、処理がステップＳ３２０ｂに移行される。ステップＳ３２０ｂで、調停制御部１１１０ａは、認識処理実行部１２４から出力される認識結果を、調停情報として取得する。
【０３５５】
次のステップＳ３２１で、調停制御部１１１０ｂは、ステップＳ３２０ｂで取得した認識結果に示される確信度に応じて、ステップＳ３０３で認識処理部１２から渡された読出領域情報と、ステップＳ３１３で視認処理部１４から渡された読出領域情報と、のうち、何れを次に読み出しを行うラインを示す読出領域情報とするかを決定する。次のステップＳ３２２で、センサ制御部１１は、ステップＳ３２１で調停制御部１１１０ｂにより決定された読出領域情報を読出処理制御部１１１１に渡し、当該読出領域情報に示される読出ラインの読み出しを行うためのライン制御処理を実行する。
【０３５６】
このように、第５の実施形態の第１の変形例では、ラインデータに基づく認識結果に応じて、認識処理部１２から出力された読出領域情報と、視認処理部１４から出力された読出領域情報と、のうち何れを次に読み出しを行う読出ラインを示す読出領域情報として用いるかを、適応的に決定することができる。そのため、撮像対象の様々なシーンに応じて適切な視認用画像を得ることが可能である。
【０３５７】
［８−２．第５の実施形態の第２の変形例］
次に、第５の実施形態の第２の変形例について説明する。第５の実施形態の第２の変形例は、調停制御部１１１０が調停処理に用いる調停情報として、視認処理部１４から出力される視認用画像を適用する例である。図５９は、第５の実施形態の第２の変形例に適用可能な撮像装置１の機能を説明するための一例の機能ブロック図である。
【０３５８】
図５９に示される構成は、上述した図５１に示した構成に対して、調停制御部１１１０ｂに対して画像処理部１４３が画像処理を行った信号処理結果が入力されている。この信号処理結果は、画像処理部１４３から出力される視認用の画像データそのものであってもよいし、調停制御部１１１０による判定が容易なように加工した画像データであってもよい。第５の実施形態の第２の変形例に係る調停制御部１１１０ｂは、この信号処理結果を調停情報として用いて、認識処理部１２から入力される読出領域情報と、視認処理部１４から入力される読出領域情報と、の調停処理を行う。
【０３５９】
図６０は、第５の実施形態の第２の変形例に係る調停処理を説明するための模式図である。図６０における各部の意味は、上述の図６０と同様であるので、ここでの説明を省略する。また、図６０に例示される各画像は、上述した図５７で用いた各画像と対応するものであって、全体的に輝度が低く暗めの画像となっており、手前側（フレームの下端側）が若干輝度が高く明るい画像となっている。
【０３６０】
ステップＳ７０に示すように、フレームの下端側からライン読み出しが開始され、画像処理部１４３は、読み出されたラインデータの輝度値（例えばラインに含まれる各画素データの輝度値の平均値）を求め、求めた輝度値を含む信号処理結果を調停制御部１１１０ｂに渡す。調停制御部１１１０ｂは、画像処理部１４３から渡された信号処理結果に含まれる輝度値が第１の閾値以上である場合、読み出された領域が明るく視認に適しているとして、視認優先の制御を行う。具体的には、調停制御部１１１０ｂは、認識処理部１２から入力された読出領域情報と、視認処理部１４から入力された読出領域情報と、のうち視認処理部１４から出力された読出領域情報を選択する。調停制御部１１１０ｂは、選択した視認処理部１４から出力された読出領域情報を、次に読み出しを行うラインを示す読出領域情報として選択する。
【０３６１】
なお、図６０の例では、視認処理部１４に対して、ラインの輝度値が所定以上の場合に、ライン間引きを行うように要求されているものとする。このフレームの下端部において、視認処理部１４は、ライン間引きを行うような読出領域情報を生成し、調停制御部１１１０に渡す。
【０３６２】
続けてライン読み出しを行ったラインデータに基づき、画像処理部１４３より、ラインデータの輝度値を含む信号処理結果が調停制御部１１１０ｂに渡される。調停制御部１１１０ｂは、渡された信号処理結果に含まれる輝度値が第１の閾値未満である場合、読み出された領域が暗く視認に適していないとして、認識優先の制御を行う。具体的には、調停制御部１１１０ｂは、認識処理部１２から入力された読出領域情報と、視認処理部１４から入力された読出領域情報と、のうち認識処理部１２から入力された読出領域情報を選択する（ステップＳ７１）。
【０３６３】
さらにフレームの上端側に向けてライン読み出しを行い、画像処理部１４３より、ラインデータの輝度値を含む信号処理結果が調停制御部１１１０ｂに渡される。調停制御部１１１０ｂは、画像処理部１４３から渡された信号処理結果に含まれる輝度値が第１の閾値以上である場合、読み出された領域が明るく視認に適しているとして、制御を視認優先の制御に戻す。具体的には、調停制御部１１１０ｂは、認識処理部１２から入力された読出領域情報と、視認処理部１４から入力された読出領域情報と、のうち視認処理部１４から出力された読出領域情報を、次に読み出しを行うラインを示す読出領域情報として選択する（ステップＳ７２）。
【０３６４】
なお、上述では、輝度値の判定を第１の閾値のみで行っているが、これはこの例に限定されない。例えば、第１の閾値よりも輝度値が高い第２の輝度値を設け、この第２の閾値を、視認優先の制御の際に適用することができる。この第２の閾値を用いることで、視認優先の制御において、輝度値が飽和した所謂「白飛び」の状態を回避することが可能である。
【０３６５】
図６１は、第５の実施形態の第２の変形例に係る調停処理を示す一例のフローチャートである。図６１のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。
【０３６６】
ステップＳ３００で、読出部１１０は、センサ部１０からラインデータを読み出す。読出部１１０は、センサ部１０から読み出されたラインデータを、認識処理部１２および視認処理部１４に渡す。以降、図６１のステップＳ３０１〜ステップＳ３０３の認識処理部１２側の処理と、ステップＳ３１１〜ステップＳ３１３の視認処理部１４側の処理は、上述した図５１の対応する処理と同一であるので、ここでの説明を省略する。
【０３６７】
図６１において、ステップＳ３０３で、上述したようにして、認識処理部１２は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０ｂに入力される。同様に、ステップＳ３１３で、視認処理部１４は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０ｂに入力される。
【０３６８】
ステップＳ３０３およびステップＳ３１３で認識処理部１２および視認処理部１４から調停制御部１１１０ｂに制御信号が入力されると、処理がステップＳ３２０ｃに移行される。ステップＳ３２０ｃで、調停制御部１１１０ｂは、画像処理部１４３から出力される信号処理結果を、調停情報として取得する。
【０３６９】
次のステップＳ３２１で、調停制御部１１１０ｂは、ステップＳ３２０ｃで取得した信号処理結果に含まれる輝度値に応じて、ステップＳ３０３で認識処理部１２から渡された読出領域情報と、ステップＳ３１３で視認処理部１４から渡された読出領域情報と、のうち、何れを次に読み出しを行うラインを示す読出領域情報とするかを決定する。次のステップＳ３２２で、センサ制御部１１は、ステップＳ３２１で調停制御部１１１０ｂにより決定された読出領域情報を読出処理制御部１１１１に渡し、当該読出領域情報に示される読出ラインの読み出しを行うためのライン制御処理を実行する。
【０３７０】
このように、第５の実施形態の第２の変形例では、ラインデータに基づく輝度値に応じて、認識処理部１２から出力された読出領域情報と、視認処理部１４から出力された読出領域情報と、のうち何れを次に読み出しを行う読出ラインを示す読出領域情報として用いるかを、適応的に決定することができる。そのため、撮像環境の明るさに応じて適切な視認用画像を得ることが可能である。
【０３７１】
［８−３．第５の実施形態の第３の変形例］
次に、第５の実施形態の第３の変形例について説明する。この第５の実施形態の第３の変形例は、調停制御部１１１０が調停処理に用いる調停情報として、外部から供給される外部制御情報を適用する例である。図６２は、第５の実施形態の第３の変形例に適用可能な撮像装置１の機能を説明するための一例の機能ブロック図である。
【０３７２】
図６２に示される構成は、上述した図５１に示した構成に対して、調停制御部１１１０ｃに対して外部制御情報を入力可能としたものである。外部制御情報としては、当該撮像装置１が自動運転可能な車両に搭載される場合、当該車両が対応可能な自動運転のレベル（例えばレベル２〜４）を示す情報が適用できる。これに限らず、外部制御情報として、他のセンサの出力信号を適用することもできる。この場合、他のセンサとしては、他の撮像装置、ＬｉＤＡＲセンサ、レーダ装置などが適用できる。さらに、カメラとディスプレイとを用いて車両の周囲の状況を確認する電子ミラーのカメラによる出力を、外部制御情報として用いることも可能である。また、外部制御情報として、例えば外部装置の動作モードを示す情報を用いてもよい。
【０３７３】
第５の実施形態の第３の変形例に係る調停制御部１１１０ｃは、この外部制御情報を調停情報として用いて、認識処理部１２から入力される読出領域情報と、視認処理部１４から入力される読出領域情報と、の調停処理を行う。
【０３７４】
図６３は、第５の実施形態の第３の変形例に係る調停処理を示す一例のフローチャートである。図６３のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。
【０３７５】
ステップＳ３００で、読出部１１０は、センサ部１０からラインデータを読み出す。読出部１１０は、センサ部１０から読み出されたラインデータを、認識処理部１２および視認処理部１４に渡す。以降、図６３のステップＳ３０１〜ステップＳ３０３の認識処理部１２側の処理と、ステップＳ３１１〜ステップＳ３１３の視認処理部１４側の処理は、上述した図５１の対応する処理と同一であるので、ここでの説明を省略する。
【０３７６】
図６３において、ステップＳ３０３で、上述したようにして、認識処理部１２は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０ｃに入力される。同様に、ステップＳ３１３で、視認処理部１４は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０ｃに入力される。
【０３７７】
ステップＳ３０３およびステップＳ３１３で認識処理部１２および視認処理部１４から調停制御部１１１０ｂに制御信号が入力されると、処理がステップＳ３２０ｄに移行される。ステップＳ３２０ｄで、調停制御部１１１０ｃは、外部装置から入力される外部制御情報を、調停情報として取得する。
【０３７８】
次のステップＳ３２１で、調停制御部１１１０ｂは、ステップＳ３２０ｃで取得した外部制御情報に応じて、ステップＳ３０３で認識処理部１２から渡された読出領域情報と、ステップＳ３１３で視認処理部１４から渡された読出領域情報と、のうち、何れを次に読み出しを行うラインを示す読出領域情報とするかを決定する。
【０３７９】
このとき、調停制御部１１１０ｃは、外部制御情報として、他のセンサから入力される例えば認識情報を用いる際に、当該認識情報の信頼度が低い場合には、ステップＳ３０３で認識処理部１２から渡された読出領域情報を選択しないようにする。また、外部制御情報として、当該撮像装置１が自動運転可能な車両に搭載され、当該車両が対応可能な自動運転のレベル（例えばレベル２〜４）を示す情報を用いる場合に、ステップＳ３０３で認識処理部１２から渡された読出領域情報を優先的に用いるようにすることが考えられる。
【０３８０】
次のステップＳ３２２で、センサ制御部１１は、ステップＳ３２１で調停制御部１１１０ｂにより決定された読出領域情報を読出処理制御部１１１１に渡し、当該読出領域情報に示される読出ラインの読み出しを行うためのライン制御処理を実行する。
【０３８１】
このように、第５の実施形態の第３の変形例では、外部装置から出力される外部制御情報を調停情報として用いて、調停制御部１１１０ｃによる調停を行っている。そのため、多様な場面における活用が可能となり、また、外部装置が視認用の画像データの出力を持たない外部センサである場合に、当該外部センサに対して視認用の画像データによる画像を提供可能となる。
【０３８２】
［９．第６の実施形態］
次に、第６の実施形態として、本開示に係る、第１〜第５の実施形態および各変形例による撮像装置１の適用例について説明する。図６４は、上述の第１〜第５の実施形態および各変形例による撮像装置１を使用する使用例を示す図である。
【０３８３】
上述した撮像装置１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
【０３８４】
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
【０３８５】
［本開示に係る技術のさらなる適用例］
本開示に係る技術（本技術）は、様々な製品へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
【０３８６】
図６５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０３８７】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図６５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（インタフェース）１２０５３が図示されている。
【０３８８】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０３８９】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０３９０】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット１２０３０は、例えば、受信した画像に対して画像処理を施し、画像処理の結果に基づき物体検出処理や距離検出処理を行う。
【０３９１】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０３９２】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０３９３】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced  Driver  Assistance  System)の機能実現を目的とした協調制御を行うことができる。
【０３９４】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０３９５】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０３９６】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図６５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０３９７】
図６６は、撮像部１２０３１の設置位置の例を示す図である。図６６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５を有する。
【０３９８】
撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１および１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０３９９】
なお、図６６には、撮像部１２１０１〜１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２および１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２および１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１〜１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０４００】
撮像部１２１０１〜１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１〜１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０４０１】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１〜１２１０４から得られた距離情報を基に、撮像範囲１２１１１〜１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０４０２】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１〜１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０４０３】
撮像部１２１０１〜１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１〜１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１〜１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１〜１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０４０４】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。本開示に係る撮像装置１を撮像部１２０３１に適用することで、認識処理用の撮像と視認用の撮像とが両立可能となり、認識処理および人による視認それぞれに対して十分な情報を提供することが可能となる。
【０４０５】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０４０６】
また、本技術は以下のような構成も取ることができる。
（１）
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域から前記画素信号を読み出す第１の読出単位を設定する、第１の読出単位設定部と、
後段に出力するために前記画素領域から前記画素信号を読み出す第２の読出単位を設定する第２の読出単位設定部と、
前記第１の読出単位と前記第２の読出単位とで調停を行う調停部と、
を備え、
前記読出単位制御部は、
前記調停部による調停により、前記読出単位を設定する、
撮像装置。
（２）
前記調停部は、
前記第１の読出単位と前記第２の読出単位との論理積により、前記調停を行う、
前記（１）に記載の撮像装置。
（３）
前記調停部は、
前記認識処理の結果に基づき前記調停を行う、
前記（１）に記載の撮像装置。
（４）
前記調停部は、
前記認識処理の結果が動物体の認識を示している場合、前記第２の読出領域を選択する、
前記（３）に記載の撮像装置。
（５）
前記調停部は、
前記認識処理の結果が閾値以下の認識確信度を示している場合に、前記第２の読出単位を選択する、
前記（３）または（４）に記載の撮像装置。
（６）
前記調停部は、
前記第２の読出単位から読み出された前記画素信号に基づき前記調停を行う、
前記（１）に記載の撮像装置。
（７）
前記調停部は、
前記画素信号に基づく輝度が閾値を超える場合に、前記第２の読出単位を選択する、
前記（６）に記載の撮像装置。
（８）
前記調停部は、
当該撮像装置の外部から供給される外部情報に基づき前記調停を行う、
前記（１）乃至（７）の何れかに記載の撮像装置。
（９）
前記調停部は、
前記外部から供給される動作モードに応じて前記調停を行う、
前記（８）に記載の撮像装置。
（１０）
前記調停部は、
前記外部から供給される他のセンサ装置の検知出力に応じて前記調停を行う、
前記（８）または（９）に記載の撮像装置。
（１１）
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域から前記画素信号を読み出す第１の読出単位を設定する、第１の読出単位設定部と、
後段に出力するために前記画素領域から前記画素信号を読み出す第２の読出単位を設定する第２の読出単位設定部と、
前記第１の読出単位と前記第２の読出単位とで調停を行う調停部と、
を備える撮像装置と、
前記認識処理を実行する認識部、
を備える情報処理装置と、
を含み、
前記読出単位制御部は、
前記調停部による調停により、前記読出単位を設定する、
撮像システム。
（１２）
プロセッサにより実行される、
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域に含まれる画素から画素信号を読み出す第１の読出単位を設定する、第１の読出単位設定ステップと、
後段に出力するために前記画素領域から前記画素信号を読み出す第２の読出単位を設定する第２の読出単位設定ステップと、
前記第１の読出単位と前記第２の読出単位とで調停を行う調停ステップと、
を含み、
前記読出単位制御ステップは、
前記調停ステップによる調停により、前記読出単位を設定する、
撮像方法。
（１３）
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域に含まれる画素から画素信号を読み出す第１の読出単位を設定する、第１の読出単位設定ステップと、
後段に出力するために前記画素領域から前記画素信号を読み出す第２の読出単位を設定する第２の読出単位設定ステップと、
前記第１の読出単位と前記第２の読出単位とで調停を行う調停ステップと、
をプロセッサに実行させ、
前記読出単位制御ステップは、
前記調停ステップによる調停により、前記読出単位を設定する、
るための撮像プログラム。
【０４０７】
さらに、本技術は以下のような構成も取ることができる。
（１４）
画像データを生成する撮像部と、
前記撮像部から読み出された単位領域ごとの画像データに対して学習モデルを用いた機械学習処理を実行する機械学習部と、
前記機械学習処理の結果に基づいて、所定の機能を実行する機能実行部と、
を備える電子機器。
（１５）
前記機械学習部は、同一フレームの画像データにおける最初に入力された単位領域の画像データに対してＣＮＮ（Convolution  Neural  Network）を利用した機械学習処理を実行する前記（１４）に記載の電子機器。
（１６）
前記機械学習部は、前記最初に入力された単位領域の画像データに対する前記ＣＮＮを利用した機械学習処理に失敗した場合、前記同一フレームの画像データにおける次に入力された単位領域の画像データに対してＲＮＮ（Recurrent  Neural  Network）を利用した機械学習処理を実行する前記（１５）に記載の電子機器。
（１７）
前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
前記機械学習部には、前記ライン単位で前記画像データが入力される
前記（１４）乃至（１６）の何れかに記載の電子機器。
（１８）
前記単位領域の画像データは、所定ライン数の画像データである前記（１）乃至（１７）の何れかに記載の電子機器。
（１９）
前記単位領域の画像データは、矩形領域の画像データである前記（１４）乃至（１７）の何れかに記載の電子機器。
（２０）
前記学習モデルのプログラムを記録するメモリをさらに備え、
前記機械学習部は、前記メモリから前記プログラムを読み出して実行することで、前記機械学習処理を実行する
前記（１４）乃至（１９）の何れかに記載の電子機器。
【符号の説明】
【０４０８】
１  撮像装置
１０  センサ部
１１  センサ制御部
１２  認識処理部
１４  視認処理部
１１０  読出部
１１１  読出制御部
１２０  特徴量計算部
１２１  特徴量蓄積制御部
１２２  特徴量蓄積部
１２３  読出決定部
１２４  認識処理実行部
１４０  画像データ蓄積制御部
１４１  画像データ蓄積部
１４３  画像処理部
【図１】
2020039126.tif 000003
【図２Ａ】
2020039126.tif 000004
【図２Ｂ】
2020039126.tif 000005
【図３Ａ】
2020039126.tif 000006
【図３Ｂ】
2020039126.tif 000007
【図４】
2020039126.tif 000008
【図５Ａ】
2020039126.tif 000009
【図５Ｂ】
2020039126.tif 000010
【図５Ｃ】
2020039126.tif 000011
【図６Ａ】
2020039126.tif 000012
【図６Ｂ】
2020039126.tif 000013
【図６Ｃ】
2020039126.tif 000014
【図７Ａ】
2020039126.tif 000015
【図７Ｂ】
2020039126.tif 000016
【図８Ａ】
2020039126.tif 000017
【図８Ｂ】
2020039126.tif 000018
【図８Ｃ】
2020039126.tif 000019
【図９Ａ】
2020039126.tif 000020
【図９Ｂ】
2020039126.tif 000021
【図１０】
2020039126.tif 000022
【図１１】
2020039126.tif 000023
【図１２Ａ】
2020039126.tif 000024
【図１２Ｂ】
2020039126.tif 000025
【図１３Ａ】
2020039126.tif 000026
【図１３Ｂ】
2020039126.tif 000027
【図１４Ａ】
2020039126.tif 000028
【図１４Ｂ】
2020039126.tif 000029
【図１５Ａ】
2020039126.tif 000030
【図１５Ｂ】
2020039126.tif 000031
【図１６】
2020039126.tif 000032
【図１７】
2020039126.tif 000033
【図１８】
2020039126.tif 000034
【図１９】
2020039126.tif 000035
【図２０Ａ】
2020039126.tif 000036
【図２０Ｂ】
2020039126.tif 000037
【図２１】
2020039126.tif 000038
【図２２】
2020039126.tif 000039
【図２３】
2020039126.tif 000040
【図２４】
2020039126.tif 000041
【図２５】
2020039126.tif 000042
【図２６】
2020039126.tif 000043
【図２７】
2020039126.tif 000044
【図２８】
2020039126.tif 000045
【図２９Ａ】
2020039126.tif 000046
【図２９Ｂ】
2020039126.tif 000047
【図３０】
2020039126.tif 000048
【図３１】
2020039126.tif 000049
【図３２】
2020039126.tif 000050
【図３３Ａ】
2020039126.tif 000051
【図３３Ｂ】
2020039126.tif 000052
【図３４】
2020039126.tif 000053
【図３５】
2020039126.tif 000054
【図３６Ａ】
2020039126.tif 000055
【図３６Ｂ】
2020039126.tif 000056
【図３７】
2020039126.tif 000057
【図３８】
2020039126.tif 000058
【図３９Ａ】
2020039126.tif 000059
【図３９Ｂ】
2020039126.tif 000060
【図４０】
2020039126.tif 000061
【図４１Ａ】
2020039126.tif 000062
【図４１Ｂ】
2020039126.tif 000063
【図４２】
2020039126.tif 000064
【図４３】
2020039126.tif 000065
【図４４】
2020039126.tif 000066
【図４５】
2020039126.tif 000067
【図４６】
2020039126.tif 000068
【図４７】
2020039126.tif 000069
【図４８】
2020039126.tif 000070
【図４９】
2020039126.tif 000071
【図５０】
2020039126.tif 000072
【図５１】
2020039126.tif 000073
【図５２】
2020039126.tif 000074
【図５３】
2020039126.tif 000075
【図５４】
2020039126.tif 000076
【図５５】
2020039126.tif 000077
【図５６】
2020039126.tif 000078
【図５７】
2020039126.tif 000079
【図５８】
2020039126.tif 000080
【図５９】
2020039126.tif 000081
【図６０】
2020039126.tif 000082
【図６１】
2020039126.tif 000083
【図６２】
2020039126.tif 000084
【図６３】
2020039126.tif 000085
【図６４】
2020039126.tif 000086
【図６５】
2020039126.tif 000087
【図６６】
2020039126.tif 000088
【手続補正書】
【提出日】令和1年11月1日(2019.11.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御部と、
前記読出単位に応じた教師データを学習した認識部による認識処理のために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第１の読出単位候補を設定する、第１の読出単位候補設定部と、
画像データを生成するために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第２の読出単位候補を設定する第２の読出単位候補設定部と、
前記第１の読出単位候補と前記第２の読出単位候補とで調停を行う調停部と、
を備え、
前記読出単位制御部は、
前記調停部による調停により、前記読出単位を設定する、
撮像装置。
【請求項２】
前記調停部は、
前記第１の読出単位候補と前記第２の読出単位候補との論理積により、前記調停を行う、
請求項１に記載の撮像装置。
【請求項３】
前記調停部は、
前記第１の読出単位候補と前記第２の読出単位候補との論理積が空集合の場合、前記第１の読出単位候補と前記第２の読出単位候補とのうち何れか一方を優先するように、前記調停を行う、
請求項２に記載の撮像装置。
【請求項４】
前記調停部は、
前記認識処理の結果に基づき前記調停を行う、
請求項１に記載の撮像装置。
【請求項５】
前記調停部は、
前記認識処理の結果が動物体の認識を示している場合、前記第２の読出単位候補から読出単位を選択する、
請求項４に記載の撮像装置。
【請求項６】
前記調停部は、
前記認識処理の結果が閾値以下の認識確信度を示している場合に、前記第２の読出単位候補から読出単位を選択する、
請求項４に記載の撮像装置。
【請求項７】
前記調停部は、
前記第２の読出単位候補から選択され読み出された前記画素信号に基づき前記調停を行う、
請求項１に記載の撮像装置。
【請求項８】
前記調停部は、
前記画素信号に基づく輝度が閾値を超える場合に、前記第２の読出単位候補から読出単位を選択する、
請求項７に記載の撮像装置。
【請求項９】
前記調停部は、
当該撮像装置の外部から供給される外部情報に基づき前記調停を行う、
請求項１に記載の撮像装置。
【請求項１０】
前記調停部は、
前記外部から供給される動作モードに応じて前記調停を行う、
請求項９に記載の撮像装置。
【請求項１１】
前記調停部は、
前記外部から供給される他のセンサ装置の検知出力に応じて前記調停を行う、
請求項９に記載の撮像装置。
【請求項１２】
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御部と、
前記読出単位に応じた教師データを学習した認識部による認識処理のために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第１の読出単位候補を設定する、第１の読出単位候補設定部と、
画像データを生成するために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第２の読出単位候補を設定する第２の読出単位候補設定部と、
前記第１の読出単位候補と前記第２の読出単位候補とで調停を行う調停部と、
を備える撮像装置と、
前記認識部、
を備える情報処理装置と、
を含み、
前記読出単位制御部は、
前記調停部による調停により、前記読出単位を設定する、
撮像システム。
【請求項１３】
プロセッサにより実行される、
撮像部が有する、複数の画素が配列された画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御ステップと、
前記読出単位に応じた教師データを学習した認識部による認識処理のために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第１の読出単位候補を設定する、第１の読出単位候補設定ステップと、
画像データを生成するために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第２の読出単位候補を設定する第２の読出単位候補設定ステップと、
前記第１の読出単位候補と前記第２の読出単位候補とで調停を行う調停ステップと、
を含み、
前記読出単位制御ステップは、
前記調停ステップによる調停により、前記読出単位を設定する、
撮像方法。
【請求項１４】
撮像部が有する、複数の画素が配列された画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識部による認識処理のために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第１の読出単位候補を設定する、第１の読出単位候補設定ステップと、
画像データを生成するために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第２の読出単位候補を設定する第２の読出単位候補設定ステップと、
前記第１の読出単位候補と前記第２の読出単位候補とで調停を行う調停ステップと、
をプロセッサに実行させ、
前記読出単位制御ステップは、
前記調停ステップによる調停により、前記読出単位を設定する、
ための撮像プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本開示に係る撮像装置は、複数の画素が配列された画素領域を有し、画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御部と、読出単位に応じた教師データを学習した認識部による認識処理のために画素領域から画素信号の読み出しを行う読出単位の候補である第１の読出単位候補を設定する、第１の読出単位候補設定部と、画像データを生成するために画素領域から画素信号の読み出しを行う読出単位の候補である第２の読出単位候補を設定する第２の読出単位候補設定部と、第１の読出単位候補と第２の読出単位候補とで調停を行う調停部と、を備え、読出単位制御部は、調停部による調停により、読出単位を設定する。