(57)【要約】【課題】イメージセンサから出力されるデータ量が少なくし、かつ個人情報を保護することのできる固体撮像システム、固体撮像装置、情報処理装置、画像処理方法、情報処理方法及びプログラムを提案する。【解決手段】固体撮像システムは、固体撮像装置と、情報処理装置とを含む。固体撮像装置は、画像データに対してＤＮＮアルゴリズムの一部を第１ＤＮＮによって実行して第１結果を生成する第１ＤＮＮ処理部を備える。情報処理装置は、固体撮像装置から取得された第１結果に対してＤＮＮアルゴリズムの残りを第２ＤＮＮによって実行して第２結果を生成する第２ＤＮＮ処理部を備える。【選択図】図１
2020047191.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像装置と、情報処理装置とを含み、
前記固体撮像装置は、
画像データに対してＤＮＮアルゴリズムの一部を第１ＤＮＮによって実行して第１結果を生成する第１ＤＮＮ処理部を備え、
前記情報処理装置は、
前記固体撮像装置から取得された前記第１結果に対して前記ＤＮＮアルゴリズムの残りを第２ＤＮＮによって実行して第２結果を生成する第２ＤＮＮ処理部を備える、
固体撮像システム。
【請求項２】
前記第１結果は、前記ＤＮＮアルゴリズムの中間層から出力された特徴マップを含む、
請求項１に記載の固体撮像システム。
【請求項３】
前記固体撮像装置は、少なくとも、前記第１ＤＮＮを実行するための前記ＤＮＮアルゴリズムの一部を記憶している第１記憶部をさらに備え、
前記情報処理装置は、少なくとも、前記第２ＤＮＮを実行するための前記ＤＮＮアルゴリズムの残りを記憶している第２記憶部をさらに備える、
請求項１に記載の固体撮像システム。
【請求項４】
前記第１記憶部と、前記第２記憶部とで、前記画像データに対して実行するための前記ＤＮＮアルゴリズムを記憶している、
請求項３に記載の固体撮像システム。
【請求項５】
前記固体撮像装置は、前記第１ＤＮＮ処理部を制御する第１制御部をさらに備え、
前記情報処理装置は、前記第２ＤＮＮ処理部を制御する第２制御部をさらに備える、
請求項１に記載の固体撮像システム。
【請求項６】
前記第１制御部は、前記第１ＤＮＮに関する情報を含む第１制御情報を生成して前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮに関する情報を含む第２制御情報を生成して前記第１制御部に送信する、
請求項５に記載の固体撮像システム。
【請求項７】
前記第１制御部は、前記第２制御情報に基づいて、前記第１ＤＮＮ処理部を制御し、
前記第２制御部は、前記第１制御情報に基づいて、前記第２ＤＮＮ処理部を制御する、
請求項６に記載の固体撮像システム。
【請求項８】
前記第１制御部は、前記第１ＤＮＮ処理部の実行完了通知を前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮ処理部の実行完了通知を前記第１制御部に送信する、
請求項５に記載の固体撮像システム。
【請求項９】
前記情報処理装置は、アプリケーションプロセッサまたはクラウドサーバである、
請求項１に記載の固体撮像システム。
【請求項１０】
画像データに対してＤＮＮアルゴリズムの一部を実行し、前記ＤＮＮアルゴリズムの残りを実行する情報処理装置に送信される第１結果を生成するＤＮＮ処理部を備える、
固体撮像装置。
【請求項１１】
前記第１結果は、前記ＤＮＮアルゴリズムの中間層から出力された特徴マップを含む、
請求項１０に記載の固体撮像装置。
【請求項１２】
少なくとも、前記ＤＮＮアルゴリズムの一部を記憶している記憶部をさらに備える、
請求項１０に記載の固体撮像装置。
【請求項１３】
画像データに対してＤＮＮアルゴリズムの一部が実行された第１結果を固体撮像装置から受け、前記第１結果に対して前記ＤＮＮアルゴリズムの残りを実行して第２結果を生成するＤＮＮ処理部を備える、
情報処理装置。
【請求項１４】
少なくとも、前記第１結果に対して実行する、前記ＤＮＮアルゴリズムの残りを記憶している記憶部をさらに備える、
請求項１３に記載の情報処理装置。
【請求項１５】
画像データに対してＤＮＮアルゴリズムの一部を実行し、前記ＤＮＮアルゴリズムの残りを実行する情報処理装置に送信される第１結果を生成する、
画像処理方法。
【請求項１６】
画像データに対してＤＮＮアルゴリズムの一部が実行された第１結果を固体撮像装置から受け、前記第１結果に対して前記ＤＮＮアルゴリズムの残りを実行して第２結果を生成する、
情報処理方法。
【請求項１７】
コンピュータを、
画像データに対してＤＮＮアルゴリズムの一部を実行し、前記ＤＮＮアルゴリズムの残りを実行する情報処理装置に送信される第１結果を生成するＤＮＮ処理部、
として機能させるためのプログラム。
【請求項１８】
コンピュータを、
画像データに対してＤＮＮアルゴリズムの一部が実行された第１結果を固体撮像装置から受け、前記第１結果に対して前記ＤＮＮアルゴリズムの残りを実行して第２結果を生成するＤＮＮ処理部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、固体撮像システム、固体撮像装置、情報処理装置、画像処理方法、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、ニューラルネットワークを搭載した種々の装置が提案されている。例えば、特許文献１には、検出物体らしさを示す尤度に基づくことで、画像に対する識別性能を向上させることのできる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１９１３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、デジタルカメラなどに代表される機器には、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）やＤＳＰ（Digital  Signal  Processor）を有するイメージセンサが搭載される。近年では、画像処理の多様化・高速化や個人情報の保護等の観点から、例えば、イメージセンサにＤＮＮ（Deep  Neural  Network）の機能を持たせて、高度な処理を実行することが望まれている。
【０００５】
しかしながら、特許文献１では、イメージセンサから対象画像を出力させる必要があるため、出力するデータ量が多く、また個人情報を保護できない可能性がある。
【０００６】
そこで、本開示では、イメージセンサから出力されるデータ量が少なくし、かつ個人情報を保護することのできる固体撮像システム、固体撮像装置、情報処理装置、画像処理方法、情報処理方法及びプログラムを提案する。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本開示に係る一形態の固体撮像システムは、固体撮像装置と、情報処理装置とを含み、前記固体撮像装置は、画像データに対してＤＮＮアルゴリズムの一部を第１ＤＮＮによって実行して第１結果を生成する第１ＤＮＮ処理部を備え、前記情報処理装置は、前記固体撮像装置から取得された前記第１結果に対して前記ＤＮＮアルゴリズムの残りを第２ＤＮＮによって実行して第２結果を生成する第２ＤＮＮ処理部を備える。
【図面の簡単な説明】
【０００８】
【図１】本開示の第１実施形態に係る固体撮像システムの構成の一例を示すブロック図である。
【図２】本開示の第１実施形態に係る固体撮像システムの接続関係の一例を説明するための模式図である。
【図３】本開示の第１実施形態に係る固体撮像装置の積層構造の一例を示す模式図である。
【図４】本開示の第１実施形態に係る固体撮像システムの処理を説明するための模式図である。
【図５】ＤＮＮアルゴリズムの構成を説明するための模式図である。
【図６】ＤＮＮアルゴリズムの分割処理の一例を説明するための模式図である。
【図７】本開示の第１実施形態に係る固体撮像システムの処理の流れの一例を示すシーケンス図である。
【図８】本開示の第１実施形態に係る固体撮像装置及び情報処理装置それぞれの制御部及びＤＮＮ処理部の処理の流れの一例を示すシーケンス図である。
【図９】本開示の第２実施形態に係る固体撮像システムの構成の一例を示すブロック図である。
【図１０】本開示の第２実施形態に係る固体撮像システムの接続関係の一例を示すブロック図である。
【図１１】本開示の第２実施形態に係る固体撮像システムの接続関係の一例を示すブロック図である。
【図１２】本開示の固体撮像装置及び情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【０００９】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【００１０】
また、以下に示す項目順序に従って本開示を説明する。
１．第１実施形態
１−１．第１実施形態に係る固体撮像システムの構成
１−２．ＤＮＮアルゴリズムの構成
１−３．第１実施形態に係る固体撮像システムの処理
２．第２実施形態
２−１．第２実施形態に係る固体撮像システムの構成
２−２．第２実施形態に係る固体撮像システムの変形例の構成
３．ハードウェア構成
【００１１】
（１．第１実施形態）
[１−１．第１実施形態に係る固体撮像システムの構成]
図１を用いて、本開示の第１実施形態に係る固体撮像システムの構成について説明する。図１は、本開示の第１実施形態に係る固体撮像システムの構成の一例を示すブロック図である。
【００１２】
図１に示すように、固体撮像システム１は、固体撮像装置１００と、情報処理装置２００とを含む。
【００１３】
図２に示すように、固体撮像装置１００と、情報処理装置２００とは、同一の筐体１０の中に存在している。言い換えれば、固体撮像装置１００と、情報処理装置２００とは、同一の筐体１０の中に別チップとして存在している。固体撮像装置１００と、情報処理装置２００とは、ＳｏＣ（System-on-a-chip）、ＭＣＭ（Multi-Chip  Module）、ＳＩＰ（System  In  a  Package）、ＳＯＰ（Small  Outline  Package）などで実装されている。固体撮像システム１は、例えば、インターネット通信網３００によって外部の装置と通信可能に接続されていてもよい。この場合、固体撮像システム１は、例えば、無線通信によって外部の装置と通信可能に接続されていてもよい。また、図２に示す固体撮像システム１は、固体撮像装置１００と、情報処理装置２００とを１つずつ含むが、これは例示であり、本開示を限定するものではない。固体撮像システム１は、固体撮像装置１００と、情報処理装置２００とをそれぞれ複数備えていてもよい。また、固体撮像システム１が含む固体撮像装置１００と、情報処理装置２００との数は異なっていてもよい。固体撮像システム１は、例えば、ＶＰＡ（Virtual  Personal  Assistant）や、車載カメラに適用することができる。
【００１４】
図１に示すように、固体撮像装置１００は、撮像部１１０と、撮像処理部１２０と、第１ＤＮＮ処理部１３０と、第１記憶部１４０と、第１制御部１５０と、セレクタ１６０と、通信Ｉ／Ｆ１７０と、通信制御部１８０とを備える。
【００１５】
図３は、第１実施形態に係る固体撮像装置１００の積層構造の一例を示す模式図である。図３に示すように、固体撮像装置１００は、例えば、矩形の第１基板１１と、矩形の第２基板１２とが貼り合わされた積層構造を有している。
【００１６】
第１基板１１と、第２基板１２とは、例えば、第１基板１１及び第２基板１２をそれぞれチップに個片化した後、これら個片化された第１基板１１及び第２基板１２を貼り合わせる、いわゆるＣｏＣ（Chip  on  Chip）方式で貼り合わせればよい。また、第１基板１１と第２基板１２とのうち一方（例えば、第１基板１１）をチップに個片化した後、この個片化された第１基板１１を個片化前（すなわち、ウエハ状態）の第２基板１２に貼り合わせる、いわゆるＣｏＷ（Chip  on  Wafer）方式で貼り合わせてもよい。さらに、第１基板１１と第２基板１２とを共にウエハの状態で、いわゆるＷｏＷ（Wafer  on  Wafer）方式で貼り合わせてもよい。
【００１７】
第１基板１１と第２基板１２との接合方法には、例えば、プラズマ接合等を使用することができる。ただし、これに限定されず、種々の接合方法が用いられてよい。
【００１８】
第１基板１１と、第２基板１２とのサイズは、同じであってもよいし、異なっていてもよい。第１基板１１と、第２基板１２とは、例えば、シリコン基板などの半導体基板である。
【００１９】
第１基板１１には、図１に示す固体撮像装置１００の構成要素のうち、例えば、撮像部１１０が配置される。
【００２０】
第２基板１２は、図１に示す固体撮像装置１００の構成要素のうち、例えば、撮像処理部１２０と、第１ＤＮＮ処理部１３０と、第１記憶部１４０と、第１制御部１５０と、セレクタ１６０と、通信Ｉ／Ｆ１７０と、通信制御部１８０とが配置される。
【００２１】
すなわち、固体撮像装置１００の撮像部１１０は、撮像部１１０以外の構成要素に積層実装された構成を有している。
【００２２】
再び図１を参照する。撮像部１１０は、例えば、ズームレンズ、フォーカスレンズ、絞りなどを備える光学系と、フォトダイオードなどの受光素子を含む単位画素が２次元マトリクス状に配列した構成を備える画素アレイ部とを備える。外部から入射した光は、光学系を介することで、画素アレイ部における受光素子が配列した受光面に結像される。画素アレイ部の各単位画素は、その受光素子に入射した光を光電変換することで、入射光の光量に応じた画像データを生成する。撮像部１１０は、撮像した画像データを撮像処理部１２０に出力する。
【００２３】
撮像処理部１２０は、例えば、画像データをデジタルの画像データに変換する。撮像処理部１２０は、例えば、デジタルに変換した画像データに対して、「前処理」、「データ拡張」、及び「データの正規化」を実行する。前処理は、推論時及び学習時において撮像部１１０に対して実行する処理であり、例えば、デワープ、クロップ、レンズシェーディング補正、ダウンスケール、アップスケールといった処理を含む。データ拡張は、学習時において画像データに対して実行される処理であり、例えば、画像データの縦横比を変更したり、画像データを平行に移動させたり、回転させたり、反転させたり、幾何学的に変形させたりする処理を含む。また、データ拡張は、例えば、画像データの色の濃淡を変更させたり、色を変動させたりする処理を含む。さらに、データ拡張は、例えば、画像データにノイズを加算する処理を含む。データの正規化は、推論時及び学習時に画像データに対して実行される処理であり、例えば、画像データの画素値の平均を０にしたり、画素値の分散を１にしたり、成分間の相関を０にして画像データを白色化したりする処理を含む。撮像処理部１２０は、種々の処理を実行したデジタルの画像データを第１ＤＮＮ処理部１３０と、セレクタ１６０とに出力する。
【００２４】
第１ＤＮＮ処理部１３０は、例えば、第１記憶部１４０に記憶されているＤＮＮモデルに基づいて、撮像処理部１２０から入力された画像データに対してＤＮＮを実行することで、画像データに含まれる物体の認識処理を実行する。具体的には、第１ＤＮＮ処理部１３０は、撮像処理部１２０から受けた画像データに対して第１ＤＮＮを実行し、ＤＮＮモデルを構成するアルゴリズムの一部を実行し、実行結果を生成する。ここでの実行結果は、特徴マップ、マップ、及び単に画像などとも呼ばれることがある。第１ＤＮＮ処理部１３０は、画像データに対して第１ＤＮＮを実行することで、中間層のマップと、第１結果を生成する。より具体的には、第１ＤＮＮ処理部１３０は、第１結果として、入力された画像データ全体の中間層マップと、入力された画像データの一部の中間層マップ（例えば、ＲＯＩ（Region  Of  Interest）した中間層マップ）とを出力する。なお、第１ＤＮＮ処理部１３０は、全体の中間マップと、一部の中間マップとの両方を出力してもよいし、どちらか一方の中間マップを出力してもよい。また、第１ＤＮＮ処理部１３０は、第１結果として、ＲＯＩ情報や、物体の存在確率を算出する。第１ＤＮＮ処理部１３０は、第１ＤＮＮの実行が完了すると、完了通知を第１制御部１５０に出力する。第１ＤＮＮ処理部１３０は、第１結果をセレクタ１６０に出力する。
【００２５】
具体的には、第１ＤＮＮ処理部１３０は、例えば、撮像処理部１２０から受けた画像データに対して畳み込み演算、バイアス加算、活性化演算、プーリング処理を実行することで物体検知処理を行う。
【００２６】
第１ＤＮＮ処理部１３０が活性化演算で用いる活性化関数としては、例えば、恒等関数、シグモイド関数、ソフトマックス関数、ステップ関数、ＲｅＬＵ関数、及びＴａｎｈ関数を挙げることができるが、これらに限定されない。
【００２７】
また、第１ＤＮＮ処理部１３０は、例えば、学習時において、誤差や、損失関数の値を計算する。第１ＤＮＮ処理部１３０は、例えば、勾配降下法、確率的勾配降下法、ニュートン法、準ニュートン法、誤差逆伝搬法などの手法を用いて、対象となるＤＮＮモデルの誤差を計算する。第１ＤＮＮ処理部１３０は、例えば、最小二乗誤差、交差エントロピー誤差などの手法を用いて、損失関数の値を算出する。
【００２８】
第１記憶部１４０は、例えば、第１ＤＮＮ処理部１３０で実行する少なくとも１つのＤＮＮモデルを記憶している。第１記憶部１４０は、例えば、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子で実現することができる。
【００２９】
第１制御部１５０は、例えば、第１ＤＮＮ処理部１３０を制御する。具体的には、第１制御部１５０は、例えば、第１ＤＮＮ処理部１３０を制御して、第１ＤＮＮを実行したり、中断したり、停止したりする。第１制御部１５０は、例えば、第１制御情報を生成する。第１制御部１５０は、例えば、第１制御情報を情報処理装置２００に送信する。第１制御情報には、例えば、画像データに対して実行すべきＤＮＮアルゴリズムのうち、第１ＤＮＮ処理部１３０が実行した第１ＤＮＮに関する情報を含む。また、第１制御情報には、例えば、同期信号が含まれる。第１制御部１５０は、例えば、第１ＤＮＮ処理部１３０の実行完了通知を情報処理装置２００に送信する。第１制御部１５０は、例えば、情報処理装置２００の第２制御部２５０から第２制御情報を受信する。この場合、第１制御部１５０は、例えば、第２制御情報に基づいて、第１ＤＮＮ処理部１３０を制御する。ここで、第１制御部１５０は、パイプライン的に画像データに対してＤＮＮアルゴリズムを実行するように、第１ＤＮＮ処理部１３０を制御してもよい。具体的には、第１制御部１５０は、ある画像データに対して第１ＤＮＮを実行させた後、その画像データに対する第２ＤＮＮ処理の完了を受ける前に、次の画像データに対して第１ＤＮＮを実行するように第１ＤＮＮ処理部１３０を制御してもよい。これにより、本実施形態は、例えば、撮像部１１０が撮像した複数の画像データに対して、ＤＮＮ処理を効率的に実行することができるようになる。
【００３０】
セレクタ１６０は、例えば、撮像処理部１２０から種々の処理が施されたデジタルの画像データを受ける。セレクタ１６０は、例えば、第１ＤＮＮ処理部１３０から第１結果を受ける。セレクタ１６０は、例えば、図示しないセレクタの制御部からの制御信号に従って撮像処理部１２０、及び第１ＤＮＮ処理部１３０から受けたデータを選択的に通信Ｉ／Ｆ１７０に出力する。
【００３１】
通信Ｉ／Ｆ１７０は、送信部１７１と、受信部１７２とを備える。固体撮像装置１００は、送信部１７１を介して情報処理装置２００にデータを送信する。固体撮像装置１００は、受信部１７２を介して情報処理装置２００からデータを受信する。
【００３２】
通信制御部１８０は、通信Ｉ／Ｆ１７０を制御する。これにより、通信Ｉ／Ｆ１７０は、情報処理装置２００にデータを送信したり、情報処理装置２００からデータを受信したりする。通信制御部１８０は、例えば、データを暗号化してもよい。暗号化する場合には、通信制御部１８０は、例えば、ＤＥＳ（Data  Encryption  Standard）や、ＡＥＳ（Advanced  Encryption  Standard）といった共通鍵暗号を用いることができる。また、通信制御部１８０は、例えば、ＥＣＢ（Electronic  Codebook）、ＣＢＣ（Cipher  Block  Chaining）、ＣＦＢ（Cipher  Feedback）、ＯＦＢ（Output  Feedback）、及びＣＴＲ（Counter）といった暗号モードを利用してもよい。
【００３３】
情報処理装置２００は、通信Ｉ／Ｆ２１０と、通信制御部２２０と、第２ＤＮＮ処理部２３０と、第２記憶部２４０と、第２制御部２５０とを備える。第１実施形態において、情報処理装置２００は、例えば、アプリケーションプロセッサである。
【００３４】
通信Ｉ／Ｆ２１０は、受信部２１１と、送信部２１２とを備える。情報処理装置２００は、受信部２１１を介して固体撮像装置１００からデータを受信する。情報処理装置２００は、送信部２１２を介して固体撮像装置１００にデータを送信する。
【００３５】
通信制御部２２０は、通信Ｉ／Ｆ２１０を制御する。これにより、通信Ｉ／Ｆ２１０は、情報処理装置２００にデータを送信したり、情報処理装置２００からデータを受信したりする。通信制御部２２０は、例えば、データを暗号化して固体撮像装置１００と通信してもよい。暗号化する場合には、通信制御部２２０は、例えば、ＤＥＳや、ＡＥＳといった共通鍵暗号を用いることができる。また、通信制御部２２０は、例えば、ＥＣＢ、ＣＢＣ、ＣＦＢ、ＯＦＢ、及びＣＴＲといった暗号モードを利用してもよい。
【００３６】
第２ＤＮＮ処理部２３０は、例えば、第２記憶部２４０に記憶されているＤＮＮモデルに基づいて、固体撮像装置１００から入力された第１結果に対してＤＮＮを実行することで、画像データに含まれる物体の認識処理を実行する。具体的には、第２ＤＮＮ処理部２３０は、固体撮像装置１００から受けた第１結果に対して第２ＤＮＮを実行し、ＤＮＮモデルを構成するアルゴリズムうち、第１ＤＮＮで実行されなかった残りの部分を実行する。これにより、第２ＤＮＮ処理部２３０は、第２結果を出力する。具体的には、第２ＤＮＮ処理部２３０は、第２結果として、画像データに含まれる物体を認識する。また、第２ＤＮＮ処理部２３０は、例えば、第１結果と、第２結果とをマージして、ＲＯＩと、物体分類を実行する。第２ＤＮＮ処理部２３０は、第２ＤＮＮの実行が完了すると、完了通知を第２制御部２５０に出力する。第２ＤＮＮ処理部２３０は、例えば、第２結果を外部の装置に出力する。
【００３７】
具体的には、第２ＤＮＮ処理部２３０は、例えば、撮像処理部１２０から受けた画像データに対して畳み込み演算、バイアス加算、活性化演算、プーリング処理を実行することで物体検知処理を行う。
【００３８】
第２ＤＮＮ処理部２３０が活性化演算で用いる活性化関数としては、例えば、恒等関数、シグモイド関数、ソフトマックス関数、ステップ関数、ＲｅＬＵ関数、及びＴａｎｈ関数を挙げることができるが、これらに限定されない。
【００３９】
また、第２ＤＮＮ処理部２３０は、例えば、学習時において、誤差や、損失関数の値を計算する。第２ＤＮＮ処理部２３０は、例えば、勾配降下法、確率的勾配降下法、ニュートン法、準ニュートン法、誤差逆伝搬法などの手法を用いて、対象となるＤＮＮモデルの誤差を計算する。第２ＤＮＮ処理部２３０は、例えば、最小二乗誤差、交差エントロピー誤差などの手法を用いて、損失関数の値を算出する。
【００４０】
第２記憶部２４０は、例えば、第２ＤＮＮ処理部２３０で実行する少なくとも１つのＤＮＮモデルを記憶している。ここで、固体撮像装置１００の第１記憶部１４０が記憶しているＤＮＮモデルと、第２記憶部２４０が記憶しているＤＮＮモデルとを組み合わせることで、１つのＤＮＮアルゴリズムが構成される。これにより、固体撮像装置１００と、情報処理装置２００との２つの装置によって、１つのＤＮＮアルゴリズムを実行することができる。言い換えれば、本実施形態は、１つのＤＮＮアルゴリズムを、固体撮像装置１００と、情報処理装置２００との２つの装置に分割して実行させることができる。第２記憶部２４０は、例えば、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子で実現することができる。
【００４１】
第２制御部２５０は、例えば、第２ＤＮＮ処理部２３０を制御する。具体的には、第２制御部２５０は、例えば、第２ＤＮＮ処理部２３０を制御して、第２ＤＮＮを実行したり、中断したり、停止したりする。第２制御部２５０は、例えば、固体撮像装置１００の第１制御部１５０から第１制御情報を受信し、受信した第１制御情報に基づいて、第２ＤＮＮ処理部２３０を制御する。第２制御部２５０は、例えば、第２制御情報を生成する。第２制御部２５０は、例えば、生成した第２制御情報を固体撮像装置１００に送信する。ここで、第２制御情報には、例えば、第１結果に対して、第２ＤＮＮ処理部２３０が実行した第２ＤＮＮに関する情報を含む。第２制御情報には、例えば、同期信号が含まれる。第２制御部２５０は、例えば、第２ＤＮＮ処理部２３０の実行完了通知を固体撮像装置１００に送信する。第２制御部２５０は、パイプライン的に画像データに対してＤＮＮアルゴリズムを実行するように、第２ＤＮＮ処理部２３０を制御してもよい。具体的には、第２制御部２５０は、ある第１結果に対して第２ＤＮＮを実行し、第２結果を生成する。そして、第２ＤＮＮ処理部２３０は、第２結果が他の処理装置に送信され、他の処理装置から第２結果に対する処理の完了通知を受ける前に、次の第１結果に対して第２ＤＮＮを実行するように第２ＤＮＮ処理部２３０を制御してもよい。これにより、本実施形態は、複数の第１結果に対して、ＤＮＮ処理を効率的に実行することができるようになる。
【００４２】
図４を用いて、第１ＤＮＮ処理部１３０と、第２ＤＮＮ処理部２３０との処理について説明する。図４は、第１ＤＮＮ処理部１３０と、第２ＤＮＮ処理部２３０との処理を説明するための模式図である。
【００４３】
まず、第１ＤＮＮ処理部１３０は、撮像処理部１２０から画像データを受ける（ステップＳ１）。ここでは、第１ＤＮＮ処理部１３０は、例えば、犬Ｄと、人Ｍとを含む画像データを受ける。
【００４４】
次いで、第１ＤＮＮ処理部１３０は、ステップＳ１で受けた画像データに対して、第１ＤＮＮを実行する（ステップＳ２）。ここでは、第１ＤＮＮ処理部１３０は、画像データに対して第１ＤＮＮを実行し、第１結果として、中間層などの特徴マップを生成する。特徴マップでは、領域Ｒ１と、領域Ｒ２とに、何かしらの物体が高確率で存在することが示されている。そして、第１ＤＮＮ処理部１３０は、特徴マップを第２ＤＮＮ処理部２３０に出力する。ここで、第１ＤＮＮ処理部１３０は、第２ＤＮＮ処理部２３０に対し、全体の特徴マップを出力してもよいし、領域Ｒ１と、領域Ｒ２との特徴マップのみを出力してもよい。言い換えれば、第１ＤＮＮ処理部１３０は、撮像部１１０で撮像された画像データをエンコードして、第２ＤＮＮ処理部２３０に出力する。そのため、第１ＤＮＮ処理部１３０から出力されるデータには、撮像部１１０によって撮像された、犬Ｄや人Ｍの元の画像データが含まれていないので、個人情報を保護することができる。また、特徴マップは画像データと比べ容量が小さいので、固体撮像装置１００から情報処理装置２００に送信するデータ量も小さくすることができる。
【００４５】
そして、第２ＤＮＮ処理部２３０は、ステップＳ２で得られた特徴マップ（第１結果）に対して、第２ＤＮＮを実行する（ステップＳ３）。これにより、第２ＤＮＮ処理部２３０は、特徴マップの領域Ｒ１には犬Ｄが存在し、領域Ｒ２には人Ｍが存在していることを、認識することができる。
【００４６】
すなわち、本実施形態では、ＤＮＮアルゴリズムの一部を第１ＤＮＮ処理部１３０で実行し、残りを第２ＤＮＮ処理部２３０で実行することで、画像データに含まれている物体の認識処理を行っている。言い換えれば、第１ＤＮＮ処理部１３０と、第２ＤＮＮ処理部２３０との２つのＤＮＮ処理部によって、１つのＤＮＮアルゴリズムを実行している。
【００４７】
[１−２．ＤＮＮアルゴリズムの構成]
図５を用いて、ＤＮＮアルゴリズムの構成の一例について説明する。図５は、ＤＮＮアルゴリズムの構成の一例を示す模式図である。
【００４８】
図５は、物体検知アルゴリズム２０の構造の一例を示す模式図である。
【００４９】
まず、物体検知アルゴリズム２０では、画像データに対してＣＮＮ（Convolutional  Neural  Network）が実行される。具体的には、画像データＩが畳み込み層ＣＬに入力される。そして、畳み込み層ＣＬは、画像データＩ全体に対してＣＮＮを実行して、特徴マップＦＭ１を出力する。ここまでの処理が、ＣＮＮ２１を用いた画像処理である。
【００５０】
次の段では、特徴マップＦＭ１に対して、物体領域認識アルゴリズムが実行される。特徴マップＦＭに対して物体領域認識アルゴリズムを実行することで、特徴マップに含まれる物体が存在する候補の領域が抽出される。具体的には、図５に示す例では、特徴マップＦＭ１から物体が存在する候補の領域としてＲｏＩ１と、ＲｏＩ２と、ＲｏＩ３とが抽出される。ここまでの処理が、物体領域認識アルゴリズム２２を用いた画像処理である。
【００５１】
次の段では、特徴マップＦＭ１に、ＲｏＩ１と、ＲｏＩ２と、ＲｏＩ３とを重畳させて、ＲｏＩ特徴マップＦＭ２を生成し、Ｐｏｏｌｉｎｇ層に格納する。そして、ＲｏＩ１と、ＲｏＩ２と、ＲｏＩ３とが重畳された特徴マップＦＭ１に対して、ＲｏＩ  ｐｏｏｌｉｎｇ層によってＲｏＩ  ｐｏｏｌｉｎｇが実行される。ＲｏＩ  ｐｏｏｌｉｎｇは、ＲｏＩ１と、ＲｏＩ２と、ＲｏＩ３とを含む領域を、個別の特徴マップとして抽出する処理である。これにより、ＲｏＩ１と、ＲｏＩ２と、ＲｏＩ３とを含む領域が、それぞれ、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５として抽出される。特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５とは、全結合層３１に入力される。
【００５２】
次の段では、分類層３３と、矩形回帰層３４とは、全結合層３１に入力された特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５とを共有している。
【００５３】
分類層３３は、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５とに含まれる物体の種類を分類する。そして、分類層３３は、分類結果４４を出力する。矩形回帰層３４は、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５とに含まれる物体を囲うような矩形を生成する。
【００５４】
また、分類層３３及び矩形回帰層３４の処理とは並行に、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５がＦＣＮ（Fully  Convolution  Network）３２に入力される。具体的には、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５とは、ＲｏＩＡｌｉｇｎ層によってＲｏＩＡｌｉｇｎが実行された後にＦＣＮ３２に入力される。ここで。ＲｏＩＡｌｉｇｎとは、画像データＩからＲｏＩ特徴マップＦＭ２を生成する際に発生する丸め誤差を、バイリニア補間法を用いて補正する処理である。
【００５５】
ＦＣＮ３２は、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５ごとに、各特徴マップに含まれている物体を分類したり、物体を囲うような矩形を生成したり、物体をマスキングしたりする。そして、ＦＣＮ３２は、特徴マップごとに、分類結果４１と、矩形枠４２と、マスク結果４３とを出力する。ここまでの処理が、物体検知アルゴリズム２０である。
【００５６】
本実施形態において、第１ＤＮＮ処理部１３０と、第２ＤＮＮ処理部２３０とは、図５に示したＤＮＮアルゴリズムに含まれる処理のうち、分割して実行さえすれば、どのように分割して処理を実行してもよい。例えば、第１ＤＮＮ処理部１３０が特徴マップＦＭ１を生成するまでの処理を実行し、残りの処理を第２ＤＮＮ処理部２３０が実行してもよい。また、例えば、第１ＤＮＮ処理部１３０が物体検知アルゴリズム２０において、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５とを抽出するまでの処理を実行し、第２ＤＮＮ処理部２３０がＦＣＮ３２の処理のみを実行してもよい。第１ＤＮＮ処理部１３０が実行する処理は、任意に決定することができる。例えば。第１ＤＮＮ処理部１３０がどの処理までを実行するかは、第１ＤＮＮ処理部１３０の性能に応じて決定すればよい。
【００５７】
図６を用いて、第１ＤＮＮ処理部１３０と、第２ＤＮＮ処理部２３０とで実行する処理の一例について説明する。図６は、第１ＤＮＮ処理部１３０と、第２ＤＮＮ処理部２３０とで実行する処理の一例を示す模式図である。
【００５８】
まず、図６に示す処理では、例えば、撮像処理部１２０から複数の画像データが、第１ＤＮＮ処理部１３０に入力される(ステップＳ１１)。
【００５９】
次に、第１ＤＮＮ処理部１３０は、撮像処理部１２０から受けた画像データに画像認識処理を実行することによって、画像データに含まれる物体を認識する(ステップＳ１２)。具体的には、第１ＤＮＮ処理部１３０は、各画像データに対して、ＣＮＮを実行することによって、画像データに含まれる物体を認識する。そして、第１ＤＮＮ処理部１３０は、ＣＮＮによる各画像データに対する実行結果からメタデータを生成する。
【００６０】
次に、第２ＤＮＮ処理部２３０は、第１ＤＮＮ処理部１３０によって生成されたメタデータの関係性を、ＲＮＮ（Recurrent  Neural  Network）を用いて認識する(ステップＳ１３)。具体的には、第２ＤＮＮ処理部２３０は、ＬＳＴＭ（Long  short-term  memory）ネットワークを用いて、メタデータの関係性を認識する。
【００６１】
そして、第２ＤＮＮ処理部２３０は、メタデータの関係性を認識してキャプショニングを行う(ステップＳ１４)。例えば、第２ＤＮＮ処理部２３０は、画像データに対して、「少年」、「遊んでいる」、「ゴルフ」などのようなキャプショニングを行う。
【００６２】
上述のとおり、物体認識と、ＬＳＴＭとを組み合わせることで画像フレーム間の関係性を認識することができる。この場合、本実施形態では、第１ＤＮＮ処理部１３０によって物体認識を実行し、第２ＤＮＮ処理部２３０によってＬＳＴＭを実行することで、１つのＤＮＮアルゴリズムを分割して実行している。また、ここでは、複数の静止画像が入力されるものとして説明したが、本実施形態は、動画像に対しても同様に、認識処理を実行することができる。
【００６３】
[１−３．第１実施形態に係る固体撮像システムの処理]
図７を用いて、固体撮像装置１００と、情報処理装置２００との処理について説明する。図７は、固体撮像装置１００と、情報処理装置２００との処理の流れを示すシーケンス図である。
【００６４】
まず、固体撮像装置１００は、第１ＤＮＮ処理部１３０を制御する（ステップＳ１０１）。具体的には、固体撮像装置１００は、第１制御部１５０によって、第１ＤＮＮ処理部１３０を制御する。
【００６５】
次に、固体撮像装置１００は、入力された画像データに対して第１ＤＮＮを実行する（ステップＳ１０２）。具体的には、固体撮像装置１００は、第１ＤＮＮ処理部１３０によって、入力画像データに対して第１ＤＮＮを実行し、第１結果を出力する。
【００６６】
次に、固体撮像装置１００は、第１制御情報を生成する（ステップＳ１０３）。具体的には、固体撮像装置１００は、第１制御部１５０によって、第１制御情報を生成する。
【００６７】
次に、固体撮像装置１００は、第１結果及び第１制御情報を情報処理装置２００に送信する（ステップＳ１０４）。具体的には、固体撮像装置１００は、送信部１７１によって第１結果及び第１制御情報を、情報処理装置２００に送信する。ここで、送信部１７１は、第２ＤＮＮ処理部２３０が実行する前までに第１結果を情報処理装置２００に送信すればよい。
【００６８】
次に、情報処理装置２００は、第２ＤＮＮ処理部２３０を制御する（ステップＳ１０５）。具体的には、情報処理装置２００は、第１制御情報に基づいて、第２制御部２５０によって、第２ＤＮＮ処理部２３０を制御する。
【００６９】
次に、情報処理装置２００は、第１結果に対して第２ＤＮＮを実行する（ステップＳ１０６）。具体的には、情報処理装置２００は、第２ＤＮＮ処理部２３０によって、第２ＤＮＮを実行し、第２結果を生成する。
【００７０】
次に、情報処理装置２００は、第２制御情報を生成する（ステップＳ１０７）。具体的には、情報処理装置２００は、第２制御部２５０によって、第２制御情報を生成する。
【００７１】
次に、情報処理装置２００は、第２結果を外部の装置に送信する（ステップＳ１０８）。具体的には、情報処理装置２００は、第２ＤＮＮ処理部２３０によって第２結果を外部の装置に送信する。なお、ステップＳ１０８において、情報処理装置２００は、第２結果を外部の装置に送信しているものとして説明しているが、これは例示であり、本開示を限定するものではない。例えば、ステップＳ１０８において、情報処理装置２００は、第２結果を外部の装置に出力しないで、保持しておいてもよい。
【００７２】
そして、情報処理装置２００は、第２制御情報を固体撮像装置１００に送信する（ステップＳ１０９）。具体的には、情報処理装置２００は、送信部２１２によって第２制御情報を固体撮像装置１００に送信する。
【００７３】
図８を用いて、固体撮像装置１００と、情報処理装置２００との処理についてより詳細に説明する。図８は、第１ＤＮＮ処理部１３０と、第１制御部１５０と、第２ＤＮＮ処理部２３０と、第２制御部２５０との処理の流れの一例を示すシーケンス図である。
【００７４】
まず、第１制御部１５０は、第１ＤＮＮ処理部制御情報を、第１ＤＮＮ処理部１３０に出力する（ステップＳ２０１）。第１制御部１５０は、第１ＤＮＮ処理部制御情報によって、第１ＤＮＮ処理部１３０にＤＮＮを実行させたり、中断させたり、停止させたりする。
【００７５】
次に、第１ＤＮＮ処理部１３０は、第１ＤＮＮ処理部制御情報に従って、入力された画像データに対して、第１ＤＮＮを実行する（ステップＳ２０２）。
【００７６】
次に、第１ＤＮＮ処理部１３０は、画像データに対する第１ＤＮＮの実行が完了すると、完了通知を第１制御部１５０に出力する（ステップＳ２０３）。
【００７７】
次に、第１制御部１５０は、完了通知を受けると、第１制御情報を、第２制御部２５０に送信する（ステップＳ２０４）。具体的には、第１制御情報は、送信部１７１から受信部２１１に送信される。そして、第２制御部２５０は、受信部２１１から第１制御情報を受ける。
【００７８】
次に、第１ＤＮＮ処理部１３０は、第１ＤＮＮの実行結果である第１結果を第２ＤＮＮ処理部２３０に送信する（ステップＳ２０５）。具体的には、第１結果は、送信部１７１から受信部２１１に送信される。そして、第２ＤＮＮ処理部２３０は、受信部２１１から第１結果を受ける。
【００７９】
次に、第２制御部２５０は、第１制御情報に基づいて、第２ＤＮＮ処理部制御情報を、第２ＤＮＮ処理部２３０に出力する（ステップＳ２０６）。
【００８０】
次に、第２ＤＮＮ処理部２３０は、第２ＤＮＮ処理部制御情報に従って、入力された第１結果に対して第２ＤＮＮを実行する（ステップＳ２０７）。
【００８１】
次に、第２ＤＮＮ処理部２３０は、第１結果に対する第２ＤＮＮの実行が完了すると、完了通知を第２制御部２５０に出力する（ステップＳ２０８）。
【００８２】
次に、第２ＤＮＮ処理部２３０は、第２ＤＮＮの実行結果である第２結果を、外部に送信する（ステップＳ２０９）。なお、ステップＳ２０９において、第２ＤＮＮ処理部２３０は、第２結果を外部に送信しているものとして説明しているが、これは例示であり、本開示を限定するものではない。例えば、ステップＳ２０９において、第２ＤＮＮ処理部２３０は、第２結果を外部に出力しないで、保持しておいてもよい。
【００８３】
次に、第２制御部２５０は、第２制御情報を第１制御部１５０に送信する（ステップＳ２１０）。具体的には、第２制御情報は、送信部２１２から受信部１７１に送信される。そして、第１制御部１５０は、受信部１７１から第１制御情報を受ける。
【００８４】
（２．第２実施形態）
[２−１．第２実施形態に係る固体撮像システムの構成]
図９を用いて、第２実施形態に係る固体撮像システムの構成について説明する。図９は、第２実施形態に係る固体撮像システムの構成の一例を示すブロック図である。
【００８５】
図９に示すように、固体撮像システム１Ａは、固体撮像装置１００と、情報処理装置２００Ａとを含む。固体撮像システム１Ａを構成する各装置の構成要素や動作については、第１実施形態に係る固体撮像システム１と同様なので、説明は省略する。
【００８６】
図１０に示すように、固体撮像装置１００と、情報処理装置２００Ａとは、例えば、インターネット通信網３００を介して通信可能に接続されている。この場合、固体撮像装置１００の通信Ｉ／Ｆ１７０と、情報処理装置２００Ａの通信Ｉ／Ｆ２１０とが、インターネット通信網３００を介して通信可能に接続されていればよい。固体撮像装置１００の通信Ｉ／Ｆ１７０と、情報処理装置２００Ａの通信Ｉ／Ｆ２１０とが、無線通信によって通信可能に接続されていてもよい。また、図１０に示す固体撮像システム１Ａは、固体撮像装置１００と、情報処理装置２００Ａとを１つずつ含むが、これは例示であり、本開示を限定するものではない。固体撮像システム１Ａは、固体撮像装置１００と、情報処理装置２００Ａとをそれぞれ複数備えていてもよい。また、固体撮像システム１Ａが含む固体撮像装置１００と、情報処理装置２００Ａとの数は異なっていてもよい。第２実施形態において、情報処理装置２００Ａは、例えば、固体撮像装置１００とインターネット通信網３００や、無線によって通信可能に接続されたクラウドサーバである。固体撮像システム１Ａは、例えば、ＦＡ（Factory  Automation）や、監視カメラに適用することができる。
【００８７】
[２−２．第２実施形態に係る固体撮像システムの変形例の構成]
図１１を用いて、本開示の第２実施形態に係る固体撮像システムの変形例について説明する。図１１は、本開示の第２実施形態に係る固体撮像システムの接続関係の変形例を説明するための図である。
【００８８】
固体撮像システム１Ａ−１は、固体撮像装置１００−１と、固体撮像装置１００−２と、・・・、固体撮像装置１００−Ｎ（Ｎは３以上の整数）と、情報処理装置２００Ａ−１と、情報処理装置２００Ａ−２と、・・・、情報処理装置２００−Ｎとを含む。すなわち、固体撮像システム１Ａ−１は、複数の固体撮像装置と、複数の情報処理装置とが、インターネット通信網３００を介して通信可能に接続されている。固体撮像システム１Ａ−１において、固体撮像装置と、情報処理装置との数は同じであってもよいし、異なっていてもよい。
【００８９】
固体撮像システム１Ａ−１は、固体撮像装置と、情報処理装置とのそれぞれを複数含んでいるが、これは例示であり、本開示を限定するものではない。固体撮像システム１Ａ−１は、例えば、１台の固体撮像装置と、複数台の情報処理装置とから構成されていてもよい。また、固体撮像システム１Ａ−１は、例えば、複数台の固体撮像装置と、１台の情報処理装置とから構成されていてもよい。
【００９０】
（３．ハードウェア構成）
上述してきた各実施形態に係る固体撮像装置１００及び情報処理装置２００は、例えば、図１２に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る固体撮像装置１００を例に挙げて説明する。図１２は、固体撮像装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read  Only  Memory）１３００、ＨＤＤ（Hard  Disk  Drive）１４００、通信インターフェース１５００、及び入出力インターフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
【００９１】
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
【００９２】
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【００９３】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係るプログラムを記録する記録媒体である。
【００９４】
通信インターフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェースである。例えば、ＣＰＵ１１００は、通信インターフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
【００９５】
入出力インターフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェースである。例えば、ＣＰＵ１１００は、入出力インターフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェース１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェースとして機能してもよい。メディアとは、例えばＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【００９６】
例えば、コンピュータ１０００が第１の実施形態に係る固体撮像装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、固体撮像装置１００を構成する各部の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
【００９７】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【００９８】
なお、本技術は以下のような構成も取ることができる。
（１）
固体撮像装置と、情報処理装置とを含み、
前記固体撮像装置は、
画像データに対してＤＮＮアルゴリズムの一部を第１ＤＮＮによって実行し、前記ＤＮＮアルゴリズムの残りを実行する情報処理装置に送信される第１結果を生成する第１ＤＮＮ処理部を備え、
前記情報処理装置は、
前記第１結果に対して前記ＤＮＮアルゴリズムの残りを第２ＤＮＮによって実行して第２結果を生成する第２ＤＮＮ処理部を備える、
固体撮像システム。
（２）
前記第１結果は、前記ＤＮＮアルゴリズムの中間層から出力された特徴マップを含む、
前記（１）に記載の固体撮像システム。
（３）
前記固体撮像装置は、少なくとも、前記第１ＤＮＮを実行するための前記ＤＮＮアルゴリズムの一部を記憶している第１記憶部をさらに備え、
前記情報処理装置は、少なくとも、前記第２ＤＮＮを実行するための前記ＤＮＮアルゴリズムの残りを記憶している第２記憶部をさらに備える、
前記（１）または（２）に記載の固体撮像システム。
（４）
前記第１記憶部と、前記第２記憶部とで、前記画像データに対して実行するための前記ＤＮＮアルゴリズムを記憶している、
前記（３）に記載の固体撮像システム。
（５）
前記固体撮像装置は、前記第１ＤＮＮ処理部を制御する第１制御部をさらに備え、
前記情報処理装置は、前記第２ＤＮＮ処理部を制御する第２制御部をさらに備える、
前記（１）〜（４）のいずれか１項に記載の固体撮像システム。
（６）
前記第１制御部は、前記第１ＤＮＮに関する情報を含む第１制御情報を生成して前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮに関する情報を含む第２制御情報を生成して前記第１制御部に送信する、
前記（５）に記載の固体撮像システム。
（７）
前記第１制御部は、前記第２制御情報に基づいて、前記第１ＤＮＮ処理部を制御し、
前記第２制御部は、前記第１制御情報に基づいて、前記第２ＤＮＮ処理部を制御する、
前記（５）または（６）に記載の固体撮像システム。
（８）
前記第１制御部は、前記第１ＤＮＮ処理部の実行完了通知を前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮ処理部の実行完了通知を前記第１制御部に送信する、
前記（５）〜（７）のいずれか１項に記載の固体撮像システム。
（９）
前記情報処理装置は、アプリケーションプロセッサまたはクラウドサーバである、
前記（１）〜（８）のいずれか１項に記載の固体撮像システム。
（１０）
画像データに対してＤＮＮアルゴリズムの一部を実行し、前記ＤＮＮアルゴリズムの残りを実行する情報処理装置に送信される第１結果を生成するＤＮＮ処理部を備える、
固体撮像装置。
（１１）
前記第１結果は、前記ＤＮＮアルゴリズムの中間層から出力された特徴マップを含む、
前記(１０)に記載の固体撮像装置。
（１２）
少なくとも、前記ＤＮＮアルゴリズムの一部を記憶している記憶部をさらに備える、
前記(１０)または(１１)に記載の固体撮像装置。
（１３）
画像データに対してＤＮＮアルゴリズムの一部が実行された第１結果を固体撮像装置から受け、前記第１結果に対して前記ＤＮＮアルゴリズムの残りを実行して第２結果を生成するＤＮＮ処理部を備える、
情報処理装置。
（１４）
少なくとも、前記第１結果に対して実行する、前記ＤＮＮアルゴリズムの残りを記憶している記憶部をさらに備える、
前記(１３)に記載の情報処理装置。
（１５）
画像データに対してＤＮＮアルゴリズムの一部を実行して第１結果を生成し、
前記第１結果を情報処理装置に送信する、
画像処理方法。
（１６）
画像データに対してＤＮＮアルゴリズムの一部が実行された第１結果を固体撮像装置から受け、前記第１結果に対して前記ＤＮＮアルゴリズムの残りを実行して第２結果を生成する、
情報処理方法。
（１７）
コンピュータを、
画像データに対してＤＮＮアルゴリズムの一部を実行し、前記ＤＮＮアルゴリズムの残りを実行する情報処理装置に送信される第１結果を生成するＤＮＮ処理部、
として機能させるためのプログラム。
（１８）
コンピュータを、
画像データに対してＤＮＮアルゴリズムの一部が実行された第１結果を他の情報処理装置から受け、前記第１結果に対して前記ＤＮＮアルゴリズムの残りを実行して第２結果を生成するＤＮＮ処理部、
として機能させるためのプログラム。
【符号の説明】
【００９９】
１  固体撮像システム
１０  筐体
１１  第１基板
１２  第２基板
１００  固体撮像装置
１１０  撮像部
１２０  撮像処理部
１３０  第１ＤＮＮ処理部
１４０  第１記憶部
１５０  第１制御部
１６０  セレクタ
１７０，２１０  通信Ｉ／Ｆ
１７１，２１２  送信部
１７２，２１１  受信部
１８０，２２０  通信制御部
２００  情報処理装置
２３０  第２ＤＮＮ処理部
２４０  第２記憶部
２５０  第２制御部
【図１】
2020047191.tif 000003
【図２】
2020047191.tif 000004
【図３】
2020047191.tif 000005
【図４】
2020047191.tif 000006
【図５】
2020047191.tif 000007
【図６】
2020047191.tif 000008
【図７】
2020047191.tif 000009
【図８】
2020047191.tif 000010
【図９】
2020047191.tif 000011
【図１０】
2020047191.tif 000012
【図１１】
2020047191.tif 000013
【図１２】
2020047191.tif 000014
【手続補正書】
【提出日】令和1年11月5日(2019.11.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
固体撮像装置と、情報処理装置とを含み、
前記固体撮像装置は、
画像データに対してＤＮＮアルゴリズムの一部を第１ＤＮＮによって実行して第１結果を生成する第１ＤＮＮ処理部を備え、
前記情報処理装置は、
前記固体撮像装置から取得された前記第１結果に対して前記ＤＮＮアルゴリズムの残りを第２ＤＮＮによって実行して第２結果を生成する第２ＤＮＮ処理部を備え、
前記第１結果は、前記ＤＮＮアルゴリズムの中間層から出力された特徴マップを含み、
前記固体撮像装置は、前記第１ＤＮＮ処理部を制御する第１制御部をさらに備え、
前記情報処理装置は、前記第２ＤＮＮ処理部を制御する第２制御部をさらに備え、
前記第１制御部は、前記第１ＤＮＮに関する情報を含む第１制御情報を生成して前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮに関する情報を含む第２制御情報を生成して前記第１制御部に送信する、
固体撮像システム。
【請求項２】
前記第１制御部は、前記第１ＤＮＮ処理部の実行完了通知を前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮ処理部の実行完了通知を前記第１制御部に送信する、
請求項１に記載の固体撮像システム。
【請求項３】
前記固体撮像装置は、少なくとも、前記第１ＤＮＮを実行するための前記ＤＮＮアルゴリズムの一部を記憶している第１記憶部をさらに備え、
前記情報処理装置は、少なくとも、前記第２ＤＮＮを実行するための前記ＤＮＮアルゴリズムの残りを記憶している第２記憶部をさらに備える、
請求項１に記載の固体撮像システム。
【請求項４】
前記第１記憶部と、前記第２記憶部とで、前記画像データに対して実行するための前記ＤＮＮアルゴリズムを記憶している、
請求項３に記載の固体撮像システム。
【請求項５】
前記第１制御部は、前記第２制御情報に基づいて、前記第１ＤＮＮ処理部を制御し、
前記第２制御部は、前記第１制御情報に基づいて、前記第２ＤＮＮ処理部を制御する、
請求項１に記載の固体撮像システム。
【請求項６】
前記情報処理装置は、アプリケーションプロセッサまたはクラウドサーバである、
請求項１に記載の固体撮像システム。
【請求項７】
画像データに対してＤＮＮアルゴリズムの一部を第１ＤＮＮによって実行して第１結果を生成し、生成された前記第１結果を前記ＤＮＮアルゴリズムの残りを第２ＤＮＮによって実行する情報処理装置に送信する第１ＤＮＮ処理部と、
前記第１ＤＮＮ処理部を制御する第１制御部と、
を備え、
前記情報処理装置は、前記第１結果に対して前記ＤＮＮアルゴリズムの残りを前記第２ＤＮＮによって実行して第２結果を生成する第２ＤＮＮ処理部と、前記第２ＤＮＮ処理部を制御する第２制御部とを備え、
前記第１結果は、前記ＤＮＮアルゴリズムの中間層から出力された特徴マップを含み、
前記第１制御部は、前記第１ＤＮＮに関する情報を含む第１制御情報を生成して前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮに関する情報を含む第２制御情報を生成して前記第１制御部に送信する、
固体撮像装置。
【請求項８】
少なくとも、前記ＤＮＮアルゴリズムの一部を記憶している記憶部をさらに備える、
請求項７に記載の固体撮像装置。
【請求項９】
画像データに対してＤＮＮアルゴリズムの一部を第１ＤＮＮによって実行して生成された第１結果を固体撮像装置から受け、前記第１結果に対して前記ＤＮＮアルゴリズムの残りを第２ＤＮＮによって実行して第２結果を生成する第２ＤＮＮ処理部と、
前記第２ＤＮＮ処理部を制御する第２制御部と、
を備え、
前記第１結果は、前記ＤＮＮアルゴリズムの中間層から出力された特徴マップを含み、
前記固体撮像装置は、前記画像データに対して前記ＤＮＮアルゴリズムの一部を前記第１ＤＮＮによって実行して前記第１結果を生成する第１ＤＮＮ処理部と、前記第１ＤＮＮ処理部を制御する第１制御部とを備え、
前記第１制御部は、前記第１ＤＮＮに関する情報を含む第１制御情報を生成して前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮに関する情報を含む第２制御情報を生成して前記第１制御部に送信する、
情報処理装置。
【請求項１０】
少なくとも、前記第１結果に対して実行する、前記ＤＮＮアルゴリズムの残りを記憶している記憶部をさらに備える、
請求項９に記載の情報処理装置。
【請求項１１】
固体撮像装置の第１ＤＮＮ処理部が、画像データに対してＤＮＮアルゴリズムの一部を第１ＤＮＮによって実行して第１結果を生成し、
情報処理装置の第２ＤＮＮ処理部が、前記固体撮像装置から取得された前記第１結果に対して前記ＤＮＮアルゴリズムの残りを第２ＤＮＮによって実行して第２結果を生成する
ことを含み、
前記第１結果は、前記ＤＮＮアルゴリズムの中間層から出力された特徴マップを含み、
前記固体撮像装置は、前記第１ＤＮＮ処理部を制御する第１制御部をさらに備え、
前記情報処理装置は、前記第２ＤＮＮ処理部を制御する第２制御部をさらに備え、
前記第１制御部は、前記第１ＤＮＮに関する情報を含む第１制御情報を生成して前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮに関する情報を含む第２制御情報を生成して前記第１制御部に送信する、
画像処理方法。
【請求項１２】
画像データを取得する撮像部を備えるコンピュータを、
前記画像データに対してＤＮＮアルゴリズムの一部を第１ＤＮＮによって実行して第１結果を生成する工程と、
生成された前記第１結果を前記ＤＮＮアルゴリズムの残りを第２ＤＮＮによって実行する情報処理装置に送信する工程と、
を実行する第１ＤＮＮ処理部として機能させ、
前記コンピュータは、前記第１ＤＮＮ処理部を制御する第１制御部をさらに備え、
前記情報処理装置は、前記第１結果に対して前記ＤＮＮアルゴリズムの残りを前記第２ＤＮＮによって実行して第２結果を生成する第２ＤＮＮ処理部と、前記第２ＤＮＮ処理部を制御する第２制御部とを備え、
前記第１結果は、前記ＤＮＮアルゴリズムの中間層から出力された特徴マップを含み、
前記第１制御部は、前記第１ＤＮＮに関する情報を含む第１制御情報を生成して前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮに関する情報を含む第２制御情報を生成して前記第１制御部に送信する、
プログラム。
【請求項１３】
コンピュータを、
画像データに対してＤＮＮアルゴリズムの一部を第１ＤＮＮによって実行して生成された第１結果を固体撮像装置から受信する工程と、
受信された前記第１結果に対して前記ＤＮＮアルゴリズムの残りを第２ＤＮＮによって実行して第２結果を生成する工程と、
を実行する第２ＤＮＮ処理部として機能させ、
前記第１結果は、前記ＤＮＮアルゴリズムの中間層から出力された特徴マップを含み、
前記固体撮像装置は、前記画像データに対して前記ＤＮＮアルゴリズムの一部を前記第１ＤＮＮによって実行して前記第１結果を生成する第１ＤＮＮ処理部と、前記第１ＤＮＮ処理部を制御する第１制御部とを備え、
前記コンピュータは、前記第２ＤＮＮ処理部を制御する第２制御部を備え、
前記第１制御部は、前記第１ＤＮＮに関する情報を含む第１制御情報を生成して前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮに関する情報を含む第２制御情報を生成して前記第１制御部に送信する、
プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本開示は、固体撮像システム、固体撮像装置、情報処理装置、画像処理方法及びプログラムに関する。