(57)【要約】  本開示は、通信の安全性の低減を抑制することができるようにする撮像素子、撮像装置および方法に関する。被写体を撮像し、撮像画像を生成し、その生成された撮像画像より、外部に出力する所定の特徴量を抽出する。例えば、被写体を撮像し、撮像画像を生成する撮像部と、その撮像部により生成された撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部とがパッケージ化され、かつ、互いに異なる基板に形成されるようにする。本開示は、例えば、撮像素子、撮像装置、画像処理装置、送信装置、または通信装置等に適用することができる。
2020116177.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、撮像画像を生成する撮像部と、
前記撮像部により生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部と
を備える撮像素子。
【請求項２】
前記撮像部および前記特徴量抽出部は、パッケージ化され、かつ、互いに異なる基板に形成される
請求項１に記載の撮像素子。
【請求項３】
前記撮像部が形成される基板と、前記特徴量抽出部が形成される基板とが、互いに重畳される
請求項２に記載の撮像素子。
【請求項４】
前記撮像部により生成された前記撮像画像に対して、前記特徴量の抽出のための信号処理を行う信号処理部をさらに備え、
前記特徴量抽出部は、前記信号処理部により前記信号処理が施された前記撮像画像より、前記特徴量を抽出する
請求項１に記載の撮像素子。
【請求項５】
前記特徴量抽出部は、抽出した前記特徴量を符号化する
請求項１に記載の撮像素子。
【請求項６】
前記特徴量抽出部により抽出された前記特徴量を送信する送信部
をさらに備える請求項１に記載の撮像素子。
【請求項７】
前記撮像画像を出力するか、前記特徴量を出力するかを選択する選択部
をさらに備える請求項１に記載の撮像素子。
【請求項８】
前記選択部は、撮像素子の外部からの要求に基づいて選択する
請求項７に記載の撮像素子。
【請求項９】
前記要求の要求元を認証する認証部をさらに備え、
前記選択部は、前記認証部により前記要求元が認証された場合、前記要求に基づいて選択する
請求項８に記載の撮像素子。
【請求項１０】
前記撮像部により生成された前記撮像画像に対して、所定の信号処理を行う画像用信号処理部と、
前記画像用信号処理部により信号処理が施された前記撮像画像を符号化する符号化部と
をさらに備える請求項７に記載の撮像素子。
【請求項１１】
前記撮像部は、前記選択部により撮像画像の出力が選択された場合、光電変換領域の一部を用いて撮像画像を生成する
請求項７に記載の撮像素子。
【請求項１２】
前記撮像部は、前記光電変換領域の、前記特徴量抽出部により抽出された前記特徴量に基づく範囲内の部分を用いて、前記撮像画像を生成する
請求項１１に記載の撮像素子。
【請求項１３】
被写体を撮像し、撮像画像を生成する撮像部と、
前記撮像部により生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部と
を備える撮像装置。
【請求項１４】
前記特徴量抽出部により抽出された前記特徴量を外部に送信する送信部
をさらに備える請求項１３に記載の撮像装置。
【請求項１５】
前記特徴量のヘッダ情報を生成するヘッダ生成部と、
前記ヘッダ生成部により生成された前記ヘッダ情報を、前記特徴量抽出部により抽出された前記特徴量に付加する付加部と
をさらに備える請求項１４に記載の撮像装置。
【請求項１６】
被写体を撮像し、撮像画像を生成し、
生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する
撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像素子、撮像装置および方法に関し、特に、通信の安全性の低減を抑制することができるようにした撮像素子、撮像装置および方法に関する。
【背景技術】
【０００２】
従来、病室や家庭内の見守りサービス等のためのシステムとして、遠隔地の対象の安否を確認するシステムがあった。このようなシステムの場合、例えば、端末装置のイメージセンサにより対象を撮像し、その撮像画像をネットワーク経由でクラウドに伝送し、クラウド側でその撮像画像から特徴量を抽出し、解析することにより、安否判定が行われていた。【０００３】
しかしながら、このように撮像画像を端末装置からクラウドに伝送する場合、その撮像画像が第３者に漏洩することにより、個人情報が漏洩してしまうおそれがあった。【０００４】
ところで、画像から特徴量を抽出し、抽出した特徴量をクラウドに送信する方法が考えられた（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】"Information technology - Multimedia content description interface - Part 13: Compact descriptors for visual search", ISO/IEC DIS 15938-13, 2014-04-04, ISO/IEC JTC1/SC29/WG11
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１には、特徴量を抽出する画像の生成について明らかにされていなかった。例えば、撮像装置において得られた撮像画像を、他の装置において特徴量を抽出する場合、やはり、撮像装置と他の装置との間の通信において、個人情報が漏洩してしまうおそれがあった。【０００７】
本開示は、このような状況に鑑みてなされたものであり、通信の安全性の低減を抑制することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の撮像素子は、被写体を撮像し、撮像画像を生成する撮像部と、前記撮像部により生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部とを備える撮像素子である。【０００９】
本技術の一側面の撮像装置は、被写体を撮像し、撮像画像を生成する撮像部と、前記撮像部により生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部とを備える撮像装置である。【００１０】
本技術の一側面の撮像方法は、被写体を撮像し、撮像画像を生成し、生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する撮像方法である。【００１１】
本技術の一側面の撮像素子、撮像装置および方法においては、被写体が撮像され、撮像画像が生成され、その生成された撮像画像より、外部に出力する所定の特徴量が抽出される。
【図面の簡単な説明】
【００１２】
【図１】本技術を適用した撮像方式等の一覧を示す図である。
【図２】方法１を実現する撮像装置・撮像素子の主な構成例を示すブロック図である。
【図３】特徴量抽出符号化部の主な構成例を示すブロック図である。
【図４】撮像処理の流れの例を説明するフローチャートである。
【図５】方法１−１を実現する撮像素子の主な構成例を示すブロック図である。
【図６】半導体基板の構成について説明する図である。
【図７】方法１−１を実現する撮像装置・撮像素子の主な構成例を示すブロック図である。
【図８】撮像処理の流れの例を説明するフローチャートである。
【図９】方法１−１−１を実現する撮像装置・撮像素子の主な構成例を示すブロック図である。
【図１０】撮像処理の流れの例を説明するフローチャートである。
【図１１】方法１−１−１−１を実現する撮像装置・撮像素子の主な構成例を示すブロック図である。
【図１２】撮像処理の流れの例を説明するフローチャートである。
【図１３】方法１−１−２を実現する撮像装置・撮像素子の主な構成例を示すブロック図である。
【図１４】撮像処理の流れの例を説明するフローチャートである。
【図１５】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．画像認識を伴う通信サービス
２．コンセプト
３．第１の実施の形態（方法１詳細）
４．第２の実施の形態（方法１−１詳細）
５．第３の実施の形態（方法１−１−１詳細）
６．第４の実施の形態（方法１−１−１−１詳細）
７．第５の実施の形態（方法１−１−２詳細）
８．付記
【００１４】
＜１．画像認識を伴う通信サービス＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。つまり、この文献に記載されている内容もサポート要件を判断する際の根拠となる。
【００１５】
特許文献１：上述
【００１６】
＜画像認識を伴うサービス＞
従来、画像認識を伴うサービスとして、例えば、病室や家庭内の見守りサービス等のためのシステム等があった。このようなシステムにおいては、例えば、端末装置のイメージセンサにより対象を撮像し、その撮像画像をネットワーク経由でクラウドに伝送し、クラウド側でその撮像画像から特徴量を抽出し、解析することにより画像認識が行われ、その認識結果に基づいて安否判定が行われていた。
【００１７】
そのため、クラウドのデータベースを利用する等して高度な画像認識を実現することができ、より多様な状況下においてより正確な安否判定を実現することができた。そのため、このようなシステムを適用することにより、より高度なサービスの提供を実現することができた。
【００１８】
しかしながら、この方法の場合、端末装置からクラウドに撮像画像を伝送する必要があった。この撮像画像には、例えばユーザの顔や部屋の状況等の個人情報（プライバシーに関する情報）が含まれる可能性がある。そのため、通信中に撮像画像が第３者に漏洩すると、個人情報まで漏洩してしまうおそれがあった。つまり、通信により撮像画像を伝送することにより、通信の安全性が低減するおそれがあった。
【００１９】
これに対して個人情報保護を優先させ、例えば、焦電センサ等のようにイメージセンサ以外のセンサを用いて対象を監視し、そのセンシング結果を用いて安否確認を行うようにする方法も考えらえた。しかしながら、例えば焦電センサの場合、位置関係を詳細に識別することができず、姿勢の変化の検出や人物の特定が困難であった。このように、イメージセンサ以外のセンサを用いる場合、イメージセンサを用いる場合よりも、画像認識の性能が低減し、その画像認識結果に基づいて提供するサービスの質が低減するおそれがあった。
【００２０】
＜２．コンセプト＞
そこで、イメージセンサにおいて、撮像画像から特徴量抽出・符号化を行い、その特徴量の符号化データを出力するようにする（図１の表の方法１）。つまり、被写体を撮像し、撮像画像を生成し、その生成された撮像画像より、外部に出力する所定の特徴量を抽出するようにする。例えば、撮像素子または撮像装置において、被写体を撮像し、撮像画像を生成する撮像部と、その撮像部により生成された撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部とを備えるようにする。
【００２１】
このようにすることにより、撮像素子または撮像装置が、撮像画像を出力せず、その撮像画像の特徴量を出力するようにすることができる。したがって、通信の安全性の低減を抑制し、プライバシーを保護することができる。さらに、画像認識による安否検出を行うことができるので、より多様な状況下においてより正確な安否判定を実現することができる。したがって、より高度なサービスの提供が可能になる。
【００２２】
また、撮像画像に対して、特徴量の抽出のための信号処理を行うようにしてもよい。例えば、撮像素子・撮像装置において、撮像部により生成された撮像画像に対して、特徴量の抽出のための信号処理を行う信号処理部をさらに備え、特徴量抽出部は、その信号処理部により信号処理が施された撮像画像より、特徴量を抽出するようにしてもよい。このような信号処理によって撮像画像からの特徴量の抽出をより容易化したり、より正確化したりすることができる。また、撮像画像が出力されないので、信号処理は、特徴量抽出に関するもののみとすることができる。例えば、画像の解像度、フレーム周波数、デモザイクや色変換処理の内容等を、特徴量抽出に必要なレベルにすることができる。したがって、信号処理の負荷の増大を抑制することができる。つまり、信号処理の処理時間や消費電力の増大を抑制することができる。
【００２３】
また、抽出した特徴量を符号化するようにしてもよい。例えば、撮像素子・撮像装置において、特徴量抽出部が、抽出した特徴量を符号化するようにしてもよい。このようにすることにより、出力する情報のデータ量の増大を抑制することができる。また、符号化データを伝送することにより、第３者に漏洩した場合であっても、その第３者が元の特徴量を得ることが困難であるので、通信の安全性の低減を抑制することができる。
【００２４】
また、撮像素子・撮像装置が、抽出した特徴量（またはその符号化データ）を送信する送信部を備えるようにしてもよい。つまり、送信部は、撮像素子・撮像装置内に形成することもできるし、それらの外部（他の装置）に形成することもできる。
【００２５】
さらに、ヘッダを生成し、付加するようにしてもよい。例えば、撮像素子・撮像装置において、特徴量のヘッダ情報を生成するヘッダ生成部と、そのヘッダ生成部により生成されたヘッダ情報を、特徴量抽出部により抽出された特徴量に付加する付加部とが設けられるようにしてもよい。このようにすることにより、伝送する情報（例えば特徴量）に関する様々な情報をヘッダに格納し、その特徴量に関連付けて伝送することができる。したがって、クラウドは、そのヘッダに含まれる情報に基づいて、例えば、より多様なサービスを提供することができる。
【００２６】
また、撮像素子において、上述の撮像部および特徴量抽出部が、パッケージ化され、かつ、互いに異なる基板に形成されるようにしてもよい。つまり、パッケージ化し、ロジック層において特徴量抽出・符号化を行うようにしてもよい（図１の表の方法１−１）。このようにすることにより、撮像画像を撮像素子外に出力することを抑制することができるので、撮像画像の漏洩をより抑制することができる。
【００２７】
なお、撮像部と特徴量抽出部の基板を分けることにより、それらの基板を積層することができる。つまり、撮像素子において、撮像部が形成される基板と、特徴量抽出部が形成される基板とが互いに重畳されるようにしてもよい。このようにすることにより、撮像素子をより小型化することができる。またこれにより撮像素子のコストの増大を抑制することができる。
【００２８】
また、動作モードを選択する機能を有するようにしてもよい（図１の表の方法１−１−１）。例えば、撮像素子または撮像装置において、撮像画像を出力するか、特徴量を出力するかを選択することができるようにしてもよい。つまり、撮像素子または撮像装置において、その選択を行う選択部を設けるようにしてもよい。このようにすることにより、特徴量だけでなく、撮像画像を出力することもできるようになる。したがって、利便性を向上させることができる。
【００２９】
なお、その選択が、撮像素子の外部からの要求に基づいて行われるようにしてもよい。このようにすることにより、例えば、画像と特徴量のいずれを出力するかを、クラウドから要求することができ、より多様なサービスの提供を実現することができる。
【００３０】
また、その要求元の認証機能を有するようにしてもよい（図１の表の方法１−１−１−１）。例えば、撮像素子・撮像装置において、外部からの要求の要求元を認証する認証部を設け、選択部が、その認証部により要求元が認証された場合、その要求に基づいて、出力する情報の選択を行うようにしてもよい。このようにすることにより、不正な要求元からの要求を拒否することができる。つまり、より安全に、外部からの要求を受け付けることができる。
【００３１】
さらに、撮像素子・撮像装置が、撮像部により生成された撮像画像に対して、所定の信号処理を行う画像用信号処理部と、その画像用信号処理部により信号処理が施された撮像画像を符号化する符号化部とを備えるようにしてもよい。すなわち、出力する撮像画像に対して、信号処理や符号化が行われるようにしてもよい。このように信号処理を行うことにより、画質の低減を抑制することができる。また、符号化することにより、出力する情報のデータ量の増大を抑制することができる。
【００３２】
なお、画像出力モードの場合、出力する画像は、画素領域（光電変換領域）の一部（部分領域）を用いて生成されるようにしてもよい。つまり、特徴量を抽出する撮像画像よりも低解像度の撮像画像を出力するようにしてもよい。例えば、撮像素子・撮像装置において、撮像部が、選択部により撮像画像の出力が選択された場合、光電変換領域の一部を用いて撮像画像を生成するようにしてもよい。このようにすることにより、出力する情報のデータ量の増大を抑制することができる。また、低解像度化することにより、画像が第３者に漏洩した場合に漏洩する個人情報の量を低減させることができる。
【００３３】
また、出力する画像の領域を特徴量に基づいて限定する機能を有するようにしてもよい（図１の表の方法１−１−２）。例えば、撮像素子・撮像装置において、撮像部が、光電変換領域の、特徴量抽出部により抽出された特徴量に基づく範囲内の部分を用いて、撮像画像を生成するようにしてもよい。このようにすることにより、例えば特徴量を解析することにより特定される注視すべき領域の撮像画像を出力することができる。したがって、より重要であり、かつ、不要なデータ量の増大を抑制した撮像画像を出力することができる。
【００３４】
＜３．第１の実施の形態（方法１の詳細）＞
＜通信システム＞
図２は、本技術を適用した通信システムの構成の一例を示すブロック図である。図２に示される通信システム１００は、撮像装置１０１およびクラウド１０２を有し、それらが通信を行うシステムである。撮像装置１０１は、被写体を撮像して撮像画像を生成し、その撮像画像の特徴量を抽出し、クラウド１０２に提供する。クラウド１０２は、撮像装置１０１から供給される特徴量を解析し、その解析結果に基づくサービスを行う。
【００３５】
例えば、通信システム１００は、このような処理により、病室や家庭内の見守りサービスを実現する。例えば、撮像装置１０１は、観察対象（見守り対象）の部屋等に設置され、その位置において、定期的に、または所定のイベントをトリガとして、観察対象を撮像する。そして、撮像装置１０１は、その撮像画像の特徴量を抽出し、クラウド１０２に送信する。クラウド１０２は、その特徴量を受信して、解析し、観察対象の安否確認等を行う。また、クラウド１０２は、その確認結果に基づいた所定のサービス（例えば通知等）を行う。
【００３６】
つまり、クラウド１０２は、撮像画像に基づく安否確認を行うことができる。したがって、クラウド１０２は、より多様な状況下においてより正確な安否判定を実現することができる。したがって、より高度なサービスの提供が可能になる。
【００３７】
また、撮像装置１０１が、撮像画像ではなく特徴量をクラウド１０２に送信するため、仮に第３者が不正にその特徴量を取得できたとしても、単に撮像画像のデータとしての特徴量が得られるのみであり、撮像画像を復元することはできない。したがって、このような仕組みとすることにより、通信システム１００は、観察対象の情報の漏洩を抑制することができる。
【００３８】
さらに、撮像画像を撮像装置１０１からクラウド１０２に伝送する場合、十分な通信の安全性を確保し、個人情報の漏洩を防ぐためには、強固な暗号化等、複雑かつ高価な仕組みが必要になり、コストが増大するおそれがある。それに対して、本手法は、上述のように特徴量を伝送させるのみであり、容易に実現することができ、コストの増大を抑制することができる。
【００３９】
また、一般的に特徴量は、その撮像画像に比べて情報量が少ない。したがって、本手法のように特徴量を伝送するようにすることにより、撮像画像を伝送する場合に比べて、伝送する情報量を低減させることができる。これにより、通信の負荷の増大を抑制することができる。したがって、通信システム１００（撮像装置１０１やクラウド１０２等）のコストの増大を抑制することができる。
【００４０】
図２に示されるように、撮像装置１０１は、光学系１１１および撮像素子１１２を有する。光学系１１１は、例えばレンズや絞り等により構成され、自身を透過する光に対して光学的影響を及ぼす。例えば、被写体からの光は、この光学系１１１を介して撮像素子１１２（受光部１２１）に入射する。光学系１１１は、この光に対して光学的影響を及ぼす。
【００４１】
撮像素子１１２は、撮像に関する処理を行う。図２に示されるように、撮像素子１１２は、受光部１２１、ADC（Analog Digital Converter）１２２、特徴量抽出用信号処理部１２３、特徴量抽出符号化部１２４、および送信部１２５を有する。
【００４２】
受光部１２１は、被写体（例えば観察対象）からの光を受光し、光電変換して、電気信号としての撮像画像を生成する。受光部１２１は、その撮像画像の電気信号をADC１２２に供給する。ADC１２２は、その撮像画像の電気信号を取得し、それをA/D変換して、撮像画像のデジタルデータ（撮像画像データとも称する）を生成する。ADC１２２は、その撮像画像データを特徴量抽出用信号処理部１２３に供給する。
【００４３】
特徴量抽出用信号処理部１２３は、ADC１２２から供給される撮像画像データを取得すると、それに対して、特徴量抽出に関する信号処理を行う。特徴量抽出用信号処理部１２３は、信号処理を施した撮像画像データを特徴量抽出符号化部１２４に供給する。
【００４４】
なお、撮像画像は、特徴量の抽出に用いられるので（観賞用等には使用されないので）、この特徴量抽出用信号処理部１２３による撮像画像に対する信号処理も、特徴量抽出に関係のあるもののみでよい。例えば、解像度変換、フレーム周波数変換、デモザイク、色変換処理等、比較的負荷の軽い処理であってもよい。このように、撮像画像を出力せずに特徴量抽出にのみ利用することにより、信号処理の負荷の増大を抑制することができる。これにより、処理時間や消費電力の増大を抑制することができる。もちろん、この信号処理の内容は、特徴量抽出に関係のあるものであれば任意である。
【００４５】
また、撮像画像は、特徴量の抽出に十分な情報量があればよい。したがって、例えば、特徴量抽出用信号処理部１２３は、この信号処理により、十分な精度で特徴量抽出を行うことができる範囲で、撮像画像の解像度やフレーム周波数を落とすことができる（つまり、特徴量抽出精度が低減しないように、撮像画像の情報量を低減させることができる）。これにより、特徴量抽出の処理時間や消費電力の増大を抑制することができる。
【００４６】
特徴量抽出符号化部１２４は、特徴量抽出用信号処理部１２３から供給される撮像画像データを取得し、その撮像画像の所定の特徴量を抽出する。また、特徴量抽出符号化部１２４は、抽出した特徴量を符号化し、符号化データを生成する。この抽出する特徴量や符号化方式は、任意である。このように特徴量を符号化することにより、伝送する情報量をさらに低減させることができる。さらに、特徴量抽出符号化部１２４は、生成した符号化データを送信部１２５に供給する。
【００４７】
送信部１２５は、特徴量抽出符号化部１２４から供給される符号化データを取得し、それを、例えばインターネット等の任意のネットワーク（通信媒体）を介して、クラウド１０２（受信部１３１）に送信する。
【００４８】
クラウド１０２は、特徴量の解析に関する処理を行う。図２に示されるように、クラウド１０２は、受信部１３１およびデータ解析処理部１３２を有する。受信部１３１は、撮像装置１０１（撮像素子１１２（送信部１２５））から送信された符号化データを受信し、それをデータ解析処理部１３２に供給する。
【００４９】
データ解析処理部１３２は、受信部１３１から供給される符号化データを取得し、それを復号して撮像画像の特徴量のデータを復元する。また、データ解析処理部１３２は、復元した特徴量を解析することにより撮像画像の画像解析を行い、その解析結果に基づいて、観察対象の安否確認等を行う。さらに、データ解析処理部１３２が、その安否確認結果に応じて、所定のサービス（例えば、通知等）を行うようにしてもよい。
【００５０】
＜特徴量抽出符号化部＞
図３は、特徴量抽出符号化部１２４の主な構成例を示すブロック図である。図３の例において、特徴量抽出符号化部１２４は、非特許文献１に記載のMPEG CDVS（Moving Picture Experts Group Compact Descriptors for Visual Search）を適用する。このMPEG CDVSは、入力画像から特徴量を抽出・圧縮する方式を規定する、MPEGで標準化された技術（ISO/IEC 15938-13:2015）である。特徴量抽出符号化部１２４は、SIFTと同様な手法で、キーポイント、局所特徴量、および全体特徴量を算出し、それらを圧縮する。
【００５１】
図３に示されるように、この場合の特徴量抽出符号化部１２４は、キーポイント検出部１５１、ローカル特徴選択部１５２、ローカル記述計算部１５３、ローカル記述圧縮部１５４、座標符号化部１５５、およびグローバル記述集計部１５６を有する。キーポイント検出部１５１は、入力された画像データからキーポイント（keypoint）を検出する。ローカル特徴選択部１５２は、画像データから局所特徴量（Local Feature）を導出する。ローカル記述計算部１５３は、ローカル記述（Local descriptor）を計算する。ローカル記述圧縮部１５４は、ローカル記述を圧縮する。座標符号化部１５５は、座標を符号化する。グローバル記述集計部１５６は、グローバル記述（global descriptor）を集計する。
【００５２】
＜撮像処理の流れ＞
この撮像装置１０１により実行される撮像処理の流れの例を、図４のフローチャートを参照して説明する。
【００５３】
撮像処理が開始されると、受光部１２１は、ステップＳ１０１において、被写体を撮像し、撮像画像の電気信号を生成する。ステップＳ１０２において、ADC１２２は、ステップＳ１０１において得られた撮像画像の電気信号をA/D変換し、撮像画像データを生成する。
【００５４】
ステップＳ１０３において、特徴量抽出用信号処理部１２３は、ステップＳ１０２において生成された撮像画像データに対して、特徴量抽出のための信号処理を行う。
【００５５】
ステップＳ１０４において、特徴量抽出符号化部１２４は、ステップＳ１０３において信号処理が適宜施された撮像画像データから、その撮像画像の特徴量を抽出して符号化し、その特徴量の符号化データを生成する。
【００５６】
ステップＳ１０５において、送信部１２５は、ステップＳ１０４において生成された符号化データを（クラウド１０２に）送信する。
【００５７】
ステップＳ１０５の処理が終了すると、撮像処理が終了する。
【００５８】
以上のように撮像処理を行うことにより、撮像装置１０１は、より安全に情報をクラウド１０２に提供することができる。つまり、通信の安全性の低減を抑制することができる。
【００５９】
＜４．第２の実施の形態（方法１−１の詳細）＞
＜撮像素子＞
図２を参照して説明した撮像素子１１２は、受光部１２１乃至送信部１２５の各処理部を複数に分け、複数のデバイスとして構成するようにしてもよいし、受光部１２１乃至送信部１２５の各処理部を１つにパッケージ化して、単数のデバイスとして構成するようにしてもよい。撮像素子１１２の構成をパッケージ化することにより、撮像画像の漏洩をより抑制することができる。つまり、より強固なプライバシー保護を実現することができる。
【００６０】
図５は、受光部１２１乃至送信部１２５の各処理部を１つにパッケージ化する場合の、撮像素子１１２の主な構成例を示すブロック図である。この場合、パッケージ化された撮像素子１１２は、複数の半導体基板（半導体基板１７１および半導体基板１７２）を有する。受光部１２１およびADC１２２は、そのパッケージ内の半導体基板１７１に形成され、特徴量抽出用信号処理部１２３、特徴量抽出符号化部１２４、および送信部１２５は、そのパッケージ内の半導体基板１７２に形成される。つまり、受光部１２１および特徴量抽出符号化部１２４は、互いに異なる半導体基板に形成される。
【００６１】
この半導体基板１７１および半導体基板１７２は、平面上に並べて配置するようにしてもよいが、図６のＡの例のように互いに重畳させて、図６のＢに示されるような積層構造とするようにしてもよい。このような構造とすることにより、パッケージ化された撮像素子１１２の面積を低減させ、小型化することができる。これにより、回路規模の増大を抑制し、コストの増大を抑制することができる。
【００６２】
＜撮像装置＞
なお、送信部は、パッケージ化された撮像素子１１２の外部に設ける（他のチップに設ける）ようにしてもよい。例えば、図７に示される撮像装置１８０は、撮像装置１０１（図２）と同様の装置である。ただし、撮像装置１８０は、パッケージ化された撮像素子１１２、ヘッダ生成部１８１、加算部１８２、および送信部１８３を有する。
【００６３】
この場合のパッケージ化された撮像素子１１２は、基本的に図５に示される例と同様の構成を有するが、送信部１２５を含まない点が図５の例と異なる。つまり、半導体基板１７１には、受光部１２１およびADC１２２が形成され、半導体基板１７２には、特徴量抽出用信号処理部１２３および特徴量抽出符号化部１２４が形成される。したがって、パッケージ化された撮像素子１１２からは、特徴量の符号化データが出力される。
【００６４】
ヘッダ生成部１８１は、パッケージ化された撮像素子１１２から出力される符号化データに関する情報（すなわち、撮像画像の特徴量に関する情報）を含むヘッダ情報を生成し、それを加算部１８２に供給する。加算部１８２は、ヘッダ生成部１８１から供給されるヘッダ情報を、パッケージ化された撮像素子１１２（特徴量抽出符号化部１２４）から出力される符号化データに付加する。加算部１８２は、ヘッダ情報が付加された符号化データを送信部１８３に供給する。
【００６５】
送信部１８３は、送信部１２５と同様の処理部であり、加算部１８２から供給される、ヘッダ情報が付加された符号化データを取得し、それを（クラウド１０２に）送信する。
【００６６】
つまり、撮像装置１８０は、ヘッダ情報の生成、そのヘッダ情報と特徴量の符号化データとの結合、およびヘッダ情報が付加された符号化データの送信を、パッケージ化された撮像素子１１２の外部において行う。このようにすることにより、全体としてのハードウエア規模と消費電力の増大を抑制することができる。
【００６７】
＜撮像処理の流れ＞
この場合の撮像処理の流れの例を、図８のフローチャートを参照して説明する。撮像処理が開始されると、ステップＳ１２１乃至ステップＳ１２４の各処理は、ステップＳ１０１乃至ステップＳ１０４の各処理（図４）と同様に実行される。
【００６８】
ステップＳ１２５において、ヘッダ生成部１８１はヘッダ情報を生成し、加算部１８２はそのヘッダ情報を特徴量の符号化データに付加する。
【００６９】
ステップＳ１２６において、送信部１８３は、ステップＳ１２５においてヘッダが付加された特徴量の符号化データを送信する。ステップＳ１２６の処理が終了すると、撮像処理が終了する。
【００７０】
以上のように撮像処理を行うことにより、撮像装置１８０は、より安全に情報をクラウド１０２に提供することができる。つまり、通信の安全性の低減を抑制することができる。
【００７１】
＜５．第３の実施の形態（方法１−１−１の詳細）＞
＜通信システム＞
撮像素子または撮像装置が、動作モードを選択する機能を有するようにしてもよい。例えば、撮像素子または撮像装置において、撮像画像を出力するか、特徴量を出力するかを選択することができるようにしてもよい。
【００７２】
図９は、その場合の通信システム１００の主な構成例を示すブロック図である。図９に示されるように、この場合、撮像素子１１２は、図２に示される構成に加え、制御部２１１、選択部２１２、信号処理部２１３、符号化部２１４、および選択部２１５を有する。
【００７３】
制御部２１１は、撮像装置１０１の外部からの動作モードに関する要求を受け付け、その要求に基づいて動作モードの制御を行う。より具体的には、制御部２１１は、選択部２１２および選択部２１５を制御して動作モードの選択（切り替え）を行う。
【００７４】
この場合の撮像素子１１２には、動作モードとして、特徴量（の符号化データ）を出力するモードと、撮像画像（の符号化データ）を出力するモードとが用意されている。制御部２１１は、選択部２１２および選択部２１５を制御することにより、いずれか一方のモードを選択することができる。
【００７５】
なお、動作モードに関する要求の要求元は任意である。例えば、撮像装置１０１のユーザであってもよいし、図９に示されるように、クラウド１０２（例えばデータ解析処理部１３２）であってもよい。図９の例の場合、データ解析処理部１３２が、特徴量の解析結果（安否確認結果）に基づいて動作モードに関する要求を行うようにしてもよい。例えば、安否確認において観察対象に異常が確認された場合、データ解析処理部１３２が、その確認用として、撮像装置１０１（撮像素子１１２）に対し、撮像画像（の符号化データ）を出力するモードで動作するように要求するようにしてもよい。このようにすることにより、クラウド１０２は、単なる安否確認だけでなく、異常が生じた場合には撮像画像を用いて通知を行う等の高度なサービスを実現することができる。
【００７６】
選択部２１２は、制御部２１１の制御に従って、ADC１２２の接続先を制御する。例えば、選択部２１２がADC１２２を信号処理部２１３に接続することにより、ADC１２２は、その選択部２１２を介して撮像画像データを信号処理部２１３に供給する。つまり、撮像素子１１２は、撮像画像（の符号化データ）を出力するモードで動作する。また、選択部２１２がADC１２２を特徴量抽出用信号処理部１２３に接続することにより、ADC１２２は、その選択部２１２を介して撮像画像データを特徴量抽出用信号処理部１２３に供給する。つまり、撮像素子１１２は、特徴量（の符号化データ）を出力するモードで動作する。
【００７７】
信号処理部２１３は、選択部２１２を介して供給される撮像画像データを取得し、その撮像画像データに対して所定の信号処理を行う。この信号処理の内容は任意である。信号処理部２１３は、特徴量抽出用信号処理部１２３とは独立に信号処理を行うことができる。例えば、信号処理部２１３が、特徴量抽出用信号処理部１２３の信号処理よりも、高画質化のための信号処理を行うことにより、撮像装置１０１は、より高画質な撮像画像（の符号化データ）を出力することができる。信号処理が適宜施された撮像画像データを符号化部２１４に供給する。符号化部２１４は、信号処理部２１３から供給される、信号処理が適宜施された撮像画像データを符号化し、撮像画像の符号化データを生成する。なお、この符号化の方法は任意である。符号化部２１４は、生成した符号化データを選択部２１５に供給する。
【００７８】
なお、撮像画像の符号化は、省略するようにしてもよい。すなわち、符号化部２１４を省略するようにしてもよい。つまり、符号化されていない撮像画像データ（信号処理部２１３により所定の信号処理が適宜施された撮像画像データ）が、信号処理部２１３から選択部２１５を介して送信部１２５に供給され、送信されるようにしてもよい。
【００７９】
選択部２１５は、制御部２１１の制御に従って、送信部１２５の接続元を制御する。例えば、選択部２１５が符号化部２１４を送信部１２５に接続することにより、符号化部２１４は、その選択部２１５を介して撮像画像の符号化データを送信部１２５に供給する。つまり、撮像素子１１２は、撮像画像（の符号化データ）を出力するモードで動作する。また、選択部２１５が特徴量抽出符号化部１２４を送信部１２５に接続することにより、特徴量抽出符号化部１２４は、その選択部２１５を介して特徴量の符号化データを送信部１２５に供給する。つまり、撮像素子１１２は、特徴量（の符号化データ）を出力するモードで動作する。
【００８０】
このようにすることにより、撮像装置１０１は、特徴量だけでなく、撮像画像を出力することもできるようになる。したがって、利便性を向上させることができる。
【００８１】
＜撮像処理の流れ＞
この場合の撮像処理の流れの例を、図１０のフローチャートを参照して説明する。撮像処理が開始されると、制御部２１１は、ステップＳ２０１において、動作モードに関する要求を受け付ける。
【００８２】
ステップＳ２０２において、制御部２１１は、撮像素子１１２の動作モードを、ステップＳ２０１において受け付けた要求に対応するモード（すなわち、要求されたモード）に設定する。
【００８３】
ステップＳ２０３において、選択部２１２および選択部２１５は、ステップＳ２０２における制御部２１１の制御に従って、撮像画像を出力するか否かを判定する。特徴量を出力するモードが選択されたと判定された場合、選択部２１２はADC１２２を特徴量抽出用信号処理部１２３に接続し、選択部２１５は特徴量抽出符号化部１２４を送信部１２５に接続し、処理をステップＳ２０４に進める。
【００８４】
ステップＳ２０４において、受光部１２１は、被写体を撮像し、撮像画像の電気信号を生成する。ステップＳ２０５において、ADC１２２は、ステップＳ２０４において得られた撮像画像の電気信号をA/D変換し、撮像画像データを生成する。ステップＳ２０６において、特徴量抽出用信号処理部１２３は、ステップＳ２０５において生成された撮像画像データに対して、特徴量抽出のための信号処理を行う。ステップＳ２０７において、特徴量抽出符号化部１２４は、ステップＳ２０６において信号処理が適宜施された撮像画像データから、その撮像画像の特徴量を抽出して符号化し、その特徴量の符号化データを生成する。ステップＳ２０８において、送信部１２５は、ステップＳ２０７において生成された符号化データを（クラウド１０２に）送信する。ステップＳ２０８の処理が終了すると、撮像処理が終了する。
【００８５】
また、ステップＳ２０３において、撮像画像を出力するモードが選択されたと判定された場合、選択部２１２はADC１２２を信号処理部２１３に接続し、選択部２１５は符号化部２１４を送信部１２５に接続し、処理をステップＳ２０９に進める。
【００８６】
ステップＳ２０９において、受光部１２１は、被写体を撮像し、撮像画像の電気信号を生成する。ステップＳ２１０において、ADC１２２は、ステップＳ２０９において得られた撮像画像の電気信号をA/D変換し、撮像画像データを生成する。ステップＳ２１１において、信号処理部２１３は、ステップＳ２１０において生成された撮像画像データに対して、所定の信号処理を行う。ステップＳ２１２において、符号化部２１４は、ステップＳ２１１において信号処理が適宜施された撮像画像データを符号化し、撮像画像の符号化データを生成する。ステップＳ２１３において、送信部１２５は、ステップＳ２１２において生成された撮像画像の符号化データを（クラウド１０２に）送信する。ステップＳ２１３の処理が終了すると、撮像処理が終了する。
【００８７】
以上のように撮像処理を行うことにより、撮像装置１０１は、特徴量だけでなく撮像画像をクラウド１０２に提供することができる。したがって、利便性を向上させることができる。
【００８８】
＜６．第４の実施の形態（方法１−１−１−１の詳細）＞
＜通信システム＞
さらに、上述の要求に対して（要求元の）認証を行い、正規の要求であることを確認した後、動作モードを切り替えるようにしてもよい。
【００８９】
図１１は、その場合の通信システム１００の主な構成例を示すブロック図である。図１１に示されるように、この場合、撮像素子１１２は、図９に示される構成に加え、認証部２３１を有する。
【００９０】
認証部２３１は、撮像装置１０１の外部からの要求について、その要求元の認証を行う。認証方法は任意である。要求元が正規の要求元である（すなわち正規の要求である）ことが確認されると認証部２３１は、その要求を制御部２１１に供給する。制御部２１１は、図９の場合と同様に処理を行う。
【００９１】
このようにすることにより、不正な要求元からの要求を拒否することができる。つまり、撮像装置１０１は、より安全に、外部からの要求を受け付けることができる。したがって、撮像装置１０１は、より安全に撮像画像を出力することができる。
【００９２】
なお、以上の認証処理を行うタイミングは任意である。例えば、動作モードの切り替えの度（つまり動作モード変更の要求がある度）に行うようにしてもよいし、初回のみ（例えばログイン時のみ）行うようにしてもよい。また、動作モードを、撮像画像を出力するモードに切り替える場合（そのような要求がある場合）のみ、要求元の認証処理を行うようにしてもよい。
【００９３】
＜撮像処理の流れ＞
この場合の撮像処理の流れの例を、図１２のフローチャートを参照して説明する。撮像処理が開始されると、認証部２３１は、ステップＳ２３１において、要求元の認証処理を行う。要求元が正規の要求元であることが確認されると処理はステップＳ２３２に進む。
【００９４】
ステップＳ２３２乃至ステップＳ２４４の各処理は、ステップＳ２０１乃至ステップＳ２１３の各処理（図１０）と同様に実行される。そして、ステップＳ２３９またはステップＳ２４４の処理が終了すると撮像処理が終了する。
【００９５】
以上のように撮像処理を行うことにより、撮像装置１０１は、より安全に、外部からの要求を受け付けることができ、より安全に撮像画像を出力することができる。
【００９６】
＜７．第５の実施の形態（方法１−１−２の詳細）＞
＜通信システム＞
さらに、撮像装置１０１が撮像画像を出力する場合、画素領域（光電変換領域）の一部（部分領域）を用いて生成されるようにしてもよい。つまり、画角を制限し、特徴量を抽出する撮像画像よりも低解像度の撮像画像を出力するようにしてもよい。このようにすることにより、撮像画像データのデータ量を低減させることができるので、撮像素子１１２内の処理の負荷の増大を抑制することができる。また、撮像素子１１２から出力する際の出力データレートの増大を抑制することができる。したがって、撮像素子１１２のコストの増大を抑制することができる。同様に、クラウド１０２の処理や画像表示側の処理の負荷の増大も抑制することができる。
【００９７】
なお、このような画素領域の限定（画角の限定）は、撮像画像より抽出された特徴量に基づいて設定されるようにしてもよい。つまり、撮像部が、光電変換領域の、特徴量抽出部により抽出された特徴量に基づく範囲内の部分を用いて、撮像画像を生成するようにしてもよい。例えば、特徴量を解析することで行われた撮像画像の画像解析に基づいて、撮像画像内の、異常が発生した場所（部分領域）や観察対象が存在する場所（部分領域）等を、注視すべき領域として特定することができる。このような注視すべき領域の撮像画像（その他の領域を削除した撮像画像）を出力することにより、撮像装置１０１は、見る価値のより高い撮像画像を出力することができる。換言するに、見る価値の低いその他の部分領域を撮像画像に含めないようにすることにより、撮像画像のデータ量が不要に増大することを抑制することができる（典型的には撮像画像のデータ量を低減させることができる）。
【００９８】
また、このような画素領域の限定の方法は任意である。例えば、一度画角を限定せずに撮像画像を生成し、その撮像画像から注視すべき領域を画像処理により切り出すようにしてもよい。また、例えば、受光部１２１およびADC１２２を制御し、注視すべき領域に対応する画素領域およびA/D変換器のみを駆動させ、注視すべき領域の撮像画像を生成するようにしてもよい。後者のように必要な部分のみを駆動させることにより、撮像の負荷の増大を抑制することができる。
【００９９】
図１３は、その場合の通信システム１００の主な構成例を示すブロック図である。図１３に示されるように、この場合、通信システム１００は、撮像装置１０１およびクラウド１０２の他に、受信装置２０１および画像表示装置２０２を有する。受信装置２０１は、撮像装置１０１から送信される撮像画像の符号化データを受信し、その受信した符号化データを画像表示装置２０２に供給する。画像表示装置２０２は、その受信装置２０１から供給される符号化データを取得し、それを復号して撮像画像データを生成し、その撮像画像を表示する。
【０１００】
また、撮像素子１１２は、図１１に示される構成に加え、画像駆動制御部２６１を有する。画像駆動制御部２６１は、特徴量抽出符号化部１２４により抽出された撮像画像の特徴量を取得し、その特徴量に基づいて、受光部１２１およびADC１２２を制御する。より具体的には、画像駆動制御部２６１は、受光部１２１およびADC１２２を制御し、取得した特徴量により導出される注視すべき領域の撮像画像の生成に必要な部分を駆動させる。
【０１０１】
受光部１２１は、画素領域の、画像駆動制御部２６１に指定された一部の領域のみを駆動させて撮像画像を生成する。また、ADC１２２は、画像駆動制御部２６１の制御に従って必要なA/D変換器のみを駆動させ、注視すべき領域の撮像画像データを生成する。このようにすることにより、不要な部分の駆動を抑制し、負荷の増大を抑制することができる。
【０１０２】
＜撮像処理の流れ＞
この場合の撮像処理の流れの例を、図１４のフローチャートを参照して説明する。撮像処理が開始されると、ステップＳ２６１乃至ステップＳ２６９の各処理が、ステップＳ２３１乃至ステップＳ２３９の各処理と同様に実行される。
【０１０３】
また、ステップＳ２６４において、撮像画像を出力すると判定された場合、処理はステップＳ２７０に進む。
【０１０４】
ステップＳ２７０において、画像駆動制御部２６１は、過去に抽出した特徴量に基づいて注視すべき領域（注視領域とも称する）を設定する。
【０１０５】
ステップＳ２７１において、受光部１２１は、ステップＳ２７０における画像駆動制御部２６１の制御に従って、被写体を撮像し、注視領域の撮像画像を生成する。ステップＳ２７２において、ADC１２２は、ステップＳ２７０における画像駆動制御部２６１の制御に従って、その注視領域の撮像画像をA/D変換する。
【０１０６】
ステップＳ２７３乃至ステップＳ２７５の各処理は、ステップＳ２４２乃至ステップＳ２４４の各処理（図１２）と同様に実行される。
【０１０７】
ステップＳ２６９またはステップＳ２７５の処理が終了すると、撮像処理が終了する。
【０１０８】
以上のように撮像処理を行うことにより、撮像装置１０１は、負荷の増大を抑制することができる。
【０１０９】
＜８．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０１１０】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１１１】
図１５に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
【０１１２】
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
【０１１３】
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
【０１１４】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１５】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
【０１１６】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
【０１１７】
その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
【０１１８】
＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。
【０１１９】
また、以上においては、本技術を撮像装置に適用する場合について説明したが、本技術は、撮像装置に限らず任意の装置（電子機器）に適用することができる。例えば、他の撮像装置において生成された撮像画像に対して画像処理を施す画像処理装置等にも本技術を適用することができる。
【０１２０】
また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
【０１２１】
さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。
【０１２２】
＜その他＞
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【０１２３】
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
【０１２４】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２５】
また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０１２６】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１２７】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０１２８】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１２９】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０１３０】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０１３１】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０１３２】
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【０１３３】
なお、本技術は以下のような構成も取ることができる。
（１）  被写体を撮像し、撮像画像を生成する撮像部と、
前記撮像部により生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部と
を備える撮像素子。
（２）  前記撮像部および前記特徴量抽出部は、互いに異なる基板に形成される
（１）に記載の撮像素子。
（３）  前記撮像部が形成される基板と、前記特徴量抽出部が形成される基板とが、互いに重畳される
（２）に記載の撮像素子。
（４）  前記撮像部により生成された前記撮像画像に対して、前記特徴量の抽出のための信号処理を行う信号処理部をさらに備え、
前記特徴量抽出部は、前記信号処理部により前記信号処理が施された前記撮像画像より、前記特徴量を抽出する
（１）乃至（３）のいずれかに記載の撮像素子。
（５）  前記特徴量抽出部は、抽出した前記特徴量を符号化する
（１）乃至（４）のいずれかに記載の撮像素子。
（６）  前記特徴量抽出部により抽出された前記特徴量を送信する送信部
をさらに備える（１）乃至（５）のいずれかに記載の撮像素子。
（７）  前記撮像画像を出力するか、前記特徴量を出力するかを選択する選択部
をさらに備える（１）乃至（６）のいずれかに記載の撮像素子。
（８）  前記選択部は、撮像素子の外部からの要求に基づいて選択する
（７）に記載の撮像素子。
（９）  前記要求の要求元を認証する認証部をさらに備え、
前記選択部は、前記認証部により前記要求元が認証された場合、前記要求に基づいて選択する
（８）に記載の撮像素子。
（１０）  前記撮像部により生成された前記撮像画像に対して、所定の信号処理を行う画像用信号処理部と、
前記画像用信号処理部により信号処理が施された前記撮像画像を符号化する符号化部と
をさらに備える（７）乃至（９）のいずれかに記載の撮像素子。
（１１）  前記撮像部は、前記選択部により撮像画像の出力が選択された場合、光電変換領域の一部を用いて撮像画像を生成する
（７）乃至（１０）のいずれかに記載の撮像素子。
（１２）  前記撮像部は、前記光電変換領域の、前記特徴量抽出部により抽出された前記特徴量に基づく範囲内の部分を用いて、前記撮像画像を生成する
（１１）に記載の撮像素子。
（１３）  被写体を撮像し、撮像画像を生成する撮像部と、
前記撮像部により生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部と
を備える撮像装置。
（１４）  前記特徴量抽出部により抽出された前記特徴量を外部に送信する送信部
をさらに備える（１３）に記載の撮像装置。
（１５）  前記特徴量のヘッダ情報を生成するヘッダ生成部と、
前記ヘッダ生成部により生成された前記ヘッダ情報を、前記特徴量抽出部により抽出された前記特徴量に付加する付加部と
をさらに備える（１４）に記載の撮像装置。
（１６）  被写体を撮像し、撮像画像を生成し、
生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する
撮像方法。
【符号の説明】
【０１３４】
１００  通信システム，  １０１  撮像装置，  １０２  クラウド，  １１１  光学系，  １１２  撮像素子，  １２１  受光部，  １２２  ADC，  １２３  特徴量抽出用信号処理部，  １２４  特徴量抽出符号化部，  １２５  送信部，  １３１  受信部,  １３２  データ解析処理部，  １７１および１７２  半導体基板，  １８０  撮像装置，  １８１  ヘッダ生成部，  １８２  加算部，  １８３  送信部，  ２０１  受信装置，  ２０２  画像表示装置，  ２１１  制御部，  ２１２  選択部，  ２１３  信号処理部，  ２１４  符号化部，  ２１５  選択部，  ２３１  認証部，  ２６１  画像駆動制御部
【図１】
2020116177.tif 000003
【図２】
2020116177.tif 000004
【図３】
2020116177.tif 000005
【図４】
2020116177.tif 000006
【図５】
2020116177.tif 000007
【図６】
2020116177.tif 000008
【図７】
2020116177.tif 000009
【図８】
2020116177.tif 000010
【図９】
2020116177.tif 000011
【図１０】
2020116177.tif 000012
【図１１】
2020116177.tif 000013
【図１２】
2020116177.tif 000014
【図１３】
2020116177.tif 000015
【図１４】
2020116177.tif 000016
【図１５】
2020116177.tif 000017
【国際調査報告】
2020116177.tif 000018
2020116177.tif 000019
2020116177.tif 000020
2020116177.tif 000021