(57)【要約】  撮像された画像に対して設定される領域に対応する領域情報を、領域ごとに含む付加データと、領域に対応する行ごとの画像を示す領域画像データとを、異なるパケットで送信させる、複数の画像センサそれぞれと通信を行うことが可能な通信部（２０２）と、複数の画像センサそれぞれから取得された付加データに含まれる領域情報に基づいて、複数の画像センサそれぞれから取得された領域画像データを、領域ごとに対応付けて処理する処理部（２０４）と、を備え、領域情報には、領域の識別情報、領域の位置を示す情報、および領域の大きさを示す情報のうちの一部または全部が、含まれる、画像処理装置（２００）が、提供される。
2020039992.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像に対して設定される領域に対応する領域情報を、前記領域ごとに含む付加データと、前記領域に対応する行ごとの画像を示す領域画像データとを、異なるパケットで送信させる、複数の画像センサそれぞれと通信を行うことが可能な通信部と、
複数の前記画像センサそれぞれから取得された前記付加データに含まれる前記領域情報に基づいて、複数の前記画像センサそれぞれから取得された前記領域画像データを、前記領域ごとに対応付けて処理する処理部と、
を備え、
前記領域情報には、前記領域の識別情報、前記領域の位置を示す情報、および前記領域の大きさを示す情報のうちの一部または全部が、含まれる、画像処理装置。
【請求項２】
前記処理部は、複数の前記画像センサそれぞれから取得された前記領域画像データが示す画像を、前記領域ごとに合成する、請求項１に記載の画像処理装置。
【請求項３】
前記処理部は、合成する対象の前記領域画像データが示す画像の相対的な位置を合わせて合成する、請求項２に記載の画像処理装置。
【請求項４】
前記付加データには、前記画像センサにおける撮像に関する情報が含まれ、
前記処理部は、複数の前記画像センサそれぞれから取得された前記撮像に関する情報に基づいて、合成する対象の前記領域画像データが示す画像の信号レベルを合わせて合成する、請求項２に記載の画像処理装置。
【請求項５】
前記通信部は、通信対象の前記画像センサを切り替え可能である、請求項１に記載の画像処理装置。
【請求項６】
前記パケットは、ＭＩＰＩ（Mobile  Industry  Processor  Interface  Alliance）のロングパケットである、請求項１に記載の画像処理装置。
【請求項７】
撮像された画像に対して設定される領域に対応する領域情報を、前記領域ごとに含む付加データと、前記領域に対応する行ごとの画像を示す領域画像データとを、異なるパケットで送信させる、複数の画像センサと、
画像処理装置と、
を有し、
前記画像処理装置は、
複数の前記画像センサそれぞれと通信を行うことが可能な通信部と、
複数の前記画像センサそれぞれから取得された前記付加データに含まれる前記領域情報に基づいて、複数の前記画像センサそれぞれから取得された前記領域画像データを、前記領域ごとに対応付けて処理する処理部と、
を備え、
前記領域情報には、前記領域の識別情報、前記領域の位置を示す情報、および前記領域の大きさを示す情報のうちの一部または全部が、含まれる、画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理システムに関する。
【背景技術】
【０００２】
複数の撮像部を備える複眼式の撮像装置に関する技術が開発されている。上記技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１１０４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば特許文献１に記載の技術が用いられる場合には、撮像装置を構成する一の撮像部における撮像により得られた画像から特定の対象が検出されたときに、撮像装置を構成する他の撮像部における撮像が行われる。しかしながら、特許文献１に記載の技術が用いられる場合には、撮像により複数の画像が得られるだけであり、撮像により得られた複数の画像を対応付けて処理することは、特に考慮がされていない。【０００５】
本開示では、複数の画像センサからそれぞれ得られる画像を対応付けて処理することが可能な、新規かつ改良された画像処理装置、および画像処理システムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、撮像された画像に対して設定される領域に対応する領域情報を、上記領域ごとに含む付加データと、上記領域に対応する行ごとの画像を示す領域画像データとを、異なるパケットで送信させる、複数の画像センサそれぞれと通信を行うことが可能な通信部と、複数の上記画像センサそれぞれから取得された上記付加データに含まれる上記領域情報に基づいて、複数の上記画像センサそれぞれから取得された上記領域画像データを、上記領域ごとに対応付けて処理する処理部と、を備え、上記領域情報には、上記領域の識別情報、上記領域の位置を示す情報、および上記領域の大きさを示す情報のうちの一部または全部が、含まれる、画像処理装置が、提供される。【０００７】
また、本開示によれば、撮像された画像に対して設定される領域に対応する領域情報を、上記領域ごとに含む付加データと、上記領域に対応する行ごとの画像を示す領域画像データとを、異なるパケットで送信させる、複数の画像センサと、画像処理装置と、を有し、上記画像処理装置は、複数の上記画像センサそれぞれと通信を行うことが可能な通信部と、複数の上記画像センサそれぞれから取得された上記付加データに含まれる上記領域情報に基づいて、複数の上記画像センサそれぞれから取得された上記領域画像データを、上記領域ごとに対応付けて処理する処理部と、を備え、上記領域情報には、上記領域の識別情報、上記領域の位置を示す情報、および上記領域の大きさを示す情報のうちの一部または全部が、含まれる、画像処理システムが、提供される。
【発明の効果】
【０００８】
本開示によれば、複数の画像センサからそれぞれ得られる画像を対応付けて処理することができる。【０００９】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る画像処理システムの構成の一例を示す説明図である。
【図２】ＭＩＰＩ  ＣＳＩ−２規格において定められるパケットのフォーマットを示す説明図である。
【図３】ＭＩＰＩ  ＣＳＩ−２規格において定められるパケットのフォーマットを示す説明図である。
【図４】ＭＩＰＩ  ＣＳＩ−２規格におけるパケットの送信に係る信号波形の一例を示す説明図である。
【図５】画像に対して設定される領域の一例を示す説明図である。
【図６】本実施形態に係る伝送方法に係る第１の伝送方式により送信されるデータの一例を示す説明図である。
【図７】本実施形態に係る第１の伝送方式により送信されるＥｍｂｅｄｄｅｄ  Ｄａｔａの一例を説明するための説明図である。
【図８】図７に示すＥｍｂｅｄｄｅｄ  Ｄａｔａに含まれる領域情報の一例を説明するための説明図である。
【図９】画像に対して設定される領域の他の例を示す説明図である。
【図１０】本実施形態に係る伝送方法に係る第２の伝送方式により送信されるデータの一例を示す説明図である。
【図１１】本実施形態に係る画像センサの構成の一例を示すブロック図である。
【図１２】本実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１３】本実施形態に係る画像処理装置が備える通信回路の機能構成の一例を示すブロック図である。
【図１４】本実施形態に係る画像処理装置が備える画像処理回路の機能構成の一例を示すブロック図である。
【図１５】本実施形態に係る画像処理システムにおける処理の一例を説明するための説明図である。
【図１６】本実施形態に係る画像処理システムにおける処理の一例を説明するための説明図である。
【図１７】本実施形態に係る画像処理システムにおける処理の一例を説明するための説明図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る伝送方法、本実施形態に係る画像処理方法および本実施形態に係る画像処理システム
［１］本実施形態に係る伝送方法を適用することが可能な画像処理システムの構成
［２］本実施形態に係る画像処理システムの適用例
［３］本実施形態に係る伝送方法
［４］本実施形態に係る画像処理システムを構成する画像センサ、画像処理装置の構成例
［５］本実施形態に係る画像処理システムにおける処理の一例
［６］本実施形態に係る画像処理システムが用いられることにより奏される効果の一例
２．本実施形態に係るプログラム
【００１３】
（本実施形態に係る伝送方法、本実施形態に係る画像処理方法および本実施形態に係る画像処理システム）
［１］本実施形態に係る伝送方法を適用することが可能な画像処理システムの構成
まず、本実施形態に係る伝送方法を適用することが可能な画像処理システムの構成の一例を説明する。
【００１４】
以下では、本実施形態に係る画像処理システムを構成する装置間の通信方式が、ＭＩＰＩ（Mobile  Industry  Processor  Interface）  ＣＳＩ−２（Camera  Serial  Interface  2）規格に則った通信方式である場合を例に挙げる。なお、本実施形態に係る画像処理システムを構成する装置間の通信方式は、ＭＩＰＩ  ＣＳＩ−２規格に則った通信方式に限られない。例えば、本実施形態に係る画像処理システムを構成する装置間の通信は、ＭＩＰＩ  ＣＳＩ−３規格に則った通信方式や、ＭＩＰＩ  ＤＳＩ（Display  Serial  Interface）に則った通信方式など、ＭＩＰＩアライアンスにおいて策定された他の規格であってもよい。また、本実施形態に係る伝送方法が適用可能な通信方式が、ＭＩＰＩアライアンスにおいて策定された規格に係る通信方式に限られないことは、言うまでもない。
【００１５】
図１は、本実施形態に係る画像処理システム１０００の構成の一例を示す説明図である。画像処理システム１０００としては、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体などが挙げられる。なお、画像処理システム１０００の適用例は、上記に示す例に限られない。画像処理システム１０００の他の適用例については、後述する。
【００１６】
画像処理システム１０００は、例えば、画像センサ１００Ａ、１００Ｂと、画像処理装置２００と、メモリ３００と、表示デバイス４００とを有する。以下では、画像センサ１００Ａ、１００Ｂそれぞれを総称して、または、画像センサ１００Ａ、１００Ｂのうちの１つの画像センサを指して「画像センサ１００」と示す。
【００１７】
画像センサ１００は、撮像機能と送信機能とを有し、撮像により生成した画像を示すデータを送信する。画像処理装置２００は、画像センサ１００から送信されたデータを受信し、受信されたデータを処理する。つまり、画像処理システム１０００において、画像センサ１００は送信装置の役目を果たし、画像処理装置２００は受信装置の役目を果たす。
【００１８】
なお、図１では、２つの画像センサ１００を有する画像処理システム１０００を示しているが、本実施形態に係る画像処理システムが有する画像センサ１００の数は、図１に示す例に限られない。例えば、本実施形態に係る画像処理システムは、３つ以上の画像センサ１００を有していてもよい。
【００１９】
また、本実施形態に係る画像処理システムでは、複数の画像センサ１００がモジュール化されていてもよい。複数の画像センサ１００がモジュール化されている画像センサモジュールには、例えば、複数の画像センサ１００と、画像センサモジュール用のプロセッサ（図示せず）と、当該プロセッサがデータを読み出すことが可能な記録媒体とが設けられる。画像センサモジュールを構成する上記記録媒体には、例えば、画像センサモジュールを構成する画像センサ１００の画角に関する情報（例えば画角を示すデータなど）などが記録される。そして、画像センサモジュールを構成する上記プロセッサは、任意の伝送路により画角に関する情報を画像処理装置２００に送信する。
【００２０】
また、図１では、１つの画像処理装置２００を有する画像処理システム１０００を示しているが、本実施形態に係る画像処理システムが有する画像処理装置２００の数は、図１に示す例に限られない。例えば、本実施形態に係る画像処理システムは、２つ以上の画像処理装置２００を有していてもよい。複数の画像処理装置２００を有する画像処理システムでは、画像処理装置２００それぞれに複数の画像センサ１００が対応する。画像センサ１００および画像処理装置２００それぞれを複数有する画像処理システムにおいても、図１に示す画像処理システム１０００と同様に、画像センサ１００それぞれと画像処理装置２００との間で通信が行われる。
【００２１】
画像センサ１００と画像処理装置２００とは、データバスＢ１により電気的に接続される。データバスＢ１は、画像センサ１００と画像処理装置２００とを接続する、一の信号の伝送路である。例えば、画像センサ１００から送信される画像を示すデータ（以下、「画像データ」と示す場合がある。）は、画像センサ１００から画像処理装置２００へとデータバスＢ１を介して伝送される。
【００２２】
画像処理システム１０００においてデータバスＢ１により伝送される信号は、例えば、ＭＩＰＩ  ＣＳＩ−２規格などの所定の規格に則った通信方式で伝送される。
【００２３】
図２、図３は、ＭＩＰＩ  ＣＳＩ−２規格において定められるパケットのフォーマットを示す説明図である。図２は、ＭＩＰＩ  ＣＳＩ−２規格において定められているショートパケット（Ｓｈｏｒｔ  Ｐａｃｋｅｔ）のフォーマットを示しており、図３は、ＭＩＰＩ  ＣＳＩ−２規格において定められているロングパケット（Ｌｏｎｇ  Ｐａｃｋｅｔ）のフォーマットを示している。
【００２４】
ロングパケットは、パケットヘッダ（図３に示す“ＰＨ”）、ペイロード（図３に示す“Ｐａｙｌｏａｄ  Ｄａｔａ”）、およびパケットフッタ（図３に示す“ＰＦ”）からなるデータである。ショートパケットは、図２に示すようにパケットヘッダ（図３に示す“ＰＨ”）と同様の構造を有するデータである。
【００２５】
ショートパケットとロングパケットとには、いずれもヘッダ部分にＶＣ（Virtual  Channel）番号（図２、図３に示す“ＶＣ”。ＶＣ値）が記録され、パケットごとに任意のＶＣ番号が付与されうる。同一のＶＣ番号が付与されたパケットは、同じ画像データに属するパケットとして扱われる。
【００２６】
また、ショートパケットとロングパケットとには、いずれもヘッダ部分にＤＴ（Data  Type）値（図２、図３に示す“Ｄａｔａ  Ｔｙｐｅ”）が記録される。そのため、ＶＣ番号と同様に、同一のＤＴ値が付与されたパケットを、同じ画像データに属するパケットとして取り扱うことも可能である。
【００２７】
ロングパケットのヘッダ部分のＷｏｒｄ  Ｃｏｕｎｔには、パケットの終わりがワード数で記録される。ショートパケットとロングパケットとのヘッダ部分のＥＣＣには、誤り訂正符号（Error  Correcting  Code）が記録される。
【００２８】
ＭＩＰＩ  ＣＳＩ−２規格では、データ信号を伝送する期間では高速差動信号が用いられ、また、データ信号のブランキング期間では低電力信号が用いられる。また、高速差動信号が用いられる期間は、ＨＰＳ（High  Speed  State）の期間と呼ばれ、低電力信号が用いられる期間は、ＬＰＳ（Low  Power  State）の期間と呼ばれる。
【００２９】
図４は、ＭＩＰＩ  ＣＳＩ−２規格におけるパケットの送信に係る信号波形の一例を示す説明図である。図４のＡは、パケットの伝送の一例を示しており、図４のＢは、パケットの伝送の他の例を示している。図４に示す“ＳＴ”、“ＥＴ”、“ＰＨ”、“ＰＦ”、“ＳＰ”、“ＰＳ”は、それぞれ下記を意味する。
・ＳＴ：Ｓｔａｒｔ  ｏｆ  Ｔｒａｎｓｍｉｓｓｉｏｎ
・ＥＴ：Ｅｎｄ  ｏｆ  Ｔｒａｎｓｍｉｓｓｉｏｎ
・ＰＨ：Ｐａｃｋｅｔ  Ｈｅａｄｅｒ
・ＰＦ：Ｐａｃｋｅｔ  Ｆｏｏｔｅｒ
・ＳＰ：Ｓｈｏｒｔ  Ｐａｃｋｅｔ
・ＰＳ：Ｐａｃｋｅｔ  Ｓｐａｃｉｎｇ
【００３０】
図４に示すように、ＬＰＳの期間における差動信号（図４に示す“ＬＰＳ”）と、ＨＰＳの期間における差動信号（図４に示す“ＬＰＳ”以外）とでは、差動信号の振幅が異なることが分かる。そのため、伝送効率を向上させる観点からは、できる限りＬＰＳの期間が入らないことが望ましい。
【００３１】
画像センサ１００と画像処理装置２００とは、例えば、データバスＢ１とは異なる制御バスＢ２により電気的に接続される。制御バスＢ２は、画像センサ１００と画像処理装置２００とを接続する、他の信号の伝送路である。例えば、画像処理装置２００から出力される制御情報が、画像処理装置２００から画像センサ１００へと制御バスＢ２を介して伝送される。
【００３２】
制御情報には、例えば、制御のための情報と処理命令とが含まれる。制御のための情報としては、例えば、画像サイズを示すデータ、フレームレートを示すデータ、画像の出力命令が受信されてから画像を出力するまでの出力遅延量を示すデータのうちの１または２以上など、画像センサ１００における機能を制御するためのデータが、挙げられる。また、制御情報には、画像センサ１００を示す識別情報が含まれていてもよい。識別情報としては、例えば、画像センサ１００に設定されているＩＤなどの、画像センサ１００を特定することが可能な任意のデータが挙げられる。
【００３３】
なお、制御バスＢ２を介して画像処理装置２００から画像センサ１００へと伝送される情報は、上記に示す例に限られない。例えば、画像処理装置２００は、画像における領域を指定する領域指定情報を、制御バスＢ２を介して伝送してもよい。領域指定情報としては、領域に含まれる画素の位置を示すデータ（例えば、領域に含まれる画素の位置が座標で表される座標データなど）など、領域を特定することが可能な任意の形式のデータが、挙げられる。
【００３４】
図１では、画像センサ１００と画像処理装置２００とが制御バスＢ２により電気的に接続されている例を示しているが、画像センサ１００と画像処理装置２００とは、制御バスＢ２で接続されていなくてもよい。例えば、画像センサ１００と画像処理装置２００とは、任意の通信方式の無線通信によって、制御情報などを送受信してもよい。
【００３５】
また、図１では、画像センサ１００Ａと画像センサ１００Ｂとが電気的に接続されていないが、画像センサ１００Ａと画像センサ１００Ｂとは、任意の通信方式で通信を行うことが可能な伝送路によって、電気的に接続されていてもよい。画像センサ１００Ａと画像センサ１００Ｂとが電気的に接続されている場合には、画像センサ１００Ａと画像センサ１００Ｂとは、直接的に通信を行うことが可能である。一例を挙げると、画像センサ１００Ａと画像センサ１００Ｂとは、例えば、それぞれが備えるプロセッサ間の伝送路で通信を行うプロセッサ間通信によって、通信を行うことが可能である。なお、図１に示すように画像センサ１００Ａと画像センサ１００Ｂとが電気的に接続されていない場合であっても、画像センサ１００Ａと画像センサ１００Ｂとは、画像処理装置２００を介して通信を行うことが可能である。
【００３６】
以下、図１に示す画像処理システム１０００を構成する各装置について、説明する。
【００３７】
［１−１］メモリ３００
メモリ３００は、画像処理システム１０００が有する記録媒体である。メモリ３００としては、例えば、ＲＡＭ（Random  Access  Memory）などの揮発性メモリや、フラッシュメモリなどの不揮発性メモリなどが挙げられる。メモリ３００は、バッテリなどの画像処理システム１０００を構成する内部電源（図示せず）から供給される電力、または、画像処理システム１０００の外部電源から供給される電力によって、動作する。
【００３８】
メモリ３００には、例えば、画像センサ１００から出力された画像が記憶される。メモリ３００への画像の記録は、例えば画像処理装置２００により制御される。
【００３９】
［１−２］表示デバイス４００
表示デバイス４００は、画像処理システム１０００が有する表示デバイスである。表示デバイス４００としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Organic  Electro-Luminescence  Display）などが挙げられる。表示デバイス４００は、バッテリなどの画像処理システム１０００を構成する内部電源（図示せず）から供給される電力、または、画像処理システム１０００の外部電源から供給される電力によって、動作する。
【００４０】
表示デバイス４００の表示画面には、例えば、画像センサ１００から出力された画像や、画像処理装置２００において実行されるアプリケーションに係る画面、ＵＩ（User  Interface）に係る画面など、様々な画像や画面が表示される。表示デバイス４００の表示画面への画像などの表示は、例えば画像処理装置２００により制御される。
【００４１】
［１−３］画像センサ１００
画像センサ１００は、撮像機能と送信機能とを有し、撮像により生成した画像を示すデータを送信する。上述したように、画像センサ１００は、画像処理システム１０００において送信装置の役目を果たす。
【００４２】
画像センサ１００は、例えば、“デジタルスチルカメラやデジタルビデオカメラ、ステレオカメラなどの撮像デバイス”や、“赤外線センサ”、“距離画像センサ”などの、画像を生成することが可能な任意の方式の画像センサデバイスを含み、生成された画像を送信する機能を有する。画像センサ１００において生成される画像は、画像センサ１００におけるセンシング結果を示すデータに該当する。画像センサ１００の構成の一例については、後述する。
【００４３】
画像センサ１００は、後述する本実施形態に係る伝送方法により、画像に対して設定される領域に対応する画像データ（以下、「領域画像データ」と示す。）を送信する。領域画像データの送信に係る制御は、例えば、画像センサ１００における画像処理部として機能する構成要素（後述する）により行われる。画像に対して設定される領域は、ＲＯＩ（Region  Of  Interest）と呼ばれる場合がある。以下では、画像に対して設定される領域を「ＲＯＩ」と示す場合がある。
【００４４】
画像に対する領域の設定に係る処理としては、例えば、“画像から物体を検出し、検出された物体を含む領域を設定する処理”、“任意の操作デバイスに対する操作などにより指定された領域を設定する処理”など、画像における一部の領域を特定することが可能な任意の処理（または、画像から一部の領域を切り出すことが可能な任意の処理）が、挙げられる。
【００４５】
画像に対する領域の設定に係る処理は、画像センサ１００が行ってもよいし、画像処理装置２００などの外部装置において行われてもよい。画像センサ１００が画像に対する領域の設定に係る処理を行う場合、画像センサ１００は、画像に対する領域の設定に係る処理の結果に従って領域を特定する。また、例えば、画像に対する領域の設定に係る処理が外部装置において行われる場合、画像センサ１００は、外部装置から取得される領域指定情報に基づいて、領域を特定する。
【００４６】
画像センサ１００が、領域画像データを送信すること、すなわち、画像の一部のデータを送信することによって、画像全体を伝送するよりも伝送に係るデータ量が小さくなる。よって、画像センサ１００が、領域画像データを送信することによって、例えば、伝送時間が短縮される、画像処理システム１０００における伝送に係る負荷が低減されるなど、データ量が低減されることにより奏される様々な効果が、奏される。
【００４７】
なお、画像センサ１００は、画像全体を示すデータを送信することも可能である。
【００４８】
画像センサ１００が、領域画像データを送信する機能、および画像全体を示すデータを送信する機能を有している場合、画像センサ１００は、領域画像データを送信することと、画像全体を示すデータを送信することとを、選択的に切り替えて行うことが可能である。
【００４９】
画像センサ１００は、例えば、設定されている動作モードによって、領域画像データを送信し、または、画像全体を示すデータを送信する。動作モードの設定は、例えば、任意の操作デバイスに対する操作などにより行われる。
【００５０】
また、画像センサ１００は、外部装置から取得される領域指定情報に基づいて、領域画像データを送信することと、画像全体を示すデータを送信することとを、選択的に切り替えてもよい。画像センサ１００は、例えば、外部装置から領域指定情報が取得されたときに、当該領域指定情報に対応する領域の領域画像データを送信し、外部装置から領域指定情報が取得されないときに、画像全体を示すデータを送信する。
【００５１】
［１−４］画像処理装置２００
画像処理装置２００は、画像センサ１００から送信されたデータを受信し、受信されたデータを、例えば本実施形態に係る画像処理方法に係る処理を行うことによって処理する。上述したように、画像処理装置２００は、画像処理システム１０００において受信装置の役目を果たす。画像センサ１００から送信されたデータの処理に係る構成（受信装置の役目を果たすための構成）の一例については、後述する。
【００５２】
画像処理装置２００は、例えば、ＭＰＵ（Micro  Processing  Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成される。画像処理装置２００は、バッテリなどの画像処理システム１０００を構成する内部電源（図示せず）から供給される電力、または、画像処理システム１０００の外部電源から供給される電力によって、動作する。
【００５３】
画像処理装置２００は、複数の画像センサ１００それぞれから取得された画像データを、本実施形態に係る画像処理方法に係る処理を行うことによって処理する。
【００５４】
画像処理システム１０００では、画像センサ１００は、後述する伝送方法に係る伝送方式によって、領域画像データを伝送する。画像処理装置２００は、複数の画像センサ１００からそれぞれ取得された領域画像データを、画像に対して設定された領域ごとに対応付けて処理する。
【００５５】
より具体的には、画像処理装置２００は、例えば、複数の画像センサ１００それぞれから取得された領域画像データが示す画像を、領域ごとに合成する。
【００５６】
このとき、画像処理装置２００は、合成する対象の領域画像データが示す画像の相対的な位置を合わせて合成する。画像処理装置２００は、例えば、領域画像データを送信した画像センサ１００それぞれから取得される画角に関する情報（または、上述した画像センサモジュールから取得される画角に関する情報。以下、同様とする。）に基づいて、領域画像データが示す画像の相対的な位置を合わせる。また、画像処理装置２００は、領域画像データが示す画像それぞれに対して任意のオブジェクト検出処理を行って、対応するオブジェクトを検出することによって、領域画像データが示す画像の相対的な位置を合わせてもよい。
【００５７】
なお、複数の画像センサ１００からそれぞれ取得された領域画像データを領域ごとに対応付ける処理は、上記に示す例に限られない。
【００５８】
例えば、画像処理装置２００は、領域画像データが示す画像を、信号レベルを合わせて合成してもよい。画像処理装置２００は、例えば“複数の画像センサ１００からそれぞれ取得される、画像センサ１００における撮像に関する情報（後述する）に基づいて、領域画像データを送信した画像センサ１００それぞれの感度比を補正する補正ゲインを求めること”によって、信号レベルを合わせた合成を実現する。ここで、画像センサ１００の感度としては、例えば画像センサ１００が備える画像センサデバイスの光電変換率が、挙げられる。
【００５９】
なお、画像処理装置２００における処理は、上記に示す例に限られない。
【００６０】
例えば、画像処理装置２００は、ＲＧＢ処理、ＹＣ処理、Ｇａｍｍａ処理など、画像データに対して行うことが可能な任意の処理を行うことが可能である。
【００６１】
また、画像処理装置２００は、例えば、メモリ３００などの記録媒体への画像データの記録制御に係る処理、表示デバイス４００の表示画面への画像の表示制御に係る処理、任意のアプリケーションソフトウェアを実行する処理など、様々な処理を行う。記録制御に係る処理としては、例えば“記録命令を含む制御データと記録媒体に記録させるデータとを、メモリ３００などの記録媒体に伝達する処理”が、挙げられる。また、表示制御に係る処理としては、例えば“表示命令を含む制御データと表示画面に表示させるデータとを、表示デバイス４００などの表示デバイスに伝達する処理”が、挙げられる。
【００６２】
また、画像処理装置２００は、例えば、画像センサ１００に対して制御情報を送信することによって、画像センサ１００における機能を制御してもよい。画像処理装置２００は、例えば、画像センサ１００に対して領域指定情報を送信することによって、画像センサ１００から送信されるデータを制御することも可能である。
【００６３】
画像処理装置２００の構成の一例については、後述する。
【００６４】
画像処理システム１０００は、例えば図１に示す構成を有する。なお、本実施形態に係る画像処理システムの構成は、図１に示す例に限られない。
【００６５】
例えば、画像処理システムの外部の記録媒体に画像センサ１００から送信される画像が記憶される場合、画像センサ１００から送信される画像が画像処理装置２００が備えるメモリに記憶される場合、あるいは、画像センサ１００から送信される画像が記録されない場合などには、本実施形態に係る画像処理システムは、メモリ３００を有していなくてもよい。
【００６６】
また、本実施形態に係る画像処理システムは、図１に示す表示デバイス４００を有さない構成をとることが可能である。
【００６７】
さらに、本実施形態に係る画像処理システムは、後述する本実施形態に係る画像処理システムが適用される電子機器が有する機能に応じた、任意の構成を有していてもよい。
【００６８】
［２］本実施形態に係る画像処理システムの適用例
以上、本実施形態として、画像処理システムを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体、ＰＣ（Personal  Computer）などのコンピュータ、タブレット型の装置、ゲーム機など、様々な電子機器に適用することができる。
【００６９】
［３］本実施形態に係る伝送方法
次に、本実施形態に係る伝送方法を説明する。以下では、本実施形態に係る伝送方法が、画像センサ１００に適用される場合を、例に挙げる。
【００７０】
（１）第１の伝送方式
図５は、画像に対して設定される領域の一例を示す説明図である。図５では、領域の例として、領域１、領域２、領域３、および領域４という４つの領域を示している。なお、画像に対して設定される領域が、図５に示す例に限られないことは、言うまでもない。
【００７１】
画像センサ１００は、例えば、“図５に示す領域１〜領域４のような画像に対して設定される領域に対応する領域情報を、領域ごとに含む付加データ”と、“領域に対応する行（ライン）ごとの画像を示す領域画像データ”とを、異なるパケットで送信する。画像における行とは、画素の位置を二次元平面座標（ｘ，ｙ）で表すとき、ｙ座標が同一であることをいう。
【００７２】
本実施形態に係る領域情報とは、画像に対して設定される領域を、受信装置側で特定するためのデータ（データ群）である。領域情報には、例えば、領域の識別情報、領域の位置を示す情報、および領域の大きさを示す情報のうちの一部または全部が、含まれる。
【００７３】
なお、領域情報に含まれる情報は、上記に示す例に限られない。領域情報には、画像に対して設定される領域を受信装置側で特定するための任意の情報が含まれていてもよい。例えば、ＶＣ番号で領域が分けられる場合、ＶＣ番号が、行に含まれる領域の識別情報の役目を果たしてもよい。また、ＶＣ番号で領域が分けられる場合、ペイロード長を、行に含まれる領域の大きさを示す情報として代用することが可能である。
【００７４】
領域の識別情報としては、例えば、領域に付された番号などの領域のＩＤを示すデータなど、領域を一意に特定することが可能な任意のデータが、挙げられる。以下では、領域の識別情報を、「ＲＯＩ  ＩＤ」と示す場合がある。
【００７５】
領域の位置を示す情報は、画像における領域の位置を示すデータである。領域の位置を示す情報としては、例えば、画像における領域の左上の位置を二次元平面座標（ｘ，ｙ）で表すデータなど、“領域の大きさを示す情報が示す領域の大きさと組み合わせることによって、領域を一意に特定することが可能な任意の位置を示すデータ”が、挙げられる。
【００７６】
領域の大きさを示す情報としては、領域の行数を示すデータ（領域の垂直方向の画素数を示すデータ）と、領域の列数を示すデータ（領域の水平方向の画素数を示すデータ）とが挙げられる。なお、領域の大きさを示す情報は、矩形の領域を示すデータ（例えば、当該矩形の領域における、水平方向の画素数および垂直方向の画素数を示すデータ）など、領域の大きさを特定することが可能な任意の形式のデータであってもよい。
【００７７】
以下、画像センサ１００における第１の伝送方式に係る処理の一例を説明する。
【００７８】
画像センサ１００は、領域情報を、一のパケットの“Ｅｍｂｅｄｄｅｄ  Ｄａｔａ”に格納して送信させる。また、画像センサ１００は、領域画像データを、他のパケットのペイロードに格納して、行ごとに送信させる。
【００７９】
“Ｅｍｂｅｄｄｅｄ  Ｄａｔａ”は、伝送されるパケットに埋め込むことの可能なデータであり、画像センサ１００が付加的に送信する付加データに該当する。以下では、Ｅｍｂｅｄｄｅｄ  Ｄａｔａを「ＥＢＤ」と示す場合がある。
【００８０】
図６は、本実施形態に係る伝送方法に係る第１の伝送方式により送信されるデータの一例を示す説明図である。図６は、“図５に示す領域１、領域２、領域３、および領域４それぞれに対応する領域情報が、ＭＩＰＩのロングパケットのペイロードに“Ｅｍｂｅｄｄｅｄ  Ｄａｔａ”として格納され、領域画像データが、図３に示すＭＩＰＩのロングパケットのペイロードに格納されて行ごとに伝送される例”を示している。
【００８１】
図６に示す“ＦＳ”は、ＭＩＰＩ  ＣＳＩ−２規格におけるＦＳ（Frame  Start）パケットであり、図６に示す“ＦＥ”は、ＭＩＰＩ  ＣＳＩ−２規格におけるＦＥ（Frame  End）パケットである（他の図においても同様である）。
【００８２】
図６に示す“Ｅｍｂｅｄｄｅｄ  Ｄａｔａ”は、上述したように伝送されるパケットに埋め込むことの可能なデータである。“Ｅｍｂｅｄｄｅｄ  Ｄａｔａ”は、例えば、伝送されるパケットのヘッダ、ペイロード、あるいは、フッタに埋め込むことの可能である。図６に示す例では、一のパケットの“Ｅｍｂｅｄｄｅｄ  Ｄａｔａ”に領域情報が格納され、領域情報が格納される“Ｅｍｂｅｄｄｅｄ  Ｄａｔａ”は、付加データに該当する。
【００８３】
なお、本実施形態に係る付加データに含まれる情報は、上記に示す例に限られない。例えば、本実施形態に係る付加データには、画像センサ１００における撮像に関する情報が含まれていてもよい。画像センサ１００における撮像に関する情報としては、例えば、画像センサデバイスにおける露出値などを示す露光情報、画像センサデバイスにおけるゲインを示すゲイン情報、および画像センサデバイスにおける光電変換率を示す感度情報のうちの一部または全部が、挙げられる。露光情報が示す露光値、およびゲイン情報が示すゲインそれぞれは、例えば制御バスＢ２を介した画像処理装置２００による制御によって、画像センサデバイスに設定される。
【００８４】
図７は、本実施形態に係る第１の伝送方式により送信されるＥｍｂｅｄｄｅｄ  Ｄａｔａの一例を説明するための説明図である。図７に示すＰＨ以降のデータが、図６に示すＥｍｂｅｄｄｅｄ  Ｄａｔａの一例である。
【００８５】
Ｅｍｂｅｄｄｅｄ  Ｄａｔａでは、例えば“Ｄａｔａ  Ｆｏｒｍａｔ  Ｃｏｄｅ”によって、Ｅｍｂｅｄｄｅｄ  Ｄａｔａに含まれるデータの種類が規定される。
【００８６】
図７に示す例では、“Ｄａｔａ  Ｆｏｒｍａｔ  Ｃｏｄｅ”以降の“１ｓｔ  ＲＯＩ  Ｉｎｆｏ”、“２ｎｄ  ＲＯＩ  Ｉｎｆｏ”、…それぞれが、領域情報の一例に該当する。つまり、図７に示すＥｍｂｅｄｄｅｄ  Ｄａｔａは、領域情報を含む付加データの一例である。
【００８７】
図７に示す領域情報では、例えば“Ｖａｌｕｅ”に、領域の識別情報、領域の位置を示す情報、および領域の大きさを示す情報が含まれる。また、“Ｖａｌｕｅ”には、画像センサ１００における撮像に関する情報が含まれていてもよい。図７に示す領域情報では、例えば“Ｌｅｎｇｔｈ”により、Ｅｍｂｅｄｄｅｄ  Ｄａｔａに含まれる他の領域情報との境界が規定される。
【００８８】
図８は、図７に示すＥｍｂｅｄｄｅｄ  Ｄａｔａに含まれる領域情報の一例を説明するための説明図である。図８に示す“ＲＯＩ  ＩＤ”が領域の識別情報に該当し、図８に示す“Ｕｐｐｅｒ  Ｌｅｆｔ  Ｃｏｏｒｄｉｎａｔｅ”が領域の位置を示す情報に該当する。また、図８に示す“Ｈｅｉｇｈｔ”および“Ｗｉｄｔｈ”が領域の大きさを示す情報に該当する。
【００８９】
なお、領域情報のデータ構成例、およびＥｍｂｅｄｄｅｄ  Ｄａｔａに含まれるデータが、図７、図８に示す例に限られないことは、言うまでもない。
【００９０】
再度図６を参照して、第１の伝送方式により送信されるデータの一例を説明する。図６に示す“１”、“２”、“３”、および“４”それぞれは、パケットのペイロードに格納される、領域１の領域画像データ、領域２の領域画像データ、領域３の領域画像データ、および領域４の領域画像データに該当する。なお、図６では、各領域画像データが区切られて示されているが、これは便宜上区切りを表したものであり、ペイロードに格納されるデータに区切りはない。
【００９１】
第１の伝送方式では、図５に示す領域１、領域２、領域３、および領域４それぞれに対応する領域情報は、図７に示すように一のパケットの“Ｅｍｂｅｄｄｅｄ  Ｄａｔａ”に格納して伝送される。また、第１の伝送方式では、図５に示す領域１、領域２、領域３、および領域４それぞれに対応する領域画像データは、図６に示すように、ＭＩＰＩのロングパケットのペイロードに格納されて、行ごとに伝送される。
【００９２】
（２）第２の伝送方式
なお、本実施形態に係る画像処理システム１０００に適用することが可能な伝送方法は、上記第１の伝送方式に係る伝送方法に限られない。
【００９３】
例えば、画像センサ１００は、領域情報と領域画像データとを、パケットのペイロードに格納して、行ごとに送信させてもよい。
【００９４】
図９は、画像に対して設定される領域の他の例を示す説明図である。図９では、領域の例として、領域１、領域２、領域３、および領域４という４つの領域を示している。
【００９５】
図１０は、本実施形態に係る伝送方法に係る第２の伝送方式により送信されるデータの一例を示す説明図である。図１０は、“図９に示す領域１、領域２、領域３、および領域４それぞれに対応する領域情報および領域画像データが、図３に示すＭＩＰＩのロングパケットのペイロードに格納して、行ごとに送信される例”を示している。
【００９６】
図１０に示す“ＰＨ”は、ロングパケットのパケットヘッダである。ここで、第２の伝送方式に係るロングパケットのパケットヘッダは、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化しているか否かを示すデータ（変化情報）として、機能してもよい。つまり、図１０に示す“ＰＨ”は、ロングパケットのデータタイプを示す一のデータであるといえる。
【００９７】
一例を挙げると、画像センサ１００は、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化している場合、“ＰＨ”に“０ｘ３８”を設定する。この場合、画像センサ１００は、領域情報をロングパケットのペイロードに格納する。
【００９８】
他の例を挙げると、画像センサ１００は、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化していない場合、“ＰＨ”に“０ｘ３９”を設定する。この場合、画像センサ１００は、領域情報をロングパケットのペイロードに格納しない。つまり、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化していない場合、画像センサ１００は、領域情報を送信させない。
【００９９】
なお、“ＰＨ”に設定されるデータが、上記に示す例に限られないことは、言うまでもない。
【０１００】
図１０に示す“Ｉｎｆｏ”は、ペイロードに格納される領域情報である。図１０に示すように、領域情報は、ペイロードの先頭部分に格納される。
【０１０１】
図１０に示す“１”、“２”、“３”、および“４”それぞれは、ペイロードに格納される、領域１の領域画像データ、領域２の領域画像データ、領域３の領域画像データ、および領域４の領域画像データに該当する。なお、図１０では、各領域画像データが区切られて示されているが、これは便宜上区切りを表したものであり、ペイロードに格納されるデータに区切りはない。
【０１０２】
第２の伝送方式では、図９に示す領域１、領域２、領域３、および領域４それぞれに対応する領域情報および領域画像データは、例えば図１０に示すように、ＭＩＰＩのロングパケットのペイロードに格納されて、行ごとに送信される。
【０１０３】
よって、第２の伝送方式が用いられる場合には、画像センサ１００は、画像に設定される任意の領域の形状を伝送可能である。
【０１０４】
［４］本実施形態に係る画像処理システムを構成する画像センサ、画像処理装置の構成例
次に、上述した伝送方法に係る処理を行うことが可能な画像センサ１００の構成の一例と、上述した画像処理方法に係る処理を行うことが可能な画像処理装置２００の構成の一例を、説明する。
【０１０５】
［４−１］画像センサ１００の構成
図１１は、本実施形態に係る画像センサ１００の構成の一例を示すブロック図である。画像センサ１００は、例えば、光電変換部１０２と、信号処理部１０４と、通信部１０６と、制御部１０８とを備える。画像センサ１００は、バッテリなどの画像処理システム１０００を構成する内部電源（図示せず）から供給される電力、または、画像処理システム１０００の外部電源から供給される電力によって、動作する。
【０１０６】
光電変換部１０２は、レンズ／撮像素子１５０で構成され、信号処理部１０４は、信号処理回路１５２で構成される。レンズ／撮像素子１５０と信号処理回路１５２とは、画像センサ１００において画像センサデバイスとして機能する。なお、画像処理システム１０００では、全ての画像センサ１００が同種の画像センサデバイスを備えていてもよいし、一部の画像センサ１００が異種の画像センサデバイスを備えていてもよい。異種の画像センサデバイスを備える画像センサ１００の一例としては、例えば、カラー画像を撮像する画像センサデバイスを備える画像センサ１００と、白黒画像を撮像する画像センサデバイスを備える画像センサ１００とが、挙げられる。
【０１０７】
通信部１０６は、通信回路１５４で構成され、制御部１０８は、プロセッサ１５６で構成される。レンズ／撮像素子１５０、信号処理回路１５２、および通信回路１５４それぞれの動作は、プロセッサ１５６により制御される。
【０１０８】
なお、図１１に示す画像センサ１００の機能ブロックは、画像センサ１００が有する機能を便宜上切り分けたものであり、図１１に示す例に限られない。例えば、図１１に示す信号処理部１０４と制御部１０８とを１つの処理部と捉えることも可能である。
【０１０９】
レンズ／撮像素子１５０は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）やＣＣＤ（Charge  Coupled  Device）などの撮像素子を複数用いたイメージセンサとで構成される。レンズ／撮像素子１５０では、光学系のレンズを通った光がイメージセンサの撮像素子で光電変換されることによって、撮像された画像を示すアナログ信号が得られる。
【０１１０】
信号処理回路１５２は、例えば、ＡＧＣ（Automatic  Gain  Control）回路とＡＤＣ（Analog  to  Digital  Converter）とを備え、レンズ／撮像素子１５０から伝達されるアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路１５２は、例えば増幅器を備え、所定のゲインでデジタル信号を増幅する。
【０１１１】
また、信号処理回路１５２は、例えば、画像に対する領域の設定に係る処理を行い、領域指定情報を通信回路１５４へ伝達してもよい。なお、後述するように、画像センサ１００において画像に対する領域の設定に係る処理は、プロセッサ１５６において行われてもよい。また、上述したように、画像処理システム１０００では、画像に対する領域の設定に係る処理は、画像処理装置２００などの外部装置において行われてもよい。
【０１１２】
さらに、信号処理回路１５２は、露光情報やゲイン情報などの様々なデータを、通信回路１５４へ伝達してもよい。なお、画像センサ１００における、露光情報やゲイン情報などの様々なデータの通信回路１５４への伝達は、プロセッサ１５６により行われてもよい。
【０１１３】
通信回路１５４は、本実施形態に係る伝送方法によるデータの伝送機能に係る回路であり、例えば、当該伝送機能に係る回路が集積されたＩＣ（Integrated  Circuit）チップが挙げられる。通信回路１５４は、信号処理回路１５２から伝達される画像データを処理し、生成された画像に対応するデータを送信する。画像に対応するデータとは、信号処理回路１５２から伝達される画像データ（すなわち、画像全体を示すデータ）、または、領域情報および領域画像データである。
【０１１４】
プロセッサ１５６は、例えば、画像処理装置２００から制御バスＢ２を介して伝達される制御信号に基づいて、レンズ／撮像素子１５０、信号処理回路１５２、および通信回路１５４それぞれの動作を制御する。なお、プロセッサ１５６が設けられる画像センサ１００と、他の画像センサ１００とが直接的に通信可能な場合、プロセッサ１５６は、他の画像センサ１００から任意の伝送路を介して伝達される制御信号に基づいて処理を行うことも可能である。
【０１１５】
プロセッサ１５６におけるレンズ／撮像素子１５０の制御としては、例えば、露光時間の制御などの撮像の制御が挙げられる。プロセッサ１５６における信号処理回路１５２の制御としては、例えば、ゲインの制御などの信号処理の制御が挙げられる。プロセッサ１５６における通信回路１５４の制御としては、例えば、“領域画像データを送信することと、画像全体を示すデータを送信することとの切り替えの制御”や、領域画像データを送信するときの各種制御（例えば、領域情報の送信の制御や、撮像に関する情報の送信の制御など）などの、通信の制御が挙げられる。
【０１１６】
画像センサ１００は、例えば図１１に示す構成によって、上述した伝送方法に係る処理を行う。なお、画像センサ１００の構成が、図１１に示す例に限られないことは、言うまでもない。
【０１１７】
［４−２］画像処理装置２００の構成
図１２は、本実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。図１２は、図１に示す画像処理システム１０００を構成する画像処理装置２００の構成の一例、すなわち、画像センサ１００Ａ、１００Ｂという２つの画像センサ１００それぞれと通信を行う構成の一例を、示している。
【０１１８】
画像処理装置２００は、例えば、通信部２０２と、処理部２０４とを備える。画像処理装置２００は、バッテリなどの画像処理システム１０００を構成する内部電源（図示せず）から供給される電力、または、画像処理システム１０００の外部電源から供給される電力によって、動作する。
【０１１９】
通信部２０２は、複数の画像センサ１００それぞれと通信を行う機能を有する。通信部２０２は、例えば、通信対象の画像センサ１００にそれぞれ対応する通信回路２５０Ａ、２５０Ｂで構成される。以下では、通信部２０２を構成する通信回路２５０Ａ、２５０Ｂのうちの１つの通信回路を指して「通信回路２５０」と示す。
【０１２０】
なお、通信部２０２は、通信対象の画像センサ１００を切り替え可能であってもよい。図１に示す画像処理システム１０００を例に挙げると、通信部２０２における通信対象の画像センサ１００の切り替えとしては、“画像センサ１００Ａのみとの通信”、“画像センサ１００Ｂのみとの通信”、あるいは“画像センサ１００Ａおよび画像センサ１００Ｂ双方との通信”の切り替えが、挙げられる。通信部２０２における通信対象の画像センサ１００の切り替えは、例えば、プロセッサ２５２により通信回路２５０Ａ、２５０Ｂの動作が制御されることによって、実現される。プロセッサ２５２は、例えば、照度センサなどの明るさの検出が可能なセンサ（画像処理装置２００の外部のセンサであってもよいし、画像処理装置２００が備えるセンサであってもよい。）の検出値に基づく閾値処理によって、通信対象の画像センサ１００の切り替えを行う。一例を挙げると、プロセッサ２５２は、検出値が設定されている閾値以下の場合（または、検出値が当該閾値より小さい場合）に、画像センサ１００Ａおよび画像センサ１００Ｂ双方との通信を行わせる。他の例を挙げると、プロセッサ２５２は、上記検出値が上記閾値より大きい場合（または、上記検出値が上記閾値以上の場合）に、画像センサ１００Ａまたは画像センサ１００Ｂの一方と通信を行わせる。上記のように、プロセッサ２５２が、通信対象の画像センサ１００の切り替えを行うことによって、画像処理装置２００におけるデータ処理量をより低減させることが可能であるので、消費電力の低減を図ることが可能である。
【０１２１】
また、“画像センサ１００Ａのみとの通信”または“画像センサ１００Ｂのみとの通信”が行われる場合、プロセッサ２５２は、通信を行わない画像センサ１００の動作を停止させてもよい。プロセッサ２５２は、例えば、照度センサなどの明るさの検出が可能なセンサの検出値に基づく閾値処理によって、通信対象の画像センサ１００の切り替えと、画像センサ１００の動作の停止とを行う。上記のように、プロセッサ２５２が、画像センサ１００の動作を停止させることによって、画像処理システム１０００では、消費電力の低減が図られる。
【０１２２】
処理部２０４は、通信部２０２において受信されたデータを処理する。例えば、処理部２０４は、本実施形態に係る画像処理方法に係る処理を行い、領域情報に基づいて、複数の画像センサ１００それぞれから取得された領域画像データを、領域ごとに対応付けて処理する。なお、処理部２０４は、画像全体を示すデータを処理することも可能である。
【０１２３】
処理部２０４は、プロセッサ２５２と画像処理回路２５４とで構成される。通信回路２５０Ａ、２５０Ｂ、および画像処理回路２５４それぞれの動作は、プロセッサ２５２により制御される。つまり、処理部２０４は、画像処理装置２００において制御部の役目を果たしていてもよい。
【０１２４】
また、処理部２０４を構成するプロセッサ２５２は、画像処理システム１０００を構成する画像センサ１００それぞれの動作を制御する役目を果たす。プロセッサ２５２は、制御バスＢ２を介して画像センサ１００へ制御信号を送信することによって、画像センサ１００それぞれの動作を制御する。
【０１２５】
なお、図１２に示す画像処理装置２００の機能ブロックは、画像処理装置２００が有する機能を便宜上切り分けたものであり、図１２に示す例に限られない。例えば、図１２に示す処理部２０４は、プロセッサ２５２で構成される制御部と、画像処理回路２５４で構成される画像処理部とに切り分けることも可能である。
【０１２６】
通信回路２５０Ａは、例えば画像センサ１００Ａと通信を行う通信回路である。通信回路２５０Ａは、画像センサ１００Ａから本実施形態に係る伝送方法により送信されたデータ（例えば図６や図１０に示すパケット）を受信する。なお、通信回路２５０Ａは、例えば、画像センサ１００Ａとの間における任意の伝送路を介して画像センサ１００Ａに対してデータを送信する機能を有していてもよい。
【０１２７】
通信回路２５０Ｂは、例えば画像センサ１００Ｂ通信を行う通信回路である。通信回路２５０Ｂは、画像センサ１００Ｂから本実施形態に係る伝送方法により送信されたデータ（例えば図６や図１０に示すパケット）を受信する。なお、通信回路２５０Ｂは、例えば、画像センサ１００Ｂとの間における任意の伝送路を介して画像センサ１００Ｂに対してデータを送信する機能を有していてもよい。
【０１２８】
通信回路２５０Ａ、２５０Ｂは、受信されたデータのうち、領域情報や画像センサ１００における撮像に関する情報などのＥｍｂｅｄｄｅｄ  Ｄａｔａに含まれるデータを、プロセッサ２５２へ伝達する。図１２では、“領域情報が、通信回路２５０Ａ、２５０Ｂそれぞれからプロセッサ２５２へ伝達される例”を示している。なお、通信回路２５０Ａ、２５０Ｂは、受信されたデータのうち、Ｅｍｂｅｄｄｅｄ  Ｄａｔａを、プロセッサ２５２へ伝達してもよい。Ｅｍｂｅｄｄｅｄ  Ｄａｔａがプロセッサ２５２へ伝達される場合、領域情報や画像センサ１００における撮像に関する情報などのＥｍｂｅｄｄｅｄ  Ｄａｔａに含まれるデータは、プロセッサ２５２によってＥｍｂｅｄｄｅｄ  Ｄａｔａから取り出される。また、通信回路２５０Ａ、２５０Ｂは、受信されたデータのうち、ペイロードに含まれるＥｍｂｅｄｄｅｄ  Ｄａｔａ以外のデータを、画像処理回路２５４に伝達する。
【０１２９】
通信回路２５０Ａ、２５０Ｂは、受信されたデータから、ヘッダ部分に対応するヘッダデータと、ペイロード部分に対応するペイロードデータとを分離する。通信回路２５０Ａ、２５０Ｂは、例えば、規格などで予め規定されたルールに従って、受信されたデータからヘッダデータを分離する。また、通信回路２５０Ａ、２５０Ｂは、例えば、規格などで予め規定されたルールに従って、受信されたデータからペイロードデータを分離してもよいし、ヘッダデータが示す内容に基づいて受信されたデータからペイロードデータを分離してもよい。そして、通信回路２５０Ａ、２５０Ｂは、分離されたデータのうちのＥｍｂｅｄｄｅｄ  Ｄａｔａに含まれるデータ（またはＥｍｂｅｄｄｅｄ  Ｄａｔａ）をプロセッサ２５２へ伝達し、ペイロードデータのうちのＥｍｂｅｄｄｅｄ  Ｄａｔａ以外のデータを、画像処理回路２５４に伝達する。
【０１３０】
図１３は、本実施形態に係る画像処理装置２００が備える通信回路２５０の機能構成の一例を示すブロック図である。通信回路２５０は、例えば、ヘッダ分離部２６０と、ヘッダ解釈部２６２と、ペイロード分離部２６４とを有する。
【０１３１】
ヘッダ分離部２６０は、受信されたデータから、ヘッダ部分に対応するヘッダデータと、ペイロード部分に対応するペイロードデータとを分離する。ヘッダ分離部２６０は、例えば、規格などで予め規定されたルールに従って、受信されたデータからヘッダデータを分離する。また、ヘッダ分離部２６０は、例えば、規格などで予め規定されたルールに従って、受信されたデータからペイロードデータを分離してもよいし、ヘッダ解釈部２６２の処理の結果に基づき受信されたデータからペイロードデータを分離してもよい。
【０１３２】
ヘッダ解釈部２６２は、ヘッダデータが示す内容を解釈する。
【０１３３】
一例を挙げると、ヘッダ解釈部２６２は、例えば、ペイロードデータが“Ｅｍｂｅｄｄｅｄ  Ｄａｔａ”であるかを解釈する。ヘッダ解釈部２６２は、例えばヘッダ部分に記録されるＤＴ値に基づいて、ペイロードデータが“Ｅｍｂｅｄｄｅｄ  Ｄａｔａ”であるかを解釈する。他の例を挙げると、ヘッダ解釈部２６２は、例えば、ペイロードデータの位置を特定し、特定した位置をヘッダ分離部２６０へ伝達してもよい。
【０１３４】
ペイロード分離部２６４は、ヘッダ解釈部２６２における解釈結果に基づいて、ペイロードデータを処理する。
【０１３５】
一例を挙げると、ヘッダ解釈部２６２においてペイロードデータが“Ｅｍｂｅｄｄｅｄ  Ｄａｔａ”であると解釈された場合、ペイロード分離部２６４は、ペイロードデータから、領域情報や画像センサ１００における撮像に関する情報などのＥｍｂｅｄｄｅｄ  Ｄａｔａに含まれるデータを分離する。そして、ペイロード分離部２６４は、領域情報や画像センサ１００における撮像に関する情報などのＥｍｂｅｄｄｅｄ  Ｄａｔａに含まれるデータを、処理部２０４（より具体的には、例えば処理部２０４を構成するプロセッサ２５２）へ伝達する。図１３では、“領域情報が、ペイロード分離部２６４から処理部２０４へ伝達される例”を示している。
【０１３６】
他の例を挙げると、ヘッダ解釈部２６２においてペイロードデータが“Ｅｍｂｅｄｄｅｄ  Ｄａｔａ”であると解釈されない場合、ペイロード分離部２６４は、ペイロードデータから、画像データ（画像全体を示すデータまたは領域画像データ）を分離する。ペイロード分離部２６４は、例えば、Ｅｍｂｅｄｄｅｄ  Ｄａｔａから取り出される領域情報に基づいて、ペイロードデータから領域画像データを分離する。そして、ペイロード分離部２６４は、画像データを、処理部２０４（より具体的には、例えば処理部２０４を構成する画像処理回路２５４）へ伝達する。
【０１３７】
通信回路２５０は、例えば図１３に示す機能構成を有することによって、画像センサ１００から本実施形態に係る伝送方法により送信されたデータを受信し、受信されたデータを処理部２０４へ伝達する。なお、図１３に示す通信回路２５０の機能ブロックは、通信回路２５０が有する機能を便宜上切り分けたものであり、図１３に示す例に限られない。また、上述したように、通信回路２５０は、受信されたデータのうち、Ｅｍｂｅｄｄｅｄ  Ｄａｔａを、プロセッサ２５２へ伝達する構成であってもよい。
【０１３８】
再度図１２を参照して、画像処理装置２００の構成の一例を説明する。プロセッサ２５２は、通信回路２５０Ａ、２５０Ｂ、および画像処理回路２５４それぞれの動作を制御する。また、プロセッサ２５２は、任意のアプリケーションソフトウェアを実行する処理など、様々な処理を行ってもよい。
【０１３９】
プロセッサ２５２における通信回路２５０Ａ、２５０Ｂの制御としては、例えば通信機能のオン／オフの制御が挙げられる。例えば上記のように、通信回路２５０Ａ、２５０Ｂそれぞれの通信機能のオン／オフが制御されることによって、通信対象の画像センサ１００の切り替えが、実現される。
【０１４０】
プロセッサ２５２における画像処理回路２５４の制御としては、画像処理回路２５４において行われる本実施形態に係る画像処理方法に係る処理の制御が、挙げられる。プロセッサ２５２は、例えば、通信回路２５０Ａ、２５０Ｂから伝達される、領域情報や画像センサ１００における撮像に関する情報などのＥｍｂｅｄｄｅｄ  Ｄａｔａに含まれるデータを用いて、画像処理回路２５４の制御を行う。また、通信回路２５０Ａ、２５０ＢからＥｍｂｅｄｄｅｄ  Ｄａｔａが伝達される場合、プロセッサ２５２は、例えば、Ｅｍｂｅｄｄｅｄ  Ｄａｔａから領域情報などを取り出して、画像処理回路２５４の制御を行う。
【０１４１】
一例を挙げると、プロセッサ２５２は、領域画像データが示す画像の相対的な位置を合わせるための補正値を示す補正制御情報を、画像処理回路２５４へ伝達する。領域画像データが示す画像の相対的な位置を合わせるための補正値は、例えば、通信回路２５０Ａ、２５０Ｂそれぞれから伝達されるＥｍｂｅｄｄｅｄ  Ｄａｔａに含まれる領域情報と、画像センサ１００それぞれから取得される画角に関する情報とに基づいて、設定される。なお、領域画像データが示す画像の相対的な位置を合わせるための補正値は、例えば、通信回路２５０Ａ、２５０Ｂそれぞれから伝達されるＥｍｂｅｄｄｅｄ  Ｄａｔａに含まれる領域情報と、領域画像データが示す画像それぞれに対して任意のオブジェクト検出処理を行った結果とに基づいて設定されてもよい。
【０１４２】
他の例を挙げると、プロセッサ２５２は、領域画像データを送信した画像センサ１００それぞれの感度比を補正する補正ゲインを示す補正制御情報を、画像処理回路２５４へ伝達する。
【０１４３】
補正ゲインは、例えば画像センサ１００それぞれから取得される画角に関する情報に基づいて、下記の数式１を満たす補正ゲイン“Ｇｌ２”を算出することによって、設定される。なお、下記の数式１に基づく補正ゲインの算出は、画像処理装置２００が画像センサ１００それぞれの露光時間が同一であるように制御した場合の算出例である。つまり、本実施形態に係る補正ゲインの算出方法は、下記の数式１を用いることに限られない。
【０１４４】
Ｇ２・Ｇ２ｌ＝Ａ１・Ｇ１／Ａ２
・・・（数式１）
【０１４５】
ここで、上記数式１に示す“Ｇ１”は、画像センサ１００Ａが備える画像センサデバイスにおけるゲインであり、上記数式１に示す“Ｇ２”は、画像センサ１００Ｂが備える画像センサデバイスにおけるゲインである。また、上記数式１に示す“Ａ１”は、画像センサ１００Ａが備える画像センサデバイスにおける光電変換率であり、上記数式１に示す“Ａ２”は、画像センサ１００Ｂが備える画像センサデバイスにおける光電変換率である。つまり、上記数式１を用いることによって、画像センサ１００Ｂから取得される領域画像データが示す画像の信号レベルを補正するための補正ゲインが算出される。
【０１４６】
画像処理回路２５４は、通信回路２５０Ａ、２５０Ｂそれぞれから伝達されるデータを処理する。画像処理回路２５４は、例えば、処理部２０４は、本実施形態に係る画像処理方法に係る処理を行い、領域情報に基づいて、画像センサ１００Ａ、１００Ｂそれぞれから取得された領域画像データを、領域ごとに対応付けて処理する。
【０１４７】
例えば、画像処理回路２５４は、例えば、プロセッサ２５２から伝達される補正制御情報を用いて、領域画像データが示す画像の信号レベルを合わせる。信号レベルを合わせた後、画像処理回路２５４は、プロセッサ２５２から伝達される補正制御情報を用いて、領域画像データが示す画像の相対的な位置を合わせる。そして、画像処理回路２５４は、域画像データが示す画像を領域ごとに合成する。なお、画像処理回路２５４は、領域画像データが示す画像の信号レベルを合わせずに領域画像データが示す画像を合成することが可能であり、また、領域画像データが示す画像の相対的な位置を合わせずに領域画像データが示す画像を合成することが可能である。
【０１４８】
なお、画像処理回路２５４は、画像センサ１００Ａ、１００Ｂそれぞれから取得された画像全体を示すデータを処理することも可能である。
【０１４９】
また、画像処理回路２５４における処理は、上記に示す例に限られない。例えば、画像処理回路２５４は、メモリ３００などの記録媒体への画像データの記録制御に係る処理と、表示デバイス４００の表示画面への画像の表示制御に係る処理との一方または双方を行ってもよい。
【０１５０】
図１４は、本実施形態に係る画像処理装置２００が備える画像処理回路２５４の機能構成の一例を示すブロック図である。画像処理回路２５４は、例えば、第１の画像処理部２７０Ａ、２７０Ｂと、相対感度差補正処理部２７２と、相対位置補正処理部２７４と、合成処理部２７６と、第２の画像処理部２７８とを有する。各部における処理の一部または全部は、ハードウェアにより行われてもよいし、ソフトフェア（コンピュータプログラム）がハードウェア上で実行されることにより行われてもよい。
【０１５１】
以下、画像処理回路２５４が領域画像データを処理する場合を例に挙げて、画像処理回路２５４の機能構成の一例を説明する。
【０１５２】
第１の画像処理部２７０Ａは、通信回路２５０Ａから伝達されるデータに対して所定の画像処理を行う。第１の画像処理部２７０Ｂは、通信回路２５０Ｂから伝達されるデータに対して所定の画像処理を行う。第１の画像処理部２７０Ａ、２７０Ｂそれぞれが行う所定の画像処理としては、例えばＲＡＷ現像に係る各種処理などが挙げられる。
【０１５３】
相対感度差補正処理部２７２は、第１の画像処理部２７０Ｂから伝達される領域画像データが示す画像の信号レベルを、第１の画像処理部２７０Ａにおいて処理された領域画像データが示す画像の信号レベルに合わせる。相対感度差補正処理部２７２は、例えば、プロセッサ２５２から伝達される補正制御情報が示す補正ゲインを用いて、第１の画像処理部２７０Ｂから伝達される領域画像データのゲインを補正する。
【０１５４】
なお、図１４では、第１の画像処理部２７０Ｂから伝達される領域画像データのゲインが補正される例を示しているが、画像処理回路２５４は、第１の画像処理部２７０Ａから伝達される領域画像データのゲインを補正する機能構成であってもよい。
【０１５５】
相対位置補正処理部２７４は、相対感度差補正処理部２７２から伝達される領域画像データが示す画像の相対的な位置を、第１の画像処理部２７０Ａにおいて処理された領域画像データが示す画像に合わせる。相対位置補正処理部２７４は、例えば、プロセッサ２５２から伝達される補正制御情報が示す相対的な位置を合わせるための補正値を用いて、相対感度差補正処理部２７２から伝達される領域画像データが示す画像の相対的な位置を補正する。
【０１５６】
合成処理部２７６は、第１の画像処理部２７０Ａにおいて処理された領域画像データが示す画像と、相対位置補正処理部２７４から伝達される領域画像データが示す画像とを、領域ごとに合成する。合成処理部２７６は、アルファブレンドなどの画像を合成することが可能な任意の処理によって、領域画像データが示す画像を合成する。
【０１５７】
第２の画像処理部２７８は、合成処理部２７６から伝達される合成された画像に対して所定の画像処理を行う。第２の画像処理部２７８が行う所定の画像処理としては、例えばＧａｍｍａ処理など、画像データに対して行うことが可能な任意の処理が挙げられる。
【０１５８】
画像処理回路２５４は、例えば図１４に示す機能構成を有することによって、本実施形態に係る画像処理方法に係る処理を行う。なお、図１４に示す画像処理回路２５４の機能ブロックは、画像処理回路２５４が有する機能を便宜上切り分けたものであり、図１４に示す例に限られない。
【０１５９】
画像処理装置２００は、例えば図１２〜図１４に示す構成によって、上述した画像処理方法に係る処理を行う。なお、画像処理装置２００の構成が、図１２〜図１４に示す例に限られないことは、言うまでもない。
【０１６０】
［５］本実施形態に係る画像処理システムにおける処理の一例
次に、画像処理システム１０００における処理の一例を説明する。
【０１６１】
［５−１］初期化に係る処理
図１５は、本実施形態に係る画像処理システム１０００における処理の一例を説明するための説明図であり、初期化に係る処理の一例を示している。図１５に示す処理は、例えば、画像処理システム１０００が起動したときや、画像処理システム１０００の使用者などにより所定の操作が行われたときなどに行われる。
【０１６２】
画像処理装置２００は、画像センサ１００Ａ、１００Ｂそれぞれに駆動パラメータを設定させる設定要求と、画角に関する情報を送信させ取得要求とを、例えば制御バスＢ２を介して送信する（Ｓ１００）。駆動パラメータの設定要求には、例えば、露光値、露光時間、ゲインなどの各種設定値と、設定命令とが含まれる。取得要求には、例えば、画角に関する情報の送信命令が含まれる。
【０１６３】
ステップＳ１００において送信された設定要求と取得要求とを受信した画像センサ１００Ａ、１００Ｂそれぞれは、設定要求に基づき駆動パラメータを設定し、取得要求に基づき画角に関する情報を送信する（Ｓ１０２、Ｓ１０４）。
【０１６４】
ステップＳ１００において設定要求を送信した画像処理装置２００は、設定要求に含まれる各種設定値に基づいて補正ゲインを算出し、算出された補正ゲインにより補正を行うための設定を行う（Ｓ１０６）。
【０１６５】
ステップＳ１０２、Ｓ１０４において送信された画角に関する情報を受信した画像処理装置２００は、画角に関する情報に基づいて相対的な位置を合わせるための補正値を求め（Ｓ１０８）、補正値により補正を行うための設定を行う（Ｓ１１０）。
【０１６６】
画像処理システム１０００では、初期化に係る処理として例えば図１５に示す処理が行われる。なお、初期化に係る処理の例が、図１５に示す例に限られないことは、言うまでもない。
【０１６７】
［５−２］動作時における処理
図１６は、本実施形態に係る画像処理システム１０００における処理の一例を説明するための説明図であり、動作時における処理の一例を示している。図１６では、画像センサ１００Ａにおける撮像を基準として、画像センサ１００Ｂにおける処理が行われる例を示している。つまり、画像処理システム１０００は、一の画像センサ１００がマスタの画像センサとして機能し、他の画像センサ１００がスレーブの画像センサとして機能することによって、連携した撮像を行うことができる。
【０１６８】
画像センサ１００Ａは、フレーム開始トリガ（以下、「Ｖ開始Ｔｒｉｇｇｅｒ」と示す場合がある。）を取得すると、撮像を開始する（Ｓ２００）。
【０１６９】
画像センサ１００Ａは、撮像された画像から切り出す切り出し位置を設定し（Ｓ２０２）、設定された切り出し位置を示す情報を、画像センサ１００Ｂと画像処理装置２００とに送信する（Ｓ２０４）。画像センサ１００Ａにおける切り出し位置の設定は、撮像された画像に対する領域の設定に該当する。つまり、切り出し位置を示す情報は、例えば、領域情報に該当する。
【０１７０】
画像センサ１００Ａは、例えばデータバスＢ１を介して画像処理装置２００へ切り出し位置を示す情報を送信する。また、画像センサ１００Ａは、例えば、画像処理装置２００を介して画像センサ１００Ｂへ切り出し位置を示す情報（領域情報。以下、同様とする。）を送信する。なお、画像センサ１００Ａと画像センサ１００Ｂとがプロセッサ間通信などにより通信可能な構成である場合、画像センサ１００Ａは、画像センサ１００Ｂへ切り出し位置を示す情報を、直接的な通信により送信してもよい。
【０１７１】
ステップＳ２０４において画像センサ１００Ａから送信された切り出し位置を示す情報を受信した画像センサ１００Ｂは、切り出し位置を示す情報に基づいて撮像された画像から切り出す切り出し位置を設定する（Ｓ２０６）。
【０１７２】
ステップＳ２０４において画像センサ１００Ａから送信された切り出し位置を示す情報を受信した画像処理装置２００は、例えば、切り出し位置を示す情報に基づいて、設定された領域に含まれる画素数と画素の二次元平面座標とを特定し（Ｓ２０８）、処理に用いる座標や領域のサイズを設定する（Ｓ２１０）。
【０１７３】
ステップＳ２０４において切り出し位置を示す情報を送信した画像センサ１００Ａは、画像センサ１００Ａにおける撮像に関する情報を、画像センサ１００Ｂと画像処理装置２００とに送信する（Ｓ２１２）。上述したように、撮像に関する情報には、例えば露光情報とゲイン情報とが含まれる。画像センサ１００Ａは、例えばステップＳ２０４における切り出し位置を示す情報の送信と同様に、撮像に関する情報を、画像センサ１００Ｂと画像処理装置２００とに送信する。
【０１７４】
ステップＳ２１２において画像センサ１００Ａから送信された撮像に関する情報を受信した画像センサ１００Ｂは、受信した撮像に関する情報に基づいてゲイン制御と露光制御とを行う（Ｓ２１４）。そして、画像センサ１００Ｂは、画像センサ１００Ｂにおける撮像に関する情報を、画像処理装置２００に送信する。
【０１７５】
ステップＳ２１２において画像センサ１００Ａから送信された撮像に関する情報と、画像センサ１００Ｂから送信された撮像に関する情報とを受信した画像処理装置２００は、例えば、補正ゲインを算出し、算出された補正ゲインにより補正を行うための設定を行う（Ｓ２１６）。そして、画像処理装置２００は、画像センサ１００Ａ、１００Ｂそれぞれから送信される画像データに対する処理を開始する（Ｓ２１８）。
【０１７６】
図１７は、本実施形態に係る画像処理システム１０００における処理の一例を説明するための説明図であり、図１６に示す処理に対応するタイミングチャートを示している。つまり、図１７では、図１６と同様に、“画像センサ１００Ａがマスタの画像センサとして機能し、画像センサ１００Ｂがスレーブの画像センサとして機能する例”を示している。
【０１７７】
図１７に示すように、画像処理システム１０００では、画像センサ１００Ａにおける設定の通知により、画像センサ１００Ａと画像センサ１００Ｂとが連携して撮像を行う。また、画像処理システム１０００では、画像センサ１００Ａにおける設定の通知に基づいて、画像処理装置２００が、画像センサ１００Ａ、１００Ｂそれぞれから取得された領域画像データを、領域ごとに対応付けて処理する。よって、画像処理システム１０００では、画像センサ１００Ａ、画像センサ１００Ｂ、および画像処理装置２００の連携した動作が、実現される。
【０１７８】
画像処理システム１０００では、動作時における処理として例えば図１６、図１７に示す処理が行われる。なお、動作時における処理の例が、図１６、図１７に示す例に限られないことは、言うまでもない。
【０１７９】
［６］本実施形態に係る画像処理システムが用いられることにより奏される効果の一例
本実施形態に係る画像処理システムが用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る画像処理システムが用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・本実施形態に係る画像処理システムでは、撮像された画像に対して設定される領域の撮像を、複数の画像センサ１００が連携して行うことができる。
・本実施形態に係る画像処理システムでは、複数の画像センサ、および画像処理装置の連携して動作するので、例えば、露光時間、駆動周波数、ゲイン値、画像センサデバイスの相対画角差、被写体距離の情報など、様々な情報を装置間で共有して動作することが可能である。
・画像処理装置は、領域画像データが示す画像の信号レベルを合わせて合成することが可能であるので、本実施形態に係る画像処理システムは、対応付けて処理される画像の高感度化を図ることができる。
・画像処理装置は、通信対象の画像センサを切り替え可能であり、また、切り替えに連動して一部の画像センサの動作を停止させることが可能である。よって、本実施形態に係る画像処理システムは、消費電力の低減を図ることができる。
【０１８０】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、本実施形態に係る画像処理方法に係る処理を、コンピュータに実行させるプログラム）が、コンピュータにおいてプロセッサや画像処理回路などにより実行されることによって、複数の画像センサからそれぞれ得られる画像を対応付けて処理することができる。
【０１８１】
また、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサや画像処理回路などにより実行されることによって、上述した本実施形態に係る画像処理方法が用いられることにより奏される効果を、奏することができる。
【０１８２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８３】
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０１８４】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１８５】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１８６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像された画像に対して設定される領域に対応する領域情報を、前記領域ごとに含む付加データと、前記領域に対応する行ごとの画像を示す領域画像データとを、異なるパケットで送信させる、複数の画像センサそれぞれと通信を行うことが可能な通信部と、
複数の前記画像センサそれぞれから取得された前記付加データに含まれる前記領域情報に基づいて、複数の前記画像センサそれぞれから取得された前記領域画像データを、前記領域ごとに対応付けて処理する処理部と、
を備え、
前記領域情報には、前記領域の識別情報、前記領域の位置を示す情報、および前記領域の大きさを示す情報のうちの一部または全部が、含まれる、画像処理装置。
（２）
前記処理部は、複数の前記画像センサそれぞれから取得された前記領域画像データが示す画像を、前記領域ごとに合成する、（１）に記載の画像処理装置。
（３）
前記処理部は、合成する対象の前記領域画像データが示す画像の相対的な位置を合わせて合成する、（２）に記載の画像処理装置。
（４）
前記付加データには、前記画像センサにおける撮像に関する情報が含まれ、
前記処理部は、複数の前記画像センサそれぞれから取得された前記撮像に関する情報に基づいて、合成する対象の前記領域画像データが示す画像の信号レベルを合わせて合成する、（２）または（３）に記載の画像処理装置。
（５）
前記通信部は、通信対象の前記画像センサを切り替え可能である、（１）〜（４）のいずれか１つに記載の画像処理装置。
（６）
前記パケットは、ＭＩＰＩ（Mobile  Industry  Processor  Interface  Alliance）のロングパケットである、（１）〜（５）のいずれか１つに記載の画像処理装置。
（７）
撮像された画像に対して設定される領域に対応する領域情報を、前記領域ごとに含む付加データと、前記領域に対応する行ごとの画像を示す領域画像データとを、異なるパケットで送信させる、複数の画像センサと、
画像処理装置と、
を有し、
前記画像処理装置は、
複数の前記画像センサそれぞれと通信を行うことが可能な通信部と、
複数の前記画像センサそれぞれから取得された前記付加データに含まれる前記領域情報に基づいて、複数の前記画像センサそれぞれから取得された前記領域画像データを、前記領域ごとに対応付けて処理する処理部と、
を備え、
前記領域情報には、前記領域の識別情報、前記領域の位置を示す情報、および前記領域の大きさを示す情報のうちの一部または全部が、含まれる、画像処理システム。
【符号の説明】
【０１８７】
１００、１００Ａ、１００Ｂ    画像センサ
１０２    光電変換部
１０４    信号処理部
１０６、２０２    通信部
１５０    レンズ／撮像素子
１５２    信号処理回路
１５４、２５０、２５０Ａ、２５０Ｂ    通信回路
１５６、２５２    プロセッサ
２００    画像処理装置
２０４    処理部
２５４    画像処理回路
２６０    ヘッダ分離部
２６２    ヘッダ解釈部
２６４    ペイロード分離部
２７０Ａ、２７０Ｂ    第１の画像処理部
２７２    相対感度差補正処理部
２７４    相対位置補正処理部
２７６    合成処理部
２７８    第２の画像処理部
３００    メモリ
４００    表示デバイス
１０００    画像処理システム
Ｂ１    データバス
Ｂ２    制御バス
【図１】
2020039992.tif 000003
【図２】
2020039992.tif 000004
【図３】
2020039992.tif 000005
【図４】
2020039992.tif 000006
【図５】
2020039992.tif 000007
【図６】
2020039992.tif 000008
【図７】
2020039992.tif 000009
【図８】
2020039992.tif 000010
【図９】
2020039992.tif 000011
【図１０】
2020039992.tif 000012
【図１１】
2020039992.tif 000013
【図１２】
2020039992.tif 000014
【図１３】
2020039992.tif 000015
【図１４】
2020039992.tif 000016
【図１５】
2020039992.tif 000017
【図１６】
2020039992.tif 000018
【図１７】
2020039992.tif 000019
【国際調査報告】
2020039992.tif 000020
2020039992.tif 000021
2020039992.tif 000022
2020039992.tif 000023