(57)【要約】  本技術は、画像データの伝送遅延を低減することができるようにする画像処理装置および方法に関する。本技術の一側面は、互いに異なる撮像部において得られる複数の撮像画像のそれぞれの部分画像を統合して１つの合成画像を生成する。各撮像部の露光期間は、互いに同一であってもよいし、互いにずれていてもよいし、一部の撮像部のみずれていてもよい。本技術は、例えば、撮像素子、撮像素子を用いた電子機器、撮像素子において得られた画像データを処理するコンピュータやシステム等に適用することができる。
2016199593.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる撮像部において得られる複数の撮像画像のそれぞれの部分画像を統合して１つの合成画像を生成する画像統合部
を備える画像処理装置。
【請求項２】
前記画像統合部は、前記撮像部のそれぞれにおいて、前記撮像画像１フレーム分の露光時間よりも短い互いに同一の期間に得られる前記部分画像を統合する
請求項１に記載の画像処理装置。
【請求項３】
前記画像統合部は、前記期間の時間毎に前記部分画像を統合する
請求項２に記載の画像処理装置。
【請求項４】
前記撮像部のそれぞれの露光期間は、互いにずれている
請求項２に記載の画像処理装置。
【請求項５】
前記撮像部のそれぞれの前記露光期間は、所定の時間ずつ互いにずれている
請求項４に記載の画像処理装置。
【請求項６】
前記所定の時間は、前記撮像画像１フレーム分の露光時間よりも短い時間である
請求項５に記載の画像処理装置。
【請求項７】
前記部分画像が得られる前記期間の長さは、前記所定の時間である
請求項６に記載の画像処理装置。
【請求項８】
前記所定の時間は、前記撮像画像１フレーム分の露光時間を、前記画像統合部が統合する前記部分画像の数で除算した時間である
請求項７に記載の画像処理装置。
【請求項９】
前記画像統合部は、前記撮像画像における位置が互いに異なる複数の前記部分画像を統合する
請求項４に記載の画像処理装置。
【請求項１０】
前記撮像部のそれぞれの露光期間は、互いに同一の期間である
請求項２に記載の画像処理装置。
【請求項１１】
前記画像統合部は、前記撮像画像における位置が互いに同一の複数の前記部分画像を統合する
請求項１０に記載の画像処理装置。
【請求項１２】
前記撮像部の露光期間は、一部の撮像部間で互いに同一の期間であり、他の一部の撮像部間で互いにずれている
請求項２に記載の画像処理装置。
【請求項１３】
前記画像統合部は、前記撮像画像における位置が互いに同一の複数の前記部分画像と、前記撮像画像における位置が前記複数の部分画像のいずれかと異なる前記部分画像とを統合する
請求項１２に記載の画像処理装置。
【請求項１４】
前記部分画像に対して、前記部分画像が得られる前記撮像部の位置に応じた位置補正を行う位置補正部をさらに備える
請求項１に記載の画像処理装置。
【請求項１５】
前記画像統合部により生成される前記合成画像を用いて、前記合成画像内の注目被写体の追尾に関する処理を行う追尾処理部をさらに備える
請求項１に記載の画像処理装置。
【請求項１６】
前記追尾処理部により得られた前記注目被写体の追尾結果に関する情報を用いて、所定の物理的運動を行う作動部の制御に関する処理を行う処理実行部をさらに備える
請求項１５に記載の画像処理装置。
【請求項１７】
前記画像統合部により生成される前記合成画像を用いて、前記合成画像に含まれる被写体までの奥行きに関する情報である奥行き情報を生成する奥行き情報生成部をさらに備える
請求項１に記載の画像処理装置。
【請求項１８】
前記奥行き情報生成部により生成される前記奥行き情報に対して、前記奥行き情報が得られる前記撮像部の位置に応じた位置補正を行う位置補正部をさらに備える
請求項１７に記載の画像処理装置。
【請求項１９】
前記複数の撮像部をさらに備える
請求項１に記載の画像処理装置。
【請求項２０】
互いに異なる撮像部において得られる複数の撮像画像のそれぞれの部分画像を統合して１つの合成画像を生成する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法に関し、特に、画像データの伝送遅延を低減することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、高フレームレートで撮像する技術が開発されている（例えば、特許文献１および特許文献２参照）。例えば、特許文献１に記載のように、イメージセンサを高速に駆動してフレームレートを通常よりも高くする方法が考えられた。また、例えば、特許文献２に記載のように、通常のフレームレートで駆動するイメージセンサを複数用いて、互いに駆動タイミングをずらして、全体として高フレームレートを実現する方法が考えられた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４５０３６９７号
【特許文献２】米国２００７／００３０３４２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、近年、イメージセンサで得られる高フレームレートの撮像画像を、後段の処理系で即時的に（リアルタイムに）画像処理することが求められている。即時的な画像処理を実現するためには、イメージセンサで得られる画像データをより高速に後段の処理系に伝送することが求められる。【０００５】
特許文献１に記載の技術では、撮像画像を高フレームレート化すると、その分、光電変換される画像データのデータレートも増大するため、メモリ等に一時的に保存してから外部に伝送するのが望ましいが、その場合、大きな伝送遅延が生じてしまうおそれがあった。【０００６】
また、特許文献２に記載の方法の場合、従来の性能のイメージセンサを用いて高フレームレート化を実現することができる。ただし、各イメージセンサにおいて得られる画像データを後段の処理系に順次伝送するためには、画像データをメモリ等に一時的に保存してタイミング調整してから伝送するのが望ましいが、その場合、大きな伝送遅延が生じてしまうおそれがあった。【０００７】
本技術は、このような状況に鑑みて提案されたものであり、画像データの伝送遅延を低減することを目的とする。
【課題を解決するための手段】
【０００８】
本技術の一側面は、互いに異なる撮像部において得られる複数の撮像画像のそれぞれの部分画像を統合して１つの合成画像を生成する画像統合部を備える画像処理装置である。【０００９】
前記画像統合部は、前記撮像部のそれぞれにおいて、前記撮像画像１フレーム分の露光時間よりも短い互いに同一の期間に得られる前記部分画像を統合することができる。【００１０】
前記画像統合部は、前記期間の時間毎に前記部分画像を統合することができる。【００１１】
前記撮像部のそれぞれの露光期間は、互いにずれているようにすることができる。【００１２】
前記撮像部のそれぞれの前記露光期間は、所定の時間ずつ互いにずれているようにすることができる。【００１３】
前記所定の時間は、前記撮像画像１フレーム分の露光時間よりも短い時間であるようにすることができる。【００１４】
前記部分画像が得られる前記期間の長さは、前記所定の時間であるようにすることができる。【００１５】
前記所定の時間は、前記撮像画像１フレーム分の露光時間を、前記画像統合部が統合する前記部分画像の数で除算した時間であることができる。【００１６】
前記画像統合部は、前記撮像画像における位置が互いに異なる複数の前記部分画像を統合するようにすることができる。【００１７】
前記撮像部のそれぞれの露光期間は、互いに同一の期間であるようにすることができる。【００１８】
前記画像統合部は、前記撮像画像における位置が互いに同一の複数の前記部分画像を統合することができる。【００１９】
前記撮像部の露光期間は、一部の撮像部間で互いに同一の期間であり、他の一部の撮像部間で互いにずれているようにすることができる。【００２０】
前記画像統合部は、前記撮像画像における位置が互いに同一の複数の前記部分画像と、前記撮像画像における位置が前記複数の部分画像のいずれかと異なる前記部分画像とを統合することができる。【００２１】
前記部分画像に対して、前記部分画像が得られる前記撮像部の位置に応じた位置補正を行う位置補正部をさらに備えることができる。【００２２】
前記画像統合部により生成される前記合成画像を用いて、前記合成画像内の注目被写体の追尾に関する処理を行う追尾処理部をさらに備えることができる。【００２３】
前記追尾処理部により得られた前記注目被写体の追尾結果に関する情報を用いて、所定の物理的運動を行う作動部の制御に関する処理を行う処理実行部をさらに備えることができる。【００２４】
前記画像統合部により生成される前記合成画像を用いて、前記合成画像に含まれる被写体までの奥行きに関する情報である奥行き情報を生成する奥行き情報生成部をさらに備えることができる。【００２５】
前記奥行き情報生成部により生成される前記奥行き情報に対して、前記奥行き情報が得られる前記撮像部の位置に応じた位置補正を行う位置補正部をさらに備えることができる。【００２６】
前記複数の撮像部をさらに備えることができる。【００２７】
本技術の一側面は、また、互いに異なる撮像部において得られる複数の撮像画像のそれぞれの部分画像を統合して１つの合成画像を生成する画像処理方法である。【００２８】
本技術の一側面においては、互いに異なる撮像部において得られる複数の撮像画像のそれぞれの部分画像が統合されて１つの合成画像が生成される。
【発明の効果】
【００２９】
本技術によれば、画像を処理することが出来る。また本技術によれば、画像データの伝送遅延を低減することができる。
【図面の簡単な説明】
【００３０】
【図１】画像処理装置の主な構成例を示すブロック図である。
【図２】撮像装置の主な構成例を示す図である。
【図３】画像処理の流れの例を説明するフローチャートである。
【図４】画像データの露光期間の例を説明する図である。
【図５】画像データの読み出しの様子の例を説明する図である。
【図６】画像データの読み出しの様子の例を説明する図である。
【図７】画像データの統合の様子の例を説明する図である。
【図８】画像データの統合の様子の例を説明する図である。
【図９】トラッキング処理の様子の例を説明する図である。
【図１０】画像処理の利用例を説明する図である。
【図１１】画像処理装置の他の構成例を示すブロック図である。
【図１２】画像処理の流れの他の例を説明するフローチャートである。
【図１３】画像データの露光期間の他の例を説明する図である。
【図１４】画像データの読み出しの様子の他の例を説明する図である。
【図１５】画像データの読み出しの様子の他の例を説明する図である。
【図１６】画像データの統合の様子の他の例を説明する図である。
【図１７】画像データの統合の様子の他の例を説明する図である。
【図１８】デプスデータの例を示す図である。
【図１９】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像処理装置）
２．第２の実施の形態（画像処理装置）
３．第３の実施の形態（コンピュータ）
【００３２】
＜１．第１の実施の形態＞
＜高フレームレートの画像データの即時的な画像処理＞
従来、高フレームレートで撮像する技術が開発されている。例えば、１つのイメージセンサを高速に駆動してフレームレートを通常よりも高くする方法や、通常のフレームレートで駆動するイメージセンサを複数用いて、互いに駆動タイミングをずらして、全体として高フレームレートを実現する方法等が考えられた。
【００３３】
撮像画像を高フレームレート化すると、その分、光電変換される画像データのデータレートも増大するため、即時的に（リアルタイムに）、画像データをイメージセンサの外部に伝送して画像処理することが難しくなる。そのため、一般的に、画像データをメモリ等に一時的に保存し、外部への伝送と画像処理とを実時間上でない所謂オフライン処理として行われることが多かった。
【００３４】
しかしながら、近年、イメージセンサで得られる高フレームレートの撮像画像を、後段の処理系で即時的に（リアルタイムに）画像処理することが求められている。例えば、撮像画像を解析してその解析結果を機器制御に利用するような場合、撮像から画像処理までの遅延が制御の遅延に繋がるため、その遅延は少ない程望ましい。上述したように画像データをメモリに一時的に保存する場合、撮像から画像処理までの遅延時間が増大するので、即時的な画像処理を実現することが困難になるおそれがあった。
【００３５】
高フレームレートの画像データに対して即時的な画像処理を実現するためには（すなわち、実時間処理として画像処理を行うためには）、データのオーバフローを生じさせないように画像処理の処理速度をより高速にすることが求められるとともに、データのアンダーフローを起こさないように、イメージセンサで得られる画像データを実時間に沿って（即時的に）後段の処理系に伝送することが求められる。
【００３６】
そのためには、例えば１つのイメージセンサを高速に駆動させて高フレームレートを実現する方法の場合、光電変換素子から読み出された画像データを外部に伝送するまでのイメージセンサ内の処理をすべて高速化すればよい。しかしながら、この場合、イメージセンサの消費電力が増大してしまうおそれがあった。また、撮像から伝送までの処理を高速に行うことができるように高性能化が求められるため、イメージセンサの開発や製造のコストが増大するおそれがあった。
【００３７】
これに対して、通常のフレームレートで駆動するイメージセンサを複数用いて、互いに駆動タイミングをずらして、全体として高フレームレートを実現する方法の場合、従来の性能のイメージセンサで高フレームレート化を実現することができ、かつ、その画像データをイメージセンサの外部に出力することができる。しかしながら、この場合、複数の画像データを並行して伝送することになる。つまり、後段の処理系において、その並行して伝送される複数の画像データを受け取り、かつ、それらを画像処理しなければならないが、そのような技術は考えられておらず、実現は困難であった。仮に、実現できたとしても、画像処理を開始する前に１フレーム分以上の画像データを受け取らなければならないため、受け取った各画像データをメモリに保持させなければならず、１フレーム分以上の遅延時間が生じるおそれがあった。
【００３８】
＜部分画像の統合＞
そこで、互いに異なる撮像部において得られる複数の撮像画像のそれぞれの部分画像を統合して１つの合成画像を生成するようにする。
【００３９】
例えば、画像処理装置において、互いに異なる撮像部において得られる複数の撮像画像のそれぞれの部分画像を統合して１つの合成画像を生成する画像統合部を備えるようにする。
【００４０】
このように画像を統合することにより、画像データを伝送するバス等の構成がより容易になり、後段の画像処理において１本の画像を処理すればよく、実時間処理（すなわち、即時的な画像処理）を容易に実現することができる。また、部分画像を統合するため、１フレーム分以上の時間を待たずに画像処理を開始することができる。つまり、画像処理までの遅延時間の増大を抑制することができる。すなわち、本技術を適用することにより、コストや消費電力の増大を抑制しながら、画像データの伝送遅延を低減することができる。
【００４１】
＜画像処理装置＞
図１は、本技術を適用した画像処理装置の一実施の形態である画像処理装置の主な構成例を示す図である。
【００４２】
図１において、画像処理装置１００は、高フレームレートの撮像画像を生成し、その撮像画像に対する画像処理を即時的に（リアルタイムに）行う（実時間処理として画像処理を行う）装置である。
【００４３】
なお、画像処理装置１００が処理する画像データのフレームレートの具体的な数値は任意である。後述するように、画像処理装置１００は、複数のイメージセンサを用いて撮像を行うことにより、各イメージセンサのフレームレートよりも高いフレームレートの画像データを生成する。つまり、本明細書においては、この各イメージセンサのフレームレート（フレームレートが異なる場合は、最も高いフレームレート）を標準フレームレートとし、高フレームレートとは、その標準フレームレートよりも高いフレームレートとして説明する。
【００４４】
図１に示されるように、画像処理装置１００は、イメージセンサ１１１−１乃至イメージセンサ１１１−Ｎ（Ｎは２以上の整数）、位置補正部１１２−１乃至位置補正部１１２−Ｎ、データ統合部１１３、およびGPU（Graphics Processing Unit）１１４を有する。
【００４５】
以下において、イメージセンサ１１１−１乃至イメージセンサ１１１−Ｎを互いに区別して説明する必要が無い場合、イメージセンサ１１１とも称する。また、位置補正部１１２−１乃至位置補正部１１２−Ｎ互いに区別して説明する必要が無い場合、位置補正部１１２とも称する。
【００４６】
イメージセンサ１１１は、被写体を撮像し、被写体からの光を光電変換して、撮像画像の画像データを生成する。イメージセンサ１１１は、CMOS（Complementary Metal Oxide Semiconductor）センサであり、ライン露光順次読み出し方式（ローリングシャッタ方式とも称する）で画素アレイから画像データを、１ライン乃至数ライン毎に読み出す。イメージセンサ１１１は、生成した画像データを位置補正部１１２に供給する。
【００４７】
位置補正部１１２は、自身に対応するイメージセンサ１１１において生成された画像データについて、各イメージセンサ１１１の位置の違いによる互いの撮像画像の位置ずれを補正する。各位置補正部１１２は、位置補正した画像データをデータ統合部１１３に供給する。
【００４８】
データ統合部１１３は、各位置補正部１１２から供給される画像データを統合する。つまり、データ統合部１１３は、各イメージセンサ１１１において得られる撮像画像（の部分画像）の画像データを統合する。データ統合部１１３は、統合した画像データを１本の画像データとしてGPU１１４に供給する。
【００４９】
GPU１１４は、データ統合部１１３から供給される１本の画像データに対する画像処理を即時的に（リアルタイムに）行う。GPU１１４は、プログラム等を実行したり、データを処理したりすることにより、画像処理に関する機能を実現する。図１に示されるトラッキング処理部１２１は、そのGPU１１４が実現する機能を示した機能ブロックである。
【００５０】
トラッキング処理部１２１は、データ統合部１１３から供給される画像データの画像（すなわち撮像画像）に含まれる所定の追尾対象の撮像画像内の移動を検出し、追尾する追尾処理（トラッキング処理とも称する）を行う。
【００５１】
GPU１１４は、そのトラッキング処理部１２１による追尾処理の結果を示す情報を出力する。例えば、画像処理装置１００は、制御部１３１およびアクチュエータ１３２をさらに有する。GPU１１４は、その追尾処理の結果を示す情報を制御部１３１に供給する。
【００５２】
制御部１３１は、GPU１１４から供給される追尾処理の結果を示す情報に基づいて、アクチュエータ１３２を制御する制御情報を生成する。制御部１３１は、その制御情報を適切なタイミングでアクチュエータ１３２に供給する。
【００５３】
アクチュエータ１３２は、制御部１３１から供給される制御信号にしたがって、電気エネルギーを物理的運動に変換し、機械要素等の物理的構成を駆動する。
【００５４】
＜イメージセンサの配置例＞
図２にイメージセンサ１１１の配置例を示す。以下においては、図２の例のように、９個のイメージセンサ１１１（イメージセンサ１１１−０乃至イメージセンサ１１１−８）を水平方向に所定の間隔で一列に配置する場合について説明する。つまり、データ統合部１１３は、この９個のイメージセンサ１１１のそれぞれにおいて得られる撮像画像の部分画像を統合する。なお、イメージセンサ１１１−０乃至イメージセンサ１１１−９をCam0乃至Cam8とも称する。また、Cam0乃至Cam8を互いに区別して説明する必要が無い場合（すなわち、イメージセンサ１１１を）、Camとも称する。
【００５５】
＜画像処理の流れ＞
図１の画像処理装置１００により実行される画像処理の流れの例を、図３のフローチャートを参照して説明する。必要に応じて、図４乃至図９を参照して説明する。
【００５６】
画像処理装置１００により画像処理が開始されると、各イメージセンサ１１１は、ステップＳ１０１において、各自のタイミングで被写体を撮像する。
【００５７】
図４は、各イメージセンサ１１１の露光期間（露光が行われる期間）（すなわち、撮像タイミング）の例を示している。図４において各矢印は、そのCamの露光期間を示す。なお、説明の簡略化の為に、露光が行われない期間は存在しないものとして説明する。この場合、各イメージセンサ１１１のフレームレートを60fpsであり、撮像画像１フレーム分の露光時間（露光期間の長さ）は、1/60秒である。また、各イメージセンサの露光期間は、1/540秒ずつずれている。
【００５８】
このように、各イメージセンサ１１１の露光期間が、互いにずれているようにしてもよい。例えば、各イメージセンサ１１１の露光期間が、所定の時間ずつ互いにずれているようにしてもよい。例えば、各イメージセンサ１１１の露光期間が、撮像画像１フレーム分の露光時間（露光期間の長さ）よりも短い所定の時間ずつ互いにずれているようにしてもよい。例えば、この所定の時間が、撮像画像１フレーム分の露光時間（図４の例の場合「1/60sec」）を、統合する部分画像の数（すなわち、イメージセンサ１１１の数（図４の例の場合「９」））で除算した時間（図４の例の場合「1/540sec」）であるようにしてもよい。もちろん、図４の例は一例であり、露光期間、フレームレート、イメージセンサ１１１の数、イメージセンサ１１１間の露光期間のずれ（所定の時間）の長さ等、各パラメータの値は、図４の例以外であってもよい。
【００５９】
図３に戻り、ステップＳ１０２において、各イメージセンサ１１１は、所定のタイミング毎に撮像画像の部分画像（短冊データ）をイメージセンサ１１１の外部に読み出す。
【００６０】
この部分画像（短冊データ）を得るための露光時間は、この所定の時間よりも短ければよい。またこの部分画像（短冊データ）を得るための露光時間は、撮像画像１フレーム分の露光時間よりも短い。したがって、所定の時間（部分画像（短冊データ）を読み出すタイミングの時間間隔）は、撮像画像１フレーム分の露光時間よりも短くしてもよい。例えば、各イメージセンサ１１１の露光期間のずれの時間毎に部分画像（短冊データ）を読み出すようにしてもよい。例えば、各イメージセンサ１１１の露光期間の開始時刻に、部分画像（短冊データ）を読み出すようにしてもよい。
【００６１】
例えば、図４のように各イメージセンサ１１１の露光期間が1/540sec（所定の時間）ずつ互いにずれている場合、その1/540secを、部分画像（短冊データ）を読み出すタイミングの時間間隔としてもよい。また、その1/540secを、撮像画像の部分画像を得るための露光時間としてもよい。
【００６２】
以上のように、各イメージセンサ１１１からは、このような期間毎に画像データ（短冊データ）が読み出される。つまり、各イメージセンサ１１１からは、撮像画像１フレーム分の露光時間よりも短い互いに同一の期間に得られる画像データ（短冊データ）が同タイミングに読み出される。
【００６３】
イメージセンサ１１１は、上述したようにローリングシャッタ方式で画像データの読み出しが行われるので、この部分画像（短冊データ）は、１フレーム分の撮像画像の全ラインの内の一部のライン（１ライン若しくは連続する複数ライン）の画像である。また、互いに同一のタイミングに各イメージセンサ１１１から読み出される部分画像（短冊データ）が、１フレーム分の撮像画像における互いに異なる位置（ライン）の画像により構成されるようにしてもよい。
【００６４】
例えば、図４の場合、各イメージセンサ１１１の露光タイミングが1/540secずつ互いにずれており、各イメージセンサ１１１の露光期間の開始時刻に、部分画像（短冊データ）を読み出すようにして、その1/540secを、撮像画像の部分画像（短冊データ）を得るための露光時間とすると、所定のタイミングにおいて各イメージセンサ１１１から読み出される部分画像（短冊データ）は、１フレーム分の撮像画像における互いに異なる位置（ライン）の画像により構成されることになる。この１度に読み出される短冊データのライン数を、１フレーム分の撮像画像全体のライン数をイメージセンサ１１１の数で除算したライン数としてもよい。
【００６５】
所定のタイミングt0における短冊データの読み出しの様子の例を図５に示す。図５において、図中縦方向（上から下に向かって）時間軸が示されている。また、点線で示される撮像画像１７１−０乃至撮像画像１７１−８は、それぞれ、各イメージセンサ１１１（Cam0乃至Cam8）の１フレーム分の撮像画像の画像データが読み出される期間を示している。以下において、撮像画像１７１−０乃至撮像画像１７１−８を互いに区別して説明する必要が無い場合、撮像画像１７１と称する。
【００６６】
図５に示されるように、各イメージセンサ１１１の１フレーム分の撮像画像１７１の読み出し期間は、互いにδｔ（図４の例の場合、δt＝1/540秒）ずつずれている。また、所定のタイミングt0において、各イメージセンサ１１１から、短冊データ１７２−０乃至短冊データ１７２−８が読み出されるとする。以下において、短冊データ１７２−０乃至短冊データ１７２−８を互いに区別して説明する必要が無い場合、短冊データ１７２と称する。
【００６７】
各短冊データ１７２は、互いに同一の期間において得られたデータであるので、図５に示されるように、各撮像画像１７１に対する短冊データ１７２の位置が、イメージセンサ１１１毎に互いに異なる。つまり、同一タイミングにおいて、各イメージセンサ１１１からは、互いに異なるラインのデータが得られる。図５の例の場合、全イメージセンサ１１１から、１フレーム分のライン数の画像データ（短冊データ）が読み出されることになる。
【００６８】
図６に、次の読出しのタイミングt0＋δtにおける短冊データの読み出しの様子の例を示す。図６においても、図５と同様、図中縦方向（上から下に向かって）時間軸が示されている。
【００６９】
タイミングt0＋δt（図６）においては、次の短冊データの読み出しが行われる。つまり、タイミングt0から時間δtの期間に得られる画像データが短冊データとして読み出される。Cam0の場合、タイミングt0（図５）において、フレームの最後の短冊データが読み出されたので、タイミングt0＋δt（図６）においては、次のフレームの撮像画像１７１−１０の最初の短冊データ１７３−０が読み出される。
【００７０】
このタイミングt0＋δtの場合も、各イメージセンサ１１１からは、互いに異なるラインのデータが得られる。つまり、図６の例の場合、全イメージセンサ１１１から、１フレーム分のライン数の画像データ（短冊データ）が読み出される。つまり、全イメージセンサ１１１から、所定の期間δt毎に、１フレーム分のライン数の画像データ（短冊データ）が読み出される。
【００７１】
図３に戻り、ステップＳ１０３において、位置補正部１１２は、自身に対応するイメージセンサ１１１において得られた短冊データの位置補正を行う。
【００７２】
図２を参照して説明したように、各イメージセンサ１１１の位置は互いに異なるので、撮像範囲は互いにずれている。そのため、例えば、全イメージセンサ１１１が同一の被写体を撮像すると、各撮像画像におけるその被写体の位置は互いにずれが生じている。位置補正部１１２は、この撮像画像間（短冊データ間）の位置ずれを低減させるように画像の位置補正を行う。
【００７３】
例えば、図２の場合、イメージセンサ１１１は、水平方向に１列に配置されているので、位置補正部１１２は、水平方向の位置ずれを補正する。
【００７４】
なお、この位置補正は、イメージセンサ１１１の相対的な位置関係に基づいて行われる。したがって、位置補正部１１２が、その位置関係を予め把握しておくようにしてもよい。
【００７５】
ステップＳ１０４において、データ統合部１１３は、各イメージセンサ１１１において互いに同タイミングに得られた（すなわち、ステップＳ１０２の処理により得られた）、イメージセンサ１１１の相対的な位置関係に基づいて位置補正が行われた（すなわち、ステップＳ１０３の処理により位置補正された）短冊データ群を統合する。つまり、データ統合部１１３が、イメージセンサ１１１のそれぞれにおいて、撮像画像１フレーム分の露光時間よりも短い互いに同一の期間に得られる部分画像（短冊データ）を統合するようにしてもよい。また、データ統合部１１３が、その期間の時間毎に部分画像（短冊データ）を統合するようにしてもよい。さらに、データ統合部１１３が、撮像画像における位置が互いに異なる複数の部分画像を統合するようにしてもよい。
【００７６】
所定のタイミングt0において読みだされた短冊データの統合の様子の例を図７に示す。例えば、図７のＡに示されるようにタイミングt0における自動車を被写体１８１として、各イメージセンサ１１１を用いて撮像するとする。図７のＢに示されるように、互いに異なる６つのイメージセンサ１１１の撮像により、撮像画像１８２−１乃至撮像画像１８２−６が得られるとする。以下において、撮像画像１８２−１乃至撮像画像１８２−６を互いに区別して説明する必要が無い場合、撮像画像１８２と称する。
【００７７】
また、タイミングt0において、それらのイメージセンサ１１１から短冊データ１８３−１乃至短冊データ１８３−６が得られるとする。以下において、短冊データ１８３−１乃至短冊データ１８３−６を互いに区別して説明する必要が無い場合、短冊データ１８３と称する。
【００７８】
イメージセンサ１１１同士の位置関係によって、各撮像画像１８２（すなわち、各短冊データ１８３）において被写体１８１（自動車）の位置は、互いにずれている。これらの短冊データ１８３は、位置補正部１１２により位置補正が行われた後、データ統合部１１３によりデータ統合されて１つの画像データとされる。
【００７９】
データ統合部１１３は、位置補正が行われた各短冊データ１８３を、そのラインの位置関係に応じて並べて１つの統合データ１８４を生成する。図４乃至図６を参照して説明した例の場合、上述したように、所定の期間δt毎に、１フレーム分のライン数の画像データ（短冊データ）が読み出されるので、統合データ１８４は、１フレーム分の画像データとなる。つまり、タイミングt0における１フレーム分の撮像画像が得られる。
【００８０】
また、次の読み出しのタイミングt0＋δtにおいて読みだされた短冊データの統合の様子の例を図８に示す。例えば、図８のＡに示されるようにタイミングt0＋δtにおける自動車を被写体１８１として、各イメージセンサ１１１を用いて撮像するとする。図８のＢに示されるように、互いに異なる６つのイメージセンサ１１１の撮像により、撮像画像１８５−１乃至撮像画像１８５−６が得られるとする。以下において、撮像画像１８５−１乃至撮像画像１８５−６を互いに区別して説明する必要が無い場合、撮像画像１８５と称する。
【００８１】
また、タイミングt0＋δtにおいて、それらのイメージセンサ１１１から短冊データ１８６−１乃至短冊データ１８６−６が得られるとする。以下において、短冊データ１８６−１乃至短冊データ１８６−６を互いに区別して説明する必要が無い場合、短冊データ１８６と称する。
【００８２】
この場合も、データ統合部１１３は、位置補正が行われた各短冊データ１８６を、そのラインの位置関係に応じて並べて１つの統合データ１８７を生成する。つまり、図４乃至図６を参照して説明した例の場合、統合データ１８７は、１フレーム分の画像データとなる。つまり、タイミングt0＋δtにおける１フレーム分の撮像画像が得られる。
【００８３】
このように、データ統合部１１３が短冊データを統合することにより、期間δt毎に統合データ（１フレーム分の画像データ）が得られる。
【００８４】
図３に戻り、ステップＳ１０５において、データ統合部１１３は、その統合データをGPU１１４に伝送する。
【００８５】
すなわち、GPU１１４においては、イメージセンサ１１１のフレームレート（標準フレームレート）よりも高フレームレート（図４乃至図６の例の場合、540fps）の１本の撮像画像が得られる。
【００８６】
したがって、GPU１１４は、その高フレームレートに間に合う処理速度で、各統合データを用いて所望の画像処理を行うようにすればよい。つまり、GPU１１４は、並行して供給される複数の画像データを整列させて処理したり、複数の画像データを並行して処理する等の複雑な処理を行ったりする必要がないので、遅延時間の増大や消費電力の増大を抑制することができる。また、開発や製造のコストの増大も抑制することができる。
【００８７】
なお、イメージセンサ１１１はローリングシャッタ方式で画像データの読み出しが行われるので、実際には、それによって、撮像画像（短冊データ）における被写体１８１の形状が歪んでいる。したがって、論理的には、統合データ１８４として、タイミングt0における１フレーム分の撮像画像が得られるが、実際には、図７に示される統合データ１８４や図８に示される統合データ１８７のように、画像に歪みや位置ずれが残る可能性もあり得る。
【００８８】
しかしながら、位置補正部１１２においてそのような歪等を考慮して位置補正を行うことにより、位置ずれや歪みは低減させることができる。つまり、撮像画像と略同様の画像の統合データを得ることができる。
【００８９】
ステップＳ１０６において、GPU１１４のトラッキング処理部１２１は、供給される統合データを用いた画像処理として、その統合データに含まれる注目被写体のトラッキング処理を行う。
【００９０】
トラッキング処理の例を図９に示す。例えば、図７および図８の自動車（被写体１８１）を注目被写体とすると、トラッキング処理部１２１は、タイミングt0の統合データ１８４において、その注目被写体を含む領域１８８を特定し、タイミングt0＋δtの統合データ１８７において、その注目被写体を含む領域１８９を特定する。例えば、トラッキング処理部１２１は、動き予測等の手法を用いて、領域１８８に画像が類似する領域１８９を特定する。このように、トラッキング処理部１２１は、各統合データについて、注目被写体を含む領域を特定する。
【００９１】
図３に戻り、ステップＳ１０７において、GPU１１４は、得られたトラッキング結果（例えば、注目被写体を含む領域の情報）を、制御部１３１に出力する。
【００９２】
制御部１３１は、そのトラッキング結果に応じて、アクチュエータ１３２の制御を行う。アクチュエータ１３２は、制御部１３１の制御に従って、機械等の物理的な構成を駆動させる。
【００９３】
以上のように各処理が行われると、画像処理が終了する。なお、上述したステップＳ１０１乃至ステップＳ１０７の各処理は、期間δｔ毎に繰り返される。つまり、これらの各処理は、並行して実行される。撮像が終了すると、各処理が終了する。
【００９４】
以上のように、画像処理装置１００は、安価で低消費電力な低フレームレート（標準フレームレート）のイメージセンサ１１１を複数用いることにより、高フレームレートの撮像を実現することができる。したがって、画像処理装置１００は、消費電力やコストの増大を抑制しながら高フレームレートの撮像を実現することができる。また、上述したように、同タイミングに得られる短冊データを統合することにより、画像処理装置１００は、消費電力やコストの増大を抑制しながら、画像データの伝送遅延を低減することができる。これにより、画像処理装置１００は、消費電力やコストの増大を抑制しながら、画像データの即時的な画像処理を実現することができる。
【００９５】
＜トラッキング処理の利用例＞
以上のような高フレームレートの画像データを用いたトラッキング処理により、追尾性能の高いトラッキング処理が可能となる。すなわち、高速に移動する追尾対象に対してもより正確に追尾することができる。
【００９６】
例えば、図１０に示される例のように、動体であるボール１９１を追尾対象としてトラッキング処理を行い、そのトラッキング結果を用いてロボット１９５を制御することにより、ボール１９１に対して適切な動作をロボット１９５に行わせることができる。例えば、図１０のように、人間が卓球のボール１９１をロボット１９５に向かって打つと、画像処理装置１００は、そのボール１９１をトラッキングして、そのボール１９１を正しく打ち返す（ボール１９１を卓球台の相手陣側に打ち返す）ような動作をロボット１９５に行わせることができる。この時、上述したように実質的に高フレームレートの撮像画像を用いてトラッキング処理を行うことができるので、画像処理装置１００は、ボール１９１が高速に移動する場合であっても適切にトラッキングを行うことができ、適切な動作をロボット１９５に行わせることができる。
【００９７】
＜その他の例＞
なお、本技術は、上述した例に限定されない。例えば、本技術を適用した装置の構成は、図１の画像処理装置１００の構成に限定されない。本技術を適用した装置は、図１のデータ統合部１１３を有していればよく、その他の構成は、他の装置として構成されるようにしてもよい。また、例えば、データ統合部１１３およびGPU１１４を１つの画像処理装置１４１としてもよい。また、その場合、イメージセンサ１１１および位置補正部１１２を１つの撮像装置１４２としてもよい。また、各イメージセンサ１１１を１つの装置としてもよいし、各位置補正部１１２を１つの装置としてもよい。
【００９８】
また、画像処理装置１４１と撮像装置１４２を１つの画像処理装置１４３としてもよい。さらに、画像処理装置１４３と制御部１３１を１つの制御装置１４４としてもよい。
【００９９】
イメージセンサ１１１のフレームレートはいくつであってもよい。以上においては、各イメージセンサ１１１のフレームレートが統一されている場合について説明したが、少なくとも一部のイメージセンサ１１１のフレームレートが、少なくとも他の一部のイメージセンサ１１１のフレームレートと異なっていてもよい（統一されていなくてもよい）。
【０１００】
同様に、イメージセンサ１１１の画素数も任意であり、全イメージセンサ１１１で統一されていてもよいし、統一されていなくてもよい。また、画素の配置も任意である。例えば、各画素がアレイ状に配置されていてもよいし、ハニカム状等、アレイ状以外に配置されてもよい。そして、この各画素の配置が、全イメージセンサ１１１において統一されていてもよいし、統一されていなくてもよい。
【０１０１】
また、イメージセンサ１１１の数も複数であれば任意である。また、イメージセンサ１１１は、CCD（Charge Coupled Device）であってもよい。また、イメージセンサ１１１の画像データ読み出し方式は、ローリングシャッタ方式でなくてもよい。例えば、グローバルシャッタ方式であってもよい。これらが、全イメージセンサ１１１において統一されていてもよいし、統一されていなくてもよい。
【０１０２】
また、短冊データは、撮像画像の部分画像の画像データであればよい。例えば、短冊データのライン数は任意である。つまり、短冊データの読み出しタイミングの間隔は任意である。例えば、短冊データの読み出しタイミングの間隔は、ローリングシャッタ方式の読み出しタイミングの間隔と一致していてもよいし、一致していなくてもよい。
【０１０３】
また、各タイミングで読み出される短冊データのライン数が、常に同一であってもよいし、常に同一でなくてもよい。また、全イメージセンサ１１１で統一されていてもよいし、統一されていなくてもよい。換言するに、読み出しが行われる間隔（δt）は、常に一定であってもよいし、可変であってもよい。また、全イメージセンサ１１１で統一されていてもよいし、統一されていなくてもよい。
【０１０４】
また、短冊データの形状（すなわち、部分画像の形状）は任意である。例えば、短冊データが列単位の画像データにより構成されるようにしてもよいし、マクロブロック等のようなブロック単位の画像データにより構成されるようにしてもよい。
【０１０５】
また、同一イメージセンサ１１１の複数の短冊データの一部が互いに重複していてもよい。
【０１０６】
イメージセンサ１１１の配置の仕方も任意である。イメージセンサ１１１は、任意の方向に、直線状、曲線状、平面状、若しくは、曲面状に配置してもよい。また、各イメージセンサ１１１の配置間隔は、等間隔であってもよいし、非等間隔であってもよい。
【０１０７】
なお、位置補正部１１２は、省略するようにしてもよい。特に、GPU１１４において、複数の短冊データに亘る画像処理を行わない場合、位置補正は不要であるので、省略するようにしてもよい。また、位置補正は、データ統合後に行うようにしてもよい。
【０１０８】
なお、位置ずれの補正の方向は、イメージセンサ１１１の位置関係に応じて任意の方向に行うことができ、上述した水平方向に限定されない。
【０１０９】
また、データ統合部１１３が、一部の短冊データのみを統合するようにしてもよい。さらに、データ統合部１１３が、統合する短冊データを、タイミングに応じて変えることができるようにしてもよい。また、統合後のデータが、１フレーム分の撮像画像に満たなくてもよい。
【０１１０】
例えば、図４の例の場合、Cam0の撮像開始時においては、その他のCamの撮像は開始されていない。したがって、統合データは１フレーム分の画像データとはならない。しかしながら、GPU１１４に伝送することができるので、画像処理を開始することができる。したがって、画像処理の遅延時間を低減させることができる。例えば、画像処理としてトラッキング処理を行う場合、より追尾性能の高いトラッキング処理が可能となる。すなわち、より高速に移動する追尾対象に対してもより正確に追尾することができる。
【０１１１】
なお、GPU１１４が行う画像処理は任意であり、トラッキング処理以外でもよい。例えば、符号化・復号などでもよい。ただし、統合データは短冊データの集合であり、上述したように位置ずれや歪等が生じやすいので、視聴用のデータとして用いると画質劣化を抑制するための処理が必要になる可能性が高い。
【０１１２】
また、制御部１３１は、アクチュエータ１３２（作動部）の制御に限らず、任意の処理を行うようにしてもよい。また、アクチュエータ１３２は、どのような物理的運動を行う作動部であってもよい。
【０１１３】
＜２．第２の実施の形態＞
＜画像処理装置＞
画像処理のその他の例として、例えば、GPU１１４が、互いに視差を有する複数の画像であるステレオ画像から、撮像範囲内の位置毎の奥行きに関する情報を含むデプスマップ（奥行き情報とも称する）を生成するステレオマッチング処理を行うようにしてもよい。このような場合、例えば、各イメージセンサ１１１の露光期間が、一部のイメージセンサ１１１間で互いに同一の期間であり、他の一部のイメージセンサ１１１間で互いにずれているようにしてもよい。換言するに、データ統合部１１３が、撮像画像における位置が互いに同一の複数の短冊データと、撮像画像における位置がその複数の短冊データのいずれかと異なる短冊データとを統合するようにしてもよい。
【０１１４】
図１１は、本技術を適用した画像処理装置の他の実施の形態である画像処理装置の主な構成例を示す図である。
【０１１５】
図１１において、画像処理装置２００は、高フレームレートの撮像画像を生成し、その撮像画像に対する画像処理を即時的に（リアルタイムに）行う（実時間処理として画像処理を行う）装置である。そして、画像処理装置２００は、その画像処理として、上述したステレオマッチング処理を行う。
【０１１６】
図１１に示されるように、画像処理装置２００は、イメージセンサ１１１、データ統合部１１３、およびGPU１１４を有する。これらは、基本的に第１の実施の形態において説明したものと同様であり、その同様の部分についての説明は省略する。
【０１１７】
各イメージセンサ１１１から読み出された短冊データは、データ統合部１１３に供給される。つまり、この場合、データ統合部１１３は、位置補正が行われていない短冊データを統合し、GPU１１４に供給する。
【０１１８】
GPU１１４は、機能ブロックとしてステレオマッチング処理部２１１と位置補正部２１２を有する。
【０１１９】
ステレオマッチング処理部２１１は、データ統合部１１３から供給される統合データを用いてステレオマッチング処理を行う。詳細については後述するが、この統合データは、互いに同一の露光期間において得られる複数の短冊データを用いて互いに視差を有するステレオ画像を形成している。ステレオマッチング処理部２１１は、撮像範囲の各位置における奥行きに関する情報をマッピングしたデプスマップを生成する。
【０１２０】
位置補正部２１２は、そのデプスマップについて、各イメージセンサ１１１の位置の違いによる互いの撮像画像の位置ずれを補正する。GPU１１４は、位置補正したデプスマップを出力する。例えば、画像処理装置１００は、３Ｄ画像生成部２２１をさらに有する。GPU１１４は、その位置補正されたデプスマップを３Ｄ画像生成部２２１に供給する。
【０１２１】
３Ｄ画像生成部２２１は、供給されたデプスマップを用いて立体視用の画像である３Ｄ画像を生成する。
【０１２２】
＜イメージセンサの配置例＞
イメージセンサ１１１の配置は、第１の実施の形態の場合と同様任意である。以下においては、イメージセンサ１１１が、図２と同様に水平方向に１列に配置されているものとして説明する。
【０１２３】
＜画像処理の流れ＞
図１１の画像処理装置２００により実行される画像処理の流れの例を、図１２のフローチャートを参照して説明する。必要に応じて、図１３乃至図１８を参照して説明する。
【０１２４】
画像処理装置２００により画像処理が開始されると、各イメージセンサ１１１は、ステップＳ２０１において、各自のタイミングで被写体を撮像する。
【０１２５】
各イメージセンサ１１１の露光期間（露光が行われる期間）（すなわち、撮像タイミング）は、図１３の例のように制御される。図１３において各矢印は、そのCamの露光期間を示す。図１３の例の場合、Cam0とCam5の露光期間が互いに同一であり、Cam1とCam6の露光期間が互いに同一であり、Cam2とCam7の露光期間が互いに同一であり、Cam3、Cam8、およびCam4の露光期間が互いに同一である。つまり、９つのイメージセンサ１１１の露光期間のタイミングが４組に分かれている。
【０１２６】
したがって、イメージセンサ１１１のフレームレートを60fpsとすると、各組の露光期間が、その露光時間（1/60秒）をイメージセンサ１１１の組数（４）で除算した時間、すなわち、1/240秒ずつずれている。
【０１２７】
このように、第２の実施の形態の場合、露光期間が他のイメージセンサ１１１と同一のイメージセンサ１１１が存在する。
【０１２８】
図１２に戻り、ステップＳ２０２において、各イメージセンサ１１１は、所定のタイミング毎に撮像画像の短冊データをイメージセンサ１１１の外部に読み出す。つまり、各イメージセンサ１１１から、短冊データが、第１の実施の形態の場合と同様に読み出される。つまり、各イメージセンサ１１１において、互いに同一の期間に得られる短冊データが同一のタイミングで読み出される。
【０１２９】
ただし、上述したように、第２の実施の形態の場合、露光期間が他のイメージセンサ１１１と同一のイメージセンサ１１１が存在するので、各イメージセンサ１１１から読み出される短冊データにおいても、互いに同一の位置のラインの画像データにより構成される複数の短冊データが存在することになる。
【０１３０】
所定のタイミングt0における短冊データの読み出しの様子の例を図１４に示す。図１４において、点線で示される撮像画像２５１−０乃至撮像画像２５１−８は、それぞれ、各イメージセンサ１１１（Cam0乃至Cam8）の１フレーム分の撮像画像の画像データが読み出される期間を示している。以下において、撮像画像２５１−０乃至撮像画像２５１−８を互いに区別して説明する必要が無い場合、撮像画像２５１と称する。
【０１３１】
図１４に示されるように、Cam0乃至Cam3の１フレーム分の撮像画像２５１の読み出し期間が、互いにδｔ（図１３の例の場合、δt＝1/240秒）ずつずれている。また、Cam5乃至Cam8の１フレーム分の撮像画像２５１の読み出し期間が、互いにδｔ（図１３の例の場合、δt＝1/240秒）ずつずれている。
【０１３２】
そして、上述したように、Cam0とCam5の露光期間が互いに同一であるので、撮像画像２５１−０の読み出し期間と、Cam5からの撮像画像２５１−５の読み出し期間とが互いに同一である。同様に、撮像画像２５１−１と撮像画像２５１−６、撮像画像２５１−２と撮像画像２５１−７、撮像画像２５１−３と撮像画像２５１−８とが、それぞれ読み出し期間が互いに同一である。なお、撮像画像２５１−４は、撮像画像２５１−３および撮像画像２５１−８と読み出し期間が互いに同一である。
【０１３３】
そして、所定のタイミングt0において、各イメージセンサ１１１から、短冊データ２５２−０乃至短冊データ２５２−８が読み出されるとする。以下において、短冊データ２５２−０乃至短冊データ２５２−８を互いに区別して説明する必要が無い場合、短冊データ２５２と称する。
【０１３４】
各短冊データ２５２は、互いに同一の期間において得られたデータであるので、各撮像画像２５１に対する短冊データ２５２の位置が、図１４に示されるような位置になる。つまり、同一タイミングにおいて、イメージセンサ１１１−０乃至イメージセンサ１１１−３からは、互いに異なるラインのデータが得られる。同様に、イメージセンサ１１１−５乃至イメージセンサ１１１−８からは、互いに異なるラインのデータが得られる。
【０１３５】
換言するに、イメージセンサ１１１−０とイメージセンサ１１１−５とから、互いに同一のラインのデータからなる短冊データが得られる。同様に、イメージセンサ１１１−１とイメージセンサ１１１−６、イメージセンサ１１１−２とイメージセンサ１１１−７、イメージセンサ１１１−３とイメージセンサ１１１−４とイメージセンサ１１１−８とから、それぞれ、互いに同一のラインのデータからなる短冊データが得られる。
【０１３６】
そして、これらの、互いに同一のラインのデータからなる短冊データ同士は、互いに異なるイメージセンサ１１１において得られるので、互いに視差を有する。つまり、第２の実施の形態の場合、互いに視差を有する複数の画像からなるステレオ画像の短冊データが得られる。
【０１３７】
図１５に、次の読出しのタイミングt0＋δtにおける短冊データの読み出しの様子の例を示す。タイミングt0＋δt（図１５）においては、次の短冊データの読み出しが行われる。つまり、タイミングt0から時間δtの期間に得られる画像データが短冊データとして読み出される。Cam0の場合、タイミングt0（図１４）において、フレームの最後の短冊データが読み出されたので、タイミングt0＋δt（図１５）においては、次のフレームの撮像画像２５１−１０の最初の短冊データ２５３−０が読み出される。同様に、Cam5の場合、タイミングt0（図１４）において、フレームの最後の短冊データが読み出されたので、タイミングt0＋δt（図１５）においては、次のフレームの撮像画像２５１−１５の最初の短冊データ２５３−５が読み出される。
【０１３８】
つまり、このタイミングt0＋δtの場合も、タイミングt0（図１４）の場合と同様に短冊データの読み出しが行われる。つまり、互いに視差を有する複数の画像からなるステレオ画像の短冊データが得られる。
【０１３９】
図１２に戻り、データ統合部１１３は、ステップＳ２０３において、各イメージセンサ１１１において互いに同タイミングに得られた（すなわち、ステップＳ２０２の処理により得られた）短冊データ群を統合する。
【０１４０】
所定のタイミングt0において読みだされた短冊データの統合の様子の例を図１６に示す。例えば、図１６のＡに示されるようにタイミングt0における自動車を被写体２６１として、各イメージセンサ１１１を用いて撮像するとする。図１６のＢに示されるように、互いに異なるＭ個（Ｍは自然数）のイメージセンサ１１１の撮像により、撮像画像２６２−１乃至撮像画像２６２−Ｍが得られるとする。以下において、撮像画像２６２−１乃至撮像画像２６２−６を互いに区別して説明する必要が無い場合、撮像画像２６２と称する。
【０１４１】
また、タイミングt0において、それらのイメージセンサ１１１から短冊データ２６３−１乃至短冊データ２６３−Ｍが得られるとする。以下において、短冊データ２６３−１乃至短冊データ２６３−Ｍを互いに区別して説明する必要が無い場合、短冊データ２６３とも称する。
【０１４２】
データ統合部１１３は、各短冊データ２６３を、任意の順に並べて１つの統合データ２６４を生成する。例えば、図１６の例のように、ステレオ画像を構成する短冊データ２６３同士を隣接させるように並べてもよい。
【０１４３】
また、この場合、位置補正が行われていないので、統合データ２６４は、図１６に示される例のように、各短冊データに画像の位置ずれ等が発生し、互いの位置関係がバラバラになっている。
【０１４４】
また、次の読み出しのタイミングt0＋δtにおいて読みだされた短冊データの統合の様子の例を図１７に示す。例えば、図１７のＡに示されるようにタイミングt0＋δtにおける自動車を被写体１８１として、各イメージセンサ１１１を用いて撮像するとする。図１７のＢに示されるように、互いに異なるＭ個つのイメージセンサ１１１の撮像により、撮像画像２６５−１乃至撮像画像２６５−６が得られるとする。以下において、撮像画像２６５−１乃至撮像画像２６５−６を互いに区別して説明する必要が無い場合、撮像画像２６５と称する。
【０１４５】
また、タイミングt0＋δtにおいて、それらのイメージセンサ１１１から短冊データ２６６−１乃至短冊データ２６６−６が得られるとする。以下において、短冊データ２６６−１乃至短冊データ２６６−６を互いに区別して説明する必要が無い場合、短冊データ２６６と称する。
【０１４６】
この場合も、データ統合部１１３は、短冊データ２６６を任意の順に並べて１つの統合データ２６７を生成する。例えば、図１７の例のように、ステレオ画像を構成する短冊データ２６６同士を隣接させるように並べてもよい。
【０１４７】
また、この場合、位置補正が行われていないので、統合データ２６７は、図１７に示される例のように、各短冊データに画像の位置ずれ等が発生し、互いの位置関係がバラバラになっている。
【０１４８】
図１３乃至図１５を参照して説明した例の場合、統合データ２６４および統合データ２６７は、それぞれ、１フレーム分のステレオ画像データとなる。つまり、データ統合部１１３が短冊データを統合することにより、期間δt毎に統合データ（１フレーム分のステレオ画像データ）が得られる。
【０１４９】
図１２に戻り、ステップＳ２０４において、データ統合部１１３は、その統合データをGPU１１４に伝送する。
【０１５０】
すなわち、GPU１１４においては、イメージセンサ１１１のフレームレート（標準フレームレート）よりも高フレームレート（図１３乃至図１５の例の場合、240fps）の１本の撮像画像（ステレオ画像）が得られる。
【０１５１】
したがって、第２の実施の形態の場合も、GPU１１４は、その高フレームレートに間に合う処理速度で、各統合データを用いて所望の画像処理を行うようにすればよい。つまり、GPU１１４は、並行して供給される複数の画像データを整列させて処理したり、複数の画像データを並行して処理する等の複雑な処理を行ったりする必要がないので、遅延時間の増大や消費電力の増大を抑制することができる。また、開発や製造のコストの増大も抑制することができる。
【０１５２】
ステップＳ２０５において、GPU１１４のステレオマッチング処理部２１１は、供給される統合データを用いた画像処理として、その統合データに含まれるステレオ画像を用いてステレオマッチング処理を行う。
【０１５３】
このステレオマッチング処理により、例えば図１８のＡ乃至図１８のＦに示されるようなデプスマップ２７１が生成される。デプスマップ２７１は、輝度によって撮像範囲の各位置の被写体までの距離（奥行き）を示している。つまり、高フレームレートのデプスマップが生成される。つまり、画像処理装置２００は、高速に移動する物体までの距離もより正確に求めることができる。
【０１５４】
図１２に戻り、ステップＳ２０６において、デプスマップの位置補正を行う。なお、デプスマップは、ステレオ画像を用いて行われるため、フレーム内においては短冊データ毎に処理することも可能である。そのため、ステレオマッチング処理の前に位置補正を行う必要は必ずしもない。
【０１５５】
ステップＳ２０７において、GPU１１４は、得られたデプスマップを、３Ｄ画像生成部２２１に出力する。３Ｄ画像生成部２２１は、そのデプスマップを用いて立体視用の画像（３Ｄ画像）を生成する。
【０１５６】
以上のように各処理が行われると、画像処理が終了する。なお、上述したステップＳ２０１乃至ステップＳ２０７の各処理は、期間δｔ毎に繰り返される。つまり、これらの各処理は、並行して実行される。撮像が終了すると、各処理が終了する。
【０１５７】
以上のように、画像処理装置２００は、安価で低消費電力な低フレームレート（標準フレームレート）のイメージセンサ１１１を複数用いることにより、高フレームレートの撮像を実現することができる。したがって、画像処理装置２００は、消費電力やコストの増大を抑制しながら高フレームレートの撮像を実現することができる。また、上述したように、同タイミングに得られる短冊データを統合することにより、画像処理装置２００は、消費電力やコストの増大を抑制しながら、画像データの伝送遅延を低減することができる。これにより、画像処理装置２００は、消費電力やコストの増大を抑制しながら、画像データの即時的な画像処理を実現することができる。
【０１５８】
＜その他の例＞
なお、本技術は、上述した例に限定されない。例えば、本技術を適用した装置の構成は、図１１の画像処理装置２００の構成に限定されない。本技術を適用した装置は、図１１のデータ統合部１１３を有していればよく、その他の構成は、他の装置として構成されるようにしてもよい。また、例えば、データ統合部１１３およびGPU１１４を１つの画像処理装置２３１としてもよい。また、その場合、イメージセンサ１１１を１つの撮像装置２３２としてもよい。また、各イメージセンサ１１１を１つの装置としてもよい。また、画像処理装置２３１と撮像装置２３２を１つの画像処理装置２３３としてもよい。
【０１５９】
また、例えば、データ統合部１１３が、露光期間が互いに同一の複数のイメージセンサ１１１において互いに同一の期間に得られる複数の部分画像を統合するようにしてもよい。つまり、例えば、データ統合部１１３が、撮像画像における位置が互いに同一の複数の部分画像を統合するようにしてもよい。
【０１６０】
＜３．第３の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０１６１】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１６２】
図１９に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
【０１６３】
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
【０１６４】
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
【０１６５】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１６６】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
【０１６７】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
【０１６８】
その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
【０１６９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７０】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７１】
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
【０１７２】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１７３】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０１７４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１７５】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１７６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７８】
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０１７９】
本技術は、信号処理、画像処理、符号化・復号、計測、演算制御、駆動制御、表示等、様々な技術に応用することができる。例えば、本技術は、コンテンツ制作、スポーツシーンの解析、医療機器制御、電子顕微鏡の視野位置制御等のためのMEMS（Micro Electro Mechanical Systems）制御、ロボットの駆動制御、生産ライン等のFA（Factory Automation）機器の制御、監視カメラにおける被写体追跡、３Ｄ計測、衝突試験、自動車や飛行機等の運転制御、高度道路交通システム（ITS（Intelligent Transport Systems））、外観検査、ユーザインタフェース、拡張現実感（AR（Augmented Reality））、デジタルアーカイブ、ライフサイエンス等に適用することができる。
【０１８０】
なお、本技術は以下のような構成も取ることができる。
（１）  互いに異なる撮像部において得られる複数の撮像画像のそれぞれの部分画像を統合して１つの合成画像を生成する画像統合部
を備える画像処理装置。
（２）  前記画像統合部は、前記撮像部のそれぞれにおいて、前記撮像画像１フレーム分の露光時間よりも短い互いに同一の期間に得られる前記部分画像を統合する
（１）に記載の画像処理装置。
（３）  前記画像統合部は、前記期間の時間毎に前記部分画像を統合する
（２）に記載の画像処理装置。
（４）  前記撮像部のそれぞれの露光期間は、互いにずれている
（２）または（３）に記載の画像処理装置。
（５）  前記撮像部のそれぞれの前記露光期間は、所定の時間ずつ互いにずれている
（４）に記載の画像処理装置。
（６）  前記所定の時間は、前記撮像画像１フレーム分の露光時間よりも短い時間である
（５）に記載の画像処理装置。
（７）  前記部分画像が得られる前記期間の長さは、前記所定の時間である
（６）に記載の画像処理装置。
（８）  前記所定の時間は、前記撮像画像１フレーム分の露光時間を、前記画像統合部が統合する前記部分画像の数で除算した時間である
（７）に記載の画像処理装置。
（９）  前記画像統合部は、前記撮像画像における位置が互いに異なる複数の前記部分画像を統合する
（４）乃至（８）のいずれかに記載の画像処理装置。
（１０）  前記撮像部のそれぞれの露光期間は、互いに同一の期間である
（２）乃至（９）のいずれかに記載の画像処理装置。
（１１）  前記画像統合部は、前記撮像画像における位置が互いに同一の複数の前記部分画像を統合する
（１０）に記載の画像処理装置。
（１２）  前記撮像部の露光期間は、一部の撮像部間で互いに同一の期間であり、他の一部の撮像部間で互いにずれている
（２）乃至（１１）のいずれかに記載の画像処理装置。
（１３）  前記画像統合部は、前記撮像画像における位置が互いに同一の複数の前記部分画像と、前記撮像画像における位置が前記複数の部分画像のいずれかと異なる前記部分画像とを統合する
（１２）に記載の画像処理装置。
（１４）  前記部分画像に対して、前記部分画像が得られる前記撮像部の位置に応じた位置補正を行う位置補正部をさらに備える
（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）  前記画像統合部により生成される前記合成画像を用いて、前記合成画像内の注目被写体の追尾に関する処理を行う追尾処理部をさらに備える
（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）  前記追尾処理部により得られた前記注目被写体の追尾結果に関する情報を用いて、所定の物理的運動を行う作動部の制御に関する処理を行う処理実行部をさらに備える
（１５）に記載の画像処理装置。
（１７）  前記画像統合部により生成される前記合成画像を用いて、前記合成画像に含まれる被写体までの奥行きに関する情報である奥行き情報を生成する奥行き情報生成部をさらに備える
（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８）  前記奥行き情報生成部により生成される前記奥行き情報に対して、前記奥行き情報が得られる前記撮像部の位置に応じた位置補正を行う位置補正部をさらに備える
（１７）に記載の画像処理装置。
（１９）  前記複数の撮像部をさらに備える
（１）乃至（１８）のいずれかに記載の画像処理装置。
（２０）  互いに異なる撮像部において得られる複数の撮像画像のそれぞれの部分画像を統合して１つの合成画像を生成する
画像処理方法。
【符号の説明】
【０１８１】
１００  画像処理装置，  １１１  イメージセンサ，  １１２  位置補正部，  １１３  データ統合部，  １１４  GPU，  １２１  トラッキング処理部，  １３１  制御部，  １３２  アクチュエータ，  １４１  画像処理装置，  １４２  撮像装置，  １４３  画像処理装置，  １４４  制御装置，  １７１  撮像画像，  １７２および１７３  短冊データ，  １８１  被写体，  １８２  撮像画像，  １８３  短冊データ，  １８４  統合データ，  １８５  撮像画像，  １８６  短冊データ，  １８７  統合データ，  １９１  ボール，  １９５  ロボット，  ２００  画像処理装置，  ２１１  ステレオマッチング処理部，  ２１２  位置補正部，  ２２１  ３Ｄ画像生成部，  ２３１  画像処理装置，  ２３２  撮像装置，  ２３３  画像処理装置，  ２５１  撮像画像，  ２５２および２５３  短冊データ，  ２６１  被写体，  ２６２  撮像画像，  ２６３  短冊データ，  ２６４  統合データ，  ２６５  撮像画像，  ２６６  短冊データ，  ２６７  統合データ，  ２７１  デプスマップ，  ８００  コンピュータ
【図１】
2016199593.tif 000003
【図２】
2016199593.tif 000004
【図３】
2016199593.tif 000005
【図４】
2016199593.tif 000006
【図５】
2016199593.tif 000007
【図６】
2016199593.tif 000008
【図７】
2016199593.tif 000009
【図８】
2016199593.tif 000010
【図９】
2016199593.tif 000011
【図１０】
2016199593.tif 000012
【図１１】
2016199593.tif 000013
【図１２】
2016199593.tif 000014
【図１３】
2016199593.tif 000015
【図１４】
2016199593.tif 000016
【図１５】
2016199593.tif 000017
【図１６】
2016199593.tif 000018
【図１７】
2016199593.tif 000019
【図１８】
2016199593.tif 000020
【図１９】
2016199593.tif 000021
【国際調査報告】
2016199593.tif 000022
2016199593.tif 000023
2016199593.tif 000024
2016199593.tif 000025