(57)【要約】【課題】同期して画像を出力する多眼カメラシステムを、より安価に構成する。【解決手段】複数のメモリは、１のクロック信号に基づいて同期して駆動する複数のCMOSセンサから出力される画像データをそれぞれ保持し、遅延検出回路は、複数のCMOSセンサから出力されるそれぞれの画像データの遅延を検出し、同期信号発生回路は、遅延検出回路により検出された画像データの遅延に基づいて、複数のメモリに保持されているそれぞれの画像データを同時に出力にするように、画像データの出力を複数のメモリに指示する信号を発生する。本技術は、多眼カメラに適用することができる。【選択図】図１
2013048333.tif 000002
【特許請求の範囲】
【請求項１】
１のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理装置。
【請求項２】
複数の前記固体撮像装置に、前記画像データを出力するためのコマンドを同報送出する送出部をさらに備え、
前記検出部は、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出する
請求項１に記載の画像処理装置。
【請求項３】
前記クロック信号を発生する１のクロック信号発生部と、
複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも１のリセット信号発生部とをさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記固体撮像装置は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサとして構成される
請求項１に記載の画像処理装置。
【請求項５】
１のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリを備える画像処理装置の画像処理方法において、
前記画像処理装置が、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、
検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する
ステップを含む画像処理方法。
【請求項６】
複数のカメラと、複数の前記カメラから出力される画像データをそれぞれ同期して、所定の画像処理を行う画像処理装置に出力する画像出力装置とからなる画像処理システムであって、
複数の前記カメラは、
１のクロック信号に基づいて同期して駆動する固体撮像装置
をそれぞれ備え、
前記画像出力装置は、
複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、および画像処理システムに関し、特に、同期して画像を出力する多眼カメラシステムを、より安価に構成することができるようにする画像処理装置、画像処理方法、および画像処理システムに関する。
【背景技術】
【０００２】
従来、複数のカメラから出力される映像信号を同期させる手法として、GenLock方式とフレームシンクロナイザ方式とが知られている。
【０００３】
GenLock方式は、同期信号発生器により出力される基準信号により、複数のカメラを同期運転する手法であり、例えば、ステレオカメラにおいて、複数の撮像素子および信号処理部の駆動とともに、露出時間の算出を同期するようにした技術がある（例えば、特許文献１参照）。
【０００４】
一方、フレームシンクロナイザ方式は、複数のカメラから非同期に出力される映像信号を一旦フレームメモリに保持し、同期信号発生器により出力される基準信号により、それぞれのフレームメモリに保持された映像信号を同時に出力させる手法である。この手法を用いた技術としては、例えば、複数のカメラに撮像された同時刻のフレーム画像を比較して、カメラの健全性を自己診断するようにした画像処理システムが提案されている（例えば、特許文献２参照）。
【０００５】
一般に、GenLock方式のカメラシステムにおいては、基準信号入力用の端子を備えたカメラが用いられるが、このようなカメラは一般的ではないため高価であり、同期運転を行う多眼カメラシステムを構成するのに、コストがかかっていた。
【０００６】
一方、フレームシンクロナイザ方式のカメラシステムにおいては、一般的なカメラを用いることができるので、この点では、GenLock方式のカメラシステムと比較して、コストを抑えることが可能である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−３４１７１９号公報
【特許文献２】特開２００１−２１１４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、フレームシンクロナイザ方式のカメラシステムにおいては、フレームメモリが必要となるので、やはりコストがかかってしまう。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、同期して画像を出力する多眼カメラシステムを、より安価に構成することができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置は、１のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリと、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える。
【００１１】
前記画像処理装置には、複数の前記固体撮像装置に、前記画像データを出力するためのコマンドを同報送出する送出部をさらに設け、前記検出部には、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出させることができる。
【００１２】
前記画像処理装置には、前記クロック信号を発生する１のクロック信号発生部と、複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも１のリセット信号発生部とをさらに設けることができる。
【００１３】
前記固体撮像装置は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサとして構成されるようにすることができる。
【００１４】
本技術の一側面の画像処理方法は、１のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリを備える画像処理装置の画像処理方法であって、前記画像処理装置が、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生するステップを含む。
【００１５】
本技術の一側面の画像処理システムは、複数のカメラと、複数の前記カメラから出力される画像データをそれぞれ同期して、所定の画像処理を行う画像処理装置に出力する画像出力装置とからなる画像処理システムであって、複数の前記カメラが、１のクロック信号に基づいて同期して駆動する固体撮像装置をそれぞれ備え、前記画像出力装置が、複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える。
【００１６】
本技術の一側面においては、複数の固体撮像装置から出力されるそれぞれの画像データの遅延が検出され、検出された画像データの遅延に基づいて、複数のメモリに保持されているそれぞれの画像データを同時に出力するように、画像データの出力を複数のメモリに指示する信号が発生される。
【発明の効果】
【００１７】
本技術の一側面によれば、同期して画像を出力する多眼カメラシステムを、より安価に構成することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本技術を適用した画像処理装置としての撮像装置の一実施の形態の機能構成例を示すブロック図である。
【図２】画像出力同期処理について説明するフローチャートである。
【図３】画像データの遅延の検出について説明する図である。
【図４】メモリをFIFOとした場合の構成について説明する図である。
【図５】本技術を適用した画像処理システムの一実施の形態の機能構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．本技術を適用した撮像装置の構成
２．画像出力同期処理
３．本技術を適用した画像処理システムの構成
【００２０】
＜１．本技術を適用した撮像装置の構成＞
図１は、本技術を適用した画像処理装置としての撮像装置の一実施の形態の構成を示している。
【００２１】
図１の撮像装置１１は、複数の画像を同時に取得し、それらの画像に対して所定の画像処理を施す、いわゆる多眼カメラとして構成される。
【００２２】
図１の撮像装置１１は、レンズ３１−１乃至３１−Ｎ、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサ３２−１乃至３２−Ｎ、リセット信号発生回路３３、クロック信号発生回路３４、制御コマンド送出回路３５、小容量メモリ３６、遅延検出回路３７、同期信号発生回路３８、画像処理部３９、およびCPU４０から構成される。
【００２３】
固体撮像装置としてのCMOSイメージセンサ３２−１乃至３２−Ｎ（以下、CMOSセンサ３２−１乃至３２−Ｎという）はそれぞれ、撮像素子やA/D(Analog/Digital)変換部を含み、基本的にデジタル回路により構成される。CMOSセンサ３２−１乃至３２−Ｎは、レンズ３１−１乃至３１−Ｎからの光を受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。CMOSセンサ３２−１乃至３２−Ｎは、A/D変換の結果得られたデジタルの画像データを小容量メモリ３６−１乃至３６−Ｎに供給する。
【００２４】
また、CMOSセンサ３２−１乃至３２−Ｎは、リセット信号発生回路３３からのリセット信号により同時にリセットされ、クロック信号発生回路３４からのクロック信号により同期して駆動する。
【００２５】
なお、以下において、CMOSセンサ３２−１乃至３２−Ｎを、それぞれ区別する必要がない場合、単に、CMOSセンサ３２といい、撮像装置１１における他の構成についても同様に扱うものとする。
【００２６】
リセット信号発生回路３３は、CMOSセンサ３２をリセットするためのリセット信号を生成し、CMOSセンサ３２に供給する。
【００２７】
クロック信号発生回路３４は、CMOSセンサ３２の駆動を同期させるためのクロック信号を生成し、CMOSセンサ３２に供給する。
【００２８】
制御コマンド送出回路３５は、CMOSセンサ３２とシリアル通信を行うことで、CMOSセンサ３２の動作を制御するための制御コマンドをCMOSセンサ３２に送出する。
【００２９】
小容量メモリ３６（以下、単に、メモリ３６という）は、数バイト程度の容量を有し、CMOSセンサ３２から供給される画像データの一部を保持し、同期信号発生回路３８からの同期信号に応じて、保持している画像データの一部を画像処理部３９に供給する。
【００３０】
遅延検出回路３７は、CMOSセンサ３２−１乃至３２−Ｎからメモリ３６−１乃至３６−Ｎに供給される画像データの遅延を検出する。具体的には、CMOSセンサ３２−１乃至３２−Ｎからメモリ３６−１乃至３６−Ｎに供給される画像データのうち、最も遅延して供給される画像データと、その他の画像データとの遅延量を求め、それら遅延量を表す信号を、同期信号発生回路３８に供給する。
【００３１】
同期信号発生回路３８は、遅延検出回路３７からの信号に応じて、メモリ３６−１乃至３６−Ｎそれぞれに対して、メモリ３６−１乃至３６−Ｎが保持している画像データをそれぞれ同時に出力するよう指示するための同期信号を供給する。また、同期信号発生回路３８は、メモリ３６に対する同期信号を、画像処理部３９にも供給する。
【００３２】
画像処理部３９は、メモリ３６−１乃至３６−Ｎから同時に（同期して）出力された画像データに対して、所定の画像処理を施す。
【００３３】
CPU（Central Processing Unit）４０は、撮像装置１１の各部を制御する。
【００３４】
［CMOSセンサの構成］
ここで、CMOSセンサ３２の構成について説明する。
【００３５】
図１に示されるように、CMOSセンサ３２は、画素アレイ部５１、同期回路５２、およびシリアルI/F（Interface）５３を備えている。
【００３６】
画素アレイ部５１は、マトリクス状に配置された光電変換素子としての画素を有し、そこに入射する光を光電変換することにより、電気信号としての画像データを取得する。
【００３７】
同期回路５２は、例えば、アナログ回路であるPLL（Phase Locked Loop）回路等を含むように構成され、クロック信号発生回路３４からのクロック信号に基づいて、CMOSセンサ３２内の各部の駆動に必要な内部同期信号（クロック信号）を生成し、CMOSセンサ３２内の各部に出力する。
【００３８】
シリアルI/F５３は、制御コマンド送出回路３５からの制御コマンドを受信し、その制御コマンドに対応した命令を、CMOSセンサ３２内の各部に供給する。
【００３９】
＜２．画像出力同期処理＞
次に、図２のフローチャートを参照して、撮像装置１１の画像出力同期処理について説明する。画像出力同期処理は、CMOSセンサ３２−１乃至３２−Ｎから出力される画像データをそれぞれ同期して画像処理部３９に出力する処理である。
【００４０】
なお、CMOSセンサ３２−１乃至３２−Ｎは、リセット信号発生回路３３からのリセット信号により同時にリセットされ、クロック信号発生回路３４からのクロック信号により同期して駆動している。
【００４１】
このような状態で、ユーザによる、図示せぬ操作部に対する操作に応じて、所定の画像処理の実行が指示されると、ステップＳ１１において、制御コマンド送出回路３５は、CPU４０の制御の下、CMOSセンサ３２それぞれに対して、画像出力開始コマンドを同報送出する。
【００４２】
例えば、制御コマンド送出回路３５は、シリアル通信として、I2C（I2C：Inter Integrated Circuit）通信を行うことにより、CMOSセンサ３２それぞれに対して、画像出力開始コマンドを同時刻に送出する。
【００４３】
I2C通信は、主に同一基板上などの近距離に配置されたデバイス間でのデータのやり取りを行うための通信方式である。I2C通信では、ひとつのデバイスをマスタにして、それにスレーブとなるデバイスを複数バス接続することによって、１対多チャンネル間の通信を行うことが可能となる。I2C通信において、マスタとスレーブと間は、SCL（Serial Clock Line）とSDA（Serial Data Line）の２本の信号線だけをバスとして共有して通信を行う。
【００４４】
なお、制御コマンド送出回路３５とCMOSセンサ３２（シリアルI/F５３）との間で行われるシリアル通信は、上述したI2C通信に限らず、SPI（Serial Peripheral Interface）等その他の規格のシリアル通信であってもよい。
【００４５】
このように、制御コマンド送出回路３５からCMOSセンサ３２それぞれに対して画像出力開始コマンドが同報送出されると、CMOSセンサ３２−１乃至３２−Ｎの同期回路５２−１乃至５２−Ｎにより生成される内部同期信号の位相が略一致されるようになり、撮像により得られた画像データが、略同時にメモリ３６−１乃至３６−Ｎに出力される。
【００４６】
しかしながら、上述したように、同期回路５２−１乃至５２−Ｎには、PLL回路等のアナログ回路が含まれており、これらの個体差により、CMOSセンサ３２−１乃至３２−Ｎから出力される画像データ同士の間に、わずかながら位相差を生じる可能性がある。
【００４７】
そこで、ステップＳ１２において、遅延検出回路３７は、CMOSセンサ３２−１乃至３２−Ｎからメモリ３６−１乃至３６−Ｎに出力される画像データの遅延を検出する。
【００４８】
具体的には、例えば、遅延検出回路３７は、CMOSセンサ３２−１乃至３２−Ｎから出力される画像データから、画像の水平方向１ラインのタイミングを表す同期信号（水平同期信号）を抽出することで、CMOSセンサ３２−１乃至３２−Ｎから出力される画像データの遅延を検出し、最も遅延して出力される画像データと、その他の画像データとの位相差を求める。
【００４９】
例えば、撮像装置１１が４つのCMOSセンサ３２−１乃至３２−４を備える４眼カメラとして構成されるものとして、CMOSセンサ３２−１乃至３２−４からメモリ３６−１乃至３６−４に出力される画像データ１乃至４から、図３に示されるような同期信号が抽出されたとする。
【００５０】
図３の例においては、時刻t1に画像データ１から同期信号（立ち下がり）が抽出され、時刻t2に画像データ２から同期信号（立ち下がり）が抽出され、時刻t3に画像データ３から同期信号（立ち下がり）が抽出され、時刻t4に画像データ４から同期信号（立ち下がり）が抽出されている。すなわち、画像データ１が最も早くメモリ３６−１に供給され、画像データ２が２番目に早くメモリ３６−２に供給され、画像データ３が３番目に早くメモリ３６−３に供給され、画像データ４が最も遅くメモリ３６−４に供給されている。
【００５１】
遅延検出回路３７は、最も遅延して出力される画像データ４の同期信号（立ち下がり）を抽出した時刻t4と、画像データ１乃至３の同期信号（立ち下がり）を抽出した時刻t1乃至t3それぞれとの位相差（時間差）を求める。すなわち、位相差t4-t1が、画像データ４と画像データ１との位相差であり、位相差t4-t2が、画像データ４と画像データ２との位相差であり、位相差t4-t3が、画像データ４と画像データ３との位相差となる。この位相差は、上述したように、同期回路５２にそれぞれ含まれるアナログ回路の個体差により生じるものであり、画像の水平方向１ライン分より十分小さい、数ピクセル相当のものに過ぎない。
【００５２】
そして、遅延検出回路３７は、それぞれの位相差、すなわち遅延量を表す信号を、同期信号発生回路３８に供給する。
【００５３】
ステップＳ１３において、同期信号発生回路３８は、遅延検出回路３７からの信号に基づいて、メモリ３６−１乃至３６−Ｎそれぞれに対して、メモリ３６−１乃至３６−Ｎが保持している画像データを出力するための同期信号を供給することで、それぞれの画像データを同時に出力させる。
【００５４】
例えば、同期信号発生回路３８は、図３で説明した画像データ１を位相差t4-t1だけ遅延させ、画像データ２を位相差t4-t2だけ遅延させ、画像データ３を位相差t4-t3だけ遅延させ、画像データ４をそのまま出力するようにする同期信号を、メモリ３６−１乃至３６−４に供給する。これにより、その一部がメモリ３６−１乃至３６−３に保持されている画像データ１乃至３は、最も遅延して出力された画像データ４と同時に、画像処理部３９に出力されるようになる。
【００５５】
なお、このとき、メモリ３６−１乃至３６−３に保持されている画像データ１乃至３のデータ量は、画像データ４がメモリ３６−４に供給されるまでに供給された数ピクセル分程度となる。
【００５６】
また、同期信号発生回路３８は、メモリ３６−１乃至３６−Ｎに供給した同期信号を、画像処理部３９にも供給する。すなわち、撮像装置１１においては、複数の画像データのうちの、最も遅延して出力される画像データの位相（位相信号）を、装置全体の同期信号とすることで、多眼カメラの同期運転が行われる。
【００５７】
以上の処理によれば、同期して駆動するCMOSセンサ３２−１乃至３２−Ｎからメモリ３６−１乃至３６−Ｎに出力される画像データの遅延が検出され、そのうちの最大の遅延に基づいて、メモリ３６−１乃至３６−Ｎに保持されている画像データが出力されるようになる。このとき、画像データの遅延は数ピクセル相当のものであり、メモリ３６に保持される画像データのデータ量も高々数ピクセル分程度の量となる。したがって、従来のフレームシンクロナイザ方式で用いられるフレームメモリのような、大容量のメモリを用意する必要がないので、同期して画像を出力する多眼カメラを、より安価に構成することが可能となる。
【００５８】
具体的には、例えば、従来のフレームシンクロナイザ方式によれば、画像データの解像度がFull HDである場合、約２万（1920×1080）ピクセル分のメモリ容量を必要としたが、本技術の構成によれば、数ピクセル分程度のメモリ容量で済むので、およそ100万分の１オーダーでメモリ容量を削減することができる。
【００５９】
また、従来のフレームシンクロナイザ方式のカメラシステムにおいては、カメラ自体は非同期運転を行うので、映像信号の同時性は保証されなかったが、撮像装置１１においては、CMOSセンサ３２−１乃至３２−Ｎは、制御コマンド送出回路３５からの制御コマンドに基づいて同期運転（駆動）を行うので、映像信号の同時性を、実用上影響のない程度に保つことができる。
【００６０】
なお、上述した処理において検出される遅延は、画像出力開始コマンドが送出されて以降は変化しないので、画像出力同期処理において最初の１回だけ実行されればよく、これ以降は、その検出された遅延に基づいて、画像データが同期されて出力されるようになる。
【００６１】
ところで、上述した撮像装置１１において、メモリ３６をFIFO（First In First Out）として構成するようにしてもよい。
【００６２】
［メモリをFIFOとした構成］
図４は、撮像装置１１において、メモリ３６をFIFOとした場合の撮像装置１１の構成について説明する図である。ここで、撮像装置１１は、４つのCMOSセンサ３２−１乃至３２−４を備える４眼カメラとして構成されるものとする。
【００６３】
図４において、FIFOメモリ１３１−１乃至１３１−４はメモリ３６−１乃至３６−４に、NORゲート１３２は遅延検出回路３７および同期信号発生回路３８にそれぞれ代えて設けられたものである。なお、図４において、レンズ３１、CMOSイメージセンサ３２、リセット信号発生回路３３、クロック信号発生回路３４、制御コマンド送出回路３５、画像処理部３９、およびCPU４０の図示は省略する。
【００６４】
NORゲート１３２は、画像データ１乃至４から抽出される同期信号の立ち下がりをそれぞれラッチし、全ての同期信号が立ち下がったとき、FIFOメモリ１３１−１乃至１３１−４にイネーブル信号を出力する。
【００６５】
これにより、FIFOメモリ１３１に保持されている画像データは、最も遅延して出力された画像データと同時に出力されるようになり、図４の構成においても、図１の撮像装置１１と同様の作用効果を奏することができる。
【００６６】
以上においては、本技術を、多眼カメラとしての撮像装置に適用した構成について説明したが、以下においては、本技術を、複数のカメラ（撮像装置）を有する画像処理システムに適用した構成について説明する。
【００６７】
＜３．本技術を適用した画像処理システムの構成＞
図５は、本技術を適用した画像処理システムの一実施の形態の構成を示している。
【００６８】
図５の画像処理システム２０１は、カメラ２１１−１乃至２１１−Ｎ、画像出力装置２１２、および画像処理装置２１３から構成される。
【００６９】
図５の画像処理システム２０１において、カメラ２１１−１乃至２１１−Ｎは、撮像した画像を画像出力装置２１２に供給し、画像出力装置２１２は、カメラ２１１−１乃至２１１−Ｎからの画像を同時に、画像処理装置２１３に出力する。
【００７０】
カメラ２１１−１乃至２１１−Ｎはそれぞれ、CMOSセンサ２２１−１乃至２２１−Ｎを備えている。なお、CMOSセンサ２２１は、図１のCMOSセンサ３２と同様の機能および構成を有するので、その説明は省略する。
【００７１】
画像出力装置２１２は、リセット信号発生回路２３１、クロック信号発生回路２３２、制御コマンド送出回路２３３、メモリ２３４、遅延検出回路２３５、同期信号発生回路２３６、およびCPU２３７から構成される。なお、リセット信号発生回路２３１乃至CPU２３７は、それぞれ、図１のリセット信号発生回路３３、クロック信号発生回路３４、制御コマンド送出回路３５、メモリ３６、遅延検出回路３７、同期信号発生回路３８、およびCPU４０と同様の機能および構成を有するので、その説明は省略する。
【００７２】
画像処理装置２１３は、画像出力装置２１２から同期して出力された複数の画像に対して、所定の画像処理を施す。
【００７３】
例えば、図５の画像処理システム２０１が、サッカー等のスポーツを中継する多視点カメラシステムに適用される場合、画像処理装置２１３は、オペレータの操作に基づいて、画像出力装置２１２から同期して出力された複数の中継画像を切り替える。
【００７４】
また、図５の画像処理システム２０１が、多視点画像を生成する画像生成システムに適用される場合、画像処理装置２１３は、オペレータの操作に基づいて、画像出力装置２１２から同期して出力された複数の画像を合成し、１つの多視点画像を生成する。
【００７５】
さらに、図５の画像処理システム２０１が、ステレオカメラシステムに適用される場合、画像処理装置２１３は、オペレータの操作に基づいて、２台のカメラ２１１−１，２１１−２により撮像され、画像出力装置２１２から同期して出力された２枚の画像に基づいて、被写体までの距離を算出する。
【００７６】
なお、図５の画像処理システム２０１の画像出力装置２１２による画像出力同期処理については、図２のフローチャートを参照して説明した、図１の撮像装置１１の処理と基本的に同様であるので、その説明は省略する。
【００７７】
すなわち、画像出力装置２１２による画像出力同期処理によれば、同期して駆動するCMOSセンサ２２１−１乃至２２１−Ｎからメモリ２３４−１乃至２３４−Ｎに出力される画像データの遅延が検出され、そのうちの最大の遅延に基づいて、メモリ２３４−１乃至２３４−Ｎに保持されている画像データが出力されるようになる。このとき、画像データの遅延は数ピクセル相当のものであり、メモリ２３４に保持される画像データのデータ量も高々数ピクセル分程度の量となる。したがって、従来のフレームシンクロナイザ方式で用いられるフレームメモリのような、大容量のメモリを用意する必要がないので、同期して画像を出力する多眼カメラシステムを、より安価に構成することが可能となる。
【００７８】
また、従来のフレームシンクロナイザ方式のカメラシステムにおいては、カメラ自体は非同期運転を行うので、映像信号の同時性は保証されなかったが、画像処理システム２０１においては、CMOSセンサ２２１−１乃至２２１−Ｎは、制御コマンド送出回路２３３からの制御コマンドに基づいて同期運転（駆動）を行うので、映像信号の同時性を、実用上影響のない程度に保つことができる。
【００７９】
なお、上述した構成においては、複数のCMOSセンサに対して、１のリセット信号発生回路を設けるようにしたが、複数のCMOSセンサに対して、それぞれのリセット信号発生回路を設けるようにしてもよい。
【００８０】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００８１】
さらに、本技術は以下のような構成をとることができる。
（１）  １のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理装置。
（２）
複数の前記固体撮像装置に、前記画像データを出力するためのコマンドを同報送出する送出部をさらに備え、
前記検出部は、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出する
（１）に記載の画像処理装置。
（３）  前記クロック信号を発生する１のクロック信号発生部と、
複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも１のリセット信号発生部とをさらに備える
（１）または（２）に記載の画像処理装置。
（４）  前記固体撮像装置は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサとして構成される
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  １のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリを備える画像処理装置の画像処理方法において、
前記画像処理装置が、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、
検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する
ステップを含む画像処理方法。
（６）  複数のカメラと、複数の前記カメラから出力される画像データをそれぞれ同期して、所定の画像処理を行う画像処理装置に出力する画像出力装置とからなる画像処理システムであって、
複数の前記カメラは、
１のクロック信号に基づいて同期して駆動する固体撮像装置
をそれぞれ備え、
前記画像出力装置は、
複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理システム。
【符号の説明】
【００８２】
１１  撮像装置，  ３２−１乃至３２−Ｎ，３２  CMOSセンサ，  ３３  リセット信号発生回路，  ３４  クロック信号発生回路，  ３５  制御コマンド送出回路，  ３６−１乃至３６−Ｎ，３６  メモリ，  ３７  遅延検出回路，  ３８  同期信号発生回路，  ２０１  画像処理システム，  ２１１−１乃至２１１−Ｎ，２１１  カメラ，  ２１２  画像出力装置，  ２２１−１乃至２２１−Ｎ，２２１  CMOSセンサ，  ２３１  リセット信号発生回路，  ２３２  クロック信号発生回路，  ２３３  制御コマンド送出回路，  ２３４−１乃至２３４−Ｎ，２３４  メモリ，  ２３５  遅延検出回路，  ２３６  同期信号発生回路
【図１】
2013048333.tif 000003
【図２】
2013048333.tif 000004
【図３】
2013048333.tif 000005
【図４】
2013048333.tif 000006
【図５】
2013048333.tif 000007