(57)【要約】【課題】各カメラの撮像条件の設定のズレを防止する。【解決手段】コマンド送信部４Ｃは、各カメラ１、２のＮ番目のフレームのうち、最も遅れて受信したフレームの開始点の検出後であって、各カメラ１、２のＮ＋１番目のフレームのうち、最も進んで受信したフレームの開始点の検出前に設定コマンドＭＤを各カメラ１、２に一斉に送信し、各カメラ１、２のＮ番目のフレームのうち、最も遅れて受信したフレームの開始点の検出前であって、最も進んで受信したフレームの開始点の検出後には、設定コマンドＭＤの送信を保留する。【選択図】図１
2017055185.tif 000002
【特許請求の範囲】
【請求項１】
撮像データがフレームごとに区分けられたフレームデータをＭ（Ｍは２以上の整数）台のカメラから受信するデータ受信部と、
前記フレームの開始点を前記カメラごとに監視するフレーム監視部と、
前記フレームの開始点の検出結果に基づいて、前記カメラの撮像条件を設定する設定コマンドを前記Ｍ台のカメラに一斉に送信するコマンド送信部とを備える同期制御装置。
【請求項２】
前記コマンド送信部は、各カメラのＮ（Ｎは正の整数）番目のフレームのうち、最も遅れて受信したフレームの開始点の検出後に前記設定コマンドを前記Ｍ台のカメラに一斉に送信する請求項１に記載の同期制御装置。
【請求項３】
前記コマンド送信部は、各カメラのＮ（Ｎは正の整数）番目のフレームのうち、最も遅れて受信したフレームの開始点の検出後であって、各カメラのＮ＋１番目のフレームのうち、最も進んで受信したフレームの開始点の検出前に前記設定コマンドを前記Ｍ台のカメラに一斉に送信する請求項２に記載の同期制御装置。
【請求項４】
前記コマンド送信部は、各カメラのＮ（Ｎは正の整数）番目のフレームのうち、最も遅れて受信したフレームの開始点の検出前であって、最も進んで受信したフレームの開始点の検出後には、前記設定コマンドの送信を保留する請求項３に記載の同期制御装置。
【請求項５】
撮像データをフレーム化して送信可能なＭ（Ｍは２以上の整数）台のカメラと、
前記Ｍ台のカメラから送られる撮像データのフレームの開始点の検出結果に基づいて、前記カメラの撮像条件をＮ（Ｎは正の整数）番目のフレームから反映させる設定コマンドを前記Ｍ台のカメラに一斉に送信する同期制御装置とを備える多眼カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、同期制御装置および多眼カメラに関する。
【背景技術】
【０００２】
多眼カメラでは、各カメラで撮像された画像から、パノラマ画像、ステレオ画像あるいは自分と被写体を合成した合成画像などを生成するものがある。この時、各カメラの撮像動作を同期させるために、各カメラ自身に内部同期機構を持たせたり、ホストから各カメラにコマンドを入力したりする方法がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１５７８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つの実施形態は、各カメラの撮像条件の設定のズレを防止することが可能な同期制御装置および多眼カメラを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一つの実施形態によれば、データ受信部と、フレーム監視部と、コマンド送信部とを備える。データ受信部は、撮像データがフレームごとに区分けられたフレームデータをＭ（Ｍは２以上の整数）台のカメラから受信する。フレーム監視部は、前記フレームの開始点を前記カメラごとに監視する。コマンド送信部は、前記フレームの開始点の検出結果に基づいて、前記カメラの撮像条件を設定する設定コマンドを前記Ｍ台のカメラに一斉に送信する。
【図面の簡単な説明】
【０００６】
【図１】図１は、第１実施形態に係る多眼カメラの概略構成を示すブロック図である。
【図２】図２は、図１の撮像部の構成例を示すブロック図である。
【図３】図３は、カメラが２台ある時のコマンド送信期間における設定コマンドの送信時のタイミングチャートである。
【図４】図４は、カメラが２台ある時のコマンド送信保留期間における設定コマンドの送信時のタイミングチャートである。
【図５】図５は、カメラが３台ある時のコマンド送信期間における設定コマンドの送信時のタイミングチャートである。
【図６】図６は、第１実施形態に係る多眼カメラの同期制御方法を示すフローチャートである。
【図７】図７は、図１のフレームデータの構成例を示す図である。
【図８】図８は、第２実施形態に係る多眼カメラに適用されるデジタルカメラの概略構成を示すブロック図である。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態に係る同期制御装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００８】
（第１実施形態）
図１は、第１実施形態に係る多眼カメラの概略構成を示すブロック図である。
図１において、多眼カメラには、カメラ１、２およびレシーバ４が設けられている。各カメラ１、２は撮像を行うとともに、撮像処理された撮像データをフレーム化して送信することができる。レシーバ４は、フレーム化された撮像データを各カメラ１、２から受信したり、各カメラ１、２の撮像条件の設定を指示したりすることができる。レシーバ４は、プロセッサであってもよいし、ホストコンピュータであってもよい。各カメラ１、２の撮像条件は、例えば、露光時間（例えば、長時間露光または短時間露光）、ビニングによる圧縮、画角および倍率などを挙げることができる。また、ガンマ補正、ホワイトバランス補正、輪郭強調およびカラーマトリクス補正などであってもよい。
各カメラ１、２には、撮像部１Ａ、２Ａおよびインターフェース部１Ｂ、２Ｂ、内部同期駆動部１Ｃ、２Ｃがそれぞれ設けられている。各撮像部１Ａ、２Ａは、撮像条件に従って撮像および撮像処理を行うことができる。インターフェース部１Ｂ、２Ｂは、各撮像部１Ａ、２Ａで生成された撮像データをフレームごとに区分けしたフレームデータＦＤ１、ＦＤ２をレシーバ４に送信することができる。また、各インターフェース部１Ｂ、２Ｂは撮像条件の設定を指示する設定コマンドＭＤをレシーバ４から受信することができる。各内部同期駆動部１Ｃ、２Ｃは、撮像部１Ａ、２Ａおよびインターフェース部１Ｂ、２Ｂをそれぞれ動作させる同期信号ＣＬＫ１、ＣＬＫ２を生成することができる。各内部同期駆動部１Ｃ、２Ｃは、ＰＬＬ回路またはＤＬＬ回路を用いるようにしてもよい。
レシーバ４には同期制御部４Ｄが設けられ、同期制御部４Ｄには、データ受信部４Ａ、フレーム監視部４Ｂおよびコマンド送信部４Ｃが設けられている。同期制御部４Ｄは、各カメラ１、２から送られる撮像データのフレームの開始点の検出結果に基づいて、各カメラ１、２の撮像条件をＮ（Ｎは正の整数）番目のフレームから反映させる設定コマンドＭＤをカメラ１、２に一斉に送信することができる。データ受信部４Ａは、撮像データがフレームごとに区分けられたフレームデータＦＤ１、ＦＤ２を各カメラ１、２から受信することができる。フレーム監視部４Ｂは、フレームの開始点をカメラ１、２ごとに監視することができる。コマンド送信部４Ｃは、フレームの開始点の検出結果に基づいて、カメラ１、２の撮像条件を設定する設定コマンドＭＤをカメラ１、２に一斉に送信することができる。
【０００９】
そして、各撮像部１Ａ、２Ａにて撮像された撮像データはインターフェース部１Ｂ、２Ｂにてそれぞれフレーム化される。この時、各インターフェース部１Ｂ、２Ｂは、各同期信号ＣＬＫ１、ＣＬＫ２を基準にフレーム化のタイミングをそれぞれ設定することができる。そのフレーム化されたフレームデータＦＤ１、ＦＤ２は、各カメラ１、２からレシーバ４に送られる。レシーバ４では、各フレームデータＦＤ１、ＦＤ２に含まれる撮像データがフレームごとに合成されることで、ステレオ画像、パノラマ画像、自分と被写体の合成画像などが生成される。ここで、各カメラ１、２における撮像条件を変更する場合、設定コマンドＭＤがレシーバ４から各カメラ１、２に一斉に送信される。そして、各カメラ１、２では、設定コマンドＭＤに基づいて撮像条件を変更され、撮像が行われる。この時、同期制御部４Ｄでは、設定コマンドＭＤで指定された撮像条件が各カメラ１、２のＮ番目のフレームから反映されるように、設定コマンドＭＤの送信タイミングが設定される。このような送信タイミングを設定するために、コマンド送信部４Ｃは、各カメラ１、２のＮ番目のフレームのうち、最も遅れて受信したフレームの開始点の検出後であって、各カメラ１、２のＮ＋１番目のフレームのうち、最も進んで受信したフレームの開始点の検出前に設定コマンドＭＤを各カメラ１、２に一斉に送信する。また、コマンド送信部４Ｃは、各カメラ１、２のＮ番目のフレームのうち、最も遅れて受信したフレームの開始点の検出前であって、最も進んで受信したフレームの開始点の検出後には、設定コマンドＭＤの送信を保留する。
これにより、同期信号ＣＬＫ１、ＣＬＫ２をそれぞれ生成するＰＬＬ回路のロックアップ時間のバラツキなどにより、各フレームデータＦＤ１、ＦＤ２のフレーム化のタイミングにズレが発生する場合においても、各カメラ１、２のＮ番目のフレームから撮像条件の変更を反映させることができる。このため、各カメラ１、２間で撮像条件の変更が反映されるフレームの番号がずれるのを防止することができ、各カメラ１、２から送られた撮像データに基づいて合成された合成画像に違和感が発生するのを防止することが可能となる。
【００１０】
図２は、図１の撮像部の構成例を示すブロック図である。
図２において、各撮像部１Ａ、２Ａには、レンズ２１、センサ部２２、ＡＤ変換部２３、ラインメモリ２４、２９、３６、傷補正部２５、ノイズキャンセル部２６、レンズシェーディング補正部２７、デジタルアンプ２８、画素補間部３０、カラーマトリクス部３１、ホワイトバランス／ゲイン調整部３２、バンドパスフィルタ３３、ガンマ補正部３４、ＹＵＶ変換部３５および輪郭強調部３７が設けられている。なお、撮像部１Ａの各ブロックは同期信号ＣＬＫ１に同期して動作することができる。撮像部２Ａの各ブロックは同期信号ＣＬＫ２に同期して動作することができる。レンズ２１は、センサ部２２に入射される光を集光する。センサ部２２は被写体を画素ごとに光電変換し、画素信号を生成する。ＡＤ変換部２３はセンサ部２２から出力された画素信号をデジタル値に変換する。ラインメモリ２４は、画素から読み出された画素信号をラインごとに保持する。傷補正部２５は、画素の傷が修復されるように画素から読み出された画素信号を補正する。ノイズキャンセル部２６は、画素から読み出された画素信号のフィルタリングを行う。レンズシェーディング補正部２７は、レンズ２１のケラレによる周辺部の光量の減衰を補償する。デジタルアンプ２８は、画素から読み出された画素信号を増幅する。ラインメモリ２９は、デジタルアンプ２８で増幅された画素信号をラインごとに保持する。画素補間部３０は、周辺画素の画素信号に基づいて画素信号を補間する。カラーマトリクス部３１は、ＲＧＢ信号に対するマトリクス演算に基づいて画素信号の色調整を行う。ホワイトバランス／ゲイン調整部３２は、画素から読み出された画素信号のホワイトバランスおよびゲインを調整する。バンドパスフィルタ３３は、デジタルアンプ２８で増幅された画素信号から所定の周波数帯を抽出する。ガンマ補正部３４は、画素信号のガンマ補正を行う。ＹＵＶ変換部３５は、ＲＧＢ信号をＹＵＶ信号に変換する。輪郭強調部３７は画素信号の輪郭強調を行う。
【００１１】
そして、レンズ２１を介してセンサ部２２に光が入射することにより撮像が行われる。そして、画素から読み出された画素信号はＡＤ変換部２３にてデジタル値に変換され、ラインメモリ２４に保持される。そして、傷補正部２５およびノイズキャンセル部２６において、ラインメモリ２４に保持された画素信号に基づいて、画素から読み出された画素信号の傷補正およびノイズキャンセルが行なわれる。そして、デジタルアンプ２８において、画素信号が増幅された後、ラインメモリ２９に保持される。そして、画素補間部３０において、ラインメモリ２９に保持された画素信号に基づいて、画素信号が補間された後、カラーマトリクス部３１において、画素信号の色調整が行われる。さらに、ガンマ補正部３４において、画素信号のガンマ補正が行われた後、ＹＵＶ変換部３５において、ＲＧＢ信号がＹＵＶ信号に変換され、ラインメモリ３６に保持される。そして、ＵＶ信号はラインメモリ３６を介して出力される。Ｙ信号については、バンドパスフィルタ３３において、ラインメモリ２９に保持された画素信号から所定の周波数帯が抽出される。そして、輪郭強調部３７において、バンドパスフィルタ３３にて抽出された信号に基づいて輪郭強調が行われ、Ｙ信号として出力される。また、ホワイトバランス／ゲイン調整部３２において、カラーマトリクス部３１にて色調整された画素信号のホワイトバランスおよびゲインが調整され、その調整結果が画素信号に反映されるようにデジタルアンプ２８に指示される。
【００１２】
ここで、撮影モードや撮影シーンによっては、各撮像部１Ａ、２Ａの各ブロックにおける信号処理を省略することができる。例えば、オートフォーカス動作時またはプレビュー動作時において高画質化の要請が低い場合には、画質調整に関するブロックでの処理を省略することができる。また、静止画撮影時において高画質化の要請が高い場合には、画質調整に関するブロックでの処理を省略しないようにすることができる。あるいは、消費電力を抑えながら長時間撮像動作を行わせる場合には、各撮像部１Ａ、２Ａの各ブロックにおける信号処理を省略することができる。また、センサ部２２は、解像度を変更したり、感度を上げたり、高速読み出しを行ったり、ダイナミックレンジを上げたりするために、露光時間を変更したり、ビニングを行ったりすることができる。各撮像部１Ａ、２Ａの各ブロックにおける処理の設定は、レシーバ４から送信される設定コマンドＭＤに従って変更することができる。
【００１３】
図３は、カメラが２台ある時のコマンド送信期間における設定コマンドの送信時のタイミングチャートである。
図３において、レシーバ４から各カメラ１、２に起動コマンドＫＤが送られると、各カメラ１、２が起動され、フレーム番号が１のフレームから順次各カメラ１、２からレシーバ４にフレームデータＦＤ１、ＦＤ２が送られる。そして、フレーム監視部４Ｂにおいて、各フレームの受信タイミングが監視され、各カメラ１、２のＮ番目のフレームのうち、最も遅れて受信したフレームの開始点の検出後であって、各カメラ１、２のＮ＋１番目のフレームのうち、最も進んで受信したフレームの開始点の検出前の期間がコマンド送信期間ＴＥに設定される。また、各カメラ１、２のＮ番目のフレームのうち、最も遅れて受信したフレームの開始点の検出前であって、最も進んで受信したフレームの開始点の検出後の期間がコマンド送信保留期間ＴＨに設定される。
【００１４】
例えば、カメラ２はカメラ１よりもフレームの送信タイミングが遅れているものとする。この時、カメラ２のＮ番目のフレームの開始点の検出後であって、カメラ１のＮ＋１番目のフレームの開始点の検出前の期間がコマンド送信期間ＴＥに設定される。また、カメラ２のＮ番目のフレームの開始点の検出前であって、カメラ１のＮ番目のフレームの開始点の検出後の期間がコマンド送信保留期間ＴＨに設定される。なお、各カメラ１、２では、各フレームの開始点にフレームスタートパケットＦＳを付加することができる。このため、フレーム監視部４Ｂは、フレームスタートパケットＦＳを検出することで各フレームの開始点の受信タイミングを検出することができる。
そして、各カメラ１、２に設定コマンドＭＤを送る場合、その送信タイミングが、カメラ２のＮ番目のフレームの開始点の検出後のコマンド送信期間ＴＥに設定される。この時、各カメラ１、２ではＮ＋１番目のフレームから撮像条件の変更を反映させることができ、撮像条件の変更が反映されるフレームの番号を一致させることができる。
【００１５】
図４は、カメラが２台ある時のコマンド送信保留期間における設定コマンドの送信時のタイミングチャートである。
図４において、設定コマンドＭＤの送信タイミングが、コマンド送信保留期間ＴＨに設定されたものとする。この時、カメラ１ではＮ＋１番目のフレームから撮像条件の変更が反映され、カメラ２ではＮ番目のフレームから撮像条件の変更が反映される。このため、各カメラ１、２間において撮像条件の変更が反映されるフレームの番号がずれる。このような事態を防止するため、レシーバ４は、コマンド送信保留期間ＴＨでは設定コマンドＭＤの送信を保留する。
【００１６】
図５は、カメラが３台ある時のコマンド送信期間における設定コマンドの送信時のタイミングチャートである。
図５において、レシーバ４から各カメラ１〜３に設定コマンドＭＤが送れるものとする。この時、例えば、カメラ２はカメラ１よりもフレームの送信タイミングが遅れ、カメラ３はカメラ２よりもフレームの送信タイミングが遅れているものとする。この時、カメラ３のＮ番目のフレームの開始点の検出後であって、カメラ１のＮ＋１番目のフレームの開始点の検出前の期間がコマンド送信期間ＴＥに設定される。
【００１７】
図６は、第１実施形態に係る多眼カメラの同期制御方法を示すフローチャートである。
図６において、レシーバ４にてフレームデータＦＤ１、ＦＤ２が受信される（Ｓ１）。そして、同一番号の最も遅れて受信したフレームかどうかが判定される（Ｓ２）。そして、コマンド送信期間ＴＥ内であれば（Ｓ３）、設定コマンドＭＤがレシーバ４から送信され（Ｓ５）、コマンド送信期間ＴＥ内でなければ（Ｓ３）、設定コマンドＭＤの送信がレシーバ４にて保留される（Ｓ４）。
【００１８】
図７は、図１のフレームデータの構成例を示す図である。なお、図７の例では、ＣＳＩ−２（Ｃａｍｅｒａ  Ｓｅｒｉａｌ  Ｉｎｔｅｒｆａｃｅ  ２）という規格に準拠した場合を示した。
図７において、撮像データＤＡがフレーム化される場合、各ラインごとにパケットヘッダＰＨが先頭に付加される。パケットヘッダＰＨには、識別子ＩＤ、ワードカウンタＷＣおよびエラー訂正符号ＥＣＣが格納される。ワードカウンタＷＣは、１ラインに画素がいくつあるかを示すことができる。また、各フレームの先頭には、フレームスタートパケットＦＳが付加され、各フレームの最後尾には、フレームエンドパケットＦＥが付加される。フレームスタートパケットＦＳおよびフレームエンドパケットＦＥには、識別子ＩＤ、フレームカウンタＦＣおよびエラー訂正符号ＥＣＣがそれぞれ格納される。フレームカウンタＦは、自分のフレームが何フレーム目を示すことができる。
【００１９】
（第２実施形態）
図８は、第２実施形態に係る多眼カメラに適用されるデジタルカメラの概略構成を示すブロック図である。
図８において、デジタルカメラ１１は、カメラモジュール１２および後段処理部１３を有する。カメラモジュール１２は、撮像光学系１４および固体撮像装置１５を有する。後段処理部１３は、イメージシグナルプロセッサ（ＩＳＰ）１６、記憶部１７及び表示部１８を有する。なお、カメラモジュール１２は、図１の各撮像部１Ａ、２Ａに用いることができる。図１のインターフェース部１Ｂ、２Ｂの機能は、ＩＳＰ１６に持たせることができる。また、ＩＳＰ１６の少なくとも一部の構成は固体撮像装置１５とともに１チップ化するようにしてもよい。
【００２０】
撮像光学系１４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置１５は、被写体像を撮像する。ＩＳＰ１６は、固体撮像装置１５での撮像により得られた画像信号を信号処理する。記憶部１７は、ＩＳＰ１６での信号処理を経た画像を格納する。記憶部１７は、ユーザの操作等に応じて、表示部１８へ画像信号を出力する。表示部１８は、ＩＳＰ１６あるいは記憶部１７から入力される画像信号に応じて、画像を表示する。表示部１８は、例えば、液晶ディスプレイである。なお、カメラモジュール１２は、デジタルカメラ１１以外にも、例えばカメラ付き携帯端末等の電子機器に適用するようにしてもよい。
【００２１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００２２】
１、２  カメラ、１Ａ、２Ａ  撮像部、１Ｂ、２Ｂ  インターフェース部、１Ｃ、２Ｃ  内部同期駆動部、４  レシーバ、４Ａ  データ受信部、４Ｂ  フレーム監視部、  ４Ｃ  コマンド送信部、４Ｄ  同期制御部
【図１】
2017055185.tif 000003
【図２】
2017055185.tif 000004
【図３】
2017055185.tif 000005
【図４】
2017055185.tif 000006
【図５】
2017055185.tif 000007
【図６】
2017055185.tif 000008
【図７】
2017055185.tif 000009
【図８】
2017055185.tif 000010