(57)【要約】【課題】複数の処理部により並列に動画を処理する際に、それぞれの映像パスの露出や色の現像設定を同じフレームに対して行うようにする。【解決手段】任意の映像同期信号を生成する複数の映像同期信号生成手段と、前記複数の映像同期信号生成手段により生成された映像同期信号に同期した映像信号を各々出力する映像信号出力手段と、前記映像信号出力手段により出力された映像信号の任意のフレームに対して、予め定められたパラメータデータを設定することにより現像処理を施して出力する複数のカメラ信号処理手段と、前記複数のカメラ信号処理手段とカメラ信号処理手段との間で前記パラメータデータを授受する通信手段と、前記カメラ信号処理手段とカメラ信号処理手段との間の通信にかかる時間を計算する通信遅延計算手段と、前記通信遅延計算手段により計算された時間を遅延させて前記パラメータデータを設定するパラメータ遅延設定手段とを備える。【選択図】図３
2016178456.tif 000002
【特許請求の範囲】
【請求項１】
任意の映像同期信号を生成する複数の映像同期信号生成手段と、
前記複数の映像同期信号生成手段により生成された映像同期信号に同期した映像信号を各々出力する映像信号出力手段と、
前記映像信号出力手段により出力された映像信号の任意のフレームに対して、予め定められたパラメータデータを設定することにより現像処理を施して出力する複数のカメラ信号処理手段と、
前記複数のカメラ信号処理手段とカメラ信号処理手段との間で前記パラメータデータを授受する通信手段と、
前記カメラ信号処理手段とカメラ信号処理手段との間の通信にかかる時間を計算する通信遅延計算手段と、
前記通信遅延計算手段により計算された時間を遅延させて前記パラメータデータを設定するパラメータ遅延設定手段と、
を備え、
前記通信手段により授受した前記パラメータデータを各前記カメラ信号処理手段で設定する際、送信元のカメラ信号処理手段は、前記パラメータ遅延設定手段により前記パラメータデータを遅延させて設定することを特徴とする信号処理装置。
【請求項２】
前記通信遅延計算手段は、
前記通信手段における送信及び受信処理を等間隔の決まった同期タイミングで行う同期通信手段と、
前記同期通信手段により通信にかかる時間を、同期時間を整数倍することで算出した値を取得する遅延同期時間取得手段と、
前記同期通信手段により通信にかかる時間を、同期時間を単位とした場合に何回分に当たるかを算出し、その同期回数値を取得する遅延同期回数取得手段と、
前記通信手段において前記カメラ信号処理手段とカメラ信号処理手段との間で実際に任意のデータを順に送信することで通信時間を実際に算出する実通信時間取得手段と、
予め通信にかかる時間をテーブルデータとして保存し、その値を取得する遅延情報テーブル値取得手段と、
を備え、
前記遅延同期時間取得手段、遅延同期回数取得手段、実通信時間取得手段、或いは遅延情報テーブル値取得手段のうち何れかを用いて遅延時間を算出することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記パラメータデータは、
絞り設定値、シャッタ設定値、ガンマ設定値、コントラスト設定値、ニー・アパーチャー設定値、色相設定値、ホワイトバランス設定値、ノイズリダクション設定値とを備え、
前記設定値の何れか複数の設定値、或いは全ての設定値から構成されることを特徴とする請求項１または２に記載の信号処理装置。
【請求項４】
前記通信手段は、前記カメラ信号処理手段とカメラ信号処理手段との間を、バス、シリアル通信、有線ＬＡＮ通信、無線通信のうち何れかで接続することを特徴とする請求項１〜３の何れか１項に記載の信号処理装置。
【請求項５】
任意の映像同期信号を生成する複数の映像同期信号生成工程と、
前記複数の映像同期信号生成工程において生成された映像同期信号に同期した映像信号を各々出力する映像信号出力工程と、
前記映像信号出力工程において出力された映像信号の任意のフレームに対して、予め定められたパラメータデータを設定することにより現像処理を施して出力する複数のカメラ信号処理工程と、
前記複数のカメラ信号処理工程とカメラ信号処理工程との間で前記パラメータデータを授受する通信工程と、
前記カメラ信号処理工程とカメラ信号処理工程との間の通信にかかる時間を計算する通信遅延計算工程と、
前記通信遅延計算工程において計算された時間を遅延させて前記パラメータデータを設定するパラメータ遅延設定工程と、
を備え、
前記通信工程において授受した前記パラメータデータを各前記カメラ信号処理工程で設定する際、送信元のカメラ信号処理工程は、前記パラメータ遅延設定工程において前記パラメータデータを設定することを特徴とする信号処理方法。
【請求項６】
任意の映像同期信号を生成する複数の映像同期信号生成工程と、
前記複数の映像同期信号生成工程において生成された映像同期信号に同期した映像信号を各々出力する映像信号出力工程と、
前記映像信号出力工程において出力された映像信号の任意のフレームに対して、予め定められたパラメータデータを設定することにより現像処理を施して出力する複数のカメラ信号処理工程と、
前記複数のカメラ信号処理工程とカメラ信号処理工程との間で前記パラメータデータを授受する通信工程と、
前記カメラ信号処理工程とカメラ信号処理工程との間の通信にかかる時間を計算する通信遅延計算工程と、
前記通信遅延計算工程において計算された時間を遅延させて前記パラメータデータを設定するパラメータ遅延設定工程とをコンピュータに実行させ、
前記通信工程において授受した前記パラメータデータを各前記カメラ信号処理工程で設定する際、送信元のカメラ信号処理工程は、前記パラメータ遅延設定工程において前記パラメータデータを設定するようコンピュータを制御することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は信号処理装置及び信号処理方法に関し、特に、複数の処理回路により映像信号を処理する装置に関する。
【背景技術】
【０００２】
従来、動画を撮影して記録するカメラが知られている。また、カメラでは、撮影した動画をメモリカードなどの記録媒体に記録するだけでなく、ＳＤＩやＨＤＭＩ（登録商標）等の伝送路を介して外部の表示装置や記録装置に出力する機能や、内蔵の液晶パネル等の表示部に表示する機能を備えている。
【０００３】
ところで、撮影した動画を外部の表示装置や記録装置に出力するカメラにおいては、出力先により扱う動画の形式が異なるので、それぞれの出力先に適した形式に動画を変換して出力する必要がある。また、動画を記録媒体に記録しながら、外部の装置に出力する装置も提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０３６４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年では、カメラで扱う動画の画面サイズ（画素数）やフレームレートが高くなっている。そのため、複数の信号処理ＬＳＩを備え、各ＬＳＩにより表示用、記録用、外部出力用の動画処理することが考えられる。
【０００６】
しかしながら、このように複数の処理回路により並列に動画を生成し、記録と外部出力とを行う場合、それぞれの処理回路は独立して処理を行うことになる。この時、露出や色制御といった現像処理におけるパラメータ設定値を、互いに同じフレームで変更しなければ、それぞれの画像がフレーム単位で異なってしまう問題点がある。
本発明は前述の問題点に鑑み、複数の処理回路により並列に動画を処理する際に、それぞれの映像パスの露出や色の現像設定を同じフレームに対して行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の信号処理装置は、任意の映像同期信号を生成する複数の映像同期信号生成手段と、前記複数の映像同期信号生成手段により生成された映像同期信号に同期した映像信号を各々出力する映像信号出力手段と、前記映像信号出力手段により出力された映像信号の任意のフレームに対して、予め定められたパラメータデータを設定することにより現像処理を施して出力する複数のカメラ信号処理手段と、前記複数のカメラ信号処理手段とカメラ信号処理手段との間で前記パラメータデータを授受する通信手段と、前記カメラ信号処理手段とカメラ信号処理手段との間の通信にかかる時間を計算する通信遅延計算手段と、前記通信遅延計算手段により計算された時間を遅延させて前記パラメータデータを設定するパラメータ遅延設定手段とを備え、前記通信手段により授受した前記パラメータデータを各前記カメラ信号処理手段で設定する際、送信元のカメラ信号処理手段は、前記パラメータ遅延設定手段により前記パラメータデータを設定することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数の処理回路により並列に動画を処理する際に、複数のカメラ信号処理回路で同時にパラメータ値を設定することが可能となり、それぞれの映像パスの露出や色の現像設定を同じフレームに対して行うことができるようになる。
【図面の簡単な説明】
【０００９】
【図１】複数の処理回路を備えた信号処理装置の基本構成を説明するブロック図である。
【図２】複数の処理回路を備えた信号処理装置の課題を説明する図である。
【図３】本発明の実施形態における信号処理装置の構成例を説明するブロック図である。
【図４】本発明の実施形態における信号処理装置の処理手順を説明するフローチャートである。
【図５】本発明の実施形態における信号処理装置の効果を説明する図である。
【発明を実施するための形態】
【００１０】
＜共通の形態＞
本発明の実施形態では、異なる同期信号を基準とした複数の映像信号が入力される信号処理装置において、撮像素子から入力される映像信号を複数の各出力系から出力される各映像における現像処理を時系列に統一的に制御する方法を示している。以下は、本発明における全ての実施形態に共通となる構成の説明である。
【００１１】
図１は、複数の信号処理回路により映像信号を並列に処理する信号処理装置１００の基本構成例を示すブロック図である。
図１の信号処理装置１００は、信号入出力処理部１０２、信号処理部１１０、信号処理部１２０を有する。
【００１２】
信号入出力処理部１０２は、撮像素子１０１からの映像信号を異なる同期で複数の映像信号出力を行い、かつ外部機器出力装置であるモニタ出力１０７、１１７への出力を行うことができる。
【００１３】
信号処理部１１０、信号処理部１２０は、それぞれカメラ信号処理部１０３、１１３、映像同期信号生成部１０８、１１８、符号化ユニット１０４、１１４、ドライブユニット１０５、１１５を有する。
カメラ信号処理部１０３、１１３は、映像信号の補正や現像を行う。映像同期信号生成部１０８、１１８は、任意の映像同期信号を複数生成する。符号化ユニット１０４、１１４は、映像信号に音声データを重畳させて、所定のフォーマット動画データに変換する。ドライブユニット１０５、１１５は、動画像データをメモリカードなどの記録メディア１０６、１１６に記録する。
信号処理部１１０と信号処理部１２０は、それぞれ一つのＬＳＩ（半導体集積回路）として構成される。
【００１４】
以下、図１の構成の信号処理装置１００の記録時の構成について説明する。
図１において、撮像素子１０１に入射した光は光電変換され、映像同期信号生成部１０８により生成された同期信号に従い、信号入出力処理部１０２において信号のサンプリングとディジタルデータへの変換が行われる。変換されたディジタルデータは、カメラ信号処理部１０３及びカメラ信号処理部１１３へ入力される。カメラ信号処理部１０３とカメラ信号処理部１１３は互いに情報の授受行うための通信部（図示せず）を有している。撮像素子１０１の操作はカメラ信号処理部１０３で行う。
【００１５】
カメラ信号処理部１０３及びカメラ信号処理部１１３において処理された映像信号は、符号化ユニット１０４及び符号化ユニット１１４により、音声データを重畳させて、所定の記録フォーマットの動画データに変換される。変換された動画データは、ドライブユニット１０５及びドライブユニット１１５によって、記録メディア１０６及び記録メディア１１６にそれぞれ供給され、記録される。
もしくは、変換された動画データは、信号入出力処理部１０２に出力され、必要に応じて出力フォーマット変換をされてから、モニタ出力１０７および１１７へ出力される。なお、この出力先はモニタであっても外部記録装置であってもよい。
【００１６】
＜第１の実施形態＞
以下では図２、図３、図４及び図５を参照しながら第１の実施形態について説明する。
図２は、複数の映像パスでそれぞれに現像パラメータを計算、設定する際に、この構成において発生する課題を図示したものである。
映像信号の処理は、映像同期信号２０１及び映像同期信号２１２の周期で露光されたフレーム２２１〜フレーム２２５、及びフレーム２３１〜フレーム２３５を順次現像処理していく。この現像処理は、現像パラメータ計算２０３及び現像パラメータ計算２１３により計算され、その結果を現像パラメータ設定２０４及び現像パラメータ設定２１４にて対応する各フレームへ設定する。
【００１７】
この時、映像同期信号２０１と映像同期信号２１２での設定するパラメータ値を合わせるためには、現像パラメータ計算２０３にて計算された値をカメラ信号処理２４１からカメラ信号処理２５１へ通信する。これにより、フレーム２３４の現像処理は現像パラメータ設定２１６で設定する処理を行うことになる。
【００１８】
映像同期信号２０１に同期した映像において、現像パラメータ計算２０３にて計算された値はフレーム２２２に反映される。しかし、この例では通信にベース同期信号の１周期必要とするため、映像同期信号２１２に同期した映像信号では、同じ値がフレーム２３４に反映され、２フレーム遅延して設定がされてしまう問題点がある。
【００１９】
この問題点を解決するため、図３に示す構成の信号処理装置を用いる。
図３に示す信号処理装置３００の構成は、３０１〜３０８、３１３〜３１８までは図１の１０１〜１０８、１１３〜１１８と同じである。
図３の信号処理装置３００においては、映像同期信号の発生回数をカウントする映像同期信号カウンタ３０９、３１９、カメラ信号処理部３０３、３１３の処理タイミングを生成するベース同期信号生成部３１０、３２０を備えている。
【００２０】
カメラ信号処理部３０３、符号化ユニット３０４、ドライブユニット３０５、映像同期信号生成部３０８、映像同期信号カウンタ３０９及びベース同期信号生成部３１０はＬＳＩ３３０に含まれる。
また、カメラ信号処理部３１３、符号化ユニット３１４、ドライブユニット３１５、映像同期信号生成部３１８、映像同期信号カウンタ３１９及びベース同期信号生成部３２０はＬＳＩ３４０に含まれる。
【００２１】
このように構成された本実施形態の信号処理装置３００の処理手順を、図４に示すフローチャートに従い説明する。
起動直後には、Ｓ４０１において、カメラ信号処理部３０３、３１３間の通信時間を、予め保持しているかを確認する。保持している場合は、Ｓ４０７において通信時間Ｔにその値を設定する。保持していない場合は、Ｓ４０２以降で実際の通信時間を計測する。
【００２２】
Ｓ４０２では、カメラ信号処理部３０３からカメラ信号処理部３１３に対してダミーデータを通信する。
Ｓ４０３では、カメラ信号処理部３０３においてダミーデータ送信と同時にタイマーを利用して時間計測を開始する。
Ｓ４０４では、カメラ信号処理部３１３はデータ受信後にカメラ信号処理部３０３に対してダミーデータを返信する。
Ｓ４０５ではカメラ信号処理部３０３はダミーデータ受信と同時に時間計測を終了し、時間Ｔｒを取得する。
Ｓ４０６では、Ｔ＝Ｔｒ／２、の通信遅延計算式より通信遅延計算処理を行い、通信時間Ｔを算出する。
【００２３】
定常処理においては、Ｓ４１１において、カメラ信号処理部３０３は、現像に必要なパラメータ値を算出する。ここで、カメラ信号処理部３０３が算出するパラメータ値は、現像に必要となる設定の具体的な設定値を指す。パラメータデータの設定値は絞りを設定するための値である絞り設定値、シャッタ速度を設定するための値であるシャッタ設定値、ガンマカーブを設定するための値であるガンマ設定値を含む。また、コントラストを設定するための値であるコントラスト設定値、ニー・アパーチャーを設定するための値であるニー・アパーチャー設定値、色相を設定するための値である色相設定値を含む。さらに、ホワイトバランスを設定するための値であるホワイトバランス設定値、ノイズリダクションを設定するための値であるノイズリダクション設定値を含む。
【００２４】
Ｓ４１２では、カメラ信号処理部３０３は、前述のパラメータ値をカメラ信号処理部３１３へ送信する。
Ｓ４１３では、カメラ信号処理部３０３がパラメータ値の送信を開始するとともに、時間計測を開始する。
Ｓ４１４では、カメラ信号処理部３０３は、通信時間Ｔに達するまで待機する。通信時間Ｔが経過したらＳ４１５に進んで、送信元であるカメラ信号処理部３０３によりパラメータ値を設定する。このように、カメラ信号処理部３０３は、通信時間Ｔを遅延させてパラメータデータを設定するパラメータ遅延設定処理を行う。
【００２５】
Ｓ４１６では、Ｓ４１２で送信されたパラメータ値をカメラ信号処理部３１３で受信し、データ受信が完了するまで待機する。データ受信が完了したらＳ４１７へ進む。
Ｓ４１７では、カメラ信号処理部３１３は、受信したパラメータ値を設定するパラメータ値設定処理をする。
これらの処理の結果、カメラ信号処理部３０３とカメラ信号処理部３１３では同じパラメータ値を同じタイミングで設定することができるようになる。
【００２６】
以上の操作による結果を図５に示す。
図５に付した符号において、５０１〜５０４、５１１〜５１６、５２１〜５２５、５３１〜５３５、５４１、５５１までは、図２の２０１〜２０４、２１１〜２１６、２２１〜２２５、２３１〜２３５、２４１、２５１と同じである。
【００２７】
この例では、通信に費やす時間は、実際にカメラ信号処理５４１から送信してからカメラ信号処理５５１にてデータを利用可能になる時間である。この利用可能になる時間は、ベース同期信号５０２及びベース同期信号５１１の一回分の周期の時間がかかるとして、テーブルデータに予め保存されていることを想定している。
【００２８】
ここで、カメラ信号処理部３０３、３１３間の通信にかかる時間を計算する通信遅延計算処理の一例について簡単に説明する。
カメラ信号処理部３０３の通信部は、等間隔の決まった同期タイミングで同期通信を行い、送信及び受信処理を行う。
カメラ信号処理部３０３は、同期時間を整数倍することで遅延同期時間を算出し、算出した値を取得する遅延同期時間取得処理を行う。
【００２９】
また、カメラ信号処理部３０３は、同期時間を単位とした場合に何回分に当たるかを算出し、その同期回数値を取得する遅延同期回数取得処理を行う。
また、前述したように、カメラ信号処理部３０３、３１３間で実際に任意のデータを順に送信し、その通信時間を２で割ることで片道の通信時間を実際に算出する実通信時間取得処理を行う。
予め通信にかかる時間をテーブルデータとして保持している場合は、テーブルデータからその値を取得する遅延情報テーブル値取得処理を行い、Ｓ４０７で説明したように、通信時間Ｔにその値を設定する。
【００３０】
カメラ信号処理部３０３は、前述した遅延同期時間取得処理、遅延同期回数取得処理、実通信時間取得処理或いは遅延情報テーブル値取得処理のうち、何れかを用いて遅延時間を算出する。
【００３１】
図５の説明に戻る。
現像パラメータ計算５０３により設定された現像パラメータ設定値は、通信時間分遅延させて現像パラメータ設定５０６によりフレーム５２４に設定される。現像パラメータ計算５０３により設定された現像パラメータ設定値は、カメラ信号処理５４１からカメラ信号処理５５１へと送信され、現像パラメータ設定５１６により同じタイミングのフレームであるフレーム５３４に設定される。
【００３２】
＜第２の実施形態＞
第１の実施形態において、カメラ信号処理部同士で行なわれる通信はＩ２ＣやＵＡＲＴのような他のシリアル通信接続であってもよいし、バス接続でアクセスできるならばお互いのメモリを直接バス経由で更新してもよい。
また、構成によって無線通信接続や有線ＬＡＮ通信接続が利用可能であればそれらを使用してもよい。
【００３３】
＜第３の実施形態＞
第１の実施形態において、カメラ信号処理部同士の通信遅延時間は、ベース同期信号周期を利用していたが、図４のＳ４０２〜Ｓ４０６に示すように通信時間を実測して遅延時間を計算し、その計算値に基づいて遅延時間を設定してもよい。
【００３４】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。前述の実施形態の一部を適宜組み合わせてもよい。
【００３５】
（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステムまたは装置に供給する。そして、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３６】
３００  信号処理装置
３０１  撮像素子
３０２  信号入出力処理部
３０３  カメラ信号処理部
３０４  符号化ユニット
３０５  ドライブユニット
３０６  記録メディア
３０７  モニタ出力
３０８  映像同期信号生成部
３０９  映像同期信号カウンタ
３１０  ベース同期信号生成部
３１４  符号化ユニット
３１５  ドライブユニット
３１６  記録メディア
３１７  モニタ出力
３１８  映像同期信号生成部
３１９  映像同期信号カウンタ
３２０  ベース同期信号生成部
３３０  信号処理部（ＬＳＩ）
３４０  信号処理部（ＬＳＩ）
【図１】
2016178456.tif 000003
【図２】
2016178456.tif 000004
【図３】
2016178456.tif 000005
【図４】
2016178456.tif 000006
【図５】
2016178456.tif 000007