(57)【要約】【課題】複数の処理回路により並列に動画を処理している装置で、フレームレートを切り替えた場合に変更直後に異常な画面が出力されるのを防止する。【解決手段】複数の映像同期信号生成手段と、前記複数の映像同期信号生成手段により生成された映像同期信号に同期した映像信号を各々出力する映像信号出力手段により出力される映像信号の基準となる同期信号を別の同期信号に変更する複数の映像同期切替手段と、前記出力される映像信号に対し補正処理及び現像処理を施す複数のカメラ信号処理手段と、前記複数のカメラ信号処理手段の動作基準となる同期信号をそれぞれ生成する複数のベース同期信号生成手段と、前記各複数の同期信号生成手段により生成されるそれぞれの同期信号の位相が次以降に合うタイミングを取得する合致位相取得手段と、前記複数のカメラ信号処理手段とカメラ信号処理手段との間で情報を授受する通信手段とを備える。【選択図】図３
2016178457.tif 000002
【特許請求の範囲】
【請求項１】
任意の映像同期信号を生成する複数の映像同期信号生成手段と、
前記複数の映像同期信号生成手段により生成された映像同期信号に同期した映像信号を各々出力する映像信号出力手段と、
前記映像信号出力手段により出力される映像信号の基準となる同期信号を別の同期信号に変更する複数の映像同期切替手段と、
前記映像信号出力手段により出力される映像信号に対し補正処理及び現像処理を施す複数のカメラ信号処理手段と、
前記複数のカメラ信号処理手段の動作基準となる同期信号をそれぞれ生成する複数のベース同期信号生成手段と、
前記複数のベース同期信号生成手段と前記複数の映像同期信号生成手段により生成されるそれぞれの同期信号の位相が次以降に合うタイミングを取得する合致位相取得手段と、
前記複数のカメラ信号処理手段とカメラ信号処理手段との間で情報を授受する通信手段と、
を備え、
前記合致位相取得手段により取得した同期タイミングの情報を、前記通信手段により各前記カメラ信号処理手段とカメラ信号処理手段との間で授受し、前記複数の映像同期切替手段は、前記同期タイミングに従って映像同期信号を同時に切り替えることを特徴とする信号処理装置。
【請求項２】
前記映像信号出力手段は、
一つの撮像素子から出力される映像信号を入力する映像信号入力手段と、
前記複数の映像同期信号生成手段により生成される同期信号の中から、最も周期の短い同期信号で映像信号が前記映像信号出力手段に入力されるように前記撮像素子を制御する撮像素子制御手段と、
前記映像信号入力手段から入力される映像信号から、フレームを間引くことにより前記映像同期信号生成手段により生成される同期信号に従った映像信号を出力する間引き出力手段と、
を備え、
前記間引き出力手段は、前記複数の映像同期信号生成手段により生成される同期信号それぞれに同期した映像信号を出力することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記合致位相取得手段は、
前記複数のベース同期信号生成手段により生成される同期信号を検出する毎にインクリメントされる複数のベースカウンタと、
前記複数のベース同期信号生成手段と前記複数の映像同期信号生成手段により生成されるそれぞれの同期信号の位相が次以降に合うタイミングを算出し、同期が合致するタイミングのベースカウンタ値を取得する複数の同期カウンタ値取得手段と、
を備え、
前記同期カウンタ値取得手段は、前記複数のベース同期信号生成手段と前記複数の映像同期信号生成手段による各同期信号の位相が次以降に合うベースカウンタ値を、ベース同期信号を検出する毎に取得することを特徴とする請求項１に記載の信号処理装置。
【請求項４】
前記同期カウンタ値取得手段は、前記複数の映像同期信号生成手段により生成されるそれぞれの同期信号の位相が次以降に合うタイミングを算出し、同期が合致するタイミングのベースカウンタ値を取得することを特徴とする請求項３に記載の信号処理装置。
【請求項５】
前記通信手段は、前記カメラ信号処理手段の間を、バス、シリアル通信、有線ＬＡＮ通信、或いは無線通信のうち何れかで接続することを特徴とする請求項１〜４の何れか１項に記載の信号処理装置。
【請求項６】
任意の映像同期信号を生成する複数の映像同期信号生成工程と、
前記複数の映像同期信号生成工程において生成された映像同期信号に同期した映像信号を各々出力する映像信号出力工程と、
前記映像信号出力工程において出力される映像信号の基準となる同期信号を別の同期信号に変更する複数の映像同期切替工程と、
前記映像信号出力工程において出力される映像信号に対し補正処理及び現像処理を施す複数のカメラ信号処理工程と、
前記複数のカメラ信号処理工程の動作基準となる同期信号をそれぞれ生成する複数のベース同期信号生成工程と、
前記複数のベース同期信号生成工程と前記複数の映像同期信号生成工程において生成されるそれぞれの同期信号の位相が次以降に合うタイミングを取得する合致位相取得工程と、
前記複数のカメラ信号処理工程とカメラ信号処理工程との間で情報を授受する通信工程と、
を備え、
前記合致位相取得工程において取得した同期タイミングの情報を、前記通信工程において各前記カメラ信号処理工程とカメラ信号処理工程との間で授受し、前記複数の映像同期切替工程は、前記同期タイミングに従って映像同期信号を同時に切り替えることを特徴とする信号処理方法。
【請求項７】
任意の映像同期信号を生成する複数の映像同期信号生成工程と、
前記複数の映像同期信号生成工程において生成された映像同期信号に同期した映像信号を各々出力する映像信号出力工程と、
前記映像信号出力工程において出力される映像信号の基準となる同期信号を別の同期信号に変更する複数の映像同期切替工程と、
前記映像信号出力工程において出力される映像信号に対し補正処理及び現像処理を施す複数のカメラ信号処理工程と、
前記複数のカメラ信号処理工程の動作基準となる同期信号をそれぞれ生成する複数のベース同期信号生成工程と、
前記複数のベース同期信号生成工程と前記複数の映像同期信号生成工程において生成されるそれぞれの同期信号の位相が次以降に合うタイミングを取得する合致位相取得工程と、
前記複数のカメラ信号処理工程とカメラ信号処理工程との間で情報を授受する通信工程とをコンピュータに実行させ、
前記合致位相取得工程において取得した同期タイミングの情報を、前記通信工程において各前記カメラ信号処理工程とカメラ信号処理工程との間で授受し、前記複数の映像同期切替工程は、前記同期タイミングに従って映像同期信号を同時に切り替えるようコンピュータを制御することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は信号処理装置及び信号処理方法に関し、特に、複数の処理回路により映像信号を処理する装置に関する。
【背景技術】
【０００２】
従来、動画を撮影して記録するカメラが知られている。また、カメラでは、撮影した動画をメモリカードなどの記録媒体に記録するだけでなく、ＳＤＩやＨＤＭＩ(登録商標)等の伝送路を介して外部の表示装置や記録装置に出力する機能や、内蔵の液晶パネル等の表示部に表示する機能を備えている。
ところで、撮影した動画を外部の表示装置に出力するカメラにおいては、出力先により扱う動画の形式が異なるので、それぞれの出力先に適した形式に動画を変換して出力する必要がある。
【０００３】
また、近年では、撮影される動画のフレームレートとして様々な値を設定可能なカメラも登場している。また、動画を記録媒体に記録しながら、外部の装置に出力する装置も提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０３６４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年では、カメラで扱う動画の画面サイズ（画素数）やフレームレートが高くなっている。そのため、複数の信号処理ＬＳＩを備え、各ＬＳＩにより表示用、記録用、外部出力用の動画処理することが考えられる。
【０００６】
しかしながら、このように複数の処理回路により並列に動画を生成し、記録と外部出力とを行う場合、それぞれの処理回路は独立した同期信号で処理を行うことになる。そのため、フレームレートを切り替えた場合に、それぞれの処理回路における処理タイミングがずれてしまい、変更直後に異常な画面が出力されることがある。
本発明は前述の問題点に鑑み、複数の処理回路により並列に動画を処理している装置で、フレームレートを切り替えた場合に変更直後に異常な画面が出力されることを防止することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の信号処理装置は、任意の映像同期信号を生成する複数の映像同期信号生成手段と、前記複数の映像同期信号生成手段により生成された映像同期信号に同期した映像信号を各々出力する映像信号出力手段と、前記映像信号出力手段により出力される映像信号の基準となる同期信号を別の同期信号に変更する複数の映像同期切替手段と、前記映像信号出力手段により出力される映像信号に対し補正処理及び現像処理を施す複数のカメラ信号処理手段と、前記複数のカメラ信号処理手段の動作基準となる同期信号をそれぞれ生成する複数のベース同期信号生成手段と、前記複数のベース同期信号生成手段と前記複数の映像同期信号生成手段により生成されるそれぞれの同期信号の位相が次以降に合うタイミングを取得する合致位相取得手段と、前記複数のカメラ信号処理手段とカメラ信号処理手段との間で情報を授受する通信手段とを備え、前記合致位相取得手段により取得した同期タイミングの情報を、前記通信手段により各前記カメラ信号処理手段とカメラ信号処理手段との間で授受し、前記複数の映像同期切替手段は、前記同期タイミングに従って映像同期信号を同時に切り替えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、異なる同期信号を基準とした複数の映像信号が入力される信号処理装置において、撮像素子から入力される映像信号の画角の変更や、フレームレートの変更が行われても、各々の出力系から異常画が出力されることを防止することができる。
【図面の簡単な説明】
【０００９】
【図１】複数の処理回路を備えた信号処理装置の基本構成を説明するブロック図である。
【図２】複数の処理回路を備えた信号処理装置の課題を説明する図である。
【図３】本発明の実施形態における信号処理装置の構成例を説明するブロック図である。
【図４】本発明の実施形態における信号処理装置の処理手順を説明するフローチャートである。
【図５】本発明の実施形態における信号処理装置の効果を説明する図である。
【発明を実施するための形態】
【００１０】
＜共通の実施形態＞
本実施形態では、複数の処理回路により映像信号を処理する信号処理装置について説明する。以下は、本発明における全ての実施形態に共通となる信号処理装置の構成の説明である。
図１は、複数の処理回路により映像信号を処理する信号処理装置の基本構成例を示すブロック図である。
図１の信号処理装置１００は、信号入出力処理部１０２、信号処理部１１０、１２０を有する。
信号入出力処理部１０２は、撮像素子１０１からの映像信号からそれぞれの信号処理部１１０、１２０による処理に適した形式の映像信号を出力し、各信号処理部からの映像信号を外部モニタ１０７、１１７に出力する。
【００１１】
第１の信号処理部１１０は、カメラ信号処理部１０３、符号化部１０４、記録部１０５を有する。
カメラ信号処理部１０３は、映像信号の補正処理、現像処理やその他必要な処理を行う。符号化部１０４は、映像信号を公知の符号化方式に従って符号化して圧縮する処理を行う。記録部１０５は、映像信号を記録媒体１０６に記録する。記録媒体１０６は、メモリカードなどのランダムアクセスの記録媒体であり、信号処理装置１００に対して容易に装着、排出が可能である。
【００１２】
第２の信号処理部１２０は、カメラ信号処理部１１３、符号化部１１４、記録部１１５を有する。
カメラ信号処理部１１３は、映像信号の補正処理、現像処理やその他必要な処理を行う。符号化部１１４は、映像信号を公知の符号化方式に従って符号化して圧縮する処理を行う。記録部１１５は、映像信号を記録媒体１１６に記録する。記録媒体１１６は、メモリカードなどのランダムアクセスの記録媒体であり、信号処理装置１００に対して容易に装着、排出が可能である。
第１の信号処理部１１０と第２の信号処理部１２０はそれぞれ、一つのＬＳＩ（半導体集積回路）として構成される。
【００１３】
以下、図１を参照しながら信号処理装置１００の記録時の動作について説明する。
図１において、撮像素子１０１により得られた映像信号が、映像信号入力部を介して信号入出力処理部１０２に入力し、信号入出力処理部１０２においてサンプリングとディジタルデータへの変換が行われる。撮像素子１０１は、１画面の画素数が１９２０画素×１０８０画素で、１２０フレーム／秒（ｆｐｓ）の動画データを出力可能であるが、これよりも大きな画素数の動画データを出力する構成としても良い。
図１において、第１の信号処理部１１０により処理可能な映像信号のフレームレートは６０フレーム毎秒（ｆｐｓ）であり、第２の信号処理部１２０により処理可能な映像信号のフレームレートは１２０ｆｐｓである。また、撮像素子１０１により出力される動画のフレームレートは、ユーザが不図示の操作部を操作することにより変更、指示することが可能である。信号入出力処理部１０２は、入力される同期信号の中から、最も周期の短い同期信号で映像信号が信号入出力処理部１０２に対して入力されるよう撮像素子１０１を制御する撮像素子制御処理を行う。
【００１４】
カメラ信号処理部１０３は、ユーザからのフレームレート設定指示に応じて撮像素子１０１により得られる動画のフレームレートを変更する。
信号入出力処理部１０２は、撮像素子１０１からの映像信号のフレームレートが、第１の信号処理部１１０により処理可能なフレームレートよりも大きい場合は、映像信号のフレームレートを６０ｆｐｓに変換してカメラ信号処理部１０３に出力する。
【００１５】
カメラ信号処理部１０３とカメラ信号処理部１１３は互いに情報の授受が可能である。カメラ信号処理部１０３およびカメラ信号処理部１１３において処理された映像信号はそれぞれ符号化部１０４、１１４に送られる。符号化部１０４、１１４は、映像信号と、不図示の音声処理部からの音声信号を符号化し、符号化後の映像信号と音声信号とを多重して出力する。記録部１０５、１１５は、符号化された映像信号と音声信号とを、記録媒体１０６、１１６に記録する。
【００１６】
また、符号化部１０４、１１４は、符号化された映像信号、或いは、符号化される前の映像信号をそれぞれ信号入出力処理部１０２に送る。信号入出力処理部１０２は、符号化部１０４、１１４からの映像信号を外部モニタ１０７、１１７に適した形式に変換して出力する映像信号出力を行う。
【００１７】
＜第１の実施形態＞
以下では図２、図３、図４および図５を参照しながら、第１の実施形態の信号処理装置について説明する。
図２は、第１の信号処理部１１０、第２の信号処理部１２０により得られる動画のフレームレートを８０ｆｐｓから２４ｆｐｓに切り替える場合を例に、この構成で発生する課題を図示したものである。
【００１８】
撮像素子１０１は、８０ｆｐｓの映像信号を出力する。第１の信号処理部１１０と第２の信号処理部１２０はそれぞれ、映像同期信号２０１、２１２の周期でフレーム２０３及びフレーム２１３を順次処理していく。この時、信号入出力処理部１０２は、入力される８０ｆｐｓの映像信号からフレームを間引いて、第１の信号処理部１１０に対し、上限のフレームレートである６０ｆｐｓの映像信号を供給し、第１の信号処理部１１０は、６０ｆｐｓの映像信号を処理する。また、信号入出力処理部１０２は、第２の信号処理部１２０に対し、８０ｆｐｓの映像信号を供給し、第２の信号処理部１２０は、８０ｆｐｓの映像信号を処理する。
【００１９】
撮像素子１０１のフレームレート変更の指示を出した場合、カメラ信号処理部１０３及びカメラ信号処理部１１３は、ベース同期信号２０２及びベース同期信号２１１の周期で処理する。
図２に示すように、撮像素子１０１のフレームレート変更の指示を映像同期信号２０１、映像同期信号２１２の位相が合わないタイミングで行った場合、切り替え直後のフレーム２０４とフレーム２１４の処理開始タイミングがずれてしまう。
【００２０】
しかし、信号処理部１１０、１２０は、同一の撮像素子１０１からの映像信号を信号入出力処理部１０２から入力し、並列に処理して信号入出力処理部１０２に出力している。このため、フレームレート切り替え直後の映像信号は、同じタイミングで信号入出力処理部１０２からカメラ信号処理部１０３とカメラ信号処理部１１３へ出力される。そのため、カメラ信号処理部１１３は正しいタイミングでフレーム２１４の処理を行うことができず、異常な出画をしてしまう。
【００２１】
このような問題点を解決するために、第１の実施形態の信号処理装置３００においては、図３に示す構成を用いる。図３において、図１と同様の構成は同じ符号を付加している。図３において、第１の信号処理部３１０により処理可能な映像信号のフレームレートは６０フレーム毎秒（ｆｐｓ）であり、第２の信号処理部３２０により処理可能な映像信号のフレームレートは１２０ｆｐｓである。
図３の信号処理装置３００は、第１の信号処理部３１０が、前述したカメラ信号処理部１０３、符号化部１０４、記録部１０５に加え、映像同期信号生成部３０１、ベース同期信号生成部３０２、及びベース信号カウンタ３０３を有する。映像同期信号生成部３０１は、任意の映像信号の同期信号を生成する。ベース同期信号生成部３０２は、カメラ信号処理の動作基準である処理周期となる６０Ｈｚの同期信号を生成する。ベース信号カウンタ３０３は、ベース同期信号をカウントし、ベースカウント値を保持する。ベース信号カウンタ３０３は、ベース同期信号を検出する毎にインクリメントする。
【００２２】
また、第２の信号処理部３２０は、カメラ信号処理部１１３、符号化部１１４、記録部１１５に加え、映像同期信号生成部３１１、ベース同期信号生成部３１２及びベース信号カウンタ３１３を有する。映像同期信号生成部３１１は、映像信号の同期信号を生成する。ベース同期信号生成部３１２は、カメラ信号処理の処理周期となる６０Ｈｚの同期信号を生成する。ベース信号カウンタ３１３は、カウントし、カウント値を保持する。ベース信号カウンタ３１３は、ベース同期信号を検出する毎にインクリメントする。
また、第１の信号処理部３１０と、第２の信号処理部３２０はそれぞれ、単一の半導体集積回路（ＩＣ）により構成される。
【００２３】
このように構成された信号処理装置３００の動作を、図４に示すフローチャートに従い説明する。
図４（ａ）に示すように、起動直後には、Ｓ４０１において、カメラ信号処理部１０３、１１３間で、互いの映像同期信号周期、及びベース同期信号周期の情報を取得する。
Ｓ４０２において、カメラ信号処理部１０３、１１３が、それぞれ、第１の信号処理部３１０、第２の信号処理部３２０による映像信号の処理周期（フレームレート）、及びベース同期信号周期の最小公倍数Ｔｍを計算する。
Ｓ４０３において、カメラ信号処理部１０３、１１３は、各々のベース同期信号周期Ｔｃを用いて、同期カウンタ基準値Ｎを取得する、同期カウンタ値取得処理を行う。同期カウンタ基準値Ｎは、Ｎ＝Ｔｍ／Ｔｃを計算することで取得する。
【００２４】
次に、フレームレート変更要求が発生した時に行われるフレームレート変更処理について、図４（ｂ）のフローチャートを参照しながら説明する。
Ｓ４１１において、カメラ信号処理部１０３、１１３はベースカウンタ値ｎを取得する。
Ｓ４１２において、ｎをＮで割った余りを算出し、余りが０であるか否かを判断する。余りが０でない場合はＳ４１５において、次のフレームの開始タイミングまで待機する。余りが０の場合は、合致位相取得処理を行い、Ｓ４１３に進む。
Ｓ４１３において、カメラ信号処理部１０３は、撮像素子１０１により得られる動画のフレームレートを、別の映像同期信号に切り替える映像同期切替処理を実施する。
Ｓ４１４において、新しいフレームレートにおいて、起動直後で行った処理を行い、同期カウンタ基準値Ｎを更新する。
【００２５】
以上の処理を具体的に説明する。
カメラ信号処理部１０３、１１３が処理する動画のフレームレートを変更する際、映像同期信号生成部３０１、３１１及びベース同期信号生成部３０２、３１２の位相を確認する。
本実施形態では、ベース信号カウンタ３０３と３１３は同じ値を取り、かつ両方が０の時に映像同期信号生成部３０１、３１１が同期するように処理をする。この場合、次以降に同期が合うのは、各同期信号の周期時間の最小公倍数となるので、現在のベース信号カウンタ３０３、３１３の値より大きい数値で先程の最小公倍数の倍数となる値が次以降に同期が合致するタイミングとなる。
【００２６】
この場合では、ベース同期信号生成部３０２、３１２はそれぞれ６０Ｈｚの周期で処理をしており、映像同期信号生成部３０１の同期信号の周期は１／６０秒、映像同期信号生成部３１１の処理周期は１／８０秒である。これらの処理周期の最小公倍数は１／２０（５０ミリ）秒となり、ベース信号カウンタ３０３及び３１３のカウント値が３の倍数となる毎に、各処理回路による処理タイミングが合うこととなる。仮に、ベース信号カウンタ３０３および３１３のカウント値が３０だった場合、次に処理タイミングが合うのはカウント値が３３となるタイミングである。
【００２７】
本実施形態では、カメラ信号処理部１０３及び１１３は、不図示の異なるＣＰＵにより実現され、それぞれを３線式シリアル通信で接続し、同期タイミングなど情報の授受をする形態を想定している。カメラ信号処理部１０３、１１３は互いの映像同期信号５０１、５１２の周期と、ベース同期信号５０２、５１１の周期を伝え合い、次に動画の処理タイミングが一致するカウンタ値を前述の計算方法に従いそれぞれに計算する。処理タイミングが一致したときに、カメラ信号処理部１０３は撮像素子１０１を制御し、フレームレートを変更する。
【００２８】
以上の構成により、図５に示す通り、フレーム５０４とフレーム５１４は同じ位相で処理が開始されるようになり、異常画を発生させることなくフレームレートの変更が可能となる。
なお、本処理は撮像素子１０１の処理を切り替える処理、つまり映像信号が乱れる可能性がある処理に有効である。例えば、フレームレート変更だけでなく画角変更やゲイン変更の際に、同様に同期をとることで、複数の映像パスを同時に変更を行うことができる。
【００２９】
＜第２の実施形態＞
第１の実施形態において、カメラ信号処理部１０３と１１３の間の通信は、３線式シリアル通信で接続し、情報の授受をする形態として説明した。本実施形態においては、その他に、２線式のI2C（Inter-Integrated Circuit）や、UARTのような他のシリアル通信であってもよいし、バスアクセスできるならばお互いのメモリを直接バスで接続してもよい。
また、構成によって無線通信や有線ＬＡＮ通信が利用可能であればそれらを使用してもよい。
【００３０】
＜第３の実施形態＞
第１の実施形態において、同期を取るのは映像同期信号、ベース同期信号全ての同期をとっていたが、本実施形態においては、映像同期信号のみ位相があったタイミングでフレームレート変更を行ってもよい。
【００３１】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００３２】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３３】
１０１  撮像素子
１０２  信号入出力処理部
１０３  カメラ信号処理部
１０４  符号化部
１０５  記録部
１１３  カメラ信号処理部
１１４  符号化部
１１５  記録部
３００  信号処理装置
３０１  映像同期信号生成部
３０２  ベース同期信号生成部
３０３  ベース信号カウンタ
３１０  第１の信号処理部
３１１  映像同期信号生成部
３１２  ベース同期信号生成部
３１３  ベース信号カウンタ
３２０  第２の信号処理部
【図１】
2016178457.tif 000003
【図２】
2016178457.tif 000004
【図３】
2016178457.tif 000005
【図４】
2016178457.tif 000006
【図５】
2016178457.tif 000007