(57)【要約】【課題】複数の処理回路でそれぞれフレームを間引いてフレームを出力する際に、複数の映像信号出力で同じフレームが間引かれるようにする。【解決手段】任意の映像同期信号を生成する同期信号生成手段と、前記同期信号に同期した映像信号を出力する映像信号出力手段と、前記映像信号出力手段により出力された映像信号に対し補正を施して出力する複数のカメラ信号処理手段と、前記カメラ信号処理手段により出力された映像信号を符号化して出力する複数の符号化手段と、前記同期信号生成手段により生成された同期信号の中で任意の同期信号を基準として、その他の同期信号から間引くフレームを算出する複数の間引きフレーム算出手段と、前記映像信号出力手段、前記カメラ信号処理手段、及び前記符号化手段に対して前記間引きフレーム算出手段により算出されたフレーム情報を伝える通信手段とを備え、決められたフレームを間引くようにする。【選択図】図３
2016184878.tif 000002
【特許請求の範囲】
【請求項１】
任意の映像同期信号を生成する同期信号生成手段と、
前記同期信号生成手段により生成された同期信号に同期した映像信号を出力する映像信号出力手段と、
前記映像信号出力手段により出力された映像信号に対し補正を施して出力する複数のカメラ信号処理手段と、
前記カメラ信号処理手段により出力された映像信号を符号化して出力する複数の符号化手段と、
前記同期信号生成手段により生成された同期信号の中で任意の同期信号を基準として、その他の同期信号から間引くフレームを算出する複数の間引きフレーム算出手段と、
前記映像信号出力手段、前記カメラ信号処理手段、及び前記符号化手段に対して前記間引きフレーム算出手段により算出されたフレーム情報を伝える通信手段と、
を備え、
前記映像信号出力手段、前記カメラ信号処理手段、及び前記符号化手段の何れかにおいて、前記間引きフレーム算出手段により決められたフレームを間引くことを特徴とする信号処理装置。
【請求項２】
前記映像信号出力手段は、
一つの撮像素子から出力される映像信号を入力できる映像信号入力手段と、
前記同期信号生成手段により生成される同期信号の中から、最も周期の短い同期信号で映像信号が前記映像信号出力手段に対して入力されるように前記撮像素子を制御する撮像素子制御手段と、
前記映像信号入力手段から入力される映像信号から、フレームを間引くことにより前記同期信号生成手段により生成される同期信号に従った映像信号を出力する間引き出力手段と、を備え、
前記同期信号生成手段により生成される同期信号のそれぞれに同期した映像信号を、前記間引き出力手段により出力することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記間引きフレーム算出手段は、
前記同期信号生成手段により生成された同期信号の中で基準とする同期信号の周波数値を取得する基準周波数取得手段と、
前記基準周波数取得手段により取得された周波数値Ｆａより大きい任意の周波数Ｆｎとの差分値で前記任意の周波数Ｆｎを除算することにより、間引かれるフレーム周期を算出する間引きフレーム周期算出手段と、
を備え、
前記任意の周波数Ｆｎに同期した映像信号から前記間引きフレーム周期算出手段により取得した周期の倍数に当たるフレームを間引かれるフレームとして算出することを特徴とする請求項１または２に記載の信号処理装置。
【請求項４】
前記通信手段は、バス、シリアル通信、有線ＬＡＮ通信、或いは無線通信のうち何れかで接続し、前記映像信号出力手段、及び前記カメラ信号処理手段、及び前記符号化手段との間でデータを授受することを特徴とする請求項１〜３の何れか１項に記載の信号処理装置。
【請求項５】
任意の映像同期信号を生成する同期信号生成手段と、
前記同期信号生成手段により生成された同期信号に同期した映像信号を出力する映像信号出力手段と、
前記映像信号出力手段により出力された映像信号に対し補正を施して出力する複数のカメラ信号処理手段と、
前記カメラ信号処理手段により出力された映像信号を符号化して出力する複数の符号化手段と、
前記同期信号生成手段により生成された同期信号の中で任意の同期信号を基準として、その他の同期信号から間引くフレームを算出する間引きフレーム算出手段と、
前記間引きフレーム算出手段により算出された間引くフレーム情報を対応するフレームと関連付けて同じ映像信号に保存する間引きフレーム情報保存手段と、
前記間引きフレーム情報保存手段により保存された間引くフレーム情報をフレームから読み出す複数の間引きフレーム情報読出手段と、
を備え、
前記映像信号出力手段、前記カメラ信号処理手段、及び前記符号化手段の何れかにおいて、入力されたフレームから前記間引きフレーム情報読出手段で読み出した間引くフレーム情報によりフレームを間引くことを特徴とする信号処理装置。
【請求項６】
前記映像信号出力手段は、
一つの撮像素子から出力される映像信号を入力できる映像信号入力手段と、
前記同期信号生成手段により生成される同期信号の中から、最も周期の短い同期信号で映像信号が前記映像信号出力手段に対して入力されるように前記撮像素子を制御する撮像素子制御手段と、
前記映像信号入力手段から入力される映像信号から、フレームを間引くことにより前記同期信号生成手段により生成される同期信号に従った映像信号を出力する間引き出力手段と、を備え、
前記同期信号生成手段により生成される同期信号のそれぞれに同期した映像信号を、前記間引き出力手段により出力することを特徴とする請求項５に記載の信号処理装置。
【請求項７】
前記間引きフレーム算出手段は、
前記同期信号生成手段により生成された同期信号の中で基準とする同期信号の周波数値を取得する基準周波数取得手段と、
前記基準周波数取得手段により取得された周波数値Ｆａより大きい任意の周波数Ｆｎとの差分値で前記任意の周波数Ｆｎを除算することにより間引かれるフレーム周期を算出する間引きフレーム周期算出手段と、
を備え、
前記任意の周波数Ｆｎに同期した映像信号から前記間引きフレーム周期算出手段により取得した周期の倍数に当たるフレームを間引かれるフレームとして算出することを特徴とする請求項５または６に記載の信号処理装置。
【請求項８】
前記間引きフレーム情報保存手段は、
メタデータを利用して映像信号に紐付けて保存するメタデータ保存手段と、
映像データと共にフレーム情報と紐付けられたデータをそれぞれ保存する複合データ保存手段と、
を備え、
前記メタデータ保存手段、及び複合データ保存手段の何れか、或いは両方を用いて間引くフレーム情報を保存することを特徴とする請求項５〜７の何れか１項に記載の信号処理装置。
【請求項９】
任意の映像同期信号を生成する同期信号生成工程と、
前記同期信号生成工程において生成された同期信号に同期した映像信号を出力する映像信号出力工程と、
前記映像信号出力工程において出力された映像信号に対し補正を施して出力する複数のカメラ信号処理工程と、
前記カメラ信号処理工程において出力された映像信号を符号化して出力する複数の符号化工程と、
前記同期信号生成工程において生成された同期信号の中で任意の同期信号を基準として、その他の同期信号から間引くフレームを算出する複数の間引きフレーム算出工程と、
前記映像信号出力工程、前記カメラ信号処理工程、及び前記符号化工程に対して前記間引きフレーム算出工程において算出されたフレーム情報を伝える通信工程と、
を備え、
前記映像信号出力工程、前記カメラ信号処理工程、及び前記符号化工程の何れかにおいて、前記間引きフレーム算出工程において決められたフレームを間引くことを特徴とする信号処理方法。
【請求項１０】
任意の映像同期信号を生成する同期信号生成工程と、
前記同期信号生成工程において生成された同期信号に同期した映像信号を出力する映像信号出力工程と、
前記映像信号出力工程において出力された映像信号に対し補正を施して出力する複数のカメラ信号処理工程と、
前記カメラ信号処理工程において出力された映像信号を符号化して出力する複数の符号化工程と、
前記同期信号生成工程において生成された同期信号の中で任意の同期信号を基準として、その他の同期信号から間引くフレームを算出する間引きフレーム算出工程と、
前記間引きフレーム算出工程において算出された間引くフレーム情報を対応するフレームと関連付けて同じ映像信号に保存する間引きフレーム情報保存工程と、
前記間引きフレーム情報保存工程において保存された間引くフレーム情報をフレームから読み出す複数の間引きフレーム情報読出工程と、
を備え、
前記映像信号出力工程、前記カメラ信号処理工程、及び前記符号化工程の何れかにおいて、入力されたフレームから前記間引きフレーム情報読出工程で読み出した間引くフレーム情報によりフレームを間引くことを特徴とする信号処理方法。
【請求項１１】
任意の映像同期信号を生成する同期信号生成工程と、
前記同期信号生成工程において生成された同期信号に同期した映像信号を出力する映像信号出力工程と、
前記映像信号出力工程において出力された映像信号に対し補正を施して出力する複数のカメラ信号処理工程と、
前記カメラ信号処理工程において出力された映像信号を符号化して出力する複数の符号化工程と、
前記同期信号生成工程において生成された同期信号の中で任意の同期信号を基準として、その他の同期信号から間引くフレームを算出する複数の間引きフレーム算出工程と、
前記映像信号出力工程、前記カメラ信号処理工程、及び前記符号化工程に対して前記間引きフレーム算出工程において算出されたフレーム情報を伝える通信工程とをコンピュータに実行させ、
前記映像信号出力工程、前記カメラ信号処理工程、及び前記符号化工程の何れかにおいて、前記間引きフレーム算出工程において決められたフレームを間引くようコンピュータを制御することを特徴とするプログラム。
【請求項１２】
任意の映像同期信号を生成する同期信号生成工程と、
前記同期信号生成工程において生成された同期信号に同期した映像信号を出力する映像信号出力工程と、
前記映像信号出力工程において出力された映像信号に対し補正を施して出力する複数のカメラ信号処理工程と、
前記カメラ信号処理工程において出力された映像信号を符号化して出力する複数の符号化工程と、
前記同期信号生成工程において生成された同期信号の中で任意の同期信号を基準として、その他の同期信号から間引くフレームを算出する間引きフレーム算出工程と、
前記間引きフレーム算出工程において算出された間引くフレーム情報を対応するフレームと関連付けて同じ映像信号に保存する間引きフレーム情報保存工程と、
前記間引きフレーム情報保存工程において保存された間引くフレーム情報をフレームから読み出す複数の間引きフレーム情報読出工程とをコンピュータに実行させ、
前記映像信号出力工程、前記カメラ信号処理工程、及び前記符号化工程の何れかにおいて、入力されたフレームから前記間引きフレーム情報読出工程で読み出した間引くフレーム情報によりフレームを間引くようコンピュータを制御することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は信号処理装置及び信号処理方法に関し、特に、複数の処理回路により映像信号を処理する装置に関する。
【背景技術】
【０００２】
従来、動画を撮影して記録するカメラが知られている。また、カメラでは、撮影した動画をメモリカードなどの記録媒体に記録するだけでなく、ＳＤＩやＨＤＭＩ（登録商標）等の伝送路を介して外部の表示装置や記録装置に出力する機能や、内蔵の液晶パネル等の表示部に表示する機能を備えている。
ところで、撮影した動画を外部の表示装置や記録装置に出力するカメラにおいては、出力先により扱う動画の形式が異なるので、それぞれの出力先に適した形式に動画を変換して出力する必要がある。
【０００３】
また、近年では、撮影される動画のフレームレートとして様々な値を設定可能なカメラも登場している。また、動画を記録媒体に記録しながら、外部の装置に出力する装置も提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０３６４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年では、カメラで扱う動画の画面サイズ（画素数）やフレームレートが高くなっている。そのため、複数の信号処理ＬＳＩを備え、各ＬＳＩにより表示用、記録用、外部出力用の動画処理することが考えられる。
【０００６】
このように複数の処理回路により並列に動画を生成し、記録と外部出力とを行う場合、それぞれの処理回路は独立した同期信号で処理を行うことになる。また、撮影された動画のフレームレートが、出力先に適したフレームレートよりも高い場合には、一部のフレームを間引いて出力する必要がある。
【０００７】
しかしながら、複数の処理回路で独立に間引くフレームを決めた場合、間引かれるフレームの位置が互いに異なってしまうことがある。
本発明は前述の問題点に鑑み、複数の処理回路でそれぞれフレームを間引いてフレームを出力する際に、複数の映像信号出力で同じフレームが間引かれるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の信号処理装置は、任意の映像同期信号を生成する同期信号生成手段と、前記同期信号生成手段により生成された同期信号に同期した映像信号を出力する映像信号出力手段と、前記映像信号出力手段により出力された映像信号に対し補正を施して出力する複数のカメラ信号処理手段と、前記カメラ信号処理手段により出力された映像信号を符号化して出力する複数の符号化手段と、前記同期信号生成手段により生成された同期信号の中で任意の同期信号を基準として、その他の同期信号から間引くフレームを算出する複数の間引きフレーム算出手段と、前記映像信号出力手段、前記カメラ信号処理手段、及び前記符号化手段に対して前記間引きフレーム算出手段により算出されたフレーム情報を伝える通信手段とを備え、前記映像信号出力手段、前記カメラ信号処理手段、及び前記符号化手段の何れかにおいて、前記間引きフレーム算出手段により決められたフレームを間引くことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、異なる同期信号を基準とした複数の映像信号が入力される信号処理装置において、複数の映像信号出力で同じフレームが間引かれるようにすることができる。
【図面の簡単な説明】
【００１０】
【図１】複数の処理回路を備えた信号処理装置の基本構成を説明するブロック図である。
【図２】複数の処理回路を備えた信号処理装置の課題を説明する図である。
【図３】第１の実施形態における信号処理装置の構成例を説明するブロック図である。
【図４】第１の実施形態における信号処理装置の処理手順を説明するフローチャートである。
【図５】第１の実施形態における信号処理装置の効果を説明する図である。
【図６】第４の実施形態における信号処理装置の構成例を説明するブロック図である。
【図７】第４の実施形態における信号処理装置の処理手順を説明するフローチャートである。
【図８】第４の実施形態における信号処理装置の効果を説明する図である。
【発明を実施するための形態】
【００１１】
＜共通の形態＞
本発明の実施形態では、異なる同期信号を基準とした複数の映像信号が入力され、複数の処理回路により映像信号を処理する信号処理回路について説明する。以下は、本発明における全ての実施形態に共通となる信号処理装置の構成の説明である。
【００１２】
図１は、複数の信号処理回路により映像信号を並列に処理する信号処理装置１００の基本構成例を示すブロック図である。
図１の信号処理装置１００は、信号入出力処理部１０２、映像同期信号生成処理部１０８、信号処理部１１０、信号処理部１２０を有する。
【００１３】
映像同期信号生成処理部１０８は、任意の映像同期信号を複数生成する。
信号入出力処理部１０２は、撮像素子１０１から出力される映像信号を入力する映像信号入力処理を行い、撮像素子１０１からの映像信号を異なる同期で複数の映像信号を出力する映像信号出力処理を行う。かつ外部機器への出力も行うことができる。信号入出力処理部１０２は、入力される同期信号の中から、最も周期の短い同期信号で、映像信号が入力されるよう撮像素子１０１を制御する撮像素子制御処理を行う。
【００１４】
信号処理部１１０、信号処理部１２０は、それぞれカメラ信号処理部１０３及びカメラ信号処理部１１３、符号化ユニット１０４及び符号化ユニット１１４、ドライブユニット１０５及びドライブユニット１１５を有する。
カメラ信号処理部１０３及びカメラ信号処理部１１３は、映像信号の補正や現像を行う。符号化ユニット１０４及び符号化ユニット１１４は、映像信号に音声データを重畳させて、所定の記録フォーマットの動画データに変換する。ドライブユニット１０５及びドライブユニット１１５は、動画像データをメモリカードなどの記録メディア１０６、１１６に記録する。モニタ出力１０７、１１７は、外部機器出力装置である。
信号処理部１１０と信号処理部１２０は、それぞれ一つのＬＳＩ（半導体集積回路）として構成される。
【００１５】
以下、図１の構成の信号処理装置１００の記録時の構成について説明する。
図１において、撮像素子１０１に入射した光は光電変換され、映像同期信号生成処理部１０８により生成された同期信号に従い、信号入出力処理部１０２において信号のサンプリングとディジタルデータへの変換が行われる。変換されたディジタルデータは、カメラ信号処理部１０３及びカメラ信号処理部１１３へ入力される。カメラ信号処理部１０３とカメラ信号処理部１１３は、互いに情報の授受を行うための通信部（図示せず）を有している。撮像素子１０１の操作はカメラ信号処理部１０３で行う。
【００１６】
カメラ信号処理部１０３及びカメラ信号処理部１１３において処理された映像信号は、符号化ユニット１０４及び符号化ユニット１１４により、音声データを重畳させて、所定の記録フォーマットの動画データに変換される。変換された動画データは、ドライブユニット１０５及びドライブユニット１１５によって、記録メディア１０６及び記録メディア１１６にそれぞれ供給され、記録される。
もしくは、変換された動画データは、信号入出力処理部１０２に入力され、必要に応じて出力フォーマット変換をされてから、モニタ出力１０７および１１７へ出力される。なお、この出力先はモニタであっても外部記録装置であってもよい。
【００１７】
なお、本構成では映像信号は２つのパスで処理されている。図１の上半分の構成要素番号１０３〜１０７のパスは処理できるフレームレートの上限を６０フレーム毎秒（ｆｐｓ）としており、下半分の構成要素番号１１３〜１１７のパスはフレームレートの上限を１２０ｆｐｓとしている。
【００１８】
＜第１の実施形態＞
以下では、図２、図３、図４及び図５を参照しながら第１の実施の形態について説明する。
【００１９】
図２は、撮像素子１０１より入力される７４ｆｐｓの映像信号を、６０ｆｐｓで出力する処理と、７４ｆｐｓで出力する処理が混在した信号処理装置１００の構成例を説明するブロック図である。
図２は、フレームレートを７４ｆｐｓから６０ｆｐｓに切り替える事例を元に、この構成で発生する課題を図示したものである。
図２において、図１と同じ機能構成のブロックについては、図１と同じ符号を付している。
この時、７４ｆｐｓの映像信号は撮像素子１０１から１番目のフレームより信号入出力処理部１０２へ入力される。
信号入出力処理部１０２は、カメラ信号処理部１０３への出力とカメラ信号処理部１１３への出力の２系統の出力を保有している。
【００２０】
信号処理装置１００では、信号入出力処理部１０２〜カメラ信号処理部１０３〜符号化ユニット１０４〜ドライブユニット２０５〜記録メディア２０６への第１の映像信号パスは、上限フレームレートを６０ｆｐｓとしている。
信号入出力処理部１０２〜カメラ信号処理部１０３〜符号化ユニット１０４〜信号入出力処理部１０２〜モニタ出力１０７への第２の映像信号パスも上限フレームレートを６０ｆｐｓとしている。
【００２１】
信号入出力処理部１０２〜カメラ信号処理部１１３〜符号化ユニット１１４〜ドライブユニット１１５〜記録メディア１１６への第３の映像信号パスは、上限フレームレートを１２０ｆｐｓとしている。
信号入出力処理部１０２〜カメラ信号処理部１１３〜符号化ユニット１１４〜モニタ出力１１７への第４の映像信号パスの上限フレームレートは６０ｆｐｓとしている。
したがって、撮像素子１０１より入力される７４ｆｐｓの映像信号は、第１の映像信号パス、第２の映像信号パス及び第４の映像信号パスでは１秒あたり１４フレームを間引いて６０ｆｐｓの映像信号として出力する必要がある。第３の映像信号パスではそのまま間引きせずに出力される。
【００２２】
この時、第１の映像信号パス及び第２の映像信号パスでは、信号入出力処理部１０２においてフレーム間引きを行う。間引きフレームの計算は信号入出力処理部１０２の内部において予め定められたアルゴリズム、或いはテーブルで行っており、最初に間引くフレームが６番目のフレームとなっている。
【００２３】
第４の映像信号パスでも同様にフレーム間引きを行うが、間引きフレームの計算を異なる予め定められたアルゴリズム、或いはテーブルにより符号化ユニット１１４で行っており、こちらでは最初に間引くフレームが５番目のフレームとなっている。
【００２４】
このため、第１の映像信号パスにより記録メディア１０６に保存された映像信号と、第４の映像信号パスによりモニタ出力１１７から出力されて外部記録機器に記録された映像信号では、間引かれたフレームが異なることになる。この時、前者がＰｒｏｘｙ記録であると、正しい編集結果を後者の映像信号に反映することができなくなってしまい、最適なポストプロダクションが行えなくなる。
【００２５】
本発明の実施形態において、この問題点を解決するため、図３に示す構成の信号処理装置を用いる。
図３に示す信号処理装置３００の構成は、１０１〜１０８、１１３〜１１７までは図１で説明した信号処理装置１００と同じである。信号処理装置３００においては、間引きフレーム算出処理部３０９及び間引きフレーム算出処理部３１９が設けられている。
また、カメラ信号処理部１０３、符号化ユニット１０４、ドライブユニット１０５及び間引きフレーム算出処理部３０９は信号処理部３３０に含まれる。カメラ信号処理部１１３、符号化ユニット１１４、ドライブユニット１１５及び間引きフレーム算出処理部３１９は信号処理部３４０に含まれる。
また、信号処理部３３０と、信号処理部３４０はそれぞれ、一つのＬＳＩ（半導体集積回路）として構成される。
【００２６】
このように構成された本実施形態の信号処理装置３００の処理手順を、図４に示すフローチャートに従い説明する。
起動直後には、Ｓ４０１において、間引きフレーム算出処理部３０９及び間引きフレーム算出処理部３１９は、映像同期信号生成処理部１０８により生成された映像同期信号で、信号入出力処理部１０２で使用されている、全同期信号周波数を取得する。
Ｓ４０２において、間引きフレーム算出処理部３０９及び間引きフレーム算出処理部３１９は、全同期信号周波数の中で最も周期の長い周波数値Ｆａを取得する。また、基準とする同期信号の周波数を取得する基準周波数取得処理を行う。
Ｓ４０３では、信号入出力処理部１０２は、その他の周波数値Ｆｎ（Ｆ１〜Ｆｍａｘ）を取得して保存する。
【００２７】
Ｓ４０４〜Ｓ４０７では、それぞれの周波数毎にＳ４０６の処理を繰り返し行う。
まず、Ｓ４０４では、ｎに初期値１を設定する処理（ｎ＝１）を行う。
Ｓ４０５では、Ｆｎが存在するか否かを判断し、存在する場合にはＳ４０６に移行する。
【００２８】
Ｓ４０６では、間引きフレーム算出処理部３０９及び間引きフレーム算出処理部３１９は、周波数値Ｆｎと全同期信号周波数の中で最も周期の長い周波数値Ｆａとの差分値で任意の周波数Ｆｎを除算することにより間引きフレーム周期算出処理を行う。すなわち、間引きフレーム周期Ｔｎを、Ｔｎ＝Ｆｎ／（Ｆｎ−Ｆａ）により算出する。この際、小数点以下は切り上げる。
Ｓ４０７では、ｎを１つインクリメントする処理（ｎ＝ｎ＋１）を行い、その後、Ｓ４０５に戻る。
全ての周波数Ｆｎにおいて、対応するＴｎを算出する処理を完了したらＳ４０８に移行する。
【００２９】
Ｓ４０８において、間引きフレーム算出処理部３０９は、全てのＴｎ情報を信号入出力処理部１０２とカメラ信号処理部１０３と符号化ユニット１０４に対して通知する。また、間引きフレーム算出処理部３１９は、全てのＴｎ情報を信号入出力処理部１０２とカメラ信号処理部１１３と符号化ユニット１１４に対して通知する。
【００３０】
次に、各映像信号パスの動作について説明する。
Ｓ４１１において、各映像信号パス（信号入出力処理部１０２及びカメラ信号処理部１０３及びカメラ信号処理部１１３及び符号化ユニット１０４及び符号化ユニット１１４）では、現在の動作信号周期に該当する前述の間引きフレーム周期Ｔｎ値を取得する。
それぞれの処理では、Ｓ４１２において、現行処理しているフレーム番号ＦＲｎを取得する。
【００３１】
Ｓ４１３〜Ｓ４１６において、Ｔｎを１から始まる整数値を乗算して小数点以下を切り上げた値と、ＦＲｎを順次比較する。
まず、Ｓ４１３では、ｎに初期値１を設定する処理（ｎ＝１）を行う。
Ｓ４１４では、Ｔｎを１から始まる整数値を乗算して小数点以下を切り上げた値が、ＦＲｎよりも小さいか否か判断する。小さい場合はＳ４１５へ進む。
【００３２】
Ｓ４１５において、Ｔｎを１から始まる整数値を乗算して小数点以下を切り上げた値がＦＲｎと同じであるかどうかを判断する。比較結果が等しい場合は、Ｓ４１７へ進む。
Ｓ４１７においては、そのフレームの出力は行わない。
Ｓ４１５において、同じでない場合はＳ４１６に進んで、ｎを１つインクリメントする処理（ｎ＝ｎ＋１）を行い、その後、Ｓ４１４に戻り、比較処理を再開する。
【００３３】
一方、Ｓ４１４において、Ｔｎを整数倍して小数点以下を切り上げた値がＦＲｎより大きい場合は、間引き対象ではないと判断し、Ｓ４１８へ進み、そのフレームの出力を行う。
【００３４】
以上の操作による結果を図５に示す。
図５において、７４ｆｐｓのフレームレートに同期した映像信号は、撮像素子１０１から１番目のフレームより信号入出力処理部１０２へ入力される。
信号入出力処理部１０２は、カメラ信号処理部１０３への出力と、カメラ信号処理部１１３への出力の２系統の出力を保有している。
【００３５】
本実施形態の信号処理装置３００では、信号入出力処理部１０２〜カメラ信号処理部１０３〜符号化ユニット１０４〜ドライブユニット１０５〜記録メディア１０６への第５の映像信号パスは、上限フレームレートは６０ｆｐｓとしている。
信号入出力処理部１０２〜カメラ信号処理部１０３〜符号化ユニット１０４〜信号入出力処理部１０２〜モニタ出力１０７への第６の映像信号パスも上限フレームレートを６０ｆｐｓとしている。
【００３６】
一方、信号入出力処理部１０２〜カメラ信号処理部１１３〜符号化ユニット１１４〜ドライブユニット１１５〜記録メディア１１６への第７の映像信号パスは、上限フレームレートを１２０ｆｐｓとしている。
信号入出力処理部１０２〜カメラ信号処理部１１３〜符号化ユニット１１４〜信号入出力処理部１０２〜モニタ出力１１７への第８の映像信号パスの上限フレームレートは６０ｆｐｓとしている。
【００３７】
間引きフレーム算出処理部３０９及び間引きフレーム算出処理部３１９は、６０ｆｐｓの映像信号に対する７４ｆｐｓの映像信号が間引くフレーム周期を計算し、７４／（７４−６０）≒５．２８Ｆｒａｍｅの値を算出する。この値により、各処理で間引かれる対象のフレーム番号は前述のように、５．２８の倍数を切り上げたフレーム番号は、６、１１、１６、２２、２７・・・のようになる。
間引きフレーム算出処理部３０９は、この間引くフレーム周期５．２８を、信号入出力処理部１０２、カメラ信号処理部１０３及び符号化ユニット１０４に対して通知する。
間引きフレーム算出処理部３１９は、間引くフレーム周期５．２８を、信号入出力処理部１０２、カメラ信号処理部１１３及び符号化ユニット１１４に対して通知する。
【００３８】
ここで、信号入出力処理部１０２、カメラ信号処理部１０３、符号化ユニット１０４、カメラ信号処理部１１３及び符号化ユニット１１４の各処理部は、入力された映像信号から通知された間引くフレーム周期５．２８に従い、間引き処理を行う。例えば、図５にあるように６番目のフレームを処理する時、第５の映像信号パス及び第６の映像信号パスでは、カメラ信号処理部１０３において５．２８を切り上げたフレーム６が間引き対象となる。このため、６番目のフレームは符号化ユニット１０４へは出力されない。
【００３９】
また、第８の映像信号パスでも、符号化ユニット１１４において、フレーム６が間引き対象となるため、同様に６番目のフレームはモニタ出力１１７へは出力されない。
各映像パスにおいて、間引かれるフレームが同じとなるような処理を行うことが可能となる。
【００４０】
＜第２の実施形態＞
第１の実施形態において、間引きフレーム算出処理部３０９及び間引きフレーム算出処理部３１９では、間引くフレーム周期を計算により取得していた。
第２の実施形態においては、予め間引かれるフレームをテーブルデータとして保有する。テーブルデータから取得された間引くフレーム周期をそれぞれ、信号入出力処理部１０２とカメラ信号処理部１０３と符号化ユニット１０４、及び信号入出力処理部１０２とカメラ信号処理部１１３と符号化ユニット１１４に対して通知する処理であってもよい。
【００４１】
＜第３の実施形態＞
第３の実施形態において各構成部の間で行なわれる通信を説明する。
例えば、間引きフレーム算出処理部３０９と信号入出力処理部１０２、カメラ信号処理部１０３と符号化ユニット１０４の間での通信は、Ｉ２ＣやＵＡＲＴのような他のシリアル通信であってもよい。
同様に、間引きフレーム算出処理部３１９と信号入出力処理部１０２、カメラ信号処理部１１３と符号化ユニット１１４の間での通信は、Ｉ２ＣやＵＡＲＴのような他のシリアル通信で接続して行う通信であってもよい。
または、バスアクセスできるのならばお互いのメモリを直接バス経由で更新してもよい。本実施形態においては、信号入出力処理部、カメラ信号処理部及び符号化ユニットとの間でデータを授受する。
更に、無線通信や有線ＬＡＮ通信が利用可能な構成であればそれらを使用してもよい。
【００４２】
＜第４の実施形態＞
次に、図６〜図８を参照しながら第４の実施形態を説明する。
図６において、１０１〜１０８、１１３〜１１７までは、図１の１０１〜１０８、１１３〜１１７と同じである。本実施形態においては、間引きフレーム算出処理部６０９、間引きフレーム情報保存処理部６１０、間引きフレーム情報読出処理部６１１、間引きフレーム情報読出処理部６２１が設けられている。
【００４３】
また、カメラ信号処理部１０３、符号化ユニット１０４、ドライブ  ユニット１０５及び間引きフレーム情報読出処理部６１１は、信号処理部６３０に含まれる。
カメラ信号処理部１１３、符号化ユニット１１４、ドライブユニット１１５及び間引きフレーム情報読出処理部６２１は、信号処理部６４０に含まれる。
信号処理部６３０と信号処理部６４０はそれぞれ、一つのＬＳＩ（半導体集積回路）として構成される。
【００４４】
このように構成された本実施形態の信号処理装置６００の処理手順を、図７のフローチャートを参照しながら説明する。
起動直後には、Ｓ７０１において、間引きフレーム算出処理部６０９は、映像同期信号生成処理部１０８により生成された同期信号で、信号入出力処理部１０２で使用されている、全同期信号周波数を取得する。
Ｓ７０２において、間引きフレーム算出処理部６０９は、全同期信号周波数の中で最も周期の長い周波数値Ｆａを取得する。
【００４５】
Ｓ７０３では、信号入出力処理部１０２は、その他の周波数値Ｆｎ（Ｆ１〜Ｆｍａｘ）を取得して保存する。
Ｓ７０４〜Ｓ７０７では、それぞれの周波数毎にＳ７０６の処理を繰り返し行う。
まず、Ｓ７０４では、ｎに初期値１を設定する処理（ｎ＝１）を行う。
Ｓ７０５では、Ｆｎが存在するか否かを判断し、存在する場合にはＳ７０６に移行する。
【００４６】
Ｓ７０６では、間引きフレーム算出処理部６０９は、間引きフレーム周期Ｔｎを、Ｔｎ＝Ｆｎ／（Ｆｎ−Ｆａ）により算出する。この際、小数点以下は切り上げる。
Ｓ７０７では、ｎを１つインクリメントする処理（ｎ＝ｎ＋１）を行い、その後、Ｓ７０５に戻る。
全ての周波数Ｆｎにおいて対応するＴｎを算出する処理を完了したらＳ７０８に移行する。
Ｓ７０８においては、間引きフレーム情報保存処理部６１０により全て間引きフレーム周期Ｔｎの情報を同じフレームに紐付けて保存するメタデータ保存処理、複合データ保存処理の何れか、或いは両方を用いて保存処理を行う。
【００４７】
次に、各映像信号パスの動作について説明する。
Ｓ７１０では、間引きフレーム情報読出処理部６１１及び間引きフレーム情報読出処理部６２１により間引きフレーム周期情報を取得する。
Ｓ７１１において、各映像信号パス（信号入出力処理部１０２及び１０３カメラ信号処理部１０３及び符号化ユニット１０４及び符号化ユニット１１４）では、現在の動作信号周期に該当する前述の間引きフレーム周期Ｔｎ値を取得する。
それぞれの処理では、Ｓ７１２において、現行処理しているフレーム番号ＦＲｎを取得する。
【００４８】
Ｓ７１３〜Ｓ７１８で行なわれる処理は、図４のフローチャートのＳ４１３〜Ｓ４１８において説明した処理と同様である。
Ｓ７１３〜Ｓ７１６において、Ｔｎを１から始まる整数値を乗算して小数点以下を切り上げた値とＦＲｎを順次比較する。比較結果が等しい場合は、Ｓ７１７において、そのフレームの出力は行わない。Ｔｎを整数倍して小数点以下を切り上げた値の方がＦＲｎより大きい場合は、間引き対象ではないと判断し、Ｓ７１８において、そのフレームの出力を行う。
また、Ｔｎを整数倍して小数点以下を切り上げた値の方がＦＲｎより小さい場合は、再度Ｓ７１４へ戻り比較処理を再開する。
【００４９】
以上の操作による結果を、図８に示す。
図８において、７４ｆｐｓのフレームレートに同期した映像信号は、撮像素子１０１から１番目のフレームより信号入出力処理部１０２へ入力される。
信号入出力処理部１０２は、カメラ信号処理部１０３への出力とカメラ信号処理部１１３への出力の２系統の出力を保有している。
【００５０】
本実施形態の信号処理装置６００では、信号入出力処理部１０２〜カメラ信号処理部１０３〜符号化ユニット１０４〜ドライブユニット１０５〜記録メディア１０６への第９の映像信号パスは、上限フレームレートは６０ｆｐｓとしている。
信号入出力処理部１０２〜カメラ信号処理部１０３〜符号化ユニット１０４〜信号入出力処理部１０２〜モニタ出力１０７への第１０の映像信号パスも上限フレームレートを６０ｆｐｓとしている。
【００５１】
信号入出力処理部１０２〜カメラ信号処理部１１３〜符号化ユニット１１４〜ドライブユニット１１５〜記録メディア１１６への第１１の映像信号パスは上限フレームレートを１２０ｆｐｓとしている。
信号入出力処理部１０２〜カメラ信号処理部１１３〜符号化ユニット１１４〜信号入出力処理部１０２〜モニタ出力１１７への第１２の映像信号パスの上限フレームレートは６０ｆｐｓとしている。
【００５２】
間引きフレーム算出処理部６０９は、６０ｆｐｓの映像信号に対する７４ｆｐｓの映像信号を間引くフレーム周期を計算し、７４／（７４−６０）≒５．２８Ｆｒａｍｅの値を算出する。この値により、各処理で間引かれる対象のフレーム番号は、６、１１、１６、２２、２７・・・のようになる。間引きフレーム情報保存処理部６１０は、この間引くフレーム周期５．２８Ｆｒａｍｅをフレームに紐付けるため、メタデータに保存する。
【００５３】
ここで、信号入出力処理部１０２、カメラ信号処理部１０３、符号化ユニット１０４、カメラ信号処理部１１３及び符号化ユニット１１４の各処理部は、メタデータから読み出された間引くフレーム周期の値である５．２８Ｆｒａｍｅに従い、間引き処理を行う。間引くフレーム情報は、間引きフレーム情報読出処理部６１１、間引きフレーム情報読出処理部６２１により読み出す。
例えば、図８にあるように、６番目のフレームを処理する時、第９の映像信号パス及び第１０の映像信号パスでは、カメラ信号処理部１０３において５．２８を切り上げたフレーム６が間引き対象となる。このため、６番目のフレームは符号化ユニット１０４へは出力されない。
また、第１２の映像信号パスでも、符号化ユニット１１４において、フレーム６が間引き対象となるため、同様に６番目のフレームはモニタ出力１１７へは出力されない。
以上のように、各映像パスにおいて間引かれるフレームが同じとなるような処理を行うことが可能となる。
【００５４】
また、記録データに間引きフレーム情報が残される。このことから、第１１の映像信号パスにより７４ｆｐｓで記録メディア１１６に記録された映像データの再生時に、第９の映像信号パスで記録されたＰｒｏｘｙ映像信号データの再生と同じフレームを再生できるように、後から間引いて再生することも可能となる。
【００５５】
＜第５の実施形態＞
第４の実施形態において、間引きフレーム算出処理部６０９では、間引くフレーム周期を計算により取得していた。
第５の実施形態においては、予め間引かれるフレームをテーブルデータとして保有し、テーブルデータから取得された間引くフレーム周期を信号入出力処理部１０２に対して通知する処理であってもよい。
【００５６】
＜第６の実施形態＞
第４の実施形態において、間引くフレーム情報を対応するフレームと関連付けて同じ映像信号に保存するようにした。本実施形態においては、本信号処理装置が内蔵メモリを別途保有する場合には、間引きフレーム情報保存処理部６１０、間引きフレーム情報読出処理部６１１及び間引きフレーム情報読出処理部６２１はメタデータに保存しないようにする。この場合、フレーム毎に間引くフレーム周期の情報をリスト化したデータとして映像信号とは別に保存する複合データ保存処理を行い、必要に応じて読み出して間引きに利用する形式であってもよい。
【００５７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５８】
１０１  撮像素子
１０２  信号入出力処理部
１０３  カメラ信号処理部
１０４  符号化ユニット
１０５  ドライブユニット
１０６  記録メディア
１１３  カメラ信号処理部
１１４  符号化ユニット
１１５  ドライブユニット
１１６  記録メディア
３００  信号処理装置
３０７  モニタ出力
３０８  映像同期信号生成処理部
３０９  間引きフレーム算出処理部
３１７  モニタ出力
３１９  間引きフレーム算出処理部
３３０  信号処理部
３４０  信号処理部
【図１】
2016184878.tif 000003
【図２】
2016184878.tif 000004
【図３】
2016184878.tif 000005
【図４】
2016184878.tif 000006
【図５】
2016184878.tif 000007
【図６】
2016184878.tif 000008
【図７】
2016184878.tif 000009
【図８】
2016184878.tif 000010