(57)【要約】  複数の映像送信装置から受信した映像を同時に表示するために映像受信側の処理が複雑となる課題があった。  時刻情報に基づいて基準信号を発生する基準信号発生手段と、基準信号発生手段により発生された基準信号に基づいて映像信号を撮像する撮像手段と、撮像手段により撮像した映像信号をディジタル圧縮符号化する圧縮手段と、ネットワークから、時刻情報と、時刻情報に対する基準信号の位相情報を受信し、また、ディジタル圧縮符号化された映像信号を送信するネットワーク処理手段と、基準信号発生手段とネットワーク処理手段を制御する制御手段を備えた映像送信装置。ここで制御手段は、基準信号発生手段で発生した基準信号の位相を、ネットワーク処理手段で受信した時刻情報と位相信号に応じて変更する。
2012120763.tif 000002
【特許請求の範囲】
【請求項１】
時刻情報に基づいて基準信号を発生する基準信号発生手段と、
前記基準信号発生手段により発生された基準信号に基づいて映像信号を撮像する撮像手段と、
前記撮像手段により撮像した映像信号をディジタル圧縮符号化する圧縮手段と、
ネットワークから、時刻情報と、前記時刻情報に対する基準信号の位相情報を受信し、また、前記ディジタル圧縮符号化された映像信号を送信するネットワーク処理手段と、
前記基準信号発生手段と前記ネットワーク処理手段を制御する制御手段と、
を備え、
前記制御手段は、前記基準信号発生手段で発生した前記基準信号の位相を、前記ネットワーク処理手段で受信した前記時刻情報と前記位相信号に応じて変更するように前記基準信号発生手段を制御することを特徴とする映像送信装置。
【請求項２】
請求項１に記載の映像送信装置において、
前記制御手段は、前記映像受信装置に対し、前記映像信号を撮像しディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間を通知することを特徴とする映像送信装置。
【請求項３】
請求項２に記載の映像送信装置において、
前記制御手段は、前記映像受信装置の要求に応じて、前記映像信号を撮像しディジタル圧縮符号化して前記ネットワークに送信するまでの処理時間を通知することを特徴とする映像送信装置。
【請求項４】
時刻情報に基づいて発生した基準信号により映像信号を撮像した映像信号をディジタル圧縮符号化し、
ネットワークから、時刻情報と、前記時刻情報に対する基準信号の位相情報を受信し、また、前記ディジタル圧縮符号化された映像信号を送信する映像送信方法において、
発生する前記基準信号の位相を、ネットワークから受信した前記時刻情報と前記位相信号に応じて変更することを特徴とする映像送信方法。
【請求項５】
時刻情報に基づいて基準信号を発生する基準信号発生手段と、
ネットワークに接続された一つまたは複数の映像送信装置から送信されるディジタル圧縮符号化された一つまたは複数の映像信号データのストリームを受信するネットワーク処理手段と、
前記ネットワーク処理手段で受信した一つまたは複数の前記映像データを復号する復号手段と、
前記復号手段により復号した一つまたは複数の前記映像信号を基にした映像を前記基準信号に基づいて表示する映像表示手段と、
前記基準信号発生手段と前記ネットワーク処理手段を制御する制御手段と、
を備え、
前記制御手段は、前記映像送信装置に、前記時刻情報に対する、前記基準信号発生手段で発生した前記基準信号の位相情報を送信するよう前記ネットワーク処理手段を制御することを特徴とする映像受信装置。
【請求項６】
請求項５に記載の映像受信装置において、
前記制御手段は、前記映像送信装置が映像を撮像しディジタル圧縮符号化して前記ネットワークに送信するのに要する処理遅延時間情報を前記一つまたは複数の映像送信装置から取得することを特徴とする映像受信装置。
【請求項７】
請求項６に記載の映像受信装置において、
前記制御手段は、前記一つまたは複数の映像送信装置から取得した前記処理遅延時間情報に基づいて、前記位相情報を決定することを特徴とする映像受信装置。
【請求項８】
ネットワークに接続された一つまたは複数の映像送信装置から送信されるディジタル圧縮符号化された一つまたは複数の映像信号データのストリームを受信し、
受信した一つまたは複数の前記映像データを復号し、
復号した一つまたは複数の前記映像信号を基にした映像を、時刻情報に基づいて発生した基準信号に基づいて表示する映像受信方法において、
前記映像送信装置に、前記時刻情報に対する前記基準信号の位相情報を送信することを特徴とする映像受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
映像を伝送する装置に関する。
【背景技術】
【０００２】
上記技術分野に関し、例えば特許文献１には、ネットワークを介して映像を伝送する際に、表示時間を調節する機能持った伝送装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−５１５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の技術は、複数の映像送信装置から受信した映像を同時に表示するために映像受信側の処理が複雑となる課題があった。
【課題を解決するための手段】
【０００５】
そこで本明細書では例えば、映像受信装置の制御に応じて、映像送信装置がその出力遅延時間を制御する構成とする。
【発明の効果】
【０００６】
本発明によれば、出力遅延時間を考慮した映像伝送システムを提供できる。
【図面の簡単な説明】
【０００７】
【図１】映像送信装置、映像受信装置を含む映像伝送システムの一例を示す図である。
【図２】映像送信装置の内部ブロック構成の一例を示す図である。
【図３】映像送信装置のディジタル圧縮処理の一例を示す図である。
【図４】映像送信装置のディジタル圧縮映像信号の一例を示す図である。
【図５】映像送信装置のディジタル圧縮映像信号のパケットの一例を示す図である。
【図６】映像送信装置のＬＡＮパケットの一例を示す図である。
【図７】映像受信装置の内部ブロック構成の一例を示す図である。
【図８】映像受信装置の内部ブロック構成の他の一例を示す図である。
【図９】映像受信装置の遅延時間確認処理のフローチャートの一例を示す図である。
【図１０】映像送信装置の遅延時間回答処理のフローチャートの一例を示す図である。
【図１１】映像受信装置の遅延時間設定処理のフローチャートの一例を示す図である。
【図１２】映像送信装置の遅延時間設定処理のフローチャートの一例を示す図である。
【図１３】映像送信装置の送信処理タイミングと映像受信装置の受信処理タイミングの一例を示す図である。
【図１４】映像受信装置の送信処理タイミングと映像受信装置の受信処理タイミングの他の一例を示す図である。
【図１５】映像受信装置の送信処理タイミングと映像受信装置の受信処理タイミングの他の一例を示す図である。
【図１６】映像送信装置のブロック構成の他の一例を示す図である。
【図１７】時刻同期を行うためのプロトコルの一例を示す図。
【図１８】同期位相調整パケットのタイミングの一例を説明する図である。
【図１９】映像送信装置の符号化信号格納量の遷移の一例を説明する図である。
【図２０】映像受信装置のブロック構成の他の一例を示す図である。
【図２１】映像受信装置の符号化信号格納量の遷移の一例を説明する図である。
【図２２】各ブロックの制御タイミングの一例を示す図である。
【図２３】映像送信装置の動作フローの他の一例を示す図である
【図２４】映像受信装置の動作フローの他の一例を示す図である。
【図２５】ネットワークカメラシステムの例を示す図である。
【図２６】映像受信装置のブロック構成の他の一例を示す図である。
【図２７】映像送信装置の送信処理タイミングと映像受信装置の受信処理タイミングの他の一例を示す図である
【図２８】映像受信装置の遅延時間設定処理のフローチャートの他の一例を示す図である。
【図２９】映像送信装置の送信処理タイミングと映像受信装置の受信処理タイミングの他の一例を示す図である。
【図３０】映像送信装置の送信処理タイミングと映像受信装置の受信処理タイミングの他の一例を示す図である。
【発明を実施するための形態】
【実施例１】
【０００８】
図１は、映像伝送装置であるカメラを含む映像伝送システムの形態の一例である。図１において、１はカメラであり、２から３は別のカメラである。４はＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、５はコントローラであり、カメラ１から３は、ＬＡＮ４を介してコントローラ５と接続されている。６はディスプレイである。ネットワークにおいては、使用するプロトコルとして、例えばデータリンクプロトコルであるＩＥＥＥ８０２．３規格で規定されている方式を用いてもよいし、さらにネットワークプロトコルのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を使用し、その上位のトランスポートプロトコルにはＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）およびＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を用いてもよい。映像や音声の伝送には更に上位のアプリケーションプロトコル、例えばＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）やＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ ＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）等が使用される。その他、ＩＥＥＥ８０２．３規格で規定されているプロトコル方式を用いてもよい。コントローラ５は、各カメラから配信される映像や音声データを受信し、ディスプレイ６、スピーカ７に映像、音声をそれぞれ出力する。ＬＡＮ４の構成としては、例えば、各カメラとコントローラ５が各々１対１で直接接続される形態や、図示しないスイッチングハブ装置を介して接続され、カメラは２台以下や４台以上の接続も可能である。【０００９】
図２は、映像伝送装置であるカメラ１の内部ブロック構成の一例を示す図である。１００はレンズ、１０１は撮像素子、１０２は映像圧縮回路、１０３は映像バッファ、１０４はシステムエンコーダ、１０５はパケットバッファ、１０６は基準信号発生回路、１０７はＬＡＮインタフェース回路、１０８は制御回路、１０９はメモリである。【００１０】
レンズ１００を介して撮像素子１０１で得られた映像信号は、映像圧縮回路１０２に入力され、色調やコントラストの補正が行われて、映像バッファ１０３に格納される。次に、映像圧縮回路１０２は、映像バッファ１０３に格納された映像データを読み出して、例えば、映像圧縮符号化方式としてＩＳＯ／ＩＥＣ１３８１８−２（通称ＭＰＥＧ２Ｖｉｄｅｏ）ＭＰ＠ＭＬ（Ｍａｉｎ  Ｐｒｏｆｉｌｅ＠Ｍａｉｎ  Ｌｅｖｅｌ）規格に準拠した圧縮符号化データを生成する。その他、映像圧縮符号化方式としては、Ｈ．２６４／ＡＶＣ規格方式やＪＰＥＧ規格方式でもよい。また、異なる映像圧縮符号化方式のカメラが混在してもよいし、一つのカメラが映像圧縮符号化方式を選択して切り換えてもよい。生成した圧縮符号化映像データは、システムエンコーダ１０４に入力される。基準信号発生回路１０６は、例えば映像信号フレームの区切りを示すフレームパルスを撮像素子１０１や映像圧縮回路１０２の処理タイミングの基準となる基準信号として、撮像素子１０１、映像圧縮回路１０２に供給する。この基準信号に従って、撮像素子による映像の撮影、撮影した映像の圧縮、および圧縮した映像の送信（後述）が行われる。この基準信号は、各カメラの間で同期した信号であり、同期の方法としては、例えば一台のカメラの同期信号を他のカメラに入力する方法などがある。【００１１】
次に、システムエンコーダ１０４に入力された、圧縮符号化映像データは、以下示すように、パケット化される。【００１２】
図３は、ディジタル圧縮処理の例であり、ディジタル圧縮映像信号のフレーム単位で圧縮されたイントラフレームデータと、前後のフレームのデータよりの予測を用いて差分情報のみの圧縮を行ったインターフレームデータの関係である。２０１はイントラフレーム、２０２はインターフレームである。ディジタル圧縮映像信号は、所定数のフレーム、例えば１５フレームを一つのシーケンスとし、その先頭はイントラフレームとし、残りのフレームはイントラフレームからの予測を用いて圧縮したインターフレームとしている。もちろん、先頭以外にもイントラフレームを配置するようにしてもよい。また、先頭のフレームのみをイントラフレームとし、後続のフレームは全てインターフレームとしてもよいし、全てのフレームをイントラフレームとしてもよい。【００１３】
図４は、ディジタル圧縮映像信号の構成である。３０２はフレーム単位で付加されるピクチャヘッダ、３０１はシーケンス単位で付加されるシーケンスヘッダである。シーケンスヘッダ３０１は、同期信号及び伝送レート等の情報により構成される。ピクチャヘッダ３０２は、同期信号及びイントラフレームかインターフレームかの識別情報等により構成される。通常、各データの長さは情報量により変化する。このディジタル映像圧縮信号は、後述のトランスポートパケットに分割されてパケット列となる。【００１４】
図５はディジタル映像圧縮信号のトランスポートパケットの構成例である。４０はそのトランスポートパケットであり、１パケットは固定長、例えば、１８８バイトで構成され、パケットヘッダ４０１と、パケット情報４０２により構成されている。図４で説明したディジタル圧縮映像信号は、パケット情報４０２の領域に分割され配置され、また、パケットヘッダ４０１はパケット情報の種類等の情報により構成される。【００１５】
システムエンコーダ１０４によりパケット化されたディジタル映像圧縮信号は、パケットバッファ１０５に一旦格納され、パケットバッファ１０５から読み出されたパケット列は、ＬＡＮインタフェース回路１０７に入力される。【００１６】
図２のＬＡＮインタフェース回路１０７では、入力されたパケット列を、例えばＩＥＥＥ８０２．３規格に準拠したＬＡＮパケットにパケット化して出力する。【００１７】
図６は、システムエンコーダ１０４によって生成されたパケット列のＬＡＮパケット化の例を示す図である。ＬＡＮパケット６０は、例えば1パケットが最大１５１８バイトの可変長で、ＬＡＮパケットヘッダ６０１とＬＡＮパケット情報６０２で構成される。システムエンコーダ１０６によって生成されたトランスポートパケット４０は、前述のネットワークプロトコルに従って、ＬＡＮパケット情報６０２の領域にデータ誤り検出符号などと共に格納され、各カメラを識別するためのＬＡＮ４上におけるアドレス情報などが格納されるＬＡＮパケットヘッダ６０１が付加されてＬＡＮパケット６０としてＬＡＮに出力される。【００１８】
また、ＬＡＮインタフェース回路１０７では、ＬＡＮ４に接続されている機器との制御のための情報のやり取りが行われる。これは、制御回路１０８からの指示などの情報をＬＡＮパケット情報６０２に格納し、ＬＡＮ４上に送信、あるいはＬＡＮ４から受信したＬＡＮパケット６０のＬＡＮパケット情報６０２から情報を取り出し制御回路１０８に伝達することで行われる。【００１９】
図７は、コントローラ５の内部ブロック構成の一例を示す図である。５０１１〜５０１３はＬＡＮインタフェース回路、５０２１〜５０２３はシステムデコーダ、５０３１から５０３３は映像伸張回路、５０４は画像処理回路、５０５はＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）回路、５０６は基準信号発生回路、５０７は制御回路、５０８はメモリである。【００２０】
図７の説明においては、システムデコーダ５０２１〜５０２３、映像伸張回路５０３１〜５０３３、画像処理回路５０４はハードウェアとして説明される。しかしこれらは、制御回路５０７が各々に対応する機能を持つプログラムをメモリ５０８に展開して実行することにより、各機能をソフトウェアでも実現可能である。以下では説明の簡略化のため、各機能に対応するプログラムを制御回路５０７が実行する場合も含め、システムデコーダ５０２１〜５０２３、映像伸張回路５０３１〜５０３３、画像処理回路５０４が動作主体として各処理を実行するように説明する。【００２１】
カメラ１〜３で生成されたＬＡＮパケット６０は、それぞれＬＡＮインタフェース回路５０１１〜５０１３へ入力される。カメラ１から入力されたＬＡＮパケット６０は、ＬＡＮインタフェース回路５０１１において、ＬＡＮパケットヘッダ６０１が取り除かれ、前述のネットワークプロトコルに従い、ＬＡＮパケットデータ６０２からトランスポートパケット４０が取り出される。トランスポートパケット４０は、システムデコーダ５０２１に入力され、トランスポートパケット４０から前述のパケット情報４０２が取り出され、結合されて、図４で示したディジタル圧縮映像信号となる。このディジタル圧縮映像信号は、映像伸張回路５０３１において、伸張処理が行われ、ディジタル映像信号として画像処理回路５０４に入力される。カメラ２、３から入力されるＬＡＮパケット６０についても同様の処理が行われ、映像伸張回路５０３２、５０３３からディジタル映像信号が画像処理回路に入力される。画像処理回路５０４では、各カメラからの映像信号の歪補正、座標の置き換えによる視点変換、合成処理等を施し、ＯＳＤ回路５０５に出力、あるいは、各カメラからの映像信号による物体形状の認識、距離の計測などの画像処理を行う。ＯＳＤ回路５０５では、画像処理回路５０４からの映像信号に文字や図形を重畳し、ディスプレイ６に出力する。【００２２】
基準信号発生回路５０６は、例えば映像信号フレームの区切りを示すフレームパルスを画像処理回路５０４やＯＳＤ回路５０５の処理タイミングの基準となる基準信号として、画像処理回路５０４、ＯＳＤ回路５０５に供給する。この基準信号は、例えば１フレーム分の映像伸張処理が完了した時点を基準とし発生され、基準信号の調節は、制御回路５０７が基準信号発生回路５０６を制御することで行われる。【００２３】
また、ＬＡＮインタフェース回路５０１１から５０１３では、各カメラとの制御のための情報のやり取りを行うため、制御回路５０７からの指示などの情報を、ＬＡＮパケット情報６０２に格納し、各カメラに送信、あるいは各カメラから受信したＬＡＮパケット６０のＬＡＮパケット情報６０２から情報を取り出し制御回路５０７に伝達する。【００２４】
図８は、コントローラ５の内部ブロック構成の他の一例を示す図である。５０１はＬＡＮインタフェース回路であり、図示しないスイッチングハブ装置を介してカメラ１から３に接続される。ＬＡＮインタフェース回路５０１では、前述のＬＡＮパケットヘッダ６０１に格納されているアドレス情報から、各カメラからのＬＡＮパケットを区別し、前述のネットワークプロトコルに従い、ＬＡＮパケット６０のＬＡＮパケット情報６０２から取り出したトランスポートパケット４０をシステムデコーダ５０２１〜５０２３に振り分けて出力する。システムデコーダ５０２１〜５０２３以降の処理は、図７の説明と同様である。【００２５】
また、ＬＡＮインタフェース回路５０１では、各カメラとの制御のための情報のやり取りを行うため、制御回路５０７からの指示などの情報を、ＬＡＮパケット情報６０２に格納し、各カメラに送信、あるいは各カメラから受信したＬＡＮパケット６０のＬＡＮパケット情報６０２から情報を取り出し制御回路５０７に伝達する。【００２６】
図９は、本実施例における、コントローラによる遅延時間取得処理のフローチャートである。コントローラ５は、まずＬＡＮ４に接続されているカメラを確認する（ステップＳ１０１）。これは例えばＬＡＮ４に接続されている装置全てにパケットを送信できるブロードキャストパケットにより実現できる。また、各カメラに対し個別に確認のパケットを送信してもよい。次にＬＡＮ４に接続されている各カメラに対し、それぞれのカメラの処理遅延時間を問い合わせ（ステップＳ１０２）、各カメラからの処理遅延時間の回答を受信する（ステップＳ１０３）。これにより、コントローラ５は、ＬＡＮ４に接続されているカメラの処理遅延時間を取得することができる。これらの処理は、例えばコントローラ５の電源立ち上げ時に行われる。【００２７】
図１０は、本実施例における、カメラにおける遅延時間回答処理のフローチャートである。前述のように、コントローラ５から、遅延時間問い合わせ要求を受信した場合（ステップＳ３０１）、そのカメラで設定可能な遅延時間、例えば最短遅延時間から設定可能な最長遅延時間までの範囲をコントローラ５に対し回答として送信する（ステップＳ３０２）。これにより、ＬＡＮ４に接続されているカメラは、そのカメラの処理遅延時間をコントローラに伝達することが可能になる。カメラは、コントローラ５からの要求より前に、又はコントロール５からの要求に応じ、取得する映像の圧縮方法、映像のビットレートに基づいて最短遅延時間を算出し、算出した最短遅延時間をメモリ１０９に格納し、必要に応じメモリ１０９から最短遅延時間を読み出して上記のとおりコントローラ５に対し通知する。コントローラ５からの要求に応じてカメラが最短遅延時間を算出する場合、その要求時点における、カメラでの映像の圧縮方法やビットレートに応じた最短遅延時間を算出できるという効果がある。特にコントローラ５がカメラに圧縮方法やビットレートの変更を指示可能な場合には効果的である。【００２８】
図１１は、コントローラによる遅延時間設定処理のフローチャートである。まず設定する処理遅延時間を決定する（ステップＳ２０１）。ここでは、図９の遅延時間取得処理により得られた各カメラの最短遅延時間の中で一番長い時間を、各カメラに設定する処理遅延時間とする。ただし、各カメラの最長遅延時間の中で一番短い時間よりも短い処理遅延時間がカメラに設定されることを要件とする。【００２９】
この要件が満たされない場合は、コントローラ５は、満たされない最短遅延時間を送信したカメラに対し、最短遅延時間の短縮要求を送信し、また、満たされない最長遅延時間を送信したカメラに対し、最長遅延時間の延長要求を送信する。最短遅延時間の短縮要求を受け取ったカメラは、例えば、圧縮処理方法を変更することにより、最短処理時間の短縮を試みることが可能である。コントローラ５は、前記短縮要求に対して各カメラから受け取った最短遅延時間、最長遅延時間が上記要件を満たすか判断する。要件がなおも満たされない場合、コントローラ５は、エラーを出力する。要件が満たされた場合、コントローラ５は、上記短縮要求により短縮された最短遅延時間を、各カメラに設定する処理遅延時間とする。【００３０】
次に、コントローラ５は、各カメラに対し、決定した処理遅延時間の設定を要求し（ステップＳ２０２）、各カメラからの設定結果の回答を受信する（ステップＳ２０３）。これにより、コントローラ５はＬＡＮ４に接続されているカメラに対し処理遅延時間の設定が可能となる。【００３１】
図１２は、本実施例における、カメラにおける遅延時間設定処理のフローチャートである。前述のように、コントローラ５から、遅延時間の設定要求を受信した場合（ステップＳ４０１）、カメラは遅延時間を設定し（ステップＳ４０２）、その結果をコントローラに対し回答として送信する（ステップＳ４０３）。これにより、ＬＡＮ４に接続されているカメラは、コントローラからの要求に応じて、処理遅延時間を設定することが可能になる。【００３２】
図１３は、本実施例における各カメラの送信処理タイミングとコントローラ５の受信処理タイミングの一例を示す図である。同図中、（１−１）〜（１−４）はカメラ１の処理タイミング、（２−１）〜（２−５）はカメラ２の処理タイミング、（３−１）〜（３−８）はコントローラ５の処理タイミングを示す。【００３３】
（１−１）は基準信号１であり、（１−２）は撮像素子１０１による撮像処理を行っている撮像タイミング１、（１−３）は映像圧縮回路１０２による映像圧縮処理を行っている映像圧縮タイミング１、（１−４）はＬＡＮインタフェース回路１０７による送信処理を行っている送信タイミング１である。ここでは、基準信号毎に１フレーム分の映像信号の処理を行っている。カメラ１は、基準信号１を処理の基準として、例えば基準信号１のパルスのタイミングで撮像処理を開始し、その後、映像圧縮処理、送信処理を順に行っていく。カメラ１では、基準信号１から送信タイミング１の送信処理開始までの時間ｄ１が処理遅延時間となる。【００３４】
また、（２−１）はカメラ２の基準信号２であり、（２−２）はカメラ２の撮像素子１０１による撮像処理を行っている撮像タイミング２、（２−３）は映像圧縮回路１０２による映像圧縮処理を行っている映像圧縮タイミング２、（２−４）はカメラ２に処理遅延時間の設定が行われない場合のＬＡＮインタフェース回路１０７による送信処理を行っている送信タイミング２である。カメラ２は、基準信号２を処理の基準として、基準信号２のタイミングで撮像処理を開始し、その後、映像圧縮処理、送信処理を順に行っていく。カメラ２では、基準信号２から送信タイミング２までの時間ｄ２が処理遅延時間となる。また、前述のように、カメラ１の基準信号１と、カメラ２の基準信号２は同期している。【００３５】
ここでコントローラ５は、前述のように、カメラ１とカメラ２の処理遅延時間を取得する。取得した結果、カメラ１の処理遅延時間の方がカメラ２の処理遅延時間ｄ２より長いので、カメラ２に対し、処理遅延時間がｄ１となるよう、コントローラ５はカメラ２の処理遅延時間を設定する。（２−５）は処理遅延時間が設定された後の送信タイミング２′である。処理遅延時間の調節は、ここでは例えば、図２に示した、システムエンコーダ１０４からパケットバッファ１０５に格納されたパケット列をＬＡＮインタフェース回路１０７に入力するために読み出すタイミングを調節することにより実現できる。これにより、カメラ１の送信タイミング１と、カメラ２の送信タイミング２′が一致することになる。【００３６】
次に（３−１）は、コントローラ５がカメラ１からのＬＡＮパケットの受信処理を行っている受信タイミング１、（３−２）は映像伸張回路５０３１による映像伸張処理を行っている映像伸張タイミング１、（３−３）は、映像伸張回路５０３１により伸張され得られた１フレーム分のカメラ１の映像出力タイミング１である。また、（３−４）は、コントローラ５がカメラ２からのＬＡＮパケットの受信処理を行っている受信タイミング２、（３−５）は映像伸張回路５０３２による映像伸張処理を行っている映像伸張タイミング２、（３−６）は、映像伸張回路５０３２により伸張され得られた１フレーム分のカメラ２の映像出力タイミング２である。さらに、（３−７）は、コントローラ５における基準信号Ｃ、（３−８）は、コントローラ５がディスプレイ６に出力する表示映像の表示タイミングＣである。【００３７】
コントローラ５は、カメラ１からの受信タイミング１を処理の基準とし、受信処理に引き続き映像伸張処理を順に行っていく。同様にカメラ２からの受信処理に引き続き映像伸張処理を行う。ここで、カメラ１の送信タイミング１と、カメラ２の送信タイミング２′が一致しているので、映像出力タイミング１と映像出力タイミング２は一致する。例えば基準信号Ｃは、映像出力タイミング１および２に合わせて生成され、基準信号Ｃのパルスのタイミングで表示処理を行うことで、例えばカメラ１の映像とカメラ２の映像を合成し、表示タイミングＣで合成映像をディスプレイ６に表示することが可能になる。【００３８】
図１４は、本実施例における各カメラの送信処理タイミングの他の一例を示す図である。コントローラ５は、カメラ２に対し、処理遅延時間がｄ１となるよう、コントローラ５はカメラ２の処理遅延時間を設定するが、この例では、カメラ２は処理遅延時間がｄ１となるよう、映像圧縮処理を開始するタイミングを調節する。この処理遅延時間の調節は、例えば、図２に示した映像圧縮回路１０２から映像バッファに格納された映像データを映像圧縮回路１０２が映像圧縮処理のため読み出すタイミングを調節することにより実現できる。（２−６）は処理遅延時間が設定された後の映像圧縮タイミング２′であり、（２−７）はそれに伴った送信タイミング２′′である。これによりカメラ１の送信タイミング１と、カメラ２の送信タイミング２′′が一致することになる。従って図１３と同様に、カメラ１の映像とカメラ２の映像を合成し、表示タイミングＣで合成映像をディスプレイ６に表示することが可能になる。【００３９】
以上の説明では、処理時間遅延時間を起点である基準信号から終点である送信開始時間までと定義したが、これに限定するものではなく、例えば起点は撮像素子１０１が撮像を開始する時間としてもよく、また終点を各フレームの送信タイミングの送信終了時間としてもよい。【００４０】
また、例えばカメラごとの圧縮方式の違いやビットレートの違いによる映像伸張処理時間の差分をカメラに対する設定処理時間に加味することで各カメラの映像出力タイミングを合わせることも可能である。この場合、コントローラ５は、映像伸張処理時間をカメラごとに測定し、最も長い映像伸張処理時間からの差分を追加的な処理遅延時間として、各カメラの処理遅延時間に合計したものを各カメラに処理遅延時間として送信し、各カメラに新たな処理遅延時間の設定を指示することで、コントローラ５における各カメラの映像出力タイミング（（３−３）、（３−６）等）をより正確に揃えることが可能である。【００４１】
また、各カメラの処理遅延時間の取得は、コントローラ５からの問い合わせにより実現する例を示したが、例えばカメラの電源立ち上げ時やＬＡＮ４に接続された時に、各カメラ側からコントローラ５に対して通知してもよい。【００４２】
また、以上の説明では、映像信号の送受信について説明したが、音声信号の伝送も同様に可能である。【００４３】
以上のように、各カメラにおける遅延時間を調節することにより、表示タイミングの合った映像を表示することが可能になる。【００４４】
また、コントローラ５は各カメラからの映像の表示タイミングずれを吸収する処理をする必要がないので、処理が複雑になることなく表示タイミングの合った映像を表示することが可能になる。
【実施例２】
【００４５】
次に、映像伝送装置であるカメラを含む映像伝送システムの形態の別の例について説明する。実施例１と同様の部分については説明を省略する。【００４６】
実施例１では、図１３や図１４に示すように、カメラの基準信号１と基準信号２が周期および位相も含めて同期している例を説明した。しかしながら現実にはシステム同士の間で基準信号の周期（または周波数）のみ一致しているものの位相は必ずしも一致していないという場合もある。本実施例においては、そのような場合を想定して、基準信号１と基準信号２の周期は一致しているが位相は一致していないという場合について説明を行う。【００４７】
本実施例においては、各カメラとコントローラの間で、時刻を同期させる仕組みを設けている。時刻を同期させる方法としては、例えばＩＥＥＥ１５８８に記載された方法を用いることができる。そのような方法を用いてシステム間で定期的に時刻を同期させ、その時刻を用いてシステム内における基準信号の発振周期を例えばＰＬＬ（Ｐｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ）を用いて調節する。このようにすることにより、基準信号の周期をシステム間で一致させることができる。【００４８】
図１５は本実施例における各カメラの送信処理タイミングの一例を示す図である。（１−０）、（２−０）はそれぞれカメラ１、カメラ２の基準時刻（内部時計）を示す。上記の方法により定期的（例えば、Ｔ０，Ｔ１）に同期をとることにより、これらは互いに一致させている。【００４９】
カメラ１においては基準信号１（１−１）を内部で発振して生成する。その際、基準時刻１（１−０）を基に発振周期を調節する。同様にカメラ２においては基準信号２′（２−１）を内部で発振して生成する。その際、基準時刻２（２−０）を基に発振周期を調節する。【００５０】
このように、各カメラはそれぞれの基準時刻を基に基準信号の発振周期を調整するため、基準信号１と基準信号２′′の周期は一致する。しかしながら互いの位相は必ずしも一致していない。【００５１】
基準時刻Ｔ０から基準信号１までの時間をｓ１とする。カメラ１はコントローラ５に対して処理遅延時間を通知する際（図９のステップＳ１０３）、ｓ１およびｄ１を通知する。同様に基準時刻Ｔ０から基準信号２までの時間をｓ２とし、カメラ２はコントローラ５に対してｓ２およびｄ２を通知する。ｄ１、ｄ２は、実施例１同様、最短遅延時間から設定可能な最長時間までの範囲としても良い。【００５２】
各カメラは、例えば、基準時刻補正時を起点として、基準信号発生回路１０６が基準信号を発生したときの基準時刻を参照することによりｓ１、ｓ２を測定可能である。あるいは、カウンタを別途カメラに設け、カメラがカウンタを基準時刻補正時にスタートさせ、基準信号発生回路１０６が基準信号を発生するまでの時間をカウンタで測定することによっても、ｓ１、ｓ２を測定可能である。  コントローラ５は、設定する遅延時間を決定（図１０のステップＳ２０１）する際、基準信号１と基準信号２の位相の違いを考慮に入れて決定する。例えば図１５において、時刻Ｔ０を基準として考えたとき、この場合はｓ１＋ｄ１のほうがｓ２＋ｄ２より長いので、カメラ２に対し、合計の遅延時間がｓ１＋ｄ１＝ｓ２＋ｄ２′となるように、ｄ２′＝ｓ１＋ｄ１−ｓ２を設定する。【００５３】
（２−５）は処理遅延時間が設定された後の送信タイミング２′′′である。これにより、カメラ１の送信タイミング１と、カメラ２の送信タイミング２′′′が一致することになる。【００５４】
なお、上記実施例ではカメラ１が処理遅延時間をコントローラ５に通知する際、ｓ１およびｄ１を通知する例を示したが、その代わりにそれらの合計時間Ｄ１＝ｓ１＋ｄ１（カメラ２の場合はＤ２＝ｓ２＋ｄ２）のみを通知するようにしても良い。その場合は、コントローラ５はカメラ２に対し、合計時間Ｄ２がＤ１と等しくなるよう、Ｄ２′＝Ｄ１を設定する。このようにしても同様の効果を得ることが可能である。【００５５】
各カメラは、実施例１同様、例えば起動時にコントローラ５に遅延時間を通知しても、コントローラ５からの要求に応じて遅延時間をコントローラ５に通知しても良い。後者の場合、カメラは、その時点における基準時刻−基準信号間の時間差をコントローラ５に通知できる。また、コントローラ５からの指示によりカメラの映像圧縮方法やビットレートを変更可能な場合に、映像圧縮方法やビットレートの変更に起因して変化するカメラの処理遅延時間を反映した、その時点での処理遅延時間を、カメラは、コントローラ５に通知できる。このため、コントローラ５は、その要求時点における、各カメラにおける基準時刻―基準信号間の時間差や、映像圧縮方式やビットレートを反映して、カメラに設定する処理遅延時間を算出でき、コントローラ５における各カメラ映像の出力タイミングの同期精度向上が期待できる。【００５６】
なお、各カメラにおいて時刻を同期させる処理は、図２の制御回路１０８内で行っても良いし、時刻の同期を行うための専用回路を制御回路１０８とは別に設けて行っても良い。後者の場合、当該専用回路を時刻の同期処理に専念させることにより、同期の精度をより高められることが期待できる。
【実施例３】
【００５７】
図１６に本発明の実施例３のブロック図を示す。以下、本図を用いて実施例３を説明する
。本実施例では、毎秒３０フレーム／ｓｅｃで取り込まれる１９２０ｘ１０８０ピクセルのビデオ画像をＨ．２６４／ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０）の規格に準拠して映像符号化し、また４８ＫＨｚのサンプリングレート取り込まれた１２ビット音声データをＭＰＥＧ１ＬａｙｅｒＩＩの音声符号化処理を施しパケット多重化し、ネットワークを介して送信するネットワークカメラである。ネットワークにおいては、使用するプロトコルとして、例えばデータリンクプロトコルであるＩＥＥＥ８０２．３規格で規定されている方式を用いることを前提とする。なお、本実施例では、音声については従来からあるＰＣＭサンプリングし、ＭＥＰＧ１ＬａｙｅｒＩＩによる符号化送信を行うことを前提とし、図面にブロック構成を図示するのみに留める。【００５８】
図１６のネットワーク送受信部２９では、システム起動後、ＩＥＥＥ８０２．３規格に準拠するプロトコルにしたがって、端子１０につながった図示しないネットワークに接続された受信機と通信リンクを行う。ＩＥＥＥ８０２．３入力されたパケット列を、例えばＩＥＥＥ８０２．３規格に準拠したＬＡＮパケットとして受信する。ＩＥＥＥ１５８８：ＩＥＥＥ１５８８−２００２  Ｐｒｅｃｉｓｉｏｎ  Ｃｌｏｃｋ  Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ  Ｐｒｏｔｏｃｏｌ  ｆｏｒ  Ｎｅｔｗｏｒｋｅｄ  Ｍｅａｓｕｒｅｍｅｎｔ  ａｎｄ  ＣｏｎｔｒｏｌＳｙｓｔｅｍｓに記載されるＰＴＰ（Ｐｒｅｃｉｓｉｏｎ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）に従う方法でも良い。本実施例では、簡素化したプロトコルを想定して、時刻同期システムについて説明する。【００５９】
本システムでは、受信機側を時刻同期のためのサーバと定義し、送信機側をサーバ側の時刻に合わせるクライアント側と定義する。【００６０】
図１７に、サーバ側とクライアント側が時刻同期をとるために行うパケット送受信の方法を示す。
サーバ側は、時刻同期を取るために、Ｔ１時刻地点で同期情報を取るための最初のパケットを送信機側に送信する。本パケットは、Ｓｙｎｃパケットと呼ばれ、このパケットを受信した図１６のネットワーク送受信部２９は、パケット分離部１１にパケットを送信する。さらにパケット分離部１１はＳｙｎｃパケットであることを識別子より判別し、後段の時刻情報抽出部１２に送る。時刻情報抽出部１２では、パケットに記載されたサーバ側のパケット送信時刻（Ｔ１）と、時刻情報抽出部１２にパケットが到着した時刻（Ｔ２）を送信機内の基準時刻カウンタ１４より入手する。基準時刻カウンタは後述するように基準クロックリカバリ１３において生成されたシステムクロックを用いて、基準時刻をカウントアップする。次に、遅延情報生成部１５では、クライアントからサーバへ送信するパケット（ＤｅｌａｙＲｅｑ）を生成し、ネットワーク送受信部２９に送る。ネットワーク送受信部２９では、本パケットを送信するタイミング（Ｔ３）を基準時刻カウンタから読み取り、受信機（サーバ）に送信する。同時にＴ３の情報を時刻情報抽出部１２に転送する。サーバにおいては、ＤｅｌａｙＲｅｑのパケットが到着したタイミング（Ｔ４）を読み取り、これをＤｅｌａｙＲｅｓｐのパケット内に記述して、クライアント側に送信する。送信機側（クライアント）に到着したＤｅｌａｙＲｅｓｐパケットは、パケット分離部１１に送信され、ＤｅｌａｙＲｅｓｐパケットと確認された後、時刻情報抽出部１２に送信される。時刻情報抽出部１２では、ＤｅｌａｙＲｅｓｐパケット内に記述されたＴ４情報を抽出する。以上の過程で、時刻情報抽出部１２は、Ｔ１、Ｔ２、Ｔ３およびＴ４の時刻情報を得ることが可能となる。【００６１】
サーバ・クライアント間のパケット送受信時の時間差は、ネットワークの伝送遅延Ｔnｅｔと両者の装置の基準時刻の差Ｔｏｆｆｓｅｔ（クライアントの時刻―サーバ側の時刻）を考えるとＴ２−Ｔ１＝Ｔｎｅｔ＋Ｔｏｆｆｓｅｔ、Ｔ４−Ｔ３＝Ｔｎｅｔ−Ｔｏｆｆｓｅｔとなる（ただし、サーバ／クライアント間のネットワークの伝送遅延は、上りと下りで同時間と仮定している）ため、Ｔｎｅｔ＝（Ｔ２−Ｔ１＋Ｔ４−Ｔ３）／２、Ｔｏｆｆｓｅｔ＝Ｔ２−Ｔ１−Ｔｎｅｔとして求めることができる。【００６２】
時刻情報抽出部１２は、Ｔ１、Ｔ２、Ｔ３およびＴ４情報が得られた段階で、上記計算によりＴｏｆｆｓｅｔを計算する。さらに、時刻情報抽出部１２は、Ｔｏｆｆｓｅｔ分、基準時刻カウンタ１４を現在時刻から戻すように制御する。【００６３】
上記と同様、複数回、Ｓｙｎｃ、ＤｅｌａｙＲｅｑ，ＤｅｌａｙＲｅｓｐのパケットの送受信を繰り返し、数回にわたりＴｏｆｆｓｅｔを計算し、Ｔｏｆｆｓｅｔが０に近づく方向に、基準クロックリカバリ部１３に制御情報を送る。具体的には、基準クロックリカバリ部１３はたとえば、ＶＣＸＯ（Voltage-Controlled Crystal Oscillator）で構成しておき、Ｔｏｆｆｓｅｔがプラス値となっており、クロックを遅くしたい場合には、基準クロックリカバリ部１３へ供給する電圧を下げ、反対にＴｏｆｆｓｅｔがマイナス値で、クロックを早めたい場合には、基準クロックリカバリ部１３へ供給する電圧を上げる。【００６４】
この制御を、Ｔｏｆｆｓｅｔの絶対値に応じて、電圧制御幅を変更するフィードバック制御を設けることにより基準クロックリカバリ部１３から基準時刻カウンタ１４へ送出するクロックを安定させ、サーバ側に同期した周波数に収束させることが可能である。また、送信機側は受信機側と同期して基準時刻カウンタ１４を更新することが可能となる。【００６５】
ネットワーク送受信部２９は、受信機側から受け取ったパケットのうち、時刻同期を取るためのパケットのほか、同期位相情報が含まれるパケットについてもパケット分離部１１に送信する。パケット分離部１１では、同期位相情報が含まれるパケットについては、同期位相情報抽出部１６に送付する。本パケットには、送信機の動作同期信号のタイミングを、基準時刻カウンタ１４を基準として、指し示したものである。例えば、図１８に示すように、ネットワーク送受信部２９が、受信した同期位相情報が含まれるパケット（以下ＳｙｎｃＰｈａｓｅと示す）３０を受信し同期位相情報抽出部１６に送る。【００６６】
同期位相情報抽出部１６では、ＳｙｎｃＰｈａｓｅ内に記載された基準同期信号の発生タイミングＴＡを抽出する。ＴＡは、送信機側で基準同期信号を発生すべき基準時刻カウンタ値を示したものである。【００６７】
パケット内の格納位置を送受信側で規格化しておき、そのシンタックスに基づいてデータを解析すれば一意にＴＡ情報の格納位置を特定し、データを抽出することが可能である。抽出されたタイミングＴＡは、基準同期信号発生器１７に転送される。【００６８】
基準同期信号発生器１７は図１８に示すように基準時刻カウンタ１４から送られる基準時刻を参照し、ＴＡのタイミングになった時点で、基準同期信号３２を生成し、センサ制御部１８に送信する。同様に後続のＳｙｎｃＰｈａｓｅ３１以降のパケットが到着するごとに随時基準同期信号３３を生成する。基準同期信号を受けとったセンサ制御部１８は、それまで図１８の３４、３５のように周期Ｔｍｓでフリーラン動作にて生成していたセンサ垂直同期信号を３２の基準同期信号のタイミングにセンサ垂直同期信号の発生タイミングを変更する。【００６９】
その後も、基準クロックリカバリ１３から受け取った基準クロックに基づいて周期Ｔｍｓをカウントし、周期Ｔｍｓごとにセンサ垂直同期信号を発生する（図１８の３６〜３９）。また、基準同期信号３３以降の同期信号については、センサ制御部１８で生成した垂直同期信号と同一のタイミングになっているため、位相ずれが検知されない限りは、そのまま周期Ｔｍｓごとの信号生成を継続する。【００７０】
その後の基準同期信号到着時に、センサ制御部１８で生成したセンサ垂直同期との位相が同一もしくは、ある時刻範囲内であることが一回、もしくは数回確認されれば、受信機側と送信機側の想定する同期信号のタイミングがそろったとみなし、位相調整の確認完了信号をシステム制御部２８に送信する。【００７１】
基準同期信号と垂直同期信号（例えば３３と３９)との間で位相ずれが見つかった場合には、受信機側での異常などにより同期信号のタイミングが変わったとみなし、システム制御部２８に位相ずれの通知を行う。上記のように、位相調整のための情報（ＳｙｎｃＰｈａｓｅ）の送信間隔タイミングが垂直同期信号の生成周期Ｔｍｓより相対的に長くとも、センサ制御部１８において生成される垂直同期信号は、一度位相調整を行った段階で基準クロックと基準時刻を基に精度高く垂直同期信号を生成することが可能となる。この点において、本方式は、送信によるネットワークトラフィック低減にも効果的である。【００７２】
また、定期的に送信されるＳｙｎｃＰｈａｓｅによって、システムのなんらかの異常により同期信号の位相がずれていることを検知することが可能であり、その後のエラー修正の制御を行うことが可能となる。【００７３】
システム制御部２８では、位相調整の確認完了信号を受信した後、レンズ部１９、ＣＭＯＳセンサ２０、ディジタル信号処理部２１、映像符号化部２２システムＭｕｘ部を制御し、映像符号化を開始する。映像符号化については、一般的なディジタル映像の撮像、ディジタル圧縮符号化を行う。例えば、レンズ部１９では、システム制御部２８から受けたＡＦ（ＡｕｔｏＦｏｃｕｓ）のためのレンズ部の移動を行い、ＣＭＯＳセンサ２０では、レンズ部から受光し出力値を増幅した後、ディジタル映像としてディジタル信号処理部２１に出力する。ディジタル信号処理部２１では、ＣＭＯＳセンサ２０から受け取った例えばＢａｙｅｒ配列状のＲＡＷデータから、ディジタル信号処理を施し、輝度、色差信号（ＹＵＶ信号）に変換したのち、映像符号化部２２に転送する。【００７４】
映像符号化部では、各垂直同期間内にキャプチャされた画像群をピクチャとしてまとまった単位として扱い、符号化処理をしていく。このとき、符号化遅延時間が数フレーム期間にならないように、例えば、イントラフレーム内での予測を用いるＩピクチャ（Ｉｎｔｒａ  Ｐｉｃｔｕｒｅ）もしくは、前方予測のみを用いて、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ  Ｐｉｃｔｕｒｅ）を生成する。この際、一定ビットレートのビット発生量に近づくように映像符号化部２２は横１６画素×縦１６画素からなる各ＭＢ（Ｍａｃｒｏｂｌｏｃｋ）を符号化した後の符号化量を調整する。具体的には量子化ステップを調整することで、各ＭＢごとの発生符号量を制御することが可能となる。数ＭＢの処理が終了するまで、システムＭｕｘ部ではビットストリームを内部バッファに格納し、所定のＭＢ数分格納された段階で、システムＭｕｘ部では、ＭＰＥＧ２ＴＳストリームとしてビデオストリームを１８８バイトの固定長を持つＴＳパケット化し出力する。さらにネットワーク送受信部５９において、ＭＡＣパケット化され、ネットワークを介して受信機側に送信される。【００７５】
図１９は、システムＭｕｘ部における内部バッファのストリーム蓄積量の遷移状況を例示した図である。本図では、便宜上、ＭＢ期間ごとに各ＭＢを符号化した符号が瞬間的にバッファに蓄積され、各ＭＢ期間ごとに一定のスループットでネットワークにストリームが出力されるものとしている。【００７６】
上記システムＭｕｘ部におけるストリームの出力開始タイミングは、一定ビットレートで外部に出力した際に、ビットストリームの符号発生量（スループット）が変動し、システムＭｕｘ部のバッファ内に格納した符号化データがもっとも少なくなった場合（図１９の９０のタイミング）でもシステムＭｕｘ部のバッファが枯渇しない所定の待機時間（図１９の９１）だけ待つことにより制御される。一般的に、これらの制御は実際の符号化量を監視しつつ、バッファの遷移に応じて上記量子化ステップを変更することにより、所定のＭＢ数期間内における符号化量を制御し、スループットを出力ビットレートに対して一定のジッタ範囲に抑えることが可能である。この収束に必要な時間分だけ図１９の９１の待機時間分の期間を設けることで、システムＭｕｘ部のバッファが枯渇しないシステムを実現することができる。【００７７】
本期間を送信機側の仕様として規定することで、その後の伝送遅延を受信機側で計算することが可能となる。【００７８】
次に図２０を用いて受信機側のブロック構成および動作を説明する。基準クロック生成部５１では、受信機側の基準クロックが生成される。本基準クロックは、図１７で示したサーバ側とクライアント側での時刻同期を取るための基準クロックとなり、５１において水晶発信器などによって他の外部同期を用いずにフリーラン動作によってクロックが生成される。【００７９】
本クロックを基準として基準時刻カウンタ５２ではサーバ側の基準時刻をカウントする。時刻制御パケット生成部５３では、本基準時刻を用いて図１７で示した時刻同期のためのパケット（Ｓｙｎｃ）の生成を行う。Ｓｙｎｃの送信時にパケット内に記載するＴ１は、本ブロックで生成される。生成された（Ｓｙｎｃ）のパケットはパケット多重化部５８において他のパケットと多重化され、さらにネットワーク送受信部５９において変調され、ネットワーク端子６０より外部に接続されたネットワークを介して送信部に伝送される。一方、送信部より受け取ったＳｙｎｃＲｅｑパケットの受信時に、ネットワーク送受信部５９より受信タイミングの通知を受け、時刻制御パケット生成部５３において基準時刻(図１７のＴ４)が記録される。本Ｔ４を用いて時刻制御パケット生成部５３においてＤｅｌａｙＲｅｓｐパケットが生成され、パケット多重化部５８、ＮＷ送受信部５９を介して送信機側に伝送される。【００８０】
次に、受信機側の垂直同期タイミングの生成について説明する。基準クロック生成部５１において生成された基準クロックを基準として、出力同期信号生成部５５では出力時の垂直同期信号が生成される。本垂直同期信号は、送信機同期位相計算部５６に送られる。ここでは、後述のように送信機側の垂直同期信号の位相を受信機側の出力時の垂直同期信号の位相より計算し、基準時刻カウンタにおけるカウンタ情報を用いて、図１８に示したＳｙｎｃＰｈａｓｅのパケットを生成する。ＳｙｎｃＰｈａｓｅパケットは、パケット多重化部に送信され、Ｓｙｎｃパケットと同様にネットワーク送受信部５９、ネットワーク端子６０より送信機側に送信される。【００８１】
次に、受信機における映像の復号手順について説明する。ネットワーク送受信部５９により受信された映像に関するＭＰＥＧ２ＴＳストリームを含むＭＡＣパケットは、システムＤｅｍｕｘ部６１に転送する。システムＤｅｍｕｘ部６１では、ＴＳパケットの分離、映像ストリームの抽出が行われる。抽出された映像ストリームについては、映像復号部６２に転送される。音声ストリームについては音声複合部６５に送られ、ＤＡコンバータ６６でＤｉｇｉｔａｌ／Ａｕｄｉｏ変換をかけたのちスピーカに出力される。【００８２】
システムＤｅｍｕｘ部６１では、内部バッファに所定の待機時間だけストリームを蓄積した後、映像復号部６２にストリームを出力し復号を開始する。【００８３】
図２１に、システムＤｅｍｕｘ部６１における内部バッファにおいて、ストリームが蓄積量される際の遷移状況の一例を示す。本図においては、便宜上、ストリームが一定のビットレートでネットワークより供給され、各ＭＢ単位の時間ごとに瞬間的に映像復号部６２において各ＭＢ分のストリームが出力されるようにモデル化して示す。【００８４】
時刻Ｔ０の段階からストリームの入力が開始され、期間９２に示す期間だけ待機してから、ストリームの復号を開始する。これは、タイミング９３に示すようにストリームの格納量がもっとも少なくなったときにも、アンダーフローしないようにするために待機時間を設ける。この待機時間は、送信機側がネットワークの伝送ビットレートに発生符号量を収束させるために必要な最低の収束時間がわかる場合、その収束時間以上の時間を待機時間として規定することで実現可能である。【００８５】
Ｄｅｍｕｘ部６１から読み出された映像ストリームは映像復号部６２において復号され、復号画像が生成される。生成された復号画像は、表示処理部６３に転送され、垂直同期信号に同期したタイミングによってディスプレイ６４に送信され、動画として表示される。また、例えば外部の図示されていない画像認識用機器などに送信するために外部端子６９から映像信号として出力される。【００８６】
図２２は、送信機から受信機の各機能ブロックにおける制御タイミングの関係を示した図である。【００８７】
図２２の垂直同期信号４０は図１６のセンサ制御部１８が生成する垂直同期信号、図２２中のセンサ読み出し信号４１は、図１６のＣＭＯＳセンサからデータが読み出されるタイミング、図２２中の画像取り込み４２は図１６の映像符号化部２２への映像入力タイミング、図２２中の符号化データ出力４３は、図１６の２２の映像符号化部２２から映像符号化ストリームが出力されるタイミング、図２２中の符号化データ入力４４は、図２０の映像復号部６２に符号化データが入力されるタイミング、図２２中の復号側出力垂直同期信号は、図２０の表示処理部６３からディスプレイもしくは外部端子６９に出力される垂直同期信号、さらに図２２の復号画像出力４６は、図２０の表示処理部６３からディスプレイもしくは外部端子６９に出力する画像の有効画素期間を示す。便宜上、垂直同期タイミング４０からセンサ読み出しタイミング４１までの垂直ブランキング期間と、復号側出力垂直同期信号から、復号画像出力４６までの垂直ブランキング期間と同じと考える。【００８８】
ここでは、送信機側のＣＭＯＳセンサ（図１６の２０）の画像出力開始（図２２の４１の各フレームの開始時刻）から、受信機側が受信したパケットを受信して復号画像としてディスプレイもしくは他の機器に出力する時刻（図２２の４６）までの遅延時間（図２２のＴｄｅｌａｙ）が設計仕様などにより特定できる場合を想定する。Ｔｄｅｌａｙは送信機側の映像取り込みから符号処理を経由してパケットを送信するまでの遅延時間とネットワークの転送遅延、および受信機側のパケット取り込みから復号処理を介して出力までに必要とされる遅延時間を合計することで定義できる。【００８９】
図２０の送信機同期位相計算部５６では、受信機側の出力垂直同期信号４５の出力タイミング（ｔａ、ｔｂ、ｔｃ・・・）の基準時刻を計算する。これは、ある１サンプルの出力垂直同期信号の基準時刻を参照し、フレーム周期Ｔｍｓに相当する基準時刻カウンタを加算していくことで、計算可能である。ｔａ、ｔｂ、ｔｃを計算した後、それよりＴｄｅｌａｙさかのぼる時刻（ＴＡ，ＴＢ、ＴＣ・・・）を計算する。例えば、ＴＡ＝ｔａ−Ｔｄｅｌａｙとなる。【００９０】
このように計算されたＴＡ，ＴＢ，ＴＣを図１８に示したようにＳｙｎｃＰｈａｓｅによって送信機に送信する。【００９１】
このとき、ＴＡ，ＴＢ，ＴＣの時刻情報を格納したＳｙｎｃＰｈａｓｅが送信機側に到着する時刻が、各々、十分ＴＡ，ＴＢ，ＴＣより手前に到着するようにネットワークの遅延時間Ｔｎｅｔを加味して送信機側に送信する。【００９２】
具体的には、受信機側がＳｙｎｃＰｈａｓｅパケットにて時刻Ｔｘにて送信側の同期信号の位相を調整させる場合、送信するタイミングをＴｓｐ、さらに送信機側がＳｙｎｃＰｈａｓｅを受信してからＳｙｎｃＰｈａｓｅ内の情報を解析に必要な時間をＴｙとするとＴｓｐ＋Ｔｎｅｔ＋Ｔｙ＜Ｔｘ以上となるＴｘを選定し、ＳｙｎｃＰｈａｓｅパケットを生成することで、実現可能である。なお、上記Ｔｄｅｌａｙ，Ｔｎｅｔ、Ｔｙなど制御タイミングを規定する各期間は処理負荷などによりその期間にジッタが生じる際には、各々、該当期間の最悪値を持って考慮することで、同等の制御を行うことが可能である。【００９３】
本システムにより、送信側と受信側で垂直同期信号の位相差が映像取り込から出力までに必要とされる遅延時間Ｔｄｅｌａｙと同等または、それに近づける方向に調整可能となる。上記のようにＴｄｅｌａｙが規定できるのは、ネットワークの伝送遅延を求める手段を有し、さらに、送信機の符号化遅延、受信機の復号遅延をバッファ格納時間を所定の時間に固定したことによる。もし、本実施例のような制御を行わずに、ＴＡ＋Ｔｄｅｌａｙ＞ｔａとなるような関係である場合、ＴＡからＴＢの間に取り込まれた映像は受信機側では、ｔａから始まるフレーム期間に出力することができなくなり、ｔｂまで出力タイミングを遅延させる必要がある。このため、Ｔｄｅｌａｙが垂直同期期間に比べて十分に小さい場合でも、不要に撮像タイミングから映像出力までの時間が大きくなってしまう。本実施例により、このような状況を回避し、ネットワークの伝送能力および送信機、受信機の符号化、復号に必要される遅延時間で実現可能な遅延時間に総遅延時間を近づけることができる。【００９４】
上記実施例で説明したクロック同期、時刻同期、基準同期信号の位相調整および符号化ストリームの送信に関する手順を、送信機および受信機について各々図２３および図２４に示す。これらの一連の制御手順を踏むことで、撮像から映像出力までの時間の低遅延化を可能とするネットワークカメラシステムを構築することが可能である。【００９５】
図２５に、本実施例で説明した送信機を用いたネットワークカメラ部１および受信機５をネットワークで接続したシステムを示す。上記のようなネットワークカメラシステムを構成することにより伝送システムが破綻することなく映像情報を送り続けることができる遅延時間を保証しつつ、送信機における撮像から受信機側の映像出力までの合計遅延を小さくする映像転送システムを構築することができる。【００９６】
また、受信機が映像を出力するための同期信号のタイミングに対して、送信機側の撮像のための同期信号の位相（両者の最近となる立ち上がりタイミングの時間差）がシステム起動の度に一定となり、その後の画像処理や他の機器との厳密な同期タイミングが必要されるシステムでも設計が容易になるという効果がある。【００９７】
なお、ここでの映像出力は、ディスプレイにて映像が表示されるタイミングで規定しても外部機器への出力タイミングで規定しても同等の効果が得られることは明らかである。また、本システムでは、同期信号のタイミングをそろえるための制御信号を送信するための通信経路を、符号化信号の送受信のためのネットワーク以外に設ける必要がなく、システムコストの低減の観点からも有効である。【００９８】
また、本実施例では、送信機側の垂直同期信号の位相を受信機側から制御する例を示したが、送信機側の映像の取り込み、符号化タイミングを間接的あるいは直接的に規定する同期信号もしくは制御タイミングであれば、本実施例の垂直同期信号の代替として、受信機側から位相情報を転送することにより本実施例と同等の効果をもたらすことは明らかである。また、本実施例では、時刻同期のサーバが受信機と同じ定義であったが、時刻同期のサーバは受信機とは異なる個別の装置であっても良い。その際には、受信機にも送信機と同様にクライアントとなりクロック同期、基準時刻カウンタをサーバに同期させた後、同期位相情報を送信機に送信するようにすれば、本実施例と同等の効果をもたらす。このときには、複数の受信システムがネットワークに存在し、それらを共通のクロックで制御したい場合に有益である。【００９９】
本実施例では、ネットワーク層の規格としてＩＥＥＥ８０２．３規格に準拠する例を示したが、さらにネットワークプロトコルのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を使用し、その上位のトランスポートプロトコルにはＴＣＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）およびＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を用いてもよい。映像や音声の伝送には更に上位のアプリケーションプロトコル、例えばＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）やＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等を使用しても良い。あるいは、その他、ＩＥＥＥ８０２．３規格で規定されているプロトコル方式を用いてもよい。
【実施例４】
【０１００】
本実施例は、実施例３で述べた例の送信側を複数のカメラ１〜３とした場合の例である。
図２６は、本実施例の受信側のコントローラ５の内部ブロック構成の一例を示す図である。カメラ１、２、３は、それぞれＬＡＮインタフェース回路５０１１、５０１２、５０１３に接続されている。基準クロック生成部５１では基準クロックが生成され、その基準クロックを基準として基準時刻カウンタ５２において、サーバ側であるコントローラ５の基準時刻をカウントする。時刻制御パケット生成部５３では、本基準時刻を用いて図１７で示した時刻同期のためのパケット（Ｓｙｎｃ）の生成を行う。Ｓｙｎｃの送信時にパケット内に記載するＴ１は、本ブロックで生成される。生成された（Ｓｙｎｃ）のパケットはパケット多重化部５８において他のパケットと多重化され、さらにＬＡＮインタフェース回路５０１１、５０１２、５０１３において変調され、外部に接続されたネットワークを介してカメラ１〜３に伝送される。一方、カメラ１〜３より受け取ったＳｙｎｃＲｅｑパケットの受信時に、ＬＡＮインタフェース回路５０１１、５０１２、５０１３より受信タイミングの通知を受け、時刻制御パケット生成部５３において、カメラ１〜３からのＤｅｌａｙＲｅｑパケットが到着したそれぞれの時刻が記録される。そして、各Ｔ４を用いて時刻制御パケット生成部５３においてＤｅｌａｙＲｅｓｐパケットが生成され、パケット多重化部５８、ＬＡＮインタフェース回路５０１１〜５０１３を介してカメラ１〜３に伝送される。【０１０１】
また前述と同様、垂直同期タイミングの生成を行う。基準クロック生成部５１において生成された基準クロックを基準として、出力同期信号生成部５５では出力時の垂直同期信号が生成される。本垂直同期信号は、送信機同期位相計算部５６に送られる。前述のように送信機側の垂直同期信号の位相を受信機側の出力時の垂直同期信号の位相より計算し、基準時刻カウンタにおけるカウンタ情報を用いて、図１８に示したＳｙｎｃＰｈａｓｅのパケットを生成する。ＳｙｎｃＰｈａｓｅパケットは、パケット多重化部５８に送信され、Ｓｙｎｃパケットと同様にＬＡＮインタフェース回路５０１１、５０１２、５０１３を介して、カメラ１〜３に送信される。【０１０２】
本実施例における、映像の復号手順については、前述同様、カメラ１〜３で生成されたＬＡＮパケット６０が、それぞれＬＡＮインタフェース回路５０１１〜５０１３へ入力され、ＬＡＮインタフェース回路５０１１〜５０１３において、ＬＡＮパケットヘッダ６０１が取り除かれ、前述のネットワークプロトコルに従い、ＬＡＮパケットデータ６０２からトランスポートパケット４０が取り出される。トランスポートパケット４０は、システムデコーダ５０２１〜５０２３に入力され、トランスポートパケット４０から前述のパケット情報４０２が取り出され、結合されて、図４で示したディジタル圧縮映像信号となる。このディジタル圧縮映像信号は、映像伸張回路５０３１〜５０３３において、伸張処理が行われ、ディジタル映像信号として画像処理回路５０４に入力される。画像処理回路５０４では、各カメラからの映像信号の歪補正、座標の置き換えによる視点変換、合成処理等を施し、ＯＳＤ回路５０５に出力、あるいは、各カメラからの映像信号による物体形状の認識、距離の計測などの画像処理を行う。ＯＳＤ回路５０５では、画像処理回路５０４からの映像信号に文字や図形を重畳し、ディスプレイ６に出力する。【０１０３】
また、本実施例における、カメラ１〜３の動作については、実施例３で述べたように、それぞれ時刻同期をとる処理が行われ、コントローラ５と、カメラ１〜３の時刻が同期する。また、コントローラ５からのＳｙｎｃＰｈａｓｅパケットをそれぞれ受信し、その時刻情報を本に基準同期信号を生成する。従って、カメラ１〜３の基準同期信号は、最終的に同期する。【０１０４】
図２７は、本実施例における、各カメラの送信処理タイミングとコントローラ５の受信処理タイミングの一例を示す図である。同図中、（１−１）〜（１−４）はカメラ１の処理タイミング、（２−１）〜（２−４）はカメラ２の処理タイミング、（３−１）〜（３−８）はコントローラ５の処理タイミングを示す。前述のようにＳｙｎｃＰｈａｓｅパケット受信したカメラがそれに基づいて基準同期信号を生成するので、カメラ１の基準信号１と、カメラ２の基準信号２は同期、すなわちその周波数、位相が一致する。ここで、ｄ３は、カメラ１で撮像された映像が、基準信号１からコントローラ５で得られるまでの時間、ｄ４は、カメラ２で撮像された映像が、基準信号２からコントローラ５で得られるまでの時間であり、ｄ３の方が大きいとする。従って、送信側と受信側で垂直同期信号の位相差が映像取り込から出力までに必要とされる遅延時間Ｔｄｅｌａｙはｄ３ということになる。【０１０５】
ここで、前述のように、ＳｙｎｃＰｈａｓｅパケットを生成する際に、さかのぼる時刻をｄ３より多くとるよう設定することで、コントローラ５の処理タイミングは、（３−７）の基準信号Ｃおよび（３−８）の表示映像の表示タイミングＣとなる。
以上により、送信側と受信側で垂直同期信号の位相差がＴｄｅｌａｙと同等または、それに近づける方向に調整可能となる。すなわち、ネットワークの伝送能力および送信機、受信機の符号化、復号に必要される遅延時間で実現可能な遅延時間に総遅延時間を近づけることができる。【０１０６】
さらに、各カメラにおける撮像時刻が一致していることにより、表示タイミングの合った映像を表示することが可能になる。【０１０７】
また、コントローラ５は各カメラからの映像の表示タイミングずれを吸収する処理をする必要がないので、処理が複雑になることなく表示タイミングの合った映像を表示することが可能になる。【０１０８】
さらに、実施例１で述べたように、接続されている各カメラに対し、それぞれのカメラの処理遅延時間を問い合わせることにより、最短の遅延時間を実現できる。実施例１の図９と同様に、まず、各カメラに対し、それぞれのカメラの処理遅延時間を問い合わせる。それにより、各カメラは、前述の図１０と同様に、そのカメラで設定可能な遅延時間を回答する。次にこの各カメラの処理遅延時間を基づいてＳｙｎｃＰｈａｓｅパケットを生成する。図２８は、本実施例における、コントローラによる、ＳｙｎｃＰｈａｓｅパケット生成の際の時刻情報設定処理のフローチャートである。まず処理遅延時間Ｔｄｅｌａｙを決定する（ステップＳ２８０１）。ここでは、図９の遅延時間取得処理により得られた各カメラの最短遅延時間の中で一番長い時間を選択し、それに、ネットワーク遅延時間Ｔｎｅｔ、受信処理、伸張処理を合わせた処理時間ｄ５を加算した時間を受信処理遅延時間Ｔｄｅｌａｙとする。次にコントローラ５は、ステップＳ２８０１で決定したＴｄｅｌａｙ時間をさかのぼった時刻を計算してＳｙｎｃＰｈａｓｅパケットに格納して、各カメラに対し送信する（ステップ２８０２）。そして、各カメラからの設定結果の回答を受信する（ステップＳ２８０３）。その後各カメラは、実施例３の図１８で述べたように、基準同期信号を生成する。これにより、各カメラの基準同期信号は、コントローラ５の基準同期信号に対し、Ｔｄｅｌａｙ時間さかのぼった時刻に設定される。【０１０９】
図２９は、この場合の各カメラの送信処理タイミングとコントローラ５の受信処理タイミングの一例を示す図である。同図に示すように、カメラ１の基準信号１、およびカメラ２の基準信号２は、コントローラ５の基準信号Ｃに対し、カメラ１の処理遅延時間ｄ１およびカメラ２の処理遅延時間ｄ２の内、長いほうの処理時間ｄ１と、ネットワーク遅延時間Ｔｎｅｔ、および受信処理、伸張処理を合わせた処理時間ｄ５を加算した時間であるＴｄｅｌａｙ時間さかのぼった位置に一致する。【０１１０】
この例では、コントローラ５が各カメラに対しそれぞれのカメラの処理遅延時間を問い合わせたが、例えばカメラの電源立ち上げ時やＬＡＮ４に接続された時に、各カメラ側からコントローラ５に対して通知してもよい。【０１１１】
図３０は、各カメラの送信処理タイミングとコントローラ５の受信処理タイミングの他の一例を示す図である。この例では、実施例１で述べたように、カメラ２に対し、処理遅延時間がｄ１となるよう、コントローラ５はカメラ２の処理遅延時間を設定する。（２−５）は処理遅延時間が設定された後の送信タイミング２′である。処理遅延時間の調節は、ここでは例えば、図２に示した、システムエンコーダ１０４からパケットバッファ１０５に格納されたパケット列をＬＡＮインタフェース回路１０７に入力するために読み出すタイミングを調節することにより実現できる。これにより、カメラ１の送信タイミング１と、カメラ２の送信タイミング２′が一致することになる。【０１１２】
以上のように、本実施例により、これらの一連の制御手順を踏むことで、撮像から映像出力までの時間が、接続された機器間で実現できる最短の遅延時間で撮像時刻となるネットワークカメラシステムを構築することが可能である。
【符号の説明】
【０１１３】
１、２、３…カメラ、４…ＬＡＮ、５…コントローラ、６…ディスプレイ、１００…レンズ、１０１…撮像素子、１０２…映像圧縮回路、１０３…映像バッファ、１０４…システムエンコーダ、１０５…パケットバッファ、１０６…基準信号発生回路、１０７…ＬＡＮインタフェース回路、１０８…制御回路、２０１…イントラフレーム、２０２…インターフレーム、３０１…シーケンスヘッダ、３０２…ピクチャヘッダ、４０…トランスポートパケット、４０１…パケットヘッダ、４０２…パケット情報、５０１、５０１１、５０１２、５０１３…ＬＡＮインタフェース回路、５０２１、５０２２、５０２３…システムデコーダ、５０３１、５０３２、５０３３…映像伸張回路、５０４…画像処理回路、５０５…ＯＳＤ回路、５０６…基準信号発生回路、５０７…制御回路、６０…ＬＡＮパケット、６０１…ＬＡＮパケットヘッダ、６０２…ＬＡＮパケット情報、１１…パケット分離部、１２…時刻情報抽出部、１３…基準クロックリカバリ、１４…基準時刻カウンタ、１５…遅延情報生成部、１６…同期位相情報抽出部、１７…基準同期信号発生器、１８…センサ制御部、２１…ディジタル信号処理部、２４…マイク、２５…ＡＤ変換器、２６…音声符号化部、２７…システムＭｕｘ、２８…システム制御部、５１…基準クロック生成部、５２…基準時刻カウンタ、５３…時刻制御パケット生成部、５５…出力同期信号生成部、５６…送信機同期位相計算部、５８…多重化部、６１…システムＤｅｍｕｘ部、６３…表示処理部、６４…ディスプレイ部、６５…音声復号部、６６…ＤＡ変換部、６７…スピーカ部
【図１】
2012120763.tif 000003
【図２】
2012120763.tif 000004
【図３】
2012120763.tif 000005
【図４】
2012120763.tif 000006
【図５】
2012120763.tif 000007
【図６】
2012120763.tif 000008
【図７】
2012120763.tif 000009
【図８】
2012120763.tif 000010
【図９】
2012120763.tif 000011
【図１０】
2012120763.tif 000012
【図１１】
2012120763.tif 000013
【図１２】
2012120763.tif 000014
【図１３】
2012120763.tif 000015
【図１４】
2012120763.tif 000016
【図１５】
2012120763.tif 000017
【図１６】
2012120763.tif 000018
【図１７】
2012120763.tif 000019
【図１８】
2012120763.tif 000020
【図１９】
2012120763.tif 000021
【図２０】
2012120763.tif 000022
【図２１】
2012120763.tif 000023
【図２２】
2012120763.tif 000024
【図２３】
2012120763.tif 000025
【図２４】
2012120763.tif 000026
【図２５】
2012120763.tif 000027
【図２６】
2012120763.tif 000028
【図２７】
2012120763.tif 000029
【図２８】
2012120763.tif 000030
【図２９】
2012120763.tif 000031
【図３０】
2012120763.tif 000032
【国際調査報告】
2012120763.tif 000033
2012120763.tif 000034