(57)【要約】【課題】伝送されるデータが乱れず、該データを安定的に合成して再生することができるデコード方法、デコード合成制御装置及び画像合成システムを提供する。【解決手段】複数の撮像伝送装置２１−２，２１−３から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、デコード合成制御装置２２−１は複数の撮像伝送装置２１−２，２１−３の時刻情報を選択してデコードのタイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。【選択図】図１
2007036539.tif 000002
【特許請求の範囲】
【請求項１】
画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムにおけるデコード方法であって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定するデコード方法。
【請求項２】
画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムにおけるデコード方法であって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定し、前記複数の撮像伝送装置の各々に前記デコード合成制御装置のデコードのタイミングを送信して前記複数の撮像伝送装置の各々の処理タイミングを決定するデコード方法。
【請求項３】
画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムにおけるデコード方法であって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択して前記デコードのタイミングを決定するデコード方法。
【請求項４】
画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムにおけるデコード方法であって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択して前記デコードのタイミングを決定し、前記複数の撮像伝送装置の各々に前記デコードのタイミングを送信して前記複数の撮像伝送装置の各々の処理タイミングを決定するデコード方法。
【請求項５】
画像や音声や撮像伝送装置の時刻を含む情報を伝送する機能を有する複数の前記撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムにおけるデコード方法であって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の中からいずれかの撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定するデコード方法。
【請求項６】
画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置とネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置であって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送されてきたとき、前記複数の撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定するデコード合成制御装置。
【請求項７】
画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置とネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置であって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送されてきたとき、前記複数の撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定し、前記複数の撮像伝送装置の各々に前記デコードのタイミングを送信して前記複数の撮像伝送装置の各々の処理タイミングを決定するデコード合成装置。
【請求項８】
画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置とネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置であって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送されてきたとき、前記複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択して前記デコードのタイミングを決定するデコード合成制御装置。
【請求項９】
画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置とネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置であって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送されてきたとき、前記複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択して前記デコードのタイミングを決定し、前記複数の撮像伝送装置の各々に前記デコードのタイミングを送信して前記複数の撮像伝送装置の各々の処理タイミングを決定するデコード合成制御装置。
【請求項１０】
画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムであって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定する画像合成システム。
【請求項１１】
前記デコード合成制御装置は、前記デコードされた合成画像の記録を行う請求項１０に記載の画像合成システム。
【請求項１２】
画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムであって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定し、前記複数の撮像伝送装置の各々に前記デコード合成制御装置のデコードのタイミングを送信して前記複数の撮像伝送装置の各々の処理タイミングを決定する画像合成システム。
【請求項１３】
前記デコード合成制御装置は、前記デコードされた合成画像の記録を行う請求項１２に記載の画像合成システム。
【請求項１４】
画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムであって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択して前記デコードのタイミングを決定する画像合成システム。
【請求項１５】
前記デコード合成制御装置は、前記デコードされた合成画像の記録を行う請求項１４に記載の画像合成システム。
【請求項１６】
画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムであって、
前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択して前記デコードのタイミングを決定し、前記複数の撮像伝送装置の各々に前記デコードのタイミングを送信して前記複数の撮像伝送装置の各々の処理タイミングを決定する画像合成システム。
【請求項１７】
前記デコード合成制御装置は、前記デコードされた合成画像の記録を行う請求項１６に記載の画像合成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを利用したシステム等に用いて好適なデコード方法、デコード合成制御装置及び画像合成システムに関する。
【背景技術】
【０００２】
従来、画像や音声等の情報をネットワークを介して伝送するシステムが知られている。図１２は、従来のシステムの一例の構成を示すブロック図である。この従来のシステムにおいては、ＡＴＭ（Asynchronous Transfer Mode）、１３９４（IEEE 1394）、イーサネット（登録商標）等のＬＡＮ（Local Area Network）１０及び２０は、ルータ１３及び２３を用いてイーサネット（登録商標）の公衆網等のＷＡＮ（Wide Area Network）３０を介して相互に接続されている。ＬＡＮ１０のブリッジ（ハブ）１１に接続された支線３にはデコード合成制御装置３−１と撮像伝送装置３−２及び３−３が接続されており、ブリッジ（ハブ）１２に接続された支線４にはデコード合成制御装置４−１と撮像伝送装置４−２が接続されている。一方、ＬＡＮ２０のブリッジ（ハブ）２１に接続された支線１にはデコード合成制御装置１−１と撮像伝送装置１−２及び１−３が接続されており、ブリッジ（ハブ）２２に接続された支線２にはデコード合成制御装置２−１と撮像伝送装置２−２が接続されている。
【０００３】
なお、異種映像フォーマットが混在するデジタル放送において、複数番組を同時再生するとき複数縮小画像をプログレッシブ走査表示することによって画質改善を図るような技術が提案されている（例えば、特許文献１参照）。また、表示制御手段が、フレームバッファに記憶されてかつ通信パケットの受信により更新される画像データを、基準信号に基づいて定まる同期周波数により出力して、表示手段が、この表示制御手段から出力された画像データを画面上に表示するので、ネットワークバスに接続された各表示装置間で画像データを更新表示するための垂直同期信号の同期をとることが可能となり、頻繁に表示更新される動画等の表示を乱れなく滑らかに行うことができるような技術が提案されている（例えば、特許文献２参照）。更にまた、複数の表示装置を構成するコンピュータ（ＰＣ）を１台のマスターＰＣとスレーブＰＣに分け、各ＰＣに所定の処理を実行させることにより、送信データ量の削減とネットワーク負荷の軽減を図り、高速な多画面同期表示を可能とするような技術が提案されている（例えば、特許文献３参照）。
【０００４】
【特許文献１】特開２０００−２０９５２１号公報
【特許文献２】特開２０００−３２２０３９号公報
【特許文献３】特開２００４−７８４１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した従来のシステム（図１２）においては、ネットワークによるデータの揺らぎ、データのラッシュ、データの欠落が発生した際に、画像データや音声データが乱れるという問題が有り、その対策のためにデコード合成制御装置側である程度のデータをバッファしてデータの揺らぎを吸収してデコード処理を行っていた。
【０００６】
また、データを合成して表示、再生する際に、撮像伝送装置等のエンコード、送信側の撮像、集音、エンコード、伝送のタイミングは、それぞれの撮像伝送装置ごとに異なり、複数の撮像伝送装置から受信するデコード合成制御装置側で、それぞれのデータをデコードし再生して合成する際に、単位時間当たりのデータ量が異なるため、データの余りや不足が発生する。データの余りや不足は、デコード合成制御装置側でデータを合成する際に、映像ならば、合成された映像のフレーム再生の均一間隔での再生ができなかったり、先のバッファによる映像の遅延量が各撮像伝送装置ごとに異なることになる。
【０００７】
本発明は、係る事情に鑑みてなされたものであり、伝送されるデータが乱れず、該データを安定的に合成して再生することができるデコード方法、デコード合成制御装置及び画像合成システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的は下記方法又は構成により達成される。
（１）  画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムにおけるデコード方法であって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定する。
【０００９】
この方法により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、デコード合成制御装置は複数の撮像伝送装置の時刻情報を選択してデコードのタイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００１０】
（２）  画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムにおけるデコード方法であって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定し、前記複数の撮像伝送装置の各々に前記デコード合成制御装置のデコードのタイミングを送信して前記複数の撮像伝送装置の各々の処理タイミングを決定する。
【００１１】
この方法により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、デコード合成制御装置は複数の撮像伝送装置の時刻情報を選択してデコードのタイミングを決定し、複数の撮像伝送装置の各々にデコード合成制御装置のデコードのタイミングを送信して複数の撮像伝送装置の各々の処理タイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００１２】
（３）  画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムにおけるデコード方法であって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択して前記デコードのタイミングを決定する。
【００１３】
この方法により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、デコード合成制御装置は複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択してデコードのタイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００１４】
（４）  画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムにおけるデコード方法であって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択して前記デコードのタイミングを決定し、前記複数の撮像伝送装置の各々に前記デコードのタイミングを送信して前記複数の撮像伝送装置の各々の処理タイミングを決定する。
【００１５】
この方法により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、デコード合成制御装置は複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択してデコードのタイミングを決定し、複数の撮像伝送装置の各々にデコードのタイミングを送信して複数の撮像伝送装置の各々の処理タイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００１６】
（５）  画像や音声や撮像伝送装置の時刻を含む情報を伝送する機能を有する複数の前記撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムにおけるデコード方法であって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の中からいずれかの撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定する。
【００１７】
この方法により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、デコード合成制御装置は複数の撮像伝送装置の中からいずれかの撮像伝送装置の時刻情報を選択してデコードのタイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００１８】
（６）  画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置とネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置であって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送されてきたとき、前記複数の撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定する。
【００１９】
この構成により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送されてきたとき、複数の撮像伝送装置の時刻情報を選択してデコードのタイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００２０】
（７）  画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置とネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置であって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送されてきたとき、前記複数の撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定し、前記複数の撮像伝送装置の各々に前記デコードのタイミングを送信して前記複数の撮像伝送装置の各々の処理タイミングを決定する。
【００２１】
この構成により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送されてきたとき、複数の撮像伝送装置の時刻情報を選択してデコードのタイミングを決定し、複数の撮像伝送装置の各々にデコードのタイミングを送信して複数の撮像伝送装置の各々の処理タイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００２２】
（８）  画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置とネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置であって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送されてきたとき、前記複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択して前記デコードのタイミングを決定する。
【００２３】
この構成により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送されてきたとき、複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択してデコードのタイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００２４】
（９）  画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置とネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置であって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送されてきたとき、前記複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択して前記デコードのタイミングを決定し、前記複数の撮像伝送装置の各々に前記デコードのタイミングを送信して前記複数の撮像伝送装置の各々の処理タイミングを決定する。
【００２５】
この構成により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送されてきたとき、複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択してデコードのタイミングを決定し、複数の撮像伝送装置の各々にデコードのタイミングを送信して複数の撮像伝送装置の各々の処理タイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００２６】
（１０）  画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムであって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定する。
【００２７】
この構成により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、デコード合成制御装置は複数の撮像伝送装置の時刻情報を選択してデコードのタイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００２８】
（１１）  上記（１０）に記載の画像合成システムにおいて、前記デコード合成制御装置は、前記デコードされた合成画像の記録を行う。
【００２９】
この構成により、デコード合成制御装置は、デコードされた合成画像の記録を行うので、合成画像の記録が可能な画像合成システムを提供することができる。
【００３０】
（１２）  画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムであって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報を選択して前記デコードのタイミングを決定し、前記複数の撮像伝送装置の各々に前記デコード合成制御装置のデコードのタイミングを送信して前記複数の撮像伝送装置の各々の処理タイミングを決定する。
【００３１】
この構成により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、デコード合成制御装置は複数の撮像伝送装置の時刻情報を選択してデコードのタイミングを決定し、複数の撮像伝送装置の各々にデコード合成制御装置のデコードのタイミングを送信して複数の撮像伝送装置の各々の処理タイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００３２】
（１３）  上記（１２）に記載の画像合成システムにおいて、前記デコード合成制御装置は、前記デコードされた合成画像の記録を行う。
【００３３】
この構成により、デコード合成制御装置は、デコードされた合成画像の記録を行うので、合成画像の記録が可能な画像合成システムを提供することができる。
【００３４】
（１４）  画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムであって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択して前記デコードのタイミングを決定する。
【００３５】
この構成により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、デコード合成制御装置は複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択してデコードのタイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００３６】
（１５）  上記（１４）に記載の画像合成システムにおいて、前記デコード合成制御装置は、前記デコードされた合成画像の記録を行う。
【００３７】
この構成により、デコード合成制御装置は、デコードされた合成画像の記録を行うので、合成画像の記録が可能な画像合成システムを提供することができる。
【００３８】
（１６）  画像や音声や時刻を含む情報を伝送する機能を有する複数の撮像伝送装置と、ネットワークを介して接続され前記複数の撮像伝送装置の画像を合成してデコード及び表示を行うデコード合成制御装置とを備えた画像合成システムであって、前記複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、前記デコード合成制御装置は前記複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択して前記デコードのタイミングを決定し、前記複数の撮像伝送装置の各々に前記デコードのタイミングを送信して前記複数の撮像伝送装置の各々の処理タイミングを決定する。
【００３９】
この構成により、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、デコード合成制御装置は複数の撮像伝送装置の時刻情報から撮像、集音、エンコードする速度が最も速い時刻情報を選択してデコードのタイミングを決定し、複数の撮像伝送装置の各々にデコードのタイミングを送信して複数の撮像伝送装置の各々の処理タイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【００４０】
（１７）  上記（１６）に記載の画像合成システムにおいて、前記デコード合成制御装置は、前記デコードされた合成画像の記録を行う。
【００４１】
この構成により、デコード合成制御装置は、デコードされた合成画像の記録を行うので、合成画像の記録が可能な画像合成システムを提供することができる。
【発明の効果】
【００４２】
本発明によれば、複数の撮像伝送装置から画像や音声に撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を添付して伝送し、デコード合成制御装置は複数の撮像伝送装置の時刻情報を選択してデコードのタイミングを決定するので、伝送されるデータが乱れず、該データを安定的に合成して再生することができる。
【発明を実施するための最良の形態】
【００４３】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００４４】
（実施の形態１）
図１は、本発明の実施の形態１の画像合成システムの構成を示すブロック図である。この画像合成システムにおいては、ＡＴＭ（Asynchronous Transfer Mode）、１３９４（IEEE 1394）、イーサネット（登録商標）等のＬＡＮ（Local Area Network）２２０のブリッジ（ハブ）２２１に接続された支線２１にはデコード合成制御装置２１−１と撮像伝送装置２１−２及び２１−３が接続されており、ブリッジ（ハブ）２２２に接続された支線２２にはデコード合成制御装置２２−１と撮像伝送装置２２−２が接続されている。
【００４５】
撮像伝送装置２１−２は、図２に示すように、エンコード部１ａと、通信処理部２ａと、通信Ｉ／Ｆ部３ａと、タイミング生成部４ａと、撮像・集音制御部５ａとを備えている。エンコード部１ａはＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等を用いたものである。通信処理部２ａは通信のための処理を行うものである。通信Ｉ／Ｆ部３ａは通信を行うためのインタフェース機能を有するものである。タイミング生成部４ａはタイミング信号を生成するためのものである。撮像・集音制御部５ａはカメラやマイクロフォン等を有し撮像や集音を行うためのものである。なお、撮像伝送装置２１−３は、図２に示すように、エンコード部６ｂと、通信処理部７ｂと、通信Ｉ／Ｆ部８ｂと、タイミング生成部９ｂと、撮像・集音制御部１０ｂとを備えているが、各部の機能については撮像伝送装置２１−２と同様であるため、その説明を省略することとする。
【００４６】
一方、デコード合成制御装置２２−１は、図２に示すように、ＣＰＵ１１ａと、通信処理部１２ａと、通信Ｉ／Ｆ部１３ａと、データ記憶部１４ａと、ＵＩ部１５ａと、デコード合成部１６ａと、表示・再生部１７ａと、ＨＤＤ記憶部１８ａとを備えている。ＣＰＵ１１ａは各部の制御等を行うためのものである。通信処理部１２ａは通信のための処理を行うものである。通信Ｉ／Ｆ部１３ａは通信を行うためのインタフェース機能を有するものである。データ記憶部１４ａはデータの記憶を一時的に行うためのものである。ＵＩ部１５ａはユーザが操作を行うためのインタフェース機能を有するものである。デコード合成部１６ａは通信処理部１２ａからの画像データや音声データをデコードして合成するためのものである。表示・再生部１７ａはデコード合成部１６ａからのデータの表示及び再生を行うためのものである。ＨＤＤ記憶部１８ａはＣＰＵ１１ａからＨＤＤ記録の制御を受けた通信制御部１２ａが記録すべき画像データと音声データを選択して記録するためのものである。なお、ＨＤＤ記憶部１８ａは必要に応じてＵＩ部１５ａからのユーザの操作に応じて、ＣＰＵ１１ａからの指示に従って記憶や再生の動作を行う。
【００４７】
以上のように構成された撮像伝送装置とデコード合成制御装置の動作について図４を用いて説明する。まず、デコード合成制御装置２２−１で複数合成して表示、再生、記録したい撮像伝送装置を選択する（ステップＳ４００）。本実施の形態では、画像を伝送する複数の撮像伝送装置２１−２と２１−３（図２）をユーザが選択しており、２台の撮像伝送装置それぞれから送出される画像や音声の情報をデコード合成制御装置２２−１で合成して表示、再生、記録する。図２において、撮像伝送装置２１−２と２１−３は、それぞれの画像や音声の情報の撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を画像と音声のデータに添付して伝送する。これらの画像や音声のデータと添付された時刻情報は、ＬＡＮ２２０でデータの瞬停やラッシュなどのジッタの影響を受けてデコード合成制御装置２２−１に到達する。デコード合成制御装置２２−１では、受信した撮像伝送装置からのデータから合成する各ストリームの時刻情報を抽出し（ステップＳ４０１）、２台の撮像伝送装置の時刻情報のどちらを選ぶかを決定する（ステップＳ４０２）とともに、受信した画像や音声の情報を、ジッタを吸収するため、データ記憶部１４ａに一時的に蓄積する。決定された時刻情報（撮像伝送装置のデータ生成タイミング）に基づいて、後述するWrite制御部２２ａで、データ記憶部１４ａからデータを読み出し、後述するシステムエンコード部２１ａで選択された時刻情報を付加して、デコード合成部１６ａに渡す。ＨＤＤ記憶部１８ａに記憶する場合は、記憶された情報をシステムエンコード部２１ａで読み出す際に同様に選択された撮像伝送装置の時刻情報を用いてシステムエンコードして（ステップＳ４０３）、デコード合成部１６ａに渡す。ＨＤＤ記憶部１８ａに記憶された場合も、そのままシステムエンコードされた場合も、デコード合成部１６ａにおいて、選択された時刻情報に基づいてデコードされ、画像や音声が合成される（ステップＳ４０４）。このとき、デコード合成部１６ａが複数の撮像伝送装置の添付された時刻情報に同期できるよう、複数の同期機構（ＰＬＬ）（図３のＰＬＬ１９ａ参照）を有している場合は、システムエンコードせずに、それぞれの画像と音声の情報をそれぞれの時刻情報に基づいてデコード合成部１６ａに渡せばよいが、複数の撮像伝送装置の画像と音声の生成タイミング（添付された時刻情報）の数分だけＰＬＬがなく、1つしかＰＬＬがない場合は、複数の生成タイミング（時刻情報）の中から1つの時刻情報を選択し、システムエンコードしてデコード合成部１６ａに渡す必要がある。デコード合成部１６ａは、その時刻情報に基づいてデコードし、画像や音声の合成を行う。その後、表示・再生部１７ａで合成された画像や音声を表示、再生する（ステップＳ４０５）。
【００４８】
次に、通信Ｉ／Ｆ部１３ａから取得した画像や音声、時刻情報をデコード合成部１６ａでデコード合成するまでの流れを図３を用いて説明する。図２のＵＩ部１５ａからの指示等で合成、再生、記録すべき画像や音声情報とそれぞれの時刻情報が図３の通信処理部１２ａに渡される。その中から時刻情報抽出・選択処理部２０ａで必要な画像と音声の時刻情報を抽出し、その中から基準とすべき時刻情報を選択する。データは、そのままデータ記憶部１４ａに一時的に記憶され、ネットワークによるジッタを吸収する。Write制御部２２ａでは、先に時刻抽出・選択処理部２０ａで抽出された時刻情報に基づいて、データ記憶部１４ａからデータを読み出して、ＨＤＤ記憶部１８ａに渡す。ＨＤＤ記憶部１８ａに記憶すべき情報でない場合は、そのままシステムエンコード部２１ａに渡される。このとき、データについて、ＨＤＤ記憶部１８ａに記憶すると同時に、ＨＤＤ記憶部１８ａから読み出してシステムエンコード部２１ａに渡しても構わない。システムエンコード部２１ａでは、時刻抽出・選択処理部２０ａで選択された、撮像伝送装置の時刻情報（撮像伝送装置の撮像、エンコード、送信のタイミング）に基づいて、システムエンコードが行われ、デコード合成部１６ａに渡される。
【００４９】
従来は、この時刻情報を基に再生する際に、それぞれの撮像伝送装置により添付されたそれぞれの時刻情報に同期する機構が必要であり、同一のエンコーダでシステムエンコードされた画像や音声情報を再生する民生用に開発された同期機構を１つのデコード合成用の安価なデバイスとして利用することができなかった。
【００５０】
しかしながら、以上のように本実施の形態によれば、ネットワーク内の機器構成、ホップ数、ネットワーク機器の性能や通信状態によって、不安定な伝送状態になっても、安定的に画像情報を受信しデコードして表示することができるとともに、それぞれ画像や音声情報の生成タイミングをもった複数の撮像伝送装置から送信されてきた画像や音声情報を安価な民生用のデバイスを利用して、デコード合成することができる。
【００５１】
（実施の形態２）
本発明の実施の形態２の画像合成システムのハードウェア構成は実施の形態１の画像合成システムのものと同一であるので、以下の説明においては図１〜図３を援用することとする。
【００５２】
本実施の形態における撮像伝送装置とデコード合成制御装置の動作について図６を用いて説明する。まず、デコード合成制御装置２２−１で複数合成して表示、再生、記録したい撮像伝送装置をそれぞれ選択する（ステップＳ６００）。本実施の形態では、画像を伝送する複数の撮像伝送装置の２１−２と２１−３（図２）をユーザが選択しており、２台の撮像伝送装置それぞれから送出される画像や音声の情報をデコード合成制御装置２２−１で合成して表示、再生、記録する。図２において、撮像伝送装置２１−２と２１−３は、それぞれの画像や音声の情報の撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を画像と音声のデータに添付して伝送する。これらの画像や音声のデータと添付された時刻情報は、ＬＡＮ２２０でデータの瞬停やラッシュなどのジッタの影響を受けてデコード合成制御装置２２−１に到達する。デコード合成制御装置２２−１では、受信した撮像伝送装置からのデータから合成する各ストリームの時刻情報を抽出し（ステップＳ６０１）、２台の撮像伝送装置の時刻情報のどちらを選ぶかを決定する（ステップＳ６０２）とともに、受信した画像や音声の情報を、ジッタを吸収するため、データ記憶部１４ａに一時的に蓄積する。決定された時刻情報（撮像伝送装置のデータ生成タイミング）に基づいて、Write制御部２２ａで、データ記憶部１４ａからデータを読み出し、システムエンコード部２１ａで選択された時刻情報を付加して、デコード合成部１６ａに渡す。このとき、図２の通信処理部１２ａは、この選択された時刻情報そのものか、もしくは、その時刻情報から生成されたタイミング情報（ステップＳ６０３）を通信Ｉ／Ｆ部１３ａに渡して、ＬＡＮ２２０を通じて撮像伝送装置２１−２と２１−３に伝送する。撮像伝送装置２１−２と２１−３では、この時刻情報もしくはタイミング情報を受け取ってデコード合成制御装置２２−１が選択した撮像伝送装置２１−２及び２１−３のいずれかの画像や音声の生成タイミングを得る。この生成タイミングを通信Ｉ／Ｆ部３ａ，８ｂを通じて通信処理部２ａ，７ｂが受け取り、タイミング生成部４ａ，９ｂにフィードバックする（ステップＳ６０４）。デコード合成制御装置２２−１から、それぞれの撮像伝送装置に渡される時刻情報は、時刻そのものでもよいし、その時刻から生成したタイミング情報、もしくは、生成タイミングを早めるか遅らせるかの間棚情報でもよい。これより、撮像伝送装置２１−２と２１−３は、生成タイミングが同期化するため、デコード合成制御装置２２−１で画像や音声を合成する際に、それぞれの再生速度が一定となり、時刻の差が発生したり、遅延が蓄積して片方の撮像伝送装置の再生や表示の遅延が発生することを防ぐことができる。
【００５３】
次に、通信Ｉ／Ｆ部３ａ，８ｂから取得した時刻情報やデコードタイミングや制御情報を通信処理部２ａ，７ｂで処理してタイミング生成部４ａ，９ｂの生成タイミングを変更する手法について図５を用いて説明する。ここでは、撮像伝送装置２１−２及び２１−３は、同様な動作を行うので、撮像伝送装置２１−３の説明は省略する。図５において、通信Ｉ／Ｆ部３ａは、デコード合成制御装置２２−１が選択した時刻情報や生成タイミングまたはタイミングの増減情報を受信し、時刻制御抽出処理部３０ａで、それぞれを抽出する。比較・増減制御部３１ａは、撮像伝送装置２１−２の撮像、集音、エンコード、送出のタイミングを生成するタイミング生成部４ａからの生成タイミングと抽出されたタイミングや時刻を比較する。増減の制御情報の場合は、タイミング生成部４ａに直接、生成タイミングを増加させるか、もしくは、減少させるかを指示する。ここでは、生成タイミングを比較する方法で説明する。図６において、まず、デコード合成制御装置２２−１は、合成したい撮像伝送装置を選択し（ステップＳ６００）、合成する各ストリームの時刻情報を抽出し（ステップＳ６０１）、任意の撮像伝送装置の時刻情報を選択する（ステップＳ６０２）。選択方法は、ランダムでも、番号の若い順でも構わない。自由に１つを選択する。選択された時刻情報から、撮像伝送装置の生成タイミングを得ることができるので、これを撮像伝送装置にフィードバックする。次に、このフィードバックされた生成タイミングを受信（図７のステップＳ７００）した撮像伝送装置側は、撮像伝送装置の生成タイミングと定期的にデコード合成制御装置２２−１から受信する生成タイミングを比較し（ステップＳ７０１）、撮像伝送装置の生成タイミングが早い場合は、タイミング生成部（図５の４ａ）の生成速度を下げる（ステップＳ７０３）。その逆の場合は、生成速度を上げる（ステップＳ７０２）。再び、デコード合成制御装置２２−１から、生成タイミングを受信した際に、比較を行い、同様な制御を行うことで、複数の撮像伝送装置が存在しても、デコード合成制御装置２２−１が選択した撮像伝送装置の生成タイミングに同期する。
【００５４】
従来は、特別な同期機構を必要とし、このような簡単な方法での同期構造がとられていなかったため、機器が複雑になったり、コストの上昇を招いていた。
【００５５】
しかしながら、以上のように本実施の形態によれば、比較的簡単な手法で、システムの同期が実現できる。ネットワーク内の機器構成、ホップ数、ネットワーク機器の性能や通信状態の影響を受けないように設けられた、バッファに蓄積する構造をとった場合、この同期が確立できていないと、バッファによる遅延が発生したり、こま落ちが発生したりする。この同期機構を導入することで、これらの問題を比較的簡単な方法で解決することが可能となる。
【００５６】
（実施の形態３）
本発明の実施の形態３の画像合成システムのハードウェア構成は実施の形態１の画像合成システムのものと同一であるので、以下の説明においては図１〜図３を援用することとする。
【００５７】
本実施の形態における撮像伝送装置とデコード合成制御装置の動作について図８を用いて説明する。まず、デコード合成制御装置２２−１で複数合成して表示、再生、記録したい撮像伝送装置を選択する（ステップＳ８００）。本実施の形態では、画像を伝送する複数の撮像伝送装置の２１−２と２１−３（図２）をユーザが選択しており、２台の撮像伝送装置それぞれから送出される画像や音声の情報をデコード合成制御装置２２−１で合成して表示、再生、記録する。図２において、撮像伝送装置の２１−２と２１−３は、それぞれの画像や音声の情報の撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの情報を画像と音声のデータに添付して伝送する。これらの画像や音声のデータと添付された時刻情報は、ＬＡＮ２２０でデータの瞬停やラッシュなどのジッタの影響を受けてデコード合成制御装置２２−１に到達する。デコード合成制御装置２２−１では、受信した撮像伝送装置から合成する各ストリームの時刻情報を抽出し（ステップＳ８０１）、２台の撮像伝送装置の時刻情報の早く進む（最も早い生成タイミングの）時刻情報を選択する（ステップＳ８０２）とともに、受信した画像や音声の情報を、ジッタを吸収するため、データ記憶部１４ａに一時的に蓄積する。決定された時刻情報（撮像伝送装置のデータ生成タイミング）に基づいて、Write制御部２２ａで、データ記憶部１４ａからデータを読み出し、システムエンコード部２１ａで選択された時刻情報を付加して、デコード合成部１６ａに渡す。ＨＤＤ記憶部１８ａに記憶する場合は、記憶された情報をシステムエンコード部２１ａで読み出す際に同様に選択された撮像伝送装置の時刻情報を用いてシステムエンコードして（ステップＳ８０３）、デコード合成部１６ａに渡す。ＨＤＤ記憶部１８ａに記憶された場合も、そのままシステムエンコードされた場合も、デコード合成部１６ａにおいて、選択された時刻情報に基づいてデコードされ、画像や音声が合成される（ステップＳ８０４）。このとき、デコード合成部１６ａが複数の撮像伝送装置の添付された時刻情報に同期できるよう、複数のＰＬＬを有している場合は、システムエンコードせずに、それぞれの画像と音声の情報をそれぞれの時刻情報に基づいてデコード合成部１６ａに渡せばよいが、複数の撮像伝送装置の画像と音声の生成タイミング（添付された時刻情報）の数分だけ同期機構（ＰＬＬ）がなく、1つしかＰＬＬがない場合は、複数の生成タイミング（時刻情報）の中から１つの時刻情報を選択し、システムエンコードしてデコード合成部１６ａに渡す必要がある。デコード合成部１６ａは、その時刻情報に基づいてデコードし、画像や音声の合成を行う。その後、表示・再生部１７ａで合成された画像や音声を表示、再生する（ステップＳ８０５）。
【００５８】
次に図３を用いて、通信Ｉ／Ｆ部１３から取得した画像や音声、時刻の情報をデコード合成部１６でデコード合成するまでの流れを説明する。図２のＵＩ部１５からの指示などで再生、合成、記録すべき画像、音声情報とそれぞれの時刻情報が図３の通信処理部１２ａに渡される。その中から時刻情報抽出・選択処理部２０ａで必要な画像と音声の時刻を抽出し、その中から、もっとも早く進む時刻情報を選択する。データは、そのまま、データ記憶部１４ａに一時的に記憶し、ネットワークのジッタを吸収する。Write制御部２２ａでは、先に時刻抽出・選択処理部２０ａで抽出、選択された時刻情報に基づいて、データ記憶部１４ａからデータを読み出して、ＨＤＤ記憶部１８ａに渡す。ＨＤＤ記憶部１８ａに記憶すべき情報でない場合は、そのままシステムエンコード部に渡される。このとき、ＨＤＤ記憶部１８ａに記憶すると同時に、ＨＤＤ記憶部１８ａから読み出してシステムエンコード部２１ａに渡しても構わない。システムエンコード部２１ａでは、時刻抽出・選択処理部２０ａで選択された、撮像伝送装置の時刻情報（撮像伝送装置の撮像、エンコード、送信のタイミング）に基づいて、システムエンコードして、デコード合成部１６ａに渡される。
【００５９】
従来は、この時刻情報を基に再生する際に、それぞれの撮像伝送装置により付与されたそれぞれの時刻情報に同期する機構が必要であり、同一のエンコーダでシステムエンコードされた画像や音声情報を再生する民生用に開発された同期機構が１つのデコード合成用の安価なデバイスを利用することができなかった。
【００６０】
しかしながら、以上のように本実施の形態によれば、ネットワーク内の機器構成や、ホップ数、ネットワーク機器の性能や通信状態によって、不安定な伝送状態になっても、安定的に画像を受信しデコードして表示することができるとともに、それぞれ画像や音声の生成タイミングをもった複数の撮像伝送装置から送信された画像や音声情報を安価な民生用のデバイスを利用して、デコード合成することができる。
【００６１】
（実施の形態４）
本発明の実施の形態４の画像合成システムのハードウェア構成は実施の形態１の画像合成システムのものと同一であるので、以下の説明においては図１〜図３を援用することとする。
【００６２】
本実施の形態における撮像伝送装置とデコード合成制御装置の動作について図９を用いて説明する。まず、デコード合成制御装置２２−１で複数合成して表示、再生、記録したい撮像伝送装置をそれぞれ選択する（ステップＳ９００）。本実施の形態では、画像を伝送する複数の撮像伝送装置の２１−２と２１−３（図２）をユーザが選択しており、２台の撮像伝送装置そのそれぞれから送出される画像や音声の情報をデコード合成制御装置２２−１で合成して表示、再生、記録する。図２において、撮像伝送装置の２１−２と２１−３は、それぞれの画像や音声の情報の撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を画像と音声のデータに添付して伝送する。これらの画像や音声のデータと添付された時刻情報は、ＬＡＮ２２０でデータの瞬停やラッシュなどのジッタの影響を受けてデコード合成制御装置２２−１に到達する。デコード合成制御装置２２−１では、受信した撮像伝送装置からのデータから合成する各ストリームの時刻情報を抽出し（ステップＳ９０１）、２台の撮像伝送装置の時刻情報の早く進む時刻情報か、それぞれの平均を取った時刻情報を選択する（ステップＳ９０２）とともに、受信した画像や音声の情報のジッタを吸収するため、データ記憶部１４ａに一時的に蓄積する。決定された時刻情報（撮像伝送装置のデータ生成タイミング）に基づいて、Write制御部２２ａで、データ記憶部１４ａからデータを読み出し、システムエンコード部２１ａで選択された時刻情報を付加して、デコード合成部１６ａに渡す。このとき、図２の通信処理部１２ａは、この選択された時刻情報そのものか、もしくは、その時刻情報から生成されたタイミング情報を通信Ｉ／Ｆ部１３ａに渡して、ＬＡＮ２２０を通じて撮像伝送装置２１−２と２１−３に伝送する。撮像伝送装置２１−２と２１−３では、この時刻情報もしくはタイミングを受け取ってデコード合成制御装置２２−１が選択した２１−２及び２１−３のいずれかの撮像伝送装置の画像や音声の生成タイミングを得る。この生成タイミングを通信Ｉ／Ｆ部３ａ，８ｂを通じて通信処理部２ａ，７ｂが受け取り、タイミング生成部４ａ，９ｂにフィードバックする。デコード合成制御装置２２−１から、それぞれの撮像伝送装置に渡される時刻情報は、時刻そのものでもよいし、その時刻から生成したタイミング情報、もしくは、生成タイミングを早めるか遅らせるかの間棚情報でもよい。これより、撮像伝送装置２１−２と２１−３は、生成タイミングが同期化するため、デコード合成制御装置２２−１で画像や音声を合成する際に、それぞれの再生速度が一定となり、時刻の差が発生したり、遅延が蓄積して片方の撮像伝送装置の再生や表示の遅延が発生することを防ぐことができる。
【００６３】
ここでは、撮像伝送装置２１−２と２１−３は、同様な動作をするので、撮像伝送装置２１−３の説明は省略する。実施の形態２では、撮像伝送装置側で比較を実施する手法を説明したので、本実施の形態では、デコード合成制御装置側で比較し同期化して、撮像伝送装置には、生成タイミングの増加と減少の制御情報を送る手法の説明をする。図９で、まず、デコード合成制御装置２２−１は、合成したい撮像伝送装置を選択し（ステップＳ９００）し、合成する各ストリームの時刻情報を抽出し（ステップＳ９０１）、最も早く進む時刻情報を選択するか、もしくは、それぞれの撮像伝送装置の生成タイミングの平均値を求める方法で取得したものを選択する（ステップＳ９０２）。選択されたもしくは計算された時刻情報から、撮像伝送装置の生成タイミングを得ることができるので、これと現在受信されている各撮像伝送装置の生成タイミングとの比較を行い、比較の結果その増減を撮像伝送装置に指示する。次に、生成タイミングの増加（早める）指示を受信した撮像伝送装置側は、撮像伝送装置の生成タイミングを増加させ、減少（遅くする）指示を受信した撮像伝送装置は、生成タイミングを減少する。定期的にデコード合成制御装置２２−１から受信する増減制御情報を利用し、撮像伝送装置の生成タイミングを比較することで、同期化することができる。このような制御を行うことで、複数の撮像伝送装置が存在しても、デコード合成制御装置が選択した撮像伝送装置の生成タイミングに同期する。
【００６４】
従来は、特別な同期機構を必要とし、このような簡単な方法での同期構造がとられていなかったため、機器が複雑になったり、コストの上昇を招いていた。
【００６５】
しかしながら、以上のように本実施の形態によれば、比較的簡単な手法で、システムの同期が実現できる。ネットワーク内の機器構成、ホップ数、ネットワーク機器の性能や通信状態の影響を受けないように設けられた、バッファに蓄積する構造をとった場合、この同期が確立できていないと、バッファによる遅延が発生したり、こま落ちが発生したりする。この同期機構を導入することで、これらの問題を比較的簡単な方法で解決することが可能となる。
【００６６】
（実施の形態５）
本発明の実施の形態５の画像合成システムのハードウェア構成は実施の形態１の画像合成システムのものと同一であるので、以下の説明においては図１〜図３を援用することとする。
【００６７】
本実施の形態における撮像伝送装置とデコード合成制御装置の動作について図１０を用いて説明する。まず、デコード合成制御装置２２−１で複数合成して表示、再生、記録したい撮像伝送装置をそれぞれ選択する（ステップＳ１０００）。本実施の形態では、画像を伝送する複数の撮像伝送装置の２１−２と２１−３（図２）をユーザが選択しており、２台の撮像伝送装置それぞれから送出される画像や音声の情報をデコード合成制御装置２２−１で合成して表示、再生、記録する。図２において、撮像伝送装置の２１−２と２１−３は、それぞれの画像や音声の情報の撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を画像と音声のデータに添付して伝送する。これらの画像や音声のデータと添付された時刻情報は、ＬＡＮ２２０でデータの瞬停やラッシュなどのジッタの影響を受けてデコード合成制御装置２２−１に到達する。デコード合成制御装置２２−１では、受信した撮像伝送装置からのデータから合成する各ストリームの時刻情報を抽出し（ステップＳ１００１）、２台の撮像伝送装置の時刻情報のどちらかを大小関係で選択するか、平均化して算出した時刻情報を選択する（ステップＳ１００２）。その後、受信した画像や音声の情報を、ジッタを吸収するため、データ記憶部１４ａに一時的に蓄積する。決定された時刻情報（撮像伝送装置のデータ生成タイミング）に基づいて、Write制御部２２ａで、データ記憶部１４ａからデータを読み出し、ＨＤＤ記憶部１８ａに記録されるか、もしくは、デコード合成部１６ａにデータを渡す。その際に、各撮像伝送装置から伝送されたストリームごとにデータ記憶部１４ａに記憶されたストリームの量をＣＰＵ１１ａで監視する（ステップＳ１００３）。仮に、撮像伝送装置の時刻情報を平均化して算出した場合、バッファの増減が発生し、平均の時刻情報（生成タイミング）より、撮像伝送装置の生成速度が速い場合は、平均とのずれにしたがってバッファに蓄積された残量が増えていく。したがって、このバッファ残量を見て、増えていく場合は、システムエンコード部２１ａで選択する時刻情報として、バッファ残量が一番上昇するものを選べばよい（ステップＳ１００６）。逆に、まったく増える様子がない場合は、すべての撮像伝送装置の生成タイミングが同期化していることになる。このように決定された時刻情報を用いて、システムエンコードされたストリームをデコード合成部１６ａに渡す。ＨＤＤ記憶部１８ａに記憶する場合は、記憶された情報をシステムエンコード部２１ａで読み出す際に同様に選択された撮像伝送装置の時刻情報を用いてシステムエンコードして（ステップＳ１００４）、デコード合成部１６ａに渡す。ＨＤＤ記憶部１８ａに記憶された場合も、そのままシステムエンコードされた場合も、デコード合成部１６ａにおいて、選択された時刻情報に基づいてデコードされ、画像や音声が合成される（ステップＳ１００５）。
【００６８】
従来は、この時刻情報を基に再生する際に、それぞれの撮像伝送装置により添付されたそれぞれの時刻情報に同期する機構が必要であり、同一のエンコーダでシステムエンコードされた画像や音声情報を再生する民生用に開発された同期機構が１つのデコード合成用の安価なデバイスを利用することができなかった。また、このような安価なデバイスを利用して、システムを同期化せずに、デコードして合成表示する場合、画像や音声の遅延が蓄積するチャンネルが発生したり、こま落ちが発生したりすることがあった。
【００６９】
しかしながら、以上のように本実施の形態によれば、ネットワーク内の機器構成、ホップ数、ネットワーク機器の性能や通信状態によって、不安定な伝送状態になっても、安定的に画像を受信しデコードして表示することができるとともに、それぞれ画像、音声の生成タイミングをもった複数の撮像伝送装置から送信されてきた画像や音声情報を安価な民生用のデコードデバイスを利用して、安定的にデコード合成することができる。
【００７０】
（実施の形態６）
本発明の実施の形態６の画像合成システムのハードウェア構成は実施の形態１の画像合成システムのものと同一であるので、以下の説明においては図１〜図３を援用することとする。
【００７１】
本実施の形態における撮像伝送装置とデコード合成制御装置の動作について図１１を用いて説明する。まず、デコード合成制御装置２２−１で複数合成して表示、再生、記録したい撮像伝送装置をそれぞれ選択する（ステップＳ１１００）。本実施の形態では、画像を伝送する複数の撮像伝送装置の２１−２と２１−３（図２）をユーザが選択しており、２台の撮像伝送装置それぞれから送出される画像や音声の情報をデコード合成制御装置２２−１で合成して表示、再生、記録する。図２において、撮像伝送装置の２１−２と２１−３は、それぞれの画像や音声の情報の撮像、集音、エンコード、送信の時刻のいずれかもしくはそれらの組み合わせの時刻情報を画像と音声のデータに添付して伝送する。これらの画像や音声のデータと添付された時刻情報は、ＬＡＮ２２０でデータの瞬停やラッシュなどのジッタの影響を受けてデコード合成制御装置２２−１に到達する。デコード合成制御装置２２−１では、受信した撮像伝送装置からのデータから合成する各ストリームの時刻情報を抽出し（ステップＳ１１０１）、２台の撮像伝送装置の時刻情報のどちらかを大小関係で選択するか、平均化して算出した時刻情報を選択する（ステップＳ１１０２）。その後、受信した画像や音声の情報を、ジッタを吸収するため、データ記憶部１４ａに一時的に蓄積する。決定された時刻情報（撮像伝送装置のデータ生成タイミング）に基づいて、Write制御部２２ａで、データ記憶部１４ａからデータを読み出し、ＨＤＤ記憶部１８ａに記録されるか、もしくは、デコード合成部１６ａにデータを渡す。その際に、各撮像伝送装置から伝送されたストリームごとにデータ記憶部１４ａに記憶されたストリームの量をＣＰＵ１１ａで監視する（ステップＳ１１０３）。仮に、撮像伝送装置の時刻情報を平均化して算出した場合、バッファの増減が発生し、平均の時刻情報（生成タイミング）より、撮像伝送装置の生成速度が速い場合は、平均とのずれにしたがってバッファに蓄積された残量が増えていく。したがって、このバッファ残量を見て、増えていく場合は、システムエンコード部２１ａで選択する時刻情報として、増加している撮像伝送装置に生成タイミング遅くするよう制御信号を送信すればよい（ステップＳ１１０６）。逆に、まったく増える様子がない場合は、すべての撮像伝送装置の生成タイミングが同期化していることになる。このように決定された時刻情報を用いて、システムエンコードされたストリームをデコード合成部１６ａに渡す。ＨＤＤ記憶部１８ａに記憶する場合は、記憶された情報をシステムエンコード部２１ａで読み出す際に同様に選択された撮像伝送装置の時刻情報を用いてシステムエンコードして（ステップＳ１１０４）、デコード合成部１６ａに渡す。ＨＤＤ記憶部１８ａに記憶された場合も、そのままシステムエンコードされた場合も、デコード合成部１６ａにおいて、選択された時刻情報に基づいてデコードされ、画像や音声が合成される（ステップＳ１１０５）。
【００７２】
次に、通信Ｉ／Ｆ部３ａ，８ｂから取得した時刻情報やデコードタイミングや、制御情報を通信処理部２ａ，７ｂで処理してタイミング生成部４ａ，９ｂの生成タイミングを変更する手法について図５を用いて説明する。ここでは、撮像伝送装置２１−２及び２１−３は、同様な動作をするので、撮像伝送装置２１−３の説明は省略する。図５において通信Ｉ／Ｆ部３ａはデコード合成制御装置２２−１が選択した時刻情報や生成タイミングまたは、タイミングの増減情報を受信し、時刻制御抽出処理部３０ａで、それぞれを抽出する。比較・増減制御部３１ａは、撮像伝送装置２１−１の撮像、集音、エンコード、送出のタイミングを生成するタイミング生成部４ａからの生成タイミングと抽出されたタイミングや、時刻を比較する。増減の制御情報の場合は、タイミング生成部４ａに直接、生成タイミングを増加させるか、もしくは、減少させるかを指示する。本実施の形態では、生成タイミングを比較する方法で説明する。図６において、まず、デコード合成制御装置２２−１は、合成したい撮像伝送装置を選択し（ステップＳ６００）、合成する各ストリームの時刻情報を抽出し（ステップＳ６０１）、任意の撮像伝送装置の時刻情報を選択する（ステップＳ６０２）。選択方法は、ランダムでも、番号の若い順でも構わない。自由に１つを選択する。選択された時刻情報から、撮像伝送装置の生成タイミングを得ることができるので、これを撮像伝送装置にフィードバックする。次に、このフィードバックされた生成タイミングを受信（図７のステップＳ７００）した撮像伝送装置側は、撮像伝送装置の生成タイミングと定期的にデコード合成制御装置から受信する生成タイミングを比較し（ステップＳ７０１）、撮像伝送装置の生成タイミングが早い場合は、タイミング生成部（図５の４ａ）の生成速度を下げる（ステップＳ７０３）。その逆の場合は、生成速度を上げる（ステップＳ７０２）。再び、デコード合成制御装置２２−１から、生成タイミングを受信した際に、比較を行い、同様な制御を行うことで、複数の撮像伝送装置が存在しても、デコード合成制御装置が選択した撮像伝送装置の生成タイミングに同期する。
【００７３】
従来は、特別な同期機構を必要とし、このような簡単な方法での同期構造がとられていなかったため、機器が複雑になったり、コストの上昇を招いていた。
【００７４】
しかしながら、以上のように本実施の形態によれば、ネットワーク内の機器構成、ホップ数、ネットワーク機器の性能や通信状態によって、不安定な伝送状態になっても、安定的に画像を受信しデコードして表示することができるとともに、それぞれ画像や音声の生成タイミングをもった複数の撮像伝送装置から送信されてきた画像や音声情報を安価な民生用のデコードデバイスを利用して、安定的にデコード合成することができる。
【産業上の利用可能性】
【００７５】
本発明は、伝送されるデータが乱れず、該データを安定的に合成して再生することができるといった効果を有し、ネットワークを利用したシステム等への適用が可能である。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施の形態１の画像合成システムの構成を示すブロック図
【図２】本発明の実施の形態１における撮像伝送装置とデコード合成制御装置の構成を示すブロック図
【図３】本発明の実施の形態１におけるデコード合成制御装置で取得した情報をデコード合成するまでの流れを説明するためのブロック図
【図４】本発明の実施の形態１における撮像伝送装置とデコード合成制御装置の動作を説明するためのフローチャート
【図５】本発明の実施の形態２における撮像伝送装置で取得した情報について生成タイミングを変更する手法を説明するためのブロック図
【図６】本発明の実施の形態２における撮像伝送装置とデコード合成制御装置の動作を説明するためのフローチャート
【図７】本発明の実施の形態２における撮像伝送装置で取得した情報について生成タイミングを変更する手法を説明するためのフローチャート
【図８】本発明の実施の形態３における撮像伝送装置とデコード合成制御装置の動作を説明するためのフローチャート
【図９】本発明の実施の形態４における撮像伝送装置とデコード合成制御装置の動作を説明するためのフローチャート
【図１０】本発明の実施の形態５における撮像伝送装置とデコード合成制御装置の動作を説明するためのフローチャート
【図１１】本発明の実施の形態６における撮像伝送装置とデコード合成制御装置の動作を説明するためのフローチャート
【図１２】従来のシステムの一例の構成を示すブロック図
【符号の説明】
【００７７】
１ａ、６ｂ  エンコード部
２ａ、７ｂ、１２ａ  通信処理部
３ａ、８ｂ、１３ａ  通信Ｉ／Ｆ部
４ａ、９ｂ  タイミング生成部
５ａ、１０ｂ  撮像・集音制御部
１１ａ  ＣＰＵ
１４ａ  データ記憶部
１５ａ  ＵＩ部
１６ａ  デコード合成部
１７ａ  表示・再生部
１８ａ  ＨＤＤ記憶部
１９ａ  ＰＬＬ
２０ａ  時刻抽出・選択処理部
２１ａ  システムエンコード部
２２ａ  Write制御部
３０ａ  時刻制御抽出処理部
３１ａ  比較・増減制御部
２１−１、２２−１  デコード合成制御装置
２１−２、２１−３、２２−２  撮像伝送装置
【図１】
2007036539.tif 000003
【図２】
2007036539.tif 000004
【図３】
2007036539.tif 000005
【図４】
2007036539.tif 000006
【図５】
2007036539.tif 000007
【図６】
2007036539.tif 000008
【図７】
2007036539.tif 000009
【図８】
2007036539.tif 000010
【図９】
2007036539.tif 000011
【図１０】
2007036539.tif 000012
【図１１】
2007036539.tif 000013
【図１２】
2007036539.tif 000014