(57)【特許請求の範囲】
【請求項１】
互いに同期していない複数のチャンネルのビデオデータであるフレームデータを入力し、上記フレームデータをフレームメモリにバッファリングするフレームデータ入力手段と、上記フレームデータ入力手段によるバッファリングの完了タイミングに合わせて、上記フレームメモリに格納されている複数のチャンネルのフレームデータの合成開始タイミングを設定する合成開始タイミング設定手段と、上記合成開始タイミング設定手段により設定された合成開始タイミングで、上記フレームメモリに格納されている複数のチャンネルのフレームデータの合成を開始するフレームデータ合成手段とを備えたビデオ合成装置において、上記合成開始タイミング設定手段は、上記複数のチャンネルのフレームデータが上記フレームメモリに格納されてから、上記フレームデータ合成手段により合成が開始されるまでの待ち時間の合計が最小になる合成開始タイミングに設定するのに、上記複数のチャンネルのうち、基準となるチャンネルのフレームデータのバッファリングが完了した時点を合成開始タイミングに設定するものであって、どのチャンネルを基準チャンネルとすれば、待ち時間の合計が最小になるかを算出して、待ち時間の合計が最小になるチャンネルを基準チャンネルに設定することを特徴とするビデオ合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、互いに同期していない複数のチャンネルのビデオデータである入力フレームデータを合成して、出力フレームデータを生成するビデオ合成装置に関するものである。
【背景技術】
【０００２】
互いに同期していない複数のチャンネルの入力フレームデータを合成して、出力フレームデータを生成するビデオ合成装置では、何らかの方法で、複数のチャンネルの入力フレームデータを同期化する必要がある。
そこで、入力フレームデータをバッファリングして同期化するビデオ合成装置が開発されている（例えば、特許文献１を参照）。
【０００３】
このビデオ合成装置では、入力フレームデータ毎に専用のフレームメモリを設け、入力フレームデータがフレームメモリに格納されることにより生じる時間的余裕を利用して同期化を図っている。
この方法とは別に、単一のビデオメモリ（例えば、ＳＤＲＡＭやＤＤＲ−ＳＤＲＡＭ）を使用し、そのビデオメモリを各チャンネルの入力用フレームメモリとして兼用する方法もある。
以降、フレームデータを格納するフレームメモリ内の領域をバッファと称する。
【０００４】
入力フレームデータのバッファリングを行う場合、入力フレームデータのバッファリングの完了時点から、そのフレームデータが出力されるまでの時間（出力待ち時間）、そのフレームデータを格納しているバッファはロックされ、そのバッファに対する次のフレームデータのバッファリングが禁止される。
その出力待ち時間の期間に、フレームメモリに保持できない分量の入力フレームデータが入力されると、保持できないフレームデータは破棄され、その結果として、フレームデータの「フレーム落ち」が発生する。
例えば、ダブルバッファ方式など、複数バッファ方式を採用して、バッファの多重度を増やせば、「フレーム落ち」の頻度を減らすことができるが、追加のバッファが必要になる。
【０００５】
複数のチャンネルの入力フレームデータは互いに同期していないため、入力用フレームメモリに対するバッファリングの完了タイミングは、チャンネル毎に異なる。
一方、バッファリングが完了している複数のチャンネルのフレームデータを読み出してビデオ合成を開始するタイミングは、複数のチャンネルで共通である。
よって、バッファリングが完了してから、出力するまでの時間（出力待ち時間）は、チャンネル毎に異なる。
この出力待ち時間が長いチャンネルは、前述の理由から「フレーム落ち」が発生する可能性が高くなる。
【０００６】
従来のビデオ合成装置においては、ビデオ合成を開始するタイミング（合成開始タイミング）が、ある一定の周期に固定されている場合が多い。
例えば、あるチャンネルの入力フレームデータのバッファリングが完了した時点を合成開始タイミングに固定する方法があげられる。
合成開始タイミングがある一定の周期に固定されていると、各チャンネルの入力用フレームメモリで出力待ち時間に偏りが生じる。即ち、全く待たされないチャンネルがある一方で、長く待たされるチャンネルも出てくる。出力待ち時間が長いチャンネルに「フレーム落ち」が集中する。
【０００７】
また、合成開始タイミングがある一定の周期に固定されている場合、入力用フレームメモリの出力待ち時間が常に最短になるとは限らない。そのため、「フレーム落ち」の発生頻度が最小になっていない場合もある。
よって、入力用フレームメモリのバッファ多重度が「フレーム落ち」を防止するのに十分でない場合、合成開始タイミングをある一定の周期に固定してしまうと、「フレーム落ち」の発生頻度が均一にならず、また、「フレーム落ち」の発生頻度が最小にならない。
【０００８】
【特許文献１】特表２００３−５１０９５７号公報（段落番号［０００８］から［００１２］）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来のビデオ合成装置は以上のように構成されているので、互いに同期していない複数のチャンネルの入力フレームデータを合成する際、入力用フレームメモリのバッファ多重度が「フレーム落ち」を防止するのに十分でない場合、ビデオ合成を開始するタイミングをある一定の周期に固定してしまうと、「フレーム落ち」が発生し易いチャンネルに偏りが生じ、また、「フレーム落ち」の発生頻度が最小にならないなどの課題があった。
【００１０】
この発明は上記のような課題を解決するためになされたもので、「フレーム落ち」の発生頻度の均一化と最小化を図ることができるビデオ合成装置を得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係るビデオ合成装置は、合成開始タイミング設定手段は、複数のチャンネルのフレームデータがフレームメモリに格納されてから、フレームデータ合成手段により合成が開始されるまでの待ち時間の合計が最小になる合成開始タイミングに設定するのに、複数のチャンネルのうち、基準となるチャンネルのフレームデータのバッファリングが完了した時点を合成開始タイミングに設定するものであって、どのチャンネルを基準チャンネルとすれば、待ち時間の合計が最小になるかを算出して、待ち時間の合計が最小になるチャンネルを基準チャンネルに設定するようにしたものである。
【発明の効果】
【００１２】
この発明によれば、複数のチャンネルのフレームデータがフレームメモリに格納されてから、フレームデータ合成手段により合成が開始されるまでの待ち時間の合計が最小になる合成開始タイミングを設定するように構成したので、「フレーム落ち」の発生頻度の均一化と最小化を図ることができる効果がある。
【発明を実施するための最良の形態】
【００１３】
実施の形態１．
図１はこの発明の実施の形態１によるビデオ合成装置を示す構成図であり、図において、ビデオ入力部１は互いに同期していない複数のチャンネル（ビデオ１ｃｈ、ビデオ２ｃｈ、ビデオ３ｃｈ、ビデオ４ｃｈ）のビデオデータであるフレームデータを入力し、そのフレームデータをフレームメモリ２にバッファリングを行う。
また、ビデオ入力部１は複数のチャンネルのビデオ周期に関する情報（例えば、ＶＳＹＮＣ）や、フレームデータのバッファリング完了信号などを合成タイミング生成部３に転送する。
なお、ビデオ入力部１はフレームデータ入力手段を構成している。
【００１４】
フレームメモリ２は複数のチャンネルのフレームデータを格納するメモリであり、チャンネル毎に専用のフレームメモリであってもよいし、各チャンネルで共有する単一のフレームメモリであってもよい。
フレームメモリ２は例えばＳＲＡＭやＤＲＡＭなどで構成され、特定の仕様のメモリである必要はない。
単一のフレームメモリ２を各チャンネルが共有して使用する場合、フレームメモリ２の領域を分割し、各チャンネルの占有領域を決めておくようにする。この場合、フレームメモリコントローラを用いて、各チャンネルの書き込み要求などを調停して、単一のフレームメモリ２を時分割して共有使用する。
フレームメモリ２は複数バッファ方式（例えば、ダブルバッファ方式）で多重化されていてもよいし、シングルバッファ方式で全く多重化されていないものであってもよい。
【００１５】
合成タイミング生成部３はビデオ入力部１から出力されるフレームデータのバッファリング完了信号に合わせて、フレームメモリ２に格納されている複数のチャンネルのフレームデータの合成開始タイミングを設定する。
即ち、合成タイミング生成部３は複数のチャンネルのフレームデータがフレームメモリ２に格納されてから、ビデオ合成出力部４により合成が開始されるまでの出力待ち時間の合計が最小になる合成開始タイミングを設定する。
なお、合成タイミング生成部３は合成開始タイミング設定手段を構成している。
【００１６】
ビデオ合成出力部４は合成タイミング生成部３により設定された合成開始タイミングで、フレームメモリ２に格納されている複数のチャンネルのフレームデータの合成を開始する。
なお、ビデオ合成出力部４はフレームデータ合成手段を構成している。
【００１７】
図２は４つのチャンネルのビデオデータである入力フレームデータをビデオ合成している出力フレームデータの一例を示す説明図である。
各チャンネルのフレームデータは独立してフレームメモリ２に格納されているため、ビデオ合成時に重ね合わせを行うことができる。
合成後の出力フレームデータは、フレームメモリ２内に出力フレームデータ格納領域を確保して、その出力フレームデータ格納領域に一時的に格納してもよいし、格納せずに外部に出力してもよい。
【００１８】
次に動作について説明する。
図３は複数のチャンネルにおけるフレームデータの合成処理期間の一例を示す説明図である。
図３において、「Ｎフレーム」（Ｎ＝１，２，３…）と記入されているブロックは、ビデオ入力部１によりバッファリングされてフレームメモリ２に格納されるＮフレーム目のフレームデータを示している。
【００１９】
図３の例では、ビデオ１ｃｈの１フレーム目のフレームデータは、時刻Ｔ１にバッファリングが完了しており、２フレーム目のフレームデータは、時刻Ｔ５にバッファリングが完了している。
また、ビデオ２ｃｈの１フレーム目のフレームデータは、時刻Ｔ２にバッファリングが完了しており、２フレーム目のフレームデータは、時刻Ｔ６にバッファリングが完了している。
ビデオ３ｃｈの１フレーム目のフレームデータは、時刻Ｔ３にバッファリングが完了しており、２フレーム目のフレームデータは、時刻Ｔ７にバッファリングが完了している。
また、ビデオ４ｃｈの１フレーム目のフレームデータは、時刻Ｔ４にバッファリングが完了しており、２フレーム目のフレームデータは、時刻Ｔ８にバッファリングが完了している。
【００２０】
合成タイミング生成部３は、複数のチャンネル（ビデオ１ｃｈ、ビデオ２ｃｈ、ビデオ３ｃｈ、ビデオ４ｃｈ）の中から、基準となるチャンネル（以降、「基準チャンネル」と称する）を選択する。基準チャンネルの選択処理は一定期間単位で行う。基準チャンネルの選択方法については後述する。
合成タイミング生成部３は、ビデオ入力部１が基準チャンネルのフレームデータのバッファリングを完了することにより、ビデオ入力部１からバッファリング完了信号を受けると、その時点を合成開始タイミングに設定して合成開始指令をビデオ合成出力部４に出力する。
【００２１】
ビデオ合成出力部４は、合成タイミング生成部３から合成開始指令を受けると、フレームメモリ２に格納されている複数のチャンネルのフレームデータの合成を開始する。
ただし、フレームメモリ２から複数のチャンネルのフレームデータを読み出す順序は任意である。
【００２２】
図３では、ビデオ１ｃｈが基準チャンネルに選択されている例を示している。
したがって、ビデオ１ｃｈのフレームデータのバッファリングが完了した直後に（時刻Ｔ１，Ｔ５）、合成タイミング生成部３から合成開始指令が出力されて、ビデオ合成出力部４が複数のチャンネルのフレームデータの合成を開始している。
このとき、ビデオ合成出力部４は、各チャンネルのバッファリング済の出力待ちフレームデータを読み出して合成処理を行うが、例えば、図３の時刻Ｔ５から開始するビデオ合成処理期間２では、ビデオ１ｃｈについては、バッファリング済の２フレーム目のフレームデータをビデオ合成に使用し、ビデオ２ｃｈ，３ｃｈ，４ｃｈについては、バッファリング済の１フレーム目のフレームデータをビデオ合成に使用する。
【００２３】
あるチャンネルのフレームデータのバッファリングが完了した時点から、ビデオ合成出力部４により当該フレームデータが読み出されるまでの時間（出力待ち時間）、そのフレームデータを格納しているフレームメモリ２のバッファはロックされ、そのバッファに対する次のフレームデータのバッファリングが禁止される。
その出力待ち時間の期間にバッファに保持できない分量のフレームデータがビデオ入力部１に入力されると、保持できないフレームデータが破棄され、その結果として、フレームデータの「フレーム落ち」が発生する。
【００２４】
図４はビデオ１ｃｈが基準チャンネルに選択される場合におけるビデオ合成処理期間でのフレームデータの出力待ち時間を示す説明図である。
ビデオ１ｃｈの２フレーム目のフレームデータは時刻Ｔ５から時刻Ｔ９までの間が出力待ち時間であり、この出力待ち時間の期間は２フレーム目のフレームデータを格納しているフレームメモリ２のバッファがロックされる。
また、ビデオ２ｃｈの１フレーム目のフレームデータは時刻Ｔ２から時刻Ｔ９までの間が出力待ち時間であり、この出力待ち時間の期間は１フレーム目のフレームデータを格納しているフレームメモリ２のバッファがロックされる。
【００２５】
ビデオ３ｃｈの１フレーム目のフレームデータは時刻Ｔ３から時刻Ｔ９までの間が出力待ち時間であり、この出力待ち時間の期間は１フレーム目のフレームデータを格納しているフレームメモリ２のバッファがロックされる。
また、ビデオ４ｃｈの１フレーム目のフレームデータは時刻Ｔ４から時刻Ｔ９までの間が出力待ち時間であり、この出力待ち時間の期間は１フレーム目のフレームデータを格納しているフレームメモリ２のバッファがロックされる。
【００２６】
ビデオ合成処理期間２の終了時点である時刻Ｔ９まで、ビデオ１ｃｈの２フレーム目のフレームデータを格納しているフレームメモリ２のバッファがロックされる。
このとき、時刻Ｔ９でロックが解除される前に、ビデオ１ｃｈの３フレーム目のフレームデータの受信が開始される（図３を参照）。
そのため、ロックされているバッファ以外に１フレーム分のバッファが存在していない場合、即ち、フレームメモリ２のバッファの多重度が２以上でない場合、１フレーム分のフレームデータが破棄されて「フレーム落ち」が発生する。
【００２７】
また、ビデオ合成処理期間２の終了時点である時刻Ｔ９まで、ビデオ２ｃｈの１フレーム目のフレームデータを格納しているフレームメモリ２のバッファがロックされる。また、２フレーム目のフレームデータのバッファリングも完了しており（図３を参照）、２フレーム目のフレームデータを格納しているフレームメモリ２のバッファもロックされる。
このとき、時刻Ｔ９でロックが解除される前に、ビデオ２ｃｈの３フレーム目のフレームデータの受信が開始される（図３を参照）。
そのため、ロックされている２つのバッファ以外に１フレーム分のバッファが存在していない場合、即ち、フレームメモリ２のバッファの多重度が３以上でない場合、１フレーム分のフレームデータが破棄されて「フレーム落ち」が発生する。
【００２８】
したがって、チャンネルのフレームメモリ２の多重度がいずれも２の場合（いわゆるダブルバッファ方式の場合）、ビデオ２ｃｈに「フレーム落ち」が集中することになる。
このように、フレームメモリ２のバッファの多重度が「フレーム落ち」を防止するのに十分でない場合、基準チャンネルを固定して、あるチャンネルの周期に合成開始タイミングが固定されると、特定のチャンネルの出力待ち時間が長い状況が連続し、「フレーム落ち」が発生し易いチャンネルに偏りが生じる。
フレームメモリ２のバッファの多重度を増やせば、「フレーム落ち」の発生頻度自体が減少し、「フレーム落ち」の偏りも減少するが、追加のバッファ領域が必要となる。
そのため、この実施の形態１では、バッファの多重度を増やす方法については検討しない。
【００２９】
この実施の形態１では、「フレーム落ち」は出力待ち時間が長い場合に発生し易いことに着目し、この出力待ち時間を減らすため、基準チャンネルを一定期間単位で再選択して、変更することを検討する。
以下、基準チャンネルの選択方法について詳述する。
【００３０】
合成タイミング生成部３は、ビデオ入力部１から各チャンネルのフレームデータのバッファリング完了信号を受けると（例えば、時刻Ｔ５，Ｔ６，Ｔ７，Ｔ８などのタイミングで受信）、それらのバッファリング完了信号の受信時刻を合成開始タイミングに仮に設定することにより、各チャンネルが基準チャンネルとなる場合の出力待ち時間の合計をチャンネル毎に算出し、出力待ち時間の合計が最小になるチャンネルを基準チャンネルに設定する。
ただし、あるチャンネルのフレームデータが入力されない場合や、途中でフレームデータの入力が途切れてしまう場合などは、そのチャンネルを基準チャンネルの選択の候補から外すものとする。
【００３１】
例えば、図４に示すように、ビデオ１ｃｈを基準チャンネルとする場合、ビデオ１ｃｈのフレームデータのバッファリングが完了した直後（時刻Ｔ１，Ｔ５）が合成開始タイミングになる。
例えば、時刻Ｔ５の合成開始タイミングで開始されるビデオ合成処理期間において、合成対象となるバッファリング完了済のフレームデータは、ビデオ１ｃｈの２フレーム目のフレームデータ、ビデオ２ｃｈの１フレーム目のフレームデータ、ビデオ３ｃｈの１フレーム目のフレームデータ、ビデオ４ｃｈの１フレーム目のフレームデータである。
この場合、各チャンネルの出力待ち時間は、ビデオ１ｃｈが（Ｔ９−Ｔ５）、ビデオ２ｃｈが（Ｔ９−Ｔ２）、ビデオ３ｃｈが（Ｔ９−Ｔ３）、ビデオ４ｃｈが（Ｔ９−Ｔ４）となる。
【００３２】
次に、図５に示すように、ビデオ４ｃｈを基準チャンネルとする場合、ビデオ４ｃｈのフレームデータのバッファリングが完了した直後（時刻Ｔ４，Ｔ８）が合成開始タイミングになる。
例えば、時刻Ｔ８の合成開始タイミングで開始されるビデオ合成処理期間において、合成対象となるバッファリング完了済のフレームデータは、ビデオ１ｃｈの２フレーム目のフレームデータ、ビデオ２ｃｈの２フレーム目のフレームデータ、ビデオ３ｃｈの２フレーム目のフレームデータ、ビデオ４ｃｈの２フレーム目のフレームデータである。
この場合、各チャンネルの出力待ち時間は、ビデオ１ｃｈが（Ｔ１２−Ｔ５）、ビデオ２ｃｈが（Ｔ１２−Ｔ６）、ビデオ３ｃｈが（Ｔ１２−Ｔ７）、ビデオ４ｃｈが（Ｔ１２−Ｔ８）となる。
よって、このような場合には、基準チャンネルをビデオ１ｃｈとするよりも、ビデオ４ｃｈとする方が、各チャンネルの出力待ち時間の合計が少なくなる。
【００３３】
同様にして、ビデオ２ｃｈ，ビデオ３ｈを基準チャンネルとする場合の出力待ち時間を算出する。
図６に示すように、ビデオ２ｃｈを基準チャンネルとする場合、ビデオ２ｃｈのフレームデータのバッファリングが完了した直後（時刻Ｔ２，Ｔ６）が合成開始タイミングになる。
例えば、時刻Ｔ６の合成開始タイミングで開始されるビデオ合成処理期間において、合成対象となるバッファリング完了済のフレームデータは、ビデオ１ｃｈの２フレーム目のフレームデータ、ビデオ２ｃｈの２フレーム目のフレームデータ、ビデオ３ｃｈの１フレーム目のフレームデータ、ビデオ４ｃｈの１フレーム目のフレームデータである。
この場合、各チャンネルの出力待ち時間は、ビデオ１ｃｈが（Ｔ１０−Ｔ５）、ビデオ２ｃｈが（Ｔ１０−Ｔ６）、ビデオ３ｃｈが（Ｔ１０−Ｔ３）、ビデオ４ｃｈが（Ｔ１０−Ｔ４）となる。
【００３４】
図７に示すように、ビデオ３ｃｈを基準チャンネルとする場合、ビデオ３ｃｈのフレームデータのバッファリングが完了した直後（時刻Ｔ３，Ｔ７）が合成開始タイミングになる。
例えば、時刻Ｔ７の合成開始タイミングで開始されるビデオ合成処理期間において、合成対象となるバッファリング完了済のフレームデータは、ビデオ１ｃｈの２フレーム目のフレームデータ、ビデオ２ｃｈの２フレーム目のフレームデータ、ビデオ３ｃｈの２フレーム目のフレームデータ、ビデオ４ｃｈの１フレーム目のフレームデータである。
この場合、各チャンネルの出力待ち時間は、ビデオ１ｃｈが（Ｔ１１−Ｔ５）、ビデオ２ｃｈが（Ｔ１１−Ｔ６）、ビデオ３ｃｈが（Ｔ１１−Ｔ７）、ビデオ４ｃｈが（Ｔ１１−Ｔ４）となる。
よって、このような場合には、基準チャンネルをビデオ２ｃｈ，３ｃｈとするよりも、ビデオ４ｃｈとする方が、各チャンネルの出力待ち時間の合計が少なくなる。
【００３５】
これにより、合成タイミング生成部３は、ビデオ４ｃｈを基準チャンネルとして選択し、ビデオ４ｃｈのフレームデータのバッファリングが完了した直後（時刻Ｔ４，Ｔ８）を合成開始タイミングに設定して、合成開始指令をビデオ合成出力部４に出力する。
なお、合成タイミング生成部３は、上記の基準チャンネルの選択処理をある一定期間単位で行う。
短い期間単位で選択を行う方が「フレーム落ち」が発生し易いチャンネルの偏りを削減することができる。また、自動的に出力待ち時間が最小になるように調整されるため、各チャンネルの「フレーム落ち」の発生頻度を最小限に抑えることができる。
また、あるチャンネルのフレームデータの入力が途切れた場合でも、そのチャンネルを基準チャンネルの選択から外されるため、異常のないチャンネルを正常に合成して、出力フレームデータを生成することができる。
【００３６】
以上で明らかなように、この実施の形態１によれば、複数のチャンネルのフレームデータがフレームメモリ２に格納されてから、ビデオ合成出力部４により合成が開始されるまでの出力待ち時間の合計が最小になる合成開始タイミングを設定するように構成したので、「フレーム落ち」の発生頻度の均一化と最小化を図ることができる効果を奏する。
【００３７】
実施の形態２．
上記実施の形態１では、合成タイミング生成部３が、どのチャンネルを基準チャンネルとすれば、出力待ち時間の合計が最小になるかを算出して、出力待ち時間の合計が最小になるチャンネルを基準チャンネルに設定するものについて示したが、合成タイミング生成部３が、フレーム落ちが発生したチャンネルを基準チャンネルに設定するようにしてもよい。
【００３８】
ビデオ合成装置の構成図は、上記実施の形態１と同じであり（図１を参照）、合成タイミング生成部３が出力待ち時間の算出処理を実施せずに、基準チャンネルの再設定を行う点でのみ上記実施の形態１と相違している。
【００３９】
合成タイミング生成部３は、各チャンネルの「フレーム落ち」の発生を検出する。
合成タイミング生成部３は、あるチャンネルの「フレーム落ち」の発生を検出すると、そのチャンネルを基準チャンネルに再設定する。
これにより、基準フレームに設定されたチャンネルは、出力待ち時間が一番短くなり、「フレーム落ち」の頻度が一番低くなる。
「フレーム落ち」が発生したチャンネルを基準チャンネルに選択することは、そのチャンネルの優先度を上げることに等しい。
【００４０】
図４の例では、ビデオ１ｃｈが基準チャンネルに選択されている。
この場合、ビデオ２ｃｈの出力待ち時間が一番長く、ビデオ２ｃｈにおいて「フレーム落ち」が一番発生し易い状況になっている。
この状況下で、ビデオ２ｃｈに「フレーム落ち」が発生すると、合成タイミング生成部３がビデオ２ｃｈを基準チャンネルに再設定する（図６を参照）。
【００４１】
この場合、ビデオ３ｃｈの出力待ち時間が一番長く、ビデオ３ｃｈにおいて「フレーム落ち」が一番発生し易い状況になっている。
この状況下で、ビデオ３ｃｈに「フレーム落ち」が発生すると、合成タイミング生成部３がビデオ３ｃｈを基準チャンネルに再設定する（図７を参照）。
【００４２】
この場合、ビデオ４ｃｈの出力待ち時間が一番長く、ビデオ４ｃｈにおいて「フレーム落ち」が一番発生し易い状況になっている。
この状況下で、ビデオ４ｃｈに「フレーム落ち」が発生すると、合成タイミング生成部３がビデオ４ｃｈを基準チャンネルに再設定する（図５を参照）。
この場合、基準チャンネルをビデオ１ｃｈ，２ｃｈ，３ｃｈに選択した場合と比べて、出力待ち時間が少なくなっている。
【００４３】
このように、「フレーム落ち」が発生したチャンネルを基準チャンネルに再設定していくようにすれば、消去法的に、出力待ち時間が最小になるチャンネルが基準チャンネルに再設定される。
また、自動的に出力待ち時間が最小になるように調整されるため、各チャンネルの「フレーム落ち」の発生頻度を最小限に抑えることができる。
また、あるチャンネルのフレームデータの入力が途切れた場合でも、そのチャンネルを基準チャンネルの選択から外されるため、異常のないチャンネルを正常に合成して、出力フレームデータを生成することができる。
上記実施の形態１と比べて、出力待ち時間が最小となる基準チャンネルを選択するのに長い時間を要するが、出力待ち時間の算出処理が不要になる。
【図面の簡単な説明】
【００４４】
【図１】この発明の実施の形態１によるビデオ合成装置を示す構成図である。
【図２】４つのチャンネルのビデオデータである入力フレームデータをビデオ合成している出力フレームデータの一例を示す説明図である。
【図３】複数のチャンネルにおけるフレームデータの合成処理期間の一例を示す説明図である。
【図４】ビデオ１ｃｈが基準チャンネルに選択される場合におけるビデオ合成処理期間でのフレームデータの出力待ち時間を示す説明図である。
【図５】ビデオ４ｃｈが基準チャンネルに選択される場合におけるビデオ合成処理期間でのフレームデータの出力待ち時間を示す説明図である。
【図６】ビデオ２ｃｈが基準チャンネルに選択される場合におけるビデオ合成処理期間でのフレームデータの出力待ち時間を示す説明図である。
【図７】ビデオ３ｃｈが基準チャンネルに選択される場合におけるビデオ合成処理期間でのフレームデータの出力待ち時間を示す説明図である。
【符号の説明】
【００４５】
１  ビデオ入力部（フレームデータ入力手段）、２  フレームメモリ、３  合成タイミング生成部（合成開始タイミング設定手段）、４  ビデオ合成出力部（フレームデータ合成手段）。
【図１】
0005172452.tif 000002
【図２】
0005172452.tif 000003
【図３】
0005172452.tif 000004
【図４】
0005172452.tif 000005
【図５】
0005172452.tif 000006
【図６】
0005172452.tif 000007
【図７】
0005172452.tif 000008