(57)【要約】【課題】ユーザにとって重要な映像を自動的に表示し、しかも、その重要な映像を視覚的に見やすい画面構成に合成して表示すること。【解決手段】映像入力部１０２は、映像を構成する画像を１画像ごとに入力し、映像蓄積部１１０は、入力された映像を蓄積する。トリガ発生部１０４は、映像の重要度を示すトリガを発生し、合成トリガ算出部１０６は、そのトリガを用いて、画面合成パラメータを算出するための合成トリガを算出する。画面構成算出部１０８は、合成トリガを用いて画面合成の有無を判定し画面構成（具体的には画面合成パラメータ）を算出する。サブ画像作成部１１２は、画面構成算出結果に基づいて、入力画像（メイン画像）との合成に用いられる画像（サブ画像）を作成し、画像情報付加部１１４は、サブ画像に当該サブ画像の画像情報を付加する。画面合成部１１６は、複数の画像（メイン画像とサブ画像）を１つの画面に合成する。【選択図】      図１
2004266376.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像を１つの画面に合成する映像合成装置であって、
映像を入力する映像入力手段と、
映像の重要度を示すトリガを生成するトリガ生成手段と、
生成されたトリガを用いて画面構成を算出する画面構成算出手段と、
算出された画面構成に基づいて、入力された映像から、合成する画像を作成する画像作成手段と、
作成された画像を含む複数の画像を１つの画面に合成する画面合成手段と、
を有することを特徴とする映像合成装置。
【請求項２】
前記トリガ生成手段は、映像内における動きを検出し検出した動きの大きさに応じた信号を出力する動き検出センサを有する、ことを特徴とする請求項１記載の映像合成装置。
【請求項３】
前記トリガ生成手段は、
映像内における特定の動きを認識し認識した動きの大きさに応じた信号を出力する動き認識センサを有する、
ことを特徴とする請求項１記載の映像合成装置。
【請求項４】
前記トリガ生成手段は、
映像内における特定の物体を画像認識し当該画像認識結果に応じた信号を出力する画像認識センサを有する、
ことを特徴とする請求項１記載の映像合成装置。
【請求項５】
前記トリガ生成手段は、
ユーザからの画面合成要求を受け付ける装置を有する、
ことを特徴とする請求項１記載の映像合成装置。
【請求項６】
前記画面構成算出手段は、
トリガが生成された時刻の映像を静止画像として別の画像と合成させる画面構成を算出する、
ことを特徴とする請求項１記載の映像合成装置。
【請求項７】
前記画面構成算出手段は、
トリガが生成された時刻の映像を静止画像として表示する際の表示時間をトリガの大きさに応じて制御する、
ことを特徴とする請求項６記載の映像合成装置。
【請求項８】
前記画面構成算出手段は、
前記表示時間をトリガの大きさが大きいほど大きく設定する、
ことを特徴とする請求項７記載の映像合成装置。
【請求項９】
前記画面構成算出手段は、
映像内においてトリガが生成された位置を中心とする領域の画像を切り出して別の画像と合成させる画面構成を算出する、
ことを特徴とする請求項１記載の映像合成装置。
【請求項１０】
前記画面構成算出手段は、
映像内においてトリガが生成された位置を中心とする領域の画像を切り出す際の切り出しサイズをトリガの大きさに応じて制御する、
ことを特徴とする請求項９記載の映像合成装置。
【請求項１１】
前記画面構成算出手段は、
前記切り出しサイズをトリガの大きさが大きいほど小さく設定する、
ことを特徴とする請求項１０記載の映像合成装置。
【請求項１２】
前記画面構成算出手段は、
映像内においてトリガが生成された時刻前後の画像群で構成されるシーンを繰り返し表示させながら別の画像と合成させる画面構成を算出する、
ことを特徴とする請求項１記載の映像合成装置。
【請求項１３】
前記画面構成算出手段は、
映像内においてトリガが生成された時刻前後の画像群で構成されるシーンを繰り返し表示する際の再生速度をトリガの大きさに応じて制御する、
ことを特徴とする請求項１２記載の映像合成装置。
【請求項１４】
前記画面構成算出手段は、
前記再生速度をトリガの大きさが大きいほど小さく設定する、
ことを特徴とする請求項１３記載の映像合成装置。
【請求項１５】
前記画面構成算出手段は、
映像内においてトリガが生成された時刻前後の画像群で構成されるシーンを繰り返し表示する際のシーンの区間をトリガの大きさに応じて制御する、
ことを特徴とする請求項１２記載の映像合成装置。
【請求項１６】
前記画面構成算出手段は、
前記シーン区間をトリガの大きさが大きいほど大きく設定する、
ことを特徴とする請求項１５記載の映像合成装置。
【請求項１７】
前記画面構成算出手段は、
映像内においてトリガが生成された時刻前後の画像群で構成されるシーンを繰り返し表示する際の繰り返し回数をトリガの大きさに応じて制御する、
ことを特徴とする請求項１２記載の映像合成装置。
【請求項１８】
前記画面構成算出手段は、
前記繰り返し回数をトリガの大きさが大きいほど大きく設定する、
ことを特徴とする請求項１７記載の映像合成装置。
【請求項１９】
前記画面構成算出手段は、
前記画像作成手段によって作成される画像の大きさをトリガの大きさに応じて制御する、
ことを特徴とする請求項１記載の映像合成装置。
【請求項２０】
前記画面構成算出手段は、
前記画像作成手段によって作成される画像の大きさをトリガの大きさが大きいほど大きく設定する、
ことを特徴とする請求項１９記載の映像合成装置。
【請求項２１】
前記画像作成手段によって作成された画像に対し、当該画像の情報を、画像の形で付加する画像情報付加手段、
をさらに有することを特徴とする請求項１記載の映像合成装置。
【請求項２２】
前記画像情報付加手段は、
前記画像作成手段によって作成された画像の種別を当該画像の枠の色によって表現する、
ことを特徴とする請求項２１記載の映像合成装置。
【請求項２３】
前記画像情報付加手段は、
前記画像作成手段によって作成された画像の種別を当該画像の枠の形状によって表現する、
ことを特徴とする請求項２１記載の映像合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の映像を１つの画面に合成する映像合成装置に関し、特に、ユーザにとって重要な映像が合成用に選択され、かつ、画面内において重要な映像が視覚的に見やすく配置される方式に関する。
【０００２】
【従来の技術】
近年、情報通信技術の発達やインフラの整備によって、たとえば、遠隔地に配置されたカメラで撮像された映像を、伝送路を通じて受信することにより、カメラから離れた場所からも、その映像を利用して遠隔地の監視またはモニタリングを行うことが可能になっている。また、複数の映像に対して、１つの映像受信端末において監視・モニタリングを行うことも可能である。
【０００３】
しかしながら、複数の映像に対してすべての映像を漏れなく監視するためには、カメラ映像の数と同じ数の表示画面が必要であり、映像受信端末が複雑になるばかりでなく高価なものになってしまう。また、複数のカメラの映像を遠隔地で受信する映像受信端末としては、高価な専用端末であるよりも、安価で１つの表示画面しか持たない汎用的な表示端末であることが望ましい。
【０００４】
従来、複数のカメラからの監視映像を１つの表示画面しか持たない映像受信端末に再生させる監視システムとしては、複数のカメラの映像を時分割して１つの画面に順番に表示するものが多くみられる。このシステムでは、１つの画面において一定時間ごとに異なる映像が順番に表示されるため、表示された映像と撮像しているカメラとの対応が分かりにくく非常に見づらいという問題がある。また、映像が時分割表示されるため重要なシーンを表示できない可能性がある。
【０００５】
そこで、複数のカメラの映像を１つの画面に合成して同時に複数の映像を表示する監視システムとして、特許文献１に示すものがある。
【０００６】
このシステムは、図１４に示すように、複数（ここでは３つ）の監視カメラ１−１、１−２、１−３と、監視カメラ１−１〜１−３に接続されたＡ／Ｄ変換部３−１、３−２、３−３と、画像データを格納するメモリ５−１、５−２、５−３と、画像信号を処理する信号処理回路７と、信号処理回路７を制御する制御部９と、Ｄ／Ａ変換部１１と、映像を表示するモニタ１３とを有する。信号処理回路７は、画像信号を選択する選択回路１５と、複数の画像を縮小して１つの画面に合成する画面縮小合成回路１７とを有する。
【０００７】
このシステムにおいて、各監視カメラ１−１〜１−３の映像は、Ａ／Ｄ変換部３−１〜３−３を経てメモリ部５−１〜５−３に出力される。画面縮小合成回路１７は、すべての映像を縮小して１つの画像に合成し、選択回路１５に出力する。信号処理回路７が制御部９から映像選択信号を受け取ると、選択回路１５は、映像選択信号に従い、複数の監視カメラの映像の１つ、または縮小合成された映像を選択し、Ｄ／Ａ変換部１１に出力する。Ｄ／Ａ変換部１１は、映像信号をモニタ１３に出力する。
【０００８】
このように、本システムでは、複数の映像を表示画面が１つしかない端末に表示することができ、ユーザは複数の映像を用いて全体像を容易に把握することができる。また、ユーザによる映像の切り替えが可能であるため、ユーザは１つの映像を選択して見ることができる。
【０００９】
【特許文献１】
特開平４−２８０５９４号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、上記した従来のシステムにおいては、複数の映像を単純に同じ大きさで縮小合成するため、ユーザが見たい映像と見たくない映像とが同じ大きさになり、ユーザにとって重要な映像が見にくくなってしまう。
【００１１】
また、ユーザが見たい映像に切り替えて表示する場合には、ユーザが選択していない映像中の重要なシーンを表示できないという問題がある。特に監視用途では異常時などの重要シーンの表示が可能であることが強く求められるが、従来のシステムでは、重要シーンを見逃さないためには、異常時などの重要シーンが映っている映像をユーザが自分で選択し表示させる必要がある。
【００１２】
本発明は、かかる点に鑑みてなされたものであり、複数の映像を１つの画面に合成する映像合成装置において、ユーザにとって重要な映像を自動的に表示することができ、しかも、その重要な映像を視覚的に見やすい画面構成に合成して表示することができる映像合成装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明の映像合成装置は、複数の映像を１つの画面に合成する映像合成装置であって、映像を入力する映像入力手段と、映像の重要度を示すトリガを生成するトリガ生成手段と、生成されたトリガを用いて画面構成を算出する画面構成算出手段と、算出された画面構成に基づいて、入力された映像から、合成する画像を作成する画像作成手段と、作成された画像を含む複数の画像を１つの画面に合成する画面合成手段と、を有する構成を採る。
【００１４】
この構成によれば、映像の重要度を示すトリガを用いて画面構成を算出するため、ユーザにとって重要な映像を自動的に表示することができ、しかも、その重要な映像を視覚的に見やすい画面構成に合成して表示することができる。
【００１５】
【発明の実施の形態】
本発明の骨子は、複数の映像を１つの画面に合成する際に、映像の重要度を示すトリガを用いて画面構成（具体的には画面合成パラメータ）を算出し、この算出結果に基づいて画面合成を行うことである。たとえば、トリガ発生時刻の映像を静止画として画面合成したり（後述する「静止画合成」）、トリガ発生位置の映像を拡大して画面合成したり（後述する「切り出し合成」）、または、トリガ発生前後のシーンがスロー再生されるように画面合成する（後述する「ループ合成」）。
【００１６】
また、その際、トリガの大きさに応じて画面合成パラメータを制御する。たとえば、トリガの大きさに応じて、表示時間を制御したり（「静止画合成」の場合）、拡大率を制御したり（「切り出し合成」の場合）、または、再生速度・ループ区間・ループ回数を制御する（「ループ合成」の場合）。具体的には、たとえば、トリガが大きいほど、表示時間を長くしたり、拡大率を大きくしたり、再生速度を遅くしたり、ループ区間を大きくしたり、または、ループ回数を多くする。
【００１７】
また、その際、トリガの大きさに応じてトリガ対象の映像の表示サイズを制御する。たとえば、トリガが大きいほど、表示サイズを大きくする。
【００１８】
また、その際、トリガ対象の映像を用いて画面合成の種類を表現する。たとえば、トリガ対象の映像の表示領域の枠の色または形状によって分類を行う。
【００１９】
なお、ここで「複数の映像」とは、複数のカメラの出力に基づく場合のほかに、１つのカメラの出力から複数の映像データを生成した場合をも含んだ表現である。
【００２０】
また、本明細書において、入力映像を構成する１つ１つの画像を入力画像と定義し、入力画像において画面全体で構成される部分を「メイン画像」と定義し、入力画像の一部の領域で構成される画像であってメイン画像と合成されるものを「サブ画像」と定義する。
【００２１】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２２】
図１は、本発明の一実施の形態に係る映像合成装置の構成を示すブロック図である。
【００２３】
この映像合成装置１００は、複数の映像を１つの画面に合成する機能を有しており、映像を構成する画像を１画像ごとに入力する映像入力部１０２と、映像の重要度を示すトリガを発生するトリガ発生部１０４と、トリガ発生部１０４からのトリガを用いて後述する画面合成パラメータを算出するための合成トリガを算出する合成トリガ算出部１０６と、合成トリガを用いて画面合成の有無を判定し画面構成（具体的には画面合成パラメータ）を算出する画面構成算出部１０８と、映像を蓄積する映像蓄積部１１０と、入力画像（メイン画像）との合成に用いられる画像（サブ画像）を作成するサブ画像作成部１１２と、サブ画像に当該サブ画像の画像情報を付加する画像情報付加部１１４と、複数の画像（メイン画像とサブ画像）を１つの画面に合成する画面合成部１１６とを有する。映像合成装置１００には、映像信号を発生する映像信号発生部２００と、合成後の映像（画像）を符号化する映像符号化部３００とが接続されている。
【００２４】
なお、映像信号発生部２００は、図示しないが、たとえば、カメラとＡ／Ｄ変換部で構成されている。カメラ（およびＡ／Ｄ変換部）の数は、特に限定されない。映像信号発生部２００から出力される１つ以上の映像は、映像合成装置１００内の映像入力部１０２に与えられる。
【００２５】
映像入力部１０２は、映像信号発生部２００から出力された映像信号を映像ごとに入力処理する。具体的には、入力した映像信号から同期信号を検出して、映像を構成する画像を１画面ごとに画面構成算出部１０８および映像蓄積部１１０に出力する。その際、映像入力部１０２は、個々の画像に固有でありかつ時間が進むにつれて値が単調増加する画像番号を各画像に付加して出力を行う。
【００２６】
トリガ発生部１０４は、映像の重要度を示すトリガを発生し、合成トリガ算出部１０６に出力する。ここで、トリガとは、より厳密には、映像合成装置１００に入力される映像内においてユーザにとって重要と判断される画像が含まれる場合に発信され、重要度の度合を示す値（以下「トリガ値」という）を含む信号のことである。
【００２７】
具体的には、たとえば、異常な状態の有無を監視する監視システムに対してこの映像合成装置１００を使用することを想定した場合、トリガ発生部１０４は、たとえば、
▲１▼動き検出センサ
▲２▼動き認識センサ
▲３▼画像認識センサ
のうち少なくとも１つのセンサによって構成されている。
【００２８】
動き検出センサは、入力映像内において、たとえば、侵入者の出現など、突然動きが発生した領域を検出した場合に、トリガを出力する。この場合、動きが大きいほどトリガ値が大きく、重要度の度合が大きいものとする。この動き検出センサは、たとえば、赤外線センサなどで構成されている。よって、この場合、トリガは、たとえば、監視カメラに付属されたセンサまたは監視カメラの近傍に設置されたセンサによる、異常時などのあらかじめ設定された特定の状態であること示すアラーム情報である。
【００２９】
動き認識センサは、入力映像内において、あらかじめ登録された正常な動き以外の動きを持つ物体（人物を含む）が存在する場合に、トリガを出力する。この場合、異常な動きが大きいほどトリガ値が大きく、重要度の度合が大きいものとする。この動き認識センサは、たとえば、カメラなどで構成されている。よって、この場合、トリガは、たとえば、映像中の物体の動きを検出して得られる、物体の動きの大きさを表す動き検出情報である。
【００３０】
画像認識センサは、入力映像内において、あらかじめ登録された物体が存在する場合に、トリガを出力する。この場合、認識結果が高いほどトリガ値が大きく、重要度の度合が大きいものとする。この画像認識センサは、たとえば、画像処理装置などで構成されている。よって、この場合、トリガは、映像中における特定の物体の画像認識（たとえば、パターンマッチングなどの手法による）により得られる、特定の物体が映像中に存在することを示す画像認識結果である。
【００３１】
また、トリガ発生部１０４は、入力映像内で重要とされるシーンが撮像されている場合、トリガに加えて、映像中のトリガ発生位置を表すトリガ位置の情報を、トリガと共に合成トリガ算出部１０６に出力する。
【００３２】
なお、トリガ発生部１０４は、上記した動き検出センサ、動き認識センサ、画像認識センサに限定されない。たとえば、ユーザからの画面合成要求を受け付ける装置であってもよい。この場合、トリガは、ユーザからの画面合成要求である。
【００３３】
また、入力映像内で重要と判断される基準は、システムの用途によって変わるため、トリガは、センサまたはユーザ要求により発信されるものに限定されるわけではなく、映像中のトリガ発生位置（トリガ位置）および映像の重要度の度合を示す値（トリガ値）が含まれていれば、どのような手段から出力されるものであってもよい。
【００３４】
また、トリガの発生源（上記各種センサ、ユーザ要求）は、単独で使用しても複数組み合わせて使用してもよい。
【００３５】
合成トリガ算出部１０６は、トリガ発生部１０４からのトリガを用いて合成トリガを算出し、画面構成算出部１０８に出力する。ここで、合成トリガとは、画面合成パラメータを算出するために用いられる値であって入力映像の重要度の種類を示すトリガ種別とその重要度の度合を示すトリガ値の２種類の値を持つ信号のことである。
【００３６】
具体的には、合成トリガ算出部１０６は、トリガ発生部１０４から入力したトリガの種類（またはシステムの用途）に応じて、合成トリガのトリガ種別を、たとえば、
▲１▼重要ショット（入力映像の特定時刻に重要な画像が含まれることを意味する）▲２▼重要エリア（入力映像の特定領域に重要な領域が含まれることを意味する）▲３▼重要シーン（入力映像の特定区間に重要なシーンが含まれることを意味する）のいずれかに決定する。
【００３７】
また、合成トリガのトリガ値の大きさについては、トリガ発生部１０４から入力したトリガの大きさ、つまり、トリガ値が重要度の度合を示すため、入力したトリガの大きさをそのまま用いる。
【００３８】
たとえば、監視システムを想定した場合、合成トリガ算出部１０６は、合成トリガのトリガ種別を、
１．トリガが動き検出センサによる場合は、不審な侵入者が侵入した時刻の画像が重要であり、見逃すことを防ぐため、「重要ショット」に決定し、
２．トリガが画像認識センサによる場合は、あらかじめ登録された不審物・不審者などが重要であり、拡大して見やすくするため、「重要エリア」に決定し、
３．トリガが動き認識センサによる場合は、異常な動きを持つ物体・人物が存在するシーンが重要であるため、「重要シーン」に決定する。
【００３９】
この結果、異常な状態の有無を監視する監視システムにおいては、各種センサによるトリガを、映像内の重要性の意味を明確に表したトリガ種別に変換することができる。そのため、映像の重要性を示すトリガ種別に従い、重要なシーンが見やすくなるように画面合成パラメータを決定することができる。この決定方法については後で詳述する。
【００４０】
また、合成トリガ算出部１０６は、トリガ発生部１０４からのトリガ位置情報をそのまま画面構成算出部１０８に出力する。
【００４１】
画面構成算出部１０８は、合成トリガ算出部１０６からの合成トリガ（および必要に応じてトリガ位置情報）を用いて画面合成の有無を判定し画面構成を算出する。すなわち、合成トリガを用いて、画面合成を行うか否かを判定し、画面合成を行う場合は、画面合成パラメータを算出し、映像蓄積部１１０、サブ画像作成部１１２、画像情報付加部１１４、および画面合成部１１６に出力する。映像入力部１０２からの入力画像は、画面合成の有無の判定結果にかかわらず、画面合成部１１６に出力される。
【００４２】
たとえば、画面構成算出部１０８は、映像入力部１０２から画像を入力すると、合成トリガ算出部１０６からの合成トリガおよびトリガ位置情報を受け付け、合成トリガのトリガ種別とトリガ値、ならびにトリガのトリガ位置を内部メモリ（図示しない）に格納する。ただし、合成トリガ算出部１０６から合成トリガが出力されていない場合は、合成トリガのトリガ値をゼロ（０）として内部メモリに格納する。
【００４３】
ここで、画面構成算出部１０８によって算出される画面合成パラメータの１つは、合成種別である。合成種別は、画面の合成方法を示すパラメータであり、たとえば、
▲１▼合成なし（入力画像をそのまま出力する）
▲２▼静止画合成（入力画像の一部の領域に静止画のサブ画像を合成する）
▲３▼切り出し合成（入力画像の一部の領域に切り出しサブ画像を合成する）
▲４▼ループ合成（入力画像の一部の領域に特定シーンをサブ画像として合成する）のいずれかを示すものである。
【００４４】
たとえば、合成トリガのトリガ値がゼロ以外の場合、つまり、合成トリガを入力した場合は、合成種別を、
１．合成トリガのトリガ種別が「重要ショット」の場合は、入力映像内でトリガが出力された時刻に重要な画像が含まれるため、「静止画合成」に決定し、
２．合成トリガのトリガ種別が「重要エリア」の場合は、入力映像内でトリガが出力された領域に重要な物体などが含まれるため、「切り出し合成」に決定し、
３．合成トリガのトリガ種別が「重要シーン」の場合は、入力映像内でトリガが出力された時刻前後に重要なシーンが含まれるため、「ループ合成」に決定する。
【００４５】
このように合成トリガのトリガ種別によって合成種別を決定することにより、監視システムにおいては、ユーザにとって重要な映像を見やすく合成することができる。
【００４６】
画面合成パラメータの残りのパラメータは、合成種別ごとに異なる。
【００４７】
たとえば、合成種別が静止画合成の場合、画面構成算出部１０８で算出される画面合成パラメータは、合成種別のほかに、たとえば、対象サブ画像（サブ画像作成に用いられる画像の画像番号を示すパラメータ）およびサブ画像表示時間（サブ画像を合成して連続表示する時間を示すパラメータ）である（合計３つ）。
【００４８】
また、合成種別が切り出し合成の場合、画面構成算出部１０８で算出される画面合成パラメータは、合成種別のほかに、たとえば、切り出し中心座標（サブ画像として切り出す画像の入力画像における中心座標を示すパラメータ）および切り出しサイズ（サブ画像として切り出す画像の大きさ示すパラメータ）である（合計３つ）。
【００４９】
また、合成種別がループ合成の場合、画面構成算出部１０８で算出される画面合成パラメータは、合成種別のほかに、たとえば、第１のパターン（以下「パターン１」という）では、合成シーン中心時刻（合成するシーンの中心時刻に位置する画像の画像番号を示すパラメータ）および再生速度（サブ画像として繰り返し再生するシーンの再生速度を示すパラメータ）であり（合計３つ）、第２のパターン（以下「パターン２」という）では、合成シーン中心時刻およびループ区間（サブ画像として繰り返し再生するシーンを構成する画像の枚数を示すパラメータ）であり（合計３つ）、第３のパターン（以下「パターン３」という）では、合成シーン中心時刻、ループ回数（サブ画像として繰り返し再生するシーンの繰り返し回数を示すパラメータ）、およびフレームカウンタ（サブ画像として合成する残りの画像数を示すパラメータ）である（合計４つ）。
【００５０】
さらに、トリガ値に応じてサブ画像のサイズを変更する場合は、画面合成パラメータとして、各合成種別において、サブ画像サイズ（サブ画像の合成サイズを示すパラメータ）が追加される。
【００５１】
画面合成パラメータの具体的な算出方法については、合成種別ごとに、後で詳細に説明する。
【００５２】
映像蓄積部１１０は、映像入力部１０２から出力された画像を内部メモリに格納する。映像を格納する際、映像蓄積部１１０は、画面構成算出部１０８から出力される画面合成パラメータに基づいて、内部メモリを書き換えるか否かを決定する。
【００５３】
たとえば、画面合成パラメータの合成種別が「合成なし」の場合は、入力画像を用いて内部メモリの書き換えを行う。
【００５４】
また、合成種別が「静止画合成」の場合において、画面合成パラメータの対象サブ画像の番号が入力画像の画像番号と異なる場合は、内部メモリの書き換えを行わない。逆に、合成種別が「静止画合成」の場合において、合成パラメータの対象サブ画像の番号が入力画像の画像番号と同一である場合は、入力画像を用いて内部メモリの書き換えを行う。
【００５５】
また、映像蓄積部１１０は、合成種別が「合成なし」以外の場合、つまり、「静止画合成」、「切り出し合成」、および「ループ合成」の場合、内部メモリに格納された画像をサブ画像作成部１１２に出力する。
【００５６】
また、映像蓄積部１１０は、合成種別として「ループ合成」に対応可能な場合、特に、複数の画像を格納可能な内部メモリを有しており、映像入力部１０２から出力された複数の画像を内部メモリに格納可能である。この場合、内部メモリは、複数画像格納用のメモリ領域のほかに、画像の格納位置を示す保存カウンタと、画像の読み出し位置を示す読み出しカウンタを有する。また、各カウンタの取り得る最大値は、内部メモリに格納可能な画像数であり、カウンタの値を更新して最大値を超える場合は、カウンタの値を「１」に戻す。すなわち、内部メモリは、画像の保存・読み出しごとにカウンタを更新することにより、周期的な画像データを格納し読み出すことが可能な構造になっている。
【００５７】
サブ画像作成部１１２は、画面構成算出部１０８から出力される画面合成パラメータに基づいて、映像蓄積部１１０から出力される画像を用いてサブ画像を作成する。
【００５８】
具体的には、たとえば、画面構成パラメータの合成種別が「静止画合成」の場合は、映像蓄積部１１０から出力される、サブ画像の対象となる画像を、サブ画像のサイズに縮小し、画像情報付加部１１４に出力する。ここで、サブ画像のサイズは、あらかじめ決められているものとし、入力画像のサイズを超えないものとする。ただし、サブ画像のサイズは、映像の内容に応じて変更可能である。
【００５９】
また、合成種別が「切り出し合成」の場合は、映像蓄積部１１０から出力されるサブ画像対象の画像を用いてサブ画像の切り出しおよびサイズの縮小を行い、画像情報付加部１１４に出力する。サブ画像の切り出しは、たとえば、サブ画像対象の画像において画面合成パラメータの切り出し中心座標を中心とし、水平・垂直方向の切り出しサイズで定義される切り出し領域（後述する図６参照）を切り出すことによって行われる。ここでも、サブ画像のサイズは、あらかじめ決められているものとし、入力映像のサイズを超えないものとする。ただし、サブ画像のサイズは、映像の内容に応じて変更可能である。
【００６０】
なお、サブ画像作成処理の具体的な内容については、合成種別ごとに、後で詳細に説明する。
【００６１】
画像情報付加部１１４は、画面構成算出部１０８から出力される画面合成パラメータの合成種別に応じて、サブ画像作成部１１２から出力されるサブ画像の外枠の色を変更する。具体的には、たとえば、合成種別が「静止画合成」の場合は、サブ画像の外枠の色を赤色に変更し、「切り出し合成」の場合は、青色に変更し、「ループ合成」の場合は、黄色に変更する。ただし、合成種別に対応する外枠の色は、上記の例に限定されるわけではなく、サブ画像が静止画、切り出し画像、ループ再生画像のいずれであるかを表すことができればどのような色であってもよい。外枠に合成種別を示す外枠の色が付加されたサブ画像は、画面合成部１１６に出力される。
【００６２】
なお、サブ画像の合成種別を表現する方法としては、サブ画像の外枠の色を変更する方法以外に、たとえば、サブ画像の形状を変更することも可能である。この方法については、後で詳述する。
【００６３】
画面合成部１１６は、画面構成算出部１０８から出力される画像（メイン画像）と、画像情報付加部１１４から出力されるサブ画像とを１つの画面に合成し、合成後の画像（合成画像）を映像符号化部３００に出力する。ここで、画面合成に当たって、サブ画像をメイン画像に合成する位置はあらかじめ決められているものとし、メイン画像中のサブ画像を合成する位置にサブ画像を重ねて合成画像を作成する。なお、サブ画像の合成位置は、入力映像の特性に応じて変更できるものとし、いかなる位置であってもよい。
【００６４】
次いで、上記構成を有する映像合成装置１００の動作について、いくつかの具体的な例を用いて説明する。以下では、説明を簡単にするため、映像信号発生部２００は１組のカメラとＡ／Ｄ変換部で構成されており、映像合成装置１００には１つの映像のみが入力されるものとする。また、必要に応じて、たとえば、異常な状態の有無を監視する監視システムに本映像合成装置１００を使用した場合を想定して説明を行う。
【００６５】
（動作例１）
動作例１では、合成トリガを用いた画面合成の判定結果として画面合成を行うときに、トリガが発生した時刻の画像を静止画とし、この静止画をサブ画像として入力画像の一部の領域に合成する場合、つまり、「静止画合成」を行う場合について説明する。また、ここでは、トリガの大きさが大きいほど表示時間を長く設定するものとする。
【００６６】
図２は、本実施の形態に係る映像合成装置１００の動作を説明するためのフローチャートである。
【００６７】
まず、ステップＳ１０００では、映像入力部１０２で、映像信号を入力する映像入力処理を行う。具体的には、映像信号発生部２００から入力した映像信号から同期信号を検出して、映像を構成する画像を１画面ごとに画面構成算出部１０８および映像蓄積部１１０に出力する。その際、映像入力部１０２から出力される各画像には、個々の画像に固有でありかつ時間が進むにつれて値が単調増加する画像番号を付加する。
【００６８】
そして、ステップＳ２０００では、トリガ発生部１０４においてトリガ（重要度合を表すトリガ値を含む）が発生したか否かを判断する。この判断は、たとえば、合成トリガ算出部１０６にトリガ発生部１０４からの信号（トリガ）が入力されたか否かによってなされる。たとえば、監視システムを想定した場合、上記のように、トリガは、動き検出センサ、動き認識センサ、画像認識センサなどのセンサまたはユーザ要求によって発信される。この判断の結果としてトリガが発生した場合は（Ｓ２０００：ＹＥＳ）、ステップＳ３０００に進み、トリガが発生していない場合は（Ｓ２０００：ＮＯ）、ただちにステップＳ４０００に進む。
【００６９】
ステップＳ３０００では、合成トリガ算出部１０６で、トリガを入力して合成トリガを算出する合成トリガ算出処理を行う。具体的には、トリガ発生部１０４からのトリガを用いて合成トリガ（トリガ種別とトリガ値を含む）を算出し、画面構成算出部１０８に出力する。たとえば、上記のように、入力したトリガの種類（またはシステムの用途）に応じて、合成トリガのトリガ種別を、たとえば、▲１▼重要ショット、▲２▼重要エリア、▲３▼重要シーンのいずれかに決定する。また、合成トリガのトリガ値の大きさについては、入力したトリガの大きさをそのまま用いる。
【００７０】
たとえば、監視システムを想定した場合、上記のように、合成トリガのトリガ種別は、
１．トリガが動き検出センサによる場合は、不審な侵入者が侵入した時刻の画像が重要であり、見逃すことを防ぐため、「重要ショット」に決定され、
２．トリガが画像認識センサによる場合は、あらかじめ登録された不審物・不審者などが重要であり、拡大して見やすくするため、「重要エリア」に決定され、３．トリガが動き認識センサによる場合は、異常な動きを持つ物体・人物が存在するシーンが重要であるため、「重要シーン」に決定される。
【００７１】
なお、本動作例では、「静止画合成」を行うため、トリガ種別は「重要ショット」に決定される。
【００７２】
そして、ステップＳ４０００では、画面構成算出部１０８で、画面合成のパラメータを算出する画面合成パラメータ算出処理を行う。具体的には、合成トリガ算出部１０６からの合成トリガを用いて、まず画面合成を行うか否かを判定し、この判定結果として画面合成を行う場合は、画面合成パラメータを算出し、映像蓄積部１１０、サブ画像作成部１１２、画像情報付加部１１４、および画面合成部１１６に出力する。一方、映像入力部１０２からの入力画像については、画面合成の判定結果にかかわらず、画面合成部１１６に出力する。
【００７３】
たとえば、上記のように、映像入力部１０２から画像を入力すると、合成トリガ算出部１０６からの合成トリガを受け付け、合成トリガのトリガ種別とトリガ値を内部メモリに格納する。ただし、合成トリガ算出部１０６から合成トリガが出力されていない場合は、合成トリガのトリガ値をゼロ（０）として内部メモリに格納する。そして、画面合成の判定を、合成トリガのトリガ値がゼロか否か、つまり、合成トリガの入力があったか否かによって行う。また、合成トリガのトリガ種別に基づいて、合成種別などの画面合成パラメータを決定する。
【００７４】
なお、本動作例では、「静止画合成」を行うため、画面合成パラメータとして、合成種別（ここでは「静止画合成」）、対象サブ画像、サブ画像表示時間の３つを算出する。ここで、「対象サブ画像」とは、上記のように、サブ画像作成に用いられる画像の画像番号を示すパラメータであり、「サブ画像表示時間」とは、上記のように、サブ画像を合成して連続表示する時間を示すパラメータである。
【００７５】
図３は、図２中の画面合成パラメータ算出処理の、動作例１における内容を示すフローチャートである。
【００７６】
まず、ステップＳ４１００では、合成トリガのトリガ値がゼロであるか否か、つまり、合成トリガの入力の有無を判断する。この判断の結果として合成トリガのトリガ値がゼロでない場合、つまり、合成トリガの入力があった場合は（Ｓ４１００：ＮＯ）、ステップＳ４１１０に進み、合成トリガのトリガ値がゼロである場合、つまり、合成トリガの入力がない場合は（Ｓ４１００：ＹＥＳ）、ステップＳ４１４０に進む。
【００７７】
ステップＳ４１１０では、合成トリガのトリガ値がゼロ以外の場合、つまり、合成トリガの入力があった場合であるため、合成種別を所定の基準に従って決定する。たとえば、上記のように、
１．合成トリガ種別が「重要ショット」の場合は、入力映像内でトリガが出力された時刻に重要な画像が含まれるため、「静止画合成」に決定し、
２．合成トリガ種別が「重要エリア」の場合は、入力映像内でトリガが出力された領域に重要な物体などが含まれるため、「切り出し合成」に決定し、
３．合成トリガ種別が「重要シーン」の場合は、入力映像内でトリガが出力された時刻前後に重要なシーンが含まれるため、「ループ合成」に決定する。
【００７８】
なお、本動作例では、トリガ種別が「重要ショット」であるため、合成種別を「静止画合成」に決定する。
【００７９】
そして、ステップＳ４１２０では、対象サブ画像を決定する。ここでは、対象サブ画像を、現在の入力画像に決定する。
【００８０】
そして、ステップＳ４１３０では、サブ画像表示時間を決定する。具体的には、サブ画像の連続表示時間を、トリガ値の大きさに基づいて算出する。たとえば、サブ画像表示時間ｔｉｍｅ＿ｄｉｓｐ（ｔ）は、次の（式１）、
【数１】
2004266376.tif 000003
を用いて算出される。（式１）に示すように、サブ画像の連続表示時間は、トリガ値が大きいほど大きくなる。
【００８１】
なお、（式１）は、算出方法の一例であり、これに限定されない。サブ画像表示時間の算出方法は、トリガ値が大きいほど表示時間が大きくなるような方法であれば、どのような方法でもよい。
【００８２】
一方、ステップＳ４１４０では、合成トリガのトリガ値がゼロの場合、つまり、合成トリガの入力がない場合であるため、画面合成パラメータを、前回算出時のパラメータに設定する。
【００８３】
そして、ステップＳ４１５０では、サブ画像の連続表示時間を更新する。たとえば、サブ画像表示時間ｔｉｍｅ＿ｄｉｓｐ（ｔ）は、次の（式２）、
【数２】
2004266376.tif 000004
を用いて更新される。すなわち、（式２）に示すように、サブ画像表示時間は、前回算出時のサブ画像表示時間から、前回画面合成パラメータを算出した時刻から現在までの経過時間を引き算することによって更新される。
【００８４】
そして、ステップＳ４１６０では、合成種別の更新を行う。具体的には、ステップＳ４１５０におけるサブ画像表示時間更新処理の結果として、サブ画像表示時間がゼロ以下となった場合は、合成種別を「合成なし」に変更する。
【００８５】
ステップＳ４１７０では、ステップＳ４１００〜ステップＳ４１６０で算出した３つの画面合成パラメータ（合成種別、対象サブ画像、サブ画像表示時間）を、映像蓄積部１１０、サブ画像作成部１１２、画像情報付加部１１４、および画面合成部１１６に出力するとともに、入力映像（映像入力部１０２からの入力画像）を画面合成部１１６に出力した後、図２のメインフローチャートにリターンする。
【００８６】
そして、ステップＳ５０００では、映像蓄積部１１０で、映像の蓄積を行う映像蓄積処理を行う。具体的には、映像入力部１０２から出力された画像を内部メモリに格納する。その際、画面構成算出部１０８からの画面合成パラメータに基づいて、内部メモリを書き換えるか否かを決定する。たとえば、画面合成パラメータの合成種別が「合成なし」の場合は、入力画像を用いて内部メモリの書き換えを行う。また、合成種別が「静止画合成」の場合において、画面合成パラメータの対象サブ画像の番号が入力画像の画像番号と異なる場合は、内部メモリの書き換えを行わないが、合成種別が「静止画合成」の場合において、合成パラメータの対象サブ画像の番号が入力画像の画像番号と同一である場合は、入力画像を用いて内部メモリの書き換えを行う。
【００８７】
本動作例では、「静止画合成」を行うため、内部メモリに格納された画像は、サブ画像作成部１１２に出力される。
【００８８】
そして、ステップＳ６０００では、サブ画像作成部１１２で、画面合成に用いるサブ画像を作成するサブ画像作成処理を行う。具体的には、画面構成算出部１０８から出力される画面合成パラメータに基づいて、映像蓄積部１１０から出力される画像を用いてサブ画像を作成し、作成したサブ画像を画像情報付加部１１４に出力する。
【００８９】
たとえば、本動作例のように「静止画合成」を行う場合は、映像蓄積部１１０から出力される、サブ画像の対象となる画像を、サブ画像のサイズに縮小し、画像情報付加部１１４に出力する。ここで、上記のように、サブ画像のサイズは、あらかじめ決められているものとし、入力画像のサイズを超えないものとする。ただし、サブ画像のサイズは、映像の内容に応じて変更可能である。
【００９０】
そして、ステップＳ７０００では、画像情報付加部１１４で、サブ画像の映像情報を付加する画像情報付加処理を行う。具体的には、たとえば、画面構成算出部１０８から出力される画面合成パラメータの合成種別に応じて、サブ画像作成部１１２から出力されるサブ画像の外枠の色を変更し、外枠の色が変更されたサブ画像を画面合成部１１６に出力する。
【００９１】
たとえば、本動作例のように合成種別が「静止画合成」の場合は、サブ画像の外枠の色を赤色に変更する。ただし、外枠の色は赤色に限定されるわけではなく、サブ画像が静止画であることを表すことができればどのような色であってもよい。
【００９２】
そして、ステップＳ８０００では、画面合成部１１６で、画像を１つの画面に合成する画面合成処理を行う。具体的には、画面構成算出部１０８から出力される画像（メイン画像）と、画像情報付加部１１４から出力されるサブ画像とを１つの画面に合成し、合成後の画像（合成画像）を映像符号化部３００に出力する。画面合成に当たっては、上記のように、サブ画像をメイン画像に合成する位置はあらかじめ決められており、メイン画像中のサブ画像を合成する位置にサブ画像を重ねて合成画像を作成する。ただし、サブ画像の合成位置は、入力映像の特性に応じて変更可能である。
【００９３】
そして、ステップＳ９０００では、ステップＳ１０００〜ステップＳ８０００の一連の映像合成処理を終了するか否かを判断する。この判断は、たとえば、あらかじめ設定された時間もしくはフレーム数を超えたか否か、または、ユーザから終了要求がなされた否かによって行われる。この結果、あらかじめ設定された時間もしくはフレーム数を超えた場合、または、ユーザから終了要求がなされた場合は（Ｓ９０００：ＹＥＳ）、上記一連の映像合成処理を終了し、そうでない場合は（Ｓ９０００：ＮＯ）、ステップＳ１０００に戻る。
【００９４】
図４は、上記した「静止画合成」による画面合成の概要を示す説明図である。
【００９５】
図４において、「４０１」は、現在の入力画像、「４０３」は、縮小対象となる対象サブ画像、「４０５」は、対象サブ画像４０３を縮小して作成したサブ画像、「４０７」は、サブ画像４０５の画像情報（合成種別）を外枠の色で表現したサブ画像、「４０９」は、入力画像４０１と枠変更後のサブ画像４０７とを重ね合わせて合成した合成画像である。
【００９６】
このように、「静止画合成」を行う場合は、図４に示すように、合成画像４０９内に入力画像と、トリガが発生した時刻の画像（縮小画像）とを同時に表示することができる。しかも、サブ画像については、その外枠の色によって、サブ画像の状態（種別：ここでは「静止画合成」）を表すことができる。
【００９７】
このように、本動作例によれば、映像の重要度を表すトリガの値が大きいほど、トリガ発生時刻の映像を静止画として長い時間表示されるように制御して画像合成を行うため、合成された映像を符号化し伝送路を通じて、受信端末で表示することにより、ユーザは１つの画面しかない受信端末においても、現在の映像を見るだけでなく、重要な時刻の映像を静止画として同時に見ることができ、しかも、重要度が高い映像ほど長く見ることができる。
【００９８】
また、外枠の色とサブ画像の内容との対応が既知である場合は、ユーザは合成画像以外の情報を送受信することなく、サブ画像の内容をサブ画像の枠の色で判断することができる。すなわち、従来のシステムでは、複数の映像を単純に縮小合成するだけであるため、単純に縮小合成された映像には各映像の状態などを示す付加情報が含まれておらず、したがって、各映像の付加情報を知るためには、映像以外に付加情報の送受信および表示を行う必要があり、システムが複雑となるが、本発明では、その不都合を解消することができる。
【００９９】
なお、本動作例では、メイン画像に入力画像、サブ画像に静止画を表示する例を示したが、これに限定されるわけではなく、メイン画像に静止画を表示し、サブ画面に入力画像を表示することも可能である。
【０１００】
また、入力映像は１つに限らず、複数の場合でも静止画合成は可能である。
【０１０１】
（動作例２）
動作例２では、合成トリガを用いた画面合成の判定結果として画面合成を行うときに、画像領域の中でトリガが発生した位置を中心とする領域を切り出し、この切り出した領域の画像をサブ画像として入力画像の一部の領域に合成する場合、つまり、「切り出し合成」を行う場合について説明する。また、ここでは、トリガの大きさが大きいほど切り出しの大きさを小さく設定するものとする。
【０１０２】
なお、ここでは、図２を用いて動作例１と処理が異なる部分を中心に説明を行う。
【０１０３】
ステップＳ１０００〜ステップＳ３０００の処理は、動作例１と同様であるため、その説明を省略する。ただし、動作例１では言及しなかったが、入力映像内で重要とされるシーンが撮像されている場合、上記のように、トリガ発生部１０４からは、トリガ（重要度合を表すトリガ値を含む）に加えて、画面中のトリガ発生位置を表すトリガ位置の情報も、トリガとともに合成トリガ算出部１０６に出力される。合成トリガ算出部１０６に入力されたトリガ位置情報は、合成トリガとともに画面構成算出部１０８に出力される。
【０１０４】
なお、本動作例では、「切り出し合成」を行うため、ステップＳ３０００の合成トリガ算出処理において、トリガ種別は「重要エリア」に決定される。
【０１０５】
そして、ステップＳ４０００では、動作例１と同様に、画面合成パラメータ算出処理を行う。ただし、ここでは、映像入力部１０２から画像を入力すると、合成トリガ算出部１０６からの合成トリガおよびトリガ位置情報を受け付け、合成トリガのトリガ種別とトリガ値、ならびにトリガのトリガ位置を内部メモリに格納する。
【０１０６】
なお、本動作例では、「切り出し合成」を行うため、画面合成パラメータとして、合成種別（ここでは「切り出し合成」）、切り出し中心座標、切り出しサイズの３つを算出する。ここで、「切り出し中心座標」とは、上記のように、サブ画像として切り出す画像の入力画像における中心座標を示すパラメータであり、「切り出しサイズ」とは、上記のように、サブ画像として切り出す画像の大きさ示すパラメータである。
【０１０７】
図５は、図２中の画面合成パラメータ算出処理の、動作例２における内容を示すフローチャートである。なお、図３に示す動作例１と共通する処理については簡単に説明するにとどめる。
【０１０８】
まず、ステップＳ４２００では、動作例１と同様に（図３中のステップＳ４１００参照）、合成トリガのトリガ値がゼロであるか否か、つまり、合成トリガの入力の有無を判断する。この判断の結果として合成トリガのトリガ値がゼロでない場合、つまり、合成トリガの入力があった場合は（Ｓ４２００：ＮＯ）、ステップＳ４２１０に進み、合成トリガのトリガ値がゼロである場合、つまり、合成トリガの入力がない場合は（Ｓ４２００：ＹＥＳ）、ステップＳ４２４０に進む。
【０１０９】
ステップＳ４２１０では、動作例１と同様に（図３中のステップＳ４１１０参照）、合成トリガのトリガ値がゼロ以外の場合、つまり、合成トリガの入力があった場合であるため、合成種別を所定の基準に従って決定する。ただし、本動作例では、トリガ種別が「重要エリア」であり、入力映像内でトリガが出力された領域に重要な物体などが含まれるため、合成種別を「切り出し合成」に決定する。
【０１１０】
そして、ステップＳ４２２０では、切り出し中心座標を決定する。ここでは、切り出し中心座標をトリガ位置に決定する。
【０１１１】
そして、ステップＳ４２３０では、切り出しサイズを決定する。具体的には、サブ画像の切り出しサイズをトリガ値の大きさに基づいて算出する。たとえば、サブ画像の水平方向の切り出しサイズｃｕｔ＿ｓｉｚｅ＿ｈ（ｔ）と垂直方向の切り出しサイズｃｕｔ＿ｓｉｚｅ＿ｖ（ｔ）は、それぞれ、次の（式３）、（式４）、
【数３】
2004266376.tif 000005
を用いて算出される。（式３）、（式４）に示すように、サブ画像の切り出しサイズは、トリガ値が大きいほど小さくなる。ただし、切り出しサイズは、入力画像の大きさを超えないものとする。
【０１１２】
図６は、この切り出し領域算出方法の説明図である。図６において、「５０３」は、サブ画像対象の入力画像、「５０５」は、トリガ位置（ここでは切り出し中心座標に等しい）、「５０７」は、トリガ値に基づいて算出される切り出しサイズにより定義される切り出し領域である。
【０１１３】
なお、（式３）、（式４）は、算出方法の一例であり、これに限定されない。切り出しサイズの算出方法は、トリガ値が大きいほどサイズが小さくなるような方法であれば、どのような方法でもよい。
【０１１４】
一方、ステップＳ４２４０では、合成トリガのトリガ値がゼロの場合、つまり、合成トリガの入力がない場合であるため、画面合成パラメータを、前回算出時のパラメータに設定する。
【０１１５】
ステップＳ４２５０では、ステップＳ４２００〜ステップＳ４２４０で算出した３つの画面合成パラメータ（合成種別、切り出し中心座標、切り出しサイズ）を、映像蓄積部１１０、サブ画像作成部１１２、画像情報付加部１１４、および画面合成部１１６に出力するとともに、入力映像（映像入力部１０２からの入力画像）を画面合成部１１６に出力した後、図２のメインフローチャートにリターンする。
【０１１６】
そして、ステップＳ５０００では、動作例１と同様に、映像入力部１０２から出力された画像を内部メモリに格納する。本動作例では、「切り出し合成」を行うため、内部メモリに格納された画像は、サブ画像作成部１１２に出力される。
【０１１７】
そして、ステップＳ６０００では、動作例１と同様に、画面構成算出部１０８から出力される画面合成パラメータに基づいて、映像蓄積部１１０から出力される画像を用いてサブ画像を作成し、作成したサブ画像を画像情報付加部１１４に出力する。
【０１１８】
ただし、本動作例のように「切り出し合成」を行う場合は、映像蓄積部１１０から出力される、サブ画像の対象となる画像を用いて、サブ画像の切り出しおよびサイズの拡大・縮小を行い、結果を画像情報付加部１１４に出力する。サブ画像の切り出しは、図６に示すように、サブ画像対象の入力画像５０３において画面合成パラメータの切り出し中心座標Ｇ（ｃｘ，ｃｙ）（トリガ位置５０５に等しい）を中心とし、水平・垂直方向の切り出しサイズｃｕｔ＿ｓｉｚｅ＿ｈ（ｔ）、ｃｕｔ＿ｓｉｚｅ＿ｖ（ｔ）で定義される切り出し領域５０７を切り出すことによって行われる。
【０１１９】
ここで、上記のように、サブ画像のサイズは、あらかじめ決められているものとし、入力画像のサイズを超えないものとする。ただし、サブ画像のサイズは、映像の内容に応じて変更可能である。
【０１２０】
そして、ステップＳ７０００では、動作例１と同様に、画面構成算出部１０８から出力される画面合成パラメータの合成種別に応じて、サブ画像作成部１１２から出力されるサブ画像の外枠の色を変更し、外枠の色が変更されたサブ画像を画面合成部１１６に出力する。
【０１２１】
ただし、本動作例のように合成種別が「切り出し合成」の場合は、サブ画像の外枠の色を青色に変更する。もっとも、外枠の色は青色に限定されるわけではなく、サブ画像が切り出し画像であることを表すことができればどのような色であってもよい。
【０１２２】
ステップＳ８０００およびステップＳ９０００の処理は、動作例１と同様であるため、その説明を省略する。
【０１２３】
図７は、上記した「切り出し合成」による画面合成の概要を示す説明図である。
【０１２４】
図７において、「５０１」は、現在の入力画像、「５０３」は、切り出し対象となる対象サブ画像、「５０５」は、トリガが発生した画像中のトリガ位置、「５０７」は、切り出す領域を示す切り出し領域、「５０９」は、対象サブ画像５０３を切り出しかつサイズ調整して作成したサブ画像、「５１１」は、サブ画像５０９の画像情報（合成種別）を外枠の色で表現したサブ画像、「５１３」は、入力画像５０１と枠変更後のサブ画像５１１とを重ね合わせて合成した合成画像である。
【０１２５】
このように、「切り出し合成」を行う場合は、図７に示すように、合成画像５１３内に入力画像と、トリガが発生した位置を中心として切り出し拡大・縮小した画像とを同時に表示することができる。しかも、サブ画像については、その外枠の色によって、サブ画像の状態（種別：ここでは「切り出し合成」）を表すことができる。
【０１２６】
このように、本動作例によれば、映像の重要度を表すトリガの値が大きいほど、トリガ発生位置を中心とする領域の切り出しサイズが小さくなるように制御して切り出し画像合成を行うため、合成された映像を符号化し伝送路を通じて、受信端末で表示することにより、ユーザは１つの画面しかない受信端末においても、現在の映像を見るだけでなく、重要な位置の映像を切り出し拡大・縮小して同時に見ることができ、しかも、重要度が高い映像ほど重要な位置の画像を大きく拡大して見ることができる。
【０１２７】
また、外枠の色とサブ画像の内容との対応が既知である場合は、ユーザは合成画像以外の情報を送受信することなく、サブ画像の内容をサブ画像の外枠の色で判断することができる。
【０１２８】
なお、本動作例では、メイン画像に入力画像、サブ画像に切り出し画像を表示する例を示したが、これに限定されるわけではなく、メイン画像に切り出し画像を表示し、サブ画面に入力画像を表示することも可能である。
【０１２９】
また、入力映像は１つの場合に限らず、複数の場合でも切り出し合成は可能である。
【０１３０】
（動作例３）
動作例３では、合成トリガを用いた画面合成の判定結果として画面合成を行うときに、トリガが発生した時刻を中心とする前後の画像で構成されるシーンが繰り返し再生されるように、そのシーンをサブ画像として入力画像の一部の領域に合成する場合、つまり、「ループ合成」を行う場合について説明する。また、ここでは、「ループ合成」において、トリガの大きさが大きいほど、繰り返し再生するシーンの再生速度を小さく設定するものとする（パターン１）。
【０１３１】
なお、ここでは、図２を用いて動作例１と処理が異なる部分を中心に説明を行う。
【０１３２】
ステップＳ１０００〜ステップＳ３０００の処理は、動作例１と同様であるため、その説明を省略する。ただし、本動作例では、「ループ合成」を行うため、ステップＳ３０００の合成トリガ算出処理において、トリガ種別は「重要シーン」に決定される。
【０１３３】
そして、ステップＳ４０００では、動作例１と同様に、合成トリガを用いて画面合成の判定および画面構成の算出を行い画面合成パラメータを算出する。ただし、本動作例では、「ループ合成」のパターン１を行うため、合成種別（ここでは「ループ合成」）、合成シーン中心時刻、再生速度の３つを算出する。ここで、「合成シーン中心時刻」は、上記のように、合成するシーンの中心時刻に位置する画像の画像番号を示すパラメータであり、「再生速度」は、上記のように、サブ画像として繰り返し再生するシーンの再生速度を示すパラメータである。
【０１３４】
図８は、図２中の画面合成パラメータ算出処理の、動作例３における内容を示すフローチャートである。なお、図３に示す動作例１と共通する処理については簡単に説明するにとどめる。
【０１３５】
まず、ステップＳ４３００では、動作例１と同様に（図３中のステップＳ４１００参照）、合成トリガのトリガ値がゼロであるか否か、つまり、合成トリガの入力の有無を判断する。この判断の結果として合成トリガのトリガ値がゼロでない場合、つまり、合成トリガの入力があった場合は（Ｓ４３００：ＮＯ）、ステップＳ４３１０に進み、合成トリガのトリガ値がゼロである場合、つまり、合成トリガの入力がない場合は（Ｓ４３００：ＹＥＳ）、ステップＳ４３４０に進む。
【０１３６】
ステップＳ４３１０では、動作例１と同様に（図３中のステップＳ４１１０参照）、合成トリガのトリガ値がゼロ以外の場合、つまり、合成トリガの入力があった場合であるため、合成種別を所定の基準に従って決定する。ただし、本動作例では、トリガ種別が「重要シーン」であり、入力映像内でトリガが出力された時刻前後に重要なシーンが含まれるため、合成種別を「ループ合成」に決定する。
【０１３７】
そして、ステップＳ４３２０では、合成シーン中心時刻を決定する。ここでは、合成シーン中心時刻を現在の入力フレームの画像番号に決定する。
【０１３８】
そして、ステップＳ４３３０では、再生速度を決定する。具体的には、サブ画像の再生速度をトリガ値の大きさに基づいて算出する。たとえば、サブ画像の再生速度ｆｐｓ（ｔ）は、次の（式５）、
【数４】
2004266376.tif 000006
を用いて算出される。（式５）に示すように、サブ画像の再生速度は、トリガ値が大きいほど小さくなる。
【０１３９】
なお、（式５）は、算出方法の一例であり、これに限定されない。再生速度の算出方法は、トリガ値が大きいほど再生速度が小さくなるような方法であれば、どのような方法でもよい。
【０１４０】
一方、ステップＳ４３４０では、合成トリガのトリガ値がゼロの場合、つまり、合成トリガの入力がない場合であるため、画面合成パラメータを、前回算出時のパラメータに設定する。
【０１４１】
ステップＳ４３５０では、ステップＳ４３００〜ステップＳ４３４０で算出した３つの画面合成パラメータ（合成種別、合成シーン中心時刻、再生速度）を、映像蓄積部１１０、サブ画像作成部１１２、画像情報付加部１１４、および画面合成部１１６に出力するとともに、入力映像（映像入力部１０２からの入力画像）を画面合成部１１６に出力した後、図２のメインフローチャートにリターンする。
【０１４２】
そして、ステップＳ５０００では、映像蓄積部１１０で、映像蓄積処理を行う。動作例１では言及しなかったが、映像蓄積部１１０は、上記のように、複数の画像を格納可能な内部メモリを有しており、映像入力部１０２から出力された画像をその内部メモリに格納する。この内部メモリは、複数画像格納用のメモリ領域のほかに、画像の格納位置を示す保存カウンタと、画像の読み出し位置を示す読み出しカウンタを有し、画像の保存・読み出しごとにカウンタを更新することにより、周期的な画像データを格納し読み出すことが可能な構造になっている。
【０１４３】
図９は、図２中の映像蓄積処理の、動作例３における内容を示すフローチャートである。
【０１４４】
まず、ステップＳ５１００では、メモリの初期化を行う。具体的には、画面合成パラメータの合成シーン中心時刻と、前回入力された合成シーン中心時刻とを比較し、両者が異なる場合に、内部メモリ内の画像データと各カウンタの初期化を行う。初期化では、内部メモリ内の画像データをクリアするとともに、各カウンタの値を「１」にリセットし、さらに、現在の合成シーン中心時刻を内部メモリに保存する。
【０１４５】
そして、ステップＳ５１１０では、合成種別が「ループ合成」か「合成なし」かを判定する。この判定結果として合成種別が「ループ合成」の場合は、ステップＳ５１２０に進み、合成種別が「合成なし」の場合は、ステップＳ５１７０に進む。
【０１４６】
ステップＳ５１２０では、シーンの格納が完了しているか否かを判断する。この判断結果としてシーンの格納が完了している場合は（Ｓ５１２０：ＹＥＳ）、ただちにステップＳ５１５０に進み、シーンの格納が完了していない場合は（Ｓ５１２０：ＮＯ）、ステップＳ５１３０に進む。
【０１４７】
ここで、シーンの格納が完了しているか否かは、次の（式６）、
【数５】
2004266376.tif 000007
を用いて判定される。具体的には、（式６）の命題が真である場合は、シーン格納完了と判定する。
【０１４８】
なお、本動作例では、格納するシーン内の画像の構成として、トリガ発生時刻の以前と以後のそれぞれに属する画像数の割合はあらかじめ決められているものとする。すなわち、合成シーン中心時刻から格納すべきシーンの最後までの画像数はあらかじめ決められているものとし、格納すべきシーン内の画像数によって内部メモリの大きさが決まる。従って、内部メモリの大きさは、繰り返し再生するシーンの画像数、つまり、シーンの区間を決めるものである。
【０１４９】
ステップＳ５１３０では、画像の格納を行う。具体的には、入力画像を内部メモリ中の保存カウンタが示す位置に格納する。
【０１５０】
そして、ステップＳ５１４０では、保存カウンタの更新を行う。具体的には、保存カウンタの値を１つ加算して更新処理を行う。ただし、保存カウンタの値が最大値を超える場合は、カウンタの値を「１」に設定する。
【０１５１】
そして、ステップＳ５１５０では、画像の読み出しを行う。具体的には、内部メモリの読み出しカウンタ位置の画像を読み出し、サブ画像作成部１１２に出力する。
【０１５２】
そして、ステップＳ５１６０では、読み出しカウンタの更新を行う。具体的には、たとえば、次の（式７）、（式８）、
【数６】
2004266376.tif 000008
を用いて、読み出しカウンタの値を更新する。ただし、読み出しカウンタの値が最大値を超える場合は、カウンタの値を「１」に設定する。
【０１５３】
（式７）、（式８）に示すように、サブ画像の再生速度とメイン画像の再生速度の比率に応じて、読み出しカウンタの更新方法が決定される。すなわち、（式７）では、サブ画像の再生速度が小さいほど、読み出しカウンタの値の加算頻度が小さくなり、スロー再生となる。逆に、（式８）では、サブ画像の再生速度が大きいほど、読み出しカウンタの値の加算頻度が大きくなり、高速再生となる。
【０１５４】
このように、読み出しカウンタの更新方法を制御することによって、サブ画像の再生速度を変更することができる。なお、この読み出しカウンタ更新処理が終わると、図２のメインフローチャートにリターンする。
【０１５５】
一方、ステップＳ５１７０では、画像の格納を行う。具体的には、入力画像を内部メモリ中の保存カウンタが示す位置に格納する。
【０１５６】
そして、ステップＳ５１８０では、保存カウンタの更新を行う。具体的には、保存カウンタの値を１つ加算して更新処理を行う。ただし、保存カウンタの値が最大値を超える場合は、カウンタの値を「１」に設定する。この保存カウンタ更新処理が終わると、図２のメインフローチャートにリターンする。
【０１５７】
そして、ステップＳ６０００では、動作例１と同様に、画面構成算出部１０８から出力される画面合成パラメータに基づいて、映像蓄積部１１０から出力される画像を用いてサブ画像を作成し、作成したサブ画像を画像情報付加部１１４に出力する。
【０１５８】
ただし、本動作例のように「ループ合成」のパターン１を行う場合は、映像蓄積部１１０から出力される、再生速度に応じて制御された読み出しカウンタにより取得した、サブ画像の対象となる画像を縮小してサブ画像を作成する。
【０１５９】
そして、ステップＳ７０００では、動作例１と同様に、画面構成算出部１０８から出力される画面合成パラメータの合成種別に応じて、サブ画像作成部１１２から出力されるサブ画像の外枠の色を変更し、外枠の色が変更されたサブ画像を画面合成部１１６に出力する。
【０１６０】
ただし、本動作例のように合成種別が「ループ合成」の場合は、サブ画像の外枠の色を黄色に変更する。もっとも、外枠の色は黄色に限定されるわけではなく、サブ画像がループ再生画像であることを表すことができればどのような色であってもよい。
【０１６１】
ステップＳ８０００およびステップＳ９０００の処理は、動作例１と同様であるため、その説明を省略する。
【０１６２】
図１０は、上記した「ループ合成」による画面合成の概要を示す説明図である。
【０１６３】
図１０において、「６０１」は、右下の番号に示す画像番号の入力画像、「６０３」は、内部メモリに格納されているシーンの画像、「６０５」は、再生速度に応じて制御された読み出しカウンタにより取得した画像を縮小して作成したサブ画像、「６０７」は、サブ画像６０５の外枠の色によってサブ画像６０５の種類を表現したサブ画像、「６０９」は、入力画像６０１と枠変更後のサブ画像６０７とを合成した合成画像である。図１０では、サブ画像ループ再生の再生速度をメイン画像の再生速度の１／２とした場合を示しており、合成画像中のサブ画像はメイン画像よりも画像の更新間隔が長く、ゆっくりと再生されることになる。
【０１６４】
このように、本動作例によれば、映像の重要度を表すトリガの値が大きいほど、トリガ発生時刻前後の画像で構成されるシーンを繰り返し再生するときの再生速度が小さくなるように制御して画像合成を行うため、合成された映像を符号化し伝送路を通じて、受信端末で表示することにより、ユーザは１つの画面しかない受信端末においても、現在の映像を見るだけでなく、重要な時刻前後のシーンを合成画面として同時に見ることができ、しかも、重要度が高いシーンほど再生速度が小さく、長い時間をかけて見ることができる。
【０１６５】
また、外枠の色とサブ画像の内容との対応が既知である場合は、ユーザは合成映像以外の情報を送受信することなく、サブ画像の内容をサブ画像の外枠の色で判断することができる。
【０１６６】
なお、本動作例では、メイン画像に入力画像、サブ画像に重要シーンを表示する例を示したが、これに限定されるわけではなく、メイン画像に重要シーンを表示し、サブ画面に入力映像を表示することも可能である。
【０１６７】
また、入力映像は１つの場合に限らず、複数の場合でもループ合成は可能である。
【０１６８】
（動作例４）
動作例４では、合成トリガを用いた画面合成の判定結果として画面合成を行うときに、トリガが発生した時刻前後の画像群で構成されるシーンが繰り返し再生されるように、そのシーンをサブ画像として入力画像の一部の領域に合成する場合、つまり、「ループ合成」を行う場合について説明する。また、ここでは、動作例３の場合と異なり、「ループ合成」において、トリガの大きさが大きいほど、繰り返し再生するシーン内の画像数を大きく設定するものとする（パターン２）。
【０１６９】
なお、ここでは、図２を用いて動作例１と処理が異なる部分を中心に説明を行う。
【０１７０】
ステップＳ１０００〜ステップＳ３０００の処理は、動作例１と同様であるため、その説明を省略する。ただし、本動作例では、「ループ合成」を行うため、ステップＳ３０００の合成トリガ算出処理において、トリガ種別は「重要シーン」に決定される。
【０１７１】
そして、ステップＳ４０００では、動作例１と同様に、合成トリガを用いて画面合成の判定および画面構成の算出を行い画面合成パラメータを算出する。ただし、本動作例では、「ループ合成」のパターン２を行うため、合成種別（ここでは「ループ合成」）、合成シーン中心時刻、ループ区画の３つを算出する。ここで、「合成シーン中心時刻」は、上記のように、合成するシーンの中心時刻に位置する画像の画像番号を示すパラメータであり、「ループ区画」は、上記のように、サブ画像として繰り返し再生するシーンを構成する画像の枚数を示すパラメータである。
【０１７２】
図１１は、図２中の画面合成パラメータ算出処理の、動作例４における内容を示すフローチャートである。なお、図８に示す動作例３と共通する処理については、その説明を省略する。
【０１７３】
ステップＳ４３００〜ステップＳ４３２０の処理は、動作例３と同様であるため、その説明を省略する。
【０１７４】
そして、ステップＳ４３３２では、ループ区間を決定する。具体的には、サブ画像のループ区間をトリガ値の大きさに基づいて算出する。たとえば、サブ画像のループ区間ｆｒａｍｅ＿ｎｕｍ（ｔ）は、次の（式９）、
【数７】
2004266376.tif 000009
を用いて算出される。（式９）に示すように、サブ画像のループ区間は、トリガ値が大きいほど値が大きくなる。
【０１７５】
なお、（式９）は、算出方法の一例であり、これに限定されない。ループ区間の算出方法は、トリガ値が大きいほどループ区間が大きくなるような方法であれば、どのような方法でもよい。
【０１７６】
ステップＳ４３４０およびステップＳ４３５０の処理は、動作例３と同様であるため、その説明を省略する。
【０１７７】
そして、ステップＳ５０００では、映像蓄積部１１０で、映像蓄積処理を行う。動作例３で説明したように、映像蓄積部１１０は、複数の画像を格納可能な内部メモリを有しており、映像入力部１０２から出力された画像をその内部メモリに格納する。この内部メモリは、画像の格納位置を示す保存カウンタと、画像の読み出し位置を示す読み出しカウンタを有する。また、各カウンタの取り得る最大値は、内部メモリに格納可能な画像数であり、カウンタの値を更新して最大値を超える場合は「１」に戻る。すなわち、内部メモリは、画像の保存・読み出しごとにカウンタを更新することにより、周期的な画像データを格納し読み出すことが可能な構造になっている。なお、本動作例では、内部メモリに格納可能な画像数は、合成パラメータのループ区間に示される値に等しくなるように制御が行われる。
【０１７８】
ここでは、図９を用いて動作例３と処理が異なる部分を中心に説明を行う。
【０１７９】
まず、ステップＳ５１００では、メモリの初期化を行う。具体的には、画面合成パラメータの合成シーン中心時刻と、前回入力された合成シーン中心時刻とを比較し、両者が異なる場合に、内部メモリ内の画像データおよび各カウンタならびに内部メモリに格納可能な画像数の初期化を行う。初期化では、内部メモリ内の画像データをクリアし、各カウンタの値を「１」にリセットするとともに、内部メモリに格納可能な画像数を画面合成パラメータのループ区間に設定する。また、現在の合成シーン中心時刻を内部メモリに保存する。
【０１８０】
ステップＳ５１１０〜ステップＳ５１５０の処理は、動作例３と同様であるため、その説明を省略する。
【０１８１】
そして、ステップＳ５１６０では、読み出しカウンタの更新を行う。具体的には、動作例３と異なり、たとえば、次の（式１０）、
【数８】
2004266376.tif 000010
を用いて、読み出しカウンタの値を更新する。ただし、読み出しカウンタの値が最大値を超える場合は、カウンタの値を「１」に設定する。
【０１８２】
ここで、ステップＳ５１００のメモリ初期化処理では、内部メモリに格納される画像の最大数が画面合成パラメータに従って変更される。これにより、サブ画像として合成するシーン内の画像数、つまり、シーンの区間の大きさを制御することが可能になる。すなわち、トリガ値が大きいほど、ループ再生するシーンの区間の大きさが大きく設定されるため、トリガ発生時刻を中心とする前後の長い区間のシーンを再生することができる。
【０１８３】
このように、内部メモリに格納する画像の最大数を制御することによって、サブ画像として合成するシーンの区間を変更することができる。
【０１８４】
ステップＳ５１７０およびステップＳ５１８０の処理は、動作例３と同様であるため、その説明を省略する。
【０１８５】
そして、ステップＳ６０００では、動作例１と同様に、画面構成算出部１０８から出力される画面合成パラメータに基づいて、映像蓄積部１１０から出力される画像を用いてサブ画像を作成し、作成したサブ画像を画像情報付加部１１４に出力する。
【０１８６】
ただし、本動作例のように「ループ合成」のパターン２を行う場合は、映像蓄積部１１０から出力される、読み出しカウンタにより取得した、サブ画像の対象となる画像を縮小してサブ画像を作成する。
【０１８７】
そして、ステップＳ７０００では、動作例１と同様に、画面構成算出部１０８から出力される画面合成パラメータの合成種別に応じて、サブ画像作成部１１２から出力されるサブ画像の外枠の色を変更し、外枠の色が変更されたサブ画像を画面合成部１１６に出力する。
【０１８８】
ただし、本動作例のように合成種別が「ループ合成」の場合は、動作例３と同様に、サブ画像の外枠の色を黄色に変更する。もっとも、外枠の色は黄色に限定されるわけではなく、サブ画像がループ再生画像であることを表すことができればどのような色であってもよい。
【０１８９】
ステップＳ８０００およびステップＳ９０００の処理は、動作例１と同様であるため、その説明を省略する。
【０１９０】
このように、本動作例によれば、映像の重要度を表すトリガの値が大きいほど、トリガ発生時刻前後の画像群で構成されるシーンの区間が大きくなるように制御して、シーンが繰り返し再生されるように画像合成を行うため、合成された映像を符号化し伝送路を通じて、受信端末で表示することにより、ユーザは１つの画面しかない受信端末においても、現在の映像を見るだけでなく、重要な時刻前後の映像を合成画面として同時に見ることができ、しかも、重要度が高いシーンほどシーンの区間が大きく、重要時刻の前後の画像を多く見ることができる。
【０１９１】
また、外枠の色とサブ画像の内容との対応が既知である場合は、ユーザは合成映像以外の情報を送受信することなく、サブ画像の内容をサブ画像の外枠の色で判断することができる。
【０１９２】
なお、本動作例では、メイン画像に入力画像、サブ画像に重要シーンを表示する例を示したが、これに限定されるわけではなく、メイン画像に重要シーンを表示し、サブ画面に入力映像を表示することも可能である。
【０１９３】
また、入力映像は１つの場合に限らず、複数の場合でもループ合成は可能である。
【０１９４】
（動作例５）
動作例５では、合成トリガを用いた画面合成の判定結果として画面合成を行うときに、トリガが発生した時刻前後の画像群で構成されるシーンが繰り返し再生されるように、そのシーンをサブ画像として入力画像の一部の領域に合成する場合、つまり、「ループ合成」を行う場合について説明する。また、ここでは、動作例３や動作例４と異なり、トリガの大きさが大きいほど、繰り返し再生するシーンのループ再生回数を大きく設定するものとする（パターン３）。
【０１９５】
なお、ここでは、図２を用いて動作例１と処理が異なる部分を中心に説明を行う。
【０１９６】
ステップＳ１０００〜ステップＳ３０００の処理は、動作例１と同様であるため、その説明を省略する。ただし、本動作例では、「ループ合成」を行うため、ステップＳ３０００の合成トリガ算出処理において、トリガ種別は「重要シーン」に決定される。
【０１９７】
そして、ステップＳ４０００では、動作例１と同様に、合成トリガを用いて画面合成の判定および画面構成の算出を行い画面合成パラメータを算出する。ただし、本動作例では、「ループ合成」のパターン３を行うため、合成種別（ここでは「ループ合成」）、合成シーン中心時刻、ループ回数、フレームカウンタの４つを算出する。ここで、「合成シーン中心時刻」は、上記のように、合成するシーンの中心時刻に位置する画像の画像番号を示すパラメータであり、「ループ回数」は、上記のように、サブ画像として繰り返し再生するシーンの繰り返し回数を示すパラメータであり、「フレームカウンタ」は、上記のように、サブ画像として合成する残りの画像数を示すパラメータである。
【０１９８】
図１２は、図２中の画面合成パラメータ算出処理の、動作例５における内容を示すフローチャートである。なお、図８に示す動作例３と共通する処理については、その説明を省略する。
【０１９９】
ステップＳ４３００〜ステップＳ４３２０の処理は、動作例３と同様であるため、その説明を省略する。
【０２００】
そして、ステップＳ４３３４では、ループ回数を決定する。具体的には、サブ画像のループ回数をトリガ値の大きさに基づいて算出し、ループカウンタを用いてフレームカウンタの設定を行う。
【０２０１】
たとえば、サブ画像のループ回数ｌｏｏｐ＿ｎｕｍ（ｔ）は、次の（式１１）、
【数９】
2004266376.tif 000011
を用いて算出される。（式１１）に示すように、サブ画像のループ回数は、トリガ値が大きいほど値が大きくなる。
【０２０２】
なお、（式１１）は、算出方法の一例であり、これに限定されない。ループ回数の算出方法は、トリガ値が大きいほどループ回数が大きくなるような方法であれば、どのような方法でもよい。
【０２０３】
また、（式１１）を用いてループ回数を決定した後、フレームカウンタを設定するが、フレームカウンタの値ｆｒａｍｅ＿ｃｏｕｎｔ（ｔ）は、たとえば、次の（式１２）、
【数１０】
2004266376.tif 000012
を用いて算出される。
【０２０４】
一方、ステップＳ４３４５では、合成トリガのトリガ値がゼロの場合、つまり、合成トリガの入力がない場合であるため、動作例３と異なり、合成パラメータの更新を行う。具体的には、前回の画面合成パラメータのうち、フレームカウンタと合成方式の更新処理を行う。
【０２０５】
たとえば、フレームカウンタは、次の（式１３）、
【数１１】
2004266376.tif 000013
によって更新される。（式１３）に示すように、フレームカウンタは、その値を１ずつ減算することによって更新される。ただし、値の更新によってフレームカウンタの値が０以下になる場合は、フレームカウンタの値を「０」に設定する。
【０２０６】
次に、更新されたフレームカウンタの値に応じて合成種別の更新処理を行うが、合成種別の更新は、たとえば、次のルール、
▲１▼フレームカウンタが「０」の場合は、合成種別を「合成なし」に変更する、
▲２▼フレームカウンタが「０」以外の場合は、合成種別の変更は行わない、
に従って行われる。
【０２０７】
このように、画面合成パラメータの更新を行うことにより、フレームカウンタで指定された画像分の合成種別を「ループ合成」に設定することができる。映像蓄積部１１０は、内部メモリに画像を蓄積し、同時に合成種別に従ってサブ画像作成部１１２にループ再生用の画像を出力することにより、ループ再生の回数を制御することが可能になる。
【０２０８】
ステップＳ４３５０では、ステップＳ４３００〜ステップＳ４３４５で算出した４つの画面合成パラメータ（合成種別、合成シーン中心時刻、ループ回数、フレームカウンタ）を、映像蓄積部１１０、サブ画像作成部１１２、画像情報付加部１１４、および画面合成部１１６に出力するとともに、入力映像（映像入力部１０２からの入力画像）を画面合成部１１６に出力した後、図２のメインフローチャートにリターンする。
【０２０９】
ステップＳ５０００〜ステップＳ９０００の処理は、動作例３と同様であるため、その説明を省略する。
【０２１０】
このように、本動作例によれば、映像の重要度を表すトリガの値が大きいほど、トリガ発生時刻前後の画像群で構成されるシーンを繰り返し再生するループ回数が大きくなるように制御して画像合成を行うため、合成された映像を符号化し伝送路を通じて、受信端末で表示することにより、ユーザは１つの画面しかない受信端末においても、現在の映像を見るだけでなく、重要な時刻前後の映像を合成画面として同時に見ることができ、しかも、重要度が高いシーンほどシーンのループ回数が大きく、重要時刻の前後の画像をより多くの回数繰り返して見ることができる。
【０２１１】
また、外枠の色とサブ画像の内容との対応が既知である場合は、ユーザは合成映像以外の情報を送受信することなく、サブ画像の内容をサブ画像の外枠の色で判断することができる。
【０２１２】
なお、本動作例では、メイン画像に入力画像、サブ画像に重要シーンを表示する例を示したが、これに限定されるわけではなく、メイン画像に重要シーンを表示し、サブ画面に入力映像を表示することも可能である。
【０２１３】
また、入力映像は１つに限らず、複数の場合でもループ合成は可能である。
【０２１４】
（動作例６）
動作例６は、トリガの大きさに応じてサブ画像の大きさを変更する場合である。ここでは、一例として、合成トリガを用いて画面合成の判定結果として画面合成を行うときに、トリガが発生した時刻の画像を静止画とし、この静止画をサブ画像として入力画像の一部の領域に合成する場合、つまり、「静止画合成」を行う場合について説明する。また、ここでは、「静止画合成」において、トリガの大きさが大きいほどサブ画像の大きさを大きく設定するものとする。
【０２１５】
なお、トリガの大きさに応じたサブ画像サイズの変更は、「静止画合成」の場合のみならず「切り出し合成」や「ループ合成」など他の合成種別にも適用可能である。
【０２１６】
また、ここでは、図２を用いて動作例１と処理が異なる部分を中心に説明を行う。
【０２１７】
ステップＳ１０００〜ステップＳ３０００の処理は、動作例１と同様であるため、その説明を省略する。
【０２１８】
そして、ステップＳ４０００では、動作例１と同様に、合成トリガを用いて画面合成の判定および画面構成の算出を行い画面合成パラメータを算出する。ただし、本動作例では、「静止画合成」の画面合成パラメータに加えてサブ画像サイズを、つまり、合成種別（ここでは「静止画合成」）、対象サブ画像、サブ画像表示時間、サブ画像サイズの４つを算出する。ここで、「対象サブ画像」は、上記のように、サブ画像作成に用いられる画像の画像番号を示すパラメータであり、「サブ画像表示時間」は、上記のように、サブ画像を合成して連続表示する時間を示すパラメータであり、「サブ画像サイズ」は、サブ画像の合成サイズを示すパラメータである。
【０２１９】
図１３は、図２中の画面合成パラメータ算出処理の、動作例６における内容を示すフローチャートである。なお、図３に示す動作例１と共通する処理については、その説明を省略する。
【０２２０】
ステップＳ４１００〜ステップＳ４１３０の処理は、動作例１と同様であるため、その説明を省略する。
【０２２１】
そして、ステップＳ４１３５では、サブ画像サイズを決定する。たとえば、サブ画像の水平方向サイズｓｕｂ＿ｓｉｚｅ＿ｈ（ｔ）と垂直方向サイズｓｕｂ＿ｓｉｚｅ＿ｖ（ｔ）は、それぞれ、次の（式１４）、（式１５）、
【数１２】
2004266376.tif 000014
を用いて算出される。（式１４）、（式１５）に示すように、サブ画像のサイズは、トリガ値が大きいほど大きくなる。
【０２２２】
なお、（式１４）、（式１５）は、算出方法の一例であり、これに限定されない。サブ画像サイズの算出方法は、トリガ値が大きいほどサイズが大きくなるような方法であれば、どのような方法でもよい。
【０２２３】
ステップＳ４１４０〜ステップＳ４１７０の処理は、動作例１と同様であるため、その説明を省略する。
【０２２４】
また、図２のメインフローチャートにおいて、ステップＳ５０００〜ステップＳ９０００の処理は、動作例１と同様であるため、その説明を省略する。ただし、ステップＳ６０００でサブ画像を作成する場合は、映像蓄積部１１０から出力されるサブ画像対象映像を画面構成算出部１０８から出力されるサブ画像サイズに縮小して、サブ画像の作成を行う。このように、サブ画像サイズを用いてサブ画像を作成することにより、トリガ値に応じてサブ画像の大きさを制御することが可能になる。
【０２２５】
このように、本動作例によれば、映像の重要度を表すトリガの値が大きいほど、トリガ発生時刻の画像を静止画として合成するときのサブ画像サイズが大きくなるように制御して画像合成を行うため、合成された映像を符号化し伝送路を通じて、受信端末で表示することにより、ユーザは１つの画面しかない受信端末においても、現在の映像を見るだけでなく、重要な時刻の画像を合成画面として同時に見ることができ、しかも、重要度が高い画像ほど画像の大きさが大きく、１画面においてその画像を詳細に見ることができる。
【０２２６】
また、外枠の色とサブ画像の内容との対応が既知である場合は、ユーザは合成画像以外の情報を送受信することなく、サブ画像の内容をサブ画像の外枠の色で判断することができる。
【０２２７】
なお、本動作例では、メイン画像に入力画像、サブ画像に重要な静止画を表示する例を示したが、これに限定されるわけではなく、メイン画像に重要な静止画を表示し、サブ画面に入力画像を表示することも可能である。
【０２２８】
また、入力映像は１つの場合に限らず、複数の場合でも静止画合成は可能である。
【０２２９】
（動作例７）
動作例７は、映像の重要度を示す合成トリガを用いて画面の構成を算出し、合成する画面の形状で合成情報を表現する場合である。
【０２３０】
なお、ここでは、画面構成算出部１０８は動作例１から動作例６のいずれかの方法で画面合成パラメータを算出するものとし、以下では、特に画像情報付加部１１４の処理について説明する。
【０２３１】
画像情報付加部１１４は、画面構成算出部１０８から出力される画面合成パラメータの合成種別に応じて、サブ画像作成部１１２から出力されるサブ画像の形状を変更する。たとえば、合成種別が「静止画合成」の場合は、サブ画像の形状を円形に変更する。ただし、外枠の形状は円形に限定されるわけではなく、サブ画像が静止画像であることを表すことができればどのような形状でもよい。また、合成種別が「切り出し合成」の場合は四角形、「ループ合成」の場合は三角形というように、サブ画像の形状により合成種別を表現することが可能である。この場合、画像情報付加部１１４は、合成種別を示す形状に変更されたサブ画像を画面合成部１１６に出力する。
【０２３２】
このように、本動作例によれば、トリガに応じて画面の合成を行い、サブ画像の合成種別に応じてサブ画像の形状を変更するように制御して画像合成を行うため、合成された映像を符号化し伝送路を通じて、受信端末で表示することにより、ユーザは１つの画面しかない受信端末においても、現在の映像を見るだけでなく、重要な位置の映像を同時に見ることができる。
【０２３３】
また、サブ画像の形状でサブ画像の合成種別を表現しているため、サブ画像の形状とサブ画像の内容との対応が既知である場合は、ユーザは合成映像以外の情報を送受信することなく、サブ画像の合成種別をサブ画像の形状で判断することができる。
【０２３４】
【発明の効果】
以上説明したように、本発明によれば、複数の映像を１つの画面に合成する映像合成装置において、ユーザにとって重要な映像を自動的に表示することができ、しかも、その重要な映像を視覚的に見やすい画面構成に合成して表示することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る映像合成装置の構成を示すブロック図
【図２】本実施の形態に係る映像合成装置の動作を説明するためのフローチャート
【図３】図２中の画面合成パラメータ算出処理の、動作例１における内容を示すフローチャート
【図４】動作例１における静止画合成による画面合成の概要を示す説明図
【図５】図２中の画面合成パラメータ算出処理の、動作例２における内容を示すフローチャート
【図６】動作例２における切り出し領域算出方法の説明図
【図７】動作例２における切り出し合成による画面合成の概要を示す説明図
【図８】図２中の画面合成パラメータ算出処理の、動作例３における内容を示すフローチャート
【図９】図２中の映像蓄積処理の、動作例３における内容を示すフローチャート
【図１０】動作例３におけるループ合成による画面合成の概要を示す説明図
【図１１】図２中の画面合成パラメータ算出処理の、動作例４における内容を示すフローチャート
【図１２】図２中の画面合成パラメータ算出処理の、動作例５における内容を示すフローチャート
【図１３】図２中の画面合成パラメータ算出処理の、動作例６における内容を示すフローチャート
【図１４】従来の監視システムの一例を示す図
【符号の説明】
１００  映像合成装置
１０２  映像入力部
１０４  トリガ発生部
１０６  合成トリガ算出部
１０８  画面構成算出部
１１０  映像蓄積部
１１２  サブ画像作成部
１１４  画像情報付加部
１１６  画面合成部
２００  映像信号発生部
３００  映像符号化部
【図１】
2004266376.tif 000015
【図２】
2004266376.tif 000016
【図３】
2004266376.tif 000017
【図４】
2004266376.tif 000018
【図５】
2004266376.tif 000019
【図６】
2004266376.tif 000020
【図７】
2004266376.tif 000021
【図８】
2004266376.tif 000022
【図９】
2004266376.tif 000023
【図１０】
2004266376.tif 000024
【図１１】
2004266376.tif 000025
【図１２】
2004266376.tif 000026
【図１３】
2004266376.tif 000027
【図１４】
2004266376.tif 000028