(57)【要約】【課題】  合成映像における映像ソースの配置を端末側からの操作によって簡易に且つ自由に変更する。【解決手段】  本発明の一態様としての映像表示装置は、複数の映像ソースから生成された合成映像を受信及び表示し、前記合成映像上の位置を指定し、前記合成映像上における所定の領域の位置情報とサイズ情報報と識別子とを関連づけて記憶する領域管理手段内に、指定された位置を含む前記所定の領域が記憶されている場合は、前記合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示し、表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更し、変更後の位置情報又はサイズ情報又はこれらの両方によって、前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換え、更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記合成映像の生成元へ送信する。【選択図】  図５
2006201709.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像ソースから生成された合成映像を受信する受信手段と、
前記合成映像を表示する表示手段と、
前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段と、
前記表示手段によって表示された前記合成映像上の位置を指定する位置指定手段と、
前記位置指定手段によって指定された位置を含む前記所定の領域が前記領域管理手段に記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示する領域生成表示手段と、
前記領域生成表示手段によって表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更する領域変更手段と、
変更後の位置情報又はサイズ情報又はこれらの両方によって、前記領域管理手段に記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換える領域更新手段と、
前記領域管理手段によって記憶された更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記合成映像の生成元へ送信する制御信号送信手段と、
を備えた映像表示装置。
【請求項２】
前記制御信号送信手段は、初期化時に、予め与えられた、合成映像上の所定の領域を示す識別子と、前記所定の領域の位置情報又はサイズ情報又はこれらの両方とを含む初期化制御信号を前記合成映像の生成元へ送信する、
ことを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記領域生成表示手段は、前記指定された位置を含む所定の領域が前記領域管理手段に記憶されていない場合、前記表示された合成映像上に、予め指定されたデフォルト領域を示す情報を重ねて表示し、
前記領域管理手段は、前記合成映像上における前記デフォルト領域の位置を示す位置情報と、前記デフォルト領域のサイズ情報と、前記デフォルト領域を識別する識別子とを関連づけて記憶し、
前記制御信号送信手段は、前記領域管理手段によって記憶された前記デフォルト領域の位置情報、前記デフォルト領域のサイズ情報および前記デフォルト領域の識別子と、前記位置指定手段によって指定された位置を示す指定位置情報とを含む登録制御信号を生成して前記合成映像の生成元へ送信する、
ことを特徴とする請求項１又は２に記載の映像表示装置。
【請求項４】
前記表示手段によって表示された前記合成映像上の領域を指定する領域指定手段と、
前記領域指定手段によって指定された領域における第１の既定位置を含む所定の領域が前記領域管理手段に記憶されていない場合は、前記指定された領域の位置およびサイズに基づき、予め与えられた複数の位置および複数のサイズのうちいずれかの位置およびサイズを選択する既定領域選択手段と、を備え、
前記領域生成表示手段は、前記選択された位置およびサイズによる選択領域を示す情報を前記合成映像上に重ねて表示し、
前記領域管理手段は、前記選択領域の位置情報とサイズ情報と当該選択領域を識別する識別子とを関連づけて記憶し、
前記制御信号送信手段は、前記領域管理手段によって記憶された前記選択領域の位置情報、サイズ情報および識別子と、前記指定された領域又は前記選択領域における第２の既定位置を示す既定位置情報とを含む登録制御信号を生成して前記合成映像の生成元へ送信する、
ことを特徴とする請求項１乃至３のいずれかに記載の映像表示装置。
【請求項５】
前記領域指定手段は、ポインタをドラッグすることにより前記合成映像上の領域を指定し、
前記第１の既定位置は、前記領域を指定する際の始点であることを特徴とする請求項４に記載の映像表示装置。
【請求項６】
前記第２の既定位置は、前記指定された領域又は前記選択領域における中心位置であることを特徴とする請求項４又は５に記載の映像表示装置。
【請求項７】
複数の映像ソースから合成映像を生成し、前記合成映像を配信する機能を備えた映像合成配信装置であって、
前記映像ソースを受信する映像ソース受信手段と、
各前記映像ソースの配置情報を管理する配置情報管理手段と、
前記複数の映像ソースから前記合成映像を生成する合成映像生成手段と、
前記合成映像の配信先から、前記合成映像上における任意の領域の位置およびサイズを示す領域位置情報および領域サイズ情報と、前記任意の領域を識別する識別子とを含む更新制御信号を受信する制御信号受信手段と、
前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段と、
前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する配置情報更新手段と、
を備えた映像合成配信装置。
【請求項８】
前記制御信号受信手段は、前記合成映像の配信先から、前記合成映像上の位置を示す位置情報と、前記合成映像上における任意の領域の位置およびサイズを示す領域位置情報および領域サイズ情報と、前記任意の領域を識別する識別子とを含む登録制御信号を受信し、
前記映像管理手段は、前記登録制御信号に含まれる前記位置情報に示される位置上の前記映像ソースを特定し、特定した前記映像ソースと前記登録制御信号に含まれる識別子とを関連づけて前記映像管理手段に記憶し、
前記配置情報更新手段は、前記登録制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する、
ことを特徴とする請求項７に記載の映像合成配信装置。
【請求項９】
前記映像ソース受信手段によって受信される映像ソースの数を検出する検出手段をさらに備え、
前記映像ソース受信手段によって受信される映像ソースの数が増加した場合は、前記配置情報更新手段は、前記映像ソースの数に基づいて、増加した前記映像ソースと、前記映像管理手段に記憶されている映像ソースおよび前記増加した映像ソース、以外の映像ソースとの縮小率および配置位置を決定し、決定した縮小率および配置位置に基づいて当該映像ソースの配置情報を更新するとともに前記増加した映像ソースの配置情報を生成する、
ことを特徴とする請求項７又は８に記載の映像合成配信装置。
【請求項１０】
前記映像ソース受信手段によって受信される映像ソースの数を検出する検出手段をさらに備え、
前記映像ソース受信手段によって受信される映像ソースの数が減少した場合は、前記配置情報更新手段は、減少した前記映像ソースの配置情報を無効にするとともに前記受信された映像ソースの数に基づいて前記映像管理手段に記憶されている映像ソース以外の未登録映像ソースの縮小率および配置位置を決定し、決定した縮小率および配置位置によって前記未登録映像ソースの配置情報を更新する、
ことを特徴とする請求項７又は８に記載の映像合成配信装置。
【請求項１１】
前記配置情報更新手段は、前記映像ソースの配置情報を更新する場合、前記配置情報が更新される映像ソースの、前記配置情報が更新されない映像ソースに対する面積の重なり率が所定の比率以下になるように、前記映像ソースの配置位置を決定する、
ことを特徴とする請求項９又は１０に記載の映像合成配信装置。
【請求項１２】
コンピュータに実行させるための映像表示プログラムであって、
複数の映像ソースから生成された合成映像を受信する受信手段と、
前記合成映像を表示する表示手段と、
前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段と、
前記表示手段によって表示された前記合成映像上の位置を指定する位置指定手段と、
前記位置指定手段によって指定された位置を含む前記所定の領域が前記領域管理手段に記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示する領域生成表示手段と、
前記領域生成表示手段によって表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更する領域変更手段と、
変更後の位置情報又はサイズ情報又はこれらの両方によって、記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換える領域更新手段と、
更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記合成映像の生成元へ送信する制御信号送信手段と、
して前記コンピュータを機能させることを特徴とする映像表示プログラム。
【請求項１３】
複数の映像ソースから合成映像を生成し、前記合成映像を配信する手段としてコンピュータを機能させる映像合成配信プログラムであって、
前記映像ソースを受信する映像ソース受信手段と、
各前記映像ソースの配置情報を管理する配置情報管理手段と、
前記複数の映像ソースから前記合成映像を生成する合成映像生成手段と、
前記合成映像の配信先から、前記合成映像上における任意の領域の位置およびサイズを示す領域位置情報および領域サイズ情報と、前記任意の領域を識別する識別子とを含む更新制御信号を受信する制御信号受信手段と、
前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段と、
前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する配置情報更新手段と、
して前記コンピュータを機能させることを特徴とする映像合成配信プログラム。
【請求項１４】
複数の映像ソースから合成映像を生成し前記合成映像を配信する映像合成配信装置と、前記映像合成配信装置から前記合成映像を受信して表示する映像表示装置とを備えた映像配信システムであって、
前記映像表示装置は、
前記合成映像を受信する受信手段と、
前記合成映像を表示する表示手段と、
前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段と、
前記表示手段によって表示された前記合成映像上の位置を指定する位置指定手段と、
前記位置指定手段によって指定された位置を含む前記所定の領域が前記領域管理手段に記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示する領域生成表示手段と、
前記領域生成表示手段によって表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更する領域変更手段と、
変更後の位置情報又はサイズ情報又はこれらの両方によって、前記領域管理手段に記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換える領域更新手段と、
前記領域管理手段によって記憶された更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記映像合成配信装置へ送信する制御信号送信手段と、を備え、
前記映像合成配信装置は、
前記映像ソースを受信する映像ソース受信手段と、
各前記映像ソースの配置情報を管理する配置情報管理手段と、
前記複数の映像ソースから前記合成映像を生成する合成映像生成手段と、
前記映像表示装置から前記更新制御信号を受信する制御信号受信手段と、
前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段と、
前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する配置情報更新手段と、
を備えた映像配信システム。
【請求項１５】
前記映像表示装置における前記領域生成表示手段は、前記指定された位置を含む所定の領域が前記領域管理手段に記憶されていない場合、前記表示された合成映像上に、予め指定されたデフォルト領域を示す情報を重ねて表示し、
前記映像表示装置における前記領域管理手段は、前記合成映像上における前記デフォルト領域の位置を示す位置情報と、前記デフォルト領域のサイズ情報と、前記デフォルト領域を識別する識別子とを関連づけて記憶し、
前記映像表示装置における前記制御信号送信手段は、前記領域管理手段によって記憶された前記デフォルト領域の位置情報、前記デフォルト領域のサイズ情報および前記デフォルト領域の識別子と、前記位置指定手段によって指定された位置を示す指定位置情報とを含む登録制御信号を生成して前記映像合成配信装置へ送信し、
一方、前記映像合成配信装置における前記制御信号受信手段は、前記映像表示装置から前記登録制御信号を受信し、
前記映像合成配信装置における映像管理手段は、前記登録制御信号に含まれる前記位置情報に示される位置上の前記映像ソースを特定し、特定した前記映像ソースと前記登録制御信号に含まれる識別子とを関連づけて記憶し、
前記映像合成配信装置における前記配置情報更新手段は、前記登録制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する、
ことを特徴とする請求項１４に記載の映像配信システム。
【請求項１６】
前記映像表示装置は、
前記表示手段によって表示された前記合成映像上の領域を指定する領域指定手段と、
前記領域指定手段によって指定された領域における第１の既定位置を含む所定の領域が前記領域管理手段に登録されていない場合は、前記指定された領域の位置およびサイズに基づき、予め与えられた複数の位置および複数のサイズのうちいずれかの位置およびサイズを選択する既定領域選択手段と、を備え、
前記映像表示装置における前記領域生成表示手段は、前記選択された位置およびサイズによる選択領域を示す情報を前記合成映像上に重ねて表示し、
前記映像表示装置における前記領域管理手段は、前記選択領域の位置情報とサイズ情報と当該選択領域を識別する識別子とを関連づけて記憶し、
前記映像表示装置における前記制御信号送信手段は、前記領域管理手段によって記憶された前記選択領域の位置情報、サイズ情報および識別子と、前記指定された領域又は前記選択領域における第２の既定位置を示す既定位置情報とを含む登録制御信号を生成して前記合成映像の生成元へ送信し、
一方、前記映像合成配信装置における前記制御信号受信手段は、前記映像表示装置から前記登録制御信号を受信し、
前記映像合成配信装置における映像管理手段は、前記登録制御信号に含まれる前記既定位置情報に示される位置上の前記映像ソースを特定し、特定した前記映像ソースと前記登録制御信号に含まれる識別子とを関連づけて記憶し、
前記映像合成配信装置における前記配置情報更新手段は、前記登録制御信号に含まれる前記選択領域の位置情報およびサイズ情報によって、前記特定された映像ソースの配置情報を更新する、
ことを特徴とする請求項１４に記載の映像配信システム。
【請求項１７】
複数の映像ソースから合成映像を生成する映像合成配信装置が、生成した前記合成映像を、前記合成映像を表示する映像表示装置に配信する映像配信方法であって、
前記映像表示装置が、
前記合成映像を受信し、
前記合成映像を表示し、
前記表示手段によって表示された前記合成映像上の位置の指定を受け付け、
前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段内に、指定された位置を含む前記所定の領域が記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示し、
表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更し、
変更後の位置情報又はサイズ情報又はこれらの両方によって、前記領域管理手段に記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換え、
更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記映像合成配信装置に送信し、
前記映像合成配信装置が、
各前記映像ソースを受信し、
各前記映像ソースの配置情報に基づいて、前記複数の映像ソースから前記合成映像を生成し、
前記合成映像の配信先から前記更新制御信号を受信し、
前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段に基づき、前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、
前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する、
ことを特徴とする映像配信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク接続された映像合成配信装置と映像表示装置間において、表示装置側から映像合成配信装置に対して合成映像の制御を行う技術に関するものであり、例えば、画像合成（映像合成）サーバを利用する多地点テレビ会議システムにおいて用いられる。
【背景技術】
【０００２】
ネットワークを介してデータの送受信が可能な情報機器同士が、映像や音声を交換することで多地点テレビ会議システム（あるいは、多地点ビデオ会議システム）を構築することが可能である。
【０００３】
複数の会議端末から構成される多地点テレビ会議システムを構築する際、各会議端末同士が映像をお互いに交換する方法と、会議サーバを利用し、各会議端末は映像を会議サーバに送信し、会議サーバでは複数の会議端末から受信した映像を１つの映像に合成（ミキシング）した後に、各端末へと配信する方法がある。特に後者では、単一の会議サーバから映像を受信するだけでよいため、前者に比べてネットワーク負荷を低減することが可能である。前者は分散型多地点会議と呼ばれ、後者は集中型多地点会議と呼ばれることもある。
【０００４】
また、ここで言う会議サーバは、ＭＣＵ（Multipoint Control Unit）と呼ばれることもある。
【０００５】
各端末から受信した映像をそれぞれ映像ソースと呼ぶと、合成映像において各映像ソースを配置する位置については、会議サーバ側が自動的に決めてしまう方法と、各端末から制御する方法がある。例えば、映像ソース数が４の場合、映像ソースの配置位置については、合成画像を４分割するように配置する場合や、１つの映像に対して残りの３つをピクチャーインピクチャーのように配置する場合など、いろいろな合成パターンが存在する。各端末から制御する場合は、予め決められているパターンの中から１つ選択し、それを会議サーバへ通知することで合成映像を変更する方法がある。また、パターンを指示することで映像の配置を変更する方法以外に、映像ソースの配置位置を端末側から指定する方法も考えられる。
【０００６】
一方、多地点テレビ会議システムとは異なるが、遠隔の機器から画面情報を受け取り、また、その遠隔の機器に画面情報を更新するための制御信号を送るというシステムは、パーソナルコンピュータ（ＰＣ）の遠隔制御においても利用されている。
【０００７】
例えば、遠隔のＰＣを操作する方法として「リモートデスクトップ」という概念が提案されており、マイクロソフト社のＯＳであるＷｉｎｄｏｗｓＸＰを搭載したＰＣには、このリモートデスクトップ機能が標準で搭載されている。「リモートデスクトップ」では、手元の機器で発生するマウスクリック等の操作情報を遠隔の機器へ送信し、操作情報を受け取った遠隔の機器側で処理を行った結果の画面情報を作成し、それ手元の機器へと送信することで、ネットワークで接続されている遠隔にあるＰＣをあたかも手元にあるように操作することが可能となる。画面情報の送信の際には、画面の差分情報のみの送信や、送信する画像情報の圧縮等により、ネットワーク負荷を下げる工夫がなされている。
【０００８】
また、上記の「リモートデスクトップ」では、画面情報を構築する遠隔の機器から、手元の機器へは画面情報、すなわち、画像データ自体を送信するとしているが、描画命令だけを送信し、描画命令を受信した機器側で描画命令にもとづいて表示処理を行うという方法（特開平８−２９７６１７号公報）も提案されている。同種の概念として、ＶＮＣ（Virtual Networks Computing）呼ばれて実現されているものもある。
【０００９】
以下、説明にあたり、会議サーバを利用し１つの合成映像を会議サーバから端末へ送信する多地点テレビ会議システムにおいて、合成映像を提供する側の装置である会議サーバを単に「サーバ」、合成映像を受信し表示する側の装置である端末を「クライアント」と表現する。また、リモートデスクトップにおいても、一般にはターミナルと呼ばれる画面を作成し提供する装置を「サーバ」、ビューワーとも呼ばれる画面を表示する側の装置を「クライアント」と表現する。また、サーバからクライアントへ送信する映像あるいは画面は、動画系（ＭＰＥＧ４，ＭＰＥＧ２，Ｈ．２６３，Ｈ．２６４等）であることや、静止画系（Ｍｏｔｉｏｎ  ＪＰＥＧ，ＪＥＰＧ画像の連続送信、その他静止画で変更のあった差分情報のみを送信等々）があるが、以下説明では単に「合成映像」と表現する。
【００１０】
例えば、多地点テレビ会議システムにおいて、サーバが端末Ｂ，Ｃ，Ｄ，Ｅそれぞれから受信した参加者Ｂ，Ｃ，Ｄ，Ｅの映像を１つに合成し、端末Ａであるクライアントへ合成映像を送信する場合を考える。この場合において、クライアント自体は４つの映像を個別には認識しておらず、４つの映像を個別に認識しているのはサーバ側のみである。
【００１１】
一方、例えば、ＷｉｎｄｏｗｓＸＰを搭載したＰＣにおけるリモートデスクトップにおいて、クライアントが受信する合成映像には、ウィンドウなどが表示されている。クライアントを操作するユーザは、ウィンドウをそのクライアントの表示画面内において自由に移動させたり、大きさを変えたりすることができる。また、描画アプリケーションが起動しているウィンドウであれば、そのウィンドウに例えば矩形図形が描かれていた場合に、その矩形図形の位置を移動させたり、大きさを変えたりすることも可能である。クライアント側でウィンドウや矩形図形をマウスでクリックすると、それが選択されたことを示す表示に変化し、変化した図形を更にマウス操作によって位置の変更や大きさの変更が可能となる。但し、これらの操作において、クライアントではウィンドウや矩形図形自体を認識しているのではなく、ウィンドウや矩形図形を認識しているのはあくまでサーバ側であり、ウィンドウや矩形図形の表示が変化することについても、マウスクリック時にクライアントからマウスの位置情報のみをサーバに伝え、サーバ側でマウス操作の処理を判断しウィンドウや矩形図形を変化させた合成映像を作成し、クライアントはサーバから受信した合成映像を表示しているに過ぎない。
【特許文献１】特開平５−１０３３２４号公報
【特許文献２】特開平９−１４９３９６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
サーバ側が作成した合成映像を受信して単に表示する機能を備えたクライアントにおいては、合成映像はあくまで一つの映像に過ぎず、その合成映像が複数の映像ソースから成り立っていることも、また、各映像ソースの境界も不明である。
【００１３】
多地点テレビ会議システムにおいて、先に示したパターン切り替えの方法は、各オブジェクトが合成映像内のどこの部分に配置されているかという詳細な配置情報に関しては管理していない。一方、特開平５−１０３３２４号公報（特許文献１）、特開平９−１４９３９６号公報（特許文献２）では、オブジェクトの配置情報をサーバへ送信することで合成画像を変更させるという概念は示されていることから、クライアント側でオブジェクトの配置情報を管理しているものと想像される。但し、特開平５−１０３３２４号公報（特許文献１）、特開平９−１４９３９６号公報（特許文献２）ではサーバ側の構成が示されているのみであり、クライアント側でオブジェクトの配置情報をどのようにして知るのかは全く述べられていない。オブジェクトの配置情報を知る方法として、例えば、サーバからオブジェクトの配置情報を通知する方法も考えられるが、制御信号のためにクライアントとサーバ間で双方向の情報を交換可能な仕組みが必要となる。なお、サーバ側での合成画像の変更は、会議参加者の増減等により自動的に変更される可能性があり、変更の度にサーバ側からクライアントへ通知する仕組みや、あるいは、クライアントから随時確認する仕組みが必要である。更に、クライアントからの制御信号を送信するタイミングと、サーバからの配置情報を通知するタイミングが重なった場合の処理などを考慮する必要があり、処理が複雑化する。
【００１４】
本発明は、クライアントが、サーバ側から合成映像における各映像ソースの配置情報を取得することなく合成映像に含まれている複数の映像ソースの境界検出を可能とするものであり、合成映像における映像ソースの配置をクライアント側からの操作によって簡易に且つ自由に変更できる映像表示装置、映像合成配信装置、映像表示プログラム、映像合成配信プログラム、映像配信システムおよび映像配信方法を提供する。
【課題を解決するための手段】
【００１５】
本発明の一態様としての映像表示装置は、複数の映像ソースから生成された合成映像を受信する受信手段と、前記合成映像を表示する表示手段と、前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段と、前記表示手段によって表示された前記合成映像上の位置を指定する位置指定手段と、前記位置指定手段によって指定された位置を含む前記所定の領域が前記領域管理手段に記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示する領域生成表示手段と、前記領域生成表示手段によって表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更する領域変更手段と、変更後の位置情報又はサイズ情報又はこれらの両方によって、前記領域管理手段に記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換える領域更新手段と、前記領域管理手段によって記憶された更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記合成映像の生成元へ送信する制御信号送信手段と、を備える。
【００１６】
本発明の一態様としての映像合成配信装置は、複数の映像ソースから合成映像を生成し、前記合成映像を配信する機能を備えた映像合成配信装置であって、前記映像ソースを受信する映像ソース受信手段と、各前記映像ソースの配置情報を管理する配置情報管理手段と、前記複数の映像ソースから前記合成映像を生成する合成映像生成手段と、前記合成映像の配信先から、前記合成映像上における任意の領域の位置およびサイズを示す領域位置情報および領域サイズ情報と、前記任意の領域を識別する識別子とを含む更新制御信号を受信する制御信号受信手段と、前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段と、前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する配置情報更新手段と、を備える。
【００１７】
本発明の一態様としての映像表示プログラムは、コンピュータに実行させるための映像表示プログラムであって、複数の映像ソースから生成された合成映像を受信する受信手段と、前記合成映像を表示する表示手段と、前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段と、前記表示手段によって表示された前記合成映像上の位置を指定する位置指定手段と、前記位置指定手段によって指定された位置を含む前記所定の領域が前記領域管理手段に記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示する領域生成表示手段と、前記領域生成表示手段によって表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更する領域変更手段と、変更後の位置情報又はサイズ情報又はこれらの両方によって、記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換える領域更新手段と、更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記合成映像の生成元へ送信する制御信号送信手段と、して前記コンピュータを機能させることを特徴とする。
【００１８】
本発明の一態様としての映像合成配信プログラムは、複数の映像ソースから合成映像を生成し、前記合成映像を配信する手段としてコンピュータを機能させる映像合成配信プログラムであって、前記映像ソースを受信する映像ソース受信手段と、各前記映像ソースの配置情報を管理する配置情報管理手段と、前記複数の映像ソースから前記合成映像を生成する合成映像生成手段と、前記合成映像の配信先から、前記合成映像上における任意の領域の位置およびサイズを示す領域位置情報および領域サイズ情報と、前記任意の領域を識別する識別子とを含む更新制御信号を受信する制御信号受信手段と、前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段と、前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する配置情報更新手段と、して前記コンピュータを機能させることを特徴とする。
【００１９】
本発明の一態様としての映像配信システムは、複数の映像ソースから合成映像を生成し前記合成映像を配信する映像合成配信装置と、前記映像合成配信装置から前記合成映像を受信して表示する映像表示装置とを備えた映像配信システムであって、前記映像表示装置は、前記合成映像を受信する受信手段と、前記合成映像を表示する表示手段と、前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段と、前記表示手段によって表示された前記合成映像上の位置を指定する位置指定手段と、前記位置指定手段によって指定された位置を含む前記所定の領域が前記領域管理手段に記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示する領域生成表示手段と、前記領域生成表示手段によって表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更する領域変更手段と、変更後の位置情報又はサイズ情報又はこれらの両方によって、前記領域管理手段に記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換える領域更新手段と、前記領域管理手段によって記憶された更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記映像合成配信装置へ送信する制御信号送信手段と、前記映像合成配信装置は、前記映像ソースを受信する映像ソース受信手段と、各前記映像ソースの配置情報を管理する配置情報管理手段と、前記複数の映像ソースから前記合成映像を生成する合成映像生成手段と、前記映像表示装置から前記更新制御信号を受信する制御信号受信手段と、前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段と、前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する配置情報更新手段と、を備える。
【００２０】
本発明の一態様としての映像配信方法は、複数の映像ソースから合成映像を生成する映像合成配信装置が、生成した前記合成映像を、前記合成映像を表示する映像表示装置に配信する映像配信方法であって、前記映像表示装置が、前記合成映像を受信し、前記合成映像を表示し、前記表示手段によって表示された前記合成映像上の位置の指定を受け付け、前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段内に、指定された位置を含む前記所定の領域が記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示し、表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更し、変更後の位置情報又はサイズ情報又はこれらの両方によって、前記領域管理手段に記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換え、更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記映像合成配信装置に送信し、前記映像合成配信装置が、各前記映像ソースを受信し、各前記映像ソースの配置情報に基づいて、前記複数の映像ソースから前記合成映像を生成し、前記合成映像の配信先から前記更新制御信号を受信し、前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段に基づき、前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する、ことを特徴とする。
【発明の効果】
【００２１】
本発明により、合成映像における映像ソースの配置を端末側からの操作によって簡易に且つ自由に変更できる。
【発明を実施するための最良の形態】
【００２２】
まず、本発明の実施の形態に対する理解を容易にするため、本発明者らが本発明をなす以前から知っていた、会議サーバを利用する多地点テレビ会議システムについて簡単に説明しておく。なお、本発明の実施の形態では、会議サーバの利用を前提としており、以後、単に多地点テレビ会議システムと表現する。
【００２３】
図１は、多地点テレビ会議システムの概略図である。会議サーバｓは複数のテレビ会議端末装置と同時に接続し、それぞれの会議端末から受信した映像を一つの映像に合成し、合成した映像を各会議端末へ送信する機能を備えている。図１においては、会議サーバｓは、５台のテレビ会議端末装置a、b、c、d、eと接続している様子を示している。
【００２４】
図２は、会議サーバｓの構成の一部を示す図である。図２において、映像合成処理部５０は、多地点から受信した映像データを利用して一つの合成映像データを作成する機能を備える。また、制御情報処理部７０は、テレビ会議端末装置から受信した制御信号を解析し、その解析結果から、映像合成処理部５０に多地点から受信した映像データの合成画像における配置を指定する制御信号を入力する機能を備える。図２の映像合成処理部５０の内部構成についてはいくつかの構成例があるが、その一例として、各映像のサイズを変換するサイズ変更回路３１，３２，３３，３４とサイズ変換された各映像を合成する合成回路４０とから構成されている場合を示している。なお、全ての多地点テレビ会議システムの会議サーバが制御情報処理部７０を備えているとは限らないが、本発明の実施の形態が対象とする会議サーバｓは制御情報処理部７０を構成要素を備えているものとする。
【００２５】
図１に示した多地点テレビ会議システムが動作している状況において、映像合成処理部５０は、テレビ会議端末装置b、c、d、eから受信した映像データ２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅが入力されると、それぞれの映像の縦横比を1/2にしたものを、右上、左上、右下、左下の４箇所に、それぞれが重ならないように配置した合成映像６０Ａを作成し、テレビ会議端末装置aに送信するために出力している。
【００２６】
制御情報処理部７０については、例えば、各テレビ端末装置から自身の端末装置に表示する縮小拡大率と表示位置等の指定を行う指定信号が入力されると、それを解析し、映像合成処理部５０に対する制御信号を作成し、映像合成処理部５０へ出力する。
【００２７】
なお、図２の会議サーバｓの構成において、本発明の実施の形態の特徴を説明する上で直接影響を及ぼすことがない構成要素（例えばＣＰＵ、メモリ、ネットワークデバイス等）は省略している。
【００２８】
以下、図面を参照して本発明の実施の形態について更に詳細に説明する。
【００２９】
（第１の実施の形態）
以下、本発明の第１の実施の形態を図３から図２６を参照して説明する。  
図３に、本発明を適用した多地点テレビ会議システムのシステム構成を示す。図３では、多地点テレビ会議システムでは５地点でテレビ会議を行う場合を例としており、テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅと、会議サーバ２とから構成されており、テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅそれぞれは、ネットワーク３を介して会議サーバ２と接続された状態である。
【００３０】
本実施の形態では、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅについては、会議サーバ２との間のそれぞれの通信路３−１Ｂ、３−１Ｃ、３−１Ｄ、３−１Ｅを利用して、映像データを会議サーバ２に送信する機能を備えているものとする。また、会議サーバ２は、テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅと同時に接続している状態において、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅから受信した映像を一つの映像に合成した後、合成映像をテレビ会議端末装置１へ送信する機能を備えているものとする。ここで、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅが送信する映像データは、それぞれのカメラ装置４Ｂ、４Ｃ、４Ｄ、４Ｅを利用して作成された映像データであってもよく、また、各テレビ会議端末装置内に保存されている映像データであってもよい。一方、テレビ会議端末装置１は、会議サーバ２との間の通信路３−１１を利用して、会議サーバ２が送信する映像データを受信する機能、および、通信路３−１２を利用して、会議サーバ２に制御信号を送信する機能を備えているものとする。なお、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅと同様にテレビ会議端末装置１が映像データを会議サーバ２に送信する機能を備えていてもよく、また、テレビ会議端末装置１と同様にテレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅが映像データを会議サーバ２から受信する機能を備えていてもよい。また、本実施の形態では映像データについてのみ説明を行うため、本来、多地点テレビ会議システムにとって必須の機能である音声データの送受信についての説明は省略する。
【００３１】
テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅの例としては、ネットワークを介して通信を行う機能を備えたパーソナルコンピュータ（以後、ＰＣと呼ぶ）や、ＰＤＡ（Personal Digital Assistant）等であり、会議サーバ２から受信した映像データを表示する機能をそなえているとする。本実施の形態では、テレビ会議端末装置１をマイクロソフト社のＷｉｎｄｏｗｓＯＳが搭載されたノートブックタイプのＰＣとして説明する。
【００３２】
図４はテレビ会議端末装置１のディスプレイユニットを開いた状態における外観斜視図である。本テレビ会議端末装置１は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には表示パネルを構成するＬＣＤ（Liquid Crystal Display）１３が組み込まれており、そのＬＣＤ１３はディスプレイユニット１２のほぼ中央に位置されている。
【００３３】
このディスプレイユニット１２の画面表示部（ＬＣＤ１３の表示画面上）にデスクトップ画面１００が表示され、そのデスクトップ画面（以下単に表示画面と称す）１００上に、会議サーバ２から受信した映像データを表示領域１０００に表示する機能を備えたアプリケーションのウィンドウ１０１、ポインタ２００等が表示される。なお、ウィンドウ１０１の表示機能や、ポインタ２００の表示機能並びに操作機能については通常のＰＣに既に実装されているため、ここではその説明を省略する。
【００３４】
コンピュータ本体１１は薄い箱形の筐体を有しており、その上面には上述したポインタ２００に関する操作を行うためのポインティングデバイス１４が配置されている。さらに、コンピュータ本体１１にはネットワーク通信デバイス１５が内蔵されている。なお、ポインティングデバイス１４はコンピュータ本体１１上に配置されているとしたが、例えば、外付けのマウスを利用するＰＣにおいては、マウスがポインティングデバイス１４に相当する。ネットワーク通信デバイス１５は、ネットワーク通信を実行するデバイスであり、例えば、ネットワークへ接続するための物理的なコネクタを備え、コンピュータ本体１１内のＣＰＵ等から入力されるコマンドに応じて、データの転送等を実行し、その制御は、コンピュータ本体１１内のメモリに格納されている通信プロトコルに従って行われる。
【００３５】
図５に、図４に示したテレビ会議端末装置１において本発明に関わる内部構成要素を示す。なお、図４、および、図５では、本発明による機能改善を実現する上で直接影響を及ぼすことがない構成要素（例えばＣＰＵ等）の表記は省略している。図５に示す構成により表される機能は、通常のプログラミング技法を用いて生成したプログラムをコンピュータに実行させることにより実現してもよいし、ハードウェア的に実現してもよい。
【００３６】
テレビ会議端末装置１は、その構成要素として会議映像表示処理部４００と、本実施の形態の大きな特徴の１つとなる合成映像制御命令生成部３００とを備える。テレビ会議端末装置１はＰＣを想定しており、会議映像表示処理部４００と合成映像制御命令生成部３００とは、ＰＣに実装されている描画機能を利用し、それぞれの内部で作成した描画データを図４でも示した表示画面１００に表示させることが可能である。また、会議映像表示処理部４００は、ネットワーク通信処理部５００の機能を利用し、図３で示した通信路３−１１を利用しての映像データの受信が可能であり、一方、合成映像制御命令生成部３００は、ネットワーク通信処理部５００の機能を利用し、図３で示した通信路３−１２を利用して制御データの送信が可能である。
【００３７】
会議映像表示処理部４００は、映像表示部４０１、映像データ解析処理部４０２、データ受信制御部４０３とから構成されている。データ受信制御部４０３は、ネットワーク通信処理部５００から受信データを取得し、ネットワークを介して送受信されるエンコードされた状態の映像データを構築し、それを映像データ解析処理部４０２へ出力する。映像データ解析処理部４０２は、入力されたエンコードされた状態の映像データをデコードすることで、表示可能な映像データを構築し、それを映像表示部４０１へ出力する。映像表示部４０１は、アプリケーションとしてのウィンドウ１０１を作成し表示する機能を備えており、表示可能な映像データが入力されると、ウィンドウ１０１内の表示領域１０００に映像データを「映像」として表示する。
【００３８】
ネットワーク通信処理部５００は、通信路３−１１を利用しリアルタイム転送、あるいは、ストリーミング対応のデータの転送が可能であり、通信プロトコルとして、例えば、ＵＤＰ／ＩＰ，ＲＴＰ等をサポートしているものとする。ネットワーク通信処理部５００を介し、会議映像表示処理部４００は会議サーバ２から受信した映像データを受信することが可能である。
【００３９】
一方、本実施の形態の特徴となる合成映像制御命令生成部３００は、ポインタ検出部３０１、領域検出部３０２、枠表示部３０３、テーブル管理部３０４、制御データ生成部３０５、制御データ送信処理部３０６とから構成されている。
【００４０】
ポインタ検出部３０１は、ポインタ２００が表示画面１００におけるウィンドウ１０１内の表示領域１０００上にあることを検出し、さらに、その位置にて操作イベントが発生した場合にそのイベントを検出する。操作イベントは、マウス操作によるクリックや、ダブルクリック、ドラッグアンドドロップ等により発生する。なお、図５に示すように、表示画面１００をX’Y’座標で管理することで、ポインタ検出部３０１は表示画面１００上におけるポインタ２００の位置およびウィンドウ１０１位置を管理することができる。ポインタ検出部３０１は、表示領域１０００上にて操作イベントが発生したことを検出すると、ポインタ２００の位置情報（X’Y’座標を利用して表現）と操作イベント情報（左クリックのＯＮ、左クリックのＯＦＦや、右クリックのＯＮ等）を領域検出部３０２へ出力する。
【００４１】
領域検出部３０２は、図５に示すように、ウィンドウ１０１内の表示領域１０００についてXY座標で管理し、ポインタ検出部３０１から入力されたポインタ２００の位置情報（X’Y’座標を利用して表現）をXY座標に変換し、変換した値をポインタ２００の位置情報として一時的に記憶する。また、領域検出部３０２は、ポインタ検出部３０１から入力された操作イベント情報についても、ポインタ２００の位置情報と関連づけて一時的に記憶する。なお、領域検出部３０２は、自身の動作に関係ない操作イベントの場合には、ポインタ２００の位置情報および操作イベントを一時的に記憶せずに破棄する。例えば、操作イベントとして左クリックのＯＮと左クリックのＯＦＦのみを有効とすると、左クリックのＯＮと左クリックのＯＦＦの場合にのみ、ポインタ２００の位置情報と関連づけて一時的に記憶する。図６を用いて、領域検出部３０２が管理するXY座標と表示領域１０００の関係を説明する。XY座標の点を(x,ｙ)として表現すると、領域検出部３０２は、表示領域１０００の左上の頂点を(0,0)、右上の頂点を(100,0)、左下の頂点を(0,100)、右下の頂点を(100,100)というように管理している。つまり、領域検出部３０２は、表示領域１０００の横方向、縦方向を１００という値に正規化して表示領域１０００上における位置を管理する。例えば、図６（a）に示す、(x1,y1)の位置で左クリックのＯＮが発生した場合に、領域検出部３０２は{x1,y1,イベントＡ}という情報を一時的に記憶する。ここで、イベントＡは、左クリックのＯＮ操作が行われたこと示し、内部処理として{x1,y1,イベントＡ}という情報を「位置確認」信号と定義する。領域検出部３０２は位置確認信号{x1,y1,イベントＡ}を一時的に記憶した後、位置確認信号{x1,y1,イベントＡ}をテーブル管理部３０４へ出力する。位置確認信号{x1,y1,イベントＡ}をテーブル管理部３０４へ出力した後、テーブル管理部３０４から関連した結果が入力されると、その結果に応じて、領域検出部３０２は枠表示部３０３、および、制御データ生成部３０５に対して制御信号を作成し、それぞれに出力する。領域検出部３０２が位置確認信号{x1,y1,イベントＡ}をテーブル管理部３０４へ出力した後の動作については、テーブル管理部３０４
の機能を説明した後に改めて説明する。
【００４２】
テーブル管理部３０４は、図７に示す領域管理テーブルを内部に作成し保持している。図７(a)は初期化時の領域管理テーブルであり、値はなにも記載されていないが、項目として、ＩＤ番号と、XY座標における矩形領域を示すパラメータx、y、w、h、Layerが記載できる。ＩＤ番号は矩形領域を識別するための番号である。x、y、w、hについては、図６(b)に示した矩形領域を例として説明すると、x = x1、y = y1、w = w1、h = h1となる。また、Layerは、領域管理テーブルにて複数の矩形領域を管理する場合に、それぞれの矩形領域の階層位置を表すために用いており、例えば、第ｋ層に位置する場合は、Layer = kである。なお、第ｋ層の矩形領域は、第ｋ＋１層の矩形領域より上位に位置するとする。図７(b)は、ID1からIDkまで、ｋ個の矩形領域が登録されている状態を示している。テーブル管理部３０４は、領域検出部３０２から位置確認信号{x1,y1,イベントＡ}が入力されると、これを「位置確認」信号と認識して、領域管理テーブルの登録情報を確認する。x1,y1という位置情報が、領域管理テーブルが管理するいずれの矩形領域にも属さない点である場合には、テーブル管理部３０４は領域検出部３０２に「未登録」という情報と、そのパラメータとして領域管理テーブルで未使用のＩＤ番号を出力する。一方、x1,y1という位置情報が、領域管理テーブルが管理する複数の矩形領域に属する点である場合には、Layerを確認し、テーブル管理部３０４は領域検出部３０２に、最上位に位置する矩形領域のID番号と、それに関連する情報（x 、y 、w 、h 、Layer）を矩形領域情報{ID,x,y,w,h,Layer}として出力する。
【００４３】
領域検出部３０２は、位置確認信号{x1,y1,イベントＡ}をテーブル管理部３０４へ出力した後、テーブル管理部３０４から結果が入力されるのを待つ。結果として、「未登録」という情報とそのパラメータが入力されると、領域検出部３０２は矩形領域の登録処理を開始する。登録処理として、領域検出部３０２は、{ID, x, y, w, h, Layer, イベントＢ}のフォーマットで表現される「矩形登録」信号を作成しテーブル管理部３０４と、制御データ生成部３０５へ出力する。ここで、ＩＤは、「未登録」という情報に付随するパラメータである。例えば、領域管理テーブルが初期化状態であり、パラメータがＩＤ＝１であった場合に、領域検出部３０２が矩形登録信号{1,0,0,100,100,1, イベントＢ}を作成しテーブル管理部３０４と、制御データ生成部３０５へ出力する。なお、領域検出部３０２が矩形登録信号を制御データ生成部３０５へ出力する際には、位置確認信号{x1,y1,イベントＡ}も一緒に出力するものとする。
【００４４】
テーブル管理部３０４は、領域検出部３０２から矩形登録信号が入力されると、矩形登録信号に含まれる情報を領域管理テーブルに新規登録を行う。図８(a)は、領域管理テーブルが初期化状態時に、矩形登録信号{1,0,0,100,100,1, イベントＢ}が入力された場合に、テーブル管理部３０４が領域管理テーブルに新規登録作業を行った結果を示している。テーブル管理部３０４は新規登録作業が完了すると、矩形領域情報{ID,x,y,w,h,Layer}を領域検出部３０２へ出力する。図８(a)の場合は、テーブル管理部３０４は矩形領域情報{ ID = 1,x = 0,y = 0,w = 100,h = 100,Layer = 1 }を領域検出部３０２へ出力する。また、図８(b)は、領域管理テーブルが初期化状態でない時に、矩形登録信号{2,0,0,100,100,1, イベントＢ}が入力された場合に、テーブル管理部３０４が領域管理テーブルに新規登録作業を行った結果を示している。本実施例では、テーブル管理部３０４は、領域管理テーブルへの新規登録作業を行う際、階層情報を確認し、領域管理テーブルの登録済みの情報にその階層が存在した場合には、その階層の値を１大きくする。この結果、更に別の登録済みの情報と重なった場合には、その別の登録済みの階層の値を１大きくする。すなわち、新規登録する情報の階層の値を優先し、登録済みの階層の値を他と重ならないように変更する。図８(b)では、図８(a)の領域管理テーブルに矩形登録信号{2,0,0,100,100,1, イベントＢ}の情報を新規登録した結果を示しており、ＩＤ=１のＬａｙｅｒ値が１から２へ変更されたことを示している。
【００４５】
領域検出部３０２は、矩形領域情報{ID,x,y,w,h,Layer}がテーブル管理部３０４から入力されると、入力された矩形領域情報{ID,x,y,w,h,Layer}を記憶した後、枠表示部３０３へ出力する。
【００４６】
枠表示部３０３は、領域検出部３０２から矩形領域情報{ID,x,y,w,h,Layer}が入力されると、x,y,w,hの値を利用し、ＸＹ座標で管理される表示画面１００におけるウィンドウ１０１内の表示領域１０００上に矩形の枠２０００を表示させる。図９は、矩形領域情報{ ID = ID1,x = x1,y = y1,w = w1,h = h1,Layer = l1 }が入力された場合に、それに対応した矩形の枠２０００が表示領域１０００上に表示されている様子を示している。なお、矩形の枠２０００は、図９に示した破線や点線以外にも、実線であってもよく、また、枠の表示色をＩＤ番号に応じて変化させても良い。なお、先に領域検出部３０２は、矩形領域情報{ID,x,y,w,h,Layer}を記憶するとしたが、領域検出部３０２は、記憶している矩形領域情報を削除した際には、矩形領域情報{ID,x,y,w,h,Layer}の削除命令を枠表示部３０３へ出力する。枠表示部３０３は削除命令が入力されると、指定された矩形の枠の表示を行わないように処理を実行する。領域検出部３０２は、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}については、その値が、所定の時間変更されなかった場合に記憶している矩形領域情報を削除するものとする。なお、領域検出部３０２は、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}については、次に示す「矩形の枠の変更処理」によって、その値を変更することができる。
【００４７】
ここで、ユーザが、ポインタ２００の表示位置を移動させ、枠表示部３０３が表示した矩形の枠の大きさや位置を変化させる方法について述べる。ポインタ２００の位置については、先に示したとおり、ポインタ検出部３０１が検出し、ポインタ２００の位置情報（X’Y’座標を利用して表現）と操作イベント情報（左クリックのＯＮ、左クリックのＯＦＦや、右クリックのＯＮ等）を領域検出部３０２へ出力する。領域検出部３０２は、入力された操作イベント情報が有効であれば、ポインタ２００の位置情報（X’Y’座標を利用して表現）をXY座標に変換したものと、操作イベント情報を一時的に記憶する。このとき、領域検出部３０２は検出したXY座標の位置が、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}の領域に属する点か否かを検出し、領域に属さない場合は、先に示した「位置確認」信号に関する処理を行うが、領域に属すること検出した場合には、次に示す、「矩形の枠の変更処理」を実行する。なお、先に示した「位置確認」信号に関する処理の説明は、領域検出部３０２内部に矩形領域情報が記憶されていない場合の説明である。
【００４８】
以下、「矩形の枠の変更処理」について図９を用いて説明する。
【００４９】
まず、矩形の枠２０００の頂点にポインタ２００を移動させ、そこで左クリックし、左クリックした状態のままポインタ２００を移動させ、移動後に左クリックを離した場合を考える。この場合、最初の左クリックをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２にて、矩形の枠２０００の頂点を指定された「矩形の枠の変更処理」の開始と認識する。次に、ポインタの移動を、ポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の大きさを変更する処理と認識することができる。また、左クリックが解除されたことをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の大きさを変更する処理が確定したこと、すわなち、「矩形の枠の変更処理」の終了を認識することができる。領域検出部３０２は、矩形の枠２０００の大きさを変更する処理と認識した場合には、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}のx,y,w,hの値を必要に応じて変更し、変更した矩形領域情報を枠表示部３０３へ出力する。例えば、左クリックした頂点の位置を変更することで枠の大きさを変更する処理においては、クリックした頂点の対角の位置が固定されるようにx,y,w,hの値を適宜変更する。また、領域検出部３０２は、「矩形の枠の変更処理」の終了を認識すると、その際に内部に記憶している矩形領域情報を「矩形領域」信号としてテーブル管理部３０４と、制御データ生成部３０５へ出力する。矩形の枠２０００の大きさを変更する処理の途中においては、枠表示部３０３は、矩形領域情報が随時領域検出部３０２から入力され、表示領域１０００上における矩形の枠の表示の変更処理を行う。なお、本実施の形態において矩形の枠は縦横のアスペクト比一定を保つものとし、「矩形の枠の変更処理」の終了を認識した際のポインタの位置がアスペクト比一定を満たさない場合は、ポインタ検出部３０１においてポインタの位置がアスペクト比一定を満たす点に自動的に補正されるものとする。
【００５０】
次に、矩形の枠２０００内の領域ではあるが頂点以外の位置にポインタ２００を移動させ、そこで左クリックし、左クリックした状態のままポインタ２００を移動させ、移動後に左クリックを離した場合を考える。この場合、最初の左クリックをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２にて、矩形の枠２０００の頂点以外を指定された「矩形の枠の変更処理」の開始と認識する。次に、ポインタの移動を、ポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の位置を変更する処理と認識することができる。また、左クリックが解除されたことをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の位置を変更する処理が確定したこと、すわなち、「矩形の枠の変更処理」の終了を認識することができる。領域検出部３０２は、矩形の枠２０００の位置を変更する処理と認識した場合には、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}のx,y,の値を変更し、変更した矩形領域情報を枠表示部３０３へ出力する。例えば、位置を変更する処理においては、枠の大きさは変化しないとすると、「矩形の枠の変更処理」の開始時に認識したポインタの位置と移動中のポインタの位置との差分値を利用してx,y,の値を適宜変更する。また、領域検出部３０２は、「矩形の枠の変更処理」の終了を認識すると、その際に内部に記憶している矩形領域情報を「矩形領域」信号としてテーブル管理部３０４と、制御データ生成部３０５へ出力する。矩形の枠２０００の位置を変更する処理の途中においては、枠表示部３０３は、矩形領域情報が随時領域検出部３０２から入力され、表示領域１０００上における矩形の枠の表示の変更処理を行う。
【００５１】
「矩形の枠の変更処理」が完了した際に、領域検出部３０２からテーブル管理部３０４へ上述のとおり「矩形領域」信号が出力される。矩形領域信号は、矩形領域信号{ID,x,y,w,h,Layer,イベントＣ}として表す。テーブル管理部３０４は、矩形領域信号{ID,x,y,w,h,Layer,イベントＣ}が入力されると、領域管理テーブルにおいて、ＩＤ番号を利用し対応する登録内容を更新する。図１０に、矩形の枠の大きさや位置を変更させる「矩形の枠の変更処理」を行う前の状態と、行った後の状態（枠の大きさの変更と枠の位置の移動との両方を行った後の状態）を示し、図１１に図１０の処理の結果、領域管理テーブルの内容が更新された様子を示す。
【００５２】
さて、制御データ生成部３０５は、領域検出部３０２から矩形登録信号{ID, x, y, w, h, Layer, イベントＢ}と一緒に位置確認信号{x1,y1,イベントＡ}が入力されると、その矩形登録に関する情報を会議サーバ２へ伝えるための矩形登録パケットのペイロード部分を構築する。図１２に矩形登録信号{ID = 1, x = 0, y = 0, w = 100, h = 100, Layer =1, イベントＢ}と位置確認信号{x1 = 15,y1 = 20,イベントＡ}が入力された場合に、制御データ生成部３０５が作成する矩形登録パケットのペイロード部分の一例を示す。また、制御データ生成部３０５は、領域検出部３０２から矩形領域信号{ID, x, y, w, h, Layer, イベントＣ}が入力されると、その矩形領域に関する情報を会議サーバへ伝えるための矩形領域パケットを構築する。図１３に矩形領域信号{ID = 2, x = 10, y = 20, w = 50, h = 50, Layer =3, イベントＣ}が入力された場合に、制御データ生成部３０５が作成する矩形領域パケットのペイロード部分の一例を示す。制御データ生成部３０５は、矩形登録パケット、あるいは、矩形領域パケットを作成すると、制御データ送信処理部３０６へ出力する。
【００５３】
制御データ送信処理部３０６は、制御データ生成部３０５から矩形登録パケット、あるいは、矩形領域パケットが入力されると、この制御パケットを会議サーバ２へ送信するために必要となるネットワークのあて先アドレス情報などの付加情報と共にネットワーク通信処理部５００へ出力する。ネットワーク通信処理部５００は、制御データ送信処理部３０６から付加情報が付された制御パケット（以下単に制御パケットと称する）が入力されると、通信路３−１２を介してこの制御パケットを会議サーバ２へ送信する。
【００５４】
会議サーバ２は、通信路３−１２を介してテレビ会議端末装置１から制御パケットを受信し、矩形登録パケット、あるいは、矩形領域パケットであることを認識すると、会議サーバ２における制御情報処理部７０が、それらを解析し、映像合成処理部５０に対する制御信号を作成し、映像合成処理部５０へ出力することで、合成映像の変更を行う。なお、ここでは会議サーバ２側で管理している各受信映像２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅと、矩形登録パケットおよび矩形領域パケットに含まれるＩＤ番号が１対１に対応づけられるものとする。また、会議サーバ２においても合成映像６０Ａ内における位置を、テレビ会議端末装置１におけるウィンドウ１０１内の表示領域１０００と同様に、横方向、縦方向を１００という値に正規化したXY座標で管理するものとし、ＩＤ番号に対応する各受信信号を、矩形登録パケットおよび矩形領域パケットで指定した位置、大きさ、階層に配置できるものとする。会議サーバ２についての詳細は後述する。
【００５５】
以下、会議サーバ２から受信した映像を会議映像表示処理部４００が表示画面１００に表示させている状態で、本実施の形態の特徴となる合成映像制御命令生成部３００が動作する様子をいくつか例として示す。
【００５６】
（例１）
会議サーバ2から受信し、表示領域１０００に表示されている合成映像が図１４(a)である場合を考える。このとき、テーブル管理部３０４の管理する領域管理テーブルは初期化状態であるとする。ここで、ポインタ２００を表示領域１０００の(15,20)の位置に移動させ、左クリック操作を行う。結果、合成映像制御命令生成部３００内にて例えば矩形登録信号{1,0,0,100,100,1, イベントＢ}が発生し、領域管理テーブルは図１４(d)のように更新される。また、合成映像制御命令生成部３００は、表示領域１０００において、図１４(b)に示している矩形の枠２０００を表示させると共に、図１４(c)に示す矩形登録パケットを生成し、会議サーバ２へ送信する。会議サーバ２は、図１４(a)の(15,20)の位置に表示されていた映像をx = 0, y = 0を基準とし、 w = 100, h = 100の大きさで階層を１として合成映像を作成し、テレビ会議端末装置１へ送信する。結果、図１４(b)に示すとおり、図１４(a)において合成画像の一部1001として表示されていた部分と矩形の枠２０００とが一致して表示領域１０００上に表示される。なお、このとき、登録作業が完了したことを通知するようなダイアログ３０００を合成映像制御命令生成部３００が作成し表示領域１０００上に表示しても良い。
【００５７】
例１では、合成映像が表示されている表示領域１０００において、本発明の合成映像制御命令生成部３００が矩形領域を登録し、登録した矩形領域と表示領域１０００上で指定した点に配置されていた映像の表示位置を一致させる方法について示した。
【００５８】
（例２）
図１５(a)は、例１の操作後、所定の時間が経過し、矩形の枠２０００の表示が消えた状態である。ここで、図１５(b)に示すように、ポインタ２００を表示領域表示領域１０００内のある点に移動させ、左クリック操作を行うと、領域管理テーブルは図１４(d)であることから、合成映像制御命令生成部３００の内で矩形領域情報が発生する。矩形領域情報が発生した結果、合成映像制御命令生成部３００は図１５(b)に示すとおり、表示領域１０００に矩形の枠２０００を表示する。次に、図１５(b)の矩形の枠２０００の右下の頂点へポインタ２００を移動させ、その位置で左クリックを行い、図１５(c)に示す位置までポインタを移動させると、合成映像制御命令生成部３００にて「矩形の枠の変更処理」が実行される。「矩形の枠の変更処理」の結果、領域管理テーブルが図１６(a)のとおりに更新され、合成映像制御命令生成部３００は、図１５(d)に示す矩形領域パケットを作成し会議サーバ２へと送信する。会議サーバ２は、ＩＤ番号１に対応する映像をx = 0, y = 0を基準とし、w = 50, y = 50の大きさで階層を１とした合成映像を作成し、テレビ会議端末装置１へ送信する。結果、図１６(b)に示すとおり、合成画像の一部として表示されているＩＤ番号１に対応する映像と矩形の枠２０００とが一致して表示領域１０００上に表示される。
【００５９】
例２では、登録した矩形領域と表示領域１０００上で指定した点に配置されていた映像の表示位置を一致させた後に、表示領域１０００上に表示される登録されている矩形領域を示す矩形の枠を変化させることで、合成映像も変化することを示した。
【００６０】
（例３）
例１において、矩形登録信号{1,0,0,100,100,1, イベントＢ}から図１７(a)に示す矩形登録パケットを生成し、会議サーバ２へ送信するとしているため、結果として図１４(b)に示すとおり領域管理テーブルに登録した情報に対応する映像が最大化されて表示領域１０００上に表示される。ここで、矩形登録信号は、例えば、{1,25,25,50,50,1, イベントＢ}、あるいは、{1,15,20,50,50,1, イベントＢ}等でもよく、その場合の矩形登録パケットは図１７(b)、あるいは、図１７(c)に示す矩形登録パケットとなる。結果として図１４(b)とは異なり、図１７(b)の場合は、領域管理テーブルに登録した情報に対応する映像は表示領域１０００上の中央部分に表示され、図１７(c)の場合は、領域管理テーブルに登録した情報に対応する映像は表示領域１０００上で、ポインタ２００で示した点を基準として表示される。
【００６１】
（例４）
例１では、テーブル管理部３０４の管理する領域管理テーブルが初期化状態の際、表示領域１０００に表示されている合成映像が図１４(a)であり、また、矩形登録信号は最大化を指示するものであった。例４では、領域管理テーブルが初期化状態の際の合成映像が図１８ (a)であり、矩形登録信号が「中央部分に表示」を指示する場合について説明する。まず、ポインタ２００を表示領域１０００の(90,70)の位置に移動させ、左クリック操作を行う。結果、合成映像制御命令生成部３００内にて矩形登録信号{1,25,25,50,50,1, イベントＢ}が発生し、領域管理テーブルは図１８(d)のように更新される。また、合成映像制御命令生成部３００は、表示領域１０００において、図１８(b)に示している矩形の枠２０００を表示させると共に、図１８(c)に示す矩形登録パケットを生成し、会議サーバ２へ送信する。会議サーバ２は、図１８(a)の(90,70)の位置に表示されていた映像をx = 25, y = 25を基準とし、 w = 50, y = 50の大きさで階層を１とした合成映像を作成し、テレビ会議端末装置１へ送信する。結果、図１８(b)に示すとおり、図１８(a)において合成画像の一部1003として表示されていた部分と矩形の枠２０００とが一致して表示領域１０００上に表示される。なお、このとき、登録作業が完了したことを通知するようなダイアログ３０００を合成映像制御命令生成部３００が作成し表示領域１０００上に表示しても良い。
【００６２】
（例５）
図１９(a)は、例４の操作後、所定の時間が経過し、矩形の枠２０００の表示が消えた状態である。ここで、図１９(b)に示すように、ポインタ２００を表示領域表示領域１００３内のある点に移動させ、左クリック操作を行うと、領域管理テーブルは図１８(d)であることから、合成映像制御命令生成部３００の内で矩形領域情報が発生する。矩形領域情報が発生した結果、合成映像制御命令生成部３００は図１９(b)に示すとおり、表示領域１０００に矩形の枠２０００を表示する。一方、図１９(a)に示すように、ポインタ２００を表示領域表示領域１００４内のある点に移動させ、左クリック操作を行った場合については例６に示す。
【００６３】
（例６）
図２０(a)は、例４の操作後、所定の時間が経過し、矩形の枠２０００の表示が消えた状態である。ポインタ２００を表示領域１０００の(90,45)の位置に移動させ、左クリック操作を行う。結果、領域管理テーブルは図１８(d)であることから、合成映像制御命令生成部３００内にて矩形登録信号{2,25,25,50,50,1, イベントＢ}が発生し、領域管理テーブルは図２０(d)のように更新される。また、合成映像制御命令生成部３００は、表示領域１０００において、図２０(b)に示している矩形の枠２０００を表示させると共に、図２０(c)に示す矩形登録パケットを生成し、会議サーバ２へ送信する。会議サーバ２は、図２０(a)の(90,45)の位置に表示されていた映像をx = 25, y = 25を基準とし、 w = 50, y = 50の大きさで階層を１とした合成映像を作成し、テレビ会議端末装置１へ送信する。結果、図２０(b)に示すとおり、図２０(a)において合成画像の一部1004として表示されていた部分と矩形の枠２０００とが一致して表示領域１０００上に表示される。なお、このとき、登録作業が完了したことを通知するようなダイアログ３０００を合成映像制御命令生成部３００が作成し表示領域１０００上に表示しても良い。
【００６４】
（例７）
例７では、４つの領域の登録が完了し、それぞれの領域に対し合成映像制御命令生成部３００において、ＩＤ１、ＩＤ２，ＩＤ３，ＩＤ４が割り当てられた状態で、合成映像の配置を変更していく様子を示す。図２１(a)の状態において、領域管理テーブルの登録内容が図２３(a)であるとする。図２１(b)は、図２１(a)の状態から「矩形の枠の変更処理」が実行された結果である。この際、図２２(a)に示す矩形領域パケットが作成され、領域管理テーブルの登録内容が図２３(b)となる。更に、図２１(c)は、図２１(b)の状態から「矩形の枠の変更処理」が実行された結果である。この際、図２２(b)に示す矩形領域パケットが作成され、領域管理テーブルの登録内容が図２３(c)となる。
【００６５】
（例８）
先に説明を行った「矩形の枠の変更処理」では、領域検出部３０２は、「矩形の枠の変更処理」の終了を認識すると、その際に内部に記憶している矩形領域情報を矩形領域信号としてテーブル管理部３０４と、制御データ生成部３０５へ出力するとした。一方、矩形の枠２０００の大きさ、あるいは、位置を変更する処理の途中においては、枠表示部３０３は、矩形領域情報が随時領域検出部３０２から入力され、表示領域１０００上における矩形の枠の表示の変更処理を行うとした。しかし、領域検出部３０２が矩形領域信号をテーブル管理部３０４と、制御データ生成部３０５へ出力するのを「矩形の枠の変更処理」の終了を認識した時に限らず、枠表示部３０３への矩形領域情報の出力と同様に随時出力するものとしても良い。例えば、図２４(a)の状態から図２４(b)になるようにポインタ２００を移動させ、矩形の枠２０００の大きさを変更する場合に、図２４(c)から図２４(g)に示す矩形領域パケットを作成し会議サーバ２へと送信しても良い。このように随時矩形領域パケットを送信することで、「矩形の枠の変更処理」を行っている最中にも合成映像における映像の配置が変更され続け、矩形の枠２０００の変更操作に追従しての合成映像の変更が期待できる。
【００６６】
なお、以上の本実施の形態において、合成映像制御命令生成部３００のポインタ検出部３０１が検出する操作イベント情報として左クリックを例に説明を行ってきたが、必ずしもそれに限るものではない。例えば、合成映像が表示されている表示領域１０００において、合成映像制御命令生成部３００が矩形領域を登録するように動作させる際の操作イベント情報はダブルクリックを有効とし、登録された状態で「矩形の枠の変更処理」を行う場合には左クリックを有効とするというように、別々の操作イベント情報で実行できるようにしても良い。また、テレビ会議端末装置１がキーボードを備えるのであれば、キー操作により発生する操作イベント情報を利用しても良い。操作イベントを別々にすることで、ユーザが意図しない誤動作を防ぐことができる。また、以上の本実施の形態では、矩形の枠２０００を表示させた状態での操作については「矩形の枠の変更処理」しか説明していないが、例えば、右クリックでメニューを表示させ、メニューから「削除」という項目を選択すると、現在表示されている矩形の枠２０００の表示を消すと共に、領域管理テーブルに登録されているその矩形領域に対する登録情報を削除するような処理を追加することも可能である。また、登録情報を削除した際には、会議サーバ２へ対しても、登録情報を削除することを指示する制御パケットを送信する必要がある。登録情報を削除する制御パケットを矩形登録削除パケットと呼び、別途定義を行っても良いが、例えば、先に示した矩形登録パケットを利用し、図１２に示したペイロード部分にて、x,y,w,h,IDの値は０とし、ID番号とx1,y1のみを有効としたものを矩形登録削除パケットとして利用しても良い。ここで、ID番号とx1,y1は、削除を指定した際にポインタ検出部３０１、および、領域検出部３０２が検出した位置の情報を利用し、領域管理テーブルに登録されている情報から検出可能である。
【００６７】
なお、上述のとおり、矩形領域を登録するように動作させる際の操作イベント情報と、登録された状態で「矩形の枠の変更処理」を行う際の操作イベント情報を別々とした場合には、例えば、既に登録済みの矩形領域に対して、再登録を行うという操作も可能となる。例えば、矩形領域を登録した際に表示画面にて最大化されるとする。その後、「矩形の枠の変更処理」により、矩形領域を小さく変更した後に、その矩形領域上にて再度登録のための操作イベント情報を発生させることにより、その矩形領域に対する再登録処理が行われ表示画面にて最大化されることになる。
【００６８】
また、以上の本実施の形態において、テレビ会議端末装置１から会議サーバ２への制御信号を送信する通信路として通信路３−１２を利用して説明を行ったが、もし、テレビ会議端末装置１および会議サーバ２間において、別途呼制御を行うための通信路が設定されている場合には、その既存の通信路を利用してテレビ会議端末装置１から会議サーバ２へ制御信号を送信するようにしてもよい。
【００６９】
以下、会議サーバ２の構成および動作について説明する。
【００７０】
図２５に本発明の実施の形態に従った会議サーバ２の構成を示す。会議サーバ２は、図２で示した会議サーバｓにおける映像合成処理部５０と制御情報処理部７０といった構成要素に加え、配置情報記憶部８０と登録映像管理部９０を備える。また、制御情報処理部７０については、本実施の形態で機能拡張を行っている。図２５に示す構成により表される機能は、通常のプログラミング技法を用いて生成したプログラムをコンピュータに実行させることにより実現してもよいし、ハードウェア的に実現してもよい。
【００７１】
図２５では、４つの映像ソース（２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ）から一つの合成映像６０Ａを作成する構成を示しているが、映像合成処理部５０は５つ以上の映像ソースの合成も可能な構成であってもよい。また、図２５では、合成画像を１つしか作成しない場合の構成を示しているが、複数の合成画像を作成し、それぞれの合成画像を異なるテレビ会議端末装置に配信できる構成であってもよい。
【００７２】
会議サーバ２は、通信路３−１２を介してテレビ会議端末装置１から制御パケットを受信すると、受信した制御パケットが制御信号として制御情報処理部７０に入力される。制御情報処理部７０は、入力された制御信号を解析し、矩形登録パケット、あるいは、矩形領域パケットであることを認識すると、それらを解析し、映像合成処理部５０に対する制御信号を作成し、映像合成処理部５０へ出力することで、合成映像の変更を行う。なお、本実施の形態において、映像ソース（２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ）と合成映像６０Ａの大きさおよびアスペクト比は等しいと仮定する。
【００７３】
配置情報記憶部８０は、合成映像における各映像ソースの配置位置を管理している。配置位置は、図２６に示すように合成映像の横方向、縦方向を１００という値に正規化したＸＹ座標を利用して管理する。また、配置情報記憶部８０は、例えば、図２７に示す配置情報管理テーブルを保持しており、図２６のＸＹ座標を利用して各映像ソースの配置位置を管理する。本実施の形態の配置情報管理テーブルでは、各映像ソースのＩＤを映像合成処理部５０の構成要素であるサイズ変更回路（３１，３２，３３，３４）の番号としており、サイズ変更回路による一辺の長さに対する縮小情報（1 / n）と、縮小した映像ソースの左上を基準とした配置位置(x,y)と大きさ（w,h）と階層(Layer)が記載されている。
【００７４】
配置情報記憶部８０が記憶管理する各映像ソースの配置位置は、制御情報処理部７０が制御信号を受けた結果、制御情報処理部７０からの指示で更新されるものとするが、配置情報記憶部８０は各映像ソースの配置に関するデフォルト値を管理しており、初期化時等に制御情報処理部７０が配置情報記憶部８０からデフォルトの配置情報を取得して、映像合成処理部５０へ合成方法を指示する。なお、図２７はデフォルトの配置情報の例でもあり、４つの映像ソースの配置に重なりがないように配置されており、各映像ソースの階層はデフォルト値として決まっているものとする。
【００７５】
制御情報処理部７０は、テレビ会議端末装置１から制御パケットである制御信号が入力されると、フォーマット解析を行い、図１２のフォーマットであれば矩形登録パケット、図１３のフォーマットであれば矩形領域パケットであることを認識する。矩形登録パケットであると認識した場合、制御情報処理部７０はフォーマット解析結果として矩形登録パケットに含まれている{ID, x, y, w, h, layer, x1, y1}の情報を矩形登録情報として登録映像管理部９０へ出力する。また、矩形領域パケットであると認識した場合、制御情報処理部７０はフォーマット解析結果として矩形領域パケットに含まれている{ID, x, y, w, h, layer }の情報を矩形領域情報として登録映像管理部９０へ出力する。
【００７６】
登録映像管理部９０は、矩形登録情報{ID, x, y, w, h, layer, x1, y1}が入力されると、配置情報記憶部８０が管理する配置情報管理テーブルを参照し、x1, y1が含まれる領域にある映像ソースのＩＤ番号（図２６では３１，３２，３３，３４）を１つ検出する。なお、x1, y1が複数の映像領域に含まれる場合は、階層の一番上であるもの（本実施の形態ではLayerの番号が一番小さいもの）のＩＤ番号を選択するものとする。登録映像管理部９０は矩形登録情報の入力に対して、映像ソースのＩＤ番号の検出に成功すると、登録情報に含まれていたＩＤの値と、選択した映像ソースのＩＤ番号とを対にして記憶した後、選択した映像ソースのＩＤ番号を制御情報処理部７０へ出力する。一方、登録映像管理部９０は、矩形領域情報{ID, x, y, w, h, layer}が入力されると、矩形領域情報に含まれるＩＤの値に対応して記憶している映像ソースのＩＤ番号を制御情報処理部７０へ出力する。
【００７７】
制御情報処理部７０は、矩形登録情報、あるいは、矩形領域情報を登録映像管理部９０へ出力した結果、映像ソースのＩＤ番号が登録映像管理部９０から入力される。更に、制御情報処理部７０は、矩形登録情報、あるいは、矩形領域情報に含まれる｛x, y, w, h｝の値を解析し、映像ソースの縮小率(1/n)の値を計算する。これらの処理の結果、制御情報処理部７０は、入力された制御信号であるテレビ会議端末装置１からの制御パケットに含まれている情報から、配置情報管理テーブルの登録に必要な情報{ID, n, x, y, w, h, Layer}を作成し、配置情報記憶部８０が管理する配置情報管理テーブルの内容を更新する。配置情報管理テーブルの内容を更新の際、対応する映像ソースのＩＤ番号の階層(Layer)の値を変更した場合に、配置情報管理テーブルの登録済みの情報にその階層が存在した場合には、その階層の値を１大きくする。この結果、更に別の登録済みの情報と重なった場合には、その別の登録済みの階層の値を１大きくする。制御情報処理部７０は配置情報管理テーブルの更新が完了すると、配置情報管理テーブルに記載された内容で映像合成処理部５０へ指示を与え、合成映像の配置を変更させる。
【００７８】
以上、本発明の第１の実施の形態として、テレビ会議端末装置１および会議サーバ２の詳細構成と動作について示した。
【００７９】
会議サーバ２から受信した合成映像を単に表示する機能を備えたテレビ会議端末装置においては、合成映像はあくまで一つの映像に過ぎず、その合成映像が複数の映像ソースから成り立っていることも、また、各映像ソースの境界も不明であるが、本実施の形態の大きな特徴の１つである合成映像制御命令生成部３００を組み込むことにより、合成映像に含まれている複数の映像ソースの境界検出が可能となる。
【００８０】
例えば、合成映像内の一点にポインタを合わせクリック等の単純な操作を行うだけで、そこに表示されていた映像に対して矩形の枠を重ねて表示させることが可能である。この矩形の枠が、合成映像内における映像ソースの境界を表す。そして、矩形の枠が表示された後は、矩形の枠の大きさや位置をポインタとクリックの操作の組み合わせにより変更することで、合成映像内における境界検出した映像ソースの大きさや位置を自由に変更することが可能となる。
【００８１】
画像解析等の複雑な処理を行うことなく合成映像における複数の映像ソースの境界を検出する方法として、会議サーバ２側から合成情報を別途通知する方法、あるいは、テレビ会議端末装置が会議サーバ２へ合成情報の取得要求を行って合成情報を取得する方法が考えられるが、合成映像制御命令生成部３００を組み込んだテレビ会議端末装置１においては、テレビ会議端末装置１から会議サーバ２に対して制御信号を送信するだけの片方向通信路にて、複数の映像ソースの境界検出と、合成映像内における境界検出した映像ソースの大きさや位置を自由に変更が実現できる。すなわち、合成情報を受信するための処理を実装しなくても良い。
【００８２】
また、合成映像制御命令生成部３００を組み込んだテレビ会議端末装置１においては、テレビ会議端末装置１側で映像ソースの境界を示す矩形の枠を生成していることから、その矩形の枠自体の大きさや位置の変更はリアルタイムにて実現でき、それを操作するユーザに遅延等を感じさせない操作感を提供することが可能である。
【００８３】
（第２の実施の形態）
以下、本発明の第２の実施の形態を図２８から図３４を参照して説明する。  
第１の実施の形態では、合成映像が表示されている表示領域１０００において、点を指定することで、そこに表示されていた映像に対して矩形の枠を重ねて表示する方法について示したが、本実施の形態では、表示領域１０００において領域を指定することで、そこに表示されていた映像に対して矩形の枠を重ねて表示する方法について説明する。本実施の形態においては、テレビ会議端末装置１および会議サーバ２の構成は第１の実施の形態と同じであるが、領域検出部３０２の動作が異なる。
【００８４】
図２８に領域指定を行っている様子を示す。図２８は、ポインタ２００で最初に指定した点が表示領域１０００のＸＹ座標における(xa,ya)であり、そこから、横方向にwa分、縦方向にha分、ポインタ２００を移動させた場合であり、この操作により指定された領域が指定領域４０００となる。
【００８５】
領域指定操作を行った場合に、その後、矩形の枠を表示させる位置に制限を加える。本実施の形態では、矩形の枠を表示させる位置を図２９において、矩形の枠の中心の位置が▲印をつけた点のみになるようにする。ここで、図２９の▲は、X軸、Ｙ軸の０から１００をそれぞれ８等分する線の交点であり、４９箇所ある。例えば、▲1011は(12.5, 125)、▲1077は(87.5, 87.5)、▲1036は（37.5, 75.0）に位置する。
【００８６】
また、領域指定操作を行った場合に、その後、表示させる矩形の大きさに制限を加える。本実施の形態では、矩形の枠の大きさを図３０に示す４つとする。例えば、図３０(a)は正規化されたXY座標において、w = 25, h = 25の大きさである。
【００８７】
ポインタ検出部３０１は、例えば、図２８に示したようなポインタ２００の移動と操作イベントを検出すると、随時、その情報を領域検出部３０２へ出力する。領域検出部３０２は、ポインタ検出部３０１から最初に入力されたポインタの位置情報に対して、テーブル管理部３０４に登録されているか否かを確認する。登録済みであれば、領域検出部３０２は第１の実施の形態で説明したとおりの動作を行う。一方、テーブル管理部３０４から「未登録」との情報が通知された場合、第１の実施の形態ではすぐに矩形領域の登録処理を開始したが、本実施の形態では、引き続きポインタ検出部３０１から入力される情報を利用することで、領域検出部３０２は領域指定操作か否かを検出する。ここで、領域指定操作でないと判断した場合は、第１の実施の形態で示した矩形領域の登録処理を実行しても良い。一方、領域指定操作であると判断した場合、ポインタ検出部３０１から入力された情報を解析し、指定領域４０００{xa, ya, wa, ha}の情報を認識する。但し、指定領域４０００は表示領域１０００内においてのみ有効であるとするため、ポインタ２００の位置が表示領域１０００以外になれば指定領域４０００は無効とする。
【００８８】
領域検出部３０２は指定領域４０００{xa, ya, wa, ha}の情報を認識すると、以下の条件式にしたがって、{xa, ya, wa, ha}を{xb, yb, wb, hb}へ変換する。
【００８９】
・waからwbへの変換
0 ＜ wa ≦ 25.0ならwb = 25.0とする。
25.0 ＜ wa ≦ 50.0ならwb = 50.0とする。
50.0 ＜ wa ≦ 75.0ならwb = 75.0とする。
75.0 ＜ wa ≦ 100.0ならwb = 100.0とする。
【００９０】
・haからhbへの変換
0 ＜ ha ≦ 25.0ならhb = 25.0とする。
25.0 ＜ ha ≦ 50.0ならhb = 50.0とする。
50.0 ＜ ha ≦ 75.0ならhb = 75.0とする。
75.0 ＜ ha ≦ 100.0ならhb = 100.0とする。
但し、本実施の形態では、wbとhbの値が異なる場合には、ha = waとする。
【００９１】
・xaからxbへの変換
0 ≦ xa < 12.5ならxtmp = 0
12.5 ≦xa < 25.0ならxtmp = 12.5
25.0 ≦xa < 37.5ならxtmp = 25
37.5 ≦xa < 50.0ならxtmp = 37.5
50.0 ≦xa < 62.5ならxtmp = 50
62.5 ≦xa < 75.0ならxtmp = 62.5
75.0 ≦xa < 87.5ならxtmp = 75
87.5 ≦xa ≦ 100ならxtmp = 87.5
0 ＜ xtmp+wb/2 ≦ 18.75ならx c= 12.5
18.75＜ xtmp+wb/2 ≦ 31.25ならxc = 25.0
31.25 ＜ xtmp+wb/2 ≦ 43.75ならxc= 37.5
43.75 ＜ xtmp+wb/2 ≦ 56.25ならxc = 50.0
56.25 ＜ xtmp+wb/2 ≦ 68.75ならxc = 62.5
68.75 ＜ xtmp+wb/2 ≦ 81.25ならxc = 75.0
81.25 ＜ xtmp+wb/2 ≦ 100.0ならxc = 87.5
xb = xc - wb/2 
【００９２】
・yaからybへの変換
0 ≦ ya < 12.5ならytmp = 0
12.5 ≦ya < 25.0ならytmp = 12.5
25.0 ≦ya < 37.5ならytmp = 25
37.5 ≦ya < 50.0ならytmp = 37.5
50.0 ≦ya < 62.5ならytmp = 50
62.5 ≦ya < 75.0ならytmp = 62.5
75.0 ≦ya < 87.5ならytmp = 75
87.5 ≦ya ≦ 100ならytmp = 87.5
0 ＜ ytmp+hb/2 ≦ 18.75ならy c= 12.5
18.75＜ ytm+hb/2 ≦ 31.25ならyc = 25.0
31.25 ＜ ytm+hb/2 ≦ 43.75ならyc= 37.5
43.75 ＜ ytm+hb/2 ≦ 56.25ならyc = 50.0
56.25 ＜ ytm+hb/2 ≦ 68.75ならyc = 62.5
68.75 ＜ ytm+hb/2 ≦ 81.25ならyc = 75.0
81.25 ＜ ytm+hb/2 ≦ 100.0ならyc = 87.5
yb = yc - hb/2 
【００９３】
領域検出部３０２は{xb, yb, wb, hb}へ変換処理が完了すると、矩形登録信号{IDa, xb, yb, wb, hb, 1, イベントＢ}を作成し、テーブル管理部３０４と、制御データ生成部３０５へ出力する。ここで、IDaは、先に(xa,ya)に対しテーブル管理部３０４から入力された「未登録」という情報のパラメータであり、領域管理テーブルで未使用のＩＤ番号である。また、領域検出部３０２が矩形登録信号を制御データ生成部３０５へ出力する際には、位置確認信号{xc,yc,イベントＡ}を一緒に出力する。ここで、xc,ycは、{xb, yb, wb, hb}で表される領域の中心の位置の値である。また、領域検出部３０２が矩形登録信号を制御データ生成部３０５へ出力する際には、{xc',yc',イベントＡ}を一緒に出力してもよい。xc',yc'は、{xa, ya, wa, ha}で表される領域の中心の位置の値である。なお、領域検出部３０２が矩形登録信号をテーブル管理部３０４と、制御データ生成部３０５へ出力した後の動作は第１の実施の形態で示したとおりである。
【００９４】
図３１(a)は、領域管理テーブルが初期化状態において、領域指定xa = 6、ya = 9、wa = 38、ha = 37を行った場合の様子を示している。この場合、xb = 0、yb = 0、wb = 50、hb = 50、 xc = 25、yc = 25となる。すなわち、合成映像制御命令生成部３００内にて矩形登録信号{1,0,0,50,50,1, イベントＢ}が発生し、領域管理テーブルは図３１(c)のように更新される。また、合成映像制御命令生成部３００は、表示領域１０００において、図３２に示している矩形の枠２０００を表示させると共に、図３１(b)に示す矩形登録パケットを生成し、会議サーバ２へ送信する。結果、図３２に示すとおり、図３１(a)において領域指定した位置に表示されていた部分と矩形の枠２０００とが一致して表示領域１０００上に表示される。なお、このとき、登録作業が完了したことを通知するようなダイアログ３０００を合成映像制御命令生成部３００が作成し表示領域１０００上の(xc、yc)の位置を中心として表示しても良い。
【００９５】
図３３(a)は、領域管理テーブルが初期化状態において、領域指定xa = 16、ya = 16、wa = 31、ha = 31を行った場合の様子を示している。この場合、xb = 12.5、yb = 12.5、wb = 50、hb = 50、 xc = 37.5、yc = 37.5となる。すなわち、合成映像制御命令生成部３００内にて矩形登録信号{1,12.5,12.5,50,50,1, イベントＢ}が発生し、領域管理テーブルは図３３(c)のように更新される。また、合成映像制御命令生成部３００は、表示領域１０００において、図３４に示している矩形の枠２０００を表示させると共に、図３３(b)に示す矩形登録パケットを生成し、会議サーバ２へ送信する。結果、図３４に示すとおり、図３３(a)において領域指定した位置に表示されていた部分と矩形の枠２０００とが一致して表示領域１０００上に表示される。なお、このとき、登録作業が完了したことを通知するようなダイアログ３０００を合成映像制御命令生成部３００が作成し表示領域１０００上の(xc、yc)の位置を中心として表示しても良い。
【００９６】
第１の実施の形態では、表示領域１０００において、点を指定することで、そこに表示されていた映像に対して矩形の枠を重ねて表示する方法について示したが、その場合に、矩形の枠と映像は一致するものの、表示される位置が、表示領域１０００に対して全画面表示、表示領域１０００における中央付近等、点を指定する前に表示されていた位置から大きくずれてしまっていた。これに対し、第２の実施の形態で示したように点を指定する代わりに領域指定をすることで、領域指定をする前に表示されていた位置から大きくずれることなく矩形の枠を表示した上で、映像を一致させることができる。
【００９７】
（第３の実施の形態）
以下、本発明の第３の実施の形態を図３５から図３７を参照して説明する。  
第１の実施の形態、および第２の実施の形態において、会議サーバ２は４つの映像を受信してそれらを合成する場合を例に説明を行った。但し、第１の実施の形態でも述べたとおり、映像合成処理部５０は５つ以上の映像ソースの合成も可能な構成であってもよい。図３５に９個の映像ソースを合成可能な会議サーバ２の構成を示す。なお、本実施の形態では、第１の実施の形態、および第２の実施の形態で説明した会議サーバ２の構成との差分のみを説明する。
【００９８】
本実施の形態の会議サーバ２は、入力映像検出部１０を備える。入力画像検出部１０は、複数の入力ソースを映像合成処理部５０へ出力する機能に加え、入力映像ソースの有無を検知し、その情報を利用して、制御情報処理部７０に対して制御信号を作成し出力する機能を備えるものとする。例えば、入力映像検出部１０は、図３５に示すように入力映像ソースとして２０B、２０C、２０D、２０Eの４つのみが有効と判断すると、図３６(a)に示すようなB,C,D,Eより成る合成映像６０Ａを作成するような制御信号を作成し制御情報処理部７０へ出力するとする。ここで制御信号は、{映像ソース番号,x,y,w,h,layer}という情報であり、図３６(a)の場合は、{31,0,0,50,50,1}、{32,50,0,50,50,2}、{31,50,0,50,50,3}、{34,50,50,50,50,4}の４つの情報より構成される。また、例えば、入力映像ソースとして２０B、２０C、２０D、２０E、２０F、２０G、２０H、２０I、２０Jの９個が有効と判断すると、図３６(b)に示すようなB,C,D,E,F,G,H,I,Jより成る合成映像６０Ａを作成するような制御信号を作成し制御情報処理部７０へ出力するとする。入力画像検出部１０が作成し制御情報処理部７０へ出力した制御信号は、制御情報処理部７０によって解析された結果、配置情報記憶部８０が合成映像における各映像ソースの配置位置を管理するために利用する配置情報管理テーブルの内容が更新されるものとする。制御情報処理部７０は配置情報管理テーブルの更新が完了すると、配置情報管理テーブルに記載された内容で映像合成処理部５０へ指示を与え、合成映像の配置を変更させる。
【００９９】
ここで、最初は、入力映像検出部１０が、入力映像ソースとして２０B、２０C、２０D、２０Eの４つのみが有効と判断している状況において、途中で２０Fが追加で有効になった場合を考える。その場合、例えば、入力映像検出部１０は、図３６(c)に示すようなB,C,D,E,Fより成る合成映像６０Ａを作成するような制御信号を作成し制御情報処理部７０へ出力するとする。このような制御を行うことで、合成画像６０Aを受信し表示しているテレビ会議端末装置１のユーザは、入力映像ソース２０Fが増えたこと、すなわち、多地点テレビ会議システムにおいては、会議へ新規参加者が加わったことを映像として知ることができる。
【０１００】
但し、本実施の形態では、入力映像検出部１０からの制御信号が入力された際に、制御情報処理部７０は、制御信号に含まれている内容を解析した結果をすぐに配置情報記憶部８０へ出力し配置情報管理テーブルを更新するのではなく、登録映像管理部９０に対して、登録映像ソースＩＤ番号確認信号を出力する。登録映像管理部９０は、登録映像ソースＩＤ番号確認信号が入力されると、第１の実施の形態で示したように矩形登録情報に含まれるＩＤ値と映像ソースのＩＤ番号とを対にして記憶している情報を確認し、ここに対として記憶されている全映像ソース番号を登録済みの映像ソース番号として制御情報処理部７０へ出力する。制御情報処理部７０は登録済みの映像ソース番号が入力されると、それらの映像ソースはテレビ会議端末装置１により既に登録されていると判断する。一方、登録映像ソースＩＤ番号確認信号を出力した結果として、登録映像管理部９０から登録済みの映像ソース番号が存在しない旨が通知された場合、制御情報処理部７０はテレビ会議端末装置１により登録されている映像ソースは存在しないと判断する。例えば、図３７(a)は、入力映像ソースとして２０B、２０C、２０D、２０Eの４つのみが有効と判断している状況においての合成画像６０Aを示しているが、このうち、２０Bと２０Eに対応する映像B,Eについてはその配置位置が登録されているとする。この場合、制御情報処理部７０は、登録映像管理部９０から２０B、２０Eに対する映像ソース番号３１と映像ソース番号３４が登録済みの映像ソース番号としてとして通知され、それらの映像ソースがテレビ会議端末装置１により現在登録されていると判断する。
【０１０１】
制御情報処理部７０は、入力映像検出部１０からの制御信号に対して解析を行い、登録映像管理部９０を利用し、それぞれの映像ソースがテレビ会議端末装置１により登録済みか否かを判断した後、登録済みの映像ソースに対しては、配置情報記憶部８０が管理する配置情報管理テーブルのうち対応する内容については更新しない。一方、制御情報処理部７０は登録されていない映像ソースに対しては、配置情報記憶部８０が管理する配置情報管理テーブルのうち対応する内容を更新するものとするが、その際に、それらを配置する位置を御情報処理部７０で変更しても良い。例えば、本実施の形態にて示した様に映像ソースが登録済みか否かを検出しない場合は、図３６(c)に示した通りの合成画像となるが、図３７(b)は、映像ソース２０Bと２０Eが登録済みと判定したため、２０C、２０D、２０Fを合成画像６０Aの左上から右上に詰めて配置した場合を示している。また、図３４(c)は、映像ソース２０Bと２０Eが登録済みと判定したため、２０C、２０D、２０Fについては、入力映像検出部１０から指示された配置位置にしようとした場合である。但し、図３７(c)では、２０Fを本来の位置、すなわち、図３６(b)のFの位置に配置したのでは登録済みのBの裏に隠れる可能性があり、また、その右横のGの位置においても、登録済みのEの裏に隠れる可能性があるため、Hの位置に配置するというように、登録済みの映像ソースとの「重なり度」を検知して配置位置を自動修正するアルゴリズムを制御情報処理部７０あるいは配置情報記憶部８０に実装した場合を示している。「重なり度」を検知して配置位置を自動修正するアルゴリズムとして、例えば、まずは、登録済みの映像ソースとの重なりが面積比で３０％以下となる配置位置が検出可能であればそこに配置し、不可能であれば、次に５０％以下となる配置位置を検出していくというように、「重なり度」を考慮して配置位置を探す方法が考えられる。
【０１０２】
以上では、入力映像ソースが増加した場合を説明したが、入力映像ソースが減少した場合も処理はほぼ同様である。例えば、入力映像検出部１０が、入力映像ソースとして２０B、２０C、２０D、２０Eの４つのみが有効と判断している状況において、途中で２０Ｅが無効になった場合を考える。この場合、入力映像検出部１０は、B,C,Dより成る合成映像を作成するような制御信号を作成し制御情報処理部７０へ出力する。入力映像ソースが減少した場合において、以降の処理は、入力映像ソースが増加した場合で説明したものと同じである。なお、制御情報処理部７０に有効な映像ソース番号と無効な映像ソース番号を管理する機能を持たせることで入力映像ソースが減少した場合、配置情報管理テーブルに対し、減少した入力映像ソースに対応する情報を無効に設定する処理を行うことが可能となる。
【０１０３】
以上、本実施の形態で示した会議サーバ２を利用した多地点テレビ会議システムにおいては、会議への新規ユーザが追加された場合等、会議サーバ２内部で発生した制御信号により合成映像における各映像ソースの配置が自動で変更される場合においても、テレビ会議端末装置１側から登録されている映像ソースについてはその配置を固定としたままにすることができる。すなわち、テレビ会議端末装置１側のユーザは登録操作により映像の位置を固定し、予期せぬ配置位置の変更を防ぐことができる。
【０１０４】
（第４の実施の形態）
以下、本発明の第４の実施の形態を図２から図６と、図９、図２６、および図３８から図４２を参照して説明する。  
本実施の形態においては、テレビ会議端末装置および会議サーバの構成は第１の実施の形態と同じである（但し後述するように本実施の形態における会議サーバは第１の実施の形態と異なり登録映像管理部は備えない）が、各構成要素の挙動が異なる。第１の実施形態にての説明の繰り返しになる部分もあるが、再度説明する。
【０１０５】
図３に、本発明を適用した多地点テレビ会議システムのシステム構成を示す。図３では、多地点テレビ会議システムでは５地点でテレビ会議を行う場合を例としており、テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅと、会議サーバ２とから構成されており、テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅそれぞれは、ネットワーク３を介して会議サーバ２と接続された状態である。
【０１０６】
本実施の形態では、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅについては、会議サーバ２との間のそれぞれの通信路３−１Ｂ、３−１Ｃ、３−１Ｄ、３−１Ｅを利用して、映像データを会議サーバ２に送信する機能を備えているものとする。また、会議サーバ２は、テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅと同時に接続している状態において、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅから受信した映像を一つの映像に合成した後、合成映像をテレビ会議端末装置１へ送信する機能を備えているものとする。ここで、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅが送信する映像データは、それぞれのカメラ装置４Ｂ、４Ｃ、４Ｄ、４Ｅを利用して作成された映像データであってもよく、また、各テレビ会議端末装置内に保存されている映像データであってもよい。一方、テレビ会議端末装置１は、会議サーバ２との間の通信路３−１１を利用して、会議サーバ２が送信する映像データを受信する機能、および、通信路３−１２を利用して、会議サーバ２に制御信号を送信する機能を備えているものとする。なお、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅと同様にテレビ会議端末装置１が映像データを会議サーバ２に送信する機能を備えていてもよく、また、テレビ会議端末装置１と同様にテレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅが映像データを会議サーバ２から受信する機能を備えていてもよい。また、本実施の形態では映像データについてのみ説明を行うため、本来、多地点テレビ会議システムにとって必須の機能である音声データの送受信についての説明は省略する。
【０１０７】
テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅの例としては、ネットワークを介して通信を行う機能を備えたパーソナルコンピュータ（以後、ＰＣと呼ぶ）や、ＰＤＡ（Personal Digital Assistant）等であり、会議サーバ２から受信した映像データを表示する機能をそなえているとする。本実施の形態では、テレビ会議端末装置１をマイクロソフト社のＷｉｎｄｏｗｓＯＳが搭載されたノートブックタイプのＰＣとして説明する。
【０１０８】
なお、本実施の形態では、会議サーバ２は最大８個の映像データをテレビ会議端末装置から受信し、８個の映像データから合成映像を作成する機能を有するとする。
【０１０９】
図４はテレビ会議端末装置１のディスプレイユニットを開いた状態における外観斜視図である。本テレビ会議端末装置１は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には表示パネルを構成するＬＣＤ（Liquid Crystal Display）１３が組み込まれており、そのＬＣＤ１３はディスプレイユニット１２のほぼ中央に位置されている。
【０１１０】
このディスプレイユニット１２の画面表示部（ＬＣＤ１３の表示画面上）にデスクトップ画面１００が表示され、そのデスクトップ画面（以下単に表示画面と称す）１００上に、会議サーバ２から受信した映像データを表示領域１０００に表示する機能を備えたアプリケーションのウィンドウ１０１、ポインタ２００等が表示される。なお、ウィンドウ１０１の表示機能や、ポインタ２００の表示機能並びに操作機能については通常のＰＣに既に実装されているため、ここではその説明を省略する。
【０１１１】
コンピュータ本体１１は薄い箱形の筐体を有しており、その上面には上述したポインタ２００に関する操作を行うためのポインティングデバイス１４が配置されている。さらに、コンピュータ本体１１にはネットワーク通信デバイス１５が内蔵されている。なお、ポインティングデバイス１４はコンピュータ本体１１上に配置されているとしたが、例えば、外付けのマウスを利用するＰＣにおいては、マウスがポインティングデバイス１４に相当する。ネットワーク通信デバイス１５は、ネットワーク通信を実行するデバイスであり、例えば、ネットワークへ接続するための物理的なコネクタを備え、コンピュータ本体１１内のＣＰＵ等から入力されるコマンドに応じて、データの転送等を実行し、その制御は、コンピュータ本体１１内のメモリに格納されている通信プロトコルに従って行われる。
【０１１２】
図５に、図４に示したテレビ会議端末装置１において本発明に関わる内部構成要素を示す。なお、図４、および、図５では、本発明による機能改善を実現する上で直接影響を及ぼすことがない構成要素（例えばＣＰＵ等）の表記は省略している。図５に示す構成により表される機能は、通常のプログラミング技法を用いて生成したプログラムをコンピュータに実行させることにより実現してもよいし、ハードウェア的に実現してもよい。
【０１１３】
テレビ会議端末装置１は、その構成要素として会議映像表示処理部４００と、本実施の形態の大きな特徴の１つとなる合成映像制御命令生成部３００とを備える。テレビ会議端末装置１はＰＣを想定しており、会議映像表示処理部４００と合成映像制御命令生成部３００とは、ＰＣに実装されている描画機能を利用し、それぞれの内部で作成した描画データを図４でも示した表示画面１００に表示させることが可能である。また、会議映像表示処理部４００は、ネットワーク通信処理部５００の機能を利用し、図３で示した通信路３−１１を利用しての映像データの受信が可能であり、一方、合成映像制御命令生成部３００は、ネットワーク通信処理部５００の機能を利用し、図３で示した通信路３−１２を利用して制御データの送信が可能である。
【０１１４】
会議映像表示処理部４００は、映像表示部４０１、映像データ解析処理部４０２、データ受信制御部４０３とから構成されている。データ受信制御部４０３は、ネットワーク通信処理部５００から受信データを取得し、ネットワークを介して送受信されるエンコードされた状態の映像データを構築し、それを映像データ解析処理部４０２へ出力する。映像データ解析処理部４０２は、入力されたエンコードされた状態の映像データをデコードすることで、表示可能な映像データを構築し、それを映像表示部４０１へ出力する。映像表示部４０１は、アプリケーションとしてのウィンドウ１０１を作成し表示する機能を備えており、表示可能な映像データが入力されると、ウィンドウ１０１内の表示領域１０００に映像データを「映像」として表示する。
【０１１５】
ネットワーク通信処理部５００は、通信路３−１１を利用しリアルタイム転送、あるいは、ストリーミング対応のデータの転送が可能であり、通信プロトコルとして、例えば、ＵＤＰ／ＩＰ，ＲＴＰ等をサポートしているものとする。ネットワーク通信処理部５００を介し、会議映像表示処理部４００は会議サーバ２から受信した映像データを受信することが可能である。
【０１１６】
一方、本実施の形態の特徴となる合成映像制御命令生成部３００は、ポインタ検出部３０１、領域検出部３０２、枠表示部３０３、テーブル管理部３０４、制御データ生成部３０５、制御データ送信処理部３０６とから構成されている。
【０１１７】
まず、合成映像制御命令生成部３００が起動、あるいは、初期化された場合の動作について説明する。
【０１１８】
テーブル管理部３０４は、図３８に示す領域管理テーブルを内部に作成し保持している。図３８は初期化時の領域管理テーブルであり、会議サーバ２が合成可能な８種類の映像ソースに対しそれらを識別するＩＤ（１，２，３，４，５，６，７，８）を独自で割り当て、それぞれの配置位置を示すパラメータ情報x、y、w、h、Layerを含んでいる。x、y、w、hは、ＩＤで識別する映像ソースを合成画像内に配置する位置と、映像ソースを矩形とした場合のサイズを示すものであり、位置矩形領域図６(b)に示した矩形領域を例として説明すると、x = x1、y = y1、w = w1、h = h1となる。また、Layerは、会議サーバが合成映像を作成する際に各映像ソースの上下関係を識別するための階層情報を示すものであり、例えば、第ｋ層に位置する場合は、Layer = kであり、ｋ層の映像ソースは、k-1層の映像ソースより１つ背面に位置し、もしk層とk-1層の映像ソースが重なった合成映像が作成さえた場合には、k層の映像ソースはk-1層の映像ソースによって隠れる部分が存在することになる。合成映像制御命令生成部３００が起動、あるいは、初期化された場合には、テーブル管理部３０４の管理する領域管理テーブルは図３８の初期化時の状態になるものとする。
【０１１９】
合成映像制御命令生成部３００が起動、あるいは、初期化された場合は、領域検出部３０２はテーブル管理部３０４から初期化状態の領域管理テーブル情報を取得し、領域管理テーブル情報を制御データ生成部３０５へ出力する。
【０１２０】
制御データ生成部３０５は、領域検出部３０２から領域管理テーブル情報が入力されると、領域管理テーブル情報を会議サーバ２へ伝えるための合成映像制御パケットのペイロード部分を構築する。図３９に領域管理テーブル情報が初期化時の場合の合成映像制御パケットのペイロード部の例を示す。図３９では、それぞれのブロックを８ビットで構成しており、ビット列を１０進数で表現している。制御データ生成部３０５は、合成映像制御パケットを作成すると、制御データ送信処理部３０６へ出力する。
【０１２１】
制御データ送信処理部３０６は、制御データ生成部３０５から合成映像制御パケットが入力されると、この制御パケットを会議サーバ２へ送信するために必要となるネットワークのあて先アドレス情報などの付加情報と共にネットワーク通信処理部５００へ出力する。ネットワーク通信処理部５００は、制御データ送信処理部３０６から付加情報が付された合成映像制御パケットが入力されると、通信路３−１２を介してこの合成映像制御パケットを会議サーバ２へ送信する。
【０１２２】
図４０に構成を示す会議サーバ２は、通信路３−１２を介してテレビ会議端末装置１から合成映像制御パケットを受信すると、会議サーバ２における制御情報処理部７０が、合成映像制御パケットから領域管理テーブル情報を解析する。制御情報処理部７０は解析した領域管理テーブル情報に従い映像合成処理部５０に対する制御信号を作成し、映像合成処理部５０へ出力することで、領域管理テーブル情報に記述された合成映像となるように合成映像の変更を行う。この際、会議サーバ２側で管理している各受信映像（図４０では２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ）と、領域管理テーブル情報に含まれるＩＤ番号が１対１に対応づけられるものとする。具体的には、映像合成処理部５０内の映像処理ブロックの識別子(３１,３２,３３,３４,３５,３６,３７,３８)を受信映像の識別子として用い、領域管理テーブル情報のＩＤ１と受信映像の識別子３１、領域管理テーブル情報のＩＤ２と受信映像の識別子３２、領域管理テーブル情報のＩＤ３と受信映像の識別子３３、領域管理テーブル情報のＩＤ４と受信映像の識別子３４、領域管理テーブル情報のＩＤ５と受信映像の識別子３５、領域管理テーブル情報のＩＤ６と受信映像の識別子３６、領域管理テーブル情報のＩＤ７と受信映像の識別子３７、領域管理テーブル情報のＩＤ８と受信映像の識別子３８を制御情報処理部７０は対応づけて、映像合成処理部５０に対する制御命令を行う。なお、会議サーバ２においても合成映像６０Ａ内における位置を、テレビ会議端末装置１におけるウィンドウ１０１内の表示領域１０００と同様に、横方向、縦方向を１００という値に正規化したXY座標で管理するものとし、ＩＤ番号に対応する各受信信号を、領域管理テーブル情報で指定した位置、大きさ、階層に配置できるものとする。会議サーバ２についての詳細は後述する。
【０１２３】
次に、合成映像制御命令生成部３００が起動後、あるいは、初期化後にユーザによる操作が伴った場合の動作について説明する。
【０１２４】
ポインタ検出部３０１は、ポインタ２００が表示画面１００におけるウィンドウ１０１内の表示領域１０００上にあることを検出し、さらに、その位置にて操作イベントが発生した場合にそのイベントを検出する。操作イベントは、マウス操作によるクリックや、ダブルクリック、ドラッグアンドドロップ等により発生する。なお、図５に示すように、表示画面１００をX’Y’座標で管理することで、ポインタ検出部３０１は表示画面１００上におけるポインタ２００の位置およびウィンドウ１０１位置を管理することができる。ポインタ検出部３０１は、表示領域１０００上にて操作イベントが発生したことを検出すると、ポインタ２００の位置情報（X’Y’座標を利用して表現）と操作イベント情報（左クリックのＯＮ、左クリックのＯＦＦや、右クリックのＯＮ等）を領域検出部３０２へ出力する。
【０１２５】
領域検出部３０２は、図５に示すように、ウィンドウ１０１内の表示領域１０００についてXY座標で管理している。領域検出部３０２は、有効な操作イベントの場合には、ポインタ検出部３０１から入力されたポインタ２００の位置情報（X’Y’座標を利用して表現）をXY座標に変換し、変換した値をポインタ２００の位置情報として認識する。一方、領域検出部３０２は、無効な操作イベントの場合には、ポインタ２００の位置情報（X’Y’座標を利用して表現）と操作イベント情報は無視する。例えば、操作イベントとして左クリックのＯＮと左クリックのＯＦＦのみを有効とすると、左クリックのＯＮと左クリックのＯＦＦの場合にのみ、ポインタ２００の位置情報解析を行う。図６を用いて、領域検出部３０２が管理するXY座標と表示領域１０００の関係を説明する。XY座標の点を(x,ｙ)として表現すると、領域検出部３０２は、表示領域１０００の左上の頂点を(0,0)、右上の頂点を(100,0)、左下の頂点を(0,100)、右下の頂点を(100,100)というように管理している。つまり、領域検出部３０２は、表示領域１０００の横方向、縦方向を１００という値に正規化して表示領域１０００上における位置を管理する。例えば、図６（a）に示す、(x1,y1)の位置で左クリックのＯＮが発生した場合に、領域検出部３０２は{x1,y1,イベントＡ}という情報を認識する。ここで、イベントＡは、左クリックのＯＮ操作が行われたこと示しており、内部処理として{x1,y1,イベントＡ}という情報を「位置確認信号」と定義する。領域検出部３０２は位置確認信号{x1,y1,イベントＡ}を認識すると、テーブル管理部３０４から領域管理テーブル情報を取得し、領域管理テーブルの登録情報を確認する。x1,y1という位置情報が、領域管理テーブルで管理するいずれの矩形領域にも属さない点である場合には、領域検出部３０２は位置確認信号{x1,y1,イベントＡ}に関する処理を終了する。一方、x1,y1という位置情報が、領域管理テーブルが管理する複数の矩形領域に属する点である場合には、領域検出部３０２はLayerを確認し、最上位に位置する矩形領域のID番号と、それに関連する情報（x 、y 、w 、h 、Layer）を矩形領域情報{ID,x,y,w,h,Layer}として認識する。領域検出
部３０２は、矩形領域情報{ID,x,y,w,h,Layer}を認識するとその情報を内部に記憶すると共に、枠表示部３０３へ出力する。
【０１２６】
枠表示部３０３は、領域検出部３０２から矩形領域情報{ID,x,y,w,h,Layer}が入力されると、x,y,w,hの値を利用し、ＸＹ座標で管理される表示画面１００におけるウィンドウ１０１内の表示領域１０００上に矩形の枠２０００を表示させる。図９は、矩形領域情報{ ID = ID1,x = x1,y = y1,w = w1,h = h1,Layer = l1 }が入力された場合に、それに対応した矩形の枠２０００が表示領域１０００上に表示されている様子を示している。なお、矩形の枠２０００は、図９に示した破線や点線以外にも、実線であってもよく、また、枠の表示色をＩＤ番号に応じて変化させても良い。なお、先に領域検出部３０２は、矩形領域情報{ID,x,y,w,h,Layer}を記憶するとしたが、領域検出部３０２は、記憶している矩形領域情報を削除した際には、矩形領域情報{ID,x,y,w,h,Layer}の削除命令を枠表示部３０３へ出力する。枠表示部３０３は削除命令が入力されると、指定された矩形の枠の表示を行わないように処理を実行する。領域検出部３０２は、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}については、その値が、所定の時間変更されなかった場合に記憶している矩形領域情報を削除するものとする。領域検出部３０２は、内部に複数の矩形領域情報を記憶できるものとしてもよいが、内部には一つのみ記憶可能とし新たな矩形領域情報を記憶する際に古い矩形領域情報を削除するものとしてもよい。なお、領域検出部３０２は、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}については、後述の「矩形の枠の変更処理」によって、その値を変更することができる。
【０１２７】
ここで、ユーザが、ポインタ２００の表示位置を移動させ、枠表示部３０３が表示した矩形の枠の大きさや位置を変化させる方法について述べる。ポインタ２００の位置については、先に示したとおり、ポインタ検出部３０１が検出し、ポインタ２００の位置情報（X’Y’座標を利用して表現）と操作イベント情報（左クリックのＯＮ、左クリックのＯＦＦや、右クリックのＯＮ等）を領域検出部３０２へ出力する。領域検出部３０２は、入力された操作イベント情報が有効であれば、ポインタ２００の位置情報（X’Y’座標を利用して表現）をXY座標に変換したものと、操作イベント情報を一時的に記憶する。このとき、領域検出部３０２は検出したXY座標の位置が、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}の領域に属する点か否かを検出し、領域に属さない場合は、先に示した「位置確認信号」に関する処理を行うが、領域に属すること検出した場合には、「矩形の枠の変更処理」を実行する。なお、先に示した「位置確認信号」に関する処理の説明は、領域検出部３０２内部に矩形領域情報が記憶されていない場合の説明である。
【０１２８】
以下、「矩形の枠の変更処理」について図９を用いて説明する。
【０１２９】
まず、矩形の枠２０００の頂点にポインタ２００を移動させ、そこで左クリックし、左クリックした状態のままポインタ２００を移動させ、移動後に左クリックを離した場合を考える。この場合、最初の左クリックをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２にて、矩形の枠２０００の頂点が指定された「矩形の枠の変更処理」の開始と認識する。次に、ポインタの移動を、ポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の大きさを変更する処理と認識することができる。また、左クリックが解除されたことをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の大きさを変更する処理が確定したこと、すわなち、「矩形の枠の変更処理」の終了を認識することができる。領域検出部３０２は、矩形の枠２０００の大きさを変更する処理と認識した場合には、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}のx,y,w,hの値を必要に応じて変更し、変更した矩形領域情報を枠表示部３０３へ出力する。例えば、左クリックした頂点の位置を変更することで枠の大きさを変更する処理においては、クリックした頂点の対角の位置が固定されるようにx,y,w,hの値を適宜変更する。更に、領域検出部３０２は、矩形領域情報{ID,x,y,w,h,Layer}のx,y,w,hの値を変更する際には、テーブル管理部３０４が管理する領域管理テーブルにおいて対応するＩＤのx,y,w,h,Layerの情報を変更すると共に、変更した領域管理テーブル情報を随時、制御データ生成部３０５へ出力する。あるいは、矩形の枠２０００の大きさを変更する処理の途中においては、領域検出部３０２は枠表示部３０３に対してのみ随時矩形領域情報を出力することで表示領域１０００上における矩形の枠の表示の変更処理が行われるようにし、「矩形の枠の変更処理」の終了を認識した時点で、領域検出部３０２は、テーブル管理部３０４が管理する領域管理テーブルにおいて対応するＩＤのx,y,w,h,Layerの情報を変更すると共に、変更した領域管理テーブル情報を制御データ生成部３０５へ出力するものとしてもよい。なお、本実施の形態において矩形の枠は縦横のアスペクト比一定を保つものとし、「矩形の枠の変更処理」の終了を認識した際のポインタの位置がアスペクト比一定を満たさない場合は、ポインタ検出部３０１においてポインタの位置がアスペクト比一定を満たす点に自動的に補正されるものとする。
【０１３０】
次に、矩形の枠２０００内の領域ではあるが頂点以外の位置にポインタ２００を移動させ、そこで左クリックし、左クリックした状態のままポインタ２００を移動させ、移動後に左クリックを離した場合を考える。この場合、最初の左クリックをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２にて、矩形の枠２０００の頂点以外を指定された「矩形の枠の変更処理」の開始と認識する。次に、ポインタの移動を、ポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の位置を変更する処理と認識することができる。また、左クリックが解除されたことをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の位置を変更する処理が確定したこと、すわなち、「矩形の枠の変更処理」の終了を認識することができる。領域検出部３０２は、矩形の枠２０００の位置を変更する処理と認識した場合には、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}のx,y,の値を変更し、変更した矩形領域情報を枠表示部３０３へ出力する。例えば、位置を変更する処理においては、枠の大きさは変化しないとすると、「矩形の枠の変更処理」の開始時に認識したポインタの位置と移動中のポインタの位置との差分値を利用してx,y,の値を適宜変更する。また、領域検出部３０２は、矩形領域情報{ID,x,y,w,h,Layer}のx,y,w,hの値を変更する際には、テーブル管理部３０４が管理する領域管理テーブルにおいて対応するＩＤのx,y,w,h,Layerの情報を変更すると共に、変更した領域管理テーブル情報を随時、制御データ生成部３０５へ出力する。あるいは、矩形の枠２０００の位置を変更する処理の途中においては、領域検出部３０２は枠表示部３０３に対してのみ随時矩形領域情報を出力することで表示領域１０００上における矩形の枠の表示の変更処理が行われるようにし、「矩形の枠の変更処理」の終了を認識した時点で、領域検出部３０２は、テーブル管理部３０４が管理する領域管理テーブルにおいて対応するＩＤのx,y,w,h,Layerの情報を変更すると共に、変更した領域管理テーブル情報を制御データ生成部３０５へ出力するものとしてもよい。
【０１３１】
矩形の枠２０００の大きさ、あるいは、位置を変更する処理の際、領域検出部３０２はテーブル管理部３０４が管理する領域管理テーブルにおいて対応するＩＤのx,y,w,h,Layerの情報を変更するが、対応するＩＤのLayerを１に設定し、対応する映像ソースが最上位に配置されるような制御を行ってもよい。この場合、領域管理テーブルにおいて先に１であったものは、その階層の値を１大きくする。この結果、更に別の登録済みの情報と重なった場合には、その別の登録済みの階層の値を１大きくする。図４１に初期化状態から矩形の枠２０００の大きさが変更された場合の領域管理テーブルを示すが、この例では、ＩＤ＝３に対応する情報が変更され、更に、階層については、ＩＤ=３のＬａｙｅｒ値が１に、ＩＤ=１とＩＤ=２のＬａｙｅｒ値がそれぞれ２と３に変更された様子を示している。
【０１３２】
領域管理テーブル情報が入力された場合の制御データ生成部３０５と制御データ送信処理部３０６の処理は、先に合成映像制御命令生成部３００が起動、あるいは、初期化された場合の動作として説明したとおりである。
【０１３３】
以下、会議サーバ２の構成および動作について説明する。
【０１３４】
図４０に本発明の実施の形態に従った会議サーバ２の構成を示す。会議サーバ２は、図２で示した会議サーバｓにおける映像合成処理部５０と制御情報処理部７０といった構成要素に加え、配置情報記憶部８０を備える。また、制御情報処理部７０については、本実施の形態で機能拡張を行っている。図４０に示す構成により表される機能は、通常のプログラミング技法を用いて生成したプログラムをコンピュータに実行させることにより実現してもよいし、ハードウェア的に実現してもよい。
【０１３５】
図４０では、４つの映像ソース（２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ）から一つの合成映像６０Ａを作成する構成を示しているが、本実施の形態では映像合成処理部５０は８個の映像ソースの合成が可能である。また、図４０では、合成画像を１つしか作成しない場合の構成を示しているが、複数の合成画像を作成し、それぞれの合成画像を異なるテレビ会議端末装置に配信できる構成であってもよい。
【０１３６】
会議サーバ２は、通信路３−１２を介してテレビ会議端末装置１から合成映像制御パケットを受信すると、受信した合成映像制御パケットは制御情報処理部７０に入力される。制御情報処理部７０は、入力された合成映像制御パケットから、領域管理テーブル情報を解析する。制御情報処理部７０は解析した領域管理テーブル情報に従い映像合成処理部５０に対する制御信号を作成し、映像合成処理部５０へ出力することで、領域管理テーブル情報に記述された合成映像となるように、例えば、領域管理テーブル情報に含まれる｛x, y, w, h｝の値を解析し、映像ソースの縮小率(1/n)の値を計算するなどして、合成映像の変更を行う。
【０１３７】
制御情報処理部７０が映像合成処理部５０へ出力する制御信号情報は、配置情報記憶部８０にて記憶管理させるものとする。配置情報記憶部８０は、合成映像における各映像ソースの配置位置を管理している。配置位置は、図２６に示すように合成映像の横方向、縦方向を１００という値に正規化したＸＹ座標を利用して管理する。また、配置情報記憶部８０は、例えば、図４２に示す配置情報管理テーブルを保持しており、図２６のＸＹ座標を利用して各映像ソースの配置位置を管理する。本実施の形態の配置情報管理テーブルでは、各映像ソースのＩＤを映像合成処理部５０の構成要素であるサイズ変更回路（３１，３２，３３，３４，３５，３６，３７，３８）の番号としており、サイズ変更回路による一辺の長さに対する縮小情報（1 / n）と、縮小した映像ソースの左上を基準とした配置位置(x,y)と大きさ（w,h）と階層(Layer)が記載されている。なお、本実施の形態において、映像ソース（２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ等）と合成映像６０Ａの大きさおよびアスペクト比は等しいと仮定する。
【０１３８】
配置情報記憶部８０が記憶管理する各映像ソースの配置位置は、制御情報処理部７０が合成映像制御パケットを受けた結果、制御情報処理部７０からの指示で更新されるものとするが、配置情報記憶部８０は各映像ソースの配置に関するデフォルト値を管理しており、初期化時等に制御情報処理部７０が配置情報記憶部８０からデフォルトの配置情報を取得して、映像合成処理部５０へ合成方法を指示する。なお、図４２はデフォルトの配置情報の例でもあり、それぞれの映像ソースが重ならないように配置され、各映像ソースの階層はデフォルト値として決まっているものとする。
【０１３９】
以上、本発明の第４の実施の形態として、第１の実施の形態とは異なるテレビ会議端末装置１および会議サーバ２の詳細構成と動作について示した。第４の実施の形態では、内部制御信号を簡略化することで、第１の実施の形態と同じ効果がより簡易に実現することが可能となる。
【０１４０】
以上に説明した本発明の第１乃至第４の実施の形態による効果について説明すると以下のようになる。
【０１４１】
会議サーバから受信した合成映像を単に表示する機能を備えたテレビ会議端末装置においては、合成映像はあくまで一つの映像に過ぎず、その合成映像が複数の映像ソースから成り立っていることも、また、各映像ソースの境界も不明であるが、本発明によれば、合成映像に含まれている複数の映像ソースの境界検出が可能となる。例えば、合成映像内の一点にポインタを合わせクリック等の単純な操作を行うだけで、そこに表示されていた映像に対して矩形の枠を重ねて表示させることが可能である。この矩形の枠が、合成映像内における映像ソースの境界を表す。そして、矩形の枠が表示された後は、矩形の枠の大きさや位置をポインタとクリックの操作の組み合わせにより変更することで、合成映像内における境界検出した映像ソースの大きさや位置を自由に変更することが可能となる。
【０１４２】
また、テレビ会議端末装置から会議サーバに対して制御信号を送信するだけの片方向通信路にて、複数の映像ソースの境界検出と、合成映像内における境界検出した映像ソースの大きさや位置を自由に変更が実現できる。すなわち、合成情報を受信するための処理を実装しなくても良い。
【０１４３】
また、テレビ会議端末装置側で映像ソースの境界を示す矩形の枠を生成していることから、その矩形の枠自体の大きさや位置の変更はリアルタイムにて実現でき、それを操作するユーザに遅延等を感じさせない操作感を提供することが可能である。
【図面の簡単な説明】
【０１４４】
【図１】一般的な多地点テレビ会議システムの構成を示す概略図。
【図２】本発明らが本発明をなす以前から知っていた会議サーバの構成を示すブロック図。
【図３】本発明の第１の実施の形態に係る多地点テレビ会議システムのシステム構成図。
【図４】本発明の第１の実施の形態に係るテレビ会議端末装置の外観を示す図。
【図５】本発明の第１の実施の形態に係るテレビ会議端末装置の構成を示すブロック図。
【図６】本発明の第１の実施の形態に係るテレビ会議端末装置において表示領域の座標軸を説明する図。
【図７】本発明の第１の実施の形態に係る領域管理テーブルの記入例１を示す図。
【図８】本発明の第１の実施の形態に係る領域管理テーブルの記入例２を示す図。
【図９】本発明の第１の実施の形態に係る矩形の枠の変更処理を説明するための図。
【図１０】本発明の第１の実施の形態に係る矩形の枠の変更処理例を示す図。
【図１１】本発明の第１の実施の形態に係る矩形の枠の変更処理による領域管理テーブルの変更例を示す図。
【図１２】本発明の第１の実施の形態に係る矩形登録パケットのペイロード部分を示す図。
【図１３】本発明の第１の実施の形態に係る矩形領域パケットのペイロード部分を示す図。
【図１４】本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例１を説明するための図。
【図１５】本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例２を説明するための図。
【図１６】本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例２を説明するための図。
【図１７】本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例３を説明するための図。
【図１８】本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例４を説明するための図。
【図１９】本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例５を説明するための図。
【図２０】本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例６を説明するための図。
【図２１】本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例７を説明するための第一の図。
【図２２】本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例７を説明するための第二の図。
【図２３】本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例７を説明するための第三の図。
【図２４】本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例８を説明するための図。
【図２５】本発明の第１の実施の形態に係る会議サーバの構成を示すブロック図。
【図２６】本発明の第１の実施の形態に係る会議サーバにおいて合成映像の座標軸を説明する図。
【図２７】本発明の第１の実施の形態に係る配置情報管理テーブルの例を示す図。
【図２８】本発明の第２の実施の形態に係る領域指定を行う様子を示す図。
【図２９】本発明の第２の実施の形態に係る矩形の枠を表示させる位置の制限を説明する図。
【図３０】本発明の第２の実施の形態に係る矩形の枠の大きさの制限を説明する図。
【図３１】本発明の第２の実施の形態に係る合成映像制御命令部が動作する様子の第一の例を説明するための図。
【図３２】本発明の第２の実施の形態に係る合成映像制御命令部が動作する様子の第一の例を説明するための図。
【図３３】本発明の第２の実施の形態に係る合成映像制御命令部が動作する様子の第二の例を説明するための図。
【図３４】本発明の第２の実施の形態に係る合成映像制御命令部が動作する様子の第二の例を説明するための図。
【図３５】本発明の第３の実施の形態に係る会議サーバの構成を示すブロック図。
【図３６】本発明の第３の実施の形態に係る有効な入力映像ソースと合成画像の関係を示す図。
【図３７】本発明の第３の実施の形態に係る登録済み映像と入力映像ソースと合成画像の関係の様子を示す図。
【図３８】本発明の第４の実施の形態に係る領域管理テーブルの初期状態を示す図。
【図３９】本発明の第４の実施の形態に係る合成映像制御パケットのペイロード部分を示す図。
【図４０】本発明の第４の実施の形態に係る会議サーバの構成を示すブロック図。
【図４１】本発明の第４の実施の形態に係る領域管理テーブルの変更状態を示す図。
【図４２】本発明の第４の実施の形態に係る配置情報管理テーブルの例を示す図。
【符号の説明】
【０１４５】
１、１B、１C、１D、１D、１E  通信機器
２  会議サーバ
３  ネットワーク
３−１１、３−１２、３−１B、３−１C、３−１D、３−１E  通信路
１１  コンピュータ本体
１２  ディスプレイユニット
１３  LCD
１４  ポインティングデバイス
１５  ネットワーク通信デバイス
１００  表示画面
１０１  ウィンドウ
２００  ポインタ
３００  合成映像制御命令生成部
４００  会議映像表示処理部
５００  ネットワーク通信処理部
３０１  ポインタ検出部
３０２  領域検出部
３０３  枠表示部
３０４  テーブル管理部
３０５  制御データ生成部
３０６  制御データ送信処理部
４０１  受信映像表示部
４０２  映像データ解析処理部
４０３  データ受信制御部
１０００  表示領域
２０００  矩形の枠
３０００  ダイアログ
４０００  指定領域
１０  入力映像検出部
５０  映像合成処理部
７０  制御情報処理部
８０  配置情報記憶部
９０  登録映像管理部
２０B、２０C、２０D、２０E  入力映像ソース
６０A  合成映像
【図１】
2006201709.tif 000003
【図２】
2006201709.tif 000004
【図３】
2006201709.tif 000005
【図４】
2006201709.tif 000006
【図５】
2006201709.tif 000007
【図６】
2006201709.tif 000008
【図７】
2006201709.tif 000009
【図８】
2006201709.tif 000010
【図９】
2006201709.tif 000011
【図１０】
2006201709.tif 000012
【図１１】
2006201709.tif 000013
【図１２】
2006201709.tif 000014
【図１３】
2006201709.tif 000015
【図１４】
2006201709.tif 000016
【図１５】
2006201709.tif 000017
【図１６】
2006201709.tif 000018
【図１７】
2006201709.tif 000019
【図１８】
2006201709.tif 000020
【図１９】
2006201709.tif 000021
【図２０】
2006201709.tif 000022
【図２１】
2006201709.tif 000023
【図２２】
2006201709.tif 000024
【図２３】
2006201709.tif 000025
【図２４】
2006201709.tif 000026
【図２５】
2006201709.tif 000027
【図２６】
2006201709.tif 000028
【図２７】
2006201709.tif 000029
【図２８】
2006201709.tif 000030
【図２９】
2006201709.tif 000031
【図３０】
2006201709.tif 000032
【図３１】
2006201709.tif 000033
【図３２】
2006201709.tif 000034
【図３３】
2006201709.tif 000035
【図３４】
2006201709.tif 000036
【図３５】
2006201709.tif 000037
【図３６】
2006201709.tif 000038
【図３７】
2006201709.tif 000039
【図３８】
2006201709.tif 000040
【図３９】
2006201709.tif 000041
【図４０】
2006201709.tif 000042
【図４１】
2006201709.tif 000043
【図４２】
2006201709.tif 000044