(57)【特許請求の範囲】
【請求項１】
第１の映像情報を記憶する第１の映像情報記憶部と、
前記第１の映像情報を表示する第１の表示部と、
前記第１の映像情報が表示された前記第１の表示部の表示領域を含む場面を撮影した第２の映像情報を記憶する第２の映像情報記憶部と、
映像間の同期情報を用いて、前記第２の映像情報における前記第１の表示部の表示領域に、前記第１の映像情報を合成した第２の合成映像情報を出力する第２の情報合成部と、
前記第２の合成映像情報を表示する第２の表示部と、
前記第２の合成映像情報が表示された前記第２の表示部の表示領域を含む場面を撮影した第３の映像情報を記憶する第３の映像情報記憶部と、
映像間の同期情報を用いて、前記第３の映像情報における前記第２の表示部の表示領域に、前記第２の合成映像情報を合成した第３の合成映像情報を出力する第３の情報合成部と、
を備え、
前記第２の表示部の表示領域に前記第２の合成映像情報を合成する処理においては、前記第２の映像情報における前記第１の表示部の表示領域に、前記第１の映像情報を合成する
ことを特徴とする映像システム。
【請求項２】
前記第２の映像情報記憶部は、第２の映像情報のうち、前記第１の表示部の表示領域を除く映像情報を記憶し、
前記第３の映像情報記憶部は、第３の映像情報のうち、前記第２の表示部の表示領域を除く映像情報を記憶する
ことを特徴とする請求項１記載の映像システム。
【請求項３】
前記同期情報は、映像のタイムコードを利用した情報である
ことを特徴とする請求項１または２に記載の映像システム。
【請求項４】
撮影した映像を示す情報である第１の映像情報を、第１の表示部に表示する表示ステップと、
前記第１の映像情報が表示された前記第１の表示部の表示領域を含む場面を撮影した第２の映像情報を記憶する第２の映像情報記憶ステップと、
映像間の同期情報を用いて、前記第２の映像情報における前記第１の表示部の表示領域に、前記第１の映像情報を合成した第２の合成映像情報を出力する第２の情報合成ステップと、
前記第２の合成映像情報を表示する第２の表示ステップと、
前記第２の合成映像情報が表示された前記第２の表示部の表示領域を含む場面を撮影した第３の映像情報を記憶する第３の映像情報記憶ステップと、
映像間の同期情報を用いて、前記第３の映像情報における前記第２の表示部の表示領域に、前記第２の合成映像情報を合成した第３の合成映像情報を出力する第３の情報合成ステップと、
を有し、
前記第２の表示部の表示領域に前記第２の合成映像情報を合成する処理においては、前記第２の映像情報における前記第１の表示部の表示領域に、前記第１の映像情報を合成する
ことを特徴とする映像情報処理方法。
【請求項５】
請求項１ないし３のいずれか１項に記載の映像システムを構成する各手段としてコンピュータを機能させるためのプログラム。
【請求項６】
請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像システム、映像情報処理方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
従来、テレビ会議システムが開発されており、そのテレビ会議システムを用いることにより、遠隔の２以上の会議室の間で映像・音声の送受信を行うことができ、その２以上の会議室にいる人たちで会議を行うことができていた（例えば、特許文献１参照）。
【特許文献１】特開平１０−２８５５６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
一方、テレビ会議システムを用いて行われた過去の会議（以下、「過去会議」とする）を録画しておき、その録画していた会議の映像を再生しながらレビュー等を行うこともある。また、そのようなレビュー等を行っている会議（以下、「レビュー会議」とする）を、過去会議の表示されている表示部の表示領域を含めて撮影することもある。また、撮影したレビュー会議の内容を後から視聴することもある。
しかしながら、一般に、表示部に表示されている映像をさらに撮影すると、その画質が悪くなる。したがって、撮影された映像を後から視聴したとしても、当該撮影された映像に含まれる表示部の表示領域に、表示されている過去の映像の内容がよく分からないこととなり、撮影された映像の内容を適切に理解できないという問題がある。
つまり、レビュー会議の内容を撮影し、後から視聴したとしても、レビュー会議で議論している過去会議の内容がよくわからないこととなり、レビュー会議の内容を適切に理解できないという問題がある。
【０００４】
本発明は、上記問題点を解決するためになされたものであり、撮影された映像に含まれる表示部の表示領域に表示されている過去の映像の内容のより適切な理解を可能とする映像システム、映像情報処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は上記の課題を解決するためになされたものであり、撮影した映像を示す情報である第１の映像情報を記憶する第１の映像情報記憶部と、前記第１の映像情報を表示する第１の表示部と、前記第１の映像情報が表示された前記第１の表示部の表示領域を含む場面を撮影した第２の映像情報を記憶する第２の映像情報記憶部と、映像間の同期情報を用いて、前記第２の映像情報における前記第１の表示部の表示領域に、前記第１の映像情報を合成した第２の合成映像情報を出力する第２の情報合成部と、前記第２の合成映像情報を表示する第２の表示部と、前記第２の合成映像情報が表示された前記第２の表示部の表示領域を含む場面を撮影した第３の映像情報を記憶する第３の映像情報記憶部と、映像間の同期情報を用いて、前記第３の映像情報における前記第２の表示部の表示領域に、前記第２の合成映像情報を合成した第３の合成映像情報を出力する第３の情報合成部と、を備え、前記第２の表示部の表示領域に前記第２の合成映像情報を合成する処理においては、前記第２の映像情報における前記第１の表示部の表示領域に、前記第１の映像情報を合成する。
【０００６】
また、本発明の一態様は、前記第２の映像情報記憶部は、第２の映像情報のうち、前記第１の表示部の表示領域を除く映像情報を記憶し、前記第３の映像情報記憶部は、第３の映像情報のうち、前記第２の表示部の表示領域を除く映像情報を記憶する。
【０００７】
また、本発明の一態様は、前記同期情報は、映像のタイムコードを利用した情報である。
【０００８】
また、本発明の一態様は、撮影した映像を示す情報である第１の映像情報を、第１の表示部に表示する表示ステップと、前記第１の映像情報が表示された前記第１の表示部の表示領域を含む場面を撮影した第２の映像情報を記憶する第２の映像情報記憶ステップと、映像間の同期情報を用いて、前記第２の映像情報における前記第１の表示部の表示領域に、前記第１の映像情報を合成した第２の合成映像情報を出力する第２の情報合成ステップと、前記第２の合成映像情報を表示する第２の表示ステップと、前記第２の合成映像情報が表示された前記第２の表示部の表示領域を含む場面を撮影した第３の映像情報を記憶する第３の映像情報記憶ステップと、映像間の同期情報を用いて、前記第３の映像情報における前記第２の表示部の表示領域に、前記第２の合成映像情報を合成した第３の合成映像情報を出力する第３の情報合成ステップと、を有し、前記第２の表示部の表示領域に前記第２の合成映像情報を合成する処理においては、前記第２の映像情報における前記第１の表示部の表示領域に、前記第１の映像情報を合成する。
【発明の効果】
【００１５】
本発明によれば、過去の映像の表示時点と、映像の撮影時点とを同期させることができ、撮影された映像に対して、同期された過去の映像を合成することによって、クリヤな過去の映像を含む撮影された映像である合成映像を出力することができるため、撮影された映像の内容をより適切に理解することができるようになる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明による映像システムについて、実施形態を用いて説明する。
なお、以下の実施形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
【００１７】
（第１の実施形態）
本発明の第１の実施形態による映像会議システム（映像システム）について、図面を参照しながら説明する。
図１は、本実施形態による映像会議システムの構成を示す図である。図１において、本実施形態による映像会議システムは、映像情報記憶部１１と、表示部１２と、撮影部１３と、映像情報受付部１４と、映像情報蓄積部１５と、同期情報管理部１６と、情報合成部１７と、ディスプレイ１８と、ディスプレイ１９とを備える。
【００１８】
映像情報記憶部１１では、映像を示す情報である第１の映像情報が記憶される。
この第１の映像情報は、会議の場面を撮影した映像である。この会議は、例えば、第１の映像情報について議論している会議である。
この映像は、通信機能を有するテレビ会議システム等において撮影された映像であってもよく、あるいは、通信機能を用いることなく会議の場面を単に撮影した映像であってもよい。前者の場合には、第１の映像情報の示す映像は、通信回線を介して接続されている２以上の会議の場面の映像を含んでもよく、あるいは、そのいずれかの会議の場面の映像のみであってもよい。
会議とは、２以上の人が双方向で話をする状況を含むものとする。したがって、いわゆるビジネス上の会議のみでなく、主婦や友人が話をしている状況も会議に含まれるものとする。また、会議には、セミナーや講演等のように、説明者が情報受領者に対して情報を提供する形式も含まれるものとする。
【００１９】
第１の映像情報は、映像の任意の時間的位置（例えば、任意のフレーム）を指定することができるように構成されていることが好ましい。例えば、第１の映像情報において、タイムコードを用いて映像の任意の時間的位置を指定することができてもよく、その映像の先頭からの経過時間を用いて映像の任意の時間的位置を指定することができてもよく、その他のフレームＩＤ等を用いて、映像の任意の時間的位置を指定することができてもよい。  
ここで、タイムコードとは、時間、時刻情報を符号化した電気信号であり、例えば、１フレームの映像情報ごとに与えられる電気信号である。
また、第１の映像情報は、映像の時間的位置を示す情報を含んでいてもよく、そうでなくてもよい。映像の時間的位置を示す情報は、映像の時間的位置を指定することができるのであれば、例えば、映像の相対的な時間的位置を示すものであってもよく、あるいは、映像の絶対的な時間的位置を示すものであってもよい。
【００２０】
本実施形態では、第１の映像情報が、時間的位置を示す情報としてタイムコードを含んでいるものとする。この第１の映像情報は、音声情報を含んでいてもよく、あるいは、含んでいなくてもよい。また、第１の映像情報は、デジタルデータであってもよく、アナログデータであってもよい。
【００２１】
映像情報記憶部１１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現される。映像情報記憶部１１に第１の映像情報が記憶される過程は問わない。例えば、記録媒体を介して第１の映像情報が映像情報記憶部１１で記憶されるようになってもよく、通信回線等を介して送信された第１の映像情報が映像情報記憶部１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された第１の映像情報が映像情報記憶部１１で記憶されるようになってもよい。映像情報記憶部１１での記憶は、外部のストレージデバイス等から読み出した映像情報のＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。
【００２２】
表示部１２は、映像情報記憶部１１で記憶されている第１の映像情報を表示する。なお、第１の映像情報に音声情報が含まれる場合には、表示部１２は、第１の映像情報を表示すると共に、その音声情報を音声出力してもよい。また、表示部１２は、表示を行う表示デバイス（例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ：ブラウン管）や液晶ディスプレイなど）やスピーカを含んでもよく、あるいは含まなくてもよい。
【００２３】
本実施形態では、表示部１２は、ディスプレイ１８に第１の映像情報を表示するものとする。また、表示部１２は、ハードウェアによって実現されてもよく、あるいは表示デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２４】
撮影部１３は、表示部１２が第１の映像情報を表示している会議の場面であり、第１の映像情報が表示された表示部１２の表示領域を含む場面を撮影する。撮影部１３は、例えば、映像を撮影するカメラであり、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）等のイメージセンサを用いて映像を撮影する。撮影部１３が音声情報も取得する場合には、撮影部１３は、例えば、マイクを含んでいてもよい。
【００２５】
映像情報受付部１４は、撮影部１３から第２の映像情報を受け付ける。ここで、第２の映像情報とは、表示部１２が第１の映像情報を表示している会議の場面であり、第１の映像情報が表示された表示部１２の表示領域を含む場面を撮影部１３が撮影した映像を示す情報である。
第２の映像情報は、映像の任意の時間的位置（例えば、任意のフレーム）を指定することができるように構成されていることが好ましい。例えば、第２の映像情報において、タイムコードを用いて映像の任意の時間的位置を指定することができてもよく、その映像の先頭からの経過時間を用いて映像の任意の時間的位置を指定することができてもよく、その他のフレームＩＤ等を用いて、映像の任意の時間的位置を指定することができてもよい。
また、第２の映像情報は、映像の時間的位置を示す情報を含んでいてもよく、そうでなくてもよい。
【００２６】
本実施形態では、第２の映像情報が、時間的位置を示す情報としてタイムコードを含んでいるものとする。この第２の映像情報は、音声情報を含んでいてもよく、あるいは、含んでいなくてもよい。その音声情報は、撮影部１３のマイクで受音されたものであってもよく、あるいは、その他の図示しないマイクによって受音されたものであってもよい。また、第２の映像情報は、デジタルデータであってもよく、アナログデータであってもよい。
【００２７】
ここで、この受け付けは、例えば、有線もしくは無線の通信回線（例えば、インターネットやイントラネット、ＬＡＮなどであってもよく、あるいは、ＩＥＥＥ１３９４のケーブルや、映像情報を伝送する専用のケーブル等であってもよい）を介して送信された情報の受信でもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された情報の受け付けでもよい。
【００２８】
本実施形態では、映像情報受付部１４は、撮影部１３が撮影した第２の映像情報を、通信回線を介して受け付けるものとする。なお、映像情報受付部１４は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、映像情報受付部１４は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２９】
映像情報蓄積部１５は、映像情報受付部１４が受け付けた第２の映像情報の少なくとも一部を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、映像情報蓄積部１５が有していてもよく、あるいは映像情報蓄積部１５の外部に存在してもよい。また、この記録媒体は、第２の映像情報を一時的に記憶するものであってもよく、そうでなくてもよい。
本実施形態では、映像情報蓄積部１５は、映像情報受付部１４が受け付けた第２の映像情報のすべてを蓄積する。
【００３０】
同期情報管理部１６は、表示部１２による第１の映像情報の表示時点と、その第１の映像情報が表示されている会議の場面の映像である第２の映像情報の撮影時点との同期を示す情報である同期情報を作成して蓄積する。この同期情報によって、第２の映像情報の所望の時間的位置の映像が撮影された時点において、その会議で表示されていた第１の映像情報の時間的位置を知ることができる。
ここで、同期情報は、厳密な意味において第１の映像情報の表示時点と、第２の映像情報の撮影時点との同期を示す情報でなくてもよい。例えば、第１の映像情報の表示時点と、第２の映像情報の蓄積時点との同期を示す情報であってもよい。第２の映像情報の撮影時点と、第２の映像情報の蓄積時点とはほぼ同時点であると考えられるからである。同期情報を作成することは、新たな情報を作成することであってもよく、あるいは、同期情報に含まれる情報を所定のメモリやレジスタ等から読み出したり、取得したりすることによって構成することであってもよい。
【００３１】
同期情報管理部１６は、表示部１２が表示する第１の映像情報の時間的位置を示す情報と、映像情報蓄積部１５が蓄積する第２の映像情報の時間的位置を示す情報とを受け取り、その第１の映像情報の時間的位置を示す情報と、その第２の映像情報の時間的位置を示す情報とを用いて、同期情報を作成してもよい。
【００３２】
以下、この同期情報の具体例について説明する。この同期情報は、（１）第１の映像情報、及び第２の映像情報とは別個に構成される情報であってもよく、（２）第１の映像情報に含まれる情報であってもよく、（３）第２の映像情報に含まれる情報であってもよく、（４）第１の映像情報、及び第２の映像情報に含まれる情報であってもよい。
【００３３】
（１）同期情報が第１の映像情報、及び第２の映像情報と別である場合
この場合には、同期情報は、例えば、第１の映像情報における映像の時間的位置を示す情報と、第２の映像情報における映像の時間的位置を示す情報とを対応付ける情報であってもよい。
具体的には、同期情報は、第１の映像情報のタイムコードと、第２の映像情報のタイムコードを対応付ける情報であってもよく、第１の映像情報の先頭からの時間と、第２の映像情報の先頭からの時間とを対応付ける情報であってもよく、その他の情報であってもよい。
【００３４】
また、この同期情報は例えば、第１の映像情報と、第２の映像情報とのすべてのフレームをそれぞれ対応付ける情報であってもよく、第１の映像情報と、第２の映像情報との特定の１以上のフレーム（例えば、同期されている先頭の各フレーム）を対応付ける情報であってもよい。前者の場合には、第２の映像情報の撮影中に第１の映像情報が高速再生して表示された場合や、低速再生して表示された場合にも、第１の映像情報と第２の映像情報とを適切に同期させることができる。一方、後者の場合には、特定のフレーム以外は、第１の映像情報と第２の映像情報とが同じスピードで再生・録画されていることを前提としているが、同期情報のデータ量を削減することができる。
【００３５】
本実施形態では、この場合のように、同期情報管理部１６が、第１の映像情報のタイムコードと、第２の映像情報のタイムコードとを対応付ける同期情報を作成するものとする。
（１）の場合には、同期情報は、同期情報管理部１６、あるいは、その他の構成要素が有する所定の記録媒体に蓄積される。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等である。また、この記録媒体は、同期情報を一時的に記憶するものであってもよく、そうでなくてもよい。
【００３６】
（２）同期情報が第１の映像情報に含まれる場合
この場合には、同期情報は、例えば、第２の映像情報における映像の時間的位置を示す情報であり、その情報が、第１の映像情報における対応するフレームに含まれてもよい。このような場合には、第１の映像情報が再生されている際に、その同期情報が第１の映像情報に追記されることになる。
この同期情報も、第１の映像情報と、第２の映像情報とのすべてのフレームをそれぞれ対応付ける情報であってもよく、第１の映像情報と、第２の映像情報との特定の１以上のフレーム（例えば、同期されている先頭の各フレーム）を対応付ける情報であってもよい。
【００３７】
（３）同期情報が第２の映像情報に含まれる場合
上記（２）の場合とは逆に、同期情報は、例えば、第１の映像情報における映像の時間的位置を示す情報であり、その情報が、第２の映像情報における対応するフレームに含まれてもよい。このような場合には、第２の映像情報が蓄積される際に、その同期情報を含む第２の映像情報が蓄積されることになる。
この同期情報も、第１の映像情報と、第２の映像情報とのすべてのフレームをそれぞれ対応付ける情報であってもよく、第１の映像情報と、第２の映像情報との特定の１以上のフレーム（例えば、同期されている先頭の各フレーム）を対応付ける情報であってもよい。
【００３８】
（４）同期情報が第１の映像情報、及び第２の映像情報に含まれる場合
この場合には、同期情報は、例えば、第１の映像情報と、第２の映像情報とを対応付けるための情報であり、その同期情報が、それぞれ対応する、第１の映像情報のフレームと、第２の映像情報のフレームとに含まれてもよい。したがって、第１の映像情報、及び第２の映像情報において、同じ同期情報を含むフレームが、同期するフレームとなる。
この同期情報も、第１の映像情報と、第２の映像情報とのすべてのフレームをそれぞれ対応付ける情報であってもよく、第１の映像情報と、第２の映像情報との特定の１以上のフレーム（例えば、同期されている先頭の各フレーム）を対応付ける情報であってもよい。
【００３９】
同期情報が、第２の映像情報に含まれる場合には、同期情報管理部１６の有する同期情報を蓄積する機能と、映像情報蓄積部１５の有する第２の映像情報を蓄積する機能とは、一体として構成されてもよく、あるいは、別々に構成されていてもよい。また、同期情報が第１の映像情報に含まれる場合には、同期情報管理部１６は、映像情報記憶部１１で記憶されている第１の映像情報に同期情報を追記するものとする。
【００４０】
情報合成部１７は、映像情報記憶部１１で記憶されている第１の映像情報と、映像情報蓄積部１５が蓄積した第２の映像情報とを、同期情報管理部１６が蓄積した同期情報を用いて同期させ、第２の映像情報における表示部１２の表示領域に第１の映像情報を合成した映像を示す情報である合成映像情報を出力する。
【００４１】
ここで、合成映像情報の作成について説明する。まず、情報合成部１７は、第２の映像情報における第１の映像情報の表示領域を検出する。そして、情報合成部１７は、その検出した表示領域に、その第２の映像情報に同期する第１の映像情報を合成する。
第２の映像情報における第１の映像情報の表示領域の検出は、例えば、次のようにして行うことができる。
情報合成部１７は、図２に示すように、第２の映像情報のフレームと同期する第１の映像情報のフレームを用いて、第２の映像情報のフレームにおいて、その第１の映像情報のフレームと一致する領域をパターンマッチング等の技術を用いて検出することにより、表示領域を検出してもよい。
【００４２】
また、情報合成部１７は、図３に示すようにユーザ等が入力デバイスで入力した表示領域の指定を受け付け、その指定された表示領域を検出してもよい。会議では一般に人があまり移勤しないため、その会議を撮影する場合には、表示領域の位置があまり変化しないと考えられ、このような方法も有効である。
また、第１の映像情報が表示されるディスプレイ１８等の枠やその枠のコーナーの４点を、情報合成部１７が検出することによって、その枠の内部の領域である表示領域を検出してもよい。ディスプレイ１８等の枠やその枠のコーナーの４点を検出することができるように、ディスプレイ１８等の枠や、その枠のコーナーの４点には、所定の色や、模様、マーカ等が配置されていてもよい。その所定の色は、会議の場面で一般に使われないような色であることが好ましい。マーカは、例えば、モーションキャプチャ等で用いられる光学式のマーカ等であってもよい。また、この表示領域の検出の方法は、これらの方法に限定されるものではなく、その他の方法であってもよい。
【００４３】
第２の映像情報において検出された第１の映像情報の表示領域への第１の映像情報の合成は、例えば、次のようにして行うことができる。
情報合成部１７は、第１の映像情報を、第２の映像情報における検出された表示領域の大きさとなるように変形する。例えば、その表示領域の方が小さい場合には、第１の映像情報を縮小すると共に、第２の映像情報と同じ解像度になるようにする。
また、第２の映像情報において、第１の映像情報が正面から撮られているのではなく、斜めに撮られている場合には、表示領域が厳密な矩形ではなく、菱形や台形等になる。その場合には、情報合成部１７は、第１の映像情報が、その検出された表示領域の形状に合うように、第１の映像情報を変形するものとする。
【００４４】
第２の映像情報に第１の映像情報を合成する場合に、その合成は、レイヤの合成として行われてもよい。その場合には、合成映像情報に第２の映像情報のレイヤも含まれるため、合成映像情報を用いて合成後の映像情報のみでなく、第２の映像情報のみも見ることができる。
【００４５】
なお、第１の映像情報と第２の映像情報との少なくとも一方に音声情報が含まれる場合には、情報合成部１７は、音声情報を含む合成映像情報を出力してもよい。その場合に、合成映像情報に含まれる音声情報は、第１の映像情報の音声情報であってもよく、第２の映像情報に含まれる音声情報であってもよく、両方の音声情報であってもよい。
ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示やスピーカヘの音声出力でもよく、所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよい。なお、情報合成部１７は、出力を行うデバイス（例えば、表示デバイスや通信デバイスなど）やスピーカを含んでもよく、あるいは含まなくてもよい。
【００４６】
本実施形態では、情報合成部１７は、ディスプレイ１９に合成映像情報を表示するものとする。また、情報合成部１７は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
また、映像情報記憶部１１と、映像情報蓄積部１５が第２の映像情報を蓄積する記録媒体とは、同じ記録媒体であってもよく、別々の記録媒体であってもよい。前者の場合には、例えば、第１の映像情報が記憶されている領域が映像情報記憶部１１となる。
【００４７】
次に、本実施形態による映像会議システムの動作について、図４のフローチャートを用いて説明する。なお、本実施形態による映像会議システムの動作は、図４のフローチャートで示されるものに限定されず、本発明の要旨を変更しない範囲において変更可能であることはいうまでもない。
【００４８】
（ステップＳ１０１）表示部１２は、第１の映像情報を表示する会議が開始されるかどうか判断する。例えば、第１の映像情報を表示する旨の指示が入力された場合に、表示部１２は、第１の映像情報を表示する会議が開始されると判断してもよい。そして、会議が開始される場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０３に進む。
【００４９】
（ステップＳ１０２）表示部１２等は、第１の映像情報の表示や、第２の映像情報の蓄積、同期情報の作成、蓄積等を行う。そして、ステップＳ１０１に戻る。
このステップＳ１０２の処理の詳細については、図５のフローチャートを用いて後述する。
【００５０】
（ステップＳ１０３）情報合成部１７は、第２の映像情報を表示するかどうか判断する。例えば、第２の映像情報を表示する旨の指示が入力された場合に、第２の映像情報を表示すると判断してもよい。そして、第２の映像情報を表示する場合には、ステップＳ１０４に進み、そうでない場合には、ステップＳ１０１に戻る。
【００５１】
（ステップＳ１０４）情報合成部１７は、同期情報を用いて、第２の映像情報に第１の映像情報を合成し、その合成後の合成映像情報をディスプレイ１９に表示する。そして、ステップＳ１０１に戻る。このステップＳ１０４の処理の詳細については、図６のフローチャートを用いて後述する。
なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。また、ステップＳ１０１の判断を表示部１２が行う場合について説明したが、ステップＳ１０１の判断は、他の構成要素によって行われてもよい。
【００５２】
図５は、図４のフローチャートにおけるステップＳ１０２の処理の詳細を示すフローチャートである。
（ステップＳ２０１）表示部１２は、カウンタｉを１に設定する。
（ステップＳ２０２）表示部１２は、映像情報記憶部１１で記憶されている第１の映像情報においてｉ番目のフレームが存在するかどうか判断する。そして、存在する場合には、ステップＳ２０３に進み、そうでない場合には、図４のフローチャートに戻る。
【００５３】
（ステップＳ２０３）表示部１２は、第１の映像情報のｉ番目のフレームを映像情報記憶部１１から読み出す。
（ステップＳ２０４）表示部１２は、その第１の映像情報のｉ番目のフレームを、ディスプレイ１８に表示する。なお、第１の映像情報に音声情報が含まれる場合には、表示部１２は、その音声情報を音声出力するものとする。
【００５４】
（ステップＳ２０５）同期情報管理部１６は、表示部１２が表示したｉ番目のフレームに対応するタイムコードを取得する。そして、同期情報管理部１６は、その取得したタイムコードを図示しない記録媒体において一時的に保持しておく。
（ステップＳ２０６）映像情報受付部１４は、撮影部１３が撮影した第２の映像情報のフレームを受け付ける。この第２の映像情報には、音声情報が含まれていてもよい。
（ステップＳ２０７）映像情報蓄積部１５は、映像情報受付部１４が受け付けた第２の映像情報のフレームを所定の記録媒体に蓄積する。
【００５５】
（ステップＳ２０８）同期情報管理部１６は、映像情報蓄積部１５が蓄積した第２の映像情報のフレームに対応するタイムコードを取得する。そして、同期情報管理部１６は、その取得したタイムコードを図示しない記録媒体において一時的に保持しておく。
（ステップＳ２０９）同期情報管理部１６は、ステップＳ２０５と、ステップＳ２０８とにおいて、一時的に保持した第１の映像情報のタイムコードと、第２の映像情報のタイムコードとを対応付ける情報である同期情報を作成する。
（ステップＳ２１０）同期情報管理部１６は、その作成した同期情報を、所定の記録媒体に蓄積する。
（ステップＳ２１１）表示部１２は、カウンクｉを１だけインクリメントする。
そして、ステップＳ２０２に戻る。
【００５６】
図６は、図４のフローチャートにおけるステップＳ１０４の処理の詳細を示すフローチャートである。
（ステップＳ３０１）情報合成部１７は、カウンタｊを１に設定する。
（ステップＳ３０２）情報合成部１７は、映像情報蓄積部１５が蓄積した第２の映像情報において、ｊ番目のフレームが存在するかどうか判断する。そして、存在する場合には、ステップＳ３０３に進み、そうでない場合には、図４のフローチャートに戻る。
【００５７】
（ステップＳ３０３）情報合成部１７は、映像情報蓄積部１５が蓄積した第２の映像情報におけるｊ番目のフレームを読み出す。
（ステッブＳ３０４）情報合成部１７は、その読み出したｊ番目のフレームに対応するタイムコードを取得する。
（ステップＳ３０５）情報合成部１７は、同期情報管理部１６が蓄積した同期情報を用いて、第２の映像情報におけるｊ番目のフレームのタイムコードに対応する第１の映像情報におけるタイムコードを取得する。
【００５８】
（ステップＳ３０６）情報合成部１７は、その取得した第１の映像情報におけるタイムコードを用いて、映像情報記憶部１１から、そのタイムコードに対応する第１の映像情報のフレームを読み出す。
（ステップＳ３０７）情報合成部１７は、第２の映像情報のｊ番目のフレームにおいて、第１の映像情報を表示している表示部１２の表示領域を検出する。
（ステップＳ３０８）情報合成部１７は、検出した表示領域に、読み出した第１の映像情報のフレームを合成する。このようにして、合成映像情報のフレームが作られることになる。
【００５９】
（ステップＳ３０９）情報合成部１７は、合成映像情報を出力する。
（ステップＳ３１０）情報合成部１７は、カウンタｊを１だけインクリメントする。そして、ステップＳ３０２に戻る。
【００６０】
次に、本実施形態による映像会議システムの動作について、具体例を用いて説明する。
この具体例において、映像情報記憶部１１では、図７で示される第１の映像情報が記憶されているものとする。この第１の映像情報では、タイムコード「１：００：００：００」等が、先頭のフレームから順に割り当てられているものとする。
【００６１】
まず、第２の映像情報と、同期情報とが蓄積される処理について説明する。
ユーザが、映像会議システムに接続されている所定の入力デバイスを操作して、会議を始める旨の指示を入力したとする。すると、表示部１２は、会議が開始されると判断する（ステップＳ１０１）。
そして、まず、同期情報管理部１６は、同期情報において、第１の映像情報を識別する映像ＩＤと、第２の映像情報を識別する映像ＩＤとを対応付けて蓄積する。第１の映像情報の映像ＩＤは、「Ｖ００１」であり、第２の映像情報の映像ＩＤは、「Ｖ００２」であったとする。
【００６２】
その後、映像情報記憶部１１で記憶されている、映像ＩＤ「Ｖ００１」で識別される第１の映像情報の１番目のフレームを読み出して、ディスプレイ１８に表示する（ステップＳ２０１〜Ｓ２０４）。
また、表示部１２は、タイムコード「１：００：００：００」を含む第１の映像情報の１番目のフレームを同期情報管理部に渡す。このようにして、同期情報管理部１６は、第１の映像情報の１番目のフレームから、そのフレームに対応するタイムコードを取得する（ステップＳ２０５）。
撮影部１３は、会議の場面を撮影し、その撮影した第２の映像情報を映像情報受付部１４に渡す。映像情報受付部１４は、その第２の映像情報のフレームを受け付け、映像情報蓄積部１５に渡す（ステップＳ２０６）。
【００６３】
映像情報蓄積部１５は、その第２の映像情報のフレ−ムを、映像ＩＤ「Ｖ００２」で識別される第２の映像情報として、所定の記録媒体に蓄積する（ステップＳ２０７）。
また、映像情報蓄積部１５は、タイムコードを含む、その蓄積した第２の映像情報のフレームを同期情報管理部１６に渡す。
このようにして、同期情報管理部１６は、その第２の映像情報のフレームから、そのフレームに対応するタイムコードを取得する（ステップＳ２０８）。ここで、そのタイムコードは、「０：１５：００：００」であったとする。
同期情報管理部１６は、表示された第１の映像情報のタイムコードと、撮影された第２の映像情報のタイムコードとを対応付ける同期情報を作成し（ステップＳ２０９）、所定の記録媒体に蓄積する（ステップＳ２１０）。
【００６４】
このようにして蓄積された同期情報は、図８で示される同期情報におけるタイムコードの１番目のレコードである。なお、図８において、第１の映像情報の映像ＩＤ「Ｖ００１」と、第２の映像情報の映像ＩＤ「Ｖ００２」とが対応付けられている。
このようにして、第１の映像情報のフレームがなくなるまで、第２の映像情報の蓄積と、同期情報の蓄積とが繰り返して行われることになる（ステップＳ２０２〜Ｓ２１１）。
【００６５】
その結果、映像情報蓄積部１５が蓄積した第２の映像情報は、図９で示されるようになる。この第２の映像情報では、タイムコード「００：１５：００：００」等が、先頭のフレームから順に割り当てられている。また、同期情報管理部１６が蓄積した同期情報は、図８で示されるようになる。
なお、図５のフローチャートでは、第１の映像情報のフレームがなくなるまで、第２の映像情報の蓄積と、同期情報の蓄積とが繰り返される場合について示しているが、第２の映像情報の蓄積を終了する指示が受け付けられたことに応じて、第１の映像情報のフレームがなくなったかどうかに関わらず、第２の映像情報の蓄積と、同期情報の蓄積とが終了されるようにしてもよい。
【００６６】
次に、第２の映像情報に第１の映像情報が同期情報を用いて合成された映像情報である合成映像情報が表示される処理について説明する。ユーザが、映像会議システムに接続されている所定の入力デバイスを操作して、映像ＩＤ「Ｖ００２」に対応する第２の映像情報の表示を開始する旨の指示を入力したとする。すると、情報合成部１７は、合成映像情報の表示を開始すると判断する（ステップＳ１０３）。
そして、まず、情報合成部１７は、映像ＩＤ「Ｖ００２」に対応する、図９で示される第２の映像情報の１番目のフレームを読み出し（ステップＳ３０１〜Ｓ３０３）、その１番目のフレームに対応するタイムコード「００：１５：００：００」を取得する（ステップＳ３０４）。
【００６７】
情報合成部１７は、図８で示される同期情報を参照し、その取得した第２の映像情報（映像ＩＤ：Ｖ００２）のタイムコード「００：１５：００：００」をキーとして検索を行い、その第２の映像情報のタイムコード「００：１５：００：００」に対応する第１の映像情報（映像ＩＤ：Ｖ００１）のタイムコード「１：００：００：００」を取得する（ステップＳ３０５）。
そして、情報合成部１７は、映像情報記憶部１１で記憶されている、図７で示される第１の映像情報から、そのタイムコード「１：００：００：００」に対応するフレームを読み出す（ステップＳ３０６）。
【００６８】
その後、情報合成部１７は、第２の映像情報の１番目のフレームにおいて、第１の映像情報が表示されている表示領域を検出する（ステップＳ３０７）。
そして、情報合成部１７は、その検出した表示領域に、読み出した第１の映像情報のプレ−ムを合成する（ステップＳ３０８）。
この合成において、第２の映像情報の解像度に合うように、合成する第１の映像情報の解像度を変更してもよい。また、第２の映像情報の１番目のフレームにおいて表示されている第１の映像情報が、真正面の向きでなく、斜めの向きである場合には、その向きに合うように第１の映像情報を変形してもよい。
【００６９】
情報合成部１７は、第１の映像情報のフレームを第２の映像情報のフレームに合成した合成映像情報のフレームを出力する（ステップＳ３０９）。
このようにして、策２の映像情報のフレームがなくなるまで、互いに同期している第１の映像情報のフレームと第２の映像情報のフレームとの合成と、合成映像情報の出力とが繰り返して行われることになる（ステップＳ３０２〜３１０）。
【００７０】
図１０、図１１は、第２の映像情報のフレームと、情報合成部１７が出力した合成映像情報のフレームとの比較するための図である。図１０は、第２の映像情報のフレームを示す図であり、図１１は、合成映像情報のフレームを示す図である。
図１０で示されるように、ディスプレイ１８に表示された第１の映像情報を撮影した第２の映像情報のフレームでは、第１の映像情報の表示は、ぼんやりとしたものになってしまい、はっきりとはしていない。
一方、図１１で示されるように、情報合成部１７が出力した合成映像情報では、第２の映像情報のフレームにおける第１の映像情報の表示領域が、第１の映像情報に置き換えられているため、第１の映像情報の表示もクリヤになっている。
【００７１】
なお、図６のフローチャートでは、第２の映像情報のフレームがなくなるまで、合成映像情報のフレームの出力が繰り返される場合について示しているが、その表示を終了する指示が受け付けられたことに応じて、第２の映像情報のフレームがなくなったかどうかに関わらず、第１の映像情報のフレームと、第２の映像情報のフレームの表示が終了されるようにしてもよい。
また、この具体例では、音声の出力については説明しなかったが、前述のように、映像情報に音声情報が含まれる場合には、表示部１２、及び情報合成部１７は、音声情報の出力を行ってもよい。その場合に、情報合成部１７は、第１の映像情報の音声情報を出力してもよく、第２の映像情報の音声情報を出力してもよく、両方を出力してもよい。
【００７２】
また、前述のように、同期情報は、第１の映像情報に含まれていてもよい。例えば、図１２で示されるように、第１の映像情報の各フレームに同期情報が含まれてもよい。
図１２では、第１の映像情報のタイムコード「１：００：００：００」のフレームに、映像ＩＤ「Ｖ００２」のタイムコード「０：１５：００：００」と、映像ＩＤ「Ｖ００３」のタイムコード「０：３０：００：００」とが同期情報として含まれている。この同期情報により、第１の映像情報のタイムコード「１：００：００：００」のフレームに、映像ＩＤ「Ｖ００２」で識別される第２の映像情報のタイムコード「０：１５：００：００」のフレームと、映像ＩＤ「Ｖ００３」で識別される第２の映像情報のタイムコード「０：３０：００：００」のフレームとが同期していることが示される。この同期情報は、この第１の映像情報が会議において表示される際に、第１の映像情報に追記されてもよい。
【００７３】
また、図１２で示されるように、同期情報は、１個の第１の映像情報と、２個以上の第２の映像情報（図１２では、映像ＩＤ「Ｖ００２」で識別される映像情報と、映像ＩＤ「Ｖ００３」で識別される映像情報との２個の映像情報）とを対応付ける情報であってもよい。そのような場合であっても、同期情報を用いることにより、第２の映像情報の任意のフレームに対応する第１の映像情報のフレームを特定することができるからである。なお、１個の第１の映像情報に、２個以上の第２の映像情報が同期する状況としては、例えば、第１の映像情報が２回以上表示され、その第１の映像情報が表示された２回以上の会議の場面が、２個以上の第２の映像情報として撮影された状況かありうる。
【００７４】
また、前述のように、同期情報は、第２の映像情報に含まれていてもよい。例えば、図１３で示されるように、第２の映像情報の各フレームに同期情報が含まれてもよい。図１３では、第２の映像情報のタイムコード「０：１５：００：００」のフレームに、映像ＩＤ「Ｖ００１」のタイムコード「１：００：００：００」が同期情報として含まれている。この同期情報により、第２の映像情報のタイムコード「０：１５：００：００」のフレームと、映像ＩＤ「Ｖ００１」で識別される第１の映像情報のタイムコード「１：００：００：００」のフレームとが同期していることが示される。この同期情報は、この第２の映像情報が蓄積される際に、第２の映像情報に記録されてもよい。
【００７５】
また、前述のように、同期情報は、第１の映像情報と第２の映像情報とに含まれていてもよい。例えば、図１４、図１５で示されるように、第１の映像情報の各フレームと、第２の映像情報の各フレームとに同期情報が含まれていてもよい。
図１４、図１５では、第１の映像情報のタイムコード「１：００：００：００」のフレームに同期情報「ｓｙｎ００１−００１」が含まれており、第２の映像情報のタイムコード「０：１５：００：００」のフレームに同期情報「ｓｙｎ００１−００１」が含まれていることによって、その両者のフレームが同期していることが示されている。この同期情報は、第１の映像情報が会議において表示される際に第１の映像情報に追記され、第２の映像情報が蓄積される際に第２の映像情報に記録されてもよい。
【００７６】
以上のように、本実施形態による映像会議システムによれば、過去の会議の映像の表示時点と、その過去の会議を見ながら行われた会議の映像の撮影時点とを同期させることができ、両映像を合成させた合成映像情報を出力することができる。その結果、過去の会議を見ながら行われた会議の内容を、より適切に理解することができるようになる。
【００７７】
（第２の実施形態）
以下、本発明の第２の実施形態による映像会議システム（映像システム）について、図面を参照しながら説明する。
本実施形態では、第１の実施形態による情報合成部１７で行っていた表示領域の検出を映像情報蓄積部２５で行う。一方、情報合成部２７は、この検出を行わず、映像情報蓄積部２５の検出結果を用いて映像情報を合成する。
【００７８】
図１６は、本実施形態による映像会議システムの構成を示す図である。本実施形態（図１６）と第１の実施形態（図１）とを比較すると、映像情報蓄積部２５と情報合成部２７とが異なる。しかし、他の構成要素（映像情報記憶部１１、表示部１２、撮影部１３、映像情報受付部１４、同期情報管理部１６、ディスプレイ１８、及びディスプレイ１９）が持つ機能は第１の実施形態と同じであるので、第１の実施形態と同じ機能の説明は省略する。
【００７９】
映像情報蓄積部２５は、映像情報受付部１４が受け付けた第２の映像情報における第１の映像情報の表示領域を検出する。
映像情報蓄積部２５は、第２の映像情報における第１の映像情報の表示領域の検出を、第1の実施形態による情報合成部１７と同様にして行う。例えば、映像情報蓄積部２５は、パターンマッチング等の技術を用いた検出、又は、ユーザ等が入力デバイスで入力した表示領域の指定を受け付け、その指定された表示領域を検出により、第1の映像情報の表示領域を検出する。また、この表示領域の検出の方法は、これらの方法に限定されるものではなく、その他の方法であってもよい。
【００８０】
映像情報蓄積部２５は、映像情報受付部１４が受け付けた第２の映像情報と、検出した第1の映像情報の表示領域の情報とを所定の記憶媒体に記憶してもよく、あるいは、映像情報受付部１４が受け付けた第２の映像情報のうち、検出した第1の映像情報の表示領域を除いた第２の映像情報を蓄積してもよい。ここで、表示領域を除くとは、例えば、この表示領域の映像情報を予め決められた特定の値とすることである。
なお、この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、映像情報蓄積部２５が有していてもよく、あるいは映像情報蓄積部２５の外部に存在してもよい。また、この記録媒体は、第２の映像情報を一時的に記憶するものであってもよく、そうでなくてもよい。
【００８１】
図１７は、本実施形態における映像情報の一例について説明するための図である。
図１７（ａ）は、映像情報蓄積部２５が、映像情報受付部１４が受け付けた第２の映像情報のうち、検出した第1の映像情報の表示領域を除いた第２の映像情報である。また、図１７（ｂ）、（ｃ）は、それぞれ、映像情報受付部１４が受け付けた第２の映像情報、検出した第1の映像情報の表示領域の情報である。
映像情報蓄積部２５は、図１７（ａ）に示した映像情報のみを記憶してもよいし、図１７（ｂ）と（ｃ）とを記憶してもよい。
【００８２】
本実施形態では、映像情報蓄積部２５は、映像情報受付部１４が受け付けた第２の映像情報から、検出した第1の映像情報の表示領域を除いた第２の映像情報を蓄積する（図１７（ａ））。つまり、映像情報蓄積部２５は、映像情報受付部１４が受け付けた第２の映像情報のうち、第1の映像情報の表示領域を除く映像情報を蓄積する。
この第1の映像情報の表示領域を除いた第２の映像情報は、音声情報を含んでいてもよく、あるいは、含んでいなくてもよい。また、映像情報は、デジタルデータであってもよく、アナログデータであってもよい。
【００８３】
情報合成部２７は、映像情報記憶部１１で記憶されている第１の映像情報と、第２の映像情報の少なくとも一部とを、同期情報管理部１６が蓄積した同期情報を用いて同期させ、第２の映像情報における表示部１２の表示領域に第１の映像情報を合成した映像を示す情報である合成映像情報を出力する。
ここで、情報合成部２７は、第２の映像情報における第1の映像情報が除かれている領域を検出して第1の映像情報を合成する。例えば、情報合成部２７は、映像情報蓄積部２５が映像情報を予め決められた特定の値とした表示領域を検出する。
【００８４】
なお、映像情報蓄積部２５が、映像情報受付部１４が受け付けた第２の映像情報と、検出した第1の映像情報の表示領域の情報とを蓄積した場合、情報合成部２７は、この第1の映像情報の表示領域の情報を取得して、この表示領域に第1の映像情報を合成する。
【００８５】
情報合成部２７は、第２の映像情報における第1の映像情報の合成を、第1の実施形態による情報合成部１７と同様にして行う。例えば、情報合成部２７は、第１の映像情報を、第２の映像情報における検出された表示領域の大きさとなるように変形する。
なお、第１の映像情報と第２の映像情報との少なくとも一方に音声情報が含まれる場合には、情報合成部２７は、音声情報を含む合成映像情報を出力してもよい。その場合に、合成映像情報に含まれる音声情報は、第１の映像情報の音声情報であってもよく、第２の映像情報に含まれる音声情報であってもよく、両方の音声情報であってもよい。
【００８６】
本実施形態では、情報合成部２７は、ディスプレイ１９に合成映像情報を表示するものとする。また、情報合成部１７は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００８７】
次に、本実施形態による映像会議システムの動作について、図１８のフローチャートを用いて説明する。なお、本実施形態による映像会議システムの動作は、図１８のフローチャートで示されるものに限定されず、本発明の要旨を変更しない範囲において変更可能であることはいうまでもない。
本実施形態（図１８）と第１の実施形態（図４）とを比較すると、ステップＳ４０２とステップＳ４０４が異なる。しかし、他の動作（Ｓ１０１、Ｓ１０３）は第１の実施形態と同じであるので、第１の実施形態と同じ動作の説明は省略する。
【００８８】
（ステップＳ４０２）表示部１２等は、第１の映像情報の表示や、第２の映像情報の蓄積、同期情報の作成、蓄積等を行う。このとき、映像情報蓄積部２５は、映像情報受付部１４が受け付けた第２の映像情報から、検出した第1の映像情報の表示領域を除いた第２の映像情報を蓄積する。そして、ステップＳ１０１に戻る。
このステップＳ４０２の処理の詳細については、図１９のフローチャートを用いて後述する。
【００８９】
（ステップＳ４０４）情報合成部２７は、同期情報を用いて、第1の映像情報の表示領域を除いた第２の映像情報と第１の映像情報とを合成し、その合成後の合成映像情報をディスプレイ１９に表示する。そして、ステップＳ１０１に戻る。このステップＳ４０４の処理の詳細については、図２０のフローチャートを用いて後述する。
【００９０】
図１９は、図１８のフローチャートにおけるステップＳ４０２の処理の詳細を示すフローチャートである。
本実施形態（図１９）と第１の実施形態（図５）とを比較すると、ステップＳ５０７１とステップＳ５０７２が異なる。しかし、他の処理（Ｓ２０１〜Ｓ２０６、Ｓ２０８〜Ｓ２１１）は第１の実施形態と同じであるので、第１の実施形態と同じ処理の説明は省略する。
【００９１】
（ステップＳ５０７１）映像情報蓄積部２５は、映像情報受付部１４が受け付けた第２の映像情報のフレームにおける第1の映像情報の表示領域を検出する。
（ステップＳ５０７２）映像情報蓄積部２５は、映像情報受付部１４が受け付けた第２の映像情報のフレームのうち、検出した第1の映像情報の表示領域を除いた第２の映像情報のフレームを所定の記録媒体に蓄積する。
【００９２】
図２０は、図１８のフローチャートにおけるステップＳ４０４の処理の詳細を示すフローチャートである。
本実施形態（図２０）と第１の実施形態（図６）とを比較すると、ステップＳ６０７が異なる。しかし、他の処理（Ｓ３０１〜Ｓ３０６、Ｓ３０８〜Ｓ２１０）は第１の実施形態と同じであるので、第１の実施形態と同じ処理の説明は省略する。
【００９３】
（ステップＳ６０７）情報合成部２７は、第２の映像情報のｊ番目のフレームにおいて、第１の映像情報が除かれている表示部１２の表示領域を検出する。
【００９４】
以上のように、本実施形態による映像会議システムによれば、第２の映像情報を蓄積する際に、第１の映像情報の表示領域を検出しているので、合成映像情報を出力する際の検出処理による負荷を軽減できる。また、映像会議システムの利用者は、合成映像情報の出力前に蓄積された第２の映像情報を確認すれば、第２の映像情報が検出した第1の表示領域に誤りがないかを確認することができる。
これにより、負荷による合成映像情報出力の遅延や停止、及び表示領域の誤りによる映像情報の欠落を防止でき、その結果、過去の会議を見ながら行われた会議の内容を、より適切に理解することができるようになる。
また、本実施形態による映像会議システムによれば、第２の映像情報を蓄積する際に、第１の映像情報の表示領域を除いているので、蓄積される第２の映像情報の容量を削減することができる。例えば、除かれた表示領域の映像情報を特定の値とした場合、該表示領域を除いた第２の映像情報を圧縮すると、該表示領域を除かない第２の映像情報と比較して情報の容量が小さくなる。なお、第２の映像情報において、第１の映像情報が表示されている表示領域の映像は必要ないため、その表示領域を除く映像情報を蓄積したとしても、問題はないことになる。
【００９５】
（第３の実施形態）
以下、本発明の第３の実施形態による映像会議システム（映像システム）について、図面を参照しながら説明する。
本実施形態では、第1の映像情報は、２以上の映像情報を合成した合成映像情報である。そして、第２の映像情報に第1の映像情報を合成する際、第２の映像情報と、第1の映像情報として合成する前の２以上の映像情報とを合成する。
【００９６】
図２１は、本実施形態による映像情報の合成の一例を示す図である。
図２１（ｂ）は、第1の映像情報の一例であって、映像ＩＤ「Ｖ００１」の映像情報（図２１（ａ））と、映像ＩＤ「Ｖ００２」の映像情報とを合成した合成映像情報であることを示す。
そして、図２１（ｃ）は、第２の映像情報の一例であって、映像ＩＤ「Ｖ００３」の映像情報に、映像ＩＤ「Ｖ００２」の映像情報を合成し、さらに、映像ＩＤ「Ｖ００２」の映像情報を介して、映像ＩＤ「Ｖ００１」の映像情報も合成した合成映像情報であることを示す。
例えば、各映像情報は、会議の場面を撮影した映像情報（映像ＩＤ「Ｖ００１」）を表示した会議の場面を撮影した映像情報（映像ＩＤ「Ｖ００２」）を表示して会議を行い、該会議の場面を撮影した映像情報（映像ＩＤ「Ｖ００３」）として関係付けられる。
【００９７】
図２２は、本実施形態による映像会議システムの構成を示す図である。本実施形態（図２２）と第１の実施形態（図１）とを比較すると、情報合成部３２と同期情報管理部３６と情報合成部３７とが異なる。しかし、他の構成要素（映像情報記憶部１１、撮影部１３、映像情報受付部１４、映像情報蓄積部１５、ディスプレイ１８、及びディスプレイ１９）が持つ機能は第１の実施形態と同じであるので、第１の実施形態と同じ機能の説明は省略する。また、本実施形態による動作は、第1の実施形態による動作（図４〜図６）と同じである。
【００９８】
情報合成部３２は、映像情報記憶部１１で記憶されている２以上の映像情報を、同期情報管理部３６に予め蓄積された同期情報を用いて同期して合成し、該合成した合成映像情報を第１の映像情報として出力する。
なお、第１の映像情報に音声情報が含まれる場合には、情報合成部３２は、第１の映像情報を表示すると共に、その音声情報を音声出力してもよい。また、情報合成部３２は、表示を行う表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）やスピーカを含んでもよく、あるいは含まなくてもよい。
【００９９】
本実施形態では、映像情報記憶部１１で記憶されている２以上の映像情報を、映像ＩＤ「Ｖ００１」の映像情報（図７）と、映像ＩＤ「Ｖ００２」の映像情報（図９）とする。
また、本実施形態では、映像ＩＤ「Ｖ００１」の映像情報と、映像ＩＤ「Ｖ００２」の映像情報とが、それぞれ、時間的位置を示す情報としてタイムコードを含んでいるものとする（図７、図９）。
この映像ＩＤ「Ｖ００１」の映像情報と、映像ＩＤ「Ｖ００２」の映像情報とは、音声情報を含んでいてもよく、あるいは、含んでいなくてもよい。また、映像ＩＤ「Ｖ００１」の映像情報と、映像ＩＤ「Ｖ００２」の映像情報とは、デジタルデータであってもよく、アナログデータであってもよい。
【０１００】
また、本実施形態では、情報合成部３２は、ディスプレイ１８に第１の映像情報を表示するものとする。また、情報合成部３２は、ハードウェアによって実現されてもよく、あるいは表示デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【０１０１】
同期情報管理部３６は、映像情報記憶部１１で記憶されている２以上の映像情報の表示時点の同期を示す同期情報を予め蓄積する。
また、同期情報管理部３６は、情報合成部３２による第１の映像情報の表示時点と、その第１の映像情報が表示されている会議の場面の映像である第２の映像情報の撮影時点との同期を示す同期情報を作成して蓄積する。
同期情報管理部３６は、第１の映像情報の表示時点と第２の映像情報の表示時点との同期を示す同期情報の作成を、第1の実施形態による同期情報管理部１６と同様にして行う。
なお、この同期情報は、第１の実施形態と同様に、（１）第１の映像情報、及び第２の映像情報とは別個に構成される情報であってもよく、（２）第１の映像情報に含まれる情報であってもよく、（３）第２の映像情報に含まれる情報であってもよく、（４）第１の映像情報、及び第２の映像情報に含まれる情報であってもよい。
【０１０２】
本実施形態では、同期情報管理部３６は、映像ＩＤ「Ｖ００１」の映像情報のタイムコードと、映像ＩＤ「Ｖ００２」の映像情報のタイムコードとの同期を示す情報である同期情報を予め蓄積する。
また、本実施形態では、第２の映像情報の映像ＩＤを「Ｖ００３」とする。
【０１０３】
図２３は、本実施形態による同期情報の一例を示す図である。
図２３（ｂ）は、同期情報管理部３６が予め蓄積する映像ＩＤ「Ｖ００１」の映像情報のタイムコードと映像ＩＤ「Ｖ００２」の映像情報のタイムコードとの同期を示す同期情報である。
ここで、図２３の同期情報は、合成する表示領域がある映像情報を第２の映像情報とし、該第２の表示領域に合成する映像情報を第１の映像情報として、映像ＩＤを蓄積しているとする。
図２３（ｂ）では、例えば、映像ＩＤ「Ｖ００１」のタイムコード「１：００：００：００」に関係付けられた映像ＩＤ「Ｖ００２」のタイムコードは、「０：１５：００：００」であることを表わす。また、映像ＩＤ「Ｖ００１」の映像情報は、映像ＩＤ「Ｖ００２」の映像情報の表示領域に合成されることを表わす。
【０１０４】
また、図２３（ａ）は、同期情報管理部３６が作成する第１の映像情報のタイムコードと第２の映像情報のタイムコードとの同期を示す同期情報である。
ここで、第２の映像情報である映像ＩＤ「００３」の映像情報のタイムコードは、第1の映像情報として合成される映像情報（図２３（ｂ）中の第２の映像情報）である映像ＩＤ「Ｖ００２」の映像情報のタイムコードと関係付けられている。
図２３（ａ）では、例えば、映像ＩＤ「Ｖ００２」のタイムコード「０：１５：００：００」に関係付けられた映像ＩＤ「Ｖ００３」のタイムコードは、「０：２０：００：００」であり、映像ＩＤ「Ｖ００２」の映像情報は、映像ＩＤ「Ｖ００３」の映像情報の表示領域に合成することを表わす。
【０１０５】
情報合成部３７は、映像情報記憶部１１で記憶されている２以上の映像情報と、映像情報蓄積部１５が蓄積した第２の映像情報とを、同期情報管理部３６が蓄積した同期情報を用いて同期させ、第２の映像情報における第1の映像の表示領域に、映像情報記憶部１１で記憶されている２以上の映像情報を合成した映像を示す情報である合成映像情報を出力する。
【０１０６】
情報合成部３７は、同期情報管理部３６が蓄積する同期情報を検索することにより、合成すべき映像情報を特定する。
具体的に、情報合成部３７は、情報合成部３７は、同期情報管理部３６が蓄積する同期情報のうち、第２の映像情報の映像ＩＤが「Ｖ００３」である同期情報を検索する。情報合成部３７は、検索の結果、図２３（ａ）の同期情報を特定し、第１の映像情報が映像ＩＤ「Ｖ００２」であることを特定する。そして、情報合成部３７は、同期情報管理部３６が蓄積する同期情報のうち、第２の映像情報の映像ＩＤが「Ｖ００２」である同期情報を検索する。検索の結果、図２３（ｂ）の同期情報を特定し、第１の映像情報が映像ＩＤ「Ｖ００１」であることを特定する。
さらに、情報合成部３７は、同期情報管理部３６が蓄積する同期情報のうち、第２の映像情報の映像ＩＤが「Ｖ００１」である同期情報を検索する。本実施形態では、第２の映像情報に映像ＩＤ「Ｖ００１」が関係付けられている同期情報はないとする。
【０１０７】
情報合成部３７は、上記検索の結果、特定した映像情報を合成する。
具体的に、情報合成部３７は、映像ＩＤ「Ｖ００３」の映像情報に、映像ＩＤ「Ｖ００２」の映像情報を合成し、さらに、この映像情報ＩＤ「Ｖ００２」の映像情報に、映像ＩＤ「Ｖ００１」の映像情報を合成する。
なお、映像情報蓄積部３７は、映像ＩＤ「Ｖ００３」の映像情報における映像ＩＤ「Ｖ００２」の映像情報の表示領域の検出、また、映像ＩＤ「Ｖ００２」の映像情報における映像ＩＤ「Ｖ００１」の映像情報の表示領域の検出を、第1の実施形態による情報合成部１７と同様にして行う。
【０１０８】
図２４は、本実施形態による映像情報の合成の一例について説明するための図である。
情報合成部３７は、図２４の右から左に向かう順序で映像情報を合成する。
まず、情報合成部３７は、映像ＩＤが「Ｖ００１」である映像情報を、映像ＩＤが「Ｖ００２」である映像情報の表示領域の形状にする変形１を行う。
次に、情報合成部３７は、映像ＩＤが「Ｖ００２」である映像情報を、映像ＩＤが「Ｖ００３」である映像情報の表示領域の形状にする変形２を行う。このとき、情報合成部３７は、変形１を行った映像ＩＤが「Ｖ００１」の映像情報についても、変形２を行う。
そして、情報合成部３７は、以上の変形を行った映像ＩＤが「Ｖ００１」及び「Ｖ００２」の映像情報と、映像ＩＤが「Ｖ００３」の映像情報とを合成する。
【０１０９】
また、情報合成部３７は、例えば、予め映像情報の合成の回数を設定しておき、所定の回数前まで映像情報を合成するようにしてもよいし、また、映像情報を合成する表示領域サイズの最小サイズを予め設定しておき、表示領域のサイズが設定値よりも大きい間は、映像情報を合成するようにしてもよい。
【０１１０】
以上のように、本実施形態による映像会議システムによれば、同期情報により関係付けられた映像情報を合成するので、何度も繰り返して、会議を行った場合でも、映像が劣化しない表示をすることができる。その結果、過去の会議を見ながら行われた会議の内容を、より適切に理解することができるようになる。
【０１１１】
なお、図２４の説明図において、合成される表示領域が合成する画像より小さくなる場合を説明しているが、本発明は、これに限られず、合成される表示領域が合成する画像より大きくてもよい。一般に、映像を解像度が小さくなるような状況で撮影し、その撮影した映像を表示すると、元の映像に比べ映像が劣化してしまう。しかし、本実施形態による映像会議システムによれば、同期情報により関係付けられた映像情報を合成するので、合成する映像情報を、元の解像度を保ったまま合成映像情報として表示することができる。
例えば、第１の映像情報に含まれて表示された画像ＩＤ「００１」の映像情報が、画像ＩＤ「００１」の映像情報より小さく、つまり、解像度が小さく、第２の映像情報に含まれて表示された画像ＩＤ「００１」の映像情報が、第１の映像情報に含まれて表示された画像ＩＤ「００１」の映像情報より大きい場合であっても、本実施形態による映像会議システムによれば、画像ＩＤ「００１」の映像情報を、元の解像度を保ったまま合成映像情報として表示することができる。
【０１１２】
なお、上記各実施形態による映像会議システムには、撮影部１３、及びディスプレイ１８、１９が含まれなくてもよい。そのような場合には、映像会議システムは、システム外の撮影部１３によって撮影された第２の映像情報を受け付けることとなり、また、システム外のディスプレイ１８、１９に第１の映像情報等を表示することになってもよい。
【０１１３】
また、上記各実施形態による映像会議システムは、通信機能を有しており、他の会議の場面も見ることが可能なものであってもよく、あるいは、通信機能を用いることなく図１で示される会議の場面のみを撮影するものであってもよい。前者の場合には、映像情報受付部１４が受け付ける映像は、通信回線を介して接続されている２以上の会議の場面の映像を含んでもよく、あるいは、そのいずれかの会議の場面の映像のみであってもよい。
【０１１４】
また、上記各実施形態において、情報合成部１７、２７、３７が第２の映像情報に第１の映像情報を合成して合成映像情報を作成する処理を、第２の映像情報の蓄積後に、バッチ処理として行う場合について説明したが、情報合成部１７、２７、３７は、合成映像情報を作成する処理を、第２の映像情報を蓄積している途中に、リアルタイム処理（すなわち、逐次的な処理）として行ってもよい。この場合には、第２の映像情報が撮影されている際に、第２の映像情報に第１の映像情報を合成した合成映像情報が順次、出力されることになる。
【０１１５】
また、上記各実施形態において、情報合成部１７、２７、３７が合成映像情報を蓄積する場合に、第２の映像情報を残す必要がない場合には、第２の映像情報に合成映像情報を上書きして蓄積してもよい。
また、上記実施形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【０１１６】
また、上記各実施形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
なお、上記各実施形態における映像会議システムを実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、映像情報記憶部で記憶されている撮影した映像を示す情報である第１の映像情報を表示する表示部、前記第１の映像情報が表示された前記表示部での表示領域を含む場面を撮影した映像を示す情報である第２の映像情報を受け付ける映像情報受付部、前記映像情報受付部で受け付けた第２の映像情報の少なくとも一部を蓄積する映像情報蓄積部、前記第１の表示部による第１の映像情報の表示時点と、当該第１の映像情報が表示されている場面の映像である第２の映像情報の撮影時点との同期を示す情報である同期情報を作成して蓄積する同期情報管理部、前記映像情報記憶部で記憶されている第１の映像情報と、前記映像情報蓄積部で蓄積した第２の映像情報とを、前記同期情報管理部で蓄積した同期情報を用いて同期させ、前記第２の映像情報における前記表示領域に、前記同期に応じて前記映像情報記憶部から読み出した第１の映像情報を合成した映像を示す情報である合成映像情報を出力する出力部、として機能させる。
【０１１７】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部や、情報を出力する情報合成部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、本発明は、以上の実施形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１１８】
以上より、本発明による映像システム等によれば、過去の映像を見ながら行われた会議の内容を、より適切に理解することができるようにすることができ、会議を撮影した映像情報に関する処理を行う映像システム等としで有用である。
【図面の簡単な説明】
【０１１９】
【図１】本発明の第１の実施形態による映像会議システムの構成を示す図
【図２】同実施形態による映像情報の合成の一例について説明するための図
【図３】同実施形態による映像情報の合成の別の一例について説明するための図
【図４】同実施形態による映像会議システムの動作を示すフローチャート
【図５】同実施形態による映像会議システムの別の動作を示すフローチャート
【図６】同実施形態による映像会議システムの別の動作を示すフローチャート
【図７】同実施形態における第１の映像情報の一例を示す図
【図８】同実施形態における同期情報の一例を示す図
【図９】同実施形態における第２の映像情報の一例を示す図
【図１０】同実施形態における第２の映像情報のフレームの一例を示す図
【図１１】同実施形態における合成映像情報のフレームの一例を示す図
【図１２】同実施形態における同期情報の別の一例について説明するための図
【図１３】同実施形態における同期情報の別の一例について説明するための図
【図１４】同実施形態における同期情報の別の一例について説明するための図
【図１５】同実施形態における同期情報の別の一例について説明するための図
【図１６】本発明の第２の実施形態による映像会議システムの構成を示す図
【図１７】同実施形態における第２の映像情報の一例について説明するための図
【図１８】同実施形態による映像会議システムの動作を示すフローチャート
【図１９】同実施形態による映像会議システムの別の動作を示すフローチャート
【図２０】同実施形態による映像会議システムの別の動作を示すフローチャート
【図２１】本発明の第３の実施形態による映像会議システムについて説明するための図
【図２２】同実施形態による映像会議システムの構成を示す図
【図２３】同実施形態による同期情報の一例を示す図
【図２４】同実施形態による映像情報の合成の一例について説明するための図
【符号の説明】
【０１２０】
１１  映像情報記憶部
１２  表示部
１３  撮影部
１４  映像情報受付部
１５  映像情報蓄積部
１６  同期情報管理部
１７  情報合成部
１８、１９  ディスプレイ
２５  映像情報蓄積部
２７  情報合成部
３２  情報合成部
３６  同期情報管理部
３７  情報合成部
【図１】
0005089459.tif 000002
【図２】
0005089459.tif 000003
【図３】
0005089459.tif 000004
【図４】
0005089459.tif 000005
【図５】
0005089459.tif 000006
【図６】
0005089459.tif 000007
【図７】
0005089459.tif 000008
【図８】
0005089459.tif 000009
【図９】
0005089459.tif 000010
【図１０】
0005089459.tif 000011
【図１１】
0005089459.tif 000012
【図１２】
0005089459.tif 000013
【図１３】
0005089459.tif 000014
【図１４】
0005089459.tif 000015
【図１５】
0005089459.tif 000016
【図１６】
0005089459.tif 000017
【図１７】
0005089459.tif 000018
【図１８】
0005089459.tif 000019
【図１９】
0005089459.tif 000020
【図２０】
0005089459.tif 000021
【図２１】
0005089459.tif 000022
【図２２】
0005089459.tif 000023
【図２３】
0005089459.tif 000024
【図２４】
0005089459.tif 000025