(57)【要約】【課題】  複数の端末装置間の映像通信において、静止した被写体を送信画像に含める。【解決手段】  端末装置１００は、マスク情報記憶部３３に格納された直前のマスク情報に、今回検出した動画素を付加して新たなマスク情報を生成する。そして、合成画像生成部１５０は、このマスク情報に基づき、カメラ４００から読み込んだ画像を表示する領域と、背景画像を表示する領域を決定する。また、他の端末装置１００から受信した画像と、端末装置１００が生成した合成画像とを組み合わせた画像を表示装置３００に表示する構成とした。【選択図】  図４
2006279440.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク経由で、１以上の他の端末装置との通信を行う端末装置が、
撮像装置が撮像した第１のフレームの画像と、第２のフレームの画像とを取得するステップと、
記憶部から、前記第１のフレームの画像における被写体の表示領域を示す第１の表示領域情報を読み出すステップと、
前記第１のフレームの画像と前記第２のフレームの画像とを比較して、前記各画像の被写体が動いた領域を検出するステップと、
前記読み出した第１の表示領域情報に、前記検出した被写体が動いた領域の情報を付加した第２の表示領域情報を生成し、前記記憶部に格納するステップと、
前記取得した第２のフレームの画像のうち、前記生成した第２の表示領域情報に示される領域を表示する画像を生成するステップと、
前記ネットワーク経由で、前記生成した画像を前記他の端末装置へ送信するステップと、
を実行することを特徴とする映像通信方法。
【請求項２】
前記端末装置が、
前記生成した画像を、表示装置に表示するステップと、
入力装置からの指示入力に基づき、前記第２の表示領域情報を修正するステップと、
をさらに実行することを特徴とする請求項１に記載の映像通信方法。
【請求項３】
前記端末装置が、
前記ネットワーク経由で、前記他の端末装置から送信された画像を受信するステップと、
前記受信した画像に、前記端末装置が生成した画像を組み込んだ画像を表示装置に表示するステップと、
をさらに実行することを特徴とする請求項１または請求項２に記載の映像通信方法。
【請求項４】
前記端末装置が、
前記記憶部から、背景画像を読み出すステップと、
前記ネットワーク経由で、前記他の端末装置から送信された画像およびこの画像の表示領域情報を受信するステップとをさらに実行し、
前記取得した第２のフレームの画像のうち、前記第２の表示領域情報に示される領域を表示する画像を生成するステップは、
前記読み出した背景画像に、前記受信した他の端末装置の画像のうち、前記表示領域情報に示される領域を表示する画像と、前記取得した第２のフレームの画像のうち、前記第２の表示領域情報に示される領域を表示する画像とを合成した画像を生成するステップであること、
を特徴とする請求項１ないし請求項３のいずれか１項に記載の映像通信方法。
【請求項５】
前記端末装置が、
前記生成した合成画像を表示装置に表示するステップと、
入力装置からの指示入力に基づき、前記第２の表示領域情報を修正するステップと、
をさらに実行することを特徴とする請求項４に記載の映像通信方法。
【請求項６】
前記記憶部は、前記端末装置の識別情報ごとに、前記画像を表示するときの優先度を示す画像優先度テーブルを格納し、
前記端末装置は、
前記読み出した背景画像に、前記受信した他の端末装置の画像のうち、前記表示領域情報に示される領域を表示する画像と、前記取得した第２のフレームの画像のうち、前記第２の表示領域情報に示される領域を表示する画像とを合成した画像を生成するステップにおいて、前記画像優先度テーブルを参照して、優先度の高い端末装置の画像を合成に用いることを特徴とする請求項４または請求項５に記載の映像通信方法。
【請求項７】
撮像装置が接続され、ネットワーク経由で、１以上の他の端末装置との通信を行う端末装置であって、
前記撮像装置から、この撮像装置が撮像した第１のフレームの画像と第２のフレームの画像とを読み込む画像読み込み部と、
背景画像、前記撮像装置から読み込んだ画像およびこの画像の被写体の表示領域を示す表示領域情報を格納する記憶部と、
前記記憶部に格納された背景画像を読み込む背景画像読み込み部と、
前記第１のフレームの画像と前記第２のフレームの画像とを比較して、前記各画像の被写体が動いた領域を検出し、前記記憶部に格納される表示領域情報に、前記検出した領域の情報を付加した表示領域情報を生成し、前記記憶部に格納する動画素検出部と、
前記ネットワーク経由で、前記他の端末装置から送信された画像を受信する受信部と、
前記記憶部から前記表示領域情報を読み出して、前記読み込んだ第２のフレームの画像のうち、前記読み出した表示領域情報に示される領域を表示する画像を生成するとともに、前記生成した画像と、前記他の端末装置から送信された画像とを前記端末装置に接続された表示装置に出力する合成画像生成部と、
前記生成した画像を、前記ネットワーク経由で前記他の端末装置へ送信する送信部と、
を備えることを特徴とする端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像通信方法および端末装置に関する。
【背景技術】
【０００２】
従来から、映像通信において映像発信時の背景を除去することによりプライバシを保護する技術がある。
【０００３】
例えば、映像通信装置が、カメラで撮影した映像信号のうち隣接するフレーム間の映像信号の相対比較を行い、動き量の小さい映像部分を被写体の背景部分として検出する。そして、この映像通信装置が、この背景部分の映像信号を除去した被写体の映像信号を符号化して送信して、家庭内のプライバシやオフィス内の機密を保護する技術がある（特許文献１参照）。
【特許文献１】特開平５−９１４０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、前記した技術では、映像通信装置が、静止状態にあるものの画像をすべて除去するため、相手に送信したい資料や人物像が静止状態と判断されると、相手に送れないという問題がある。また、従来技術では２台以上の通信装置（端末装置）間で撮影した画像を互いに送受信することについては考慮されていないという問題もある。
【０００５】
そこで、本発明は、前記した問題を解決し、静止状態の資料や人物像も、被写体として相手の端末装置へ送信できる映像通信方法等を提供すること、および撮像した画像を２台以上の通信装置（端末装置）間で互いに送受信できる映像通信方法等を提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記した課題を解決するため、本発明は、ネットワーク経由で、１以上の他の端末装置との通信を行う端末装置が、撮像装置が撮像した第１のフレームの画像と、第２のフレームの画像とを取得するステップと、記憶部から、第１のフレームの画像の表示領域を示す第１の表示領域情報を読み出すステップと、第１のフレームの画像と第２のフレームの画像とを比較して、各画像の被写体が動いた領域を検出するステップと、この検出した領域に、第１の表示領域情報を付加した第２の表示領域情報を生成し、記憶部に格納するステップと、取得した第２のフレームの画像のうち、第２の表示領域情報に示される領域を表示する画像を生成するステップと、ネットワーク経由で、生成した画像を他の端末装置へ送信するステップとを実行する方法とした。その他の手段については、後記する実施の形態で述べる。
【発明の効果】
【０００７】
本発明によれば、カメラ等の撮像装置と被写体との間で、被写体（利用者）がジェスチャ等の動作を行うことで、その被写体が静止状態であっても、その被写体の画像を相手方の端末装置へ送信することができる。
【０００８】
つまり、端末装置が画像を通信するときに、被写体（利用者）のプライバシを保護しつつ、相手方の端末装置へ送信する画像領域の指定を簡単に行うことができる。また、２台以上の端末装置をネットワークでつないだ場合でも、同様の効果を得ることができる。
【発明を実施するための最良の形態】
【０００９】
本発明を実施するための最良の形態（以下、実施の形態とする）について、図面を参照しつつ説明する。
【００１０】
《第１の実施の形態》
図１は、本発明の第１の実施の形態の映像通信システムの概略を説明する図である。図１を用いて映像通信システムの概略を説明する。
【００１１】
映像通信システムは、端末装置１００（１００Ａ）と、この端末装置１００（１００Ａ）の通信相手である端末装置１００（１００Ｂ）と、両方の端末装置１００（１００Ａ,Ｂ）を接続するネットワーク７００とを含んで構成される。
【００１２】
端末装置１００Ａには、撮像装置であるカメラ４００Ａと、端末装置１００Ａに各種情報の入力を行うための入力装置２００Ａと、端末装置１００Ａから出力された画像を表示させる表示装置３００Ａとが接続される。また、端末装置１００Ｂにも、撮像装置であるカメラ４００Ｂと、端末装置１００Ｂに各種情報の入力を行うための入力装置２００Ｂと、端末装置１００Ｂから出力された画像を表示させる表示装置３００Ｂとが接続される。
ここでのカメラ４００は、例えば動画の撮像機能を備え、動画を構成するフレーム（第１のフレーム、第１のフレームの次のフレームである第２のフレーム、第２のフレームの次のフレームである第３のフレーム…）の画像を作成する。そして、端末装置１００はカメラ４００で撮像されたフレームの画像を取り込む（読み込む）。なお、このときの画像の取り込みは、カメラ４００がカメラ４００内の記憶部（図示せず）に格納したものを取り込むようにしてもよいし、カメラ４００で撮像された画像を直接取り込むようにしてもよい。
【００１３】
端末装置１００Ａは、カメラ４００Ａで撮像した画像を取り込み、この画像と背景画像とを含む合成画像を生成し、端末装置１００Ｂへ送信するとともに、端末装置１００Ｂからの合成画像を受信する。そして、端末装置１００Ａが生成した合成画像と端末装置１００Ｂからの合成画像とを表示装置３００Ａに表示する。また、端末装置１００Ｂも、同様に端末装置１００Ｂが生成した合成画像と端末装置１００Ａからの合成画像とを表示装置３００Ｂに表示する。
【００１４】
なお、端末装置１００（１００Ａ,Ｂ）は、例えば、通信機能を備えたＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、携帯電話機等により実現される。また、この端末装置１００は、入力装置２００、表示装置３００およびカメラ４００を含んだ構成でもよい。ネットワーク７００は、端末装置１００Ａと端末装置１００Ｂとが通信を行うための通信網であり、例えば、インターネット、ＬＡＮ（Local Area Network ）等である。
【００１５】
図２は、図１の端末装置が生成する画像を説明する図である。適宜図１を参照しつつ、図２を用いて、端末装置１００（１００Ａ,Ｂ）が生成する画像を説明する。
【００１６】
端末装置１００Ａは、端末装置１００Ａで選択された背景画像BGAと、カメラ４００Ａから出力された画像Aと、マスク情報maskAとに基づき合成画像CPAを生成する。このマスク情報maskAは、画像Aを表示させる領域（画像Aの被写体の表示領域）を示した情報である。つまり、マスク情報maskAは、背景画像BGAを表示させず、画像Aを表示させる領域を示した情報である。なお、このマスク情報maskは、請求項における表示領域情報に相当する。
【００１７】
一方、端末装置１００Ｂも、端末装置１００Ｂで選択された背景画像BGBと、カメラ４００Ｂから出力された画像Bと、背景画像BGBのうち背景画像BGBを表示させず、画像Bを表示させる領域を示したマスク情報maskBとに基づいて合成画像CPBを生成する。
【００１８】
端末装置１００Ａ,Ｂはそれぞれ、生成した合成画像CPA,CPBを相手方の端末装置１００へ送信する。
【００１９】
端末装置１００Ａは、端末装置１００Ｂから合成画像CPBを受信し、これに自身の端末装置１００Ａが生成した合成画像CPAを組み合わせた画像（符号２０３参照）を生成する。
【００２０】
また、端末装置１００Ｂも、端末装置１００Ａから合成画像CPAを受信し、これに自身の端末装置１００Ｂが生成した合成画像CPBを組み合わせた画像（符号２０４参照）を生成する。
【００２１】
ここで、図２のマスク情報maskAにおいて領域２０２は、画像Aの表示領域であり、背景画像BGAは表示しない領域である。一方、領域２０２以外の部分は、背景画像BGAの表示領域であり、画像Aは表示しない領域を示す。この領域２０２の情報は、カメラ４００Ａの被写体である人物（符号２０１参照）が写っている領域および所定時間内に画像Aの人物が動く等して、画像の彩度、色相等に変化があった領域を端末装置１００Ａが検出し、生成したものである。
【００２２】
したがって、カメラ４００Ａと静止物との間で、画像A内の被写体である人物（符号２０１参照）がジェスチャを行う等して、カメラ４００Ａが撮像する画像の彩度、色相等に変化を生じるようにすれば、静止物のある領域をマスク情報maskAの領域２０２に含めることができる。つまり、端末装置１００Ａは、静止物を合成画像CPAに含めて端末装置１００Ｂへ送信することができる。また、端末装置１００Ｂについても同様の手順により、合成画像CPBの生成および送信を行うことができる。
【００２３】
なお、従来技術の映像通信装置は、隣接するフレーム（画像）間の比較により、動き量（画像の彩度、色相等の変化量）の大きい領域を被写体部分とし、それ以外の領域は送信画像に含めないので、２フレーム以上前で動き量が大きかった部分については、送信画像に含めない。一方、本実施の形態の端末装置１００は、２フレーム以上前で動き量が大きかった部分についても送信画像に含めるので、つまり動いた部分をマスク情報maskとして追加していくため、端末装置１００の利用者のジェスチャ等により、静止物を合成画像CPに含めて他の端末装置１００へ送信することができる。
【００２４】
図３は、図１の端末装置の構成を示すブロック図である。図１および図２を参照しつつ、図３を用いて、端末装置１００（１００Ａ,Ｂ）の構成を説明する。
【００２５】
端末装置１００は、ＣＰＵ（演算処理装置、Central Processing Unit）１０、プログラムや各種データを記憶するとともにＣＰＵ１０が演算処理を行うときの記憶領域である記憶部３０、ネットワークインタフェース４０および入出力インタフェース５０を備える。
【００２６】
また、端末装置１００には、端末装置１００への各種指示入力を受け付ける入力装置２００、記憶部３０に格納される画像等を出力する表示装置３００および被写体を撮像するカメラ４００が接続される。入力装置２００は、例えばキーボードやマウスであり、表示装置３００は、例えば液晶モニタである。
【００２７】
ＣＰＵ１０は、記憶部３０に格納された映像通信用プログラム３１や各種データに基づき演算処理を行う。記憶部３０は、映像通信用プログラム３１を格納し、所定領域に背景画像記憶部３２、マスク情報記憶部３３および画像記憶部３４を備える。記憶部３０は、例えば不揮発性メモリにより実現される。この記憶部３０に格納される情報の詳細は、図４を用いて詳細に説明する。
なお、本実施の形態では、記憶部３０が映像通信用プログラム３１、背景画像記憶部３２、マスク情報記憶部３３および画像記憶部３４を備えるものとして説明するが、ＲＡＭ（Random Access Memory）等の主記憶部がマスク情報記憶部３３および画像記憶部３４を備え、ハードディスク装置等の補助記憶部が映像通信用プログラム３１および背景画像記憶部３２を備えるようにしてもよい。
【００２８】
ネットワークインタフェース４０は、ＣＰＵ１０と、ネットワーク７００（図１参照）との間のデータ入出力のインタフェースを司る。入出力インタフェース５０は、入力装置２００、表示装置３００およびカメラ４００とＣＰＵ１０との間のデータ入出力のインタフェースを司る。
【００２９】
図４は、第１の実施の形態の映像通信システムを機能展開して説明した図である。図１から図３を参照しつつ、図４を用いて端末装置１００（１００Ａ,Ｂ）を詳細に説明する。なお、端末装置１００Ｂの構成は、端末装置１００Ａの構成と同様であるので説明を省略する。また、図４の端末装置１００Ｂに接続される入力装置２００Ｂ、表示装置３００Ｂおよびカメラ４００Ｂは省略している。
【００３０】
端末装置１００Ａは、背景画像記憶部３２と、マスク情報記憶部３３と、画像記憶部３４と、背景画像選択部１１０と、背景画像読み込み部１２０と、画像読み込み部１３０と、動画素検出部１４０と、合成画像生成部１５０と、送信部１６０と、受信部１７０とを含んで構成される。なお、マスク情報修正部１８０については後記する第２の実施の形態で述べる。
【００３１】
背景画像記憶部３２は、合成画像生成部１５０が画像を合成する際に用いる背景画像BGを格納する。この背景画像BGは、カメラ４００から取り込んだ画像であってもよいし、端末装置１００Ａがネットワーク７００経由で取得した画像であってもよい。
【００３２】
マスク情報記憶部３３は、端末装置１００がカメラ４００から読み込んだ画像を表示し、背景映像は表示しない領域（画素）を示したマスク情報maskを格納する。このマスク情報maskの詳細および、このマスク情報maskを用いた、合成画像CPの生成手順については、後記する。
【００３３】
画像記憶部３４は、画像読み込み部１３０がカメラ４００経由で取得した画像を一時的に格納する。
【００３４】
背景画像選択部１１０は、入力装置２００経由で、背景画像BGの選択情報を受信すると、これに基づき背景画像読み込み部１２０に背景画像記憶部３２から背景画像BGを取得させる（読み込ませる）。背景画像読み込み部１２０は、取得した背景画像BGを、合成画像生成部１５０へ出力する。
【００３５】
画像読み込み部１３０は、カメラ４００から順次、画像（フレームの画像）を読み込み、この画像を画像記憶部３４に一時的に格納する。そして、動画素検出部１４０は、画像読み込み部１３０経由でカメラ４００から出力された画像（第２のフレームの画像）を取得すると、その直前のフレームの画像（第１のフレームの画像）を、画像記憶部３４から読み出す。そして、動画素検出部１４０は、第１のフレームの画像と、その画像に引き続きカメラ４００で撮像された第２のフレームの画像とを比較して、被写体が動いた部分の領域の情報（差分情報）を検出する。このときの差分情報の検出は、フローチャートを用いて詳細に説明する。
【００３６】
そして、動画素検出部１４０は、マスク情報記憶部３３から、第１のフレームの画像とその直前のフレームの画像との差分情報に基づき作成されたマスク情報mask、すなわち直前のマスク情報mask（第１のマスク情報）を読み出し、このマスク情報maskに、今回検出した差分情報を付加したマスク情報mask（第２のマスク情報）を作成する。つまり、第１のマスク情報に示される画像Aの表示領域に、被写体が動いた部分の領域を付加した第２のマスク情報を作成する。
【００３７】
このときのマスク情報作成手順を、図５を用いて説明する。図５は、第１の実施の形態のマスク情報の作成手順を概念的に説明した図である。図５に示すように、第１のマスク情報において画像Aの表示領域が領域５０１であり、差分情報が領域５０２であったとき、図４の動画素検出部１４０は、領域５０１の領域に領域５０２の領域を付加した領域（領域５０３）を画像Aの表示領域とする第２のマスク情報を作成する。
【００３８】
図４の説明に戻る。そして、動画素検出部１４０は、この第２のマスク情報を合成画像生成部１５０に出力するとともに、マスク情報記憶部３３に格納する。また、このとき、動画素検出部１４０は、マスク情報記憶部３３から第１のマスク情報を削除して、第２のマスク情報のみを格納するようにしてもよい。このようにすることで、記憶部３０の記憶容量を有効活用できる。なお、ここで第２のマスク情報をマスク情報記憶部３３へ格納するのは、第３のフレームの画像と、第２のフレームの画像との比較により次のマスク情報mask（第３のマスク情報）を生成するためである。
【００３９】
合成画像生成部１５０は、背景画像読み込み部１２０から出力された背景画像BGと、画像読み込み部１３０で取得された画像と、動画素検出部１４０から出力されたマスク情報とに基づき、合成画像CPを生成する（図２の合成画像CPA参照）。そして、送信部１６０は、合成画像生成部１５０が生成した合成画像CPをネットワーク７００経由で、他の端末装置１００（１００Ｂ）へ送信する。
ここで、合成画像生成部１５０が生成する合成画像CPは、画像Aの背景画像として背景画像読み込み部１２０から出力された背景画像BGを用いるので、プライバシを保護することができる。つまり、画像Aの背景等、端末装置１００Ａの利用者が送信したくない画像部分には、背景画像BGを用いるので、利用者および被写体のプライバシを保護することができる。
【００４０】
送信部１６０は、合成画像生成部１５０が生成した画像をネットワーク７００経由で送信する。また、受信部１７０は、ネットワーク７００経由で他の端末装置１００（１００Ｂ）から送信された画像を、合成画像生成部１５０に出力する。そして、合成画像生成部１５０は、自身が作成した合成画像CPと、他の端末装置１００（１００Ｂ）から送信された画像とを組み合わせた画像（図２の領域２０３参照）を作成し、表示装置３００に表示させる。
【００４１】
なお、前記した構成のうち、背景画像選択部１１０および画像読み込み部１３０は、図３の入出力インタフェース５０およびＣＰＵ１０による映像通信用プログラム３１の実行処理により実現される。また、背景画像読み込み部１２０、動画素検出部１４０および合成画像生成部１５０は、ＣＰＵ１０による映像通信用プログラム３１の実行処理により実現される。さらに、送信部１６０および受信部１７０は、ネットワークインタフェース４０により実現される。
【００４２】
図６は、図１の端末装置の動作を説明するフローチャートである。図１から図５を参照しつつ、図６を用いて、端末装置１００（１００Ａ）の動作を説明する。
【００４３】
まず、端末装置１００の利用者は、入力装置２００を操作して、映像通信用プログラム３１を起動させる。そして、背景画像選択部１１０は、入力装置２００からの背景画像BGAの選択入力を受け付ける。次に、背景画像選択部１１０で受け付けた選択情報に基づき、背景画像読み込み部１２０は、背景画像記憶部３２から背景画像BGAを読み込む（Ｓ５０１）。そして、背景画像読み込み部１２０は、読み込んだ背景画像BGAを、合成画像生成部１５０に出力する。
【００４４】
一方、画像読み込み部１３０は、カメラ４００で撮像された画像（第１のフレームの画像）を読み込むと（Ｓ５０２）、この画像（静止画）を１枚取り込み、初期画像として設定する（Ｓ５０３）。具体的には、画像読み込み部１３０は、第１のフレーム（１番目のフレーム）を初期画像として画像記憶部３４に格納する。
【００４５】
次に、画像読み込み部１３０は、カメラ４００が撮像した画像A（第２のフレームの画像）を読み込み（Ｓ５１１）、この画像も画像記憶部３４に格納する。
【００４６】
そして、動画素検出部１４０は、記憶部３０からＳ５１１で読み込んだ画像Aの直前の画像（直前のフレームの画像）、すなわち初期画像を読み出す（Ｓ５１２）。
【００４７】
次に、動画素検出部１４０は、Ｓ５１１で読み込んだ画像Aと、その直前のフレームの画像（初期画像）とを比較して動画素検出を行う（Ｓ５１３）。つまり、カメラ４００の撮像した画像のうち被写体が動いた部分を検出する。
【００４８】
具体的には、Ｓ５１２で読み出した初期画像の画素（x,y）における彩度をsatiA（x,y）、色相をhueiA（x,y）とし、Ｓ５１１で読み込んだ画像の画素（x,y）における彩度をsatA（x,y）、色相をhueA（x,y）とし、動画素検出部１４０が以下の条件式（１）を満たすと判断したとき、画素の変化が少ないとみなし、画像の画素（x,y）におけるマスク情報maskA（x,y）を「０」とする。一方、動画素検出部１４０が、以下の式（１）または式（２）を満たさないと判断したとき、画素の変化が多いとみなし、画像の画素（x,y）におけるマスク情報maskA（x,y）を「１」とする。
【００４９】
satiA（x,y）-s<satA<satiA（x,y）+s…（１）
s：彩度の閥値
hueiA（x,y）-h<hueA<hueiA（x,y）+h…（２）
h：色相の閥値
【００５０】
動画素検出部１４０は、この画素の変化によるマスク情報の生成を、Ｓ５１１で読み込んだ画像のすべての画素について実施する。
【００５１】
なお、式（１）における彩度の閾値ｓや、式（２）における色相の閾値ｈは、記憶部３０に格納されているものとする。
【００５２】
次に、動画素検出部１４０は、マスク情報記憶部３３からマスク情報maskAを読み出す（Ｓ５１４）。そして、動画素検出部１４０は、Ｓ５１４で読み出したマスク情報maskA（第１のマスク情報）に、Ｓ５１３で検出した動画素（差分情報）を加えたマスク情報maskA（第２のマスク情報）を生成する（Ｓ５１５）。そして、生成したマスク情報maskAをマスク情報記憶部３３に格納する。このとき、動画素検出部１４０はマスク情報記憶部３３から、前回の処理で作成したマスク情報（第１のマスク情報）を削除して、今回のマスク情報（第２のマスク情報）を格納するようにしてもよい。
【００５３】
続いて、合成画像生成部１５０は、画像読み込み部１３０から得られた画像A、動画素検出部１４０から得られたマスク情報maskAおよび背景画像BGAから、合成画像CPAを生成する（Ｓ５１６）。
【００５４】
このときの合成画像生成部１５０は、画像Aのマスク情報maskA（x,y）が「０」であれば、その画素については背景画像BGAを表示する画像とする。一方、画像Aのマスク情報maskA（x,y）が「１」であれば、その画素については画像Aを表示する画像とする。つまり、合成画像生成部１５０は、画像Aと背景画像BGAとの合成画像CPAの（x,y）の位置の画素について、
maskA（x,y）=0ならば、CPA（x,y）＝BGA（x,y）
maskA（x,y）=1ならば、CPA（x,y）＝A（x,y）
とする。合成画像生成部１５０は、これを画像すべての画素について繰り返す。
【００５５】
送信部１６０は、合成画像生成部１５０が生成した合成画像CPAを、ネットワーク７００経由で端末装置１００Ｂへ送信する（Ｓ５１７）。
【００５６】
一方、図６では説明を省略しているが、端末装置１００Ｂにおいても、前記したＳ５０１〜Ｓ５１７の処理手順と同様の処理を実行して、端末装置１００Ｂで、端末装置１００Ｂの合成画像CPBを生成し、端末装置１００Ａへ送信する。
【００５７】
端末装置１００Ａの受信部１７０は、端末装置１００Ｂから送信された合成画像CPBを受信すると（Ｓ５１８）、これを合成画像生成部１５０へ出力する。そして、合成画像生成部１５０は、Ｓ５１６で生成した合成画像CPAに、端末装置１００Ｂから送信された合成画像CPBを組み込んだ画像を生成し、この画像を表示装置３００に表示させる（Ｓ５１９）。そして、Ｓ５１１に戻り、画像読み込み部１３０は、カメラ４００が撮像した第３フレームの画像を読み込む。
【００５８】
第３のフレームの画像を読み込んだＳ５１２では、動画素検出部１４０が、画像記憶部３４から、第３のフレームの画像の直前の画像A、つまり第２のフレームの画像Aを読み出し、Ｓ５１３では第２のフレームの画像Aと第３のフレームの画像Aとを比較して動画素検出を行う。
【００５９】
そして、Ｓ５１４では、動画素検出部１４０が、マスク情報記憶部３３から、直前のマスク情報maskA、すなわち第１のフレームの画像Aと第２のフレームの画像Aとの差分情報に基づき作成されたマスク情報maskAを読み出す。そして、Ｓ５１５では、動画素検出部１４０が、このマスク情報maskAに、Ｓ５１３で検出した動画素（差分情報）を付加したマスク情報maskAを生成する。
【００６０】
このようにして、端末装置１００Ａは、カメラ４００で撮像される被写体の動き（例えば、ジェスチャ）に応じて、背景画像BGAのマスク情報maskAを作成し、この被写体を含む合成画像CPAを他の端末装置１００（１００Ｂ）へ送信する。つまり、端末装置１００Ａの利用者が、端末装置１００Ｂへ画像を送信したい被写体について、カメラ４００の前でジェスチャを行うことで、その被写体を送信画像に含めることができる。なお、端末装置１００の利用者が、入力装置２００を操作して、端末装置１００に映像通信用プログラム３１の終了指示を入力したとき、端末装置１００は前記したＳ５１１からＳ５１９までのループ処理を終了する。
【００６１】
《第２の実施の形態》
次に、図１から図６を参照して、本発明の第２の実施の形態について説明する。第２の実施の形態は、第１の実施の形態の端末装置１００（１００Ａ,Ｂ）が、マスク情報maskを修正するマスク情報修正部１８０をさらに含むことを特徴とする（図４参照）。つまり、端末装置１００Ａの利用者が、ジャスチャで端末装置１００Ｂへの送信する画像の被写体の表示領域（送信画像の範囲）を広げた後、表示装置３００に表示された合成画像CPを見ながら、入力装置２００を操作して、端末装置１００Ｂへの送信画像の範囲を狭くしたり、再び広くしたりできることを特徴とする。
【００６２】
具体的には、図６のＳ５１６において、端末装置１００Ａの合成画像生成部１５０が合成画像CPAを生成した後、この合成画像CPAを表示装置３００へ表示させる。そして、この端末装置１００Ａの利用者は、表示された合成画像CPAを見ながら、マウスやキーボード等の入力装置２００を操作して、端末装置１００Ｂへの送信画像の範囲を指示する入力をする。
【００６３】
この入力を受けてマスク情報修正部１８０は、合成画像生成部１５０が生成したマスク情報maskAを修正することで合成画像CPAを修正する。例えば、マウスから合成画像CPAの所定領域について、画像Aを表示する旨の入力を受けたときは、その画素についてmaskA（x,y）=1とする情報を合成画像生成部１５０へ出力し、背景画像BGAを表示する旨の入力を受けたときは、その画素についてmaskA（x,y）=0とする情報を合成画像生成部１５０へ出力する。そして、合成画像生成部１５０は、これらの修正を反映した合成画像CPAを表示装置３００の画面上に表示させる。
【００６４】
この後、端末装置１００Ａの利用者は、端末装置１００Ｂへ送信する合成画像CPAを確定させる入力を入力装置２００から行うと、これを受けて合成画像生成部１５０は、合成画像CPAを送信部１６０から送信する。また、ここでは説明を省略するが、端末装置１００Ｂにおいても同様にマウスやキーボードを用いて送信画像の範囲を指定することができる。
【００６５】
このようにすることで、端末装置１００（１００Ａ,Ｂ）の利用者は、いったんジェスチャ等で相手の端末装置１００への送信する画像の範囲を決めたあと、マウスやキーボードで送信する画像の範囲を狭めたり、広げたりする等の修正をすることができる。
【００６６】
また、このときの送信画像の範囲の指定は、例えば、画面上でのマウスのドラッグ操作や、マウスの右クリック、左クリック等で指示入力する。
【００６７】
なお、端末装置１００（１００Ａ,Ｂ）のマスク情報修正部１８０は、前記したＣＰＵ１０が、映像通信用プログラム３１を実行することにより実現される。
【００６８】
《第３の実施の形態》
次に、本発明の第３の実施の形態の映像通信システムを説明する。第３の実施の形態の映像通信システムは、端末装置１００（１００Ａ,Ｂ）が、同じ背景画像BPを共有することを特徴とする。
【００６９】
つまり、前記した第１の実施の形態および第２の実施の形態では端末装置１００（１００Ａ,Ｂ）がそれぞれ背景画像BGを選択し、合成画像CPを生成することとしたが、本実施の形態は、片方の端末装置１００（例えば、端末装置１００Ａ）が選択した背景画像BPを背景とした合成画像CPを生成し、この合成画像CPを他方の端末装置１００（例えば、端末装置１００Ｂ）へ送信する。
【００７０】
図７は、第３の実施の形態の表示装置に表示される画像を説明する図である。図７に示すように、本実施の形態の端末装置１００Ａは、背景画像BPを選択し、画像Aをカメラ４００Ａから読み込み、端末装置１００Ａのマスク情報maskAを生成する。そして、端末装置１００Ａが、端末装置１００Ｂから画像Bおよび端末装置１００Ｂのマスク情報maskBを受信したとき、背景画像BPを背景とした合成画像CPを生成し、表示装置３００Ａに表示させる。また、端末装置１００Ａは、この合成画像CPを端末装置１００Ｂへ送信する。このようにすることで、端末装置１００（１００Ａ,Ｂ）で同じ背景画像BPを用いた画像通信を行うことができる。
【００７１】
次に、図１から図７を参照しつつ、図８を用いて第３の実施の形態の映像通信システムを説明する。図８は、第３の実施の形態の映像通信システムを機能展開して説明した図である。前記した実施の形態と同様の構成要素は同じ符号を付して、説明を省略する。なお、端末装置１００Ａの構成は、前記した実施の形態と同様の構成である。
【００７２】
図８に示すように、端末装置１００Ｂは、前記した実施の形態の端末装置１００Ｂに含まれていた背景画像記憶部３２、背景画像選択部１１０、背景画像読み込み部１２０および合成画像生成部１５０を含まない構成となっている。つまり、送信する合成画像CPに用いる背景画像BPは、端末装置１００Ａに格納されるものを用いるので、端末装置１００Ｂで背景画像BPを保持したり、選択したり、背景画像BPとカメラ４００で撮像した画像との合成を行ったりする必要はない。。
【００７３】
次に、適宜図１から図８を参照しつつ、図９を用いて図８の映像通信システムの動作を説明する。図９は、第３の実施の形態の映像通信システムの動作を示すフローチャートである。ここでは、端末装置１００Ａが、端末装置１００Ｂから受信した画像Bおよびマスク情報maskBをもとに合成画像CPを生成し、端末装置１００Ｂへ送信する場合を例に説明する。
【００７４】
端末装置１００ＡのＳ７０１からＳ７１５までの処理内容および端末装置１００ＢのＳ７３２からＳ７５５までの処理内容は、端末装置１００Ｂが背景画像の読み込みは行わないこと以外、図６のＳ５０１からＳ５１５までの処理内容（背景画像読み込み、画像読み込みおよびマスク情報生成）と同様であるので説明を省略し、端末装置１００ＢのＳ７６１の処理内容から説明する。
【００７５】
端末装置１００Ｂの送信部１６０は、Ｓ７５１で画像読み込み部１３０がカメラ４００Ｂから読み込んだ画像Bと、動画素検出部１４０が生成したマスク情報maskBとをネットワーク７００経由で端末装置１００Ａへ送信する（Ｓ７６１）。
【００７６】
端末装置１００Ａの受信部１７０は、ネットワーク７００経由で、端末装置１００Ｂから送信された画像Bとマスク情報maskBと受信する（Ｓ７２１）。そして、端末装置１００Ａの合成画像生成部１５０は、Ｓ７２１で受信した情報と、Ｓ７０１で読み込んだ背景画像maskA、Ｓ７１１でカメラ４００Ａから読み込んだ画像AおよびＳ７１５で生成したマスク情報maskBとに基づき合成画像CPを生成する（Ｓ７２２）。なお、このとき合成画像生成部１５０が生成する合成画像CPは、図７に示すように、同じ背景画像BPを背景とし、マスク情報maskAおよびマスク情報maskBにより、画像Aおよび画像Bの所定領域を表示させたものである。
【００７７】
そして、合成画像生成部１５０は生成した合成画像CPを表示装置３００Ａに表示させ（Ｓ７２３）、この合成画像CPを送信部１６０経由で端末装置１００Ｂへ送信する（Ｓ７２４）。そして、Ｓ７１１に戻る。
【００７８】
一方、端末装置１００Ｂの受信部１７０は、ネットワーク７００経由で、端末装置１００Ａからの合成画像CPを受信すると（Ｓ７６２）、この合成画像CPを表示装置３００Ｂに表示する（Ｓ７６３）。そして、Ｓ７５１に戻る。
【００７９】
このようにすることで、端末装置１００（１００Ａ,Ｂ）は、映像通信（画像通信）において同じ合成画像CPを共有することができる。
【００８０】
なお、端末装置１００Ａの記憶部３０（図２参照）は、端末装置１００の識別情報（端末ＩＤ）ごとに、画像を表示するときの優先度を示す画像優先度テーブルを格納するようにしてもよい。すなわち、端末装置１００Ａの合成画像生成部１５０は、合成画像CPを生成するとき（図９のＳ７２２）、この画像優先度テーブルを参照して、最も優先度の高い端末装置１００から送信された画像を表示させるようにしてもよい。この画像優先度テーブルの例を、表１に例示する。
【００８１】
【表１】
2006279440.tif 000003
【００８２】
表１において、端末ＩＤ「Ａ」の端末装置１００の優先度は「１」であり、端末ＩＤ「Ｂ」の端末装置１００の優先度は「２」であることを示す。つまり、合成画像生成部１５０は、端末ＩＤ「Ａ」の端末装置１００からの画像における被写体と、端末ＩＤ「Ｂ」の端末装置１００からの画像における被写体とが重なりあうとき、優先度の高い端末ＩＤ「Ａ」の端末装置１００からの画像における被写体を表示させるように画像を合成する。
【００８３】
このときの合成画像の生成方法は、合成画像生成部１５０は、端末装置１００から送信された端末ＩＤ、画像（画像A,B）およびマスク情報maskを受信すると、マスク情報maskを見て、すべての端末装置１００のマスク情報maskが「０」であれば、背景画像BPを表示し、マスク情報maskが「１」である端末装置１００があれば、マスク情報maskが「１」である端末装置１００の中で、優先度が最も高い端末装置１００の画像を表示する。つまり、合成画像生成部１５０は、画像Aと画像Bとの合成画像CPの（x,y）の位置の画素について、
maskA（x,y）=0かつmaskB（x,y）=0ならば、CP（x,y）＝BP（x,y）
maskA（x,y）=1かつmaskB（x,y）=0ならば、CP（x,y）＝A（x,y）
maskA（x,y）=0かつmaskB（x,y）=1ならば、CP（x,y）＝B（x,y）
maskA（x,y）=1かつmaskB（x,y）=1ならば、CP（x,y）は、画像優先度テーブルで最も優先度の高い端末装置１００の画像の画素とする。これをすべての画素について繰り返す。
【００８４】
このようにすることで、端末装置１００Ａが１以上の端末装置１００からの映像に基づき合成画像を生成し、配信する場合でも、どの端末装置１００からの画像を優先的に表示するかを決定することができる。つまり、複数の端末装置１００間での映像通信を行いやすくなる。
【００８５】
なお、この画像優先度テーブルは、端末装置１００の利用者が入力装置２００等を用いて設定や変更をするようにしてもよい。また、端末装置１００が音声入力装置を備え、端末装置１００の利用者の音声データの送受信を行う場合、現在発言している利用者の端末装置１００の優先度を上げる等して、発言者の画像を優先的に表示させるようにしてもよい。
【００８６】
また、本実施の形態の端末装置１００（１００Ａ,Ｂ）も、マスク情報修正部１８０（図４参照）をさらに備えるようにして、端末装置１００（１００Ａ,Ｂ）が画像を送信する前に、画像（マスク情報mask）を修正できるようにしてもよい。
【００８７】
《第４の実施の形態》
次に、本発明の第４の実施の形態の映像通信システムについて説明する。第４の実施の形態の映像通信システムは、ネットワーク７００に接続されたサーバ５００が端末装置１００（１００Ａ,Ｂ）から送信された画像およびマスク情報に基づき合成画像CPを生成し、端末装置１００（１００Ａ,Ｂ）へ送信（配信）することを特徴とする。
【００８８】
図１０は、第４の実施の形態の映像通信システムを機能展開して説明したブロック図である。前記した実施の形態と同様の構成要素は同じ符号を付して、説明を省略する。図１０に示すように、本実施の形態の映像通信システムは、端末装置１００Ａと、端末装置１００Ｂと、端末装置１００（１００Ａ,Ｂ）からの画像を受信し、これらの画像に基づく合成画像CPを送信するサーバ５００とを含んで構成される。
【００８９】
端末装置１００Ａには、カメラ４００Ａ、入力装置２００Ａおよび表示装置３００Ａが接続される。また、端末装置１００Ｂにもカメラ４００Ｂ、入力装置２００Ｂおよび表示装置３００Ｂが接続されるが、ここでは説明を省略している。
【００９０】
端末装置１００（１００Ａ,Ｂ）は、前記した第３の実施の形態の端末装置１００Ｂの構成に、入力装置２００と、この入力装置２００からの指示入力に基づき背景画像BPの選択情報をサーバ５００へ送信する背景画像選択部１１０とを備える。
【００９１】
サーバ５００は、背景画像記憶部３２と、背景画像読み込み部１２０と、ネットワーク７００経由で端末装置１００からの各種情報を受信する受信部５７０と、端末装置１００へ各種情報を送信する送信部５６０と、受信部５７０経由で受信した端末装置１００からの画像A,Bおよびマスク情報maskと、背景画像BPとの合成画像CPを生成する合成画像生成部１５０とを備える。このサーバ５００は、ＣＰＵ、メインメモリ、記憶部（ハードディスク装置）、ネットワークインタフェース等を備えるコンピュータにより実現される。
【００９２】
サーバ５００の記憶部は、所定領域に背景画像記憶部３２を備え、ＣＰＵに合成画像生成部１５０の機能を実現させるプログラムを格納する。また、送信部５６０および受信部５７０は、サーバ５００のネットワークインタフェースにより実現される。
【００９３】
図１１は、第４の実施の形態の映像通信システムの動作を示すフローチャートである。適宜図１から図１０を参照しつつ、図１１を用いて本実施の形態の映像通信システムの動作を説明する。なお、ここでは、サーバ５００が２台の端末装置１００（１００Ａ,Ｂ）と通信を行う場合を例に説明する。
【００９４】
まず、端末装置１００（１００Ａ,Ｂ）の利用者は、入力装置２００を操作して、背景画像選択部１１０で背景画像BPの選択入力を行う。これを受けて背景画像選択部１１０は、送信部１６０経由で、サーバ５００へ背景画像BPの選択情報を送信し（Ｓ１００１）、Ｓ１００２へ進む。
【００９５】
サーバ５００の背景画像読み込み部１２０は、ネットワーク７００および受信部５７０経由で、背景画像BPの選択情報を受信すると、これに基づき背景画像記憶部３２から背景画像BPを読み込む（Ｓ１１１１）。
【００９６】
一方、端末装置１００（１００Ａ,Ｂ）はＳ１００１で背景画像BPの選択情報を送信した後、図９のＳ７３２からＳ７６１と同様の手順により、端末装置１００（１００Ａ,Ｂ）の画像A,Bと、マスク情報maskAおよびマスク情報maskBを送信する（Ｓ１００２〜Ｓ１０１３）。
【００９７】
サーバ５００の合成画像生成部１５０は、受信部５７０で、端末装置１００（１００Ａ,Ｂ）の画像およびマスク情報を受信すると（Ｓ１１２１）、Ｓ１１１１で読み込んだ背景画像BPと、端末装置１００（１００Ａ,Ｂ）の画像A,Bと、マスク情報maskAおよびマスク情報maskBとに基づき合成画像CPを生成する（Ｓ１１２２）。そして、図９のＳ７２４と同様に、送信部５６０は、合成画像生成部１５０で生成した合成画像CPをネットワーク７００経由で端末装置１００（１００Ａ,Ｂ）へ送信する（Ｓ１１２３）。そして、Ｓ１１２１へ戻る。
【００９８】
端末装置１００（１００Ａ,Ｂ）は、受信部１７０でサーバ５００からの合成画像CPを受信すると（Ｓ１０２１）、この合成画像CPを表示装置３００へ表示させる（Ｓ１０２２）。そして、Ｓ１０１１に戻る。
【００９９】
なお、端末装置１００（１００Ａ,Ｂ）は、前記した実施の形態と同様にマスク情報修正部１８０をさらに備えるようにして、Ｓ１０１３で画像とマスク情報maskとをサーバ５００へ送信する前に、入力装置２００の入力操作によりマスク情報maskに修正を加えるようにしてもよい。
【０１００】
このようにすることでも、端末装置１００（１００Ａ,Ｂ）は映像通信をすることができる。なお、本実施の形態では、動画素検出は、端末装置１００側で行うものとして説明したが、サーバ５００側で行うようにしてもよい。つまり、動画素検出部１４０をサーバ５００側が備えるようにしてもよい。このようにすることで、端末装置１００で映像通信処理に必要なＣＰＵ１０の処理負荷を軽減することができる。
【０１０１】
本実施の形態に係る端末装置１００（１００Ａ,Ｂ）は、前記したような処理を実行させる映像通信用プログラム３１によって実現することができ、そのプログラムをコンピュータによる読み取り可能な記憶媒体（ＣＤ−ＲＯＭ等）に記憶して提供することが可能である。また、そのプログラムを、ネットワーク７００を通して提供することも可能である。
【０１０２】
なお、前記した実施の形態では、主として端末装置１００Ａおよび端末装置１００Ｂの２台の端末装置１００間で映像通信を行う場合を説明したが、３台以上の端末装置１００間で映像通信を行うようにしてもよい。その他についても、本発明の趣旨を逸脱しない範囲で変形可能である。
【図面の簡単な説明】
【０１０３】
【図１】本発明の第１の実施の形態の端末装置を含む映像通信システムの概略を説明する図である。
【図２】図１の端末装置が生成する画像を説明する図である。
【図３】図１の端末装置の構成を示すブロック図である。
【図４】第１の実施の形態の映像通信システムを機能展開して説明した図である。
【図５】第１の実施の形態のマスク情報の作成手順を概念的に説明する図である。
【図６】図１の端末装置の動作を説明するフローチャートである。
【図７】第３の実施の形態の表示装置に表示される画像を説明する図である。
【図８】第３の実施の形態の映像通信システムを機能展開して説明した図である。
【図９】第３の実施の形態の映像通信システムの動作を示すフローチャートである。
【図１０】第４の実施の形態の映像通信システムを機能展開して説明したブロック図である。
【図１１】第４の実施の形態の映像通信システムの動作を示すフローチャートである。
【符号の説明】
【０１０４】
１０    ＣＰＵ
３０    記憶部
３１    映像通信用プログラム
３２    背景画像記憶部
３３    マスク情報記憶部
３４    画像記憶部
４０    ネットワークインタフェース
５０    入出力インタフェース
１００（１００Ａ,Ｂ）  端末装置
１１０  背景画像選択部
１４０  動画素検出部
１５０  合成画像生成部
１６０,５６０  送信部
１７０,５７０  受信部
１８０  マスク情報修正部
２００（２００Ａ,Ｂ）  入力装置
３００（３００Ａ,Ｂ）  表示装置
４００（４００Ａ,Ｂ）  カメラ（撮像装置）
５００  サーバ
７００  ネットワーク                                                                                
【図１】
2006279440.tif 000004
【図２】
2006279440.tif 000005
【図３】
2006279440.tif 000006
【図４】
2006279440.tif 000007
【図５】
2006279440.tif 000008
【図６】
2006279440.tif 000009
【図７】
2006279440.tif 000010
【図８】
2006279440.tif 000011
【図９】
2006279440.tif 000012
【図１０】
2006279440.tif 000013
【図１１】
2006279440.tif 000014