(57)【特許請求の範囲】
【請求項１】
映像内の被写体を符号化し、所望の相手との間で送受信する映像送受信装置であって、
入力映像の各部分領域について被写体内部である確率を算出する被写体確信度算出機能を備え、入力映像から前記被写体の写っている被写体領域を抽出する被写体領域抽出手段と、
出力映像のフレーム画像を記憶する出力フレーム記憶手段と、
直前の出力フレーム画像のうち、被写体領域抽出手段により抽出された、現フレームでの被写体領域内、または、直前フレームでの被写体領域のいずれかに含まれる画素に対し、直前の出力フレームの画素値と、入力映像の現フレームの画素値とから、前記被写体確信度算出機能により算出した被写体確信度に基づいた重み付けを行うことにより、次の出力フレーム画像を生成する映像合成手段と、
予め設定されたフレーム間隔ごとに、出力フレームの全領域を、入力映像の現フレームの画素データで上書きして次の出力フレーム画像を生成する全画面更新手段と、
前記出力フレーム記憶部の映像を所望の相手に送信する映像送信手段と、
を備えたことを特徴とする映像送受信装置。
【請求項２】
コンピュータに映像内の被写体の抽出および符号化を実行させ、所望の相手との間で送受信させるための映像送受信プログラムであって、
入力映像の各部分領域について被写体内部である確率を算出する被写体確信度算出手順を備え、入力映像から前記被写体の写っている被写体領域を抽出する被写体領域抽出手順と、
出力映像のフレーム画像を記憶する出力フレーム記憶手順と、
直前の出力フレーム画像のうち、前記被写体領域抽出手順により抽出された、現フレームでの被写体領域内、または、直前フレームでの被写体領域のいずれかに含まれる画素に対し、直前の出力フレームの画素値と、入力映像の現フレームの画素値とから、前記被写体確信度算出手順により算出した被写体確信度に基づいた重み付けを行うことにより、次の出力フレーム画像を生成する映像合成手順と、
予め設定されたフレーム間隔ごとに、出力フレームの全領域を、入力映像の現フレームの画素データで上書きして次の出力フレーム画像を生成する全画面更新手順と、
前記出力フレーム記憶部の映像を所望の相手に送信する映像送信手順と、
を備えたことを特徴とする映像送受信プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像送受信装置および映像送受信プログラムに関し、特に、映像内の被写体を抽出して符号化を行う映像送受信装置および映像送受信プログラムに関する。
【０００２】
【従来の技術】
従来の映像送受信方法は、特開昭６３−１８７８８９号公報および実開平０１−１４７５８０号公報に示されるように、背景の映像を異なる映像に差し替えることによって、送信したくない被写体以外の領域を伝送しない目的で用いられている。
従来の映像送受信装置の一例を図１６に示す。この映像送受信装置は、ビデオカメラなどの撮像装置６０１と、プログラム制御により動作するデータ処理装置６０２と、情報を記憶するデータ記憶装置６０３と、通信装置６０４を含む。データ処理装置６０２は、映像入力手段７０１と、被写体領域抽出手段７０２、映像合成手段７０３および符号化手段７０４を備えている。データ記憶装置６０３は入力フレーム記憶部８０１と、被写体領域記憶部８０２、背景画像記憶部８０３および出力フレーム記憶部８０４を備えている。また、背景映像記憶部８０３は、差し替えのための背景画像をあらかじめ記憶している。
【０００３】
映像入力手段７０１は、撮像装置６０１から被写体を含む入力映像が与えられると、その映像を一フレームごとにデジタル信号に変換し、入力フレーム記憶部８０１に記録する。被写体領域抽出手段７０２は、入力フレーム記憶部８０１に記録された画像から被写体像の領域を抽出し、その領域の位置および形状を被写体領域記憶部８０２に記録する。映像合成手段７０３は、被写体領域記憶部８０２に記録された被写体の位置および形状の情報に基づいて、被写体領域内では入力フレーム記憶部８０１の画像を、被写体領域外では背景画像記憶部８０３の画像を、それぞれ出力フレーム記憶部８０４に記録する。符号化手段７０４は、出力フレーム記憶部８０４から映像を読み出し、符号化を行い、通信装置６０４に出力する。
【０００４】
また、従来の映像送受信装置の他の例としては、特開２０００−２０９５９０号公報に記載されている装置がある。この公報に記載された映像送受信装置は、撮影画像を被写体の領域と背景の領域とに分離し、量子化時に被写体領域と背景領域とで異なる符号量を割り当てることによって、ユーザの所望する情報を効率的に符号化する目的で用いられている。データ出力装置の構成は、図１６の構成から映像合成手段７０３を除いたものとなっている。また、データ記憶装置の構成は、図１６の構成から背景画像記憶部８０３と出力フレーム記憶部８０４を除いたものとなっている。符号化手段７０４は、量子化を行う際、被写体領域記憶部８０２に記録された被写体の位置および形状の情報に基づいて、被写体領域内では多くの符号量を割り当て、被写体領域外では少ない符号量を割り当てて符号化を行う。また、テレビ電話などのように、映像の送受信を同時に行うような従来の映像送受信装置では、送信映像は、矩形の子画面として、受信画面の一部に重なって表示される。
【０００５】
【発明が解決しようとする課題】
従来の映像送受信装置は以上のように構成されていたので、量子化時に符号量を制御する従来の映像送受信装置において背景に動きがある場合、背景の符号量を十分に低減できないため、符号化効率が十分に向上しないという課題があった。
【０００６】
また、背景を差し替える方法において、被写体領域の抽出不足または誤抽出が生じたフレームにおいて、被写体の欠損または不要な背景の出力が生じるため、被写体領域の抽出精度が不十分であると、被写体の抽出不足によって被写体領域の一部が突然消えたり、背景の誤抽出によって背景が突然現れるといった現象が発生する課題があった。
【０００９】
本発明は、上述したような課題を解決するためになされたものであり、本発明の第１の目的は、背景に動きがある場合においても、符号化効率を向上させることが可能な映像送受信装置および映像送受信プログラムを提供することにある。
【００１０】
また、本発明の第２の目的は、出力映像における被写体および背景領域の点滅を抑制可能な映像送受信装置および映像送受信プログラムを提供することにある。
【００１３】
【課題を解決するための手段】
本発明に係る映像送受信装置は、映像内の被写体を符号化し、所望の相手との間で送受信する映像送受信装置であって、入力映像の各部分領域について被写体内部である確率を算出する被写体確信度算出機能を備え、入力映像から前記被写体の写っている被写体領域を抽出する被写体領域抽出手段と、出力映像のフレーム画像を記憶する出力フレーム記憶手段と、直前の出力フレーム画像のうち、被写体領域抽出手段により抽出された、現フレームでの被写体領域内、または、直前フレームでの被写体領域のいずれかに含まれる画素に対し、直前の出力フレームの画素値と、入力映像の現フレームの画素値とから、前記被写体確信度算出機能により算出した被写体確信度に基づいた重み付けを行うことにより、次の出力フレーム画像を生成する映像合成手段と、予め設定されたフレーム間隔ごとに、出力フレームの全領域を、入力映像の現フレームの画素データで上書きして次の出力フレーム画像を生成する全画面更新手段と、前記出力フレーム記憶部の映像を所望の相手に送信する映像送信手段とを備えたことを特徴とする。
【００１４】
本発明に係る映像送受信プログラムは、コンピュータに映像内の被写体の抽出および符号化を実行させ、所望の相手との間で送受信させるための映像送受信プログラムであって、入力映像の各部分領域について被写体内部である確率を算出する被写体確信度算出手順を備え、入力映像から前記被写体の写っている被写体領域を抽出する被写体領域抽出手順と、出力映像のフレーム画像を記憶する出力フレーム記憶手順と、直前の出力フレーム画像のうち、前記被写体領域抽出手順により抽出された、現フレームでの被写体領域内、または、直前フレームでの被写体領域のいずれかに含まれる画素に対し、直前の出力フレームの画素値と、入力映像の現フレームの画素値とから、前記被写体確信度算出手順により算出した被写体確信度に基づいた重み付けを行うことにより、次の出力フレーム画像を生成する映像合成手順と、予め設定されたフレーム間隔ごとに、出力フレームの全領域を、入力映像の現フレームの画素データで上書きして次の出力フレーム画像を生成する全画面更新手順と、前記出力フレーム記憶部の映像を所望の相手に送信する映像送信手順とを備えたことを特徴とする。
【００２９】
【発明の実施の形態】
次に、本発明の実施の一形態について図面を参照して詳細に説明する。
図１は、本発明の第１の実施の形態の映像送受信装置の構成を示すブロック図である。この映像送受信装置は、ビデオカメラなどの撮像装置１と、通信装置（映像送信手段）２と、プログラム制御により動作するデータ処理装置３ａと、情報を記憶するデータ記憶装置４ａとを含む。
【００３０】
データ処理装置３ａは、映像入力手段３００と、被写体領域抽出手段３０１ａ、フレームレート調整手段３０２、映像合成手段３０３ａ、全画面更新手段３０４、フレーム番号更新手段３０５、前フレーム被写体領域更新手段３０６および符号化手段（映像送信手段）３０７を備えている。また、データ記憶装置４ａは、入力フレーム記憶部４０と、被写体領域記憶部４１ａ、前フレーム被写体領域記憶部４２、背景更新間隔記憶部４３、フレーム番号記憶部４４および出力フレーム記憶部４５を備えている。背景更新間隔記憶部４３には背景を何フレーム間隔で更新するかという数値データが格納されている。また、フレーム番号記憶部４４には、初期フレームにおいて「０」が格納されている。
【００３１】
撮像装置１によって撮影された映像は映像入力手段３００に供給される。映像入力手段３００は入力された映像を一フレームごとにデジタル信号に変換し、入力フレーム記憶部４０に格納する。被写体領域抽出手段３０１ａは、入力フレーム記憶部４０からフレームのデータを読み出した後、被写体の写っている領域を抽出し、抽出結果を被写体領域記憶部４１ａに格納する。この結果、被写体領域記憶部４１ａには、フレーム内の各画素について、その画素が被写体領域内か否かを示す２値の識別データが格納される。
【００３２】
フレームレート調整手段３０２はフレーム番号記憶部４４からフレーム番号を読み出す。フレーム番号が「１」以上であれば映像合成手段３０３ａを呼び出し、「０」であれば全画面更新手段３０４を呼び出す。映像合成手段３０３ａは、各画素について、被写体領域記憶部４１ａおよび前フレーム被写体領域記憶部４２からそれぞれ２値の識別データを読み出す。画面内のある座標の画素について、少なくともどちらか一方の識別データが“１”であれば、出力フレーム記憶部４５の当該座標の画素データを、入力フレーム記憶部４０の当該座標の画素データで置き換える。以上の処理を全画素について行う。
【００３３】
全画面更新手段３０４は入力フレーム記憶部４０の画像データを読み出し、出力フレーム記憶部４５に格納するものである。
フレーム番号更新手段３０５は、先ず、フレーム番号に「１」を加え、フレーム番号と背景更新間隔を比較する。そして、一致していればフレーム番号を「０」としフレーム番号記憶部４４に書き込む。また、一致していなければ、フレーム番号をそのままフレーム番号記憶部４４に書き込む。
前フレーム被写体領域更新手段３０６は、被写体領域記憶部４１aから各画素の２値の識別データを読み出し、前フレーム被写体領域記憶部４２に格納するものである。
符号化手段３０７は、出力フレーム記憶部からフレームの画像データを読み出し、符号化を行い、通信装置２を介して所望の相手先に映像を送信するものである。
【００３４】
図２は、この第１の実施の形態の映像送受信装置の動作を示すフローチャートであり、以下、図１と図２のフローチャートを参照して、この第１の実施の形態の動作について詳細に説明する。
撮像装置１から与えられた映像は映像入力手段３００に供給される。映像入力手段３００は、映像が供給されると、一フレームごとにデジタル信号に変換し、入力フレーム記憶部４０に格納する（ステップＳ１０１）。
以上の処理を終了すると、映像入力手段３００は被写体領域抽出手段３０１ａを呼び出す。被写体領域抽出手段３０１ａは、入力フレーム記憶部４０からフレームのデータを読み出した後、被写体の写っている領域を抽出し、抽出結果を被写体領域記憶部４１ａに格納する（ステップＳ１０２）。以上の処理を終了すると、被写体領域抽出手段３０１ａはフレームレート調整手段３０２を呼び出す。
【００３５】
フレームレート調整手段３０２は、先ず、フレーム番号記憶部４４からフレーム番号を読み出し（ステップＳ１０３）、フレーム番号が「０」であるか調べる（ステップＳ１０４）。この結果、「０」であれば背景更新フレームと見なして全画面更新手段３０４を呼び出す（ステップＳ１０５）。「１」以上であれば通常フレームと見なして映像合成手段３０３ａを呼び出す（ステップＳ１０６）。
【００３６】
ステップＳ１０５の処理では、全画面更新手段３０４が、先ず、入力フレーム記憶部４０の画像データを読み出し、出力フレーム記憶部４５に格納する。以上の処理を終了すると、全画面更新手段３０４は、フレーム番号更新手段３０５を呼び出しステップＳ１０７へ進む。
【００３７】
ステップＳ１０６の処理では、映像合成手段３０３ａが、先ず、各画素について被写体領域記憶部４１ａおよび前フレーム被写体領域記憶部４２から、それぞれ２値の識別データを読み出す。画面内のある座標の画素について、少なくともどちらか一方の識別データが“１”であれば、出力フレーム記憶部４５の当該座標の画素データを、入力フレーム記憶部４０の当該座標の画素データで置き換える。以上の処理を全画素について行う。以上の処理を終了すると、映像合成手段３０３ａはフレーム番号更新手段３０５を呼び出しステップＳ１０７へ進む。
【００３８】
フレーム番号更新手段３０５は、先ず、フレーム番号記憶部４４からフレーム番号を読み出し、フレーム番号に「１」を加える（ステップＳ１０７）。次に、背景更新間隔記憶部４３から背景更新間隔を読み出し、背景更新間隔とフレーム番号と比較する（ステップＳ１０８）。この結果、一致していればフレーム番号を「０」に初期化する（ステップＳ１０９）。最後に、新たなフレーム番号をフレーム番号記憶部４４に書き込む（ステップＳ１１０）。以上の処理を終了すると、フレーム番号更新手段３０５は前フレーム被写体領域更新手段３０６を呼び出す。
【００３９】
前フレーム被写体領域更新手段３０６は、被写体領域記憶部４１aから各画素の２値の識別データを読み出し、前フレーム被写体領域記憶部４２に格納する（ステップＳ１１１）。以上の処理を終了すると、前フレーム被写体領域更新手段３０６は符号化手段３０７を呼び出す。符号化手段３０７は、出力フレーム記憶部４５からフレームの画像データを読み出し、符号化を行い、通信装置２を介して所望の相手先に映像を送信する（ステップＳ１１２）。以上の処理が終了すると、ステップＳ１０１へ戻り、符号化手段３０７が映像入力手段３００を呼び出す。
なお、図２に示すフローチャートは、データ処理装置３ａをコンピュータで実現したときに、そのコンピュータに前記各ステップの処理を実行させる映像送受信プログラムを構成する。
【００４０】
すなわち、フレームレート調整手段３０２によって通常のフレームでは被写体の存在する領域、および直前のフレームに被写体が存在した領域のみが更新され、また、一定のフレーム間隔で全画面が更新されるため、被写体のフレームレートはそのままに、背景のフレームレートだけを下げることが出来、この結果、背景に動きがある映像においても符号量を低減できる。
【００４１】
以上のように、この第１の実施の形態によれば、通常のフレームでは被写体の存在する領域、および直前のフレームに被写体が存在した領域のみが更新される。また、一定のフレーム間隔で全画面が更新される。これにより、入力映像において背景に動きが生じても、出力映像の背景領域は一定フレーム間隔でしか変化せず、符号量を抑制できる効果がある。
【００４２】
また、被写体領域抽出において領域の過不足が発生しても、出力フレームは直前フレームの画素がそのまま出力されるか、現在の入力フレームで上書きされるのみであり、どの画素についても無信号になることはない。このため、被写体の抽出不足が発生しても、出力画像から被写体の姿が消えることはなく、背景の誤抽出が発生しても、背景の一部だけが出力されることはない。
【００４３】
また、あるフレームで被写体抽出に過不足が発生した場合においても、一定のフレーム間隔で画面全体が更新されるため、抽出失敗による画面の破綻が、全画面更新以後のフレームに波及しない効果がある。
【００４４】
次に、本発明の第１の実施例を図３を参照して詳細に説明する。かかる実施例は前記第１の実施の形態に対応するものである。
先ず、本実施例の構成について説明する。本実施例は、撮像装置１としてビデオカメラを、データ処理装置３ａとしてパーソナルコンピュータを、データ記憶装置４ａとして半導体記憶装置を、通信装置２として携帯電話を備えている。パーソナルコンピュータは、映像入力手段３００および被写体領域抽出手段３０１ａ、フレームレート調整手段３０２、映像合成手段３０３ａ、全画面更新手段３０４、フレーム番号更新手段３０５、前フレーム被写体領域更新手段３０６、符号化手段３０７として機能する中央演算装置を有している。また、半導体記憶装置には背景更新間隔およびフレーム番号が記憶されている。背景更新間隔は「１０」、フレーム番号は初期値として「０」が記憶されている。
【００４５】
次に、この第１の実施例の動作について図３を参照して説明する。
フレーム番号が「０」のとき入力映像が与えられると、前記中央演算装置によって被写体領域１０３が抽出される。抽出処理には、背景差分や実開平０１−１４７５８０号公報に示される従来の方法を用いることが出来る。今、フレーム番号が「０」であるので、前記中央演算装置は入力フレーム１０１の画像をそのまま出力フレーム１０７に格納する。前記中央演算装置はフレーム番号に加えて新たなフレーム番号を「１」とし、前フレームの被写体領域に被写体領域１０３の画像を格納する。最後に前記中央演算装置は出力フレームの符号化処理１０９を行い、通信装置へ出力する。
【００４６】
フレーム番号が「１」のとき入力映像が与えられると、前記中央演算装置によって被写体領域１０４が抽出される。フレーム番号が「１」以上であるので、前記中央演算装置は被写体領域１０４と前フレーム被写体領域１０３の和で示される領域１０５を更新する。前出力フレーム１０７の上に入力フレーム１０２の画像を、領域１０５で示された領域のみ合成する合成処理１０６を行い、出力フレーム１０８に格納する。最後に前記中央演算装置は出力フレーム１０８の符号化処理１１０を行い、通信装置２へ出力する。
【００４７】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
図４は、本発明の第２の実施の形態の映像送受信装置の構成を示すブロック図である。この映像送受信装置は、ビデオカメラなどの撮像装置１と、通信装置２と、プログラム制御により動作するデータ処理装置３ｂと、情報を記憶するデータ記憶装置４ｂと、操作ボタンを備えた操作パネルなどの背景設定装置５とを含む。
【００４８】
データ処理装置３ｂは、映像入力手段３００と、被写体領域抽出手段３０１ｂ、映像合成手段３０３ｂ、符号化手段３０７、背景設定手段３０８を備えている。また、データ記憶装置４ｂは、入力フレーム記憶部４０と、被写体確信度記憶部４１ｂ、出力フレーム記憶部４５、背景画像記憶部４６、背景画像群記憶部４７を備えている。背景画像群記憶部４７には、一つ以上の背景画像が格納されている。
【００４９】
撮像装置１によって撮影された映像は映像入力手段３００に供給される。映像入力手段３００は、入力された映像を一フレームごとにデジタル信号に変換し、入力フレーム記憶部４０に格納する。被写体領域抽出手段３０１ｂは、入力フレーム記憶部４０からフレームのデータを読み出した後、各画素について「その画素が被写体の内部である確率」を算出し、抽出結果を被写体確信度記憶部４１ｂに格納する。この結果、被写体確信度記憶部４１ｂには、フレーム内の各画素について、その画素が被写体領域内である確率を示す０から１の間の被写体確信度データが格納される。
【００５０】
映像合成手段３０３ｂは、各画素について被写体確信度記憶部４１ｂから被写体確信度データを読み出す。画面内のある座標の画素について、入力フレーム記憶部４０の当該座標の画素データと、背景画像記憶部４６の当該座標の画素データとを、当該座標の被写体確信度データの重み付けで半透明合成し、出力フレーム記憶部４５の当該座標の画素データに格納する。これによって、被写体内部である確率が高い画素では主に入力フレームの画素が出力され、被写体内部である確率が低い画素では主に背景画像の画素が出力される。以上の処理を全画素について行う。
【００５１】
符号化手段３０７は、出力フレーム記憶部４５からフレームの画像データを読み出し、符号化を行い、通信装置２を介して所望の相手先に映像を送信する。
背景設定装置５によって入力された背景の設定信号は、背景設定手段３０８に供給される。背景設定手段３０８は、背景画像群記憶部４７に格納されている画像のうち、背景設定装置５によって指定された背景画像を背景画像群記憶部４７から読み出し、背景画像記憶部４６に格納する。
【００５２】
次に、図４と図５のフローチャートを参照して、この第２の実施の形態の動作について詳細に説明する。
背景設定装置５から与えられた背景設定信号は背景設定手段３０８に供給される。背景設定手段３０８は背景設定信号を受信しているどうかを調べる（ステップＳ２０１）。この結果、背景設定信号を受信していれば、背景設定手段３０８は、背景画像群記憶部４７に格納されている画像のうち、背景設定装置５によって指定された背景画像を背景画像群記憶部４７から読み出し背景画像記憶部４６に格納する（ステップＳ２０２）。以上の処理を終了すると、背景設定装置５は映像入力手段３００を呼び出す。映像入力手段３００は、撮像装置１から供給された映像を一フレームごとにデジタル信号に変換し、入力フレーム記憶部４０に格納する（ステップＳ２０３）。以上の処理を終了すると、映像入力手段３００は被写体領域抽出手段３０１ｂを呼び出す。被写体領域抽出手段３０１ｂは、入力フレーム記憶部４０からフレームのデータを読み出した後、各画素について「その画素が被写体の内部である確率」を算出し、抽出結果を被写体確信度記憶部４１ｂに格納する（ステップ２０４）。以上の処理を終了すると、被写体領域抽出手段３０１ａは映像合成手段３０３ｂを呼び出す。映像合成手段３０３ｂは、各画素について被写体確信度記憶部４１ｂから被写体確信度データを読み出す。画面内のある座標の画素について、入力フレーム記憶部４０の当該座標の画素データと、背景画像記憶部４６の当該座標の画素データとを、当該座標の被写体確信度データの重み付けで半透明合成し、出力フレーム記憶部４５の当該座標の画素データに格納する。以上の処理を全画素について行う（ステップＳ２０５）。次に、映像合成手段３０３ｂは符号化手段３０７を呼び出す。符号化手段３０７は、出力フレーム記憶部４５からフレームの画像データを読み出し符号化する符号化処理を行い、通信装置２を介して所望の相手先に映像を送信する（ステップＳ２０６）。
以上の処理が終了すると、符号化手段３０７は背景設定手段３０８を呼び出しステップＳ２０１に戻る。
なお、図５に示すフローチャートは、データ処理装置３ｂをコンピュータで実現したときに、そのコンピュータに前記各ステップの処理を実行させる映像送受信プログラムを構成する。
【００５３】
従って、映像合成手段３０３ｂによって、被写体領域が直前のフレームの画像に対して上書きされ、出力フレームが無信号にならず、被写体領域抽出手段３０１ｂおよび映像合成手段３０３ｂにより、被写体が被写体確信度に応じた透明度で背景画像上に半透明合成されるため、被写体領域抽出に過不足が生じても、被写体および背景が点滅して表示されることはなく、利用者にとって見やすい映像を提供でき、符号化効率も向上する。
【００５４】
以上のように、この第２の実施の形態によれば、被写体以外の領域が利用者の指定した任意の背景画像で差し替えられるため、利用者のいる場所の様子は隠蔽される。これにより、利用者のプライバシーを保護できる効果がある。
また、背景は動きのない１枚の背景画像に差し替えられることから、入力映像の背景に動きが生じていても符号量を抑制できる効果がある。
また、被写体は被写体確信度に応じた透明度で背景画像上に半透明合成されることから、被写体領域が２値で表現されている場合に比べ、被写体および背景の点滅を抑制できる効果がある。
【００５５】
なお、この第２の実施の形態では被写体を背景画像上に半透明合成したが、前記第１の実施の形態と組み合わせて、入力フレーム記憶部（図１の入力フレーム記憶部４０）の被写体領域を、直前の出力フレーム（図１の出力フレーム記憶部４５）の上に半透明合成する目的でも用いることが出来る。
【００５６】
次に、本発明の第２の実施例を、図６を参照して詳細に説明する。かかる実施例は前記第２の実施の形態に対応するものである。
先ず、この第２の実施例の構成について説明すると、撮像装置１としてビデオカメラを、データ処理装置３ｂとしてパーソナルコンピュータを、データ記憶装置４ｂとして半導体記憶装置を、通信装置２として携帯電話を、背景設定装置５として操作パネルを備えている。
【００５７】
パーソナルコンピュータは、映像入力手段３００、被写体領域抽出手段３０１ｂ、映像合成手段３０３ｂ、符号化手段３０７および背景設定手段３０８として機能する中央演算装置を有している。また、半導体記憶装置には背景画像群が記憶されている。
【００５８】
次に、この第２の実施例の動作について説明する。
背景設定装置５から背景の設定信号が与えられると、前記中央演算装置は、背景画像２０５ａ，２０５ｂから適切な背景画像を選択する選択処理２０７を行い、合成用の背景画像として例えば背景画像２０５ｂを記憶する。撮像装置１としてのビデオカメラから入力映像が与えられると、その画像２０３について、前記中央演算装置は被写体確信度を算出する被写体確信度算出処理２０４を実行する。被写体確信度が算出された各画素は、その画素が被写体領域の内部である確率を示しており、白い領域ほど確率が高いことを示している。具体的には、被写体の向かって左側の画素が中間の値０．５を示し、向かって右側では１の値を示している。
【００５９】
前記中央演算装置は、被写体確信度が算出された前記各画素の値を透明度として、前記記憶された背景画像２０５ｂ上に前記与えられた入力フレームの画像２０３を合成する合成処理２０９を行う。この結果、被写体の向かって左側が半透明、向かって右側が不透明の出力画像２１０が生成される。最後に前記中央演算装置は出力フレームの符号化のための符号化処理２１１を行い、通信装置２へ出力する。
【００６０】
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。
図７は、本発明の第３の実施の形態の映像送受信装置の構成を示すブロック図である。この映像送受信装置では、図４に示された前記第２の実施の形態における背景設定装置５が除かれ、カメラパラメータ検出装置６に加えられている点と、前記第２の実施の形態における背景設定手段３０８が除かれ、背景選択手段３０９に加えられている点で異なり、他の個所については同様な構成である。
また、この第３の実施の形態においては、背景画像群記憶部４７には複数のパン・チルト・ズーム値および複数の撮影位置で撮影された背景画像があらかじめ格納されている。
カメラパラメータ検出装置６は、撮像装置１に備え付けられたカメラパラメータ取得機構であり、撮像装置１のパン・チルト角、ズームのパラメータおよび平行移動の加速度を検出するものである。
背景選択手段３０９は、カメラパラメータ検出装置６から供給されたカメラパラメータをもとに、適切なパン・チルト・ズーム値と適切な撮影位置で撮影された背景画像を背景画像群記憶部４７から選択し、その背景画像を背景画像記憶部４６に格納する。
【００６１】
次に、図７と図８のフローチャートを参照して、この第３の実施の形態の動作について詳細に説明する。図８は、この第３の映像送受信装置の動作を示すフローチャートである。
なお、図８のフローチャートにおけるステップＳ３０３からステップＳ３０６で示される映像入力手段３００、被写体領域抽出手段３０１ｂ、映像合成手段３０３ｂおよび符号化手段３０７の動作は、前記第２の実施の形態の対応する各手段の動作と同一のため説明は省略する。
前記第２の実施の形態では、撮像装置１のパン・チルト・ズーム値や撮影位置が変化しても背景画像は同一であった。この第３の実施の形態では、撮像装置１のパン・チルト・ズーム値および撮像位置が変化した場合、カメラパラメータ検出装置６が撮像装置１のカメラパラメータを背景選択手段３０９に送る（ステップＳ３０１）。背景選択手段３０９は、カメラパラメータ検出装置６から供給されたカメラパラメータをもとに、適切なパン・チルト・ズーム値と適切な撮影位置で撮影された背景画像を背景画像群記憶部４７から選択し、その背景画像を背景画像記憶部４６に格納する（ステップＳ３０２）。
なお、図８に示すフローチャートは、データ処理装置３ｃをコンピュータで実現したときに、そのコンピュータに前記各ステップの処理を実行させる映像送受信プログラムを構成する。
【００６２】
すなわち、カメラパラメータ検出装置６および背景選択手段３０９によって、現在の撮像装置１のパン・チルト・ズーム値および撮影位置に適した背景画像が自動的に選択されるため、背景画像のパン・チルト・ズーム値および撮影位置を自動的に変更でき、背景の現実感を高め、背景の隠蔽を相手に知られにくくすることが出来る。
【００６３】
従って、この第３の実施の形態によれば、撮像装置１のパン・チルト・ズーム値および撮像位置が変化した場合、それに応じて適切なパン・チルト・ズーム値および撮像位置の背景画像が自動的に選択される。これにより、背景の現実感を高め、背景の隠蔽を相手に知られる可能性を低減できる効果がある。
【００６４】
次に、本発明の第３の実施例を、図９を参照して詳細に説明する。かかる実施例は前記第３の実施の形態に対応するものである。
先ず、この第３の実施例の構成について説明する。
この第３の実施例の構成は、前記第２の実施例から背景設定装置５が除かれ、カメラパラメータ検出装置６を備えたものとなっている。また、パーソナルコンピュータが背景選択手段３０９としても機能する点において、前記第２の実施例と異なる。また、半導体記憶装置には、あらかじめパン・チルト・ズーム値および撮影位置を変更して撮影した背景画像４７ｃ，４７ｄ，４７ｅが記憶されている。
【００６５】
次に、この第３の実施例の動作について説明する。
今、背景画像群から背景画像４７ｅが選択され、合成用の背景画像３１０として記憶されている。この状態で、カメラが左方向にパンし、入力映像が画像３０３から画像３０４に変化したとする。カメラパラメータ検出装置６は、端末のパン角の変更を検出する。そして、中央演算装置は前記パン角の変更に基づいて、現在の背景画像４７ｅから左方向にパンした新たな背景画像４７ｄを選択し、合成用の背景画像として背景画像３１０に代えて背景画像３１１を記憶する。中央演算装置は、入力映像３０４から被写体確信度を算出する被写体確信度算出処理を実行する。さらに、新たな背景画像３１１上に入力映像３０４を合成する合成処理３１２を行う。この結果、出力映像は符号３１３で示す画像から符号３１４で示す画像に変化する。最後に中央演算装置は出力フレームの符号化のための符号化処理３１５を行い、通信装置へ出力する。
【００６６】
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。
図１０は、本発明の第４の実施の形態の映像送受信装置の構成を示すブロック図である。この映像送受信装置では、データ処理装置３ｄが、図７に示された前記第３の実施の形態におけるデータ処理装置３ｃの構成に加え、背景撮像制御手段３１０および背景復号化手段３１１を備えている点、および、背景選択手段３０９および背景画像群記憶部４７を備えていない点、背景撮像装置１００１、通信装置１００２および符号化装置１００３を備えた背景画像送受信装置が、通信経路を介してこの映像送受信装置と接続されている点において異なる。
【００６７】
背景撮像制御手段３１０は、カメラパラメータ検出装置６から与えられた撮像装置１のカメラパラメータの変化量に基づき、背景撮像装置１００１のパン・チルト・ズーム値を制御するための制御信号を生成し、通信装置２および通信装置１００２を介して背景撮像装置１００１に送信する。背景復号化手段３１１は、符号化装置１００３から受信した背景画像を復号化し、背景画像記憶部４６に格納する。
背景撮像装置１００１は、背景撮像制御手段３１０から受信した制御信号に基づいてパン・チルト・ズームを制御する。符号化装置１００３は背景撮像装置１００１から与えられた映像を符号化し、通信装置１００２および通信装置２を介して背景復号化手段３１１に送信する。
【００６８】
次に、図１０と図１１のフローチャートを参照し、この第４の実施の形態の動作について詳細に説明する。
図１１のステップＳ４０５からステップＳ４０８で示されるこの実施の形態の映像入力手段３００、被写体領域抽出手段３０１ｂ、映像合成手段３０３ｂおよび符号化手段３０７の動作は、前記第３の実施の形態の対応する各手段の動作と同一のため説明は省略する。
【００６９】
前記第３の実施の形態では、パン・チルト・ズーム値および撮影位置の異なる多数の背景画像を予め背景画像群記憶部４７に格納しておく必要があった。この第４の実施の形態では、撮像装置１のパン・チルト・ズーム値および撮像位置が変化した場合、カメラパラメータ検出装置６が撮像装置１のカメラパラメータを背景撮像制御手段３１０に送る（ステップＳ４０１）。背景撮像制御手段３１０は、カメラパラメータ検出装置６から供給されたカメラパラメータをもとに、パン・チルト・ズーム値の制御信号を生成し、背景撮像装置１００１に送信する（ステップＳ４０２）。
【００７０】
背景画像送受信装置において、背景撮像装置１００１は前記制御信号が入力されているかどうかを判定する（ステップＳ４１１）。制御信号が入力された場合、制御信号を受信し（ステップＳ４１２）、パン・チルト・ズーム値を制御する。撮影した背景画像は符号化装置１００３に出力される。符号化装置１００３は、背景撮像装置１００１から与えられた映像を符号化し（ステップＳ４１５）、背景復号化手段３１１に送信する。
背景復号化手段３１１は、符号化装置１００３から背景画像を受信すると、復号化を行い、背景画像記憶部４６に格納する（ステップＳ４０４）。
なお、図１１に映像送受信装置の動作として示されるフローチャートは、データ処理装置３ｄをコンピュータで実現したときに、そのコンピュータに前記各ステップの処理を実行させる映像送受信プログラムを構成する。
【００７１】
すなわち、背景映像制御手段２１０および背景撮像装置１００１によって、別の場所にある撮像装置を実時間で制御し、適切な背景映像を生成するため、撮像装置１のパン・チルト・ズーム値および撮影位置の変化に追従して、背景画像のパン・チルト・ズーム値および撮影位置を自動的に変更でき、背景の現実感を高め、背景の隠蔽を相手に知られる可能性を低減できる。
【００７２】
以上のように、この第４の実施の形態によれば、撮像装置１のパン・チルト・ズーム値が変化した場合、背景撮像装置１００１を制御することによって新たなパン・チルト・ズーム値での背景画像が自動的に生成されるため、予め多数の背景画像を記憶しておく必要がないという効果がある。
また、背景画像として「予め撮影した一連の画像」ではなく「別の場所で撮影中の現在の映像」を用いることが出来、これにより、より背景の現実感を高められる効果がある。
【００７３】
次に、本発明の第４の実施例を図１２を参照して詳細に説明する。かかる実施例は前記第４の実施の形態に対応するものである。
先ず、この第４の実施例の構成について説明する。
この第４の実施例の構成は、前記第３の実施例に加え、背景画像送受信装置における背景撮像装置１００１としてビデオカメラ、背景画像送受信装置における符号化装置１００３としてＭＰＥＧ４コーデック、背景画像送受信装置における通信装置１００２として携帯電話モジュールを有する。また、この第４の実施例の構成は、中央演算装置が背景撮像制御手段３１０および背景復号化手段３１１としても機能する点において前記第３の実施例と異なる。
【００７４】
次に、この第４の実施例の動作について説明する。
今、背景画像送受信装置において背景画像４１３が撮影され、符号化装置１００３によって映像送受信端末に送信されている状態で、映像送受信装置において撮像装置１であるカメラが左方向にパンし、入力映像が入力映像４０５から入力映像４０６へ変化したとする。
カメラパラメータ検出装置６は端末のパン角の変更を検出する。中央演算装置は、検出されたカメラパラメータの変化（加速度４０２）に基づいて、パン・チルト・ズームの制御信号４０３を生成し背景撮像装置１００１に送信する。背景撮像装置１００１は前記カメラのパン角を制御し、背景画像４１３から左にパンした背景画像４１４を新たな背景画像４１７とする。さらに、背景符号化装置１００２は背景画像４１７の符号化のための符号化処理４１８を行い、映像送受信装置に送信する。
【００７５】
映像送受信装置の中央演算装置は、復号化した新たな背景画像４０８を合成用の背景画像として記憶する。中央演算装置は、入力映像４０６から被写体確信度を算出する被写体確信度算出処理４０７を行う。さらに、前記新たな背景画像４０８上に入力映像４０６を合成するための合成処理４０９を行う。この結果、出力映像は映像４１０から映像４１１に変化する。最後に中央演算装置は出力フレームの符号化のための符号化処理４１２を行い、通信装置２へ出力する。
【００７６】
次に、本発明の第５の実施の形態について、図面を参照して詳細に説明する。図１３を参照すると、本発明の第５の実施の形態は、データ処理装置３ｅが、図４に示された第２の実施の形態におけるデータ処理装置３ｂの構成に加え、復号化装置（映像受信手段）３１２および表示画面生成手段（表示映像生成手段）３１３、表示画面設定手段３１４を備える点、データ記憶装置４ｅが第２の実施の形態におけるデータ処理装置４ｂに加え、表示画面設定記憶部４８および受信映像記憶部４９を備える点、ボタンを備えた操作パネルなどの表示画面選択装置７、および液晶画面などの映像表示装置（受信映像表示手段）８を備える点において異なる。
【００７７】
表示画面設定記憶部４８は、「子画面を被写体のみにする」、「子画面を矩形にする」または「子画面を表示しない」のいずれかの設定を記憶している。
表示画面設定装置７は、利用者によって入力された表示画面の設定（３種類のうちのいずれか）を表示画面設定手段３１４に送信する。表示画面設定手段３１４は、与えられた表示画面の設定を表示画面設定記憶部４８に書きこむ。復号化手段３１２は通信装置２を介して受信した映像を復号化し、受信映像記憶部４９に格納する。
表示画面生成手段３１３は、表示画面設定記憶部４８から表示画面の設定を読み出し、読み出した設定に基づいて表示画面を合成し、映像表示装置８に出力する。
【００７８】
表示画面の設定が「子画面を被写体のみにする」である場合、表示画面生成手段３１３は、先ず、入力フレーム記憶部４０から入力フレーム画像を、被写体確信度記憶部４１ｂから被写体確信度データを、受信画像記憶部４９から受信画像をそれぞれ読み出す。次に、被写体確信度データを透明度として受信画像上に入力フレーム画像を重畳合成する。
表示画面の設定が「子画面を矩形にする」である場合、表示画面生成手段３１３は、受信画像記憶部４９から受信画像を、出力フレーム記憶部４４から出力フレーム画像をそれぞれ読み出した後、出力フレーム画像を受信画像上に重畳合成する。
表示画面の設定が「子画面を表示しない」である場合、表示画面生成手段３１３は、受信画像記憶部４９から読み出した受信画像をそのまま映像表示装置８に出力する。
なお、表示画面の設定が「子画面を被写体のみにする」もしくは「子画面を矩形にする」の場合、子画面は縮小して合成するようにしてもよい。
【００７９】
次に、図１３および図１４を参照して、本実施の形態の動作について詳細に説明する。
図１４のステップＳ５０１からステップＳ５０２と、ステップＳ５０５からステップＳ５０８で示される本実施の形態の映像入力手段３００、被写体領域抽出手段３０１ｂ、映像合成手段３０３ｂ、符号化手段３０７、背景設定手段３０８の動作は、前記第２の実施の形態の対応する各手段の動作と同一のため説明は省略する。
前記第２の実施の形態では、テレビ電話などにおける相手先からの映像の受信および表示、利用者による送信映像の確認のための手段が備わっていなかった。この第５の実施の形態では、表示画面選択装置７は端末の表示画面の設定を受け付ける（ステップＳ５０３）。表示画面設定手段３１４は、表示画面選択装置７から与えられた表示画面の設定を表示画面設定記憶部４８に書きこむ（ステップＳ５０４）。
【００８０】
ステップＳ５０５からステップＳ５０８の処理により送信映像の合成が行われると復号化手段３１２が呼び出される。復号化手段３１２は、通信装置２を介して受信した映像を復号化し受信映像記憶部４９に格納する（ステップＳ５０９）。次に、表示画面生成手段３１３を呼び出す。表示画面生成手段３１３は、表示画面設定記憶部４７から表示画面の設定を読み出す（ステップＳ５１０）。表示画面の設定が「子画面を被写体のみにする」である場合、表示画面生成手段３１３は、先ず、入力フレーム記憶部４０から入力フレーム画像を、被写体確信度記憶部４１ｂから被写体確信度データを、受信画像記憶部４９から受信画像をそれぞれ読み出す。次に、被写体確信度データを透明度として、受信画像上の画像を重畳合成する（ステップＳ５１１）。表示画面の設定が「子画面を矩形にする」である場合、表示画面生成手段３１３は、先ず、受信画像記憶部４９から受信画像を、出力フレーム記憶部４４から出力フレーム画像をそれぞれ読み出す。次に出力フレーム画像を縮小し受信画像上に重畳合成する（ステップＳ５１２）。表示画面の設定が「子画面を表示しない」である場合、表示画面生成手段３１３は、受信画像記憶部４９から受信画像の読み出しのみを行う（ステップＳ５１３）。
最後に、表示画面生成手段３１３は、生成した表示映像を映像表示装置８に映像を出力する（ステップＳ５１４）。
以上の処理が終了すると、表示画面生成手段３１３は背景設定手段３０８を呼び出し、ステップＳ５０１に戻る。
なお、図１４に映像送受信装置の動作として示されるフローチャートは、データ処理装置３ｅをコンピュータで実現したときに、そのコンピュータに前記各ステップの処理を実行させる映像送受信プログラムを構成する。
【００８１】
以上のように、表示画面生成手段３１３によって、子画面で被写体確信度に基づく半透明合成が行われ、背景領域では受信映像が透けて見えるようになるため送信映像を表示しても受信映像の隠蔽を抑えることが出来る。この結果、利用者は送信映像を確認しながら、より隠蔽の少ない受信映像を閲覧することが出来る。
【００８２】
この第５の実施の形態によれば、表示画面の設定を「子画面を被写体のみにする」とした場合、被写体確信度に基づく半透明合成が行われ、子画面の背景領域では受信映像が透けて見えるようになる。これにより送信映像による受信映像の隠蔽を抑えることが出来る。また、表示画面の設定を「子画面を矩形にする」とした場合、子画面には被写体と背景画像との合成結果が表示される。これにより、利用者は相手に送信されている合成映像を正確に把握することが出来る。
【００８３】
次に、本発明の第５の実施例を、図１５を参照して詳細に説明する。かかる実施例は本発明の前記第５の実施の形態に対応するものである。
先ず、本実施例の構成について説明する。
本実施例の構成は、前記第２の実施例に加え、表示画面選択装置７として操作パネルを、映像表示装置８として液晶画面を有する。また、パーソナルコンピュータが表示画面設定手段３１４、表示画面生成手段３１３および復号化手段３１２としても機能する点において前記第２の実施例と異なる。また本実施例では、半導体記憶装置には、表示画面の設定（「子画面を被写体のみにする」、「子画面を矩形にする」のいずれか）が記憶されている。
【００８４】
次に、本実施例の動作について説明する。
今、表示画面の設定が「子画面を矩形にする」と記憶されている状態で、表示画面選択装置７から「子画面を被写体のみにする」という設定が与えられたとする。
中央演算装置は、入力映像５０２から被写体確信度を算出するための被写体確信度算出処理５０３を実行する。中央演算装置は、算出した被写体確信度をもとにした各画素の値を透明度として、背景画像５０４上に入力フレーム５０２の画像を合成する合成処理５０５を行う。中央演算装置は出力フレーム５０６の符号化を行い、通信装置２へ出力する。
一方、中央演算装置は受信映像５０７の復号化のための復号化処理を行う。最後に、中央演算装置は、表示画面選択装置７から与えられた表示画面の設定に基づいて表示画面を生成する表示画面生成処理５０８を行い、映像表示装置８に出力する。表示画面は、表示画面の設定が「子画面を矩形にする」の場合、符号５０９で示すように縮小された送信映像５０６が受信映像５０７上に重畳合成される。また表示画面の設定が「子画面を被写体のみにする」の場合、符号５１０で示すように縮小された入力フレーム５０２が、前記算出した被写体確信度をもとにした透明度で、受信映像５０７上に重畳合成される。
本実施例において「子画面を矩形にする」から「子画面を被写体のみにする」に設定が変更されると、表示画面は符号５０９で示す表示画面から符号５１０で示す表示画面に切り替わる。
【００８５】
以上、第２の実施例から第５の実施例では撮像装置の入力画像のみから被写体確信度を算出したが、その他、赤外線デバイスや超音波デバイスなどを用いるなど、多角的に算出した被写体確信度の画像を統合して１枚の被写体確信度画像としてもよい。
また、第２の実施例、第３の実施例および第５の実施例において背景画像群は予め登録されているものとしたが、利用者が撮影もしくは作成した任意の画像を利用できるようにしてもよい。
【００８６】
また、第３の実施例において、パン・チルト・ズーム値の異なる背景画像を複数枚登録するものとしたが、パノラマ画像のように複数の画像を１枚の画像につなげて格納しておき、パン・チルト・ズーム値に応じて矩形領域を切り出して背景画像を生成するようにしてもよい。
【００８７】
【発明の効果】
本発明によれば、入力映像の背景に動きがある場合においても符号化効率を向上できる映像送受信装置および映像送受信プログラムを提供できる効果がある。
また、被写体の抽出不足が発生しても、出力画像から被写体の姿が消えることはなく、背景の誤抽出が発生しても、背景の一部だけが出力されることのない映像送受信装置および映像送受信プログラムを提供できる効果がある。
また、被写体および背景の点滅を抑制できる映像送受信装置および映像送受信プログラムを提供できる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の映像送受信装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態の映像送受信装置の動作を示すフローチャートである。
【図３】本発明の第１の実施例による映像送受信装置についての説明図である。
【図４】本発明の第２の実施の形態の映像送受信装置の構成を示すブロック図である。
【図５】本発明の第２の実施の形態の映像送受信装置の動作を示すフローチャートである。
【図６】本発明の第２の実施例による映像送受信装置についての説明図である。
【図７】本発明の第３の実施の形態の映像送受信装置の構成を示すブロック図である。
【図８】本発明の第３の実施の形態の映像送受信装置の動作を示すフローチャートである。
【図９】本発明の第３の実施例による映像送受信装置についての説明図である。
【図１０】本発明の第４の実施の形態の映像送受信装置の構成を示すブロック図である。
【図１１】本発明の第４の実施の形態の映像送受信装置の動作を示すフローチャートである。
【図１２】本発明の第４の実施例による映像送受信装置についての説明図である。
【図１３】本発明の第５の実施の形態の映像送受信装置の構成を示すブロック図である。
【図１４】本発明の第５の実施の形態の映像送受信装置の動作を示すフローチャートである。
【図１５】本発明の第５の実施例による映像送受信装置についての説明図である。
【図１６】従来の映像送受信装置の一例を示すブロック図である。
【符号の説明】
２……通信手段（映像送信手段，映像受信手段）、３ａ，３ｂ，３ｃ，３ｄ，３ｅ……データ処理装置（コンピュータ）、８……映像表示装置（受信映像表示手段）、３０１ａ，３０１ｂ……被写体領域抽出手段、３０２……フレームレート調整手段、３０３ｂ……映像合成手段、３０７……符号化手段（映像送信手段）、３０８……背景設定手段、３１０……背景撮像制御手段、３１２……復号化手段（映像受信手段）、３１３……表示画面生成手段（表示映像生成手段）。
【図１】
0003809788.tif 000002
【図２】
0003809788.tif 000003
【図３】
0003809788.tif 000004
【図４】
0003809788.tif 000005
【図５】
0003809788.tif 000006
【図６】
0003809788.tif 000007
【図７】
0003809788.tif 000008
【図８】
0003809788.tif 000009
【図９】
0003809788.tif 000010
【図１０】
0003809788.tif 000011
【図１１】
0003809788.tif 000012
【図１２】
0003809788.tif 000013
【図１３】
0003809788.tif 000014
【図１４】
0003809788.tif 000015
【図１５】
0003809788.tif 000016
【図１６】
0003809788.tif 000017