(57)【要約】【課題】平常時の顔画像データを事前に用意しておくことなく、不特定の話者に対してもまた疲労度の程度によらず常に最適な表情の映像信号を送信し、通信中の話者のプライバシーを確実に保護する。【解決手段】映像調整回路４において、会話中に撮像された話者の映像信号と通信開始時に記憶した真顔の映像信号のうち、話者の表情を表す眉、目及び口等の特定部位の領域の信号を予め設定した表情調整割合に従いモーフィングし、このモーフィングにより表情が調整された映像信号を通信相手装置へ送信する。また、通信開始時に行われるトレーニング期間において、話者の真顔画像を映像調整回路４に取り込んで真顔情報記憶部４２２に記憶するようにしている。【選択図】      図２
2005151231.tif 000002
【特許請求の範囲】
【請求項１】
被写体の表情調整割合を表す情報を設定する過程と、
通信中の非会話期間に前記被写体の顔を含む部位を撮像する過程と、
前記撮像された映像信号を、真顔を表す第１の映像信号として記憶する過程と、
通信中の会話期間に前記被写体の顔を含む部位を撮像して第２の映像信号を得る過程と、
前記会話期間に得られた第２の映像信号から、前記被写体の表情を表す特定部位における第１の部分映像信号を抽出する過程と、
前記抽出された第１の部分映像信号と、前記記憶された第１の映像信号中の前記特定部位に対応する第２の部分映像信号とを、前記設定された表情調整割合を表す情報に従い合成して第３の部分映像信号を生成する過程と、
前記生成された第３の部分映像信号と、前記第２の映像信号中の前記特定部位以外の部分映像信号とを合成して第３の映像信号を生成する過程と、
前記生成された第３の映像信号を送信する過程と
を具備することを特徴とする画像通信方法。
【請求項２】
前記表情調整割合を表す情報を設定する過程は、想定される複数の通信相手の各々に対応付けて被写体の表情調整割合を表す情報を設定し、
前記第３の部分映像信号を生成する過程は、通信に際し使用される通信相手の識別情報をもとに、前記設定された複数の表情調整割合を表す情報の中から前記通信相手に対応する表情調整割合を表す情報を選択し、この選択された表情調整割合を表す情報に従い前記第１の部分映像信号と第２の部分映像信号とを合成することを特徴とする請求項１記載の映像通信方法。
【請求項３】
前記第１の映像信号を記憶する過程は、映像通信のためのトレーニング期間に前記被写体の顔を含む部位を撮像して得られる映像信号を、真顔を表す第１の映像信号として記憶することを特徴とする請求項１記載の映像通信方法。
【請求項４】
前記第１の映像信号を記憶する過程は、非会話期間に得られる複数の映像信号をもとに、真顔を表す第１の映像信号を生成し記憶することを特徴とする請求項１記載の映像通信方法。
【請求項５】
被写体の表情調整割合を表す情報が記憶されるメモリ手段と、
通信中の非会話期間に前記被写体の顔を含む部位を撮像して得られる映像信号を、真顔を表す第１の映像信号として記憶する手段と、
通信中の会話期間に前記被写体の顔を含む部位を撮像して得られる第２の映像信号から、前記被写体の表情を表す特定部位における第１の部分映像信号を抽出する手段と、
前記抽出された第１の部分映像信号と、前記記憶された第１の映像信号中の前記特定部位に対応する第２の部分映像信号とを、前記メモリ手段に記憶された表情調整割合を表す情報に従い合成して第３の部分映像信号を生成する手段と、
前記生成された第３の部分映像信号と、前記第２の映像信号中の前記特定部位以外の部分映像信号とを合成して第３の映像信号を生成する手段と、
前記生成された第３の映像信号を送信する手段と
を具備することを特徴とする映像通信装置。
【請求項６】
前記メモリ手段は、想定される複数の通信相手の各々に対応付けて被写体の表情調整割合を表す情報を記憶し、
前記第３の部分映像信号を生成する手段は、通信に際し使用される通信相手の識別情報をもとに前記メモリ手段から前記通信相手に対応する表情調整割合を表す情報を選択的に読み出し、この読み出された表情調整割合を表す情報に従い前記第１の部分映像信号と第２の部分映像信号とを合成することを特徴とする請求項５記載の映像通信装置。
【請求項７】
第１の映像信号を記憶する手段は、映像通信のためのトレーニング期間に前記被写体の顔を含む部位を撮像して得られる映像信号を、真顔を表す第１の映像信号として記憶することを特徴とする請求項５記載の映像通信装置。
【請求項８】
第１の映像信号を記憶する手段は、非会話期間に得られる複数の映像信号をもとに、真顔を表す第１の映像信号を生成し記憶することを特徴とする請求項５記載の映像通信装置。
【請求項９】
被写体を撮像して得られる映像信号をもとにコンピュータにより送信映像信号を作成し、この作成された送信映像信号を送信する映像通信装置で使用される映像作成プログラムであって、
通信中の非会話期間に前記被写体の顔を含む部位を撮像して得られる映像信号を、真顔を表す第１の映像信号として記憶する処理と、
通信中の会話期間に前記被写体の顔を含む部位を撮像して得られる第２の映像信号から、前記被写体の表情を表す特定部位における第１の部分映像信号を抽出する処理と、
前記抽出された第１の部分映像信号と、前記記憶された第１の映像信号中の前記特定部位に対応する第２の部分映像信号とを、予め設定された表情調整割合を表す情報に従い合成して第３の部分映像信号を生成する処理と、
前記生成された第３の部分映像信号と、前記第２の映像信号中の前記特定部位以外の部分映像信号とを合成して第３の映像信号を生成し、この作成された第３の映像信号を前記送信映像信号として出力する処理と
を、前記コンピュータに実行させることを特徴とする映像作成プログラム。
【請求項１０】
前記第３の部分映像信号を生成する処理は、通信に際し使用される通信相手の識別情報をもとに、予め設定された複数の表情調整割合を表す情報の中から前記通信相手に対応する表情調整割合を表す情報を選択し、この選択された表情調整割合を表す情報に従い前記第１の部分映像信号と第２の部分映像信号とを合成することを特徴とする請求項９記載の映像作成プログラム。
【請求項１１】
前記第１の映像信号を記憶する処理は、映像通信のためのトレーニング期間に前記被写体の顔を含む部位を撮像して得られる映像信号を、真顔を表す第１の映像信号として記憶することを特徴とする請求項９記載の映像作成プログラム。
【請求項１２】
前記第１の映像信号を記憶する処理は、非会話期間に得られる複数の映像信号をもとに、真顔を表す第１の映像信号を生成し記憶することを特徴とする請求項９記載の映像作成プログラム。
【請求項１３】
被写体を撮像して得られる映像信号をもとにコンピュータにより送信映像信号を作成し、この作成された送信映像信号を送信する映像通信装置で使用される映像作成プログラムを記録した記録媒体であって、
通信中の非会話期間に前記被写体の顔を含む部位を撮像して得られる映像信号を、真顔を表す第１の映像信号として記憶する処理と、
通信中の会話期間に前記被写体の顔を含む部位を撮像して得られる第２の映像信号から、前記被写体の表情を表す特定部位における第１の部分映像信号を抽出する処理と、
前記抽出された第１の部分映像信号と、前記記憶された第１の映像信号中の前記特定部位に対応する第２の部分映像信号とを、予め設定された表情調整割合を表す情報に従い合成して第３の部分映像信号を生成する処理と、
前記生成された第３の部分映像信号と、前記第２の映像信号中の前記特定部位以外の部分映像信号とを合成して第３の映像信号を生成し、この作成された第３の映像信号を前記送信映像信号として出力する処理と
を、前記コンピュータに実行させる映像作成プログラムを記録した記録媒体。
【請求項１４】
前記第３の部分映像信号を生成する処理は、通信に際し使用される通信相手の識別情報をもとに、予め設定された複数の表情調整割合を表す情報の中から前記通信相手に対応する表情調整割合を表す情報を選択し、この選択された表情調整割合を表す情報に従い前記第１の部分映像信号と第２の部分映像信号とを合成することを特徴とする請求項１３記載の映像作成プログラムを記録した記録媒体。
【請求項１５】
前記第１の映像信号を記憶する処理は、映像通信のためのトレーニング期間に前記被写体の顔を含む部位を撮像して得られる映像信号を、真顔を表す第１の映像信号として記憶することを特徴とする請求項１３記載の映像作成プログラムを記録した記録媒体。
【請求項１６】
前記第１の映像信号を記憶する処理は、非会話期間に得られる複数の映像信号をもとに、真顔を表す第１の映像信号を生成し記憶することを特徴とする請求項１３記載の映像作成プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばテレビジョン電話通信やテレビジョン会議通信に使用する映像通信方法及び映像通信装置と、この装置で使用される映像作成プログラム及びこのプログラムを記録する記録媒体に関する。
【背景技術】
【０００２】
近年、遠隔地との通信システムとして、テレビジョン電話通信システムやテレビジョン会議通信システムが多用されるようになっている。この種の通信システムは、音声のみならず話者が互いに相手の表情を見ながら通話を行うことができるため、音声のみを使用する通信に比べて遙かに多くの情報量を伝送することができ、より効果的な通話又は会議が可能となる。
【０００３】
しかし、一般にこの種の通信システムは、カメラにより撮像された話者の顔画像をそのまま送受信するように構成されている。このため、通信に先立ち話者は身だしなみを整えなければならなかったり、また伝送された顔画像から話者の感情や疲労度、緊張具合等のプライバシーに係わる情報が相手話者に知られてしまうと云った問題点があった。
【０００４】
そこで従来では、事前に話者の平常時における表情を表す画像データを記憶しておく。そして、通信中に撮像された話者の画像データに対し画像処理を行って話者の疲労度を抽出し、抽出された疲労度に応じて、上記撮像された表情の画像データを上記事前に記憶されている平常時の表情を表す画像データに置き換えるようにした技術が提案されている（例えば特許文献１を参照）。
【０００５】
【特許文献１】特開平８−４４８６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが上記従来の提案技術では、話者の平常時の表情を表す画像データを予め登録しておく必要がある。このため、例えば通話直前又は通話中に話者が未登録の話者に交代したり、また未登録の話者が飛び入りで参加した場合には、これらの話者について画像データの置換処理が行われず、依然として通話中の表情を表す顔画像データがそのまま伝送されてしまう。また、登録済みの話者であっても、疲労度が抽出され難い話者については、画像データの置換処理が行われずに通話中の表情を表す顔画像データがそのまま伝送されてしまう。
【０００７】
この発明は上記事情に着目してなされたもので、その目的とするところは、平常時の顔画像データを事前に用意しておくことなく、不特定の話者に対してもまた疲労度の程度によらず、常に最適な表情の映像信号を送信できるようにし、これにより通信中の話者のプライバシーを確実に保護することを可能にした映像通信方法及び映像通信装置と、この装置で使用される映像作成プログラム及びこのプログラムを記録する記録媒体を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するためにこの発明は、通信中の非会話期間に撮像された被写体の顔を含む部位の映像信号を被写体の真顔を表す第１の映像信号として記憶する。一方、通信中の会話期間に撮像された上記被写体の顔を含む部位の第２の映像信号から、被写体の表情を表す特定部位における第１の部分映像信号を抽出し、この抽出された第１の部分映像信号と上記記憶された第１の映像信号中の上記特定部位に対応する第２の部分映像信号とを、予め設定された表情調整割合を表す情報に従い合成して第３の部分映像信号を生成する。そして、この生成された第３の部分映像信号と、上記第２の映像信号中の上記特定部位以外の部分映像信号とを合成して第３の映像信号を生成し、この生成された第３の映像信号を送信するようにしたものである。
【０００９】
したがってこの発明によれば、通信中の非会話期間において撮像された映像信号が被写体の平常時の表情を表す真顔画像として記憶され、会話中に撮像された映像信号中の表情を表す部位の信号と、上記記憶された真顔画像とが予め設定された表情調整割合に従い合成される。このため、話者は自身の平常時の表情を表す画像データを予め登録しておく必要がなくなり、これにより例えば通話直前又は通話中に話者が未登録の話者に交代したり、また未登録の話者が飛び入りで参加した場合にも、これら未登録の話者のプライバシーについても確実に保護することが可能となる。すなわち、不特定多数の話者のプライバシーを保護することが可能となる。  
また、話者に関係なく予め設定された表情調整割合に従って表情の調整処理が行われる。このため、表情の疲労度に係わらずすべての話者についてその表情が最適な表情となるように調整することが可能となる。
【００１０】
またこの発明は、次のような機能を備えることも特徴とする。  
第１の機能は、上記表情調整割合を表す情報を設定する際に、想定される複数の通信相手の各々に対応付けて被写体の表情調整割合を表す情報を設定し、上記第３の部分映像信号を生成する際に、通信に際し使用される通信相手の識別情報をもとに、上記設定された複数の表情調整割合を表す情報の中から通信相手に対応する表情調整割合を表す情報を選択し、この選択された表情調整割合を表す情報に従い第１の部分映像信号と第２の部分映像信号とを合成するものである。
【００１１】
このようにすると、通信相手に応じて表情調整割合が選択され、この選択された表情報調整割合に従い会話中の表情と非会話時に記憶した真顔の表情との合成が行われる。このため、例えば通信相手が家族や気心の知れた親しい同僚等の場合には、会話中の表情の合成割合を高くすると共に真顔の合成割合を零又は低く設定することにより、話者の表情ができるだけありのまま通信相手に伝わるようにすることができる。これに対し、通信相手が商談相手や初対面の相手の場合には、会話中の表情の合成割合を低く設定すると共に真顔の合成割合を高く設定することにより、話者の表情ができるかぎり通信相手に伝わらないようにすることができる。すなわち、通信相手に応じて最適な表情の映像信号を送信することが可能となる。
【００１２】
第２の機能は、上記第１の映像信号を記憶する際に、映像通信のためのトレーニング期間に被写体の顔を含む部位を撮像して得られる映像信号を、真顔を表す第１の映像信号として記憶するものである。  
このようにすると、通信開始が開始されてから実際に会話が始まるまでの準備期間に、被写体の真顔を表す映像信号が記憶されることになる。このため、真顔の映像信号を会話が開始される前に確実に用意することが可能となる。
【００１３】
第３の機能は、上記第１の映像信号を記憶する際に、非会話期間に得られる複数の映像信号をもとに、真顔を表す第１の映像信号を生成し記憶するものである。  
このようにすると、非会話期間ごとに真顔の画像が逐次学習されて修正される。このため、真顔の画像をできる限り平常時に近い最適な画像にすることが可能となる。
【発明の効果】
【００１４】
要するにこの発明では、通信中の非会話期間に撮像された被写体の顔を含む部位の映像信号を被写体の真顔を表す第１の映像信号として記憶し、通信中の会話期間に撮像された上記被写体の顔を含む部位の第２の映像信号から被写体の表情を表す特定部位における第１の部分映像信号を抽出して、この抽出された第１の部分映像信号と上記記憶された第１の映像信号中の上記特定部位に対応する第２の部分映像信号とを予め設定された表情調整割合を表す情報に従い合成し、この合成された第３の部分映像信号を背景画像と合成して送信するようにしている。  
したがってこの発明によれば、平常時の顔画像データを事前に用意しておくことなく、不特定の話者に対してもまた疲労度の程度に関係なく、常に最適な表情の映像信号を送信できるようになり、これにより通信中の話者のプライバシーを確実に保護することを可能にした映像通信方法及び映像通信装置と、この装置で使用される映像作成プログラム及びこのプログラムを記録する記録媒体を提供することができる。
【発明を実施するための最良の形態】
【００１５】
（第１の実施形態）  
図１は、この発明に係わる映像通信装置の第１の実施形態を示す要部ブロック図である。同図において、カメラ１により撮像された被写体のアナログ映像信号ＡＳは、アナログ・ディジタル変換回路（Ａ／Ｄ）２でディジタル映像信号ＢＳに変換された後、フォーマット変換回路３に入力される。フォーマット変換回路３では、上記入力されたディジタル映像信号ＢＳが、テレビジョン電話装置やテレビジョン会議装置の映像符号化回路で使用される共通中間フォーマット信号（ＣＩＦ：Common Intermediate Format信号）ＣＳに変換され、この変換された送信ＣＩＦ信号ＣＳは映像調整回路４に入力される。
【００１６】
映像調整回路４では、上記入力された送信ＣＩＦ信号ＣＳに対し被写体の表情を調整するための処理が行われる。そして、この調整処理が終了した送信ＣＩＦ信号ＤＳは、映像符号化回路５で映像符号化処理されて送信映像符号化信号ＥＳとなった後、多重分離回路６に入力される。多重分離回路６は、上記入力された送信映像符号化信号ＥＳと、図示しない音声符号化回路で符号化された送信音声符号化信号ＦＳとを多重化することにより、所定の伝送フォーマットの送信多重化信号ＧＳを生成し、この生成された送信多重化信号ＧＳを図示しない伝送路へ送信する。
【００１７】
一方、通信相手の装置から伝送路を介して送られた多重化信号ＧＳは、多重分離回路６で受信映像符号化信号ＨＳと受信音声符号化信号ＦＳとに分離される。そして、このうち受信映像符号化信号ＨＳは映像符号化回路６に入力され、また受信音声符号化信号ＦＳは図示しない音声符号化回路に入力される。映像符号化回路６は、上記受信映像符号化信号ＨＳを映像復号処理することにより受信ＣＩＦ信号ＩＳに変換し、この受信ＣＩＦ信号ＩＳをフォーマット逆変換回路７に入力する。
【００１８】
フォーマット逆変換回路７は、上記受信ＣＩＦ信号ＩＳをディジタル映像信号ＪＳに逆変換する。この逆変換されたディジタル映像信号ＪＳは、ディジタル・アナログ変換回路（Ｄ／Ａ）８によりアナログ映像信号に変換された後、モニタ９に供給されて受信画像として表示される。なお、受信音声符号化信号ＦＳは、音声符号化回路で音声復号され、さらにアナログ音声信号に変換されたのち、図示しないスピーカから拡声出力される。
【００１９】
ところで、上記映像調整回路４は次のように構成される。図２はこの映像調整回路４の構成を示すブロック図である。すなわち、映像調整回路４は、表情抽出部４１と、表情合成部４２と、調整割合記憶部４３と、映像合成部４４とを備えている。  
このうち調整割合記憶部４３には、通信相手の識別情報、例えば加入電話番号やＩＰアドレス等の発信ＩＤ或いは受信ＩＤに対応付けて、表情調整割合を指定する情報ＮＳが記憶してある。
【００２０】
表情抽出部４１は、送信ＣＩＦ信号ＣＳから、被写体としての話者の顔の表情を表す特定部位の部分映像信号を抽出するためのもので、図３に示すように顔領域抽出部４１１と、特定部位切出部４１２とを備えている。
このうち顔領域抽出部４１１は、上記送信ＣＩＦ信号ＣＳから、顔領域に対応する顔領域映像信号ＰＳと、背景領域に対応する背景領域映像信号ＭＳとをそれぞれ抽出する。顔領域を切り出す方法には、例えば肌色抽出法がある。肌色抽出法は、ＲＧＢ値で定義されている映像信号をＨＳＶ表示系で表現し、このＨＳＶ表示系の色相（Ｈ）成分をもとに肌色の領域を抽出するものである。ＨＳＶ表示系は、色相（Ｈ）成分と明度（Ｖ）成分とが独立しているため、映像の明るさに影響を受けずに肌色領域を分離抽出することが可能である。
【００２１】
また送信ＣＩＦ信号ＣＳには、顔領域以外にも肌色領域が存在する場合が考えられるので、上記抽出された肌色領域からさらに顔領域の大小及び縦横のアスペクト比をもとに顔領域を抽出する。一般に、映像通信で使用される被写体画像は、画像内で最も領域が大きく、かつ領域の縦横のアスペクト比が０．５倍〜２倍になる。したがって、このような条件を満足する肌色領域を特定することにより顔領域をさらに正確に抽出できる。なお、縦横のアスペクト比は、カメラの仕様や被写体の撮像条件等に応じて任意に設定することができる。  
顔領域抽出部４１１は、以上のように抽出された顔領域に対応する映像信号ＰＳを特定部位切出部４１２に、また上記抽出された顔領域以外の領域の部分映像信号を背景領域に対応する映像信号ＭＳとして映像合成部４４にそれぞれ入力する。
【００２２】
特定部位切出部４１２は、上記入力された顔領域の部分映像信号ＰＳから、話者の表情を表す特定部位、例えば眉、目及び口を表す領域を抽出する。この特定部位を表す領域の抽出処理は、眉、目及び口がそれぞれ有する特徴に基づいて行われる。例えば、眉や目は肌色領域の輝度値より暗い領域であり、また口は肌色領域より赤い領域でかつ水平方向に細長いか又は楕円に近い形状をしている領域である。さらに、眉、目及び口の位置関係、例えば眉と目との上下関係、眉と目の左右対称関係、目と口の上下関係を利用することによっても、各部位の領域を抽出可能である。
【００２３】
また特定部位切出部４１２は、上記抽出された領域がどの部位に対応するものかを識別する。識別には、例えば弛緩法が利用される。弛緩法は、抽出された領域がどの部位に対応するかに曖昧さが存在する場合に、各部位の近傍の状態から、抽出された各領域がどの部位であると矛盾が生じるかを検出し、この検出値をもとに上記曖昧さを減少させる。そして、この処理を各部位の集合全体にについて並列的に反復しつつ、次第に局所的な矛盾をなくしていき、最終的に特定部位の集合全体に対して曖昧さのないラベル付けを行う。そして、以上のようにして抽出されかつ特定された各特定部位の部分映像信号ＬＳを表情合成部４２に入力する。
【００２４】
表情合成部４２は、上記調整割合記憶部４３に記憶されている表情調整割合を指定する情報ＮＳに従い、上記特定部位切出部４１２において抽出された、会話中の話者の表情を表す特定部位の部分映像信号ＬＳと、予め記憶された該当話者の真顔の映像信号ＱＳとのモーフィング処理を行う。そして、このモーフィング処理により作成された、表情が調整された顔領域の部分映像信号ＯＳを映像合成部４４に入力する。
【００２５】
図４は、上記表情合成部４２の構成を示すブロック図である。表情合成部４２は、正規化部４２１と、真顔情報記憶部４２２と、モーフィング部４２３とを備える。真顔情報記憶部４２２には、真顔の映像信号ＱＳが記憶される。この真顔の映像信号ＱＳとしては、話者の平常時の顔画像、例えば通信初期時に実行されるトレーニング期間において撮像された会話開始前の被写体の映像信号が使用される。
【００２６】
正規化部４２１は、モーフィング処理の前処理として、上記特定部位切出部４１２において抽出された特定部位の部分映像信号ＬＳの正規化処理を行う。この正規化処理は、上記特定部位の映像信号ＬＳにおける各部位の位置と大きさを、上記真顔の映像信号ＱＳに含まれる上記特定部位の位置と大きさに合わせる処理である。
【００２７】
モーフィング部４２３は、上記正規化部４２１により正規化された部分映像信号ＲＳと上記真顔の映像信号ＱＳの特定部位の形状の座標を、調整割合記憶部４３から読み出された表情調整割合ＮＳに応じて線形補完し、これにより特定部位の新しい形状を計算する。また同様に、上記正規化部４２１により正規化された部分映像信号ＲＳと上記真顔の映像信号ＱＳの特定部位以外の肌色領域、例えば頬や額、鼻等の形状の座標を、調整割合記憶部４３から読み出された表情調整割合ＮＳに応じて線形補完し、これにより特定部位以外の肌色領域の新しい形状を計算する。これらの処理により、上記調整割合に応じた口の開きや目の開き、眉の動きが調整された顔領域の部分映像信号ＯＳが作成される。
【００２８】
映像合成部４４は、上記モーフィング部４２３により作成された顔領域の部分映像信号ＯＳと、前記表情検出部４１により抽出された背景領域の映像信号ＭＳとを、相互に位置合わせした上で合成し、これにより背景領域と顔領域とからなる、表情が調整された映像信号ＤＳを作成する。
【００２９】
次に、以上のように構成された映像通信装置の動作を、映像調整回路４の動作を中心に説明する。  
通信に先立ち話者又は装置の管理者は、表情調整割合を指定する情報ＮＳを調整割合記憶部４３に登録する。このとき、通信先として想定される個々の相手ごとに表情調整割合の値を決定し、この決定した値を通信相手の加入電話番号又はＩＰアドレスに対応付けて登録する。
【００３０】
この状態で、所望の通信相手との間でテレビジョン電話通信が開始されたとする。このとき映像調整回路４では、先ず映像通信を行うためのトレーニング期間において撮像された会話開始前の話者の映像信号がフォーマット変換回路３から取り込まれる。そして、この取り込まれた映像信号（ＣＩＦ信号ＣＳ）が、上記話者の真顔を表す映像信号として真顔情報記憶部４２２に格納される。すなわち、通信開始時に行われるトレーニング期間において、話者の真顔画像が自動的に得られ記憶される。
【００３１】
続いて会話が開始されると、映像調整回路４には会話期間中に撮像された映像信号がフォーマット変換回路３から入力される。この入力された映像信号（ＣＩＦ信号ＣＳ）は、先ず顔領域抽出部４１１において顔領域の部分映像信号ＰＳとそれ以外の背景領域の部分映像信号ＭＳとに分離され、このうち顔領域の部分映像信号ＰＳは特定部位切出部４１２に入力される。
【００３２】
特定部位切出部４１２では、上記入力された顔領域の部分映像信号ＰＳから、話者の表情を表す眉、目及び口等の特定部位の映像信号ＬＳが抽出される。この特定部位の映像信号の抽出は、先に述べたように眉、目及び口がそれぞれ有する色彩上の特徴と相互の位置関係をもとに行われる。また、抽出された眉、目及び口の映像信号に曖昧さが存在する場合には、弛緩法により眉、目及び口の識別が行われる。
【００３３】
上記特定部位の映像信号ＬＳが切り出されると、映像調整回路４では次に表情合成部４２において、上記特定部位切出部４１２において抽出された特定部位の映像信号ＬＳと、先に真顔情報記憶部４２２に記憶された真顔の映像信号ＱＳとのモーフィング処理が以下のように行われる。
【００３４】
すなわち、先ず正規化部４２１により、上記特定部位の位置と大きさを、上記真顔の映像信号ＱＳに含まれる上記特定部位の位置と大きさに合わせるための正規化処理が行われる。続いてモーフィング部４２３において、上記正規化された特定部位の部分映像信号ＲＳの形状の座標と、上記真顔の映像信号ＱＳの特定部位の形状の座標とを、調整割合記憶部４３から読み出された表情調整割合ＮＳに応じて線形補完する処理が行われる。また同様に、上記正規化部４２１により正規化された特定部位以外の部位、例えば頬や額、鼻等のその他の肌色領域の形状の座標と、上記真顔の映像信号ＱＳにおける特定部位以外の肌色領域の形状の座標とを、調整割合記憶部４３から読み出された表情調整割合ＮＳに応じて線形補完する処理が行われる。以上の線形補完処理により、特定部位の新しい形状と、特定部位以外の肌色領域の新しい形状がそれぞれ求められ、これにより上記表情調整割合ＮＳに応じて口の開きや目の開き、眉の動きが調整された顔領域の部分映像信号ＯＳが作成される。
【００３５】
例えば、いま通信相手が商談相手だったとする。そうすると、この商談相手の加入電話番号又はＩＰアドレスをもとに調整割合記憶部４３から対応する表情調整割合が読み出される。そして、この読み出された表情調整割合の値に従い、特定部位の形状と真顔の映像信号ＱＳにおける特定部位の形状とがモーフィングされる。このとき、商談相手に対応付けて設定した表情調整割合の値が例えば“０”またはそれに近い値であれば、真顔の映像信号ＱＳを主体として合成され、これにより表情が真顔のままほとんど変化しない顔領域の部分映像信号が作成される。
【００３６】
これに対し通信相手が家族だったとする。この場合には、家族の加入電話番号又はＩＰアドレスをもとに調整割合記憶部４３から対応する表情調整割合が読み出される。そして、この読み出された表情調整割合の値に従い、特定部位の形状と真顔の映像信号ＱＳにおける特定部位の形状とがモーフィングされる。このとき、家族に対応付けて設定した表情調整割合の値が例えば“１”またはそれに近い値であれば、会話中に撮像された映像信号を主体として合成され、これにより会話中の表情がそのまま表現された顔領域の部分映像信号が作成される。
【００３７】
また同様に、通信相手が職場の上司等であれば、この上司に対応付けて記憶されていた表示調整割合の値に従いモーフィングが行われる。例えば、職場の上司に対応付けて設定した表情調整割合の値が例えば“０．５”であれば、会話中に撮像された映像信号と真顔の映像信号とが半々の割合で合成され、これにより表情が中間的な状態に表現された顔領域の部分映像信号が作成される。
【００３８】
次に映像調整回路４では、上記モーフィング処理により作成された顔領域の部分映像信号ＯＳと、先に表情検出部４１において分離された背景領域の部分映像信号ＭＳとを合成する処理が行われ、これにより表情が調整された映像信号ＤＳが得られる。この表情が調整された映像信号（送信ＣＩＦ信号）ＤＳは、映像符号化回路５で映像符号化処理された後、多重分離回路６において音声符号化信号ＦＳと多重化され、しかるのち通信相手装置に向け図示しない伝送路へ送信される。
【００３９】
以上述べたように第１の実施形態では、映像調整回路４において、会話中に撮像された話者の顔領域の画像と、通信初期時のトレーニング期間に撮像して記憶した真顔画像の顔領域の画像とを、予め設定した表情調整割合を指定する情報ＮＳに従いモーフィング処理し、このモーフィング処理により表情が調整された映像信号を通信相手装置へ送信するようにしている。このため、会話中において、話者の感情や疲労度、緊張具合等のプライバシーに係わる情報が相手話者に知られてしまう不具合は低減される。  
しかも、通信開始時に行われるトレーニング期間において、話者の真顔画像が自動的に取得されて記憶されるため、通信に先立ち予め話者の真顔画像を撮像して記憶しておく必要がなくなり、これにより不特定多数の話者にも対応可能となる。
【００４０】
さらにこの実施形態では、通信相手ごとに表情調整割合を設定し、この設定された表情調整割合を通信相手の加入電話番号やＩＰアドレスに対応付けて調整割合記憶部４３に記憶する。そして、通信相手の加入電話番号やＩＰアドレスをもとに、調整割合記憶部４３から通信相手に対応する表情調整割合を読み出してモーフィング処理に供するようにしている。  
したがって、例えば通信相手が家族等の気心の知れた相手の場合には、会話中の表情の合成割合を高くすると共に真顔の合成割合を零又は低く設定することにより、話者の表情ができるだけありのまま通信相手に伝わるようにすることができる。これに対し、通信相手が商談相手や初対面の相手の場合には、会話中の表情の合成割合を低く設定すると共に真顔の合成割合を高く設定することにより、話者の表情ができるかぎり通信相手に伝わらないようにすることができる。すなわち、通信相手に応じて最適な表情の映像信号を送信することができる。
【００４１】
（第２の実施形態）  
この発明の第２の実施形態は、中央演算処理ユニット（ＣＰＵ：Central Processing Unit）においてプログラムを実行することにより、被写体の顔画像に対する映像調整処理を行うようにしたものである。
【００４２】
図５は、この発明に係わる映像通信装置の第２の実施形態を示すブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。  
この実施形態に係わる映像通信装置は、ＣＰＵ１０及びメモリ１１を備え、これらにより映像調整回路を構成している。メモリ１１は、ハードディスク又はフラッシュメモリからなる不揮発性メモリ部と、ＲＡＭからなる揮発性メモリ部とから構成され、不揮発性メモリ部には映像調整処理プログラムが格納してある。また揮発性メモリ部には、映像調整処理に必要な情報として、表情調整割合を指定する情報ＮＳと、真顔の映像信号（真顔画像）が記憶される。  
ＣＰＵ１０は、上記メモリ１１に記憶された映像調整処理プログラムに従い、かつ上記表情調整割合を指定する情報ＮＳ及び真顔の映像信号を使用して、会話期間中に撮像された被写体の顔画像に対し映像調整処理を実行する。
【００４３】
次に、以上のように構成された装置の動作をＣＰＵ１０の制御手順に従い説明する。図６は、その制御手順と制御内容を示すフローチャートである。  
ＣＰＵ１０は、ステップ６ａで表情調整割合の入力を監視すると共に、ステップ６ｂで映像信号の入力を監視している。この状態で、話者又は装置の管理者が図示しない入力装置において表情調整割合を指定する情報ＮＳの入力操作を行うと、ステップ６ａからステップ６ｃに移行して、上記入力された表情調整割合を指定する情報ＮＳをメモリ１１に格納する。なお、上記表情調整割合を指定する情報ＮＳは通信相手ごとに設定され、この設定された情報ＮＳは通信相手の識別情報、例えば加入電話番号又はＩＰアドレスに対応付けてメモリ１１に格納される。
【００４４】
さて、この状態で通信が開始されて、フォーマット変換回路３から映像信号（ＣＩＦ信号）ＣＳが入力されると、ＣＰＵ１０はステップ６ｂからステップ６ｄに移行して、会話が行われているか否かを判定する。そして、例えば映像通信のためのトレーニング期間のように会話開始前であれば、ステップ６ｅに移行して、上記入力された映像信号ＣＳを真顔画像ＱＳとしてメモリ１１に記憶する。かくして、話者の会話開始前における真顔画像が自動記憶される。
【００４５】
一方、会話中に映像信号（ＣＩＦ信号）ＣＳが入力されると、ＣＰＵ１０はステップ６ｄからステップ６ｆに移行し、ここで先ず上記入力された映像信号ＣＳから顔領域と背景領域とをそれぞれ分離抽出する。そして、抽出された顔領域及び背景領域の映像信号をメモリ１１に保存する。なお、顔領域の抽出には、前記第１の実施形態で述べたように肌色抽出法と、顔領域の大小及び縦横のアスペクト比を用いた方法が使用される。
【００４６】
ＣＰＵ１０は、次にステップ６ｇにおいて、上記抽出された顔領域の映像信号から話者の表情報を表す特定部位、例えば眉、目及び口を表す領域の画像を抽出する。この特定部位を表す領域の抽出処理も、前記第１の実施形態で述べたように眉、目及び口がそれぞれ有する形状及び色彩上の特徴と、眉、目及び口相互の位置関係に基づいて行われる。また、抽出結果に曖昧さが存在する場合に弛緩法を使用して曖昧さを減少させる点についても前記第１の実施形態と同様である。
【００４７】
上記特定部位の領域が抽出されると、ＣＰＵ１０は続いてステップ６ｈにより、上記抽出された特定部位の位置と大きさを、上記会話開始前に記憶した真顔画像に含まれる上記特定部位の位置と大きさに合わせるための正規化処理を行う。そして、ステップ６ｉにより、上記正規化された特定部位の部分映像信号の形状の座標と、上記真顔画像中の特定部位における部分映像信号の形状の座標とを、メモリ１１から読み出された表情調整割合に応じて線形補完する処理を行う。また同様に、上記正規化された特定部位以外の部位、例えば頬や額、鼻等のその他の肌色領域の形状の座標と、上記真顔画像の上記特定部位以外の肌色領域の形状の座標とを、メモリ１１から読み出された表情調整割合に応じて線形補完する処理を行う。かくして、予め設定した表情調整割合に応じて、会話中に撮像された顔画像と会話前に撮像して記憶した真顔画像とのモーフィング処理が行われる。
【００４８】
上記モーフィング処理が終了するとＣＰＵ１０は、続いてステップ６ｊにおいて、上記モーフィング処理により作成された顔領域の映像信号と、先にステップ６ｆにより分離された背景領域の映像信号とを合成する処理を行い、これにより表情が調整された映像信号ＤＳを得る。そして、この表情が調整された映像信号（送信ＣＩＦ信号）ＤＳを、ステップ６ｋにより映像符号化回路５へ出力する。  
以後、会話中に映像信号が入力されるごとに、上記ステップ６ｂ〜ステップ６ｋにより顔画像の表情を調整するための一連の処理が実行される。
【００４９】
以上述べたように第２の実施形態によれば、先に述べた第１の実施形態と同様に、会話中に撮像された話者の顔領域の画像と、通信初期時のトレーニング期間に撮像して記憶した真顔画像の顔領域の画像とを、予め設定した表情調整割合を指定する情報ＮＳに従いモーフィング処理し、このモーフィング処理により表情が調整された映像信号を通信相手装置へ送信するようにしている。このため、会話中において、話者の感情や疲労度、緊張具合等のプライバシーに係わる情報が相手話者に知られてしまう不具合は低減される。しかも、通信開始時に行われるトレーニング期間において、話者の真顔画像が自動的に取得されて記憶されるため、通信に先立ち予め話者の真顔画像を撮像して記憶しておく必要がなくなり、これにより不特定多数の話者にも対応可能となる。
【００５０】
さらに、通信相手ごとに表情調整割合を設定し、この設定された表情調整割合を通信相手の加入電話番号やＩＰアドレスに対応付けてメモリ１１に記憶し、通信相手の加入電話番号やＩＰアドレスをもとに、メモリ１１から通信相手に対応する表情調整割合を読み出してモーフィング処理に仕様するようにしている。したがって、通信相手の属性、例えば家族等の気心の知れた相手、商談相手や初対面の相手等に応じ、最適な表情の映像信号を送信することができる。
【００５１】
（その他の実施形態）  
前記各実施形態では、真顔の映像信号として、通信初期時に実行されるトレーニング期間において撮像された会話開始前の被写体の映像信号を記憶するようにした。しかし、それに限らず通信開始後の最初の非会話期間に得られる被写体の映像信号を記憶するようにしてもよい。また、その後の非会話期間に被写体の映像信号が得られるごとに、この得られた映像信号をもとに上記記憶されている真顔の映像信号を逐次学習して補正するようにしてもよい。このようにすると、より平常時の状態に近い被写体の真顔画像を得ることができる。なお、非会話期間の判定は、送話音声信号及び受話音声信号の有無を監視することにより可能である。
【００５２】
また、前記各実施形態では通信先として想定される相手ごとに表情調整割合の値を決定し、この決定した値を相手の加入電話番号又はＩＰアドレスに対応付けて調整割合記憶部４３に記憶するようにした。しかし、それに限らず想定される通信相手をグループ化し、このグループごとに表情調整割合の値を決定して、この決定した値を上記グループの識別番号に対応付けて調整割合記憶部４３に記憶するようにしてもよい。このようにすると、例えば通信相手を、家族や親戚のグループ、職場の同僚のグループ、商談相手のグループ等に分け、これらのグループごとに表情調整割合を設定すればよいので、個々の通信相手ごとに表情調整割合を設定する場合に比べて表情調整割合の設定管理を簡単化することができる。
【００５３】
その他、映像調整処理の手順と内容、表情調整割合の設定手法、真顔画像の生成記憶手法等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できることは勿論である。  
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００５４】
【図１】この発明に係わる映像通信装置の第１の実施形態を示す要部ブロック図。
【図２】図１に示した映像通信装置における映像調整回路の構成を示すブロック図。
【図３】図２に示した映像調整回路における表情検出部の構成を示すブロック図。
【図４】図２に示した映像調整回路における表情合成部の構成を示すブロック図。
【図５】この発明に係わる映像通信装置の第２の実施形態を示す要部ブロック図。
【図６】図５に示した映像通信装置のＣＰＵにおいて実行される映像作成制御の手順と内容を示すフローチャート。
【符号の説明】
【００５５】
１…カメラ、２…アナログ・ディジタル変換回路（Ａ／Ｄ）、３…フォーマット変換回路、４…映像調整回路、５…映像符号化回路、６…多重分離回路、７…フォーマット逆変換回路、８…ディジタル・アナログ変換回路（Ｄ／Ａ）、９…モニタ、１０…中央演算処理ユニット（ＣＰＵ）、１１…メモリ、４１…表情抽出部、４２…表情合成部、４３…調整割合記憶部、４４…映像合成部、４１１…顔領域抽出部、４１２…特定部位切出部、４２１…正規化部、４２２…真顔情報記憶部、４２３…モーフィング部。
【図１】
2005151231.tif 000003
【図２】
2005151231.tif 000004
【図３】
2005151231.tif 000005
【図４】
2005151231.tif 000006
【図５】
2005151231.tif 000007
【図６】
2005151231.tif 000008