(57)【要約】【課題】視線の一致を適切に制御して、自然に視線が一致した画像を生成することができる。【解決手段】特徴抽出部３４が、カメラ入力画像から特徴を抽出し、目開閉判定部３６が、カメラ入力画像の特徴を用いて目の開閉を判定する。目が開いていると判定している場合、対話相手注視判定部３８が、学習された識別器に基づいて、カメラ入力画像が表す対話者が、対話相手を注視しているか否かを判定する。視線一致条件判定部３９が、予め定められた視線一致条件を用いて対話相手と視線を一致させてよいか否かを判定する。合成部４２が、対話相手を注視していると判定された場合であって、かつ、対話相手と視線を一致させてよいと判定された場合において、カメラ入力画像が表す対話者の目領域に、カメラを注視したときの画像を合成する。【選択図】図１
2018046463.tif 000002
【特許請求の範囲】
【請求項１】
テレビ会議システムにおける視線一致顔画像合成方法であって、
対話者を表すカメラ入力画像から特徴を抽出する特徴抽出過程と、
対話相手を注視しているか否かが既知の顔画像から予め学習された、対話相手を注視しているか否かを識別する識別器と、前記カメラ入力画像の特徴とに基づいて、前記カメラ入力画像が表す対話者が、対話相手を注視しているか否かを判定する対話相手注視判定過程と、
予め定められた視線一致条件を用いて対話相手と視線を一致させてよいか否かを判定する視線一致条件判定過程と、
前記対話相手を注視していると判定された場合であって、かつ、前記対話相手と視線を一致させてよいと判定された場合において、前記カメラ入力画像が表す対話者の目領域に、カメラを注視したときの画像を合成する合成過程と、
を含む視線一致顔画像合成方法。
【請求項２】
テレビ会議システムにおける視線一致顔画像合成方法であって、
対話者を表すカメラ入力画像から特徴を抽出する特徴抽出過程と、
対話者側のディスプレイ上の注視点が既知の顔画像から予め学習された、対話者側のディスプレイ上の各位置について前記位置を注視しているか否かを識別する識別器と、前記カメラ入力画像の特徴とに基づいて、対話者側のディスプレイ上の注視点を判定するディスプレイ上注視点判定過程と、
前記対話者側のディスプレイ上の注視点に基づいて、前記カメラ入力画像が表す対話者が対話相手を注視しているか否かを判定する注視相手判定過程と、
予め定められた視線一致条件を用いて前記対話相手と視線を一致させてよいか否かを判定する視線一致条件判定過程と、
前記対話相手を注視していると判定された場合であって、かつ、前記対話相手と視線を一致させてよいと判定された場合において、前記カメラ入力画像が表す対話者の目領域に、前記対話相手に対応する位置を注視したときの画像を合成する合成過程と、
を含む視線一致顔画像合成方法。
【請求項３】
前記合成過程では、前記対話相手を注視していると判定された場合であって、かつ、前記対話相手と視線を一致させてよいと判定された場合において、画像受信側の合成部が、前記カメラ入力画像が表す対話者の目領域に、前記注視したときの画像を合成する請求項１又は請求項２に記載の視線一致顔画像合成方法。
【請求項４】
対話者を表すカメラ入力画像から特徴を抽出する特徴抽出部と、
対話相手を注視しているか否かが既知の顔画像から予め学習された、対話相手を注視しているか否かを識別する識別器と、前記カメラ入力画像の特徴とに基づいて、前記カメラ入力画像が表す対話者が、対話相手を注視しているか否かを判定する対話相手注視判定部と、
予め定められた視線一致条件を用いて対話相手と視線を一致させてよいか否かを判定する視線一致条件判定部と、
前記対話相手を注視していると判定された場合であって、かつ、前記対話相手と視線を一致させてよいと判定された場合において、前記カメラ入力画像が表す対話者の目領域に、カメラを注視したときの画像を合成する合成部と、
を含むテレビ会議システム。
【請求項５】
対話者を表すカメラ入力画像から特徴を抽出する特徴抽出部と、
対話者側のディスプレイ上の注視点が既知の顔画像から予め学習された、対話者側のディスプレイ上の各位置について前記位置を注視しているか否かを識別する識別器と、前記カメラ入力画像の特徴とに基づいて、対話者側のディスプレイ上の注視点を判定するディスプレイ上注視点判定部と、
前記対話者側のディスプレイ上の注視点に基づいて、前記カメラ入力画像が表す対話者が対話相手を注視しているか否かを判定する注視相手判定部と、
予め定められた視線一致条件を用いて前記対話相手と視線を一致させてよいか否かを判定する視線一致条件判定部と、
前記対話相手を注視していると判定された場合であって、かつ、前記対話相手と視線を一致させてよいと判定された場合において、前記カメラ入力画像が表す対話者の目領域に、前記対話相手に対応する位置を注視したときの画像を合成する合成部と、
を含むテレビ会議システム。
【請求項６】
コンピュータに、請求項１〜請求項３の何れか１項に記載の視線一致顔画像合成方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線一致顔画像合成方法、テレビ会議システム、及びプログラムに関する。
【背景技術】
【０００２】
従来、視線一致顔画像合成方法に関しては、テレビ会議における対話者間の視線一致のための目領域変換手法として、注視点がディスプレイ上の対話相手となった場合に常に目領域を変換する方法が知られている（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】井上 卓弥，高橋 友和，平山 高嗣，出口 大輔，井手 一郎，村瀬 洋，黒住 隆行，柏野 邦夫. “テレビ会議における対話者間の視線一致のための目領域変換手法に関する検討”. 信学技報, No. PRMU2014-60, pp. 33-38, October 2014.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記の非特許文献１の方法では、視線の変化がディスプレイ上の顔画像に敏感に反映されたり、不自然に視線が一致し凝視されているような顔画像を合成したりするという欠点があった。
【０００５】
本発明は、上記の事情を鑑みてなされたもので、視線の一致を適切に制御して、自然に視線が一致した画像を生成することができる視線一致顔画像合成方法、テレビ会議システム、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために第１の発明の視線一致顔画像合成方法は、テレビ会議システムにおける視線一致顔画像合成方法であって、対話者を表すカメラ入力画像から特徴を抽出する特徴抽出過程と、対話相手を注視しているか否かが既知の顔画像から予め学習された、対話相手を注視しているか否かを識別する識別器と、前記カメラ入力画像の特徴とに基づいて、前記カメラ入力画像が表す対話者が、対話相手を注視しているか否かを判定する対話相手注視判定過程と、予め定められた視線一致条件を用いて対話相手と視線を一致させてよいか否かを判定する視線一致条件判定過程と、前記対話相手を注視していると判定された場合であって、かつ、前記対話相手と視線を一致させてよいと判定された場合において、前記カメラ入力画像が表す対話者の目領域に、カメラを注視したときの画像を合成する合成過程と、を含む。
【０００７】
第２の発明のテレビ会議システムは、対話者を表すカメラ入力画像から特徴を抽出する特徴抽出部と、対話相手を注視しているか否かが既知の顔画像から予め学習された、対話相手を注視しているか否かを識別する識別器と、前記カメラ入力画像の特徴とに基づいて、前記カメラ入力画像が表す対話者が、対話相手を注視しているか否かを判定する対話相手注視判定部と、予め定められた視線一致条件を用いて対話相手と視線を一致させてよいか否かを判定する視線一致条件判定部と、前記対話相手を注視していると判定された場合であって、かつ、前記対話相手と視線を一致させてよいと判定された場合において、前記カメラ入力画像が表す対話者の目領域に、カメラを注視したときの画像を合成する合成部と、を含んで構成されている。
【０００８】
第３の発明の視線一致顔画像合成方法は、テレビ会議システムにおける視線一致顔画像合成方法であって、対話者を表すカメラ入力画像から特徴を抽出する特徴抽出過程と、対話者側のディスプレイ上の注視点が既知の顔画像から予め学習された、対話者側のディスプレイ上の各位置について前記位置を注視しているか否かを識別する識別器と、前記カメラ入力画像の特徴とに基づいて、対話者側のディスプレイ上の注視点を判定するディスプレイ上注視点判定過程と、前記対話者側のディスプレイ上の注視点に基づいて、前記カメラ入力画像が表す対話者が対話相手を注視しているか否かを判定する注視相手判定過程と、予め定められた視線一致条件を用いて前記対話相手と視線を一致させてよいか否かを判定する視線一致条件判定過程と、前記対話相手を注視していると判定された場合であって、かつ、前記対話相手と視線を一致させてよいと判定された場合において、前記カメラ入力画像が表す対話者の目領域に、前記対話相手に対応する位置を注視したときの画像を合成する合成過程と、を含む。
【０００９】
第４の発明のテレビ会議システムは、対話者を表すカメラ入力画像から特徴を抽出する特徴抽出部と、対話相手を注視しているか否かが既知の顔画像から予め学習された、対話相手を注視しているか否かを識別する識別器と、前記カメラ入力画像の特徴とに基づいて、前記カメラ入力画像が表す対話者が、対話相手を注視しているか否かを判定する対話相手注視判定部と、予め定められた視線一致条件を用いて対話相手と視線を一致させてよいか否かを判定する視線一致条件判定部と、前記対話相手を注視していると判定された場合であって、かつ、前記対話相手と視線を一致させてよいと判定された場合において、前記カメラ入力画像が表す対話者の目領域に、カメラを注視したときの画像を合成する合成部と、を含んで構成されている。
【００１０】
本発明のプログラムは、コンピュータに、本発明の視線一致顔画像合成方法の各ステップを実行させるためのプログラムである。
【発明の効果】
【００１１】
以上説明したように、本発明の視線一致顔画像合成方法、テレビ会議システム、及びプログラムによれば、予め学習された識別器に基づいて、対話相手を注視しているか否か、又は対話者側のディスプレイ上の注視点を判定し、視線一致条件を用いて対話相手と視線を一致させてよいか否かを判定し、対話相手と視線を一致させてよいと判定された場合において、カメラ入力画像が表す対話者の目領域に、カメラ、又は対話相手に対応する位置を注視したときの画像を合成することにより、視線の一致を適切に制御して、自然に視線が一致した画像を生成することができる、という効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施の形態のテレビ会議システムの一構成例を示すブロック図である。
【図２】カメラとウィンドウの配置を説明するための図である。
【図３】目領域画像を抽出する方法を説明するための図である。
【図４】目領域画像の一例を示す図である。
【図５】学習用カメラ入力画像を撮像する際に、ディスプレイ上に表示した点の配置を示す図である。
【図６】本発明の第１の実施の形態のテレビ会議システムにおける学習処理ルーチンの内容を示すフローチャートである。
【図７】本発明の第１の実施の形態のテレビ会議システムにおける視線一致顔画像合成処理ルーチンの内容を示すフローチャートである。
【図８】本発明の第２の実施の形態のテレビ会議システムの一構成例を示すブロック図である。
【図９】カメラとウィンドウの配置を説明するための図である。
【図１０】本発明の第２の実施の形態のテレビ会議システムにおける視線一致顔画像合成処理ルーチンの内容を示すフローチャートである。
【図１１】本発明の第３の実施の形態のテレビ会議システムの一構成例を示すブロック図である。
【図１２】カメラとウィンドウの配置を説明するための図である。
【図１３】本発明の第３の実施の形態のテレビ会議システムにおける画像送信側視線一致顔画像合成処理ルーチンの内容を示すフローチャートである。
【図１４】本発明の第３の実施の形態のテレビ会議システムにおける画像受信側視線一致顔画像合成処理ルーチンの内容を示すフローチャートである。
【図１５】本発明の第４の実施の形態のテレビ会議システムの一構成例を示すブロック図である。
【図１６】視線一致条件の一例を説明するための図である。
【図１７】本発明の第４の実施の形態のテレビ会議システムにおける視線一致顔画像合成処理ルーチンの内容を示すフローチャートである。
【図１８】視線一致条件の一例を説明するための図である。
【発明を実施するための形態】
【００１３】
＜本発明の実施の形態の概要＞
まず、本発明の実施の形態の概要について説明する。本発明の実施の形態は、テレビ会議システムにおいて視線の一致する顔画像を生成するものである。複数の対話者のテレビ会議において、ウィンドウがさまざまな場所に配置してある場合においても、会議参加者に誰が誰に向かって対話しているかをわかりやすく提示するものである。
【００１４】
本発明の実施の形態は、非特許文献１に記載の、テレビ会議における対話者間の視線一致のための目領域変換手法に比べて、視線を一致させてよいかを制御することで、自然な視線の一致を可能とした点が主眼である。
【００１５】
＜第１の実施の形態＞
＜テレビ会議システムの構成＞
以下、図面を参照して本発明の第１の実施の形態を詳細に説明する。図１は、本発明の第１の実施の形態のテレビ会議システム１００を示すブロック図である。テレビ会議システム１００は、ＣＰＵと、ＲＡＭと、学習処理ルーチン、及び視線一致顔画像合成処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータを用いて構成され、機能的には次に示すように構成されている。
【００１６】
本実施の形態のテレビ会議システム１００は、図１に示すように、カメラ１０と、演算部２０と、通信部８０と、ディスプレイ９０とを備えている。
【００１７】
図２に示すように、カメラ１０は、対話者の顔を撮像し、カメラ入力画像を、演算部２０へ出力する。ディスプレイ９０は、対話相手の画像を表示したウィンドウ９２を表示し、対話者は、ウィンドウ９２を見ながら対話を行う。
【００１８】
演算部２０は、学習用画像ＤＢ２２、目領域画像抽出部２４、３２、特徴抽出部２６、３４、識別器構築部２８、識別器記憶部３０、目開閉判定部３６、対話相手注視判定部３８、視線一致条件判定部３９、注視画像記憶部４０、合成部４２、及び画面出力部４４を備えている。
【００１９】
学習用画像ＤＢ２２は、ディスプレイ９０上の各位置について、当該位置に配置された１点を対話者が注視しているときにカメラ１０により撮像された学習用カメラ入力画像が記憶されている。ディスプレイ９０上のウィンドウ９２の表示範囲が予め定められており、各学習用カメラ入力画像の注視点が、ウィンドウ９２の表示範囲内であるか否かに応じて、対話者が対話相手を注視しているか否かを示す情報が予め付与されている。例えば、対話者には顔は固定したまま視線だけを動かし、図５に示すような点を１点ずつディスプレイ９０上に表示し、順に注視してもらい、撮影したカメラ入力画像において、点線の矩形内を注視している画像をＰｏｓｉｔｉｖｅ、それ以外の画像をＮｅｇａｔｉｖｅとする。
【００２０】
目領域画像抽出部２４は、学習用カメラ入力画像の各々から、以下のように目領域画像を抽出する。
【００２１】
例えば、図３に示すような左右それぞれの目領域の輪郭部分から４点の特徴点を抽出する。次に、４点の特徴点の外接矩形で目領域を抽出し、左右の目を連結して、目領域画像とする。図４に抽出した目領域画像の例を示す。この際、抽出した特徴点に、平行移動や拡縮などの摂動を加えることで、目領域画像のパターンを増やしている。この処理をすべての学習用カメラ入力画像について行ない、すべての目領域画像の外接矩形の大きさの中央値で、すべての目領域画像をリサイズする。
【００２２】
特徴抽出部２６は、学習用カメラ入力画像の各々から抽出された目領域画像について、以下のように特徴量を抽出する。
【００２３】
例えば、抽出した目領域画像からCannyによりエッジを検出し、エッジがあるか否かの特徴量とする。次に、目領域画像をグレースケールに変換し、ヒストグラム均等化を行なう。その後、輝度値を連結して特徴量とする。最後に、輝度値とエッジの特徴量を連結して最終的な特徴量とする。
【００２４】
識別器構築部２８は、学習用カメラ入力画像の各々から抽出された特徴量と、学習用カメラ入力画像の各々に付与されている、対話者が対話相手を注視しているか否かを示す情報とに基づいて、対話者が対話相手を注視しているか否かを識別するための識別器を構築する。本実施の形態では、識別器として、一般的に２クラス識別問題に対して高い性能を持つとされる SVM(Suport Vector Machine) 識別器を用いる。
【００２５】
識別器記憶部３０は、識別器構築部２８によって学習された識別器が記憶されている。
【００２６】
目領域画像抽出部３２は、カメラ入力画像から、目領域画像抽出部２４と同様に、目領域画像を抽出する。
【００２７】
特徴抽出部３４は、カメラ入力画像から抽出された目領域画像について、特徴抽出部２６と同様に、特徴量を抽出する。
【００２８】
目開閉判定部３６は、カメラ入力画像について抽出された特徴量と、目の開閉度が既知の参照画像から予め抽出された特徴量とに基づいて、目の開閉度を計算し、目の開閉度が閾値より大きい場合に、目が開いていると判定する。
【００２９】
対話相手注視判定部３８は、目が開いていると判定された場合、識別器記憶部３０に記憶されている識別器と、カメラ入力画像について抽出された特徴量と、に基づいて、対話者が対話相手を注視しているか否かを判定する。
【００３０】
視線一致条件判定部３９は、予め定められた視線一致条件を用いて、対話相手と視線を一致させてよいか否かを判定する。例えば、何秒連続して視線の一致を許すかを表すパラメータと何秒視線を逸らすかを表すパラメータとを用いて、視線一致条件を予め設定しておく。連続して対話相手と視線が一致している時間が、許可された時間を越えた場合は、視線一致条件を満たさないと判定し、強制的に設定された視線を逸らす時間だけ視線一致を行わない。視線を逸らす時間を経過した後、再び視線一致条件を満たすと判定された場合は、対話相手と視線を一致させてよいと判定し、視線が一致した画像の合成が行われる。
【００３１】
注視画像記憶部４０は、予め撮像された、対話者がカメラ１０を注視しているときのカメラ入力画像から抽出された、目を表す画像が記憶されている。
【００３２】
合成部４２は、対話者が対話相手を注視していると判定された場合であって、かつ、対話相手と視線を一致させてよいと判定された場合、カメラ入力画像の目領域に、注視画像記憶部４０に記憶されている、目を表す画像を合成した合成画像を生成し、合成画像を、通信部８０により対話相手側のテレビ会議システム（図示省略）へ送信する。
【００３３】
画面出力部４４は、対話相手側のテレビ会議システムから通信部８０により受信した画像を、ディスプレイ９０のウィンドウ９２上に表示する。
【００３４】
なお、対話相手側のテレビ会議システムも、対話者側のテレビ会議システム１００と同様の構成となっており、インターネットなどのネットワークを介して、対話相手側のテレビ会議システムと、対話者側のテレビ会議システム１００とは接続されている。
【００３５】
＜テレビ会議システムの作用＞
次に、第１の実施の形態のテレビ会議システム１００の作用について説明する。まず、前処理として、ディスプレイ９０上の各位置について、当該位置に配置された１点を対話者が注視しているときに、カメラ１０により学習用カメラ入力画像が撮像され、学習用画像ＤＢ２２に、各学習用カメラ入力画像が、対話者が対話相手を注視しているか否かを示す情報と共に格納される。
【００３６】
そして、テレビ会議システム１００によって、図６に示す学習処理ルーチンが実行される。
【００３７】
まず、ステップＳ１００において、学習用画像ＤＢ２２から、各学習用カメラ入力画像が取得される。ステップＳ１０２では、各学習用カメラ入力画像から、目領域画像が抽出される。
【００３８】
そして、ステップＳ１０４において、各学習用カメラ入力画像の目領域画像から、特徴量が抽出される。ステップＳ１０６では、上記ステップＳ１０４で各学習用カメラ入力画像について抽出された特徴量と、各学習用カメラ入力画像に付与されている、対話者が対話相手を注視しているか否かを示す情報とに基づいて、識別器を構築し、識別器記憶部３０に格納して、学習処理ルーチンを終了する。
【００３９】
また、対話相手とのテレビ会議が開始され、ディスプレイ９０のウィンドウ９２上に、対話相手側のテレビ会議システムから送信された画像を表示しているときに、カメラ１０からカメラ入力画像が入力される度に、テレビ会議システム１００によって、図７に示す視線一致顔画像合成処理ルーチンが繰り返し実行される。
【００４０】
まず、ステップＳ１１０において、カメラ入力画像から、目領域画像が抽出される。ステップＳ１１２では、目領域画像から、特徴量を抽出する。
【００４１】
そして、ステップＳ１１４では、上記ステップＳ１１２で抽出された特徴量に基づいて、目が開いているか否かを判定する。目が開いていると判定された場合には、ステップＳ１１６へ進み、目が開いていないと判定された場合には、ステップＳ１２２へ進む。
【００４２】
ステップＳ１１６では、上記ステップＳ１１２で抽出された特徴量と、識別器記憶部３０に記憶されている識別器とに基づいて、対話者が対話相手を注視している否かを判定する。対話相手を注視していると判定された場合には、ステップＳ１１７へ進み、対話相手を注視していないと判定された場合には、ステップＳ１２２へ進む。
【００４３】
ステップＳ１１７では、予め定められた視線一致条件を満たすか否かに基づいて、対話相手と視線を一致させてよいか否かを判定する。視線一致条件を満たすと判定された場合には、ステップＳ１１８へ進み、視線一致条件を満たさないと判定された場合には、ステップＳ１２２へ進む。
【００４４】
ステップＳ１１８では、カメラ入力画像の目領域に、注視画像記憶部４０に記憶されている、目を表す画像を合成した合成画像を生成し、ステップＳ１２０において、上記ステップＳ１１８で生成した合成画像を、通信部８０により対話相手側のテレビ会議システムへ送信し、視線一致顔画像合成処理ルーチンを終了する。
【００４５】
ステップＳ１２２では、カメラ入力画像をそのまま通信部８０により対話相手側のテレビ会議システムへ送信し、視線一致顔画像合成処理ルーチンを終了する。
【００４６】
以上説明したように、第１の実施の形態に係るテレビ会議システムは、予め学習された識別器に基づいて、対話相手を注視しているか否かを判定し、視線一致条件を用いて対話相手と視線を一致させてよいか否かを判定し、対話相手と視線を一致させてよいと判定された場合に、カメラ入力画像が表す対話者の目領域に、カメラを注視したときの画像を合成することにより、視線の一致を適切に制御して、自然に視線が一致した画像を生成することができる。
【００４７】
＜第２の実施の形態＞
＜テレビ会議システムの構成＞
次に、第２の実施の形態のテレビ会議システムについて説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００４８】
第２の実施の形態では、ディスプレイに、複数の対話相手を表す複数のウィンドウが表示されている点と、対話者が注視している対話相手を判定して目の領域の画像を合成している点とが、第１の実施の形態と異なっている。
【００４９】
図８に示すように、第２の実施の形態のテレビ会議システム２００の演算部２２０は、学習用画像ＤＢ２２、目領域画像抽出部２４、３２、特徴抽出部２６、３４、識別器構築部２２８、識別器記憶部２３０、目開閉判定部３６、ディスプレイ上注視点判定部２３８、注視相手判定部２３９、注視画像記憶部２４０、視線一致条件判定部２４１、合成部２４２、及び画面出力部４４を備えている。
【００５０】
図９に示すように、カメラ１０は、対話者の顔を撮像し、カメラ入力画像を、演算部２２０へ出力する。ディスプレイ９０は、複数の対話相手の画像を表示した複数のウィンドウ９２を表示し、対話者は、複数のウィンドウ９２を見ながら対話を行う。
【００５１】
識別器構築部２２８は、ディスプレイ９０上の各位置について、学習用カメラ入力画像の各々から抽出された特徴量に基づいて、対話者がディスプレイ９０上の当該位置を注視しているか否かを識別するための識別器を各々構築する。
【００５２】
ここで、ディスプレイ９０上の各位置とは、例えば、縦方向、横方向に予め設定したスキップ幅でサンプリングした位置とする。各々の位置の識別器を構築するための学習用カメラ入力画像を注視しているか否かに分ける境界は、当該位置が中心となるような矩形とする。
【００５３】
識別器記憶部２３０は、識別器構築部２８によってディスプレイ９０上の各位置について学習された識別器が記憶されている。
【００５４】
ディスプレイ上注視点判定部２３８は、目が開いていると判定された場合、ディスプレイ９０上の各位置について、識別器記憶部２３０に記憶されている当該位置についての識別器と、カメラ入力画像について抽出された特徴量と、に基づいて、対話者がディスプレイ９０上の当該位置を注視しているか否かを各々判定する。
【００５５】
注視相手判定部２３９は、ディスプレイ上注視点判定部２３８によるディスプレイ９０上の各位置についての判定結果に基づいて、対話者がどの対話相手を注視しているかを判定する。例えば、対話者が注視していると判定されたディスプレイ９０上の位置の各々について、当該位置を含むウィンドウ９２に投票し、投票数が最も多いウィンドウ９２が表示している対話相手を、対話者が注視している対話相手として判定する。なお、投票数が最も多いウィンドウ９２が複数存在する場合には、投票数が最も多い複数のウィンドウ９２の中心位置の平均位置を注視していると判断すればよい。
【００５６】
視線一致条件判定部２４１は、予め定められた視線一致条件を用いて、対話相手と視線を一致させてよいか否かを判定する。例えば、何秒連続して視線の一致を許すかを表すパラメータと何秒視線を逸らすかを表すパラメータを用いて、視線一致条件を予め設定しておく。連続して同一の対話相手と視線が一致している時間が、許可された時間を越えた場合は、視線一致条件を満たさないと判定し、強制的に設定された視線を逸らす時間だけ対話相手との視線一致を行わない。視線を逸らす時間を経過した後、再び視線一致条件を満たすと判定された場合は、対話相手と視線を一致させてよいと判定し、視線が一致した画像の合成が行われる。
【００５７】
注視画像記憶部２４０は、予め撮像された、対話者が、複数のウィンドウ９２に対応する複数の合成用注視点２９０の各々を注視しているときのカメラ入力画像から抽出された、目を表す画像が記憶されている（上記図９参照）。
【００５８】
合成部２４２は、対話者が対話相手を注視していると判定された場合であって、かつ、対話相手と視線を一致させてよいと判定された場合、カメラ入力画像の目領域に、対話者が注視している対話相手に対応して注視画像記憶部２４０に記憶されている、目を表す画像を合成した合成画像を生成し、合成画像を、通信部８０により画像受信側のテレビ会議システムへ送信する。
【００５９】
なお、画像受信側のテレビ会議システムも、対話者側のテレビ会議システム２００と同様の構成となっており、インターネットなどのネットワークを介して、画像受信側のテレビ会議システムと、対話者側のテレビ会議システム２００とは接続されている。
【００６０】
＜テレビ会議システムの作用＞
次に、第２の実施の形態のテレビ会議システム２００の作用について説明する。まず、前処理として、ディスプレイ９０上の各位置について、当該位置に配置された１点を対話者が注視しているときに、カメラ１０により学習用カメラ入力画像が撮像され、学習用画像ＤＢ２２に格納される。
【００６１】
そして、テレビ会議システム２００によって、上記第１の実施の形態と同様に、学習処理ルーチンが実行される。なお、第２の実施の形態では、ディスプレイ９０上の各位置について、学習用カメラ入力画像の各々から抽出された特徴量に基づいて、対話者がディスプレイ９０上の当該位置を注視しているか否かを識別するための識別器が各々構築される。
【００６２】
また、対話相手とのテレビ会議が開始され、ディスプレイ９０の複数のウィンドウ９２上に、対話相手側の複数のテレビ会議システムから送信された画像を各々表示しているときに、カメラ１０からカメラ入力画像が入力される度に、テレビ会議システム２００によって、図１０に示す視線一致顔画像合成処理ルーチンが繰り返し実行される。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００６３】
まず、ステップＳ１１０において、カメラ入力画像から、目領域画像が抽出される。ステップＳ１１２では、目領域画像から、特徴量を抽出する。
【００６４】
そして、ステップＳ１１４では、上記ステップＳ１１２で抽出された特徴量に基づいて、目が開いているか否かを判定する。目が開いていると判定された場合には、ステップＳ２００へ進み、目が開いていないと判定された場合には、ステップＳ１２２へ進む。
【００６５】
ステップＳ２００では、上記ステップＳ１１２で抽出された特徴量と、識別器記憶部２３０に記憶されている識別器とに基づいて、ディスプレイ９０上の各位置について、対話者が当該位置を注視している否かを判定する。そして、ステップＳ２０２では、上記ステップＳ２００の判定結果に基づいて、対話者が注視している対話相手を判定する。
【００６６】
そして、ステップＳ２０４では、上記ステップＳ２０２の判定結果に基づいて、対話者が注視している対話相手がいるか否かを判定する。注視している対話相手がいると判定された場合には、ステップＳ２０５へ進み、注視している対話相手がいないと判定された場合には、ステップＳ１２２へ進む。
【００６７】
ステップＳ２０５では、予め定められた視線一致条件を満たすか否かに基づいて、対話相手と視線を一致させてよいか否かを判定する。視線一致条件を満たすと判定された場合には、ステップＳ２０６へ進み、視線一致条件を満たさないと判定された場合には、ステップＳ１２２へ進む。
【００６８】
ステップＳ２０６では、上記ステップＳ２０２の判定結果に基づいて、カメラ入力画像の目領域に、対話者が注視している対話相手に対応して注視画像記憶部２４０に記憶されている、目を表す画像を合成した合成画像を生成し、ステップＳ１２０において、上記ステップＳ２０６で生成した合成画像を、通信部８０により画像受信側のテレビ会議システムへ送信し、視線一致顔画像合成処理ルーチンを終了する。
【００６９】
ステップＳ１２２では、カメラ入力画像をそのまま通信部８０により画像受信側のテレビ会議システムへ送信し、視線一致顔画像合成処理ルーチンを終了する。
【００７０】
以上説明したように、第２の実施の形態に係るテレビ会議システムは、ディスプレイ上の各位置について予め学習された識別器に基づいて、対話者側のディスプレイ上の注視点を判定して、注視している対話相手を判定し、視線一致条件を用いて対話相手と視線を一致させてよいか否かを判定し、対話相手と視線を一致させてよいと判定された場合に、カメラ入力画像が表す対話者の目領域に、対話相手に対応する位置を注視したときの画像を合成することにより、視線の一致を適切に制御して、自然に視線が一致した画像を生成することができる。
【００７１】
また、複数の対話者のテレビ会議において、ディスプレイ上に複数のウィンドウが配置してある場合においても、会議参加者に誰が誰に向かって対話しているかをわかりやすく提示することができる。
【００７２】
＜第３の実施の形態＞
＜テレビ会議システムの構成＞
次に、第３の実施の形態のテレビ会議システムについて説明する。なお、第１の実施の形態、第２の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００７３】
第３の実施の形態では、画像受信側のテレビ会議システムで、画像を合成している点が、第２の実施の形態と異なっている。
【００７４】
図１１に示すように、第３の実施の形態では、画像送信側のテレビ会議システム３００と画像受信側のテレビ会議システム４００とが、ネットワーク５００を介して接続されている。
【００７５】
図１２に示すように、画像送信側のテレビ会議システム３００と画像受信側のテレビ会議システム４００とにおいて、ディスプレイ９０は、複数の対話相手の画像を表示した複数のウィンドウ９２を表示し、対話者は、複数のウィンドウ９２を見ながら対話を行う。本実施の形態では、画像送信側のテレビ会議システム３００と画像受信側のテレビ会議システム４００との各々で、ディスプレイ９０上の複数のウィンドウ９２の配置が変更可能となっている。以下では、画像送信側のテレビ会議システム３００と画像受信側のテレビ会議システム４００とで、ディスプレイ９０上の複数のウィンドウ９２の配置が異なっている場合を例に説明する。
【００７６】
画像送信側のテレビ会議システム３００の演算部３２０は、学習用画像ＤＢ２２、目領域画像抽出部２４、３２、特徴抽出部２６、３４、識別器構築部２２８、識別器記憶部２３０、目開閉判定部３６、ディスプレイ上注視点判定部２３８、注視相手判定部２３９、視線一致条件判定部２４１、及び画面出力部４４を備えている。
【００７７】
画像送信側のテレビ会議システム３００の通信部８０は、目開閉判定部３６により目が開いていないと判定された場合、又は対話相手と視線を一致させてよいと判定されなかった場合には、目開閉判定部３６による判定結果と、カメラ入力画像とを、画像受信側のテレビ会議システム４００へ送信する。また、目開閉判定部３６により目が開いていると判定された場合であって、かつ、対話相手と視線を一致させてよいと判定された場合には、目開閉判定部３６による判定結果と、注視相手判定部２３９による判定結果と、カメラ入力画像とを、画像受信側のテレビ会議システム４００へ送信する。
【００７８】
画像受信側のテレビ会議システム４００の演算部４２０は、目開閉判定部４２２、注視対象計算部４２４、注視画像記憶部２４０、及び合成部２４２を備えている。
【００７９】
目開閉判定部４２２は、通信部８０により受信した、目の開閉の判定結果に基づいて、画像送信側の対話者の目が開いているか否かを判定する。
【００８０】
注視対象計算部４２４は、画像送信側の対話者の目が開いていると判定された場合、通信部８０により受信した、注視している対話相手の情報に基づいて、画像送信側の対話者が対話相手を注視しているか否かを判定する。また、注視対象計算部４２４は、画像送信側の対話者が対話相手を注視していると判定された場合、通信部８０により受信した、注視している対話相手の情報に基づいて、ディスプレイ９０上のどのウィンドウ９２の対話者を注視しているかを計算する。例えば、ディスプレイ９０上の複数のウィンドウ９２のうち、通信部８０により受信した、注視している対話相手の情報に対応するウィンドウ９２を特定し、特定されたウィンドウ９２が表示している対話相手を、画像送信側の対話者が注視している対話相手として計算する。
【００８１】
注視画像記憶部２４０は、予め撮像された、対話者が、上記図１２に示すような複数のウィンドウ９２に対応する複数の合成用注視点２９０の各々を注視しているときのカメラ入力画像から抽出された、目を表す画像が記憶されている。
【００８２】
合成部２４２は、画像送信側の対話者が対話相手を注視していると判定された場合、注視対象計算部４２４による計算結果に基づいて、画像送信側のテレビ会議システム３００から受信したカメラ入力画像の目領域に、画像送信側の対話者が注視している対話相手に対応して注視画像記憶部２４０に記憶されている、目を表す画像を合成した合成画像を生成し、合成画像を、ディスプレイ９０の該当するウィンドウ９２に表示する。
【００８３】
なお、画像送信側のテレビ会議システム３００は、画像受信側のテレビ会議システム４００と同様の構成を更に有しており、画像受信側のテレビ会議システム４００は、画像送信側のテレビ会議システム３００と同様の構成を更に有しているが、簡単のため、図示を省略している。
【００８４】
＜テレビ会議システムの作用＞
次に、第３の実施の形態の画像送信側のテレビ会議システム３００の作用について説明する。まず、前処理として、ディスプレイ９０上の各位置について、当該位置に配置された１点を対話者が注視しているときに、カメラ１０により学習用カメラ入力画像が撮像され、学習用画像ＤＢ２２に格納される。
【００８５】
そして、画像送信側のテレビ会議システム３００によって、上記第２の実施の形態と同様に、学習処理ルーチンが実行される。
【００８６】
また、対話相手とのテレビ会議が開始され、ディスプレイ９０の複数のウィンドウ９２上に、画像受信側のテレビ会議システム４００の各々から送信された画像を表示しているときに、カメラ１０からカメラ入力画像が入力される度に、テレビ会議システム３００によって、図１３に示す画像送信側視線一致顔画像合成処理ルーチンが繰り返し実行される。なお、第１の実施の形態、第２の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００８７】
まず、ステップＳ１１０において、カメラ入力画像から、目領域画像が抽出される。ステップＳ１１２では、目領域画像から、特徴量を抽出する。
【００８８】
そして、ステップＳ１１４では、上記ステップＳ１１２で抽出された特徴量に基づいて、目が開いているか否かを判定する。目が開いていると判定された場合には、ステップＳ２００へ進み、目が開いていないと判定された場合には、ステップＳ３００へ進む。
【００８９】
ステップＳ２００では、上記ステップＳ１１２で抽出された特徴量と、識別器記憶部２３０に記憶されている識別器とに基づいて、ディスプレイ９０上の各位置について、対話者が当該位置を注視している否かを判定する。そして、ステップＳ２０２では、上記ステップＳ２００の判定結果に基づいて、対話者が注視している対話相手を判定する。
【００９０】
ステップＳ２０５では、予め定められた視線一致条件を満たすか否かに基づいて、対話相手と視線を一致させてよいか否かを判定する。視線一致条件を満たすと判定された場合には、ステップＳ３０２へ進み、視線一致条件を満たさないと判定された場合には、ステップＳ３００へ進む。
【００９１】
そして、ステップＳ３０２では、上記ステップＳ１１４の判定結果と、上記ステップＳ２０２の判定結果と、カメラ入力画像とを、通信部８０により画像受信側のテレビ会議システム４００へ送信し、画像送信側視線一致顔画像合成処理ルーチンを終了する。
【００９２】
一方、ステップＳ３００では、上記ステップＳ１１４の判定結果と、カメラ入力画像とを通信部８０により画像受信側のテレビ会議システム４００へ送信し、画像送信側視線一致顔画像合成処理ルーチンを終了する。
【００９３】
画像送信側のテレビ会議システム３００から、各種判定結果及びカメラ入力画像を受信する度に、テレビ会議システム４００によって、図１４に示す画像受信側視線一致顔画像合成処理ルーチンが繰り返し実行される。
【００９４】
まず、ステップＳ４００では、画像送信側のテレビ会議システム３００から受信した判定結果に基づいて、画像送信側の対話者の目が開いているか否かを判定する。目が開いていると判定された場合には、ステップＳ４０２へ進み、目が開いていないと判定された場合には、ステップＳ４０４へ進む。
【００９５】
ステップＳ４０２では、画像送信側のテレビ会議システム３００から受信した判定結果に基づいて、画像送信側の対話者が注視している対話相手がいるか否かを判定する。注視している対話相手がいると判定された場合には、ステップＳ４０６へ進み、注視している対話相手がいないと判定された場合には、ステップＳ４０４へ進む。
【００９６】
ステップＳ４０６では、画像送信側のテレビ会議システム３００から受信した判定結果に基づいて、画像送信側の対話者が、ディスプレイ９０上のどのウィンドウ９２の対話者を注視しているかを計算する。
【００９７】
そして、ステップＳ４０８では、上記ステップＳ４０６の計算結果に基づいて、画像送信側のテレビ会議システム３００から受信したカメラ入力画像の目領域に、画像送信側の対話者が注視している対話相手に対応して注視画像記憶部２４０に記憶されている、目を表す画像を合成した合成画像を生成し、ステップＳ４１０において、上記ステップＳ４０８で生成した合成画像を、ディスプレイ９０の該当するウィンドウ９２に表示して、画像受信側視線一致顔画像合成処理ルーチンを終了する。
【００９８】
ステップＳ４０４では、画像送信側のテレビ会議システム３００から受信したカメラ入力画像をそのまま、ディスプレイ９０の該当するウィンドウ９２に表示して、画像受信側視線一致顔画像合成処理ルーチンを終了する。
【００９９】
以上説明したように、第３の実施の形態に係るテレビ会議システムは、ディスプレイ上の各位置について予め学習された識別器に基づいて、画像送信側のディスプレイ上の注視点を判定して、注視している対話相手を判定し、視線一致条件を用いて対話相手と視線を一致させてよいか否かを判定し、対話相手と視線を一致させてよいと判定された場合に、画像受信側において、カメラ入力画像が表す対話者の目領域に、対話相手に対応する位置を注視したときの画像を合成することにより、視線の一致を適切に制御して、自然に視線が一致した画像を生成することができる。
【０１００】
また、複数の対話者のテレビ会議において、テレビ会議システム毎に、複数のウィンドウがさまざまな場所に配置してある場合においても、会議参加者に誰が誰に向かって対話しているかをわかりやすく提示することができる。
【０１０１】
＜第４の実施の形態＞
＜テレビ会議システムの構成＞
次に、第４の実施の形態のテレビ会議システムについて説明する。なお、第１の実施の形態〜第３の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１０２】
第４の実施の形態では、画像送信側と画像受信側との注視相手判定結果に基づいて、視線を一致させてよいか否かを判定している点が、第３の実施の形態と異なっている。
【０１０３】
図１５に示すように、第４の実施の形態では、複数のテレビ会議システム６００が、ネットワーク５００を介して接続されている。
【０１０４】
テレビ会議システム６００の演算部６２０は、学習用画像ＤＢ２２、目領域画像抽出部２４、２３２、特徴抽出部２６、２３４、識別器構築部２２８、識別器記憶部２３０、目開閉判定部２３６、ディスプレイ上注視点判定部２３８、注視相手判定部２３９、視線一致条件判定部５４０、注視画像記憶部２４０、及び合成部２４２を備えている。
【０１０５】
また、通信部８０は、目開閉判定部３６により目が開いていないと判定された場合、又は注視相手がいないと判定された場合には、カメラ入力画像を、画像受信側のテレビ会議システム６００へ送信する。また、目開閉判定部３６により目が開いていると判定された場合であって、かつ、注視相手がいると判定された場合には、注視相手判定部２３９による判定結果と、カメラ入力画像とを、画像受信側のテレビ会議システム６００へ送信する。
【０１０６】
また、通信部８０は、画像送信側のテレビ会議システム６００から、カメラ入力画像、又は注視相手判定部２３９による判定結果及びカメラ入力画像を受信する。
【０１０７】
視線一致条件判定部５４０は、注視相手判定部２３９による判定結果と、通信部８０により画像送信側のテレビ会議システム６００から受信した情報とに基づいて、視線一致条件として、対話相手と視線が一致しているか否かを判定する。例えば、図１６に示すように、画像送信側（例えば、人物Ｂ）と画像受信側（例えば、人物Ｃ）とで、互いに注視している場合には、視線一致条件を満たすと判定し、対話相手と視線を一致させてよいと判定し、一方、画像送信側（例えば、人物Ｂ）と画像受信側（例えば、人物Ｃ）とで、互いに注視していない場合には、視線一致条件を満たさないと判定し、対話相手と視線を一致させないと判定する。
【０１０８】
合成部２４２は、視線一致条件判定部５４０により、対話相手と視線を一致させてよいと判定された場合、注視相手判定部２３９による判定結果に基づいて、画像送信側のテレビ会議システム６００から受信したカメラ入力画像の目領域に、対話相手に対応して注視画像記憶部２４０に記憶されている、目を表す画像を合成した合成画像を生成し、合成画像を、ディスプレイ９０の該当するウィンドウ９２に表示する。一方、視線一致条件判定部５４０により、対話相手と視線を一致させないと判定された場合、画像送信側のテレビ会議システム６００から受信したカメラ入力画像をそのまま、ディスプレイ９０の該当するウィンドウ９２に表示する。
【０１０９】
＜テレビ会議システムの作用＞
次に、第４の実施の形態の画像送信側のテレビ会議システム６００の作用について説明する。
【０１１０】
対話相手とのテレビ会議が開始され、ディスプレイ９０の複数のウィンドウ９２上に、画像送信側のテレビ会議システム６００の各々から送信された画像を表示すると共に、画像送信側のテレビ会議システム６００の各々から、注視相手判定部２３９による判定結果を受信しているときに、カメラ１０からカメラ入力画像が入力される度に、テレビ会議システム６００によって、図１７に示す視線一致顔画像合成処理ルーチンが繰り返し実行される。なお、第１の実施の形態〜第３の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【０１１１】
まず、ステップＳ１１０において、カメラ入力画像から、目領域画像が抽出される。ステップＳ１１２では、目領域画像から、特徴量を抽出する。
【０１１２】
そして、ステップＳ１１４では、上記ステップＳ１１２で抽出された特徴量に基づいて、目が開いているか否かを判定する。目が開いていると判定された場合には、ステップＳ２００へ進み、目が開いていないと判定された場合には、ステップＳ５０２へ進む。
【０１１３】
ステップＳ２００では、上記ステップＳ１１２で抽出された特徴量と、識別器記憶部２３０に記憶されている識別器とに基づいて、ディスプレイ９０上の各位置について、対話者が当該位置を注視している否かを判定する。そして、ステップＳ２０２では、上記ステップＳ２００の判定結果に基づいて、対話者が注視している対話相手を判定する。
【０１１４】
ステップＳ５００では、上記ステップＳ２０２の判定結果に基づいて、注視している対話相手がいるか否かを判定する。注視している対話相手がいると判定された場合には、ステップＳ５０４へ進み、注視している対話相手がいないと判定された場合には、ステップＳ５０２へ進む。
【０１１５】
ステップＳ５０２では、カメラ入力画像を、通信部８０により画像受信側のテレビ会議システム６００へ送信する。
【０１１６】
ステップＳ５０４では、上記ステップＳ２０２の判定結果と、カメラ入力画像とを、通信部８０により画像受信側のテレビ会議システム６００へ送信する。
【０１１７】
ステップＳ５０６では、上記ステップＳ２０２の判定結果と、画像送信側のテレビ会議システム６００から受信した判定結果とに基づいて、視線一致条件を満たすか否かに基づいて、対話相手と視線を一致させてよいか否かを判定する。視線一致条件を満たすと判定された場合には、ステップＳ４０８へ進み、視線一致条件を満たさないと判定された場合には、ステップＳ４０４へ進む。
【０１１８】
ステップＳ４０８では、画像送信側のテレビ会議システム６００から受信した判定結果に基づいて、画像送信側のテレビ会議システム６００から受信したカメラ入力画像の目領域に、画像送信側の対話者に対応して注視画像記憶部２４０に記憶されている、目を表す画像を合成した合成画像を生成し、ステップＳ４１０において、上記ステップＳ４０８で生成した合成画像を、ディスプレイ９０の該当するウィンドウ９２に表示して、視線一致顔画像合成処理ルーチンを終了する。
【０１１９】
ステップＳ４０４では、画像送信側のテレビ会議システム６００から受信したカメラ入力画像をそのまま、ディスプレイ９０の該当するウィンドウ９２に表示して、視線一致顔画像合成処理ルーチンを終了する。
【０１２０】
以上説明したように、第４の実施の形態に係るテレビ会議システムによれば、視線一致条件を用いて、画像送信側と画像受信側とで、対話者が互いに注視している場合に、対話相手と視線を一致させてよいと判定し、カメラ入力画像が表す対話者の目領域に、対話相手に対応する位置を注視したときの画像を合成することにより、視線の一致を適切に制御して、自然に視線が一致した画像を生成することができる。
【０１２１】
＜第５の実施の形態＞
＜テレビ会議システムの構成＞
次に、第５の実施の形態のテレビ会議システムについて説明する。なお、第５の実施の形態のテレビ会議システムは、第４の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。
【０１２２】
第５の実施の形態では、画像送信側と画像受信側との注視相手判定結果に基づいて、カメラ入力画像が表す対話者の目領域の視線先を制御している点が、第４の実施の形態と異なっている。
【０１２３】
第５の実施の形態に係るテレビ会議システムの視線一致条件判定部５４０は、注視相手判定部２３９による判定結果と、通信部８０により画像送信側のテレビ会議システム６００から受信した情報とに基づいて、視線先を制御するか否かを判定し、視線先を制御すると判定した場合には、視線先をどの対話相手にするかを判定する。例えば、図１８に示すように、視線先を特定の人物（人物Ａ）に集めるように判定する。具体的には、特定の人物以外の人物(人物Ｂ、Ｃ、Ｄ)が、特定の人物（人物Ａ）を注視している場合には、そのまま特定の人物（人物Ａ）を視線先とするように判定し、特定の人物以外（人物Ｂ、Ｃ、Ｄ）を注視している場合には、特定の人物（人物Ａ）を視線先とするように判定する。また、特定の人物（人物Ａ）が、自分自身を注視している場合、又は注視相手がいない場合には、特定の人物以外の人物(人物Ｂ、Ｃ、Ｄ)をランダムに視線先とするように判定する。また、注視相手がない場合には、視線先を制御しないと判定する。
【０１２４】
合成部２４２は、視線一致条件判定部５４０により視線先を制御すると判定された場合、画像送信側のテレビ会議システム６００から受信したカメラ入力画像の目領域に、判定された視線先に対応して注視画像記憶部２４０に記憶されている、目を表す画像を合成した合成画像を生成し、合成画像を、ディスプレイ９０の該当するウィンドウ９２に表示する。
【０１２５】
なお、第５の実施の形態に係るテレビ会議システムの他の構成及び作用については、第４の実施の形態と同様であるため、説明を省略する。
【０１２６】
以上説明したように、第５の実施の形態に係るテレビ会議システムによれば、視線一致条件を用いて、視線先を特定の人物に集めるように判定し、カメラ入力画像が表す対話者の目領域に、視線先の対話相手に対応する位置を注視したときの画像を合成することにより、視線の一致を適切に制御して、自然に視線が一致した画像を生成することができる。
【０１２７】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１２８】
例えば、上述のテレビ会議システムは、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１２９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１３０】
１０ カメラ
２０、２２０、３２０、４２０、６２０ 演算部
２４ 目領域画像抽出部
２６ 特徴抽出部
２８、２２８ 識別器構築部
３０、２３０ 識別器記憶部
３２ 目領域画像抽出部
３４ 特徴抽出部
３６、４２２ 目開閉判定部
３８ 対話相手注視判定部
３９、２４１、５４０ 視線一致条件判定部
４０、２４０ 注視画像記憶部
４２、２４２ 合成部
４４ 画面出力部
８０ 通信部
９０ ディスプレイ
９２ ウィンドウ
１００、２００、３００、４００、６００ テレビ会議システム
２３８ ディスプレイ上注視点判定部
２３９ 注視相手判定部
２９０ 合成用注視点
４２４ 注視対象計算部
５００ ネットワーク
【図１】
2018046463.tif 000003
【図２】
2018046463.tif 000004
【図３】
2018046463.tif 000005
【図４】
2018046463.tif 000006
【図５】
2018046463.tif 000007
【図６】
2018046463.tif 000008
【図７】
2018046463.tif 000009
【図８】
2018046463.tif 000010
【図９】
2018046463.tif 000011
【図１０】
2018046463.tif 000012
【図１１】
2018046463.tif 000013
【図１２】
2018046463.tif 000014
【図１３】
2018046463.tif 000015
【図１４】
2018046463.tif 000016
【図１５】
2018046463.tif 000017
【図１６】
2018046463.tif 000018
【図１７】
2018046463.tif 000019
【図１８】
2018046463.tif 000020