(57)【要約】【課題】通信相手側に専用の装置や処理部を設けることなく、受信側の処理だけで通信相手側の参加者の視線方向を計算し、表示することのできる画像付通信装置を提供する。【解決手段】通信相手から画像を受信する送受信部１１と、送受信部１１で受信した画像から人物の顔とその画像内における注視方向を検出する参加者検出部１３および注視方向検出部１４と、送受信部１１で受信した画像から通信相手側の画像表示装置の位置を推定する表示装置位置推定部１５と、画像内の注視方向と通信相手側の画像表示装置の位置の方向との差分を算出する注視方向差分算出部１６と、画像受信手段で受信した画像を表示する表示部３と、受信した画像とともに、注視方向差分算出部１６で算出した差分を表示部３に表示する注視方向差分表示部１７と、を備える。【選択図】図１
2009147792.tif 000002
【特許請求の範囲】
【請求項１】
通信相手から画像を受信する画像受信手段と、
前記画像受信手段で受信した画像から人物の顔とその画像内における注視方向を検出する検出手段と、
前記画像受信手段で受信した画像から通信相手側の画像表示装置の位置を推定する推定手段と、
前記画像内の注視方向と前記通信相手側の画像表示装置の位置の方向との差分を算出する差分算出手段と、
前記画像受信手段で受信した画像を表示する画像表示手段と、
前記画像受信手段で受信した画像とともに、前記差分算出手段で算出した差分を前記画像表示手段に表示する差分表示手段と、
を備えることを特徴とする画像付通信装置。
【請求項２】
前記推定手段は、前記画像内における注視方向を所定の時間にわたって観測することによって、前記通信相手側の画像表示装置の位置を推定することを特徴とする請求項１に記載の画像付通信装置。
【請求項３】
前記推定手段は、前記画像内に通信相手側の画像表示装置を検出した場合に、その位置を前記画像表示装置の位置と推定することを特徴とする請求項１に記載の画像付通信装置。
【請求項４】
前記推定手段は、前記画像内に通信相手側の画像表示装置の投射装置を検出した場合に、その位置と方向とから前記通信相手側の画像表示装置の位置を推定することを特徴とする請求項１に記載の画像付通信装置。
【請求項５】
前記差分表示手段は、前記差分算出手段で算出した差分を、前記通信相手側の画像表示装置の方向とそれ以外との２通りのいずれかに分類して表示することを特徴とする請求項１ないし４のいずれか１項に記載の画像付通信装置。
【請求項６】
前記差分表示手段は、前記差分算出手段で算出した差分を、前記通信相手側の画像表示装置の方向とその右および左の３通りのいずれかに分類して表示することを特徴とする請求項１ないし４のいずれか１項に記載の画像付通信装置。
【請求項７】
前記検出手段は、前記画像受信手段で受信した画像に複数の人物の顔を検出した場合に、それぞれの人物について前記画像内の注視方向を検出し、
前記差分算出手段は、前記複数の人物の注視方向が交わる点のうち、その点を通る注視方向の数が最大の点について、その点を通る注視方向を合成した合成注視方向と前記画像表示装置の方向との差分を算出し、
前記差分表示手段は、前記合成注視方向と画像表示装置の方向との差分を表示する、
ことを特徴とする請求項１ないし６のいずれか１項に記載の画像付通信装置。
【請求項８】
通信相手から画像を受信する画像受信ステップと、
前記画像受信ステップで受信した画像から人物の顔とその画像内における注視方向を検出する検出ステップと、
前記画像受信ステップで受信した画像から通信相手側の画像表示装置の位置を推定する推定ステップと、
前記画像内の注視方向と前記通信相手側の画像表示装置の位置の方向との差分を算出する差分算出ステップと、
前記画像受信ステップで受信した画像とともに、前記差分算出ステップで算出した差分を画像表示手段に表示する差分表示ステップと、
を備えることを特徴とする画像付通信表示方法。
【請求項９】
前記推定ステップは、前記画像内における注視方向を所定の時間にわたって観測することによって、前記通信相手側の画像表示装置の位置を推定することを特徴とする請求項８に記載の画像付通信表示方法。
【請求項１０】
前記推定ステップは、前記画像内に通信相手側の画像表示装置を検出した場合に、その位置を前記画像表示装置の位置と推定することを特徴とする請求項８に記載の画像付通信表示方法。
【請求項１１】
前記推定ステップは、前記画像内に通信相手側の画像表示装置の投射装置を検出した場合に、その位置と方向とから前記通信相手側の画像表示装置の位置を推定することを特徴とする請求項８に記載の画像付通信表示方法。
【請求項１２】
前記差分表示ステップは、前記差分算出ステップで算出した差分を、前記通信相手側の画像表示装置の方向とそれ以外との２通りのいずれかに分類して表示することを特徴とする請求項８ないし１１のいずれか１項に記載の画像付通信表示方法。
【請求項１３】
前記差分表示ステップは、前記差分算出ステップで算出した差分を、前記通信相手側の画像表示装置の方向とその右および左の３通りのいずれかに分類して表示することを特徴とする請求項８ないし１１のいずれか１項に記載の画像付通信表示方法。
【請求項１４】
前記検出ステップは、前記画像受信ステップで受信した画像に複数の人物の顔を検出した場合に、それぞれの人物について前記画像内の注視方向を検出し、
前記差分算出ステップは、前記複数の人物の注視方向が交わる点のうち、その点を通る注視方向の数が最大の点について、その点を通る注視方向を合成した合成注視方向と前記画像表示装置の方向との差分を算出し、
前記差分表示ステップは、前記合成注視方向と画像表示装置の方向との差分を表示する、
ことを特徴とする請求項８ないし１３のいずれか１項に記載の画像付通信表示方法。
【請求項１５】
コンピュータを、
通信相手から画像を受信する画像受信手段と、
前記画像受信手段で受信した画像から人物の顔とその画像内における注視方向を検出する検出手段と、
前記画像受信手段で受信した画像から通信相手側の画像表示装置の位置を推定する推定手段と、
前記画像内の注視方向と前記通信相手側の画像表示装置の位置の方向との差分を算出する差分算出手段と、
前記画像受信手段で受信した画像を表示する画像表示手段と、
前記画像受信手段で受信した画像とともに、前記差分算出手段で算出した差分を前記画像表示手段に表示する差分表示手段と、
して機能させることを特徴とするプログラム。
【請求項１６】
通信相手から画像を受信する受信手段と、
前記受信手段で受信した画像を表示する画像表示手段と、
参加者の画像をネットワークを介して通信相手へ送信する送信手段と、
を備える第１の画像付通信装置と、
前記ネットワークを介して前記第１の画像付通信装置から画像を受信する画像受信手段と、
前記画像受信手段で受信した画像から人物の顔とその画像内における注視方向を検出する検出手段と、
前記画像受信手段で受信した画像から通信相手側の画像表示装置の位置を推定する推定手段と、
前記画像内の注視方向と前記通信相手側の画像表示装置の位置の方向との差分を算出する差分算出手段と、
前記画像受信手段で受信した画像を表示する画像表示手段と、
前記画像受信手段で受信した画像とともに、前記差分算出手段で算出した差分を前記画像表示手段に表示する差分表示手段と、
を備える第２の画像付通信装置と、
から構成されることを特徴とする画像付通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声信号と画像信号とを符号化し、通信ネットワークを経由して送信する画像付通信装置、画像付通信表示方法、プログラムおよび画像付通信システムに関する。
【背景技術】
【０００２】
近年、映像処理技術や通信技術の発達により、テレビ会議やＷＥＢ会議、テレビ電話等の画像を介した遠隔コミュニケーション環境が実用に供されるようになってきている。今後特にビジネスの分野においては、職場・勤務時間帯の分散、テレワークの普及などのワークスタイルの変遷等に伴い、画像を伴う円滑な遠隔コミュニケーションの重要性はますます高まることは必至である。
【０００３】
テレビ会議とは、通信ネットワークを介して複数の遠隔地を結んで、双方向に画像および音声を伝達する技術をいう。通信ネットワークとして回線交換網またはコネクションレスのパケット交換網のいずれも用いられる。テレビ会議は、会議向けに設定されたグループウェアの１種でもある。
【０００４】
遠隔コミュニケーション環境で対面と同様に円滑なコミュニケーションを行うためには、ローカルの参加者とリモートの参加者の視線が一致することが望ましい。しかし現実には、物理的な制約でカメラとモニタを同一線上に置くことができず、視線がずれてしまうことがある。これを解決する技術として、ハーフミラーや合成映像、キャラクタ表示などによって視線一致を実現する様々な方法が提案されている（特許文献１、特許文献２、特許文献３、特許文献４）。
【０００５】
一方で、遠隔コミュニケーションシステムにおいて、視線が一致しないまでも、リモート側の参加者がどの方向を注視しているかの情報だけでも得られれば、会話の一助になる。この情報を得るための技術として、リモート側の視線情報を抽出して表示する技術が提案されている（特許文献５、特許文献６）。ここでは、リモート側に備えられた視線検出装置が参加者の視線方向を検出し、その情報がローカル側に表示される。
【特許文献１】特開平０４−１５４２８９号公報
【特許文献２】特開平０５−２２７５２８号公報
【特許文献３】特開平０５−２８４４９３号公報
【特許文献４】特開２００５−２１８１０３号公報
【特許文献５】特開２００３−２４４６６９号公報
【特許文献６】特開２００５−３４０９７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
関連する技術のローカルの参加者とリモートの参加者の視線を一致させる技術は、様々な特殊な機材や多くの計算を必要とするものであり、実際の会議システムで使用するのは容易ではない。
【０００７】
関連する技術の第１の問題点は、任意の地点との遠隔コミュニケーションに適用することが難しいことである。その理由は、リモート側に視線抽出を行うための専用の装置や処理部が必要なためである。一般に遠隔コミュニケーションは、特定の地点とのみ行われるわけではなく、全てのリモート側に専用の装置や処理部を予め用意しておくことは困難である。
【０００８】
第２の問題点は、リモート側の参加者がローカル側の話者を見ているのか否かが簡単には分からないことである。その理由は、リモート側の参加者の視線方向をそのまま表示しているためである。
【０００９】
第３の問題点はリモート側の参加者が複数の際に、多くの参加者の視線方向をそのまま表示したのでは、参加者全体がどこに注視しているかがわかりにくいことである。その理由は複数参加者の視線方向を統合する手段を持たないためである。
【００１０】
本発明は上述のような課題に鑑みてなされたものであり、その目的は、通信相手側に専用の装置や処理部を設けることなく、受信側の処理だけで通信相手側の参加者の視線方向を計算し、表示することのできる画像付通信装置を提供することにある。
【００１１】
本発明において、画像付通信装置または画像付通信システムは、テレビ会議の外に、テレビ電話、ＷＥＢ会議、ビデオチャットなど様々な名称で呼ばれる画像を伴う通信全般を含む。
【００１２】
本発明の他の目的は、リモート側の参加者がローカル側の話者を見ているのか否かがすぐに分かる形でリモート側の参加者の視線方向をローカル側に表示することのできる画像付通信装置を提供することにある。また、本発明の更に他の目的は、リモート側の参加者が複数の際に、複数参加者の視線方向を統合して表示することで、リモート側の参加者全体がどこに注視しているかがローカル側の話者にとってわかりやすい画像付通信装置を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の第１の観点に係る画像付通信装置は、
通信相手から画像を受信する画像受信手段と、
前記画像受信手段で受信した画像から人物の顔とその画像内における注視方向を検出する検出手段と、
前記画像受信手段で受信した画像から通信相手側の画像表示装置の位置を推定する推定手段と、
前記画像内の注視方向と前記通信相手側の画像表示装置の位置の方向との差分を算出する差分算出手段と、
前記画像受信手段で受信した画像を表示する画像表示手段と、
前記画像受信手段で受信した画像とともに、前記差分算出手段で算出した差分を前記画像表示手段に表示する差分表示手段と、
を備えることを特徴とする。
【００１４】
好ましくは、前記推定手段は、前記画像内における注視方向を所定の時間にわたって観測することによって、前記通信相手側の画像表示装置の位置を推定する。
【００１５】
または、前記推定手段は、前記画像内に通信相手側の画像表示装置を検出した場合に、その位置を前記画像表示装置の位置と推定する。
【００１６】
または、前記推定手段は、前記画像内に通信相手側の画像表示装置の投射装置を検出した場合に、その位置と方向とから前記通信相手側の画像表示装置の位置を推定する。
【００１７】
好ましくは、前記差分表示手段は、前記差分算出手段で算出した差分を、前記通信相手側の画像表示装置の方向とそれ以外との２通りのいずれかに分類して表示する。
【００１８】
または、前記差分表示手段は、前記差分算出手段で算出した差分を、前記通信相手側の画像表示装置の方向とその右および左の３通りのいずれかに分類して表示する。
【００１９】
好ましくは、前記検出手段は、前記画像受信手段で受信した画像に複数の人物の顔を検出した場合に、それぞれの人物について前記画像内の注視方向を検出し、
前記差分算出手段は、前記複数の人物の注視方向が交わる点のうち、その点を通る注視方向の数が最大の点について、その点を通る注視方向を合成した合成注視方向と前記画像表示装置の方向との差分を算出し、
前記差分表示手段は、前記合成注視方向と画像表示装置の方向との差分を表示する。
【００２０】
本発明の第２の観点に係る画像付通信表示方法は、
通信相手から画像を受信する画像受信ステップと、
前記画像受信ステップで受信した画像から人物の顔とその画像内における注視方向を検出する検出ステップと、
前記画像受信ステップで受信した画像から通信相手側の画像表示装置の位置を推定する推定ステップと、
前記画像内の注視方向と前記通信相手側の画像表示装置の位置の方向との差分を算出する差分算出ステップと、
前記画像受信ステップで受信した画像とともに、前記差分算出ステップで算出した差分を画像表示手段に表示する差分表示ステップと、
を備えることを特徴とする。
【００２１】
好ましくは、前記推定ステップは、前記画像内における注視方向を所定の時間にわたって観測することによって、前記通信相手側の画像表示装置の位置を推定する。
【００２２】
または、前記推定ステップは、前記画像内に通信相手側の画像表示装置を検出した場合に、その位置を前記画像表示装置の位置と推定する。
【００２３】
または、前記推定ステップは、前記画像内に通信相手側の画像表示装置の投射装置を検出した場合に、その位置と方向とから前記通信相手側の画像表示装置の位置を推定する。
【００２４】
好ましくは、前記差分表示ステップは、前記差分算出ステップで算出した差分を、前記通信相手側の画像表示装置の方向とそれ以外との２通りのいずれかに分類して表示する。
【００２５】
または、前記差分表示ステップは、前記差分算出ステップで算出した差分を、前記通信相手側の画像表示装置の方向とその右および左の３通りのいずれかに分類して表示する。
【００２６】
好ましくは、前記検出ステップは、前記画像受信ステップで受信した画像に複数の人物の顔を検出した場合に、それぞれの人物について前記画像内の注視方向を検出し、
前記差分算出ステップは、前記複数の人物の注視方向が交わる点のうち、その点を通る注視方向の数が最大の点について、その点を通る注視方向を合成した合成注視方向と前記画像表示装置の方向との差分を算出し、
前記差分表示ステップは、前記合成注視方向と画像表示装置の方向との差分を表示する。
【００２７】
本発明の第３の観点に係るプログラムは、コンピュータを、
通信相手から画像を受信する画像受信手段と、
前記画像受信手段で受信した画像から人物の顔とその画像内における注視方向を検出する検出手段と、
前記画像受信手段で受信した画像から通信相手側の画像表示装置の位置を推定する推定手段と、
前記画像内の注視方向と前記通信相手側の画像表示装置の位置の方向との差分を算出する差分算出手段と、
前記画像受信手段で受信した画像を表示する画像表示手段と、
前記画像受信手段で受信した画像とともに、前記差分算出手段で算出した差分を前記画像表示手段に表示する差分表示手段と、
して機能させることを特徴とする。
【００２８】
本発明の第４の観点に係る画像付通信システムは、
通信相手から画像を受信する受信手段と、
前記受信手段で受信した画像を表示する画像表示手段と、
参加者の画像をネットワークを介して通信相手へ送信する送信手段と、
を備える第１の画像付通信装置と、
前記ネットワークを介して前記第１の画像付通信装置から画像を受信する画像受信手段と、
前記画像受信手段で受信した画像から人物の顔とその画像内における注視方向を検出する検出手段と、
前記画像受信手段で受信した画像から通信相手側の画像表示装置の位置を推定する推定手段と、
前記画像内の注視方向と前記通信相手側の画像表示装置の位置の方向との差分を算出する差分算出手段と、
前記画像受信手段で受信した画像を表示する画像表示手段と、
前記画像受信手段で受信した画像とともに、前記差分算出手段で算出した差分を前記画像表示手段に表示する差分表示手段と、
を備える第２の画像付通信装置と、
から構成されることを特徴とする。
【発明の効果】
【００２９】
本発明の画像付通信装置によれば、通信相手側に視線方向の情報を得るための専用の装置や処理部を設けることなく、受信側の処理だけで通信相手側の参加者の視線方向を計算し、表示することができる。その理由は、受信側の画像付通信装置が通信相手側の参加者の視線方向を計算して表示するためである。
【発明を実施するための最良の形態】
【００３０】
本発明では、テレビ会議装置およびテレビ会議システムを例として実施の形態を説明する。本発明は、テレビ会議の外に、テレビ電話、ＷＥＢ会議、ビデオチャットなど画像付通信装置または画像付通信システム全般に適用することができる。
【００３１】
（実施の形態１）
図１は、本発明の画像付通信装置の例として、実施の形態１に係るテレビ会議装置の構成例を示すブロック図である。テレビ会議装置１は、制御装置２、表示部３、およびカメラ４から構成される。
【００３２】
図２は、実施の形態１に係るテレビ会議装置１をネットワークを介して接続したテレビ会議システム１００の構成例を示すブロック図である。拠点Ａと拠点Ｂのそれぞれに設置されたテレビ会議装置１Ａおよび１Ｂが、ネットワークＮに接続する。拠点Ａのテレビ会議装置１Ａの各部には参照符号にＡを付けて示す。拠点Ｂのテレビ会議装置１Ｂの各部には参照符号にＢを付けて示す。
【００３３】
テレビ会議システム１００は、拠点Ａのカメラ４Ａで撮影した画像を、ネットワークＮを経由して拠点Ｂのテレビ会議装置１Ｂに送信し、表示部３Ｂに表示する。逆に拠点Ｂのカメラ４Ｂで撮影した画像を、拠点Ａの表示部３Ａに表示する。また、拠点Ａのマイク６Ａで入力した音声信号を、ネットワークＮを経由して拠点Ｂのテレビ会議装置１Ｂに送信し、スピーカ５Ｂから出力する。逆に、拠点Ｂのマイク６Ｂで入力した音声信号を、ネットワークＮを経由して拠点Ａのテレビ会議装置１Ａに送信し、スピーカ５Ａから出力する。
【００３４】
以下、着目している拠点をローカル側といい、その通信相手側の拠点をリモート側ということがある。すなわち、本発明の注視方向表示について説明する拠点をローカル側といい、注視方向を重畳して表示される画像を送信する相手側をリモート側という。
【００３５】
図１を参照すると、テレビ会議装置１の制御装置２は、送受信部１１、通信処理部１２、参加者検出部１３、注視方向検出部１４、表示装置位置推定部１５、注視方向差分算出部１６、注視方向差分表示部１７、画像出力部１８、および画像入力部１９を備える。制御装置２は、例えば、プログラム制御によって動作するコンピュータで構成することができる。
【００３６】
本発明では、音声通信については特に制約はない。音声通信は、画像と共に伝送されてもよいし、別の回線、例えば電話回線を用いて通信されてもよい。図１では、音声通信に関連する構成を省略している。
【００３７】
カメラ４は、テレビ会議の参加者の画像を撮影し、画像入力部１９に伝送する。表示部３は、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）または画像プロジェクタ装置などから構成され、画像出力部１８から送られる信号によって画像を表示する。
【００３８】
画像入力部１９は、カメラ４の画像信号を入力して、通信処理部１２に伝送する。画像入力部１９は、また、画像信号を符号化してデータ圧縮する場合がある。画像出力部１８は、通信処理部１２から画像信号を入力して、表示部３に画像を表示する。画像信号が符号化されてデータ圧縮されている場合は、画像信号をデコードする。
【００３９】
通信処理部１２は、画像入力部１９から画像信号を入力して、送受信部１１からネットワークＮを経由して通信相手のテレビ会議装置１に送信する。また、通信相手のテレビ会議装置１から受信した画像信号を参加者検出部１３および画像出力部１８に送る。
【００４０】
送受信部１１は、ネットワークＮに接続する網終端装置または無線通信装置、及びそれらと接続するシリアルインタフェース又はＬＡＮ（Local Area Network）インタフェースから構成されている。送受信部１１はネットワークＮを介して、通信相手のテレビ会議装置１に画像信号を送信し、通信相手のテレビ会議装置１から画像信号を受信する。
【００４１】
参加者検出部１３は、通信処理部１２から送られたリモート側の画像を解析し、画像中のリモート側の参加者を同定し、同参加者の顔の位置を検出する。注視方向検出部１４は、参加者検出部１３で検出した参加者の顔の位置を参照し、画像を解析して顔の向き、視線方向、姿勢等の状況から画像中の見かけ上の視線方向を検出する。
【００４２】
表示装置位置推定部１５は、受信した画像から、リモート側の表示部３の位置を推定する。表示部３の位置を推定する方法としては、
（１）参加者の見かけ上の視線方向が一定時間内の一定割合以上同一方向になる場合に、その方向に画像表示装置があると見なすことができる。これは、一般に遠隔コミュニケーションの参加者は、相手側の参加者（表示部３）を注視することが多いためである。
【００４３】
あるいは、
（２）リモート画像中に映っているモニタやスクリーン等のローカル側の画像を表示している表示装置を検出する。
（３）リモート画像中に映っているプロジェクタ等の出力補助装置を検出し、その方向からスクリーン等のローカル側の画像を表示している画像表示装置の位置を推定する。
等が挙げられる。このリモート側の画像表示装置の位置方向が、リモート側の画像の正面方向に相当することになる。
【００４４】
注視方向差分算出部１６は、注視方向検出部１４で検出したリモート側の参加者の見かけ上の視線方向と、表示装置位置推定部１５で検出したリモート側の表示部３の位置方向の差分を計算する。この差分によって、ローカル側の画像を出力しているリモート側の表示部３に対する、リモート側の参加者の実際の注視方向を決定する。
【００４５】
このリモート側の表示部３に対する、リモート側の参加者の実際の注視方向が、注視方向差分表示部１７に入力される。注視方向差分表示部１７は、その実際の注視方向を表示部３に表示する形式に変換して、画像出力部１８に入力する。例えば、画像中または画像の周囲などに、矢印で表示する。矢印は、リモート側の参加者から見たリモート側の表示部３の方向に対する、リモート側参加者の実際の注視方向を表す。リモート側参加者が表示部３を注視している場合は、矢印の先端の点またはそれを囲む丸などで表示することができる。
【００４６】
画像出力部１８は、注視方向を示す矢印などが重畳された画像を、表示部３に出力して表示する。注視方向を表示する方法としては、受信した画像に矢印等の形で重畳してもよいし、専用器具やレーザーポインタ等で別表示してもよい。
【００４７】
注視方向差分表示部１７は、注視方向差分算出部１６が算出したリモート側の参加者の注視方向を、その方向と角度に比例して表示部３に表示するのではなく、いくつかの範囲に区切って分類して表示してもよい。例えば、話者方向であるローカル側の正面の方向かそれ以外かの２分類で方向を表示する。もしくは、正面方向か、その右か左かの３分類で表示する。それらの場合は、例えば、注視方向と表示部３の方向の差分（の絶対値）が所定のしきい値を超えたときに正面以外であると判定して、それを表示する。正面とその左右の３分類の場合は、差分を平面に投影した角度に正負の符号をつけ、絶対値が所定のしきい値を超えたときに、差分の符号によって右または左を区別して表示する。
【００４８】
注視方向を分類して表示する方法としては他に、表示部３の方向、資料の方向およびそれ以外とする分類方法がある。また、ローカル側に複数の参加者がいる場合に、それぞれの参加者の方向（これはローカル側のカメラの位置と方向で推定できる）とそれ以外に分類して表示する、等が考えられる。
【００４９】
図２では、リモート側が１箇所である場合を例にしたが、リモート側が複数の場合もあり得る。リモート側が複数の場合は、リモート側の拠点から受信した画像ごとに参加者の注視方向を解析して表示する。また、受信した画像から参加者の注視方向と表示装置の位置を解析して表示する参加者検出部１３、注視方向検出部１４、表示装置位置推定部１５、注視方向差分算出部１６および注視方向差分表示部１７等は、リモート側にも備えられていて構わない。
【００５０】
図３は参加者の注視方向と表示装置方向の差分を判定する方法を説明する平面図である。図３（Ａ）は表示部３Ｂに対し注視する方向を判定する角度を示す。図３（Ｂ）は一例として表示部３Ｂからはずれた方向を注視した状態を示す。
【００５１】
リモート側の参加者の見かけ上の視線方向が一定時間内の一定割合以上同一方向になる場合に、例えば所定の期間に最も多く見ている方向に表示部３Ｂがあると見なすことができ、表示部３Ｂの位置を推定する。図３（Ａ）で、参加者から表示部３Ｂの中心の方向を表示部方向Ｃ０とする。注視方向は表示部３Ｂから見て右または左という。図３（Ａ）では、方向Ｃ１〜Ｃ３は右、方向Ｄ１〜Ｄ３は左である。
【００５２】
方向Ｃ１およびＤ１は、推定される表示部３Ｂの両端の位置で、実際に画面の両端を見たときの方向である。表示部方向Ｃ０と方向Ｃ１の成す角度を角度Ｒ１と表す。同様に、表示部方向Ｃ０と方向Ｄ１の成す角度を角度Ｌ１と表す。角度Ｒ１および角度Ｌ１は、表示部３Ｂを見込む角度を表す。表示部３Ｂがローカル側に送られる画像に含まれていない場合は、角度Ｒ１および角度Ｌ１の真の値は不明であるが、参加者の注視方向の頻度分布から推定できる。または、経験的に所定の値を設定してもよい。
【００５３】
方向Ｃ２およびＤ２は、注視方向を判定するしきい値の方向を示す。表示部方向Ｃ０と右側しきい値の方向Ｃ２の成す角度を角度Ｒ２と表す。同様に、表示部方向Ｃ０と左側しきい値の方向Ｄ２の成す角度を角度Ｌ２と表す。角度Ｒ２と角度Ｌ２とは等しくない場合もあり得る。注視方向を判定するしきい値となる角度Ｒ２と角度Ｌ２は、通常、角度Ｒ１および角度Ｌ１を含むように設定する。表示部３Ｂが大きい場合には、角度Ｒ２と角度Ｌ２が角度Ｒ１および角度Ｌ１より小さいこともあり得る。
【００５４】
方向Ｃ３およびＤ３は、参加者の観測された注視方向を示す。図３（Ａ）は、表示部方向Ｃ０との差分が、しきい値方向Ｃ２またはＤ２よりも大きい場合である。表示部方向Ｃ０と注視方向Ｃ３で成す角度は角度Ｒ３で、表示部方向Ｃ０と注視方向Ｄ３で成す角度は角度Ｌ３で表される。参加者の注視方向が表示部３Ｂからみて右側にはずれた場合を図３（Ｂ）に示す。このとき注視方向差分表示部１７では、角度Ｒ３はしきい値である角度Ｒ２より大きく、参加者は表示部３Ｂに注視していないと判定される。
【００５５】
図３では、理解を容易にするために注視方向を平面内に限って説明したが、実際の画像から上下方向の角度を考慮して、注視方向を判定することも可能である。その場合、注視方向の差分が、左右または上下いずれかのしきい値より大きい場合に、表示部３Ｂを注視していないと判断される。
【００５６】
リモート側で専用の装置や処理部で視線抽出を行う方法に比べて、本発明の方法は遠隔からの画像を解析して視線方向を計算するので精度は高くないが、少なくとも中心の基準位置を注視しているのか、その左右にはずれているのかを分離するレベルは技術的に可能である。話者にとっては、自分に注意が向いているのかいないのかを知るだけでも十分に有益と考えられる。
【００５７】
次に、本実施の形態の全体の動作について説明する。図４は、テレビ会議装置１の動作の一例を示すフローチャートである。
【００５８】
送受信部１１が、リモート側のテレビ会議装置１から画像を受信すると、通信処理部１２は参加者検出部１３と画像出力部１８に送る（ステップＳ１１）。参加者検出部１３は、画像を解析して参加者を抽出し、注視方向検出部１４は、参加者の注視方向を検出する（ステップＳ１２）。
【００５９】
同時に、表示装置位置推定部１５は、リモート側の画像表示装置の位置を推定する（ステップＳ１３）。注視方向差分算出部１６は、リモート側の参加者の注視方向と、画像表示装置の方向の差分を算出する（ステップＳ１４）。そして、注視方向差分表示部１７は、前述のとおり、例えば画像に重畳する矢印などを生成して画像出力部１８に入力し、画像出力部１８は、受信した画像と注視方向（差分）を表示する（ステップＳ１５）。
【００６０】
図５に、リモート側から送られた画像の一例を示す。参加者検出部１３は本画像を解析し、画像中の人物を特定し、注視方向検出部１４は顔の向き等からその見かけ上の視線方向を計算する。図５の例では、正面に対してかなり右の方を見ていることが分かる。同時に表示装置位置推定部１５は、リモート側の画像表示装置の位置を推定する。ここでは、画像中の人物の視線方向を一定時間観測し、一定割合以上同一方向を見ているならばその方向に画像表示装置（モニタ）があると推定する。
【００６１】
続いて、見かけ上の視線方向と画像表示装置の方向の差分を計算する。ここではリモート側の参加者は画像表示装置の方向を見ていることが分かるので、実際の視線方向はローカル側の正面方向だと決定される。そこで、例えば図６にあるように矢印記号をリモート画像に重畳する等の方法で、決定された視線方向を画像表示装置上に表示する。これを見ることでローカル側の話者は、一見斜めの方向を見ているように見えるリモート側の参加者が、自分の方を見ていることが簡単に分かる。また、リモート側の参加者が自分から目をそらして他を見ている場合も、簡単に理解することができ、円滑なコミュニケーションが実現される。
【００６２】
図７に、リモート画像中にローカル側の画像が映っており、これを検出することで画像表示装置の方向が分かる例を示す。ここでは中央上部のディスプレイの中にローカル側から送信した画像が映っており、手前側に映っている二人のリモート側の参加者は、見かけ上は全く異なる方向を見ているが、いずれも実際には画像表示装置の方向＝正面を見ていることが決定される。そこで、それぞれの視線方向を、図８のように表示する。あるいは、両者が同じ方向を見ているので、それを統合して図９のように表示することも可能である。
【００６３】
また、ローカル側の画像そのものが映っていなくても、図１０のように画像表示装置もしくは画像表示装置の一部もしくは画像表示装置を含んだ装置（ここではノートパソコン）が映っている場合にはそこから画像表示装置の位置を推定することもできる。さらに、図１１のように、プロジェクタが映っている場合には、そのプロジェクタの向きからスクリーンの方向を推定することができる。
【００６４】
以上、説明したとおり、本実施の形態１に係るテレビ会議装置１では、リモート側に専用の装置や処理部を設けることなく、ローカル側の処理だけでリモート側の参加者の視線方向を計算し、表示することができる。その結果、対面でのコミュニケーションに近い環境を提供できる。
【００６５】
また、リモート側の参加者がローカル側の参加者を見ているのか否かが、ローカル側の話者にすぐに分かる。特に、抽出したリモート側の参加者の視線方向を、ローカル側の話者方向とそれ以外の２値、もしくはローカル側の参加者方向（画像表示装置）とその左と右の３値で表示する場合には、ローカル側の参加者を見ているのか否かを、さらに容易に把握できる。
【００６６】
（実施の形態２）
実施の形態２は、実施の形態１の動作に加えて、通信相手の拠点の参加者が複数であって、複数の参加者の注視方向を合成する場合である。図１２は、実施の形態２に係るテレビ会議装置の構成の例を示すブロック図である。実施の形態１のテレビ会議装置に比較して、合成注視方向算出部２０が追加されている。図１２では、実施の形態１と同等のブロックに同じ符号を付している。同じ名称でも異なる符号を付しているブロックは、機能がやや異なっている。
【００６７】
実施の形態２のテレビ会議装置１では、参加者検出部２３は、受信した画像に複数の参加者の顔が含まれる場合、その複数の参加者を抽出する。注視方向検出部２４は、複数の参加者それぞれの注視方向を検出する。また、表示装置位置推定部２５は、表示装置の位置を推定すると同時に、複数の参加者それぞれについて表示装置の方向を検出する。
【００６８】
合成注視方向算出部２０は、複数の参加者の注視方向が交わる点のうち、その点を通る注視方向の数が最大の点について、その点を通る注視方向を合成した合成注視方向を算出する。すなわち、参加者のうち多数が注視している方向を合成して合成注視方向とする。注視している方向の合成は、例えば、それぞれ方向を長さの等しいベクトルとして、ベクトルの和を計算し、単位長さに正規化することによって算出する。
【００６９】
リモート側の参加者が複数の場合に、注視方向情報を参加者ごとに個別に表示するのではなく、統合して表示する。統合する方法としては、平均値を取る方法は役に立たないので、最大数のもののみを表示する、クラスタリングして表示する、一定数以上のものを表示する方法等が考えられる。また統合した際に、統合された参加者の数によって表示を変える（矢印を太く・大きくする、色を変える）等も考えられる。
【００７０】
なおこの場合、平均値もしくは総和を取ることはあまり意味はない。例えば一人の参加者が話者の方向を注視しており、他の参加者が資料の方向を注視している際に、話者と資料の中間点を注視している人はだれもいないからである。
【００７１】
注視方向差分算出部２６は、その合成注視方向を注視している参加者から画像表示装置を見た方向を合成して、表示装置の方向（合成表示装置方向）とする。ここでも、ベクトル演算を用いることができる。そして、合成注視方向と合成表示装置方向との差分を算出する。
【００７２】
注視方向差分表示部２７は、実施の形態１と同様であるが、表示装置方向が合成表示装置方向に変化している。また、合成注視方向に関与している参加者に何らかの印を重畳表示するなどして、どの参加者の注視方向であるかが分かるようにしてもよい。
【００７３】
注視方向の差分を表示する方法は、実施の形態１と同様である。また、注視方向を２分類または３分類などに分類して表示することについても同じようにできる。
【００７４】
図１３のフローチャートを参照して、実施の形態２に係るテレビ会議装置１の動作を説明する。
【００７５】
送受信部１１が、リモート側のテレビ会議装置１から画像を受信すると、通信処理部１２は参加者検出部２３と画像出力部１８に送る（ステップＳ２１）。参加者検出部２３は、画像を解析して複数の参加者を抽出し、注視方向検出部２４は、複数の参加者それぞれの注視方向を検出する（ステップＳ２２）。
【００７６】
同時に、表示装置位置推定部２５は、リモート側の画像表示装置の位置を推定する（ステップＳ２３）。同時に、複数の参加者それぞれについて表示装置の方向を検出する。
【００７７】
合成注視方向算出部２０は、複数の参加者の注視方向が（参加者それぞれのしきい値の範囲で）交わる点のうち、その点を通る注視方向の数が最大の点について、その点を通る注視方向を合成した合成注視方向を算出する（ステップＳ２４）。
【００７８】
注視方向差分算出部２６は、合成注視方向を注視している参加者から画像表示装置を見た方向を合成して、合成表示装置方向とする。そして、合成注視方向と合成表示装置方向との差分を算出する（ステップＳ２５）。
【００７９】
注視方向差分表示部２７は、前述のとおり、例えば画像に重畳する矢印などを生成して画像出力部１８に入力し、画像出力部１８は、受信した画像と注視方向（差分）を表示する（ステップＳ２６）。
【００８０】
図１４に、リモート側に複数の参加者がおり、異なった方向を注視している場合の例を示す。ここでは一人が左方向を、残りの三人が、プロジェクタの向きから推定されるスクリーンよりもさらに右方向を注視していることが分かる。そこで、例えば図１５のように同じ方向を向いている多数の視線方向を表示することで、集団が全体としてどちらに注意が向いているのかを瞬時に把捉することができる。
【００８１】
図１６および図１７は、実施の形態２に係る注視方向の判定の例を示す平面図で、リモート側に複数の参加者がいる場合である。丸は参加者を表し、矢印はそれぞれの参加者の注視方向を示す。注視方向はローカル側の注視方向検出部２４で検出したものである。
【００８２】
各々の参加者の注視方向より、リモート側の表示部３Ｂの位置が推定される。推定された表示部３Ｂの位置に対して、参加者それぞれに合わせた注視方向差分としきい値が与えられる。各々の参加者に対し、差分がしきい値より小さい場合は表示部３Ｂを注視していると注視方向差分算出部２６で判断される。白丸は表示部３Ｂを注視している人を、黒丸は表示部３Ｂを注視していない人を表す。
【００８３】
注視方向差分表示部２７は、複数の参加者の注視方向が交わる点（参加者それぞれのしきい値の範囲で交わる場合）について、参加者の半数以上の注視方向が交わる場合の合成注視方向を示す。図１６では半数以上が表示部３Ｂを見ており、合成注視方向は、表示部３Ｂを見ていることを表す矢印、例えば下向きの矢印で表示される。ローカル側の表示部３に表示された矢印を見れば、全体として注意が向いていることが分かる。
【００８４】
図１７では視線方向が様々であり、合成注視方向の表示が行われない、あるいは、表示部３Ｂから見て左方向に半数以上の人が向いているとして、左方向に合成注視方向を表示する。どちらの場合も、半数以上が表示部３Ｂを見ていないことを示し、全体として注意が向いていないことが分かる。
【００８５】
なお、実施の形態では２つの拠点の間の通信について説明したが、本発明は３つ以上の拠点で同時にテレビ会議を行う場合に適用することができる。表示部３が通信相手の２以上の拠点に分割して表示する場合には、通信相手ごとに注視方向と画像表示装置の方向との差分を表示する。通信相手ごとに表示部３を備える場合、それぞれの表示部３にその通信相手側の参加者の注視方向と画像表示装置の方向との差分を表示する。
【００８６】
本発明の第１の効果は、リモート側に専用の装置や処理部を設けることなく、ローカル側の処理だけでリモート側の参加者の視線方向を計算し、表示することができることにある。その理由は、ローカル側の画像解析部がリモート側の参加者の視線方向を計算して表示するためである。一般に、リモート側の画像から直接得られる情報はリモート側の参加者の見かけ上の視線方向だけであるが、同時にリモート側の画像表示装置の位置を推定し、画像表示装置の位置方向と見かけ上の視線方向の差分を計算することで、実際の視線方向を決定することができる。
【００８７】
本発明の第２の効果は、リモート側の参加者がローカル側の話者を見ているのか否かが、ローカル側の話者にすぐに分かることにある。その理由は、抽出したリモート側の参加者の視線方向を、ローカル側の話者方向とそれ以外の２値、もしくはローカル側の話者方向とその左と右の３値で表示することができるためである。
【００８８】
本発明の第３の効果は、リモート側の参加者が複数の際に、リモート側の参加者全体がどこに注視しているかがローカル側の話者にとってわかりやすいことにある。その理由は、リモート側の複数参加者の視線方向を適切に統合して表示する機能を有するためである。
【００８９】
その結果、本発明に係る画像付通信装置によれば、対面でのコミュニケーションに近い環境を提供できる。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施の形態１に係るテレビ会議装置の構成の一例を示すブロック図である。
【図２】実施の形態１に係るテレビ会議装置を用いるシステムの一例を示すブロック図である。
【図３】参加者の注視方向と表示装置方向の差分を判定する方法を説明する平面図である。図３（Ａ）は表示部に対し注視する方向を判定する角度を示す。図３（Ｂ）は一例として表示部からはずれた方向を注視した状態を示す。
【図４】実施の形態１に係るテレビ会議装置の注視方向を表示する動作の一例を示すフローチャートである。
【図５】リモート側から送られた画像の一例を示す図である。
【図６】実施の形態１に係る注視方向の表示の例を示す図である。
【図７】画像表示装置の位置を推定する方法を説明する図である。
【図８】注視方向の表示の例を示す図である。
【図９】注視方向を合成して表示する例を示す図である。
【図１０】画像表示装置の位置を推定する方法を説明する図である。
【図１１】画像に投射器が映っている例を示す図である。
【図１２】本発明の実施の形態２に係るテレビ会議装置の構成の一例を示すブロック図である。
【図１３】実施の形態２に係るテレビ会議装置の注視方向を表示する動作の一例を示すフローチャートである。
【図１４】実施の形態２に係る注視方向を表示する動作を説明する図である。
【図１５】実施の形態２に係る注視方向の表示の例を示す図である。
【図１６】実施の形態２に係る注視方向の判定の例を示す平面図である。
【図１７】実施の形態２に係る注視方向の異なる例を示す平面図である。
【符号の説明】
【００９１】
１  テレビ会議装置
２  制御装置
３、３Ａ、３Ｂ  表示部
４、４Ａ、４Ｂ  カメラ
１１  送受信部
１２  通信処理部
１３  参加者検出部
１４  注視方向検出部
１５  表示装置位置推定部
１６  注視方向差分算出部
１７  注視方向差分表示部
１８  画像出力部
１９  画像入力部
２０  合成注視方向算出部
２３  参加者検出部
２４  注視方向検出部
２５  表示装置位置推定部
２６  注視方向差分算出部
２７  注視方向差分表示部
【図１】
2009147792.tif 000003
【図２】
2009147792.tif 000004
【図３】
2009147792.tif 000005
【図４】
2009147792.tif 000006
【図５】
2009147792.tif 000007
【図６】
2009147792.tif 000008
【図７】
2009147792.tif 000009
【図８】
2009147792.tif 000010
【図９】
2009147792.tif 000011
【図１０】
2009147792.tif 000012
【図１１】
2009147792.tif 000013
【図１２】
2009147792.tif 000014
【図１３】
2009147792.tif 000015
【図１４】
2009147792.tif 000016
【図１５】
2009147792.tif 000017
【図１６】
2009147792.tif 000018
【図１７】
2009147792.tif 000019