(57)【要約】【課題】双方向通信によって画像を見つつ対話を行う際、顔を動かしたとしても、話者が違和感を抱くことなく対話を行うことができるようにする。【解決手段】表示装置は、第１の空間にいる第１の話者と第２の空間にいる第２の話者とが通信回線を介して対話する際に、相手側である第２の話者が位置する第２の空間を撮像して得られた画像を表示する。システム制御回路５０はカメラによって第１の空間を撮像して第１の画像を得、第１の画像を相手側に送信するとともに、第２の空間を撮像して得られた第２の画像を相手側から受けて第２の画像を表示部２に表示する。この際、システム制御回路は第１の話者の視線と第２の話者との視線とを検出して両者がアイコンタクト状態であるか否かを判定し、その判定結果に基づいて第２の画像を更新するか否かを決定する。【選択図】図３
2018133722.tif 000002
【特許請求の範囲】
【請求項１】
第１の空間にいる第１の話者と第２の空間にいる第２の話者とが通信回線を介して対話する際に、相手側である前記第２の話者が位置する前記第２の空間を撮像して得られた画像を表示する表示装置であって、
前記第１の空間を撮像して第１の画像を得る撮像手段と、
前記第１の画像を前記相手側に送信するとともに、前記第２の空間を撮像して得られた第２の画像を前記相手側から受けて前記第２の画像を表示部に表示する制御手段と、
前記第１の画像に存在する前記第１の話者の視線と前記第２の画像に存在する前記第２の話者との視線とを検出して、当該検出結果に応じて両者がアイコンタクト状態であるか否かを判定する判定手段と、を有し、
前記制御手段は、前記第２の画像を前記表示部に表示する際、前記判定手段による判定結果に基づいて前記第２の画像を更新するか否かを決定することを特徴とする表示装置。
【請求項２】
前記表示部は光を透過可能であり、前記撮像手段は前記表示部の背面側に配置されていることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記判定結果がアイコンタクト状態であることを示している場合に、前記制御手段は、前記第２の画像における前記第２の話者の顔の位置が変化していると、当該顔の位置の変化に応じて前記第２の画像を前記表示部に表示する際の表示位置を決定することを特徴とする請求項１又は２に記載の表示装置。
【請求項４】
前記制御手段は、前記顔の位置の変化に応じて前記第２の画像の表示位置を決定する際、前記表示位置の変化を所定値以下とすることを特徴とする請求項３に記載の表示装置。
【請求項５】
前記制御手段は、前記第２の画像における前記第２の話者の顔の位置が変化していないと、表示すべき第２の画像の直前の第２の画像の表示位置と同一の位置に前記表示すべき画像を前記表示部に表示することを特徴とする請求項３又は４に記載の表示装置。
【請求項６】
前記判定結果がアイコンタクト状態でないことを示している場合には、前記制御手段は直前にアイコンタクト状態であった第２の画像を前記表示部に表示することを特徴とする請求項１乃至５のいずれか１項に記載の表示装置。
【請求項７】
前記第１の話者の音声を集音して音声信号を出力するマイク手段と、
前記相手側から送られた音声信号に応じた音声を出力するスピーカー手段と、を有し、
前記制御手段は前記マイク手段で得られた音声信号を前記相手側に通信回線を介して送信することを特徴とする請求項１乃至６のいずれか１項に記載の表示装置。
【請求項８】
前記制御手段は、予め定められた時間、前記マイク手段から音声信号が出力されず、かつ前記相手側から音声信号が送信されない状態となると、直前にアイコンタクト状態であった第２の画像を前記表示部に表示することを特徴とする請求項７に記載の表示装置。
【請求項９】
前記制御手段は、前記第１の画像に存在する前記第１の話者の顔の中心位置を検出して、当該中心位置と前記撮像手段の光軸とのずれが所定量を超えると、前記中央位置と前記光軸との位置関係に応じて前記表示部に非表示領域を設定することを特徴とする請求項１乃至８のいずれか１項に記載の表示装置。
【請求項１０】
第１の空間にいる第１の話者と第２の空間にいる第２の話者とが通信回線を介して対話する際に、相手側である前記第２の話者が位置する前記第２の空間を撮像して得られた画像を表示する表示装置の制御方法であって、
前記第１の空間を撮像して第１の画像を得る撮像ステップと、
前記第１の画像を前記相手側に送信するとともに、前記第２の空間を撮像して得られた第２の画像を前記相手側から受けて前記第２の画像を表示部に表示する制御ステップと、
前記第１の画像に存在する前記第１の話者の視線と前記第２の画像に存在する前記第２の話者との視線とを検出して、当該検出結果に応じて両者がアイコンタクト状態であるか否かを判定する判定ステップと、を有し、
前記制御ステップでは、前記第２の画像を前記表示部に表示する際、前記判定ステップによる判定結果に基づいて前記第２の画像を更新するか否かを決定することを特徴とする制御方法。
【請求項１１】
第１の空間にいる第１の話者と第２の空間にいる第２の話者とが通信回線を介して対話する際に、相手側である前記第２の話者が位置する前記第２の空間を撮像して得られた画像を表示する表示装置で用いられる制御プログラムであって、
前記表示装置に備えられたコンピュータに、
前記第１の空間を撮像して第１の画像を得る撮像ステップと、
前記第１の画像を前記相手側に送信するとともに、前記第２の空間を撮像して得られた第２の画像を前記相手側から受けて前記第２の画像を表示部に表示する制御ステップと、
前記第１の画像に存在する前記第１の話者の視線と前記第２の画像に存在する前記第２の話者との視線とを検出して、当該検出結果に応じて両者がアイコンタクト状態であるか否かを判定する判定ステップと、を実行させ、
前記制御ステップでは、前記第２の画像を前記表示部に表示する際、前記判定ステップによる判定結果に基づいて前記第２の画像を更新するか否かを決定することを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を備える表示装置に関し、特に、テレビ会議などリアルタイムで双方向通信を行うための表示装置に関する。
【背景技術】
【０００２】
一般に、テレビ会議などのようにリアルタイムで双方向通信を行う際には、被写体撮像して画像信号に変換して相手側に送信し、相手側から受けた画像信号に応じた画像を表示する必要がある。例えば、テレビ会議においては、表示装置に映し出された相手側の顔を見つつ会話を行い、同時に利用者の顔が撮像装置によって撮影されて画像信号として相手側に送られる。
【０００３】
ところで、従来のテレビ会議などにおいては、撮像装置は表示装置と独立してその周辺に配置されており、このため、表示装置の画面を目視している人物は、例えば、斜め方向から撮影されることになる。従って、表示装置に映し出された相手側の顔は視線が正面からずれて別の方向を向いてしまう。この結果、相互の会話がぎこちない状態となるばかりでなく、面と向かって会話する場合と比較して違和感が存在する。
【０００４】
さらに、撮像装置と表示装置とが別体であるので不可避的に製造コストが増大し、個別の装置として取り扱わなければならないので、システム構築が煩雑になる。
【０００５】
このような状況に対処するため、複数の表示画素の間に遮光部材を配置して、表示装置の背部に撮像装置を配置するようにしたものがある（特許文献１参照）。ここでは、遮光部材には撮像装置に光を導くための開口部が形成され、撮像装置は開口部に対応した位置に結像光学系を有している。
【０００６】
特許文献１に記載の表示装置では、表示装置を目視する人物を撮像することができ、これによって、利用者は表示装置に表示される相手と視線を一致させること、つまりアイコンタクトをとることが可能となる。その結果、テレビ会議などにおいては、相手を正面から目視して、つまり、相手と目を合わせて対話することができ、コミュニケーションが向上する。
【０００７】
なお、特許文献１においては、アイコンタクト状態とするため、利用者などが撮像装置を見るように、撮像装置が配置された位置において、表示装置に相手の顔を重畳して表示する。
【０００８】
さらに、相手の右目の位置がカメラの取付位置と一致するように、相手の画像の座標変換を行い、相手の顔の傾きに応じてディスプレイを回転させるようにしたテレビ装置がある（特許文献２参照）。
【０００９】
特許文献２に記載のテレビ装置では、相手の顔とカメラとが重畳するように表示制御するので、相手が動くか又は顔を傾けた場合でも、相手の顔は画面中央にほぼ正立した状態で表示される。この結果、対話者間におけるアイコンタクト状態を保持することができる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−１７６１５１号公報
【特許文献２】特開２００７−１６６５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
前述のように、特許文献２に記載のテレビ装置では、相手が顔を動かすか又は顔を傾けた場合においても、顔の位置はカメラの配設された画面中央に固定されるので、アイコンタクト状態を保持することができる。
【００１２】
ところが、アイコンタクト状態を保持することができるものの、常に、顔の位置を画面中央に固定しているので、背景のみが動くか又は傾くことになって、所謂流し撮りの画像となってしまう。この結果、利用者に不自然さを抱かせてしまうことになる。
【００１３】
さらに、利用者が相手の顔以外の部分を注視している場合に、前述のように背景のみが動くか又は傾くと、利用者に違和感を抱かせてしまうことになる。
【００１４】
そこで、本発明の目的は、双方向通信によって画像を見つつ対話を行う際、顔を動かしたとしても、利用者が違和感を抱くことなく対話を行うことのできる表示装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１５】
上記の目的を達成するため、本発明による表示装置は、第１の空間にいる第１の話者と第２の空間にいる第２の話者とが通信回線を介して対話する際に、相手側である前記第２の話者が位置する前記第２の空間を撮像して得られた画像を表示する表示装置であって、前記第１の空間を撮像して第１の画像を得る撮像手段と、前記第１の画像を前記相手側に送信するとともに、前記第２の空間を撮像して得られた第２の画像を前記相手側から受けて前記第２の画像を表示部に表示する制御手段と、前記第１の画像に存在する前記第１の話者の視線と前記第２の画像に存在する前記第２の話者との視線とを検出して、当該検出結果に応じて両者がアイコンタクト状態であるか否かを判定する判定手段と、を有し、前記制御手段は、前記第２の画像を前記表示部に表示する際、前記判定手段による判定結果に基づいて前記第２の画像を更新するか否かを決定することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、双方向通信によって画像を見つつ対話を行う際、顔を動かしたとしても、話者は違和感を抱くことなく対話を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態による表示装置の一例を説明するための図である。
【図２】図１に示す表示装置の構成についてその一例を示すブロック図である。
【図３】図１（ａ）に示す状態と異なる状態で表示装置を正面側から示す図である。
【図４Ａ】図１に示す表示装置の動作の一例を説明するためのフローチャートである（その１）。
【図４Ｂ】図１に示す表示装置の動作の一例を説明するためのフローチャートである（その２）。
【図５】図１に示す表示装置における相手側利用者の視線検出を説明するための図である。
【図６】図１に示す表示装置に表示される顔画像の表示位置の制御を説明するための図である。
【図７】図１に示す表示装置において両者アイコンタクト状態ではない場合を示す図である。
【図８】図１に示す表示装置で行われる顔の追尾を説明するための図である。
【図９】図１に示す表示装置と通信を行う表示装置を説明するための図である。
【図１０Ａ】図１に示す表示装置の動作の他の例を説明するためのフローチャートである（その１）。
【図１０Ｂ】図１に示す表示装置の動作の他の例を説明するためのフローチャートである（その２）。
【発明を実施するための形態】
【００１８】
以下に、本発明の実施の形態による表示装置の一例について図面を参照して説明する。
【００１９】
なお、この表示装置は撮像装置を備えており、双方向通信を用いたテレビ会議などに用いられる。また、ここでは、空間１において利用者βがテレビ会議を利用し、空間１と異なる空間２において利用者αがテレビ会議を利用するものとする。つまり、空間１に配置された表示装置と空間２に配置された表示装置とは通信回線によって接続されている。
【００２０】
図１は、本発明の実施の形態による表示装置の一例を説明するための図である。そして、図１（ａ）は表示装置を正面側から示す図であり、図１（ｂ）は表示装置を上面側から示す図である。
【００２１】
図１（ａ）に示す表示装置１は、テレビ会議システムなどで用いられる表示装置であり、後述する撮像装置を備えている。そして、表示装置１は空間１において利用者βが使用し、表示装置１には空間２にいる利用者αの画像が表示される。また、図１（ｂ）においては、空間１において表示装置１を観察する利用者βと表示装置１との位置関係が示されている。
【００２２】
表示装置１は光を透過可能な表示パネル（表示部）２を備えており、表示パネル２の背面側（図中＋ｚ方向）には、表示パネル２を目視する利用者βを撮影するための撮像装置（以下カメラと呼ぶ）１１が配設されている。このカメラ１１は、表示パネル２の画面中央より上方（図中＋ｙ方向）側に配設され、表示パネル２に備えられた表示画素部の一部を介して利用者βを撮影する。なお、カメラ１１は撮影レンズ、撮像素子、および撮像素子駆動回路を備えている。
【００２３】
前述の表示パネル２は、例えば、有機ＥＬで構成されており、カメラ１１の撮影光路に光を透過する。表示パネル２の周囲には、利用者βの音声を集音するマイク２１、２２、２３、および２４が配設されるとともに、利用者αの音声を出力するスピーカー３１および３２が配設されている。また、表示パネル２の上面には操作スイッチ４０が配設されている。なお、空間２で用いられる表示装置も図１に示す表示装置１と同様の構成を有している。
【００２４】
図２は、図１に示す表示装置の構成についてその一例を示すブロック図である。
【００２５】
前述のように、カメラ１１は、撮像素子１０および撮像素子駆動回路５１を備えている。システム制御回路５０は、撮像素子駆動回路５１を制御して撮像素子１０を駆動する。撮像素子駆動回路５１は撮像素子１０の出力である画像信号に所定の画像処理を施して画像データとしてシステム制御回路５０に送る。
【００２６】
システム制御回路５０は、表示処理回路５２によって表示パネル２に顔画像などの画像を表示する。音声処理回路５３はシステム制御回路５０の制御下でマイク２１〜２４で集音された音声を処理して音声データとしてシステム制御回路５０に送る。システム制御回路５０は、音声データに応じて駆動回路５４を駆動してスピーカー３１および３２から音声を出力する。
【００２７】
図示のように、システム制御回路５０には、操作スイッチ（ＳＷ）４０、リモコン回路５５、送受信回路５６、演算回路５７、および記憶回路５８が接続されており、演算回路５７には視線検出回路５７ａが備えられている。なお、リモコン回路５５は表示装置１をリモコン操作する際に用いられる回路であり、送受信回路５６は相手側と画像データおよび音声データを送受する際に用いられる回路である。
【００２８】
図３は、図１（ａ）に示す状態と異なる状態で表示装置を正面側から示す図である。さらに、図４Ａおよび図４Ｂは、図１に示す表示装置の動作を説明するためのフローチャートであり、図５は、図１に示す表示装置における相手側利用者の視線検出を説明するための図である。
【００２９】
図１乃至図５を参照して、いま、空間１にいる利用者βがテレビ会議システムを構成する表示装置１に備えられた操作スイッチ４０を操作すると、テレビ会議システムが起動する。テレビ会議システムが起動すると、システム制御回路５０は送受信回路５６を介して空間２に配置された表示装置との通信状態を設定する（ステップＳ１０１）。
【００３０】
続いて、システム制御回路５０は空間２に配置された表示装置（システム）を確認する（ステップＳ１０２）。ここでは、システム制御回路５０は、表示装置に備えられたカメラの数、カメラの焦点距離、カメラの位置情報、および送信される信号の形態などをシステム情報として得る。なお、送信される信号の形態とは、例えば、送信される画像信号のフレーム周期である。
【００３１】
次に、システム制御回路５０は、空間１に配置された表示装置１の利用者情報を初期設定する（ステップＳ１０３）。なお、利用者情報には、利用者の人数、会話を行っている話者の目の位置、および話者以外の利用者の目の位置を示す情報が含まれており、記憶回路５８に記憶される。
【００３２】
続いて、システム制御回路５０はカメラ１１によって、空間１、つまり、利用者βを撮影する（ステップＳ１０４）。ここでは、システム制御回路５０は撮像素子駆動回路５１を制御して撮像素子１０を駆動、つまり、読み出し制御する。これによって、撮影レンズ（図示せず）を介して撮像素子１０に結像した光学像に応じた画像信号が撮像素子１０から読み出される。そして、システム制御回路５０は、音声処理回路５３を制御してマイク２１、２２、２３および２４によって集音された音声を空間２に送信可能な所定の信号形態の音声信号に処理する（ステップＳ１０５）。
【００３３】
次に、システム制御回路５０は送受信回路５６によって画像信号、音声信号、および記憶回路５８に記憶された利用者情報を、空間２に配置された表示装置に送信する（ステップＳ１０６）。この際、システム制御回路５０は、カメラ１１で得られた画像信号を順次、つまり、連続的に送信する。そして、システム制御回路５０は、撮影によって得られた画像を用いて、演算回路５７によって利用者βの顔領域を認識して、当該顔領域における目の位置を検出する（ステップＳ１０７）。さらに、システム制御回路５０は、演算回路５７に備えられた視線検出回路５７ａによって利用者βの視線を検出する。
【００３４】
視線を検出する際には、例えば、図５に示すように、視線検出回路５７ａは、利用者βの目１５の領域を、上下左右方向にそれぞれ３分割して９つの領域（領域ａ〜ｉ）を得る。そして、視線検出回路５７ａは利用者βの目１５における瞳１６の領域が、領域ａ〜ｉのいずれかに存在するかを判別して、水平および垂直方向における視線方向を検出する。なお、利用者の顔領域を認識する手法については、例えば、特開２０００−４８１８４号公報に記載されているので、ここでは説明を省略する。
【００３５】
続いて、システム制御回路５０は、カメラ１１の撮影光軸に対する利用者βの顔の中心位置の変位量Ｉｘβを求めて、当該変位量Ｉｘβを利用者情報として記憶回路５８に記憶する（ステップＳ１０８）。さらに、ここでは、システム制御回路５０は演算回路５７によって利用者βの顔画像における目の間隔に基づいて、利用者βと表示装置１との間隔である距離Ｚβを求める（図１（ｂ）参照）。そして、システム制御回路５０は当該距離Ｚβを利用者情報として記憶回路５８に記憶する。なお、成人の目の間隔はおおよそ６５ｍｍであり、カメラ１１の撮影倍率を用いて距離Ｚβを算出することができる。
【００３６】
次に、システム制御回路５０は、送受信回路５６によってテレビ会議システムの相手側の表示装置（空間２）から送信された画像信号、音声信号、および利用者情報を受信する（ステップＳ１０９）。ここでは、空間２における利用者情報、つまり、空間２の利用者αの顔の位置Ｉｘαが空間１に配置された表示装置の表示パネル２の画面サイズを考慮して記憶回路５８に記憶される。
【００３７】
システム制御回路５０は、空間２における利用者情報を用いて利用者αの目の位置に基づいて顔の中心位置を認識する。そして、システム制御回路５０は利用者αの顔の中心位置と表示画面の中心との距離Ｉｘαを確認する（ステップＳ１１０）。さらに、ここでは、システム制御回路５０は、ステップＳ１０７の処理と同様に、視線検出回路５７ａによって利用者αの視線方向を検出する。
【００３８】
なお、図１（ａ）には、空間２から送られた画像を表示装置１にそのまま表示した例が示されている。図１（ａ）においては、利用者αの顔の中心位置と表示画面の中心との距離Ｉｘαは、表示パネル２に表示された利用者αの顔の表示位置Ｄｘαと一致している。
【００３９】
続いて、システム制御回路５０は利用者βの視線方向と利用者αの視線方向（つまり、検出結果）とに基づいて、利用者αおよび利用者βの視線が一致している両者アイコンタクト状態であるか否かを判定して判定結果を得る（ステップＳ１１１）。判定結果が両者アイコンタクト状態であると（ステップＳ１１１において、ＹＥＳ）、システム制御回路５０は相手側の利用者αが顔の位置を動かしても違和感を抱くことなく視線合致の効果が得られるように利用者αの画像を更新する。そして、システム制御回路５０は利用者αの目の位置と空間２に配置された表示装置のシステム情報とに基づいて、受信した画像信号の特性を判定する（ステップＳ１１２）。ここでは、システム制御回路５０は演算回路５７によって利用者αの顔の中心位置Ｉｘαと受信画像のフレーム周期Δｔとに基づいて利用者αの顔の位置の時間変位量ΔＩｘαを求める。
【００４０】
いま、直前の利用者αの顔の位置をＩｘα０、今回の利用者αの顔の位置をＩｘα１とすると、利用者αの顔の位置の時間変位量ΔＩｘαは、次の式（１）で表すことができる。
ΔＩｘα＝（Ｉｘα１−Ｉｘα０）／Δｔ      （１）
【００４１】
続いて、システム制御回路５０は、記憶回路５８に記憶された利用者βの位置情報Ｚβを確認する（ステップＳ１１３）。そして、システム制御回路５０は、時間変位量ΔＩｘαに基づいて利用者αの顔の位置が変化しているか否かを判定する（ステップＳ１１４）。
【００４２】
利用者αの顔の位置が変化していると（ステップＳ１１４において、ＹＥＳ）、システム制御回路５０は演算回路５７によって表示パネル２における利用者αの顔の表示位置Ｄｘαを求める（ステップＳ１１５）。ここでは、利用者αの顔の位置が動いた場合でも、利用者間の視線が合致可能であり、かつ顔および背景が滑らかに動いて違和感のないように表示制御が行われる。よって、システム制御回路５０は利用者αの顔の位置の時間変位量ΔＩｘαに応じて、利用者αの表示位置Ｄｘαを決定する。
【００４３】
図１（ｂ）には、利用者αの画像を表示装置１にそのまま表示した際における利用者βの注視位置とカメラ１１とのなす視線振れ角θβが示されている。ここでは、利用者βは利用者αの顔の表示位置Ｄｘαを注視するので、視線振れ角θβは、次の式（２）の関係を満たす。
ｔａｎ（θβ）≒Ｄｘα／Ｚβ      （２）
【００４４】
さらに、利用者βの注視位置とカメラ１１とのなす角度θβは、視線が合致していると認識可能な角度の限界（限界角度）θβｔｈに入るように制御される。ここでは、限界角度θβｔｈは２°に設定される。
【００４５】
ここで、直前の利用者αの顔の表示パネル２における表示位置をＤｘα０とし、利用者αの顔の表示位置Ｄｘα０とカメラ１１とのなす角度をθβ０とする。さらに、今回の受信画像における利用者αの顔の表示位置Ｄｘα１とカメラ１１とのなす角度θβ１との時間変化量をΔθβとすると、視線振れ角θβ１は、次の式（３）を満たす。
θβ１＝θβ０＋Δθβ＜θβｔｈ      （３）
【００４６】
図６は、図１に示す表示装置に表示される顔画像の表示位置の制御を説明するための図である。そして、図６（ａ）は直前の利用者αの顔の表示位置Ｄｘα０とカメラ１１とのなす角度θβ０が零の場合の制御を示す図である。また、図６（ｂ）は直前の利用者αの顔がカメラ１１の光軸上にない場合の制御を示す図である。
【００４７】
図６（ａ）においては、直前の利用者αの顔の表示位置Ｄｘα０とカメラ１１の光軸とのなす角度θβ０が零、つまり、直前の受信画像においてカメラ１１の光軸上に利用者αの顔が存在する場合の制御が示されている。図示のように、利用者αの顔の位置の時間変位量ΔＩｘαが所定値以下の場合（例えば、制御量である時間変化量Δθβ≦１°である場合）、時間変位量ΔＩｘαに対して線形となるように制御量Δθβを設定する（図６（ａ）において破線で示す）。
【００４８】
また、利用者αの顔の位置の時間変位量ΔＩｘαが大きい場合には、受信画像をそのまま表示せず、表示位置が大きく変化しないように補正して表示を行う（図６（ａ）に実線で示す）。この際、制御量Δθβは、視線が合致していると認識可能な限界角度θβｔｈに入るように設定される。
【００４９】
このように、利用者αの顔の位置の時間変位量ΔＩｘαに応じて、表示装置１に表示される利用者αの顔の位置とカメラ１１とのなす角度との制御量Δθβが決定される。この際、制御量Δθβは表示の際の変化量が大きくならないように所定値以下に決定される。
【００５０】
上述のようにして、制御量Δθβを決定すると、システム制御回路５０は、演算回路５７によって上述の式（２）および式（３）を用いて利用者αの表示パネル２における顔の表示位置Ｄｘα１を求める。そして、システム制御回路５０は表示位置Ｄｘα１に応じて顔の表示位置を決定する（ステップＳ１１６）。
【００５１】
なお、利用者αの顔の位置が変化していないと（ステップＳ１１４において、ＹＥＳ）、システム制御回路５０はステップＳ１１６の処理に進み、直前の受信画像における顔の位置と同様の位置に顔の表示位置を決定する。
【００５２】
続いて、システム制御回路５０は表示処理回路５２を制御して表示パネル２に利用者αの画像を表示する（ステップＳ１２０）。図３においては、表示パネル２に表示された利用者αの画像が示されている。ここでは、あたかもカメラ１１を小さくパンニングしたように顔および背景が滑らかな動きで表示されるので、利用者βは利用者αと視線が合致してコミュニケーションが良好となり、かつ表示の変化に関して違和感を抱くことがない。
【００５３】
次に、システム制御回路５０は、音声処理回路５３によってマイク２１、２２、２３、および２４によって検出された音声信号に基づいて、空間１において会話を行っている話者の位置を検出する（ステップＳ１２１）。なお、複数の音声信号から話者を検出する手法として、例えば、遅延和方式がある。そして、システム制御回路５０は、記憶回路５８に格納された利用者情報である利用者の目の位置を話者の目の位置として更新する（ステップＳ１２２）。
【００５４】
続いて、システム制御回路５０は操作スイッチ１４０の状態を確認して、通信が終了したか否かを判定する（ステップＳ１２３）。通信が終了していないと、つまり、テレビ会議システムが使用中であると（ステップＳ１２３において、ＮＯ）、システム制御回路５０はステップＳ１０４の処理に戻る。一方、通信が終了すると（ステップＳ１２３において、ＹＥＳ）、システム制御回路５０は送受信を終了する（ステップＳ１２４）。そして、システム制御回路５０はカメラ１１による利用者の撮影を終了して、表示パネル２の画像の表示を終了する。
【００５５】
判定結果が両者アイコンタクト状態でないと（ステップＳ１１１において、ＮＯ）、システム制御回路５０は演算回路５７による利用者αの顔の表示位置Ｄｘαの算出を停止する（ステップＳ１３０）。
【００５６】
図７は、図１に示す表示装置において両者アイコンタクト状態ではない場合を示す図である。
【００５７】
図７においては、利用者βは表示パネル２に表示された利用者αとアイコンタクトがとれていない。ここでは、利用者αは利用者βの顔の方向に視線を向けているものの、利用者βは利用者αの顔よりも下方を見ている状態である。
【００５８】
両者アイコンタクト状態でない場合において、図７に示すように、利用者βが利用者αの顔よりも下方に視線を向けている状態である状態では、利用者β利用者αの顔以外のものを注視していることになる。このような場合には、システム制御回路５０は表示パネル２の表示状態に変化がないように制御を行う。つまり、システム制御回路５０は表示パネル２に表示された画像の更新をしないと決定する。これによって、利用者βが注視しているものが利用者αの顔でない場合であっても、利用者βが違和感を抱かないようにすることができる。
【００５９】
その後、システム制御回路５０は、表示処理回路５２を制御して直前の利用者αの顔の表示位置Ｄｘαを保持する（ステップＳ１３１）。そして、システム制御回路５０は、ステップＳ１２０の処理に進み、上記の表示位置Ｄｘαに利用者αの画像を表示する。
【００６０】
なお、ステップＳ１１１の処理において、両者アイコンタクト状態でないと判定した直前の状態が両者アイコンタクト状態であったとする。この場合、システム制御回路５０は両者アイコンタクト状態であった際に表示パネル２に表示された利用者αの顔の表示位置Ｄｘαで表示パネル２に利用者αの表示を継続する。
【００６１】
一方、Ｓ１１１の処理において、両者アイコンタクト状態でないと判定した直前の状態も両者アイコンタクト状態でなかったとする。この場合、システム制御回路５０は直前に表示パネル２に表示された利用者αの顔の位置Ｄｘαで表示パネル２に利用者αの表示を継続する。
【００６２】
これによって、表示パネル２の表示状態は変化しないので、利用者βは視線を向けている方向（図７に示す例では、利用者αの顔よりも下方）に表示されているものは画面において動かない。よって、利用者βが注視しているものが利用者αの顔でない場合であっても、利用者βが違和感を抱くことはない。
【００６３】
前述のように、ステップＳ１３１の処理の後、ステップＳ１２０の処理に進む。そして、利用者βが利用者αとの会話を継続して、図７に示す両者アイコンタクト状態でない場合から利用者βが利用者αの顔の方向に視線を向けたとする。この場合には、ステップＳ１１１の処理において、システム制御回路５０は両者アイコンタクト状態になったと判定する。これによって、対話を行う相手側利用者が顔の位置を動かした場合であっても、違和感を抱くことなく視線合致の効果を得ることができる。
【００６４】
ここで、図６（ｂ）を参照すると、図示の例では、直前の受信画像において利用者αの顔がカメラ１１の光軸上にない。ここでは、直前の利用者αの顔の表示位置Ｄｘα０とカメラ１１の光軸とのなす角度θβ０が所定値を超える場合（例えば、１°を超える場合）における顔画像の表示位置制御が示されている。
【００６５】
直前の利用者αの顔の表示位置Ｄｘα０とカメラ１１の光軸とのなす角度θβ０が所定値を超える場合には、利用者αの顔の位置の時間変位量ΔＩｘαが小さい場合でも受信画像をそのまま表示しない。そして、表示位置が大きく変化しないように補正して表示を行う（図６（ｂ）に実線で示す）。この際、制御量Δθβは、視線が合致していると認識可能な角度限界θβｔｈに入るように設定される。なお、図６（ｂ）において、破線は時間変位量ΔＩｘαと制御量Δθβとが線形関係の状態を示す。
【００６６】
上述の例では、受信画像から利用者αの顔の位置Ｉｘαの情報を得て、表示パネル２における利用者αの顔の表示位置Ｄｘαを決定するようにした。一方、顔の動きを予測するようにすれば、遅延することなく画像を滑らかに表示することが可能となる。
【００６７】
図８は、図１に示す表示装置で行われる顔の追尾を説明するための図である。
【００６８】
システム制御回路５０の制御下で、演算回路５７は顔の位置の時間的変化（図中実線で示す範囲）に基づいて将来的な顔の位置を予測（図中点線で示す範囲）して顔画像の表示位置を決定する。これによって、遅延することなく顔画像を滑らかに表示することが可能となる。
【００６９】
図９は、図１に示す表示装置と通信を行う表示装置を説明するための図である。そして、図９（ａ）はその正面図であり、図９（ｂ）は上側から見た図である。
【００７０】
図９（ａ）に示すように、図示の表示装置２０１は表示装置１と同様の構成を有している。つまり、表示装置２０１は表示パネル２０２、カメラ２１１、マイク２２１、２２２、２２３、および２２４、スピーカー２３１および２３２、および操作部２４０を有している。そして、表示装置２０１には空間１の利用者βの顔が表示される。なお、図９（ｂ）には、利用者αと表示装置２０１との位置関係が示されている。
【００７１】
図９（ａ）に示すように、表示パネル２０２には非表示領域２０３が設定されている。図９（ｂ）において、利用者αはカメラ２１１の光軸から離れた位置Ｘαから表示パネル２０２を注視しており、利用者αの観察位置をカメラ２１１の光軸寄りに誘導するため表示パネル２０２に非表示領域２０３が設定される。
【００７２】
表示パネル２０２に非表示領域２０３を設定するか否かについて次のようにして、システム制御回路５０が判定する。
【００７３】
システム制御回路５０はカメラ２１１で利用者αを撮影する。システム制御回路５０の制御下で、演算回路５７はカメラ２１１で得られた画像から利用者αの顔を認識する。この際、演算回路５７は利用者αの顔領域において目の位置を検出し、カメラ２１１の光軸に対する利用者αの顔の中心位置の変位量Ｉｘαを求める。なお、カメラ２１１の光軸に対する利用者αの顔の中心位置の変位量Ｘαは、カメラ２１１の撮影倍率に応じて求められる。
【００７４】
上記の変位量Ｘαが所定値（所定量）を超えていると、システム制御回路５０は演算回路５７によって利用者αをカメラ２１１の光軸寄りに誘導するため、表示パネル２０２に非表示領域２０３を設定する。ここでは、システム制御回路５０は顔の中心位置を検出して、当該中心位置とカメラ２１１の光軸とのずれが所定量を超えると、中央位置と光軸との位置関係に応じて非表示領域２０３を設定する。
【００７５】
非表示領域２０３が設定されると、システム制御回路５０は表示処理回路５２を制御して表示パネル２０２に利用者βの顔画像を非表示領域２０３とともに表示する。
【００７６】
上述の例では、表示装置１を目視する利用者βの観察距離Ｚβを、利用者βの目の間隔に基づいて算出した。一方、表示パネル２の大きさによって概ね観察距離は決定されるので、表示パネル２の大きさに基づいて観察距離Ｚβを設定するようにしてもよい。
【００７７】
さらには、利用者αと利用者βとの通信が継続していると、利用者αと利用者βとがアイコンタクト状態であるかどうかの判定を行うようにした。一方、後述するように、利用者αと利用者βとの通信が継続している状態であっても、利用者αと利用者βとの会話が継続しているか否かに応じて利用者αの顔画像の表示位置を決定するようにしてもよい。
【００７８】
図１０Ａおよび図１０Ｂは、図１に示す表示装置の動作の他の例を説明するためのフローチャートである。なお、図１０Ａおよび図１０Ｂにおいて、図４Ａおよび図４Ｂに示すステップと同一のステップについては同一の参照符号を付して説明を省略する。
【００７９】
ステップＳ１２２の処理の後、システム制御回路５０は操作スイッチ１４０の状態を確認して、通信が終了したか否かを判定する（ステップＳ２２３）。通信が終了すると（ステップＳ２２３において、ＹＥＳ）、システム制御回路５０はステップＳ１２４の処理に進む。
【００８０】
一方、通信が終了していないと（ステップＳ２２３において、ＮＯ）、システム制御回路５０は利用者αおよび利用者βの少なくとも一方の音声が検出されたか否かを判定する（ステップＳ２４０）。つまり、システム制御回路５０は利用者αと利用者βとの会話が有るか否かを判定する。利用者α及び利用者βの少なくとも一方の音声が検出されると（ステップＳ２４０において、ＹＥＳ）、システム制御回路５０はテレビ会議が継続中であるとする。そして、システム制御回路５０はステップＳ１０４の処理に戻る。
【００８１】
予め定められた時間、利用者αおよび利用者βのいずれの音声も検出されないと（ステップＳ２４０において、ＮＯ）、システム制御回路５０は、例えば、どちらか一方がテレビ会議中に中座したと判定する。そして、システム制御回路５０はステップＳ１３０の処理に進む。これによって、表示パネル２には、利用者αと利用者βのいずれか一方が中座する直前の利用者αの顔の位置Ｄｘαの位置に利用者αの顔画像が表示される。この結果、利用者βが中座した場合には、利用者βが表示パネル２の前に戻って来た際には、中座直前の利用者αの顔画像が表示されている。よって、利用者βは利用者αとのアイコンタクト状態に復帰しやすいという利点がある。
【００８２】
利用者αが中座した場合も同様に、利用者αが戻って来た際には、中座直前の利用者αの顔画像が表示パネル２に表示されている。よって、利用者αの音声が再び聞こえた際には、利用者βは表示パネル２に表示されている利用者αの顔画像を目視してテレビ会議を再開することができる。これによって、利用者βは利用者αとのアイコンタクト状態に復帰しやすいという利点がある。
【００８３】
このように、本発明の実施の形態では、利用者が相手側と対話を行う際、相手側が顔の位置を動かした場合であっても、違和感を抱くことなく視線を合致させることができる。さらに、利用者と相手側とがアイコンタクト状態でない場合においても、利用者に違和感を抱かせることを極めて少なくすることができる。
【００８４】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００８５】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を表示装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを表示装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００８６】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８７】
１  表示装置
２  表示パネル
１０  撮像素子
１１  カメラ
２１〜２４  マイク
３１〜３２  スピーカー
５０  システム制御回路
５１  撮像素子駆動回路
５７  演算回路
５７ａ  視線検出回路
【図１】
2018133722.tif 000003
【図２】
2018133722.tif 000004
【図３】
2018133722.tif 000005
【図４Ａ】
2018133722.tif 000006
【図４Ｂ】
2018133722.tif 000007
【図５】
2018133722.tif 000008
【図６】
2018133722.tif 000009
【図７】
2018133722.tif 000010
【図８】
2018133722.tif 000011
【図９】
2018133722.tif 000012
【図１０Ａ】
2018133722.tif 000013
【図１０Ｂ】
2018133722.tif 000014