(57)【要約】【課題】利用者が画像を見つつ相手側と対話を行う際、相手側がタッチ操作による不快感を抱くことがないようにする。【解決手段】表示装置１は、操作用のアイコンおよび画像が表示され光を透過可能な表示部２と、表示部の背面側に配置され撮像を行うカメラ１１とを有している。複数のモードから１つのモードを設定モードが設定された際に当該設定モードが予め定められたモードであると、システム制御回路５０はアイコンの表示位置を変更してカメラの画角よりも外側で表示部に表示する。【選択図】図３
2018133723.tif 000002
【特許請求の範囲】
【請求項１】
操作用のアイコンおよび画像が表示され光を透過可能な表示部と、前記表示部の背面側に配置され撮像を行う撮像手段とを有する表示装置であって、
複数のモードから１つのモードを設定モードとして設定する設定手段と、
前記設定手段によって前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記表示部に表示する制御手段と、
を有することを特徴とする表示装置。
【請求項２】
前記予め定められたモードは、第１の空間にいる第１の話者と第２の空間にいる第２の話者とが通信回線を介して対話する際に、前記第１の空間を撮像して得られた画像を相手側である前記第２の話者が用いる機器に送信して表示するモードであることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記制御手段は、前記予め定められたモードが設定された際、前記画角を規定する範囲である枠を前記表示部に表示して、前記枠の外側に前記アイコンを表示することを特徴とする請求項１又は２に記載の表示装置。
【請求項４】
前記制御手段は、前記アイコンのタッチ操作が撮像される可能性を注意するためのメッセージを前記表示部に表示することを特徴とする請求項３に記載の表示装置。
【請求項５】
前記制御手段は、前記メッセージを前記枠の中に表示することを特徴とする請求項４に記載の表示装置。
【請求項６】
前記予め定められたモードでは、前記制御手段は、前記撮像手段によって前記第１の空間を撮像して得られた第１の画像を前記相手側に送信するとともに、前記第２の空間を撮像して得られた第２の画像を前記相手側から受けて前記第２の画像を表示部に表示し、
前記第１の画像に存在する前記第１の話者の視線と前記第２の画像に存在する前記第２の話者との視線とを検出して、当該検出結果に応じて両者がアイコンタクト状態であるか否かを判定する判定手段を有し、
前記制御手段は、前記判定手段による判定結果に基づいて前記アイコンの表示位置を変更することを特徴とする請求項２に記載の表示装置。
【請求項７】
前記判定結果がアイコンタクト状態を示していると、前記制御手段は、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記表示部に表示することを特徴とする請求項６に記載の表示装置。
【請求項８】
前記制御手段は、前記画角を規定する範囲である枠を前記表示部に表示して、前記枠の外側に前記アイコンを表示することを特徴とする請求項７に記載の表示装置。
【請求項９】
前記制御手段は、前記アイコンのタッチ操作が撮像される可能性を注意するためのマークを前記表示部に表示することを特徴とする請求項８に記載の表示装置。
【請求項１０】
前記制御手段は、前記マークを前記枠の中に表示することを特徴とする請求項９に記載の表示装置。
【請求項１１】
前記第１の話者の音声を集音して音声信号を出力するマイク手段と、
前記相手側から送られた音声信号に応じた音声を出力するスピーカー手段と、を有し、
前記制御手段は前記マイク手段で得られた音声信号を前記相手側に通信回線を介して送信することを特徴とする請求項２に記載の表示装置。
【請求項１２】
操作用のアイコンおよび画像が表示され光を透過可能な表示部と、前記表示部の背面側に配置され撮像を行う撮像手段とを有する表示装置の制御方法であって、
複数のモードから１つのモードを設定モードとして設定する設定ステップと、
前記設定ステップで前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記表示部に表示する制御ステップと、
を有することを特徴とする制御方法。
【請求項１３】
操作用のアイコンおよび画像が表示され光を透過可能な表示部と、前記表示部の背面側に配置され撮像を行う撮像手段とを有する表示装置で用いられる制御プログラムであって、
前記表示装置が備えるコンピュータに、
複数のモードから１つのモードを設定モードとして設定する設定ステップと、
前記設定ステップで前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記表示部に表示する制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を備える表示装置に関し、特に、テレビ会議などリアルタイムで双方向通信を行うための表示装置に関する。
【背景技術】
【０００２】
一般に、テレビ会議などのようにリアルタイムで双方向通信を行う際には、被写体を撮像して画像信号に変換して相手側に送信し、相手側から受けた画像信号に応じた画像を表示する必要がある。例えば、テレビ会議においては、表示装置に映し出された相手側の顔を見つつ会話を行い、同時に利用者の顔が撮像装置によって撮影されて画像信号として相手側に送られる。
【０００３】
ところで、従来のテレビ会議システムなどにおいては、撮像装置は表示装置と独立してその周辺に配置されており、このため、表示装置の画面を目視している人物は、例えば、斜め方向から撮影されることになる。従って、表示装置に映し出された相手側の顔は視線が正面からずれて別の方向を向いてしまう。この結果、相互の会話がぎこちない状態となるばかりでなく、面と向かって会話する場合と比較して違和感がある。
【０００４】
さらに、撮像装置と表示装置とが別体であるので不可避的に製造コストが増大し、個別の装置として取り扱わなければならないので、システム構築が煩雑になる。
【０００５】
このような状況に対処するため、複数の表示画素の間に遮光部材を配置して、表示装置の背部に撮像装置を配置するようにしたものがある（特許文献１参照）。ここでは、遮光部材には撮像装置に光を導くための開口部が形成され、撮像装置は開口部に対応した位置に結像光学系を有している。
【０００６】
特許文献１に記載の表示装置では、表示装置を目視する人物を正面から撮像することができ、これによって、利用者は表示装置に表示される相手と視線を一致させること、つまり、アイコンタクトをとることが可能となる。その結果、テレビ会議などにおいては、相手を正面から目視して、つまり、相手と目を合わせて対話することができ、コミュニケーションが向上する。
【０００７】
なお、特許文献１においては、アイコンタクト状態とするため、利用者などが撮像装置を見るように、撮像装置が配置された位置において、表示装置に相手の顔を重畳して表示する。
【０００８】
さらに、相手側の右目の位置がカメラの取付位置と一致するように、相手側の画像の座標変換を行い、相手側の顔の傾きに応じてディスプレイを回転させるようにしたテレビ装置がある（特許文献２参照）。
【０００９】
特許文献２に記載のテレビ装置では、相手側の顔とカメラとが重畳するように表示制御するので、相手側が動くか又は顔を傾けた場合でも、相手側の顔は画面中央にほぼ正立した状態で表示される。この結果、対話者間におけるアイコンタクト状態を保持することができる。
【００１０】
加えて、ディスプレイの表示面に透明タッチパネルを配置して、ディスプレイに機器操作に係るアイコンを表示することが多い。このような表示装置では、利用者によってアイコンがタッチ操作されると、透明タッチパネルによってその操作が感知される。そして、表示装置に備えられたＣＰＵはいずれのアイコンがタッチ操作されたかを検知する。これにより、表示装置に備えられる操作用スイッチ類を削減することができる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００５−１７６１５１号公報
【特許文献２】特開２００７−１６６５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところが、特許文献２に記載のテレビ装置（表示装置）において、ディスプレイに透明タッチパネルを配置すると、次のような問題点がある。
【００１３】
図１４は、従来の表示装置の一例を説明するための図である。
【００１４】
図１４において、表示装置１０００に備えられた表示パネル２０００の表面には透明タッチパネル３０００が配置されている。利用者が表示パネル２０００に表示されたアイコンをタッチ操作した際、指４０００が撮像装置１１００の撮影範囲１１１０に入った場合、指４０００は相手側の表示装置に表示される。この際、指４０００が相手側に向かってくるように表示されると、相手側は不快感を抱いてしまうことになる。
【００１５】
従って、本発明の目的は、相手側がタッチ操作による不快感を抱くことのない表示装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１６】
上記の目的を達成するため、本発明による表示装置は、操作用のアイコンおよび画像が表示され光を透過可能な表示部と、前記表示部の背面側に配置され撮像を行う撮像手段とを有する表示装置であって、複数のモードから１つのモードを設定モードとして設定する設定手段と、前記設定手段によって前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記表示部に表示する制御手段と、を有することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、利用者が画像を見つつ相手側と対話を行う際、相手側がタッチ操作による不快感を抱くことがない。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態による表示装置の一例を説明するための図である。
【図２】図１に示す表示装置の構成についてその一例を示すブロック図である。
【図３】図１（ａ）に示す状態と異なる状態で表示装置を正面側から示す図である。
【図４Ａ】図１に示す表示装置の動作を説明するためのフローチャートである（その１）。
【図４Ｂ】図１に示す表示装置の動作を説明するためのフローチャートである（その２）。
【図５】図１に示す表示装置に表示されるアイコンの一例を説明するための図である。
【図６】図１に示す表示装置における相手側利用者の視線検出を説明するための図である。
【図７】図１に示す表示装置において両者アイコンタクト状態ではない場合を示す図である。
【図８】図１に示す表示装置に表示される顔画像の表示位置の制御を説明するための図である。
【図９】図１に示す表示装置で行われる顔の追尾を説明するための図である。
【図１０】図１に示す表示装置と通信を行う表示装置を説明するための図である。
【図１１】図１に示す表示装置に表示されるアイコンの他の例を説明するための図である。
【図１２Ａ】図１に示す表示装置の動作の他の例を説明するためのフローチャートである（その１）。
【図１２Ｂ】図１に示す表示装置の動作の他の例を説明するためのフローチャートである（その２）。
【図１３】図１に示す表示装置による表示変更を説明するための図である。
【図１４】従来の表示装置の一例を説明するための図である。
【発明を実施するための形態】
【００１９】
以下に、本発明の実施の形態による表示装置の一例について図面を参照して説明する。
【００２０】
なお、この表示装置は撮像装置を備えており、双方向通信を用いたテレビ会議などに用いられる。また、ここでは、空間１において利用者βがテレビ会議を利用し、空間１と異なる空間２において利用者αがテレビ会議を利用するものとする。つまり、空間１に配置された表示装置と空間２に配置された表示装置とは通信回線によって接続されている。
【００２１】
図１は、本発明の実施の形態による表示装置の一例を説明するための図である。そして、図１（ａ）は表示装置を正面側から示す図であり、図１（ｂ）は表示装置を上面側から示す図である。また、図１（ｃ）は表示装置を側面側から示す図である。
【００２２】
図１（ａ）に示す表示装置１は、テレビ会議システムなどで用いられる表示装置であり、後述する撮像装置を備えている。そして、表示装置１は空間１において利用者βが使用し、表示装置１には空間２にいる利用者αの画像が表示される。また、図１（ｂ）においては、空間１において表示装置１を観察する利用者βと表示装置１との位置関係が示されている。
【００２３】
表示装置１は光を透過可能な表示パネル（表示部）２を備えており、表示パネル２の表面には透明タッチパネル３が配置されている。表示パネル２の背面側（図中＋ｚ方向）には、表示パネル２を目視する利用者βを撮影するための撮像装置（以下カメラと呼ぶ）１１が配設されている。このカメラ１１は、表示パネル２の画面中央より上方（図中＋ｙ方向）側に配設され、表示パネル２に備えられた表示画素部の一部を介して利用者βを撮影する。
【００２４】
なお、カメラ１１は撮影レンズ、撮像素子、および撮像素子駆動回路を備えている。また、以下の説明では、カメラ１１の撮影画角１２において表示パネル２および透明タッチパネル３を通過する領域を撮影光路とする。
【００２５】
前述の表示パネル２は、例えば、有機ＥＬで構成されており、カメラ１１の撮影光路に光を透過する。表示パネル２の周囲には、利用者βの音声を集音するマイク２１、２２、２３、および２４が配設されるとともに、利用者αの音声を出力するスピーカー３１および３２が配設されている。また、表示パネル２の上面には操作スイッチ４０が配設されている。
【００２６】
なお、空間２で用いられる表示装置も図１に示す表示装置１と同様の構成を有している。また、図示の透明タッチパネル３は、接触式のタッチパネルであるが、例えば、静電容量方式などの非接触式のタッチパネルであってもよい。
【００２７】
図２は、図１に示す表示装置の構成についてその一例を示すブロック図である。
【００２８】
前述のように、カメラ１１は、撮像素子１０および撮像素子駆動回路５１を備えている。システム制御回路５０は、撮像素子駆動回路５１を制御して撮像素子１０を駆動する。撮像素子駆動回路５１は撮像素子１０の出力である画像信号に所定の画像処理を施して画像データとしてシステム制御回路５０に送る。
【００２９】
システム制御回路５０は、表示処理回路５２によって表示パネル２に相手側の顔画像などの画像を表示する。音声処理回路５３はシステム制御回路５０の制御下でマイク２１〜２４で集音された音声を処理して音声データとしてシステム制御回路５０に送る。システム制御回路５０は、相手側から受信した音声データに応じて駆動回路５４を駆動してスピーカー３１および３２から音声を出力する。
【００３０】
図示のように、システム制御回路５０には、操作スイッチ４０、設定スイッチ４１、リモコン回路５５、送受信回路５６、演算回路５７、および記憶回路５８が接続されており、演算回路５７には視線検出回路５７ａが備えられている。
【００３１】
なお、リモコン回路５５は表示装置１をリモコン操作する際に用いられる回路であり、送受信回路５６は相手側と画像データおよび音声データを送受する際に用いられる回路である。また、設定スイッチ４１は、各種設定を行う際に用いられる。
【００３２】
図３は、図１（ａ）に示す状態と異なる状態で表示装置を正面側から示す図である。さらに、図４Ａおよび図４Ｂは、図１に示す表示装置の動作を説明するためのフローチャートである。
【００３３】
図５は、図１に示す表示装置に表示されるアイコンの一例を説明するための図であり、図５（ａ）は画像表示モードおよび音声通話モードの際に表示パネルに表示されるアイコンを示す図である。また、図５（ｂ）はテレビ電話モードの際に表示パネルに表示されるアイコンを示す図であり、図５（ｃ）は指などの映り込みを示す図である。そして、図６は、図１に示す表示装置における相手側利用者の視線検出を説明するための図である。
【００３４】
図１乃至図６を参照して、いま、空間１にいる利用者βがテレビ会議システムを構成する表示装置１に備えられた操作スイッチ４０を操作すると、表示装置１が起動する。表示装置１が起動すると、システム制御回路５０は、設定スイッチ４１の操作によって設定された動作モード（設定モード）を確認する（ステップＳ１０１）。そして、システム制御回路５０は、確認の結果に基づいて表示装置１がテレビ電話モードであるか否かを判定する（ステップＳ１０２）。
【００３５】
表示装置１がテレビ電話モードでないと（ステップＳ１０２において、ＮＯ）、システム制御回路５０は通常表示を行う（ステップＳ１４０）。ここで、テレビ電話モードでない場合は、画像表示モード又は音声通話モードであり、画像表示モードは、例えば、表示パネル２に記憶回路５８に記憶した画像を表示するモードである。また、音声通話モードは、相手側と音声通話を行うためのモードである。いずれのモードにおいても、表示パネル２に操作用アイコンなどが表示される。
【００３６】
図５（ａ）には、画像表示モード又は音声通話モードである場合に表示パネル２に表示される操作用アイコンなどが示されている。ここでは、表示パネル２には、現在時刻２０１、現在の天候２０２、通話用操作アイコン２０３、および連絡先確認用操作アイコン２０４が表示される。さらに、表示パネル２には、Ｅメール作成および確認を行うための操作アイコン２０５およびインターネットのアクセスを行うための操作アイコン２０６が表示される。そして、システム制御回路５０は、利用者βの操作に応じて画像表示又は音声通話を行い、画像表示又は音声通話が終了すると、表示装置動作を終了する。
【００３７】
表示装置１がテレビ電話モードであると（ステップＳ１０２において、ＹＥＳ）、システム制御回路５０はカメラ１１を撮影モードに設定し、表示処理回路５２によって表示パネル２に表示する各種表示および操作用アイコンを変更する（ステップＳ１０３）。
【００３８】
図５（ｂ）には、テレビ電話モードの際の表示例が示されており、範囲２１１は、透明タッチパネル３上におけるカメラ１１の撮影光路の範囲を示す。なお、図示の例では、相手側である利用者αの顔画像が表示されているが、ステップＳ１０３の段階では、未だ利用者αとの通信状態が設定されていないので、この段階では利用者αの顔画像は表示されない。つまり、後述するステップＳ１１２の段階で利用者αの顔画像が表示されるが、ここでは、説明の便宜上、利用者αの顔画像が示されている。
【００３９】
範囲２１１の外側には、カメラ１１の撮影画角を規定する枠２１２が表示される。この枠２１２は利用者βの指１４などがカメラ１１で得られた撮影画像に映り込み、利用者αが用いる表示装置に表示される範囲である。さらに、枠２１２内には注意喚起のためのメッセージ「この枠内は指が映り込みます」が表示される。つまり、利用者βに対して、指１４が撮影画角１２に入ると撮影画像に映り込み、利用者αに対して表示されることを注意するためのメッセージが表示される。なお、枠２１２内には現在時刻２０１および通話時間２０７が表示される。
【００４０】
また、枠２１２の外側には、テレビ電話モードに操作される操作アイコン２０４、２０５、および２０６が表示される。なお、操作アイコン２０４は、図５（ａ）に示す例と比べて異なる位置に表示される。図５（ｂ）に示す例では、操作アイコン２０４の操作による指１４の映り込みを防止するため、操作アイコン２０４の表示位置が枠２１２の外側に変更される。
【００４１】
このように、指１４などが映り込む範囲を示す枠２１２、注意喚起のメッセージ２１３を表示パネル２に表示するとともに、テレビ電話モードにおいて操作される操作アイコンを枠２１２の外側に表示する。これによって、指１４などが撮影画像に映り込み、利用者αに対して表示される可能性を低減することができ、利用者αが不快感を抱くことを抑制できる。
【００４２】
図５（ｃ）に示すように、例えば、利用者βの指１４が位置１４ｂにある場合、指１４は範囲２１１の外にあるので、透明タッチパネル３を操作しても、指１４が撮影画像に映り込むことがない。操作アイコン２０４〜２０６が枠２１２の下側に配列されていることを考慮すると、枠２１２を画面の上側領域に設定すれば、タッチパネル３を操作する際にカメラ１１の撮影画角１２に指１４が入ることが少なくなる。
【００４３】
続いて、システム制御回路５０は、送受信回路５６を介して空間２に配置された表示装置との通信状態を設定する（ステップＳ１０４）。そして、システム制御回路５０は空間２に配置された表示装置（システム）を確認する（ステップＳ１０５）。ここでは、システム制御回路５０は、表示装置に備えられたカメラの数、カメラの焦点距離、カメラの位置情報、および送信される信号の形態などをシステム情報として得る。なお、送信される信号の形態とは、例えば、送信される画像信号のフレーム周期である。
【００４４】
次に、システム制御回路５０は、空間１に配置された表示装置１の利用者情報を初期設定する（ステップＳ１０６）。なお、利用者情報には、利用者の人数、会話を行っている話者の目の位置、および話者以外の利用者の目の位置を示す情報が含まれており、記憶回路５８に記憶される。
【００４５】
続いて、システム制御回路５０はカメラ１１によって、空間１、つまり、利用者βを撮影する（ステップＳ１０７）。ここでは、システム制御回路５０は撮像素子駆動回路５１を制御して撮像素子１０を駆動、つまり、読み出し制御する。これによって、撮影レンズ（図示せず）を介して撮像素子１０に結像した光学像に応じた画像信号が撮像素子１０から読み出される。そして、システム制御回路５０は、音声処理回路５３を制御してマイク２１、２２、２３および２４によって集音された音声を空間２に送信可能な所定の信号形態の音声信号に処理する。
【００４６】
次に、システム制御回路５０は送受信回路５６によって画像信号、音声信号、および記憶回路５８に記憶された利用者情報を、空間２に配置された表示装置に送信する（ステップＳ１０８）。この際、システム制御回路５０は、カメラ１１で得られた画像信号を順次、つまり、連続的に送信する。そして、システム制御回路５０は、撮影によって得られた画像を用いて、演算回路５７によって利用者βの顔領域を認識する（ステップＳ１０９）。そして、システム制御回路５０は、演算回路５７によって当該顔領域における目の位置を検出し、演算回路５７に備えられた視線検出回路５７ａによって利用者βの視線を検出する（ステップＳ１１０）。
【００４７】
視線を検出する際には、例えば、図６に示すように、視線検出回路５７ａは、利用者βの目１５の領域を、上下左右方向にそれぞれ３分割して９つの領域（領域ａ〜ｉ）を得る。そして、視線検出回路５７ａは利用者βの目１５における瞳１６の領域が、領域ａ〜ｉのいずれかに存在するかを判別して、水平および垂直方向における視線方向を検出する。なお、利用者の顔領域を認識する手法については、例えば、特開２０００−４８１８４号公報に記載されているので、ここでは説明を省略する。
【００４８】
続いて、システム制御回路５０は、カメラ１１の撮影光軸に対する利用者βの顔の中心位置の変位量Ｉｘβを求めて、当該変位量Ｉｘβを利用者情報として記憶回路５８に記憶する（ステップＳ１１１）。さらに、ここでは、システム制御回路５０は演算回路５７によって利用者βの顔画像における目の間隔に基づいて、利用者βと表示装置１との間隔である距離Ｚβを求める（図１（ｂ）参照）。そして、システム制御回路５０は当該距離Ｚβを利用者情報として記憶回路５８に記憶する。なお、成人の目の間隔はおおよそ６５ｍｍであり、カメラ１１の撮影倍率を用いて距離Ｚβを算出することができる。
【００４９】
次に、システム制御回路５０は、送受信回路５６によってテレビ会議システムの相手側の表示装置（空間２）から送信された画像信号、音声信号、および利用者情報を受信する（ステップＳ１１２）。ここでは、空間２における利用者情報、つまり、空間２の利用者αの顔の位置Ｉｘαが空間１に配置された表示装置の表示パネル２の画面サイズを考慮して記憶回路５８に記憶される。
【００５０】
システム制御回路５０は、空間２における利用者情報を用いて利用者αの目の位置に基づいて顔の中心位置を認識する。そして、システム制御回路５０は利用者αの顔の中心位置と表示画面の中心との距離Ｉｘαを確認する（ステップＳ１１３）。さらに、ここでは、システム制御回路５０は、ステップＳ１１０の処理と同様に、視線検出回路５７ａによって利用者αの視線方向を検出する。
【００５１】
なお、図１（ａ）には、空間２から送られた画像を表示装置１にそのまま表示した例が示されている。図１（ａ）においては、利用者αの顔の中心位置と表示画面の中心との距離Ｉｘαは、表示パネル２に表示された利用者αの顔の表示位置Ｄｘαと一致している。
【００５２】
続いて、システム制御回路５０は利用者βの視線方向と利用者αの視線方向（つまり、検出結果）とに基づいて、利用者αおよび利用者βの視線が一致している両者アイコンタクト状態であるか否かを判定して判定結果を得る（ステップＳ１１４）。判定結果が両者アイコンタクト状態であると（ステップＳ１１４において、ＹＥＳ）、システム制御回路５０は相手側の利用者αが顔の位置を動かしても違和感を抱くことなく視線合致の効果が得られるように利用者αの画像を更新する。そして、システム制御回路５０は利用者αの目の位置と空間２に配置された表示装置のシステム情報とに基づいて、受信した画像信号の特性を判定する（ステップＳ１１５）。ここでは、システム制御回路５０は演算回路５７によって利用者αの顔の中心位置Ｉｘαと受信画像のフレーム周期Δｔとに基づいて利用者αの顔の位置の時間変位量ΔＩｘαを求める。
【００５３】
いま、直前の利用者αの顔の位置をＩｘα０、今回の利用者αの顔の位置をＩｘα１とすると、利用者αの顔の位置の時間変位量ΔＩｘαは、次の式（１）で表すことができる。
【００５４】
ΔＩｘα＝（Ｉｘα１−Ｉｘα０）／Δｔ      （１）
続いて、システム制御回路５０は、記憶回路５８に記憶された利用者βの位置情報Ｚβを確認する（ステップＳ１１６）。そして、システム制御回路５０は、時間変位量ΔＩｘαに基づいて利用者αの顔の位置が変化しているか否かを判定する（ステップＳ１１７）。
【００５５】
利用者αの顔の位置が変化していると（ステップＳ１１７において、ＹＥＳ）、システム制御回路５０は演算回路５７によって表示パネル２における利用者αの顔の表示位置Ｄｘαを求める（ステップＳ１１８）。ここでは、利用者αの顔の位置が動いた場合でも、利用者間の視線が合致可能であり、かつ顔および背景が滑らかに動いて違和感のないように表示制御が行われる。よって、システム制御回路５０は利用者αの顔の位置の時間変位量ΔＩｘαに応じて、利用者αの表示位置Ｄｘαを決定する。
【００５６】
図１（ｂ）には、利用者αの画像を表示装置１にそのまま表示した際における利用者βの注視位置とカメラ１１とのなす視線振れ角θβが示されている。ここでは、利用者βは利用者αの顔の表示位置Ｄｘαを注視するので、視線振れ角θβは、次の式（２）の関係を満たす。
【００５７】
ｔａｎ（θβ）≒Ｄｘα／Ｚβ      （２）
さらに、利用者βの注視位置とカメラ１１とのなす角度θβは、視線が合致していると認識可能な角度の限界（限界角度）θβｔｈに入るように制御される。ここでは、限界角度θβｔｈは２°に設定される。
【００５８】
ここで、直前の利用者αの顔の表示パネル２における表示位置をＤｘα０とし、利用者αの顔の表示位置Ｄｘα０とカメラ１１とのなす角度をθβ０とする。さらに、今回の受信画像における利用者αの顔の表示位置Ｄｘα１とカメラ１１とのなす角度θβ１との時間変化量をΔθβとすると、視線振れ角θβ１は、次の式（３）を満たす。
【００５９】
θβ１＝θβ０＋Δθβ＜θβｔｈ      （３）
一方、判定結果が両者アイコンタクト状態でないと（ステップＳ１１４において、ＮＯ）、システム制御回路５０は演算回路５７による利用者αの顔の表示位置Ｄｘαの算出を停止する（ステップＳ１３０）。
【００６０】
図７は、図１に示す表示装置において両者アイコンタクト状態ではない場合を示す図である。
【００６１】
図７においては、利用者βは表示パネル２に表示された利用者αとアイコンタクトがとれていない。ここでは、利用者αは利用者βの顔の方向に視線を向けているものの、利用者βは利用者αの顔よりも下方を見ている状態である。
【００６２】
両者アイコンタクト状態でない場合において、図７に示すように、利用者βが利用者αの顔よりも下方に視線を向けている状態である状態では、利用者β利用者αの顔以外のものを注視していることになる。
【００６３】
このような場合には、後述するように、システム制御回路５０は表示パネル２の表示状態に変化がないように制御を行う。つまり、システム制御回路５０は表示パネル２に表示された画像の更新をしないと決定する。これによって、利用者βが注視しているものが利用者αの顔でない場合であっても、利用者βが違和感を抱かないようにすることができる。
【００６４】
図８は、図１に示す表示装置に表示される顔画像の表示位置の制御を説明するための図である。そして、図８（ａ）は直前の利用者αの顔の表示位置Ｄｘα０とカメラ１１とのなす角度θβ０が零の場合の制御を示す図である。また、図８（ｂ）は直前の利用者αの顔がカメラ１１の光軸上にない場合の制御を示す図である。
【００６５】
図８（ａ）においては、直前の利用者αの顔の表示位置Ｄｘα０とカメラ１１の光軸とのなす角度θβ０が零、つまり、直前の受信画像においてカメラ１１の光軸上に利用者αの顔が存在する場合の制御が示されている。図示のように、利用者αの顔の位置の時間変位量ΔＩｘαが所定値以下の場合（例えば、制御量である時間変化量Δθβ≦１°である場合）、時間変位量ΔＩｘαに対して線形となるように制御量Δθβを設定する（図８（ａ）において破線で示す）。
【００６６】
また、利用者αの顔の位置の時間変位量ΔＩｘαが大きい場合には、受信画像をそのまま表示せず、表示位置が大きく変化しないように補正して表示を行う（図８（ａ）に実線で示す）。この際、制御量Δθβは、視線が合致していると認識可能な限界角度θβｔｈに入るように設定される。
【００６７】
このように、利用者αの顔の位置の時間変位量ΔＩｘαに応じて、表示装置１に表示される利用者αの顔の位置とカメラ１１とのなす角度との制御量Δθβが決定される。この際、制御量Δθβは表示の際の変化量が大きくならないように所定値以下に決定される。
【００６８】
上述のようにして、制御量Δθβを決定すると、システム制御回路５０は、演算回路５７によって上述の式（２）および式（３）を用いて利用者αの表示パネル２における顔の表示位置Ｄｘα１を求める。そして、システム制御回路５０は表示位置Ｄｘα１に応じて顔の表示位置を決定する（ステップＳ１１９）。
【００６９】
なお、利用者αの顔の位置が変化していないと（ステップＳ１１７において、ＮＯ）、システム制御回路５０はステップＳ１１９の処理に進み、直前の受信画像における顔の位置と同様の位置に顔の表示位置を決定する。
【００７０】
続いて、システム制御回路５０は表示処理回路５２を制御して表示パネル２に利用者αの画像を表示する（ステップＳ１２０）。図３においては、表示パネル２に表示された利用者αの画像が示されている。ここでは、あたかもカメラ１１を小さくパンニングしたように顔および背景が滑らかな動きで表示されるので、利用者βは利用者αと視線が合致してコミュニケーションが良好となり、かつ表示の変化に関して違和感を抱くことがない。
【００７１】
次に、システム制御回路５０は、音声処理回路５３によってマイク２１、２２、２３、および２４によって検出された音声信号に基づいて、空間１において会話を行っている話者の位置を検出する（ステップＳ１２１）。
【００７２】
なお、複数の音声信号から話者を検出する手法として、例えば、遅延和方式がある。そして、システム制御回路５０は、記憶回路５８に格納された利用者情報である利用者の目の位置を話者の目の位置として更新する（ステップＳ１２２）。
【００７３】
続いて、システム制御回路５０は操作スイッチ１４０の状態を確認して、通信が終了したか否かを判定する（ステップＳ１２３）。通信が終了していないと、つまり、テレビ会議システムが使用中であると（ステップＳ１２３において、ＮＯ）、システム制御回路５０はステップＳ１０７の処理に戻る。
【００７４】
一方、通信が終了すると（ステップＳ１２３において、ＹＥＳ）、システム制御回路５０は送受信を終了する（ステップＳ１２４）。そして、システム制御回路５０はカメラ１１による利用者の撮影を終了して、表示パネル２の表示を図５（ａ）に示す状態に戻す（ステップＳ１２５）。その後、システム制御回路５０は、表示装置の動作、ここでは、テレビ電話モードを終了する。
【００７５】
前述のように、判定結果が両者アイコンタクト状態でないと（ステップＳ１１４において、ＮＯ）、システム制御回路５０はステップＳ１３０の処理を行う。そして、システム制御回路５０は、表示処理回路５２を制御して直前の利用者αの顔の表示位置Ｄｘαを保持する（ステップＳ１３１）。その後、システム制御回路５０は、ステップＳ１２０の処理に進み、上記の表示位置Ｄｘαに利用者αの画像を表示する。
【００７６】
なお、ステップＳ１１４の処理において、両者アイコンタクト状態でないと判定した直前の状態が両者アイコンタクト状態であったとする。この場合、システム制御回路５０は両者アイコンタクト状態であった際に表示パネル２に表示された利用者αの顔の表示位置Ｄｘαで表示パネル２に利用者αの表示を継続する。
【００７７】
一方、Ｓ１１４の処理において、両者アイコンタクト状態でないと判定した直前の状態も両者アイコンタクト状態でなかったとする。この場合、システム制御回路５０は直前に表示パネル２に表示された利用者αの顔の位置Ｄｘαで表示パネル２に利用者αの表示を継続する。
【００７８】
これによって、表示パネル２の表示状態は変化しないので、利用者βは視線を向けている方向（図７に示す例では、利用者αの顔よりも下方）に表示されているものは画面において動かない。よって、利用者βが注視しているものが利用者αの顔でない場合であっても、利用者βが違和感を抱くことはない。
【００７９】
前述のように、ステップＳ１３１の処理の後、ステップＳ１２０の処理に進む。そして、利用者βが利用者αとの会話を継続して、図７に示す両者アイコンタクト状態でない場合から利用者βが利用者αの顔の方向に視線を向けたとする。この場合には、ステップＳ１１４の処理において、システム制御回路５０は両者アイコンタクト状態になったと判定する。これよって、対話を行う相手側利用者が顔の位置を動かした場合であっても、違和感を抱くことなく視線合致の効果を得ることができる。
【００８０】
ここで、図８（ｂ）を参照すると、図示の例では、直前の受信画像において利用者αの顔がカメラ１１の撮影光軸上にない。ここでは、直前の利用者αの顔の表示位置Ｄｘα０とカメラ１１の光軸とのなす角度θβ０が所定値を超える場合（例えば、１°を超える場合）における顔画像の表示位置制御が示されている。
【００８１】
直前の利用者αの顔の表示位置Ｄｘα０とカメラ１１の光軸とのなす角度θβ０が所定値を超える場合には、利用者αの顔の位置の時間変位量ΔＩｘαが小さい場合でも受信画像をそのまま表示しない。そして、表示位置が大きく変化しないように補正して表示を行う（図８（ｂ）に実線で示す）。この際、制御量Δθβは、視線が合致していると認識可能な角度限界θβｔｈに入るように設定される。なお、図８（ｂ）において、破線は時間変位量ΔＩｘαと制御量Δθβとが線形関係の状態を示す。
【００８２】
上述の例では、受信画像から利用者αの顔の位置Ｉｘαの情報を得て、表示パネル２における利用者αの顔の表示位置Ｄｘαを決定するようにした。一方、顔の動きを予測するようにすれば、遅延することなく画像を滑らかに表示することが可能となる。
【００８３】
図９は、図１に示す表示装置で行われる顔の追尾を説明するための図である。
【００８４】
システム制御回路５０の制御下で、演算回路５７は顔の位置の時間的変化（図中実線で示す範囲）に基づいて将来的な顔の位置を予測（図中点線で示す範囲）して顔画像の表示位置を決定する。これによって、遅延することなく顔画像を滑らかに表示することが可能となる。
【００８５】
図１０は、図１に示す表示装置と通信を行う表示装置を説明するための図である。そして、図１０（ａ）はその正面図であり、図１０（ｂ）は上側から見た図である。
【００８６】
図１０（ａ）に示すように、図示の表示装置３０１は表示装置１と同様の構成を有している。つまり、表示装置３０１は表示パネル３０２、透明タッチパネル３０３、カメラ３１１、マイク３２１、３２２、３２３、および３２４、スピーカー３３１および３３２、および操作部３４０を有している。そして、表示装置３０１には空間１の利用者βの顔が表示される。なお、図１０（ｂ）には、利用者αと表示装置３０１との位置関係が示されている。
【００８７】
図１０（ａ）に示すように、表示パネル３０２には非表示領域３０４が設定されている。図１０（ｂ）において、利用者αはカメラ３１１の光軸から離れた位置Ｘαから表示パネル３０２を注視しており、利用者αの観察位置をカメラ３１１の光軸寄りに誘導するため表示パネル３０２に非表示領域３０４が設定される。
【００８８】
表示パネル３０２に非表示領域３０４を設定するか否かについて次のようにして、システム制御回路５０が判定する。
【００８９】
システム制御回路５０はカメラ３１１で利用者αを撮影する。システム制御回路５０の制御下で、演算回路５７はカメラ３１１で得られた画像から利用者αの顔を認識する。この際、演算回路５７は利用者αの顔領域において目の位置を検出し、カメラ３１１の光軸に対する利用者αの顔の中心位置の変位量Ｉｘαを求める。なお、カメラ３１１の光軸に対する利用者αの顔の中心位置の変位量Ｘαは、カメラ３１１の撮影倍率に応じて求められる。
【００９０】
上記の変位量Ｘαが所定値（所定量）を超えていると、システム制御回路５０は、演算回路５７によって利用者αをカメラ３１１の光軸寄りに誘導するため、表示パネル３０２に非表示領域３０４を設定する。つまり、システム制御回路５０は、顔の中心位置を検出して、当該中心位置とカメラ３１１の光軸とのずれが所定量を超えると、中央位置と光軸との位置関係に応じて非表示領域３０４を設定する。
【００９１】
非表示領域３０４が設定されると、システム制御回路５０は表示処理回路５２を制御して表示パネル３０２に利用者βの顔画像を非表示領域３０４とともに表示する。
【００９２】
上述の例では、表示装置１を目視する利用者βの観察距離Ｚβを、利用者βの目の間隔に基づいて算出した。一方、表示パネル２の大きさによって概ね観察距離は決定されるので、表示パネル２の大きさに基づいて観察距離Ｚβを設定するようにしてもよい。
【００９３】
図１１は、図１に示す表示装置に表示されるアイコンの一例を説明するための図であり、図１１（ａ）は画像表示モードおよび音声通話モードの際に表示パネルに表示されるアイコンを示す図である。また、図１１（ｂ）はテレビ電話モードの際に表示パネルに表示されるアイコンを示す図である。なお、図１１において、図５に示す構成要素と同一の構成要素については同一の参照番号を付して説明を省略する。
【００９４】
図１１（ａ）および図１１（ｂ）には、カーソルを有する操作アイコン２２０が画面に表示されている。図１１（ａ）においては、操作アイコン２２０は画面において右側に配置され、その操作方向は上下方向（ｙ軸方向）に延びている。一方、図１１（ｂ）においては、操作アイコン２２０は画面において下側に配置され、その操作方向は左右方向（ｘ軸方向）に延びている。これによって、テレビモードにおいては、カーソルを操作する際に、指が撮影画角１２に入り込むことを防止することができる。
【００９５】
さらには、テレビ電話モードの際には、注意喚起のメッセージ２１３を表示するようにしたが、後述するように、利用者βが利用者αとのアイコンタクト状態を止めた際に表示パネル２に注意喚起のメッセージ２１３を表示するようにしてもよい。また、操作アイコンを操作する利用者βが利用者αとのアイコンタクト状態を止めた際に操作アイコン２０２の操作方向を変更するようにしてもよい。
【００９６】
図１２Ａおよび図１２Ｂは、図１に示す表示装置の動作の他の例を説明するためのフローチャートである。なお、図１２Ａおよび図１２Ｂにおいて、図４Ａおよび図４Ｂに示すステップと同一のステップについては同一の参照符号を付して説明を省略する。
【００９７】
表示装置１がテレビ電話モードであると（ステップＳ１０２において、ＹＥＳ）、システム制御回路５０はカメラ１１を撮影モードに設定し、表示処理回路５２によって表示パネル２に表示する各種表示および操作用アイコンを変更する（ステップＳ２０３）。その後、システム制御回路５０はステップＳ１０４の処理に進む。
【００９８】
図１３は、図１に示す表示装置による表示変更を説明するための図である。そして、図１３（ａ）は表示変更前の画面を示す図であり、図１３（ｂ）は表示変更後の画面を示す図である。また、図１３（ｃ）は画面に表示された注意喚起マークを示す図である。なお、図１３において、図１１に示す構成要素と同一の構成要素については同一の参照番号付す。
【００９９】
図１３（ａ）には、ステップＳ２０３の処理で変更される前に表示パネル２に表示された各種表示および操作用アイコンが示されている。そして、図１３（ｂ）には、ステップＳ２０３の処理で変更された後の表示パネル２に表示される各種表示および操作用アイコンが示されている。
【０１００】
表示変更後において、つまり、テレビ電話モードにおける画面表示では、枠２１２および注意喚起のメッセージ２１３は表示されず、ここでは、画面の右側に上下方向に延びる操作アイコン２２０が表示される。
【０１０１】
再び図１２Ａおよび図１２Ｂを参照して、ステップＳ１３０の処理の後、システム制御回路５０は、視線検出回路５７ａを用いて利用者βが利用者αとのアイコンタクト状態を止めたか否かを判定する（ステップＳ２３２）。アイコンタクト状態を止めていないと（ステップＳ２３２において、ＮＯ）、システム制御回路５０はステップＳ１２０の処理に進む。
【０１０２】
利用者βがアイコンタクト状態を止めた場合には、表示装置１に備えられた操作スイッチ４０、設定スイッチ４１、又は表示パネル２に表示された各種操作アイコンを操作する可能性が高い。よって、操作の際に利用者βの指１４が撮影画像に映り込み利用者αに対して表示される可能性が高い。
【０１０３】
従って、アイコンタクト状態を止めると（ステップＳ２３２において、ＹＥＳ）、システム制御回路５０は、表示パネル２の画面表示を変更する（ステップＳ２３３）。そして、システム制御回路５０はステップＳ１２０の処理に進む。
【０１０４】
ステップＳ２３３の処理では、例えば、図１３（ｃ）に示す画面が表示パネル２に表示される。ここでは、枠２１２および注意喚起のマーク２２３が表示されるとともに、操作アイコン２２０の操作方向が左右方向に変更される。
【０１０５】
これによって、利用者βの指１４が撮影画像に映り込んで、利用者αに対して表示される可能性を低減して、利用者αが不快感を抱くことを抑制することができる。
【０１０６】
なお、上述の実施の形態では、テレビ電話モードを選択した際の表示制御について説明したが、テレビ電話モードには限定されない。例えば、利用者βの画像を表示パネル２に表示する自分撮りモードにおいても、利用者βの指１４が撮影画像に映り込むことを防止するようにしてもよい。
【０１０７】
このように、本発明の実施の形態では、タッチ操作が行われる場面においては、表示パネルに表示される画面を変更するようにしたので、通話の相手側がタッチ操作による不快感を抱くことを防止することができる。
【０１０８】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１０９】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を表示装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを表示装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１１０】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１１】
１  表示装置
２  表示パネル
３  透明タッチパネル
１０  撮像素子
１１  カメラ
２１〜２４  マイク
３１，３２  スピーカー
５０  システム制御回路
５７  演算回路
５７ａ  視線検出回路
【図１】
2018133723.tif 000003
【図２】
2018133723.tif 000004
【図３】
2018133723.tif 000005
【図４Ａ】
2018133723.tif 000006
【図４Ｂ】
2018133723.tif 000007
【図５】
2018133723.tif 000008
【図６】
2018133723.tif 000009
【図７】
2018133723.tif 000010
【図８】
2018133723.tif 000011
【図９】
2018133723.tif 000012
【図１０】
2018133723.tif 000013
【図１１】
2018133723.tif 000014
【図１２Ａ】
2018133723.tif 000015
【図１２Ｂ】
2018133723.tif 000016
【図１３】
2018133723.tif 000017
【図１４】
2018133723.tif 000018