(57)【要約】【課題】ウィンドウに表示された内容の関係性に応じてウィンドウの表示態様を変更できる表示制御装置、表示制御方法、表示制御プログラムを提供する。【解決手段】端末装置のディスプレイ２８には複数のウィンドウが表示される。使用者があるウィンドウを長く注視した場合、そのウィンドウを拡大表示させる。さらに拡大させるウィンドウと、それ以外のウィンドウとの関係性を使用者の視線移動に基づいて作成した関係性テーブルを参照し、関係性の高いウィンドウについても拡大表示させる。【選択図】図３
2010237884.tif 000002
【特許請求の範囲】
【請求項１】
表示画面に画像を表示させる表示制御装置であって、
使用者を撮影する撮影手段によって撮影された撮影画像から前記使用者の視線方向を検出する視線方向検出手段と、
使用者と前記表示画面との位置関係の情報である位置関係情報を記憶する位置関係情報記憶手段と、
当該位置関係情報記憶手段に記憶された前記位置関係情報に基づき、前記視線方向検出手段によって検出された視線方向の先にある前記表示画面上における視線位置を特定する視線位置特定手段と、
当該視線位置特定手段によって特定される前記視線位置に基づき、前記表示画面に表示されている複数のウィンドウの中で、前記使用者が現在見ているウィンドウである視線先対象ウィンドウを特定する視線先対象ウィンドウ特定手段と、
当該視線先対象ウィンドウ特定手段によって特定される前記視線先対象ウィンドウが変更された場合、変更前の前記視線先対象ウィンドウと変更後の視線先対象ウィンドウとに基づき、前記複数のウィンドウの相互間の関係性である関係情報を記憶する関係情報記憶手段に記憶された前記関係情報を更新する第１関係情報更新手段と、
前記表示画面上において、前記視線先対象ウィンドウ特定手段によって特定された前記視線先対象ウィンドウへの視線の滞在時間を記憶する視線滞在時間記憶手段と、
当該視線滞在記憶手段に記憶された前記滞在時間に基づき、現時点から過去に遡って少なくとも第１所定期間内において所定割合以上視線位置が滞在していた視線先対象ウィンドウを強調表示させると共に、前記関係情報記憶手段に記憶された前記関係情報に基づき、前記視線先対象ウィンドウに関係性のある関係ウィンドウを併せて強調表示させる表示制御手段と
を備えたことを特徴とする表示制御装置。
【請求項２】
前記関係情報は、
現時点から過去に遡って少なくとも第２所定期間内において、前記視線位置が前記表示画面上に表示された一のウィンドウから他のウィンドウに移動したときの各ウィンドウにおける視線位置の滞在時間の相対的な割合である割合情報であって、
前記表示制御手段は、
前記割合情報に基づき、前記視線位置が前記視線先対象ウィンドウから他のウィンドウに移動したときの各ウィンドウにおける視線位置の滞在時間の相対的な割合に従って、前記関係ウィンドウの表示態様を相対的に調整する表示態様調整手段を備え、
当該表示態様調整手段によって調整された前記表示態様に従って、前記関係ウィンドウを強調表示させることを特徴とする請求項１に記載の表示制御装置。
【請求項３】
通信回線を介して他の表示制御装置に接続され、
前記表示画面には、前記他の表示制御装置との間で同一画面を共有する画面として前記ウィンドウが表示され、
前記関係情報記憶手段に記憶された前記関係情報を、他の表示制御装置に送信する関係情報送信手段と、
前記他の表示制御装置から送信された前記関係情報を受信する関係情報受信手段と、
当該関係情報受信手段によって受信された前記関係情報を、前記関係情報記憶手段に記憶された前記関係情報に更新する第２関係情報更新手段と
を備えたことを特徴とする請求項１又は２に記載の表示制御装置。
【請求項４】
前記他の表示制御装置に対して前記関係情報を要求する要求信号を送信する要求信号送信手段と、
前記他の表示制御装置から送信された前記要求信号を受信する要求信号受信手段と
を備え、
前記関係情報送信手段は、
前記要求信号受信手段によって受信された前記要求信号を、前記要求信号を送信した前記表示制御装置に対して、前記関係情報記憶手段に記憶された前記関係情報を送信することを特徴とする請求項３に記載の表示制御装置。
【請求項５】
前記視線位置情報が前記第１関係情報更新手段によって更新された回数が所定回数以上であるか否かを判断する更新回数判断手段を備え、
前記表示制御手段は、
前記更新回数判断手段によって更新された回数が前記所定回数以上であると判断された場合に、前記視線先対象ウィンドウ特定手段によって特定された前記視線先対象ウィンドウを強調表示させると共に、前記関係情報記憶手段に記憶された前記関係情報に基づき、前記視線先対象ウィンドウに関係性のある関係ウィンドウを併せて強調表示させることを特徴とする請求項１乃至４の何れかに記載の表示制御装置。
【請求項６】
前記表示態様は、前記ウィンドウの表示サイズであって、
前記表示制御手段は、
前記表示画面上における前記視線対象ウィンドウと、前記関係ウィンドウの前記表示サイズを拡大することを特徴とする請求項２乃至５の何れかに記載の表示制御装置。
【請求項７】
前記表示態様は、前記ウィンドウのコントラストであって、
前記表示制御手段は、
前記表示画面における前記視線先対象ウィンドウと、前記関係ウィンドウの前記コントラストを他のウィンドウより高くすることを特徴とする請求項２乃至５の何れかに記載の表示制御装置。
【請求項８】
表示画面に画像を表示させる表示制御装置の表示制御方法であって、
使用者を撮影する撮影手段によって撮影された撮影画像から前記使用者の視線方向を検出する視線方向検出ステップと、
使用者と前記表示画面との位置関係の情報である位置関係情報を記憶する位置関係情報記憶手段に記憶された前記位置関係情報に基づき、前記視線方向検出ステップにおいて検出された視線方向の先にある前記表示画面上における視線位置を特定する視線位置特定ステップと、
当該視線位置特定ステップにおいて特定される前記視線位置に基づき、前記表示画面に表示されている複数のウィンドウの中で、前記使用者が現在見ているウィンドウである視線先対象ウィンドウを特定する視線先対象ウィンドウ特定ステップと、
当該視線先対象ウィンドウ特定ステップにおいて特定される前記視線先対象ウィンドウが変更された場合、変更前の前記視線先対象ウィンドウと変更後の視線先対象ウィンドウ情報に基づき、前記複数のウィンドウの相互間の関係性である関係情報を記憶する関係情報記憶手段に記憶された前記関係情報を更新する関係情報更新ステップと、
前記表示画面上において、前記視線先対象ウィンドウ特定ステップにおいて特定された前記視線先対象ウィンドウへの視線の滞在時間を視線滞在時間記憶手段に記憶する視線滞在時間記憶ステップと、
当該視線滞在記憶ステップにおいて記憶された前記滞在時間に基づき、現時点から過去に遡って少なくとも所定期間内において所定割合以上視線位置が滞在していた視線先対象ウィンドウを強調表示させると共に、前記関係情報記憶手段に記憶された前記関係情報に基づき、前記視線先対象ウィンドウに関係性のある関係ウィンドウを併せて強調表示させる表示制御ステップと
を備えたことを特徴とする表示制御方法。
【請求項９】
請求項１乃至７の何れかに記載の表示制御装置の各種処理手段としてコンピュータを機能させることを特徴とする表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、他拠点の端末との間で、画像と音声を双方向に送受信できる表示制御装置、当該表示制御装置の表示制御方法、表示制御プログラムに関する。
【背景技術】
【０００２】
従来、複数の端末をネットワークを介して接続し、画像と音声を双方向に送受信することによって、遠隔の地にある者同士の会議を実現するテレビ会議システムが知られている。このシステムでは、共通のドキュメント画像を複数の端末の表示装置に表示させることができる。例えば、表示画面に表示された複数の共有情報において使用者の注目度を検出し、それを共有情報にフィードバックして反映させることができるマルチモーダルコミュニケーション支援装置が知られている（例えば、特許文献１参照）。また、各拠点において、複数の資料と拠点画像とが共有されている場合に、それぞれの資料のレイアウトや大きさを変更させる技術も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１８３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、各拠点において複数の資料が共有されている場合、ある１つの資料を大きくすると他の資料が小さくなるという問題点があった。例えば、関係性のある２つの資料を一緒に見ようとした場合に、一方の資料を大きくすると、他方の資料が小さくなってしまう。即ち、一方の資料を参考にしながら他方の資料を見るような場合に不都合であった。
【０００５】
本発明は、上記課題を解決するためになされたものであり、ウィンドウに表示された内容の関係性に応じてウィンドウの表示態様を変更できる表示制御装置、表示制御方法、表示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に係る発明の表示制御装置は、使用者を撮影する撮影手段によって撮影された撮影画像から前記使用者の視線方向を検出する視線方向検出手段と、使用者と前記表示画面との位置関係の情報である位置関係情報を記憶する位置関係情報記憶手段と、当該位置関係情報記憶手段に記憶された前記位置関係情報に基づき、前記視線方向検出手段によって検出された視線方向の先にある前記表示画面上における視線位置を特定する視線位置特定手段と、当該視線位置特定手段によって特定される前記視線位置に基づき、前記表示画面に表示されている複数のウィンドウの中で、前記使用者が現在見ているウィンドウである視線先対象ウィンドウを特定する視線先対象ウィンドウ特定手段と、当該視線先対象ウィンドウ特定手段によって特定される前記視線先対象ウィンドウが変更された場合、変更前の前記視線先対象ウィンドウと変更後の視線先対象ウィンドウとに基づき、前記複数のウィンドウの相互間の関係性である関係情報を記憶する関係情報記憶手段に記憶された前記関係情報を更新する第１関係情報更新手段と、前記表示画面上において、前記視線先対象ウィンドウ特定手段によって特定された前記視線先対象ウィンドウへの視線の滞在時間を記憶する視線滞在時間記憶手段と、当該視線滞在記憶手段に記憶された前記滞在時間に基づき、現時点から過去に遡って少なくとも第１所定期間内において所定割合以上視線位置が滞在していた視線先対象ウィンドウを強調表示させると共に、前記関係情報記憶手段に記憶された前記関係情報に基づき、前記視線先対象ウィンドウに関係性のある関係ウィンドウを併せて強調表示させる表示制御手段とを備えている。
【０００７】
また、請求項２に係る発明の表示制御装置は、請求項１に記載の発明の構成に加え、前記関係情報は、現時点から過去に遡って少なくとも第２所定期間内において、前記視線位置が前記表示画面上に表示された一のウィンドウから他のウィンドウに移動したときの各ウィンドウにおける視線位置の滞在時間の相対的な割合である割合情報であって、前記表示制御手段は、前記割合情報に基づき、前記視線位置が前記視線先対象ウィンドウから他のウィンドウに移動したときの各ウィンドウにおける視線位置の滞在時間の相対的な割合に従って、前記関係ウィンドウの表示態様を相対的に調整する表示態様調整手段を備え、当該表示態様調整手段によって調整された前記表示態様に従って、前記関係ウィンドウを強調表示させることを特徴とする。
【０００８】
また、請求項３に係る発明の表示制御装置は、請求項１又は２に記載の発明の構成に加え、通信回線を介して他の表示制御装置に接続され、前記表示画面には、前記他の表示制御装置との間で同一画面を共有する画面として前記ウィンドウが表示され、前記関係情報記憶手段に記憶された前記関係情報を、他の表示制御装置に送信する関係情報送信手段と、前記他の表示制御装置から送信された前記関係情報を受信する関係情報受信手段と、当該関係情報受信手段によって受信された前記関係情報を、前記関係情報記憶手段に記憶された前記関係情報に更新する第２関係情報更新手段とを備えている。
【０００９】
また、請求項４に係る発明の表示制御装置は、請求項３に記載の発明の構成に加え、前記他の表示制御装置に対して前記関係情報を要求する要求信号を送信する要求信号送信手段と、前記他の表示制御装置から送信された前記要求信号を受信する要求信号受信手段とを備え、前記関係情報送信手段は、前記要求信号受信手段によって受信された前記要求信号を、前記要求信号を送信した前記表示制御装置に対して、前記関係情報記憶手段に記憶された前記関係情報を送信することを特徴とする。
【００１０】
また、請求項５に係る発明の表示制御装置は、請求項１乃至４の何れかに記載の発明の構成に加え、前記視線位置情報が前記第１関係情報更新手段によって更新された回数が所定回数以上であるか否かを判断する更新回数判断手段を備え、前記表示制御手段は、前記更新回数判断手段によって更新された回数が前記所定回数以上であると判断された場合に、前記視線先対象ウィンドウ特定手段によって特定された前記視線先対象ウィンドウを強調表示させると共に、前記関係情報記憶手段に記憶された前記関係情報に基づき、前記視線先対象ウィンドウに関係性のある関係ウィンドウを併せて強調表示させることを特徴とする。
【００１１】
また、請求項６に係る発明の表示制御装置は、請求項２乃至５の何れかに記載の発明の構成に加え、前記表示態様は、前記ウィンドウの表示サイズであって、前記表示制御手段は、前記表示画面上における前記視線対象ウィンドウと、前記関係ウィンドウの前記表示サイズを拡大することを特徴とする。
【００１２】
また、請求項７に係る発明の表示制御装置は、請求項２乃至５の何れかに記載の発明の構成に加え、前記表示態様は、前記ウィンドウのコントラストであって、前記表示制御手段は、前記表示画面における前記視線先対象ウィンドウと、前記関係ウィンドウの前記コントラストを他のウィンドウより高くすることを特徴とする。
【００１３】
また、請求項８に係る発明の表示制御方法は、表示画面に画像を表示させる表示制御装置の表示制御方法であって、使用者を撮影する撮影手段によって撮影された撮影画像から前記使用者の視線方向を検出する視線方向検出ステップと、使用者と前記表示画面との位置関係の情報である位置関係情報を記憶する位置関係情報記憶手段に記憶された前記位置関係情報に基づき、前記視線方向検出ステップにおいて検出された視線方向の先にある前記表示画面上における視線位置を特定する視線位置特定ステップと、当該視線位置特定ステップにおいて特定される前記視線位置に基づき、前記表示画面に表示されている複数のウィンドウの中で、前記使用者が現在見ているウィンドウである視線先対象ウィンドウを特定する視線先対象ウィンドウ特定ステップと、当該視線先対象ウィンドウ特定ステップにおいて特定される前記視線先対象ウィンドウが変更された場合、変更前の前記視線先対象ウィンドウと変更後の視線先対象ウィンドウ情報に基づき、前記複数のウィンドウの相互間の関係性である関係情報を記憶する関係情報記憶手段に記憶された前記関係情報を更新する関係情報更新ステップと、前記表示画面上において、前記視線先対象ウィンドウ特定ステップにおいて特定された前記視線先対象ウィンドウへの視線の滞在時間を視線滞在時間記憶手段に記憶する視線滞在時間記憶ステップと、当該視線滞在記憶ステップにおいて記憶された前記滞在時間に基づき、現時点から過去に遡って少なくとも所定期間内において所定割合以上視線位置が滞在していた視線先対象ウィンドウを強調表示させると共に、前記関係情報記憶手段に記憶された前記関係情報に基づき、前記視線先対象ウィンドウに関係性のある関係ウィンドウを併せて強調表示させる表示制御ステップとを備えている。
【００１４】
また、請求項９に係る発明の表示制御プログラムは、請求項１乃至７の何れかに記載の表示制御装置の各種処理手段としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１５】
請求項１に係る発明の表示制御装置では、視線方向検出手段が、撮影手段の撮影画像から使用者の視線方向を検出する。位置関係情報記憶手段は、使用者と表示画面との位置関係の情報である位置関係情報を記憶する。視線位置特定手段が、位置関係情報記憶手段に記憶された位置関係情報に基づき、視線方向検出手段によって検出された視線方向の先にある表示画面上における視線位置を特定する。視線先対象ウィンドウ特定手段が、視線位置特定手段によって特定される視線位置に基づき、表示画面に表示されている複数のウィンドウの中で、使用者が現在見ているウィンドウである視線先対象ウィンドウを特定する。複数のウィンドウの相互間の関係性である関係情報は、関係情報記憶手段に記憶されている。第１関係情報更新手段は、視線先対象ウィンドウ特定手段によって特定される視線先対象ウィンドウが変更された場合、変更前の視線先対象ウィンドウと変更後の視線先対象ウィンドウとに基づき、関係情報記憶手段に記憶された関係情報を更新する。表示画面上において、視線先対象ウィンドウ特定手段によって特定された視線先対象ウィンドウへの視線の滞在時間は、視線滞在時間記憶手段に記憶される。表示制御手段は、視線滞在記憶手段に記憶された滞在時間に基づき、現時点から過去に遡って少なくとも第１所定期間内において所定割合以上視線位置が滞在していた視線先対象ウィンドウを強調表示させると共に、関係情報記憶手段に記憶された関係情報に基づき、視線先対象ウィンドウに関係性のある関係ウィンドウを併せて強調表示させる。このように、使用者の視線先対象ウィンドウを特定し、その視線の滞在時間が所定割合以上であれば、その視線先対象ウィンドウを強調表示させることで、現在注視しているウィンドウを見易くできる。さらに、その視線先対象ウィンドウに関係のある関係ウィンドウを併せて強調表示させるので、例えば、関係のあるウィンドウを参考にしながら視線先対象ウィンドウ内に表示された資料を見ることができる。
【００１６】
また、請求項２に係る発明の表示制御装置では、請求項１に記載の発明の効果に加え、関係情報は、現時点から過去に遡って少なくとも第２所定期間内において、視線位置が表示画面上に表示された一のウィンドウから他のウィンドウに移動したときの各ウィンドウにおける視線位置の滞在時間の相対的な割合である割合情報である。表示制御手段は、表示態様調整手段を備えている。表示態様調整手段は、割合情報に基づき、視線位置が視線先対象ウィンドウから他のウィンドウに移動したときの各ウィンドウにおける視線位置の滞在時間の相対的な割合に従って、関係ウィンドウの表示態様を相対的に調整する。表示制御手段は、表示態様調整手段によって調整された表示態様に従って、関係ウィンドウを強調表示させる。これにより、視線先対象ウィンドウに関係のある関係ウィンドウの現在の関係度合を考慮した表示態様で強調表示できる。
【００１７】
また、請求項３に係る発明の表示制御装置では、請求項１又は２に記載の発明の効果に加え、通信回線を介して他の表示制御装置に接続されている。表示画面には、他の表示制御装置との間で同一画面を共有する画面としてウィンドウが表示される。関係情報送信手段は、関係情報記憶手段に記憶された関係情報を、他の表示制御装置に送信する。関係情報受信手段は、他の表示制御装置から送信された関係情報を受信する。第２関係情報更新手段は、関係情報受信手段によって受信された関係情報を、関係情報記憶手段に記憶された関係情報に更新する。これにより、例えば、自拠点の表示制御装置において、他拠点の表示制御装置の関係情報記憶手段に記憶された関係情報を参考にできる。
【００１８】
また、請求項４に係る発明の表示制御装置では、請求項３に記載の発明の効果に加え、要求信号送信手段は、他の表示制御装置に対して関係情報を要求する要求信号を送信する。要求信号受信手段は、他の表示制御装置から送信された要求信号を受信する。関係情報送信手段は、要求信号受信手段によって受信された要求信号を、要求信号を送信した表示制御装置に対して、関係情報記憶手段に記憶された関係情報を送信する。例えば、自拠点の表示制御装置において、関係情報機構手段に記憶された関係情報に十分な関係性が得られていない場合に、要求信号送信手段が、他の表示制御装置に対して関係情報を要求する要求信号を送信する。これにより、他拠点の表示制御装置の関係情報記憶手段に記憶された関係情報を利用できる。
【００１９】
また、請求項５に係る発明の表示制御装置では、請求項１乃至４の何れかに記載の発明の効果に加え、更新回数判断手段は、視線位置情報が第１関係情報更新手段によって更新された回数が所定回数以上であるか否かを判断する。表示制御手段は、更新回数判断手段によって更新された回数が所定回数以上であると判断された場合に、視線先対象ウィンドウ特定手段によって特定された視線先対象ウィンドウを強調表示させると共に、関係情報記憶手段に記憶された関係情報に基づき、視線先対象ウィンドウに関係性のある関係ウィンドウを併せて強調表示させる。つまり、視線位置情報が所定回数以上更新されれば、関係情報は所定レベル以上の関係性を持っていると判断できる。このような関係情報に基づき、関係ウィンドウの表示態様を変更するので、使用者の注目度に合った表示態様で関係ウィンドウを表示できる。
【００２０】
また、請求項６に係る発明の表示制御装置では、請求項２乃至５の何れかに記載の発明の効果に加え、表示態様は、ウィンドウの表示サイズである。表示制御手段は、表示画面上における視線先対象ウィンドウと、関係ウィンドウの表示サイズを拡大する。これにより、視線先対象ウィンドウ及び関係ウィンドウを強調させて表示できる。
【００２１】
また、請求項７に係る発明の表示制御装置では、請求項２乃至５の何れかに記載の発明の効果に加え、表示態様は、ウィンドウのコントラストである。表示制御手段は、表示画面における視線先対象ウィンドウと、関係ウィンドウのコントラストを他のウィンドウより高くする。これにより、視線先対象ウィンドウ及び関係ウィンドウを強調させて表示できる。
【００２２】
また、請求項８に係る発明の表示制御方法では、表示画面に画像を表示させる表示制御装置の表示制御方法である。まず、視線方向検出ステップにおいて、使用者を撮影する撮影手段によって撮影された撮影画像から使用者の視線方向を検出する。次いで、視線位置特定ステップにおいて、位置関係情報記憶手段に記憶された位置関係情報に基づき、視線方向検出ステップにて検出された視線方向の先にある表示画面上における視線位置を特定する。続いて、視線先対象ウィンドウ特定ステップにおいて、視線位置特定ステップにて特定される視線位置に基づき、表示画面に表示されている複数のウィンドウの中で、使用者が現在見ているウィンドウである視線先対象ウィンドウを特定する。さらに、関係情報更新ステップにおいて、視線先対象ウィンドウ特定ステップにおいて特定される視線先対象ウィンドウが変更された場合、変更前の視線先対象ウィンドウと変更後の視線先対象ウィンドウ情報に基づき、関係情報記憶手段に記憶された関係情報を更新する。視線滞在時間記憶ステップにおいて、表示画面上において、視線先対象ウィンドウ特定ステップにおいて特定された視線先対象ウィンドウへの視線の滞在時間を視線滞在時間記憶手段に記憶する。そして、表示制御ステップにおいて、視線滞在記憶ステップにて記憶された滞在時間に基づき、現時点から過去に遡って少なくとも所定期間内において所定割合以上視線位置が滞在していた視線先対象ウィンドウを強調表示させると共に、関係情報記憶手段に記憶された関係情報に基づき、視線先対象ウィンドウに関係性のある関係ウィンドウを併せて強調表示させる。このように、使用者の視線先対象ウィンドウを特定し、その視線の滞在時間が所定割合以上であれば、その視線先対象ウィンドウを強調表示させることで、現在注視しているウィンドウを見易くできる。さらに、その視線先対象ウィンドウに関係のある関係ウィンドウを併せて強調表示させるので、例えば、関係のあるウィンドウを参考にしながら視線先対象ウィンドウ内に表示された資料を見ることができる。
【００２３】
また、請求項９に係る発明の表示制御プログラムでは、請求項１乃至７の何れかに記載の表示制御装置の各種処理手段としてコンピュータを機能させるので、請求項１乃至７の何れかに記載の発明の効果を得ることができる。
【図面の簡単な説明】
【００２４】
【図１】テレビ会議システム１の構成を示すブロック図である。
【図２】ディスプレイ２８の一表示態様を示す図（表示サイズ調整前）である。
【図３】ディスプレイ２８の一表示態様を示す図（表示サイズ調整後）である。
【図４】端末装置３の電気的構成を示すブロック図である。
【図５】ＲＡＭ２２の各種記憶エリアを示す概念図である。
【図６】ＨＤＤ３１の各種記憶エリアを示す概念図である。
【図７】ウィンドウ位置テーブル３１１１の概念図である。
【図８】関係性テーブル３１２１の概念図である。
【図９】強調ウィンドウ表示割合テーブル３１５１の概念図である。
【図１０】ウィンドウ表示サイズテーブル３１６１の概念図である。
【図１１】眼球７２とディスプレイ２８との相互の位置関係を示した図である。
【図１２】ＭＣＵ７の電気的構成を示すブロック図である。
【図１３】ＨＤＤ７１の各種記憶エリアを示す概念図である。
【図１４】ＣＰＵ２０による画像表示制御処理のフローチャートである。
【図１５】図１４の続きを示すフローチャートである。
【図１６】関係性パラメータ参照処理のフローチャートである。
【図１７】ウィンドウサイズ調節処理のフローチャートである。
【図１８】ウィンドウ位置補正処理のフローチャートである。
【図１９】ディスプレイ２８の一表示態様を示す図（ウィンドウＡ，Ｂ，Ｃ表示）である。
【図２０】ディスプレイ２８の一表示態様を示す図（ウィンドウＤ追加）である。
【図２１】ウィンドウ位置テーブル３１１１の概念図（ウィンドウＡ〜Ｄ）である。
【図２２】関係性テーブル３１２１の更新方法の説明図（ウィンドウＡ→ウィンドウＢ）である。
【図２３】関係性テーブル３１２１の更新方法の説明図（ウィンドウＥ消失、ウィンドウＦ追加）である。
【図２４】視線位置の移動に伴う関係性パラメータ９０の変更手順を示す説明図である。
【図２５】ウィンドウ間を移動する視線位置の移動の一例を示すタイミングチャートである。
【図２６】関係性テーブル３１２１の第１の調節方法の説明図である。
【図２７】関係性テーブル３１２１の第２の調節方法の説明図である。
【図２８】関係性テーブル３１２１の第３の調節方法の説明図である。
【図２９】ＨＤＤ７１の関係性テーブルＤＢ記憶エリア７１１に記憶された他拠点の関係性パラメータ９０Ａ〜９０Ｃの一部を示した概念図である。
【図３０】関係性パラメータ９０Ｄの概念図である。
【図３１】ウィンドウ位置補正処理によるウィンドウ位置の補正手順の一例を示す図である。
【図３２】関係性パラメータ要求処理のフローチャートである。
【図３３】関係性パラメータ送信処理のフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の一実施形態である端末装置３について、図面を参照して説明する。はじめに、端末装置３を構成要素とするテレビ会議システム１の構成について、図１を参照して説明する。端末装置３が本発明の「表示制御装置」に相当する。
【００２６】
テレビ会議システム１は、ネットワーク２を介して相互に接続され、かつ各拠点毎に設けられた複数の端末装置３〜５と、該端末３〜５間の接続を制御する多地点接続装置７（以下、ＭＣＵ７と呼ぶ）とを備えている。テレビ会議システム１では、端末装置３〜５間において、ネットワーク２を介して、画像と音声が互いに送受信されることで遠隔会議が実施される。
【００２７】
本発明の概要について説明する。図２に示すように、各端末装置３〜５の各ディスプレイ２８には、同じドキュメント画像が表示される。端末装置３〜５の画像データがＭＣＵ７に送信され、受信した画像データが共有データとして各端末装置３〜５に送信される。
【００２８】
例えば、共有するドキュメント画像として、ウィンドウＡ，Ｂ，Ｃが表示されている。ウィンドウＡ，Ｂ，Ｃのサイズは全て同一とする。使用者がウィンドウＡを所定時間以上注視した場合、図３に示すように、ウィンドウＡを拡大して表示させる。さらに、ウィンドウＡに関係性の高いウィンドウＢについても拡大させ、ウィンドウＡと関係性の低いウィンドウＣを縮小させる。つまり、使用者が最も注目しているウィンドウのみならず、そのウィンドウに関係性のあるウィンドウも強調して表示させることができる。
【００２９】
次に、端末装置３の電気的構成について、図４を参照して説明する。端末装置３〜５は全て同じ構成であるので、端末装置３の構成についてのみ説明し、端末装置４，５については説明を省略する。
【００３０】
端末装置３には、端末装置３の制御を司るコントローラとしてのＣＰＵ２０が設けられている。ＣＰＵ２０には、ＢＩＯＳ等を記憶したＲＯＭ２１と、各種データを一時的に記憶するＲＡＭ２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ３１（以下、ＨＤＤ３１）が接続されている。
【００３１】
Ｉ／Ｏインタフェイス３０には、ネットワーク２と通信するための通信装置２５と、マウス２７と、ビデオコントローラ２３と、キーコントローラ２４と、ユーザを撮影するためのカメラ３４と、ユーザの音声を取り込むためのマイク３５と、計時装置３６と、赤外線ライト３７と、ＣＣＤカメラ３８と、ＣＤ−ＲＯＭドライブ２６とが各々接続されている。ビデオコントローラ２３には、ディスプレイ２８が接続されている。キーコントローラ２４には、キーボード２９が接続されている。赤外線ライト３７は、ＣＣＤカメラ３８と同一位置に設けられている。ＣＣＤカメラ３８はディスプレイ２８の上端部に固定されている。
【００３２】
なお、ＣＤ−ＲＯＭドライブ２６に挿入されるＣＤ−ＲＯＭ１１４には、端末装置３のメインプログラムや、本発明の表示制御プログラム等が記憶されている。ＣＤ−ＲＯＭ１１４の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ１１４からＨＤＤ３１にセットアップされて、後述するプログラム記憶エリア３１８（図６参照）に記憶される。
【００３３】
次に、ＲＡＭ２２の各種記憶エリアについて、図５を参照して説明する。ＲＡＭ２２には、視線滞在時間記憶エリア２２１と、視線先対象ウィンドウ記憶エリア２２２と、総面積記憶エリア２２３と、更新回数記憶エリア２２４と等が少なくとも設けられている。視線滞在時間記憶エリア２２１には、使用者の視線位置がディスプレイ２８に表示された各ウィンドウに滞在した時間が記憶される。視線先対象ウィンドウ記憶エリア２２２には、使用者が注視していると判断された視線先対象ウィンドウの識別ＩＤが記憶される。総面積記憶エリア２２３には、ディスプレイ２８に表示されたウィンドウの総面積が記憶される。更新回数記憶エリア２２４には、後述する関係性テーブル３１２１が更新された回数が記憶される。
【００３４】
次に、ＨＤＤ３１の各種記憶エリアについて、図６を参照して説明する。ＨＤＤ３１には、ウィンドウ位置テーブル３１１１（図７参照）を記憶するウィンドウ位置テーブル記憶エリア３１１と、関係性テーブル３１２１（図８参照）を記憶する関係性テーブル記憶エリア３１２と、ＣＣＤカメラ３８によって撮影されたカメラ画像を記憶するＣＣＤカメラ画像記憶エリア３１３と、強調ウィンドウ表示割合テーブル３１５１（図９参照）を記憶する強調ウィンドウ表示割合テーブル記憶エリア３１５と、ウィンドウ表示サイズテーブル３１６１（図１０参照）を記憶するウィンドウ表示サイズテーブル３１６と、位置関係情報記憶エリア３１７と、プログラム記憶エリア３１８と、その他の情報記憶エリア３１９と等が少なくとも設けられている。
【００３５】
位置関係情報記憶エリア３１７には、ディスプレイ２８と使用者の眼球７２との距離Ｌ（図１１参照）と、ディスプレイ２８と赤外線ライト３７（ＣＣＤカメラ３８）との角度α（図１１参照）とが記憶されている。なお、距離Ｌと角度αは、キーボード２９（図４参照）で入力し、入力された値が位置関係情報記憶エリア３１７（図６参照）に記憶される。距離Ｌは、端末装置３の前方に設置された椅子（図示省略）に座ったときに、使用者の眼球７２中心と、ディスプレイ２８との間の距離として設定される。プログラム記憶エリア３１８には、端末装置３のメインプログラムや、他の端末装置４、５との間で遠隔会議を実行するための通信制御プログラム、本発明の表示制御プログラム等が記憶されている。その他の情報記憶エリア３１９には、端末装置３で使用されるその他の情報が記憶されている。なお、端末装置３がＨＤＤ３１を備えていない専用機の場合は、ＲＯＭ２１に各種プログラムが記憶される。
【００３６】
次に、ウィンドウ位置テーブル３１１１について、図７を参照して説明する。ウィンドウ位置テーブル３１１１は、ディスプレイ２８に現在表示されているウィンドウの位置の座標が各々記憶される。例えば、図１９に示すように、ディスプレイ２８に、ウィンドウＡ，Ｂ，Ｃが表示されている場合を想定する。ウィンドウ位置テーブル３１１１には、ウィンドウＡの座標として、左下座標（１００，４００）と、右上座標（３００，７００）とが各々記憶される。ウィンドウＢの座標として、左下座標（２００，５０）と、右上座標（４００，３５０）とが各々記憶される。ウィンドウＣの座標として、左下座標（４００，４００）と、右上座標（６００，７００）とが各々記憶される。
【００３７】
次に、関係性テーブル３１２１について、図８を参照して説明する。関係性テーブル３１２１は、ディスプレイ２８に表示されている各ウィンドウの相互間の関係性を数値で表した関係性パラメータをウィンドウ毎に各々記憶したものである。関係性パラメータは、ウィンドウからウィンドウに移る使用者の視線位置の移動割合に基づいて作成される。関係性テーブル３１２１には、ディスプレイ２８に現在表示されているウィンドウについて、各ウィンドウ相互間の視線位置の移動割合が「関係性パラメータ」として各々記憶されている。
【００３８】
例えば、ディスプレイ２８に５つのウィンドウＡ〜Ｅが表示されている場合を想定する。関係性テーブル３１２１には、ウィンドウＡ〜Ｅからそれぞれ別ウィンドウに移る使用者の視線位置の移動割合が記憶されている。図８では、移動「元」から移動「先」に移る使用者の視線位置の移動割合を示している。移動「元」であるウィンドウＡから、移動「先」である別ウィンドウＢ，Ｃ，Ｄ，Ｅにそれぞれ移る移動割合は「６０：２５：１０：５」である。移動割合は全部で１００となるように調整されている。ウィンドウＢ，Ｃ，Ｄ，Ｅについても同様にそれぞれ記憶されている。
【００３９】
次に、強調ウィンドウ表示割合テーブル３１５１について、図９を参照して説明する。強調ウィンドウ表示割合テーブル３１５１は、使用者が最も注視しているウィンドウである「強調ウィンドウ」の表示サイズを決定する際に使用される。強調ウィンドウ表示割合テーブル３１５１には、ウィンドウ数欄６１と、表示割合欄６２とが対応付けられて記憶されている。ウィンドウ数欄６１には、ディスプレイ２８に表示されるウィンドウ数の範囲が３区分で記憶されている。例えば、ウィンドウ数欄６１には、「２」、「３〜６」、「７〜」の３つの範囲が記憶されている。
【００４０】
表示割合欄６２には、ウィンドウ数の各範囲に対して強調ウィンドウの全ウィンドウ面積に対する表示割合（％）が各々記憶されている。ウィンドウ数＝「２」に対して表示割合＝６０％、ウィンドウ数＝「３〜６」に対して表示割合＝５０％、ウィンドウ数＝「７〜」に対して表示サ割合＝４０％が各々記憶されている。
【００４１】
次に、ウィンドウ表示サイズテーブル３１６１について、図１０を参照して説明する。ウィンドウ表示サイズテーブル３１６１は、後述するウィンドウサイズ調節処理（図１７参照）において決定される全ウィンドウの表示割合が記憶される。例えば、ウィンドウＡが強調ウィンドウであった場合、ウィンドウサイズ調節処理の中で、ウィンドウＡ、ウィンドウＢ、ウィンドウＣの表示割合が決定される。一例として、ウィンドウＡの表示割合＝１５０（％）、ウィンドウＢの表示割合＝１０５（％）、ウィンドウＣの表示割合＝４５（％）が記憶されている。これらの表示割合に従って、ディスプレイ２８にウィンドウＡ，Ｂ，Ｃの表示サイズが変更されて表示される（図３参照）。
【００４２】
次に、使用者の視線の検出方法について説明する。視線の検出方法は、使用者の目を中心とする顔の部分をＣＣＤカメラ３８で捉え、得られた画像を画像解析することよって視線方向を検出する。その検出された視線方向からディスプレイ２８上の視線位置を検出するのが一般的である。なお、視線方向を検出する方法としては、種々のものが適用可能である。
【００４３】
例えば、特開２０００−１３８８７２号公報には、使用者を撮影した画像データから両目の輪郭を検出し、目の両端および鼻孔の位置の幾何学的な位置関係から、眼球の中心位置及び半径を推定し、視線方向を検出する方法が示されている。
【００４４】
例えば、松本吉央、怡土順一、竹村憲太郎、小笠原司、リアルタイム顔・視線計測システムの開発と知的インタフェースへの応用、情報処理学会論文誌コンピュータビジョンとイメージメディア、ｖｏｌ．４７、Ｎｏ．ＳＩＧ１５（ＣＶＩＭ１６）、ｐｐ．１０−２１、２００６／１０の非特許文献には、画像解析を用いた視線測定法として、ＣＣＤカメラ画像中から顔領域の切り出しを行い、顔発見テンプレートとのモデルフィッティングを行った後、頭部位置・姿勢を求め、眼球中心位置の推定を行い、視線方向をリアルタイムに検出するという手法が示されている。
【００４５】
例えば、大野健彦、視線を用いたインタフェース、情報処理，Ｖｏｌ．４４、Ｎｏ．７、ｐｐ．７２６−７３２、２００３の非特許文献には、近赤外線を用いた視線測定法として、赤外線カメラを用いて、人の眼球形状に関する３次元モデルと、観察された瞳孔像およびプルキニエ像から真の瞳孔位置およびプルキニエ像の位置を推定し、視線方向を算出するという方法が示されている。
【００４６】
本実施形態では、近赤外線を用いた視線測定法を用いて視線を検出する。そこで、近赤外線を用いた視線検出方法について、図１１を参照して説明する。
【００４７】
赤外線ライト３７が、使用者の眼球７２に赤外線を照射すると、照射された赤外線が使用者の眼球７２の角膜反射面において反射され、赤外線ライト３７の虚像（プルキニエ像）７４が生じる。使用者の視線の先に赤外線ライト３７が位置するとき、プルキニエ像７４の発生位置は、瞳孔７５の中心位置と一致する。そして、使用者の視線の先が赤外線ライト３７から離れるにつれて、プルキニエ像７４と瞳孔７５の中心との間隔は広がっていく。
【００４８】
具体的に説明する。プルキニエ像７４と瞳孔７５の中心とが一致する状態からの眼球７２の回転角度をθとする。ディスプレイ２８とＣＣＤカメラ３８との角度をαとする。プルキニエ像７４と瞳孔７５の中心との間隔をＳとすると、間隔Ｓは、回転角度θの正弦にほぼ比例して広がっていく。ＣＣＤカメラ３８により撮影された撮影画像において、プルキニエ像７４の位置、瞳孔７５の中心位置、さらにその間隔Ｓを算出することにより、眼球７２の回転角θ、さらには使用者の視線方向を検出できる。撮影画像におけるプルキニエ像７４及び瞳孔７５の検出は、各画素における濃度変化を示すエッジ値を検出する周知の方法により行われる。
【００４９】
次に、検出された視線方向の先にあるディスプレイ２８上の使用者の視線位置Ｔを検出する方法について説明する。使用者が、端末装置３の前方に設置された椅子（図示省略）に座ることによって、使用者の眼球７２中心と、ディスプレイ２８との間が所定距離Ｌになる。眼球７２の中心からディスプレイ２８に対して直角に交わる交点を中心点Ｏとする。使用者の視線方向の先にあるディスプレイ２８上の視線位置Ｔと中心点Ｏとの距離Ｋは、以下の式で示される。
・Ｋ＝Ｌ・ｔａｎβ
・β＝θ−（９０−α）
・Ｋ＝Ｌ・ｔａｎ（θ−（９０−α））
上述の式より、ディスプレイ２８上の使用者の視線位置Ｔを特定することができる。
【００５０】
次に、ＭＣＵ７の電気的構成について、図１２を参照して説明する。ＭＣＵ７には、ＭＣＵ７の制御を司るコントローラとしてのＣＰＵ６０が設けられている。ＣＰＵ６０には、ＢＩＯＳ等を記憶したＲＯＭ６１と、各種データを一時的に記憶するＲＡＭ６２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス７０とが接続されている。Ｉ／Ｏインタフェイス７０には、各種記憶エリアを有するハードディスクドライブ７１（以下、ＨＤＤ７１）が接続されている。
【００５１】
Ｉ／Ｏインタフェイス７０には、ネットワーク２と通信するための通信装置６５と、マウス６７と、ビデオコントローラ６３と、キーコントローラ６４とＣＤ−ＲＯＭドライブ６６とが各々接続されている。ビデオコントローラ６３には、ディスプレイ６８が接続されている。キーコントローラ６４には、キーボード６９が接続されている。
【００５２】
なお、ＣＤ−ＲＯＭドライブ６６に挿入されるＣＤ−ＲＯＭ１２４には、ＭＣＵ７のメインプログラムや、各端末装置間の多地点接続を制御する接続制御プログラム等が記憶されている。ＣＤ−ＲＯＭ１２４の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ１２４からＨＤＤ７１にセットアップされて、後述するプログラム記憶エリア７１２（図１１参照）に記憶される。
【００５３】
次に、ＨＤＤ７１の各種記憶エリアについて、図１３を参照して説明する。ＨＤＤ７１には、各端末装置３〜５の関係性テーブル３１２１を記憶する関係性テーブルＤＢ記憶エリア７１１と、プログラム記憶エリア７１２と、その他の情報記憶エリア７１３と等が少なくとも設けられている。
【００５４】
関係性テーブルＤＢ記憶エリア７１１には、各端末装置３〜５から送信される関係性テーブル３１２１が記憶される。プログラム記憶エリア７１２には、ＭＣＵ７のメインプログラムや、各端末装置間の多地点接続を制御する接続制御プログラム等が記憶されている。その他の情報記憶エリア７１３には、ＭＣＵ７で使用されるその他の情報が記憶されている。なお、ＭＣＵ７がＨＤＤ７１を備えていない専用機の場合は、ＲＯＭ６１に各種プログラムが記憶される。
【００５５】
次に、端末装置３のＣＰＵ２０によって実行される表示制御処理について、図１４〜図１８のフローチャートと、図１９〜図３２を参照して説明する。ネットワーク２に端末装置３を含め、２つ以上の端末装置が接続し、画像および音声を介した通信が開始されると、本処理が実行される。
【００５６】
図１４に示すように、まず、ディスプレイ２８に表示されたウィンドウの位置の座標が取得され、ウィンドウ位置テーブル３１１１が更新される（Ｓ１１）。例えば、図１９に示すように、ディスプレイ２８には、ウィンドウＡ、ウィンドウＢ、ウィンドウＣが表示されている。なお、ディスプレイ２８の画面サイズは、左下座標（０，０）、右上座標（１２００，９００）を有するサイズである。
【００５７】
ウィンドウ位置テーブル３１１１には、各ウィンドウＡ〜Ｃの左下座標及び右上座標が各々記憶される（図７参照）。ここで、ディスプレイ２８にウィンドウＤが追加された場合（図２０参照）、ウィンドウ位置テーブル３１１１には、ウィンドウＤの左下座標（９００，４００）と、右上座標（１１００，７００）とが追加して記憶される（図２１参照）。
【００５８】
次いで、図１４に示すように、ディスプレイ２８に表示された全ウィンドウの総面積が算出される（Ｓ１２）。算出された総面積は、ＲＡＭ２２の総面積記憶エリア２２３（図５参照）に記憶される。続いて、ディスプレイ２８において使用者の視線位置が検出されたか否かが判断される（Ｓ１３）。使用者の視線位置は上述した方法によって検出される。視線位置が検出されるまでは（Ｓ１３：ＮＯ）、Ｓ１１に戻って処理が繰り返される。
【００５９】
そして、視線位置が検出された場合（Ｓ１３：ＹＥＳ）、視線位置がウィンドウの枠内に位置するか否かが判断される（Ｓ１４）。ディスプレイ２８に表示されている各ウィンドウの位置は、ＨＤＤ３１に記憶されたウィンドウ位置テーブル３１１１に登録された各ウィンドウの座標位置が参照される。そして、検出された使用者の視線位置と、参照されたウィンドウの座標位置とに基づき、視線位置がウィンドウの枠内に位置するか否かが判断される。視線位置がウィンドウの枠内にない場合は（Ｓ１４：ＮＯ）、Ｓ１１に戻り、各ウィンドウの位置が再び検出されて処理が繰り返される。
【００６０】
視線位置がウィンドウの枠内にあると判断された場合（Ｓ１４：ＹＥＳ）、使用者が現在見ているウィンドウが視線先対象ウィンドウとして検出される（Ｓ１５）。検出された視線先対象ウィンドウには識別ＩＤが付され、今回見ていたウィンドウとして、ＲＡＭ２２の視線先対象ウィンドウ記憶エリア２２２（図５参照）に記憶される。
【００６１】
次いで、前回見ていたウィンドウと、今回見ていたウィンドウとが同じであるか否かが判断される（Ｓ１６）。ここでは、視線先対象ウィンドウ記憶エリア２２２に記憶された前回の視線対象先ウィンドウの識別ＩＤと、今回記憶された視線対象先ウィンドウの識別ＩＤとが同じであるか否かが判断される。
【００６２】
例えば、前回見ていたウィンドウと、今回見ていたウィンドウとが異なる場合（Ｓ１６：ＮＯ）、図１５に示すＳ２５に移行し、前回見ていたウィンドウと、今回見ているウィンドウとの間に大きな時間差が存在するか否かが判断される（Ｓ２５）。なお、前回検出された時から今回検出されるまでの時間は、計時装置３６（図４参照）からの出力を利用して計測される。例えば、ウィンドウＡからウィンドウＢに移動する間に１分以上の時間差があった場合（Ｓ２５：ＹＥＳ）、ウィンドウＡとウィンドウＢとの間の関係性は低いと判断できる。この場合、図１４のＳ１１に戻り、各ウィンドウの位置が再び検出されて処理が繰り返される。
【００６３】
一方、ウィンドウＡからウィンドウＢに移動する間の時間差が１分未満であった場合（Ｓ２５：ＮＯ）、ウィンドウＡとウィンドウＢとの間には関係性があると推測できる。この場合、再度、ディスプレイ２８上において使用者の視線位置が検出されたか否かが判断される（Ｓ２６）。視線位置が検出されるまでは（Ｓ２６：ＮＯ）、Ｓ２６に戻って処理が繰り返される。
【００６４】
そして、視線位置が検出された場合（Ｓ２６：ＹＥＳ）、視線位置がウィンドウの枠内に位置するか否かが判断される（Ｓ２７）。視線位置がウィンドウの枠内にない場合は（Ｓ２７：ＮＯ）、Ｓ２７に戻って処理が繰り返される。視線位置がウィンドウの枠内にあると判断された場合（Ｓ２７：ＹＥＳ）、その検出されたウィンドウが視線先対象ウィンドウとして検出される（Ｓ２８）。視線先対象ウィンドウには、識別ＩＤが付され、ＲＡＭ２２の視線先対象ウィンドウ記憶エリア２２２（図５参照）に記憶される。
【００６５】
次いで、前回見ていたウィンドウと、今回見ていたウィンドウとが同じであるか否かが判断される（Ｓ２９）。前回見ていたウィンドウと、今回見ていたウィンドウとが異なる場合（Ｓ２９：ＮＯ）、例えば視点検出のブレ、視線が横切ったという要素が考えられ、前回見ていたウィンドウと、前々回見ていたウィンドウとの間の関係性は低いと判断できるので、図１４のＳ１１に戻り、各ウィンドウの位置が再び検出されて処理が繰り返される。
【００６６】
前回見ていたウィンドウと、今回見ていたウィンドウとが同じである場合（Ｓ２９：ＹＥＳ）、所定時間経過したか否かが判断される（Ｓ３０）。所定時間（例えば、１０ｍｓｅｃ〜１００ｍｓｅｃ）経過するまでは（Ｓ３０：ＮＯ）、Ｓ２６に戻り、再度、使用者の視線位置が検出され、視線位置がそのウィンドウに滞在したままの状態であるか否かが監視される（Ｓ２６〜Ｓ３０）。
【００６７】
そして、視線位置がそのウィンドウに滞在したままの状態で所定時間経過した場合（Ｓ３０：ＹＥＳ）、そのウィンドウは関係性のあるウィンドウと判断できるので、前回見ていたウィンドウについて、ＨＤＤ３１に記憶された関係性テーブル３１２１が更新される（Ｓ３１）。次いで、図１４のＳ１１に戻り、各ウィンドウの位置が再び検出されて処理が繰り返される。なお、関係性テーブル３１２１の更新回数は、ＲＡＭ２２の更新回数記憶エリア２２４（図７参照）に記憶される。
【００６８】
ここで、関係性テーブル３１２１を更新する方法について、図２２，図２３を参照して具体的に説明する。例えば、使用者の視線位置がウィンドウＡからウィンドウＢに移ったことを検出した場合、図２２に示すように、移動元であるウィンドウＡの関係性パラメータ＝「６０：２５：１０：５」を、「６５：２３：８：４」と更新する。つまり、ウィンドウＡからウィンドウＢに移る割合が大きくなる。他の関係性パラメータは変更しない。
【００６９】
さらに、ウィンドウＥがディスプレイ２８から消失し、ウィンドウＦがアップされた場合、まず、関係性テーブル３１２１からウィンドウＥの配分を、残りのウィンドウＢ〜Ｄの関係性パラメータの割合に応じて分配する。そして、関係性テーブル３１２１に新しく追加されたウィンドウＦに初期値「０」を記憶する。例えば、移動元であるウィンドウＡの関係性パラメータ＝「６０：２５：１０：５」に対して、ウィンドウＥ分の「５」が残りのウィンドウＢ〜Ｄの関係性パラメータの割合に応じて分配し、新しく追加したウィンドウＦに初期値「０」を記憶する。従って、図２３に示すように、移動元であるウィンドウＡの関係性パラメータを、ウィンドウＢ，Ｃ，Ｄ，Ｆについて「６３：２７：１０：０」と更新する。
【００７０】
次に、ウィンドウＡを例にして、視線位置の動きによる関係性パラメータ９０の変化について、図２４を参照して説明する。まず、ステップ１において、移動元であるウィンドウＡの関係性パラメータ９０は、初期値として、ウィンドウＢ，Ｃ，Ｄ，Ｆ＝「０：０：０：０」と記憶される。次いで、ステップ２として、ウィンドウＡからウィンドウＢに視線位置が移った場合、ウィンドウＢ，Ｃ，Ｄ，Ｆ＝「１００：０：０：０」と記憶される。さらに、ステップ３として、ウィンドウＡからウィンドウＢ、ウィンドウＡからウィンドウＤ、ウィンドウＡからウィンドウＥに視線位置が移った場合、ウィンドウＢ，Ｃ，Ｄ，Ｆ＝「２５：２５：２５：２５」と記憶される。
【００７１】
さらに、ステップ４として、ウィンドウＡからウィンドウＢ、ウィンドウＡからウィンドウＢ、ウィンドウＡからウィンドウＢ、ウィンドウＡからウィンドウＣに視線位置が移った場合、ウィンドウＢ，Ｃ，Ｄ，Ｆ＝「５０：２５：１２．５：１２．５」と記憶される。こうして、使用者の視線位置の移動に従って、上述の計算が所定回数（例えば、１００回）繰り返され、最終的に、ステップ１００として、ウィンドウＢ，Ｃ，Ｄ，Ｆ＝「６０：３５：３：２」と記憶される。これにより、視線位置の移動に基づいて、ウィンドウの相互間の関係性を十分に反映させた関係性パラメータ９０を取得できる。
【００７２】
ところで、図１４のＳ１６に戻り、前回見ていたウィンドウと、今回見ていたウィンドウとが同じであった場合（Ｓ１６：ＹＥＳ）、今回見ているウィンドウにおける視線滞在時間が「規定割合」に達したか否かが判断される（Ｓ１７）。「規定割合」とは、現時点から過去に遡って一定時間内のうち５０％以上を占める割合をいう。規定割合に達したウィンドウは、使用者が現在最も注視しているウィンドウであるので、ウィンドウの中で最も大きく表示させる「強調ウィンドウ」として決定される。
【００７３】
ここで、規定割合を用いた強調ウィンドウの決定方法について、図２５を参照して説明する。ディスプレイ２８に、ウィンドウＡ、ウィンドウＢ、ウィンドウＣが表示されている場合を想定する。現時点から過去２０秒間において、ウィンドウＡ，ウィンドウＢ，ウィンドウＣのうちどれを見ているのかを、１０ｍｓｅｃ〜１００ｍｓｅｃの周期で調べ、随時更新する。例えば、視線位置がウィンドウＡに２０秒間滞在し、次にウィンドウＢに１２秒間滞在し、次にウィンドウＣに５秒間滞在した場合を一例として、ケース１〜４におけるｔ１〜ｔ４の各タイミングにおける規定割合の導出方法について説明する。なお、各ウィンドウの視線滞在時間は、ＲＡＭ２２の視線滞在時間記憶エリア２２１（図５参照）に履歴として記憶される。
【００７４】
ｔ１タイミングは、視線位置がウィンドウＡに１０秒間滞在した時点である。この時点では、過去にウィンドウＡしか見ていないので、ウィンドウＡを強調ウィンドウとして決定する。
【００７５】
ｔ２タイミングは、視線位置がウィンドウＡに２０秒間滞在し、次にウィンドウＢに１０秒間滞在した時点である。この時点から過去２０秒間の視線位置の移動経路を分析すると、ウィンドウＡに１０秒間、ウィンドウＢに１０秒間滞在したことになる。このように、割合が５０％で並んだ場合は、前者であるウィンドウＡを優先とし、ウィンドウＡを強調ウィンドウとして決定する。
【００７６】
ｔ３タイミングは、視線位置がウィンドウＡに２０秒間滞在し、次にウィンドウＢに１１秒間滞在した時点である。この時点から過去２０秒間の視線位置の移動経路を分析すると、ウィンドウＡに９秒間、ウィンドウＢに１１秒間滞在したことになる。この場合、規定割合を満たすのは、ウィンドウＢであるので、ウィンドウＢを強調ウィンドウとして決定する。
【００７７】
ｔ４タイミングは、視線位置がウィンドウＡに２０秒間滞在し、次にウィンドウＢに１２秒間滞在し、次にウィンドウＣに５秒間滞在した時点である。この時点から過去２０秒間の視線位置の移動経路を分析すると、ウィンドウＡに３秒間、ウィンドウＢに１２秒間、ウィンドウＣに５秒間滞在したことになる。この場合、規定割合を満たすのは、ウィンドウＢであるのでウィンドウＢを強調ウィンドウとして決定する。
【００７８】
なお、ｔ４タイミングにおいてはウィンドウＣを見ているが、ｔ４タイミングの時点では視線がウィンドウＢからウィンドウＣに移ってわずか５秒しか見ていない。このような場合にウィンドウＣをすぐに拡大するのではなく、ウィンドウＢを拡大させた状態を維持するので、使用者が現在最も注目しているウィンドウを検出できる。
【００７９】
図１４のＳ１７に戻り、今回見ているウィンドウが上述した「規定割合」に達していない場合（Ｓ１７：ＮＯ）、ディスプレイ２８の各ウィンドウの表示態様を変更する必要がない。よって、Ｓ１１に戻り、各ウィンドウの位置が再び検出されて処理が繰り返される。
【００８０】
一方、今回見ているウィンドウが「規定割合」に達している場合（Ｓ１７：ＹＥＳ）、そのウィンドウが強調ウィンドウとして決定される。さらに、決定した強調ウィンドウと、強調ウィンドウ以外のウィンドウの表示態様を変更する必要がある。そこで、関係性テーブル３１２１が１００回以上更新されたか否かが判断される（Ｓ１８）。関係性テーブル３１２１の更新回数は、更新回数記憶エリア２２４（図５参照）に記憶された更新回数が参照される。更新回数が１００回以上であった場合（Ｓ１８：ＹＥＳ）、関係性テーブル３１２１に記憶された各ウィンドウの関係性パラメータは、各ウィンドウ間の関係性を反映していると判断される。そこで、関係性テーブル３１２１に記憶された関係性パラメータを参照して表示態様を変更するために、関係性パラメータ参照処理が実行される（Ｓ１９）。
【００８１】
なお、関係性テーブル３１２１が１００回以上更新されていない場合（Ｓ１８：ＮＯ）、関係性テーブル３１２１に記憶された関係性パラメータは、各ウィンドウ間の関係性を十分に反映していないと判断される。そこで、関係性テーブル３１２１を利用せずに、ＨＤＤ３１に記憶された所定割合に従って、ウィンドウのサイズが調節される（Ｓ２１）。その後、図１４のＳ１１に戻って処理が繰り返される。
【００８２】
次に、関係性パラメータ参照処理について、図１６を参照して説明する。まず、強調ウィンドウに決定されたウィンドウの関係性パラメータが取得される（Ｓ４１）。例えば、強調ウィンドウがウィンドウＡに決定した場合、図８に示す関係性テーブル３１２１からウィンドウＡの関係性パラメータ＝「６０：２５：１０：５」が取得される。次いで、関係性パラメータの調節が行われる（Ｓ４２）。関係性パラメータの調節は、関係性パラメータの特徴を更に強調するための処理である。
【００８３】
ここで、関係性パラメータの調節方法について、図２６〜図２８を参照して説明する。関係性パラメータの調節方法は、以下に示す第１〜第３の調節方法の中から自由に設定可能であるが、これらの方法には限定されない。
【００８４】
第１の調節方法について、図２６を参照して説明する。第１の調節方法では、関係性テーブル３１２１を調節せずにそのまま利用する。つまり、移動元から移動先への視線の移動割合のみを関係性パラメータとして利用する。
【００８５】
第２の調節方法について、図２７を参照して説明する。第２の調節方法では、移動元と移動先の双方向の割合の値を足す。ウィンドウ間の全ての関係において、ウィンドウＡ→ウィンドウＢ、ウィンドウＢ→ウィンドウＡというように、双方向の割合の値を足す。双方向どちらの場合においても同じ関係性とする。ウィンドウＡを見ているときのウィンドウＢに視線が移る場合の比率と、ウィンドウＢを見ているときのウィンドウＡに視線が移る場合の比率とを同じ値にする。
【００８６】
第３の調節方法について、図２８を参照して説明する。第３の調節方法では、第２の方法に対して、移動元から移動先に視線が移る割合の方に重点を置いている。まず、移動元→移動先の割合の全ての値に１を乗じ、移動先→移動元の割合の全ての値に０．５を乗じる。そして、第２の方法と同じように、ウィンドウ間の全ての関係において、ウィンドウＡ→ウィンドウＢ、ウィンドウＢ→ウィンドウＡというように、双方向の割合の値を足す。これにより、移動元から移動先に視線が移る割合に重点を置くことができる。
【００８７】
そして、図１６に戻り、第１〜第３の調節方法の何れかの方法によって、関係性パラメータの調節（Ｓ４２）が終了したら、強調ウィンドウの関係性パラメータにおいて、最大値と最小値の差が５以内のものが存在するか否かが判断される（Ｓ４３）。最大値と最小値の差が小さい場合、自拠点の端末装置３だけでは、ウィンドウ間の関係性の大きな差を見い出すことができない。本実施形態ではその差を５としているが、自由に変更可能である。関係性パラメータの最大値と最小値の差が５を超えている場合（Ｓ４３：ＮＯ）、図１４に示すように、関係性パラメータに従って、ウィンドウサイズ調節処理が実行される（Ｓ２０）。
【００８８】
一方、強調ウィンドウの関係性パラメータの最大値と最小値の差が５以内であった場合（Ｓ４３：ＹＥＳ）、ＭＣＵ７のＨＤＤ７１の関係性テーブルＤＢ７１２に記憶された他拠点の関係性テーブル３１２１から強調ウィンドウについての関係性パラメータ９０Ａ〜９０Ｃが参照される（Ｓ４４）。例えば、ＭＣＵ７の関係性テーブルＤＢ記憶エリア７１１には、端末装置３から送信された関係性テーブル３１２１、端末装置４から送信された関係性テーブル３１２１、端末装置５から送信された関係性テーブル３１２１が各々記憶されている。なお、説明の便宜上、図２９に示す関係性テーブルＤＢ記憶エリア７１１には、各端末装置３〜５の関係性テーブル３１２１におけるウィンドウＡに関する関係性パラメータ９０Ａ〜９０Ｂのみを図示する。
【００８９】
この場合、端末装置３の関係性パラメータ９０Ａでは、最大値と最小値の差が小さい。そこで、最大値と最小値の差が大きい端末装置４の関係性パラメータ９０Ｂ、端末装置５の関係性パラメータ９０Ｃが参照される。参照する関係性パラメータを決めるための最大値と最小値の差は、例えば「１０」に設定される。今回のように、複数の関係性パラメータが参照基準に該当する場合は、関係性パラメータ９０Ｂ，９０Ｃの平均値が算出される。こうして、図３０に示す関係性パラメータ９０Ｄが取得される。そして、図１４に示すように、取得された関係性パラメータ９０Ｄに従って、ウィンドウサイズ調節処理が実行される（Ｓ２０）。
【００９０】
次に、ウィンドウサイズ調節処理について、図１７を参照して説明する。まず、強調ウィンドウのサイズが拡大して調節される（Ｓ５１）。上述したように、まず、強調ウィンドウを含む全ウィンドウの数が検出される。そして、図９に示す強調ウィンドウ表示割合テーブル３１５１が参照され、検出されたウィンドウ数に応じた強調ウィンドウの表示割合が取得される。
【００９１】
例えば、図２に示すように、ディスプレイ２８にウィンドウＡ、ウィンドウＢ、ウィンドウＣが表示されている場合を想定する。ウィンドウＡ、ウィンドウＢ、ウィンドウＣは全て同一サイズ（１００）である。ウィンドウ数は「３」であるから、表示割合は「５０％」である。ＲＡＭ２２の総面積記憶エリア２２３に記憶された総面積は「３００」である。従って、強調ウィンドウに決定されたウィンドウＡの表示サイズは、全ウィンドウの総面積に対して１５０％となる。この表示割合は、ＨＤＤ３１に記憶されたウィンドウ表示サイズテーブル３１６１（図１０参照）に記憶される。
【００９２】
次いで、図１７に戻り、他のウィンドウであるウィンドウＢ、ウィンドウＣの表示サイズが調節される（Ｓ５２）。ウィンドウＢ、ウィンドウＣの表示サイズは、関係性テーブル３１２１（図８参照）から取得される移動元であるウィンドウＡについての関係性パラメータに従って算出される。例えば、ウィンドウＢの表示サイズが全ウィンドウの総面積に対して１０５％、ウィンドウＣの表示サイズが全ウィンドウの総面積に対して４５％と算出された場合、ＨＤＤ３１に記憶されたウィンドウ表示サイズテーブル３１６１（図１０参照）にそれぞれ記憶される。そして、ウィンドウ表示サイズテーブル３１６１に記憶された表示割合に従って、ウィンドウＡ、ウィンドウＢ、ウィンドウＣの表示サイズが調整される（図３参照）。次いで、ウィンドウ位置補正処理が実行される（Ｓ５３）。
【００９３】
次に、ウィンドウ位置補正処理について、図１８のフローチャートと、図３１とを参照して説明する。図１８に示すように、まず、関係性パラメータに従って表示サイズが調整されたウィンドウＡ、ウィンドウＢ、ウィンドウＣの各位置について、ウィンドウ位置テーブル３１１１が更新される（Ｓ６１）。次いで、ウィンドウＡ、ウィンドウＢ、ウィンドウＣの画像範囲がディスプレイ２８の画面の範囲を超えているか否かが判断される（Ｓ６２）。
【００９４】
例えば、図３１に示すように、ディスプレイ２８にウィンドウＡ、ウィンドウＢ、ウィンドウＣが表示されていて（ステップ１）、関係性パラメータに従って、その表示サイズが各々変更された場合、強調ウィンドウとして最も大きく表示されたウィンドウＡの上部が画面を超えてしまうことがある（ステップ２）。ウィンドウが画面の範囲を超えてしまった場合（Ｓ６２：ＹＥＳ）、画面を超えてしまったウィンドウ全体が画面の範囲内に収まるように移動して調節される（Ｓ６３）。具体的には、ウィンドウの座標位置がディスプレイ２８の内側に収まるまで、ディスプレイ２８のＸ方向又はＹ方向に移動させる。移動調節されたウィンドウの座標は、ウィンドウ位置テーブル３１１１（図７参照）に記憶される。
【００９５】
次いで、ウィンドウとウィンドウとが重なる部分が存在するか否かが判断される（Ｓ６４）。ここでは、ウィンドウ位置テーブル３１１１（図７参照）が参照される。ウィンドウとウィンドウとが重なる部分が存在する場合は（Ｓ６４：ＹＥＳ）、関係性テーブル３１２１（図８参照）が参照され、重なるウィンドウ同士の中で、強調ウィンドウと関係性が低いウィンドウをずらす（Ｓ６５）。そして、再度、Ｓ６４に戻って、ウィンドウとウィンドウとの重なる部分が存在するか否かが判断され、重なる部分が無くなるまで、ウィンドウをずらす（Ｓ６５）。
【００９６】
そして、ウィンドウとウィンドウとの重なる部分が無くなった場合（Ｓ６４：ＮＯ）、ウィンドウの範囲がディスプレイ２８の画面の範囲を超えているか、又は他拠点のウィンドウと重なっているか否かが判断される（Ｓ６６）。ウィンドウの範囲がディスプレイ２８の画面の範囲内であって、かつ他拠点のウィンドウと重なっていない場合は（Ｓ６６：ＮＯ）、現在の表示態様で問題ないので、図１４のＳ１１に戻って処理が繰り返される。
【００９７】
一方、ウィンドウの範囲がディスプレイ２８の画面の範囲を超えていたり、他拠点のウィンドウと重なっている場合（Ｓ６６：ＹＥＳ）、関係性が高いウィンドウが上位に表示されるように表示される（Ｓ６７）。他拠点のウィンドウは自拠点では移動できないので、関係性の高いウィンドウの方を上位に表示することで、使用者が今最も注視しているウィンドウに関係性の高いウィンドウを見ることができる。
【００９８】
上記説明において、図２に示すディスプレイ２８が本発明の「表示画面」に相当する。図４に示すＣＣＤカメラ３８が本発明の「撮影手段」に相当する。図４に示すＣＣＤカメラ３８の撮影画像と、赤外線ライト３７とを使って視線方向を検出するＣＰＵ２０が本発明の「視線方向検出手段」に相当する。関係性テーブル３１２１に記憶された関係性パラメータが本発明の「関係情報」に相当する。図６に示すＨＤＤ３１の関係性テーブル記憶エリア３１２が本発明の「関係情報記憶手段」に相当する。ＲＡＭ２２の視線滞在時間記憶エリア２２１が本発明の「視線滞在時間記憶手段」に相当する。
【００９９】
図１４に示すＳ１３、図１５に示すＳ２６の処理を実行するＣＰＵ２０が本発明の「視線位置特定手段」に相当する。図１４に示すＳ１５、図１５に示すＳ２８の処理を実行するＣＰＵ２０が本発明の「視線先対象ウィンドウ特定手段」に相当する。図１５に示すＳ３１の処理を実行するＣＰＵ２０が本発明の「第１関係情報更新手段」に相当する。図１６に示すＳ４４の処理において、他拠点の関係性パラメータを自拠点に記憶する関係性テーブル３１２１に反映させて更新するＣＰＵ２０が本発明の「第２関係情報更新手段」に相当する。図１４に示すＳ１８の処理を実行するＣＰＵ２０が本発明の「更新回数判断手段」に相当する。図１４に示すＳ１９、Ｓ２０の処理を実行するＣＰＵ２０が本発明の「表示制御手段」に相当する。
【０１００】
以上説明したように、本実施形態である端末装置３を構成要素とするテレビ会議システム１では、各端末装置３〜５の各ディスプレイ２８には、共有するドキュメント画像である複数のウィンドウが表示される。使用者があるウィンドウを長く注視した場合、そのウィンドウを最も拡大して表示させる。さらに拡大させるウィンドウと、それ以外のウィンドウとの関係性を使用者の視線移動に基づいて作成した関係性テーブル３１２１を参照し、関係性の高いウィンドウについても拡大して表示させる。これにより、使用者が最も注目しているウィンドウのみならず、そのウィンドウに関係性のあるウィンドウも強調して表示させることができる。
【０１０１】
なお、本発明は、上記の第１乃至第３実施形態に限定されることなく、種々の変更が可能である。例えば、視線方向を検出する方法については、上記実施形態のみならず、上述した他の従来技術等によっても適用可能である。
【０１０２】
また、上述の実施形態では、ユーザの眼球７２とディスプレイ２８との距離は、一定であると近似され、所定距離Ｌとして予め記憶されていたが、これに限定されるものでは無い。たとえば、遠隔会議開始時や視線方向検出時などに、ユーザの眼球７２とディスプレイ２８との距離を算出し、算出された値を前記所定距離Ｌとして、ディスプレイ２８上のユーザの視線位置Ｔを特定しても良い。所定距離Ｌの算出方法としては、周知の方法が適用可能であるが、たとえば、以下の方法が適用可能である。
【０１０３】
この方法では、予めＣＣＤカメラ３８とユーザ（ユーザの眼球７２）とを所定距離とした状態でユーザを撮影する。撮影されたユーザの画像からユーザの各眼球７２について瞳孔７５の位置をそれぞれ抽出し、抽出された瞳孔７５の間隔を、基準瞳孔間隔として予めＨＤＤ３１に記憶する。一般に、撮影画像における瞳孔間隔は、瞳孔７５とＣＣＤカメラ３８との距離に反比例する。よって、ＣＣＤカメラ３８により撮影された実際の瞳孔間隔と、予め記憶された基準瞳孔間隔とから、ＣＣＤカメラ３８と眼球７２との距離を算出できる。ＣＣＤカメラ３８とディスプレイ２８との位置関係を予めＨＤＤ３１に記憶しておくことにより、ディスプレイ２８と眼球７２との距離を算出することができ、算出された値を所定距離Ｌとして用いることができる。
【０１０４】
また、上記実施形態では、ディスプレイ２８に表示されたウィンドウを強調して表示させるために、ウィンドウのサイズを大きくして表示させたが、例えば、ウィンドウのコントラストを調節することで強調させてもよい。「コントラスト」とは、最も暗い部分と、最も明るい部分の輝度の差をいう。「輝度」は、平面状の光源がある方向に単位立体角あたりに放射する光の光源における単位面積あたりの明るさ（ｃｄ／ｍ２）である。この輝度を調節することで、関係性の高いウィンドウを明るくし、関係性の低いウィンドウを暗く表示させる。つまり、明るくするウィンドウと暗くするウィンドウとの比率を、関係性パラメータに従って調節することで、関係性の高いウィンドウを強調させることができる。
【０１０５】
また、上記実施形態のテレビ会議システム１では、ＭＣＵ７のＨＤＤ７１の関係性テーブルＤＢ記憶エリア７１１に、各拠点の端末装置３〜５で作成された関係性テーブル３１２１を記憶している。関係性テーブル３１２１に各ウィンドウ間の関係性が反映されていない場合は、ＭＣＵ７に接続して、関係性テーブルＤＢ記憶エリア７１１から他拠点の関係性テーブル３１２１を参照する。これとは別に、例えば、他拠点の関係性パラメータを参照したい場合に、他拠点の端末装置から直接もらうようにしてもよい。
【０１０６】
そこで、本発明の変形例として、他拠点の端末装置から関係性テーブル３１２１を直接もらうことができる端末装置について、図３２，図３３のフローチャートを参照して説明する。なお、本変形例である端末装置は、上記実施形態と同じ構成であって、ＣＰＵ２０が実行する関係性パラメータ参照処理（図１６参照）のＳ４４に該当する処理が異なるのみである。即ち、図１６のＳ４３において、関係性パラメータの最大値と最小値との差が５以内であって、関係性が十分反映されていない場合に、他端末に関係性パラメータを要求する「関係性パラメータ要求処理」が実行される。これに対し、他端末から関係性パラメータが要求された場合に、関係性パラメータを送信する「関係性パラメータ送信処理」が実行される。
【０１０７】
まず、ＣＰＵ２０によって実行される関係性パラメータ要求処理について、図３２を参照して説明する。他の端末装置に対して要求信号が送信される（Ｓ７１）。要求信号は、ウィンドウ毎に記憶された関係性パラメータをウィンドウ毎に要求するものである。要求信号が各端末装置に送信されると、要求信号を受信した端末装置において記憶する関係性テーブル３１２１から関係性パラメータのデータが取得され、そのデータが送信される。そこで、自拠点側では、関係性パラメータのデータを受信したか否かが判断される（Ｓ７２）。関係性パラメータのデータを受信するまでは（Ｓ７２：ＮＯ）、引き続き、関係性パラメータのデータの受信が監視される。
【０１０８】
そして、関係性パラメータのデータを受信した場合（Ｓ７２：ＹＥＳ）、そのデータをＨＤＤ３１に記憶された関係性テーブル３１２１に反映させて更新される（Ｓ７３）。こうして、他拠点の関係性パラメータを利用することができる。なお、受信した関係性パラメータを、ＲＡＭ２２に一旦記憶し、参照できる程度に最大値と最小値との間に差がある関係性パラメータを取得すればよい。この方法については、上記実施形態と同様である。
【０１０９】
次に、ＣＰＵ２０によって実行される関係性パラメータ送信処理について、図３３を参照して説明する。関係性パラメータ送信処理は所定周期毎に絶えず実行される。まず、他拠点の端末装置から要求信号を受信したか否かが判断される（Ｓ８１）。要求信号を受信しない場合（Ｓ８１：ＮＯ）は処理を終了する。要求信号を受信した場合（Ｓ８１：ＹＥＳ）、関係性テーブル３１２１から要求信号に応じたウィンドウの関係性パラメータのデータが取得され、そのデータが要求信号を送信した端末装置に送信される（Ｓ８２）。そして、処理を終了する。
【０１１０】
このようにして、他拠点で作成された関係性テーブル３１２１から所望の関係性パラメータを取得することができる。
【０１１１】
なお、本変形例において、図３２のＳ７１の処理を実行するＣＰＵ２０が本発明の「要求信号送信処理」に相当する。図３３のＳ８１の処理を実行するＣＰＵ２０が本発明の「要求信号受信処理」に相当する。図３２のＳ７３の処理を実行する本発明のＣＰＵ２０が本発明の「第２関係情報更新手段」に相当する。
【符号の説明】
【０１１２】
１  テレビ会議システム
２  ネットワーク
３  端末装置
４  端末装置
５  端末装置
７  多地点接続装置
２０  ＣＰＵ
２１  ＲＯＭ
２２  ＲＡＭ
２８  ディスプレイ
３１  ハードディスクドライブ（ＨＤＤ）
３４  カメラ
３７  赤外線ライト
３８  ＣＣＤカメラ
９０  関係性パラメータ
３１２１  関係性テーブル
【図１】
2010237884.tif 000003
【図２】
2010237884.tif 000004
【図３】
2010237884.tif 000005
【図４】
2010237884.tif 000006
【図５】
2010237884.tif 000007
【図６】
2010237884.tif 000008
【図７】
2010237884.tif 000009
【図８】
2010237884.tif 000010
【図９】
2010237884.tif 000011
【図１０】
2010237884.tif 000012
【図１１】
2010237884.tif 000013
【図１２】
2010237884.tif 000014
【図１３】
2010237884.tif 000015
【図１４】
2010237884.tif 000016
【図１５】
2010237884.tif 000017
【図１６】
2010237884.tif 000018
【図１７】
2010237884.tif 000019
【図１８】
2010237884.tif 000020
【図１９】
2010237884.tif 000021
【図２０】
2010237884.tif 000022
【図２１】
2010237884.tif 000023
【図２２】
2010237884.tif 000024
【図２３】
2010237884.tif 000025
【図２４】
2010237884.tif 000026
【図２５】
2010237884.tif 000027
【図２６】
2010237884.tif 000028
【図２７】
2010237884.tif 000029
【図２８】
2010237884.tif 000030
【図２９】
2010237884.tif 000031
【図３０】
2010237884.tif 000032
【図３１】
2010237884.tif 000033
【図３２】
2010237884.tif 000034
【図３３】
2010237884.tif 000035