(57)【要約】【課題】第１ユーザーの視線を、表示画像における第２ユーザーが指示する部分画像に誘導する。【解決手段】表示システムは、表示領域に表示される画像における第１ユーザーが注視する注視位置を判定する判定部と、画像における第２ユーザーが指定する部分画像の情報を取得する情報取得部と、表示領域に前記画像を表示中において判定される注視位置と部分画像の領域の情報とに基づき、部分画像が前記第１ユーザーにより注目されているか否かを判断する判断部と、を備え、部分画像は注目されていないと判断された場合に、表示領域において部分画像に視線を誘導するための誘導画像を表示する。【選択図】図６
2018077417.tif 000002
【特許請求の範囲】
【請求項１】
表示領域に表示される画像における第１ユーザーが注視する注視位置を判定する判定部と、
前記画像における第２ユーザーが指定する部分画像の情報を取得する情報取得部と、
前記表示領域に前記画像を表示中において判定される前記注視位置と前記部分画像の領域の情報とに基づき、前記部分画像が前記第１ユーザーにより注目されているか否かを判断する判断部と、を備え、
前記部分画像は注目されていないと判断された場合に、前記表示領域において前記部分画像に視線を誘導するための誘導画像を表示する、表示システム。
【請求項２】
前記表示領域は、前記第１ユーザーに対して前記画像を表示する第１表示領域と、前記第２ユーザーに対して前記画像を表示する第２表示領域と、を含み、
前記判定部は、前記第１表示領域における第１ユーザーが注視する注視位置を判定し、
前記情報取得部は、前記第２表示領域に表示される画像における第２ユーザーが指定する部分画像の情報を取得し、
前記判断部は、前記第１表示領域に前記画像を表示中において判定される前記注視位置と前記部分画像の領域の情報とに基づき、前記部分画像が前記第１ユーザーにより注目されているか否かを判断し、
前記表示システムは、
前記部分画像は注目されていないと判断された場合に、前記第１表示領域において前記誘導画像を表示する、請求項１に記載の表示システム。
【請求項３】
前記表示領域は、前記画像を表示するための画面上の領域、または前記画像を投影するための投影面上の領域を含む、請求項１または２に記載の表示システム。
【請求項４】
前記情報取得部は、
前記表示領域の画像が示す情報のうち、前記第２ユーザーが発話する音声にマッチングする部分情報を検出するマッチング部と、
前記第２ユーザーの視線情報を取得する視線取得部と、を有し、
前記第２ユーザーが指定する部分画像は、取得される視線情報に基づく前記表示領域における注視位置に対応する部分画像、またはポインタ画像が重畳表示される部分画像、または前記音声とマッチングする部分情報を表示する部分画像を含む、請求項２または３に記載の表示システム。
【請求項５】
前記第１ユーザーの前記表示領域に向けられた視線を示す視線情報を検出する視線検出部と、をさらに備え、
前記判定部は、検出された前記視線情報から前記注視位置を判定する、請求項１から４のいずれか１項に記載の表示システム。
【請求項６】
前記判断部は、
前記注視位置と前記部分画像の領域との距離または当該領域に前記注視位置が存在した時間の少なくとも一方に基づき、前記注目がなされているか否かを判断する、請求項１から５のいずれか１項に記載の表示システム。
【請求項７】
前記画像における前記注視位置の移動経路の履歴を取得する経路取得部を、さらに含み、
前記移動経路が、前記注視位置は前記画像の前記部分画像の領域を通過した履歴を示す場合は、前記誘導画像を非表示にする、請求項１から６のいずれか１項に記載の表示システム。
【請求項８】
前記移動経路の履歴が、前記注視位置は前記部分画像の領域を通過したことを示さないときは、前記誘導画像を表示する、請求項７に記載の表示システム。
【請求項９】
前記誘導画像の種類は、前記部分画像に向けられた矢印の画像、または前記部分画像の方向へ移動するカーソルの画像、または前記部分画像を強調する画像、または前記部分画像が表す情報をポップアップ表示する画像を含む、請求項１から８のいずれか１項に記載の表示システム。
【請求項１０】
前記表示領域のサイズに基づき、表示される前記誘導画像の種類を変更する、請求項９に記載の表示システム。
【請求項１１】
表示制御方法をコンピュータに実行させるためのプログラムであって、
前記表示制御方法は、
表示領域に表示される画像における第１ユーザーが注視する注視位置を取得するステップと、
前記画像における第２ユーザーが指定する部分画像の情報を取得するステップと、
前記表示領域に前記画像を表示中において取得される前記注視位置と前記部分画像の領域の情報とに基づき、前記部分画像が前記第１ユーザーにより注目されているか否かを判断するステップと、
前記部分画像は注目されていないと判断された場合に、前記表示領域において前記部分画像に視線を誘導するための画像を表示するステップと、を備える、プログラム。
【請求項１２】
表示領域に表示される画像における第１ユーザーが注視する注視位置を取得するステップと、
前記画像における第２ユーザーが指定する部分画像の情報を取得するステップと、
前記表示領域に前記画像を表示中において取得される前記注視位置と前記部分画像の領域の情報とに基づき、前記部分画像が前記第１ユーザーにより注目されているか否かを判断するステップと、
前記部分画像は注目されていないと判断された場合に、前記表示領域において前記部分画像に視線を誘導するための画像を表示するステップと、を備える、表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この開示は、表示システム、プログラムおよび表示制御方法に関し、特に、表示画像に対するユーザーの注目を促すための表示システム、プログラムおよび表示制御方法に関する。
【背景技術】
【０００２】
発表者がプレゼンテーションを行う際には、ホワイトボードやポスターなどのアナログ情報の資料または専用アプリケーションおよび会議向けソリューションなどのデジタル資料を用いることが多い。参加者は、発表者が提示するプレゼン資料を見ながら、発表を聴講する。
【０００３】
情報を出力し、出力される情報に対してユーザーの注目を促すための技術として、例えば特許文献１（特開２０００−１８４３４５号公報）は、ユーザーが参加者と共有する情報において、ユーザーの音声及び映像からユーザーの注目情報を抽出し、抽出した注目情報を他の参加者に伝達するマルチモーダルコミュニケーションシステムを開示する。
【０００４】
また、特許文献２（特開２０１５−１９１５５４号公報）は、撮影画像からユーザーが注目する対象を決定し、決定された対象に、ユーザーの視線を誘導する電子機器を開示する。
【０００５】
また、特許文献３は（特開２０００−３３９３０９号公報）は、視線追尾手段によってユーザーが注目している画面上の入力情報を文字列に変換する文字列解析装置を開示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−１８４３４５号公報
【特許文献２】特開２０１５−１９１５５４号公報
【特許文献３】特開２０００−３３９３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
プレゼンテーションを行う発表者は、プレゼンテーションの効果を得るために、発表者が提示する情報に、参加者の視線を誘導したいとの要望がある。上記の各特許文献では、このような視線を誘導するための構成は提供されていない。
【０００８】
この開示は、第１ユーザーの視線を、表示画像における第２ユーザーが指示する部分画像に誘導することが可能な表示システム、プログラムおよび表示制御方法を提供することである。
【課題を解決するための手段】
【０００９】
この開示のある局面に従う表示システムは、表示領域に表示される画像における第１ユーザーが注視する注視位置を判定する判定部と、画像における第２ユーザーが指定する部分画像の情報を取得する情報取得部と、表示領域に画像を表示中において判定される注視位置と部分画像の領域の情報とに基づき、部分画像が第１ユーザーにより注目されているか否かを判断する判断部と、を備え、部分画像は注目されていないと判断された場合に、表示領域において部分画像に視線を誘導するための誘導画像を表示する。
【００１０】
好ましくは、表示領域は、第１ユーザーに対して画像を表示する第１表示領域と、第２ユーザーに対して画像を表示する第２表示領域と、を含み、判定部は、第１表示領域における第１ユーザーが注視する注視位置を判定し、情報取得部は、第２表示領域に表示される画像における第２ユーザーが指定する部分画像の情報を取得し、判断部は、第１表示領域に画像を表示中において判定される注視位置と部分画像の領域の情報とに基づき、部分画像が第１ユーザーにより注目されているか否かを判断し、表示システムは、部分画像は注目されていないと判断された場合に、第１表示領域において誘導画像を表示する。
【００１１】
好ましくは、表示領域は、画像を表示するための画面上の領域、または画像を投影するための投影面上の領域を含む。
【００１２】
好ましくは、情報取得部は、表示領域の画像が示す情報のうち、第２ユーザーが発話する音声にマッチングする部分情報を検出するマッチング部と、第２ユーザーの視線情報を取得する視線取得部と、を有し、第２ユーザーが指定する部分画像は、取得される視線情報に基づく表示領域における注視位置に対応する部分画像、またはポインタ画像が重畳表示される部分画像、または音声とマッチングする部分情報を表示する部分画像を含む。
【００１３】
好ましくは、第１ユーザーの表示領域に向けられた視線を示す視線情報を検出する視線検出部と、をさらに備え、判定部は、検出された視線情報から注視位置を判定する。
【００１４】
好ましくは、判断部は、注視位置と部分画像の領域との距離または当該領域に注視位置が存在した時間の少なくとも一方に基づき、注目がなされているか否かを判断する。
【００１５】
好ましくは、画像における注視位置の移動経路の履歴を取得する経路取得部を、さらに含み、移動経路が、注視位置は画像の部分画像の領域を通過した履歴を示す場合は、誘導画像を非表示にする。
【００１６】
好ましくは、移動経路の履歴が、注視位置は部分画像の領域を通過したことを示さないときは、誘導画像を表示する。
【００１７】
好ましくは、誘導画像の種類は、部分画像に向けられた矢印の画像、または部分画像の方向へ移動するカーソルの画像、または部分画像を強調する画像、または部分画像が表す情報をポップアップ表示する画像を含む。
【００１８】
好ましくは、表示領域のサイズに基づき、表示される誘導画像の種類を変更する。
この開示の他の局面では、表示制御方法をコンピュータに実行させるためのプログラムが提供される。表示制御方法は、表示領域に表示される画像における第１ユーザーが注視する注視位置を取得するステップと、画像における第２ユーザーが指定する部分画像の情報を取得するステップと、表示領域に画像を表示中において取得される注視位置と部分画像の領域の情報とに基づき、部分画像が第１ユーザーにより注目されているか否かを判断するステップと、部分画像は注目されていないと判断された場合に、表示領域において部分画像に視線を誘導するための画像を表示するステップと、を備える。
【００１９】
この開示の他の局面に係る表示制御方法は、表示領域に表示される画像における第１ユーザーが注視する注視位置を取得するステップと、画像における第２ユーザーが指定する部分画像の情報を取得するステップと、表示領域に画像を表示中において取得される注視位置と部分画像の領域の情報とに基づき、部分画像が前記第１ユーザーにより注目されているか否かを判断するステップと、部分画像は注目されていないと判断された場合に、表示領域において部分画像に視線を誘導するための画像を表示するステップと、を備える。
【発明の効果】
【００２０】
この開示によれば、第１ユーザーの視線を、表示画像における第２ユーザーが指示する部分画像に誘導することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】実施の形態１に係るプレゼンテーションシステムの構成を概略的に示す図である。
【図２】実施の形態１に係るプレゼンテーションシステムの利用態様の一例を模式的に示す図である。
【図３】実施の形態１に係る誘導画像の表示例を示す図である。
【図４】実施の形態１に係る参加側端末３００のハードウェア構成の具体例を示す図である。
【図５】実施の形態１に係る発表側端末２００のハードウェア構成の具体例を示す図である。
【図６】実施の形態１に係る発表側端末２００が有する機能の構成を模式的に示す図である。
【図７】実施の形態１に係る参加側端末３００が有する機能の構成を模式的に示す図である。
【図８】実施の形態１に係る視線と注視位置を説明する図である。
【図９】実施の形態１に係る発表側端末２００の処理フローチャートである。
【図１０】実施の形態１に係る参加側端末３００の処理フローチャートである。
【図１１】実施の形態２に係る注視位置の移動経路を説明する図である。
【図１２】実施の形態２に係る注視位置の移動経路を説明する図である。
【図１３】実施の形態２に係る注視位置の移動経路を説明する図である。
【図１４】実施の形態３に係る注視位置の移動経路を説明するための図である。
【図１５】参加側端末３００の他の例を示す図である。
【発明を実施するための形態】
【００２２】
実施の形態について、以下、図面を参照しながら説明する。同一の部品および相当部品には同一の参照番号を付し、重複する説明は繰り返さない場合がある。
【００２３】
各実施の形態では、発表者と参加者は同じ画像を共有し得る。発表者は、画像において、参加者の視線による注目がなされるべき部分画像を指示する者である。参加者は「第１ユーザー」の一実施例であり、発表者は「第２ユーザー」の一実施例である。
【００２４】
各実施の形態では、画像を表示中に、参加者の視線情報から注視位置が判定されて、注視位置に基づき発表者が注目してほしい部分画像に注目がなされていないと判断されたときは、第２ユーザーの視線を部分画像に誘導するための誘導画像が表示される。
【００２５】
[実施の形態１]
図１は、実施の形態１に係るプレゼンテーションシステムの構成を概略的に示す図である。プレゼンテーションシステムは、「表示システム」の一実施例である。図１を参照して、プレゼンテーションシステムは、主に、発表者により使用される発表側端末２００および参加者により操作される１または複数の参加側端末３００を備える。発表側端末２００と各参加側端末３００は、ネットワークＮＴを介して相互に通信する。ネットワークＮＴは、有線または無線の各種の通信回線を含み得る。実施の形態１では、発表側端末２００により表示される画像と、参加側端末３００により表示される画像とは同一内容を示す。
【００２６】
（利用態様）
図２は、実施の形態１に係るプレゼンテーションシステムの利用態様の一例を模式的に示す図である。図２を参照して、発表者は、発表側端末２００により表示領域Ｓに画像を表示する。発表側端末２００は、表示領域Ｓに表示される画像のデータを、ネットワークＮＴまたは外部ネットワークを介して、参加側端末３００のそれぞれに送信可能である。参加側端末３００は、発表側端末２００から受信するデータに従いディスプレイ３６に画像を表示する。したがって、発表者と参加者は、同時に同じ画像を閲覧することができる。
【００２７】
（発表者の注視位置と部分画像）
発表者は、表示領域Ｓに表示されている画像において部分画像Ｃを指示する。部分画像Ｃは、たとえば発表者が参加者に注目してもらいたい情報を示す。実施の形態１では、部分画像Ｃは、発表者の注視位置ＧＰを中心とした半径Ｒの円内の画像として規定するが、規定方法はこれに限定されない。実施の形態１では、注視位置ＧＰは、発表者の表示領域Ｓに向けられた視線に基づく位置、指示体（指、ポインタ等）が指し示す位置、後述するように発話の音声が指示する情報が表示される位置を含み得るが、これらに限定されない。
【００２８】
発表者の視線により注視されることにより、または指示体を用いることにより注視位置ＧＰが検出される場合は、発表側端末２００に接続可能なカメラ２０１（後述する）による撮像画像に基づき、表示領域Ｓにおける注視位置ＧＰが検出される。カメラ２０１は、表示領域に向けられた発表者を（主に、顔部分）を撮影可能なように配置されている。
【００２９】
また、発表者が発話する音声により注視位置ＧＰが検出される場合は、音声を用いたマッチング処理が実施される。マッチング処理では、発表側端末２００はマイク２４（後述する）により、発表者の発話による音声を収集する。そして、発表側端末２００は、音声をテキストデータに変換し、変換後のテキストデータ（文字列等）を用いたマッチング処理を実施する。例えば、発表側端末２００は、変換後のテキストデータに基づき、表示領域Ｓに表示中の画像が表す文字列等の情報を検索し、検索の結果に基づき、合致する文字列を抽出し、抽出された文字列の表示位置を注視位置ＧＰと特定（検出）する。
【００３０】
発表側端末２００は、部分画像Ｃの情報を参加側端末３００に送信する。参加側端末３００は、発表側端末２００から受信する情報に基づき、ディスプレイ３６の表示中の画像において、部分画像に視線を誘導するための誘導画像Ｒ１（図３参照）を表示する。
【００３１】
（参加者の注視位置と誘導画像）
図３は、実施の形態１に係る誘導画像Ｒ１の表示例を示す図である。図３を参照して、誘導画像Ｒ１は、ディスプレイ３６の画像を閲覧する参加者の視線（より特定的には、参加者の注視位置Ｃ１）を部分画像Ｃ２（部分画像Ｃに対応）に誘導する（注目させる）ために表示される画像である。誘導画像Ｒ１の種類としては、例えば、注視位置Ｃ１から部分画像Ｃ２の方向に向けられた矢印の画像、または部分画像Ｃ２の方向へ移動するカーソルの画像、または部分画像Ｃ２を強調する画像、または部分画像Ｃ２において表される情報（文字列等）を、部分画像Ｃ２の付近でポップアップ表示される画像等を含む。なお、誘導画像Ｒ１は、表示された場合に参加者の視線を誘導可能な画像であればよく、種類はこれらに限定されない。
【００３２】
実施の形態１では、発表者が閲覧する画像の表示領域（図２では、表示領域Ｓに相当）は、発表側端末２００が備えるディスプレイの画面、または発表側端末２００に接続されたプロジェクター２０２（後述する）によって画像が投影される投影面２０３（後述する）などを含み得る。また、参加者が閲覧する画像の表示領域は、図２のディスプレイ３６の画面、または参加側端末３００が接続可能なプロジェクター３８Ｂ（後述する）によって画像が投影される投影面３８Ｃ（後述する）などを含み得る。
【００３３】
実施の形態１では、誘導画像Ｒ１の上述の種類は、画像の表示領域のサイズに基づき、変更してもよい。例えば、プロジェクター３８Ｂのような大画面ではなく、パーソナルコンピュータ等のディスプレイ３６のような比較的小さい画面では、誘導画像Ｒ１は、ポップアップ画像であってもよい。
【００３４】
（参加側端末３００の構成）
図４は、実施の形態１に係る参加側端末３００のハードウェア構成の具体例を示す図である。図４を参照して、参加側端末３００は、全体を制御する制御部に相当するＣＰＵ（Central Processing Unit）３０、ＣＰＵ３０で実行されるプログラムおよびデータを記憶するためのＲＯＭ（Read  Only  Memory）３１およびＲＡＭ（Random  Access  Memory）３２、プロジェクターＩ／Ｆ（インターフェイス略）３３、参加側端末３００に対するユーザー（参加者）の指示を受付けるための操作部３４、ネットワークＮＴを介した通信を制御する通信コントローラ３５、ディスプレイ３６を制御する表示制御部３８を含む。さらに、参加側端末３００は、カメラ３７およびメモリインターフェイス３９を含む。
【００３５】
プロジェクターＩ／Ｆ３３は、投影面３３Ｂに画像を投影するプロジェクター３３Ａを接続する。通信コントローラ３５は、モデム回路および増幅回路などを含む。
【００３６】
メモリインターフェイス３９は、記憶媒体の一例であるメモリカード４０が着脱自在に装着される。メモリインターフェイス３９は、ＣＰＵ３０により制御されて、メモリカード４０にデータを書込む回路、またはメモリカード４０からデータを読出す回路を含む。
【００３７】
（発表側端末２００の構成）
図５は、実施の形態１に係る発表側端末２００のハードウェア構成の具体例を示す図である。図５を参照して、発表側端末２００は、全体を制御する制御部に相当するＣＰＵ（Central Processing Unit）２０、ＣＰＵ２０により実行されるプログラムおよびデータを記憶するためのＲＯＭ（Read Only Memory）２１およびＲＡＭ（Random Access Memory）２２、ディスプレイ２３、ユーザーが発表側端末２００に情報を入力するために操作する操作パネル２５、ディスプレイ２３を制御する表示制御部２６、ネットワークＮＴを介した通信を実施するための通信コントローラ２７、ならびにメモリインターフェイス２８を備える。また、発表側端末２００は、マイク２４、カメラ２０１、投影面２０３に画像を投影するプロジェクター２０２を接続するプロジェクターＩ／Ｆ（インターフェイスの略）２６Ａを備える。
【００３８】
ディスプレイ２３と操作パネル２５は、一体的に構成されたタッチパネルとして提供されてもよい。通信コントローラ２７は、通信するためのモデム回路、増幅回路などを含む。表示制御部２６は、表示データに基づきディスプレイ２３を駆動する駆動回路を含む。
【００３９】
メモリインターフェイス２８は、記憶媒体の一例であるメモリカード２９が着脱自在に装着される。メモリインターフェイス２８は、ＣＰＵ２０により制御されて、メモリカード２９にデータを書込む回路、またはメモリカード２９からデータを読出す回路を含む。
【００４０】
（発表側端末２００の機能構成）
図６は、実施の形態１に係る発表側端末２００が有する機能の構成を模式的に示す図である。図６に示され各部は、ＣＰＵ２０が実行するプログラムまたはプログラムと回路の組合せにより実現される。
【００４１】
図６を参照して、ＣＰＵ２０は、通信コントローラ２７を介した参加側端末３００との通信処理を実施する通信処理部４１および画像の表示処理部５０を備える。
【００４２】
通信処理部４１は、参加側端末３００から参加者の注視位置の情報を受信する。具体的には、参加側端末３００は、表示領域（ディスプレイ３６または投影面３３Ｂ）に画像を表示中に、参加者の注視位置を判定し、判定された注視位置を示す情報を発表側端末２００に送信する。
【００４３】
表示処理部５０は、視線検出部５１、位置判定部５２、決定部５３、注目判断部５４、生成部５５および経路取得部５６を備える。
【００４４】
視線検出部５１は、発表者の視線を検出する。位置判定部５２は、発表者が注視する注視位置ＧＰを判定する。位置判定部５２は、視線情報から注視位置ＧＰを判定する機能と、上述のマッチング処理により注視位置ＧＰを判定するマッチング部５２Ａを含む。
【００４５】
決定部５３は、表示領域（ディスプレイ２３または投影面２０３）に画像を表示する場合に、判定された注視位置ＧＰに基づき、表示画像における部分画像Ｃを決定し、部分画像Ｃを示す情報を出力する。
【００４６】
注目判断部５４は、通信処理部４１によって受信された参加者の注視位置の情報に基づき、参加者が、決定部５３により決定された部分画像Ｃに注目しているか否かを判断する。
【００４７】
生成部５５は、注目判断部５４が参加者は部分画像Ｃに注目していないと判断した場合に、ディスプレイ３６または投影面３３Ｂの表示領域において部分画像Ｃに視線を誘導するための誘導画像Ｒ１（図３参照）を表示するための画像データを生成する。生成された画像データは、通信処理部４１を介して参加側端末３００に送信される。
【００４８】
参加側端末３００は、発表側端末２００から受信した画像データを表示制御部３８またはプロジェクターＩ／Ｆ３３に出力する。表示制御部３８は画像データに従いディスプレイ３６を駆動する。これにより、ディスプレイ３６で表示中の画像における部分画像Ｃ２（部分画像Ｃに対応）に視線を誘導するための誘導画像Ｒ１が表示される。また、同様に、プロジェクターＩ／Ｆ３３は画像データに従いプロジェクター３３Ａを制御する。これにより、投影面３３Ｂで表示中の画像において、部分画像Ｃ２に視線を誘導するための誘導画像Ｒ１が表示される。
【００４９】
経路取得部５６は、参加側端末３００から受信する参加者の注視位置の情報を、予め定められた周期でサンプリングすることにより、時系列に並んだ位置情報の履歴からなる移動経路を検出する。
【００５０】
（参加側端末３００の機能構成）
図７は、実施の形態１に係る参加側端末３００が有する機能の構成を模式的に示す図である。図７に示された各部は、ＣＰＵ３０が実行するプログラムまたはプログラムと回路の組合せにより実現される。
【００５１】
図７を参照して、ＣＰＵ３０は、画像の表示処理部６０および通信処理部７０を備える。表示処理部６０は、情報取得部６３を含む。情報取得部６３は、視線検出部６１および位置判定部６２を有する。表示処理部６０は、表示用の画像データを生成し、表示制御部３８またはプロジェクターＩ／Ｆ３３に出力する。通信処理部７０は、通信コントローラ３５を介した発表側端末２００との通信処理を実施する。
【００５２】
情報取得部６３は、ディスプレイ３６または投影面３３Ｂの表示領域（発表側端末２００の表示領域とは異なる表示領域）に画像が表示される場合に、表示される画像における参加者の注視位置の情報を取得する。具体的には、視線検出部６１は、参加者の視線情報を検出し、位置判定部６２は、視線情報に基づき、表示中の画像における注視位置を判定する。
【００５３】
通信処理部７０は、参加者の注視位置の情報を発表側端末２００に送信するための送信用データを生成し、生成されたデータを通信コントローラ２７に出力する。これにより、参加側端末３００は、ディスプレイ３６または投影面３３Ｂに表示される画像において、参加者の注視位置を示す情報を発表側端末２００に送信することができる。
【００５４】
（視線と注視位置の検出）
図８は、実施の形態１に係る視線と注視位置を説明する図である。実施の形態１では、発表者が、表示領域Ｓ（ディスプレイ２３または投影面２０３）に顔を向けている場合に、発表者の顔がカメラ２０１によって撮像される。同様に、参加者が、表示領域Ｓ（ディスプレイ３６または投影面３３Ｂ）に顔を向けている場合に、参加者の顔はカメラ３７によって撮像される。まず、発表者の視線と注視位置を検出する方法を説明する。カメラ２０１および３７は、赤外線カメラを含む。
【００５５】
視線検出部５１は、カメラ２０１からの出力（画像信号）を、例えば、赤外線カメラの出力を角膜反射法に従い処理することにより、発表者の視線方向を検出する。角膜反射法は周知の技術であるので、ここでは説明を繰返さない。また、視線検出部５１は、カメラ２０１の出力に含まれるステレオ画像信号から、視点の視差を検出し、検出した視差から視点位置Ｅ、すなわち３次元位置（Ｘ，Ｙ，Ｚの３次元座標）を算出する。
【００５６】
位置判定部５２は、視線方向（β度）と、視点位置Ｅとから仮想平面（表示領域Ｓに相当）上の注視位置ＧＰを判定する。注視位置ＧＰは、視点位置Ｅから視線方向に直線を引いたときに表示領域Ｓと交わる点に対応する。
【００５７】
決定部５３は、画像において、注視位置ＧＰを中心点とした半径Ｒの円内に含まれる画像を部分画像Ｃと決定し、判定した部分画像Ｃの情報を出力する。具体的には、決定部５３は、表示される画像のビットマップデータにおいて、予め定められた演算式に従い、注視位置ＧＰをビットマップ上の位置（座標位置）に換算する。決定部５３は、算出されたビットマップ上における注視位置ＧＰを中心点とした半径Ｒの円部分のビットマップ上の位置（座標位置）を判定し、判定された半径Ｒの円内のビットマップ上の位置を示す情報を、部分画像Ｃの情報として出力する。なお、部分画像Ｃの半径Ｒは可変であってよい。
【００５８】
参加側端末３００の参加者の注視位置の情報についても、視線検出部６１および位置判定部６２により図８と同様に、画像のビットマップデータ上の位置（座標位置）として取得することができるので、ここでは説明を繰返さない。参加側端末３００は、判定される参加者の注視位置の情報を、発表側端末２００に送信する。
【００５９】
（発表側端末２００の処理フロー）
図９は、実施の形態１に係る発表側端末２００の表示制御方法の処理フローチャートである。フローチャートに従うプログラムは、ＲＯＭ２１等に格納される。ＣＰＵ２０が、プログラムを読出し、実行することにより処理が実現される。なお、ここでは説明を簡単にするために、発表側端末２００の表示領域に表示される画像のサイズ（倍率）と、参加側端末３００の表示領域に表示される画像のサイズ（倍率）は等しいと想定する。
【００６０】
まず、発表側端末２００により表示領域（ディスプレイ２３または投影面２０３）に画像が表示されて、発表が開始される。この画像は、参加側端末３００の表示領域（ディスプレイ３６または３３Ｂ）にも表示される。発表側端末２００では、発表中は、視線検出部５１、位置判定部５２および決定部５３により、発表者の注視位置に基づく部分画像Ｃの情報が定期的に検出される。
【００６１】
まず、通信処理部４１は、参加側端末３００から参加者の注視位置の情報を受信し、表示処理部５０に出力する（ステップＳ３）。
【００６２】
注目判断部５４は、参加側端末３００から受信する参加者の注視位置の情報と、決定部５３により決定された部分画像Ｃのエリアの情報とを比較し、比較の結果に基づき、参加者の注視位置が部分画像Ｃから所定距離外れて（離れて）いるか否かを判断する（ステップＳ５）。注目判断部５４が、所定距離外れていないと判断した場合は（ステップＳ５でＮＯ）、ステップＳ３に戻る。このように、実施の形態１では、部分画像Ｃから所定距離の範囲内を、部分画像Ｃに対応の部分領域ともいう。この所定距離は、より特定的には注視位置ＧＰからの距離（所定距離＞Ｒ）でもある。
【００６３】
なお、部分画像Ｃに対応の部分領域は、部分画像Ｃ自体が占有する領域であってもよい。その場合には、上記の所定距離は、半径Ｒに等しくなる。
【００６４】
一方、注目判断部５４が、参加者の注視位置が部分画像Ｃに対応の部分領域にない（所定距離外れている）と判断した場合は（ステップＳ５でＹＥＳ）、注目判断部５４は、所定距離外れていると継続して判断された時間が所定時間内であるか否かを判断する（ステップＳ７）。この継続時間が所定時間内であると判断された時は（ステップＳ７でＹＥＳ）、ステップＳ３に戻る。
【００６５】
一方、上記の継続時間が、所定時間を越えていると判断された時は（ステップＳ７でＮＯ）、位置判定部５２は、カメラ２０１の撮像画像を用いた画像マッチング処理等により、発表者がポインタ等の指示体で注視位置ＧＰを指定しているかを判定する（ステップＳ９）。ポインタ等の指示体で注視位置ＧＰが指定されていないと判定すると（ステップＳ９でＮＯ）、ＣＰＵ２０は、カメラ２０１の撮像画像を用いた画像マッチング処理等により、発表者が表示画像を見ているか否かを判断する（ステップＳ１１）。例えば、カメラ２０１の撮像画像の発表者の画像から、発表者が表示画像を見ている姿勢であるか否かを、画像マッチング処理により判断することができる。
【００６６】
ポインタ等の指示体で注視位置ＧＰが指定されている、または発表者が表示画像を見ていると判断されると（ステップＳ９でＹＥＳ、またはステップＳ１１でＹＥＳ）、位置判定部５２により判定された発表者の注視位置ＧＰに基づき、部分画像Ｃの情報が決定する（ステップＳ１５）。
【００６７】
また、発表者が表示画像を見ていないと判断されると（ステップＳ１１でＮＯ）、マッチング部５２Ａは、発表者の発話による音声を用いたマッチング処理を実施して、発表者の注視位置ＧＰを判定する（ステップＳ１３）。決定部５３は、マッチング処理により判定された発表者の注視位置ＧＰに基づき、部分画像Ｃの情報を決定する（ステップＳ１５）。
【００６８】
生成部５５は、発表者が注視する部分画像Ｃに参加者の視線を誘導するための誘導画像Ｒ１を表示するための画像データを生成し、通信処理部４１を介して参加側端末３００に送信する（ステップＳ１７）。このとき、発表側端末２００の表示領域において、部分画像Ｃに視線を誘導するための誘導画像Ｒ１が表示されてもよい。
【００６９】
通信処理部４１は、参加側端末３００から注視位置の情報を受信する（ステップＳ１８）。注目判断部５４は、受信された参加者の注視位置の情報と、部分画像Ｃのエリアの情報とを比較し、参加者の注視位置が部分画像Ｃに対応の部分領域内にあるか否かを判断する（ステップＳ９）。
【００７０】
注目判断部５４が、参加者の注視位置は、部分画像Ｃに対応の部分領域内にないと判断すると（ステップＳ１９でＮＯ）、ステップＳ１に戻る。一方、注目判断部５４が、参加者の注視位置は、部分画像Ｃに対応の部分領域内に在ると判断すると（ステップＳ１９でＹＥＳ）、ＣＰＵ２０は、誘導画像Ｒ１を非表示（誘導画像Ｒ１の消去）とするための非表示指令、通信処理部４１を介して、参加側端末３００に送信する（ステップＳ２１）。
【００７１】
ＣＰＵ２０は、操作パネル２５からの出力に基づき、発表が終了したか否かを判断する（ステップＳ２３）。ＣＰＵ２０は、発表終了ではないと判断すると（ステップＳ２３でＮＯ）、ステップＳ１に戻るが、発表終了と判断すると（ステップＳ２３でＹＥＳ）、一連の処理は終了する。
【００７２】
図９の処理によれば、発表側端末２００は、参加側端末３００から受信する参加者の注視位置に基づき、発表者が指示する部分画像Ｃに対応の部分領域内になく、部分画像Ｃへの注目がなされていないと判断するときは、参加者の視線を部分画像Ｃに誘導するための誘導画像Ｒ１を表示するよう参加側端末３００を制御する。これにより、発表者は、発表者の意図する部分画像Ｃ（Ｃ２）の情報に、参加者の注目を促すことが可能となる。
【００７３】
（参加側端末３００の処理フロー）
図１０は、実施の形態１に係る参加側端末３００の表示制御方法の処理フローチャートである。フローチャートに従うプログラムは、ＲＯＭ３１等に格納される。ＣＰＵ３０が、プログラムを読出し、実行することにより処理が実現される。
【００７４】
表示領域（ディスプレイ３６または投影面３３Ｂ）に画像が表示されている場合において、視線検出部６１および位置判定部６２により、参加者の注視位置の情報が取得される（ステップＳ３１）。通信処理部７０は、取得された注視位置の情報を発表側端末２００に送信する（ステップＳ３３）。
【００７５】
通信処理部７０は、発表側端末２００から誘導画像Ｒ１の情報を受信するか否かを判断する（ステップＳ３５）。誘導画像Ｒ１の情報が受信されると（ステップＳ３５でＹＥＳ）、表示処理部６４は、誘導画像Ｒ１の表示処理を実施する（ステップＳ３７）。具体的には、表示処理部６４は受信した誘導画像Ｒ１を表示領域の画像に重畳して表示するための画像データを生成し、表示制御部３８またはプロジェクターＩ／Ｆ３３に出力する。これにより、表示領域（ディスプレイ３６または投影面３３Ｂ）の画像に、発表者が注視する部分画像Ｃに対応した部分画像（図３の部分画像Ｃ２など）に視線を誘導するための誘導画像Ｒ１が表示される。
【００７６】
通信処理部７０は、発表側端末２００から誘導画像Ｒ１の情報を受信していないと判断すると（ステップＳ３５でＮＯ）、発表側端末２００から非表示指令を受信するか否かを判断する（ステップＳ３９）。非表示指令を受信しないときは（ステップＳ３９でＮＯ）、ステップＳ４５に移行する。
【００７７】
非表示指令を受信したときは（ステップＳ３９でＹＥＳ）、表示処理部６４は誘導画像Ｒ１を表示中であるか否かを判断する（ステップＳ４１）。誘導画像Ｒ１を表示中と判断したとき（ステップＳ４１でＹＥＳ）、表示処理部６４は、誘導画像Ｒ１を消去するための画像データを生成し、表示制御部３８またはプロジェクターＩ／Ｆ３３に出力する。これにより、表示領域（ディスプレイ３６または投影面３３Ｂ）の画像から誘導画像Ｒ１が消去される（ステップＳ４３）。その後、ステップＳ４５に移る。
【００７８】
ステップＳ４５では、ＣＰＵ３０は、操作部３４からの出力に基づき、処理を終了するか否かを判断する（ステップＳ４５）。終了ではないと判断すると（ステップＳ４５でＮＯ）、ステップＳ３１に戻る。処理終了と判断されると（ステップＳ４５でＹＥＳ）、一連の処理は終了する。
【００７９】
図１０によれば、視線誘導のための誘導画像Ｒ１が表示されることで、参加者は、発表者の意図する部分画像Ｃ（Ｃ２）に視線が誘導されて、部分画像Ｃ（Ｃ２）に注目することが可能となる。
【００８０】
なお、実施の形態１では、発表者の発表側端末２００により表示される画像と、参加者の参加側端末３００により表示される画像のサイズは同じであるとしたが、異なっていてもよい。例えば、発表者の画像の表示領域（例えば、投影面２０３）は、参加者の画像の表示領域（例えば、ディスプレイ３６）よりも大きいとしてもよい。その場合に、発表側端末２００の表示画像における部分画像Ｃの情報は、参加側端末３００の表示画像のサイズ（拡大率／縮小率）に整合するように変換処理が実施される。
【００８１】
［実施の形態２］
実施の形態２では、発表者による発表開始からの参加者の注視位置の移動経路（蓄積された注視位置の移動履歴の情報）に基づき、誘導画像Ｒ１の表示／非表示を切り替える。図１１、図１２および図１３は、実施の形態２に係る注視位置の移動経路を説明する図である。
【００８２】
経路取得部５６は、参加者の注視位置の情報から、表示画像上での注視位置の移動経路を取得する。表示処理部５０は、取得される移動経路ＴＲを、予め定められた移動経路のパターンと照合し、照合結果に基づき、参加者が部分画像Ｃ（Ｃ２）を見失っている移動経路のパターンであると判断したとき（図１１参照）は、誘導画像Ｒ１を表示する。図１１では、参加者は、表示画像において部分画像Ｃ（Ｃ２）を見失っているパターンを示す。この場合は、移動経路は部分画像Ｃ（Ｃ２）に対応する部分領域を通過することはないために、誘導画像Ｒ１を表示する。
【００８３】
図１２は、先読みしている場合には、誘導画像Ｒ１を非表示とするケースを示す。図１２では、参加者の２つ注視位置Ｃ１が示される。表示処理部５０は、下段の注視位置Ｃ１の移動経路ＴＲを分析し、移動経路ＴＲの履歴が、注視位置Ｃ１は部分画像Ｃ（Ｃ２）を通過している（先読みしている）ことを示すと判断した場合には（図１３の移動経路ＴＲを参照）、誘導画像Ｒ１を表示しない（非表示とする）。
【００８４】
一方、上段の注視位置Ｃ１の移動経路ＴＲを分析し、移動経路ＴＲの履歴が、注視位置Ｃ１は部分画像Ｃ（Ｃ２）を未だ通過していなことを示すと判断した場合には、誘導画像Ｒ１を表示する。
【００８５】
［実施の形態３］
実施の形態３は、発表者が、発表側端末２００による画像表示により発表されるべき資料が、電子ファイルで参加者に配布されており、参加者は、発表前に自由に資料を閲覧できるケースを説明する。図１４は、実施の形態３に係る注視位置の移動経路を説明するための図である。
【００８６】
参加側端末３００では、参加者が、現在の発表箇所以外のページ(前後問わず)を閲覧している場合には、表示処理部６０は、各ページの画像毎に注視位置Ｃ１の移動経路を取得する。発表者の発表側端末２００においてあるページの画像が表示されたときは、表示処理部６０は、当該ページの移動経路ＴＲの情報を発表側端末２００に送信する。発表側端末２００の表示処理部５０は、受信した移動経路ＴＲを分析して、部分画像Ｃを注視した履歴があると判断したときは、誘導画像Ｒ１の表示を中止（非表示）するとしてもよい。
【００８７】
［実施の形態４］
上記の各実施の形態では、発表者と参加者は異なる表示領域を閲覧するとしたが、両者は同じ表示領域を見るとしてもよい。例えば、発表者が、大型スクリーン（プロジェクターの投影面など）で画像を表示して発表する場合に、参加者が参加側端末３００を介さずに当該大型スクリーンの画像を見るケースであっても各実施の形態と同様の効果を得ることができる。
【００８８】
図１５は、参加側端末３００の他の例を示す図である。参加側端末３００は、図１５に示すようにウェアラブル端末であってもよい。
【００８９】
[実施の形態５]
実施の形態５では、発表者の成果を確認する方法が示される。実施の形態５では、発表中に、経路取得部５６のより取得された参加者の注視位置の移動経路、および誘導画像Ｒ１の表示履歴（表示回数、表示された部分画像の識別子など）の情報を、画像毎にメモリに格納する。発表者は、発表終了後に、格納された画像毎の移動経路および誘導画像Ｒ１の表示履歴を、ディスプレイ２３に表示して確認する。これにより、参加者の発表内容に対する注目の程度を、定量的に把握することが可能となる。
【００９０】
[実施の形態６]
実施の形態６では、各実施の形態の上述の処理を発表側端末２００または参加側端末３００に実行させるためのプログラムが提供される。このようなプログラムは、発表側端末２００または参加側端末３００のコンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact  Disk-Read  Only  Memory）、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読み取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークＮＴを介したダウンロードによって、プログラムを提供することもできる。プログラムは、ＣＰＵ３０（ＣＰＵ２０）などの１つ以上のプロセッサにより、またはプロセッサとＡＳＩＣ（Application  Specific  Integrated  Circuit：特定用途向け集積回路）などの回路との組合わせにより実行される。
【００９１】
なお、プログラムは、コンピュータのＯＳ（Operating  System）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、実施の形態６のプログラムに含まれ得る。
【００９２】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【００９３】
（実施の形態の効果）
上記の各実施の形態によれば、発表者が意図する部分画像に注目がなされていない場合には、参加者の視線を当該部分画像に誘導するための誘導画像Ｒ１が表示される。これにより、参加者に対して発表者内容を的確に伝えることが可能となる。
【００９４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００９５】
２３，３６  ディスプレイ、２４  マイク、２５  操作パネル、２６，３８  表示制御部、２７，３５  通信コントローラ、２８，３９  メモリインターフェイス、２９，４０  メモリカード、３３Ａ，２０２  プロジェクター、３３Ｂ，２０３  投影面、３４  操作部、３７，２０１  カメラ、４１，７０  通信処理部、５０，６０，６４  表示処理部、５１，６１  視線検出部、５２，６２  位置判定部、５２Ａ  マッチング部、５３  決定部、５４  注目判断部、５５  生成部、５６  経路取得部、６３  情報取得部、２００  発表側端末、３００  参加側端末、Ｃ，Ｃ２  部分画像、Ｃ１，ＧＰ  注視位置、Ｅ  視点位置、ＮＴ  ネットワーク、Ｒ  半径、Ｒ１  誘導画像、Ｓ  表示領域。 
【図１】
2018077417.tif 000003
【図２】
2018077417.tif 000004
【図３】
2018077417.tif 000005
【図４】
2018077417.tif 000006
【図５】
2018077417.tif 000007
【図６】
2018077417.tif 000008
【図７】
2018077417.tif 000009
【図８】
2018077417.tif 000010
【図９】
2018077417.tif 000011
【図１０】
2018077417.tif 000012
【図１１】
2018077417.tif 000013
【図１２】
2018077417.tif 000014
【図１３】
2018077417.tif 000015
【図１４】
2018077417.tif 000016
【図１５】
2018077417.tif 000017