(57)【要約】【課題】各ユーザーが、ユーザー間で共有される複数の表示オブジェクトのうちでの他のユーザーの興味の変遷を知ること。【解決手段】複数の端末装置を有し、前記複数の端末装置の各々で共通の複数の表示オブジェクトが表示される情報処理システムであって、前記複数の表示オブジェクトを含む表示画面を生成する表示制御部を有し、前記表示画面は、前記複数の端末装置の各々のユーザーが前記複数の表示オブジェクトのうちで興味を持った表示オブジェクトの変遷を示す表示を含む、情報処理システム。【選択図】図８
2018036844.tif 000002
【特許請求の範囲】
【請求項１】
複数の端末装置を有し、前記複数の端末装置の各々で共通の複数の表示オブジェクトが表示される情報処理システムであって、
前記複数の表示オブジェクトを含む表示画面を生成する表示制御部を有し、
前記表示画面は、前記複数の端末装置の各々のユーザーが前記複数の表示オブジェクトのうちで興味を持った表示オブジェクトの変遷を示す表示を含む、情報処理システム。
【請求項２】
前記表示は、各ユーザーについて、ユーザーが興味を持った表示オブジェクトの変遷に応じた位置に関連付けて配置されるユーザー表示を含む、請求項１に記載の情報処理システム。
【請求項３】
前記表示は、前記ユーザー表示と、前記ユーザーが興味を持っている表示オブジェクトとを結ぶ連結表示を含む、請求項２に記載の情報処理システム。
【請求項４】
前記情報処理システムは、ユーザーが前記複数の表示オブジェクトのうちの各表示オブジェクトに興味を持った時間から、各表示オブジェクトに対応する座標軸上の座標値で表現される座標位置を算出する位置算出部をさらに備え、
前記表示制御部は、前記表示画面上で前記座標位置に対応する位置に前記ユーザー表示を配置する、請求項２または３に記載の情報処理システム。
【請求項５】
前記情報処理システムは、
前記座標位置と、前記ユーザーが現在興味を持っている表示オブジェクトに対応する座標軸上の所定値とを結ぶ抽象興味ベクトルを演算する抽象興味ベクトル演算部と、
前記抽象興味ベクトルを、前記表示画面で表現可能な次元数を有する射影興味ベクトルに射影変換する射影変換部をさらに備え、
前記表示制御部は、前記ユーザーが現在興味を持っている表示オブジェクトを前記射影興味ベクトルの一端とした場合の他端の位置に、前記ユーザー表示を配置する、請求項４に記載の情報処理システム。
【請求項６】
前記表示画面は、前記複数の端末装置のユーザーによる遠隔会議に用いられ、
前記位置算出部は、前記ユーザーがある表示オブジェクトに興味を持った時間を前記遠隔会議の予定時間で除して得られる値と、前記表示オブジェクトに対応する座標軸上の前記所定値との乗算により、前記表示オブジェクトに対応する座標軸上の座標値を算出する、請求項５に記載の情報処理システム。
【請求項７】
前記情報処理システムは、前記ユーザー表示の表示態様をユーザーごとに調整する調整部をさらに備える、請求項２に記載の情報処理システム。
【請求項８】
前記表示画面は、前記複数の端末装置のユーザーによる遠隔会議に用いられ、
前記調整部は、前記遠隔会議への各ユーザーの関心の度合いに応じて、前記調整を行う、請求項７に記載の情報処理システム。
【請求項９】
前記調整部は、前記遠隔会議への関心の度合いが高いユーザーほど、当該ユーザーのユーザー表示の視認性が高くなるように、前記調整を行う、請求項８に記載の情報処理システム。
【請求項１０】
前記調整部は、前記遠隔会議への各ユーザーの関心の度合いとして、前記複数の端末装置の各ユーザーが前記表示画面に興味を向けていた時間長に応じて前記調整を行う、請求項８または９に記載の情報処理システム。
【請求項１１】
前記調整部は、前記遠隔会議への各ユーザーの関心の度合いとして、前記複数の端末装置の各々に表示される前記表示画面を視認可能な範囲の撮像画像から各ユーザーについて顔認識が成功した時間長に応じて、前記調整を行う、請求項８または９に記載の情報処理システム。
【請求項１２】
前記調整部は、前記遠隔会議への各ユーザーの関心の度合いとして、各ユーザーの発話量に応じて前記調整を行う、請求項８または９に記載の情報処理システム。
【請求項１３】
前記表示画面は、前記複数の端末装置のユーザーによる遠隔会議に用いられ、
前記情報処理システムは、
前記位置算出部により算出された各ユーザーについての座標位置を、前記遠隔会議への前記各ユーザーの関心の度合いに応じて調整する調整部をさらに備える、請求項４に記載の情報処理システム。
【請求項１４】
前記表示制御部は、前記ユーザーからの操作に基づいて、前記表示画面における前記複数の表示オブジェクトの配置または大きさを変更する、請求項１〜１３のいずれか一項に記載の情報処理システム。
【請求項１５】
複数の端末装置の各々が共通の複数の表示オブジェクトを含む表示画面を表示することを含み、
前記表示画面は、前記複数の端末装置の各々のユーザーが前記複数の表示オブジェクトのうちで興味を持った表示オブジェクトの変遷を示す表示を含む、情報処理方法。
【請求項１６】
複数の端末装置を有し、前記複数の端末装置の各々で共通の複数の表示オブジェクトが表示される情報処理システムを実現するためのプログラムであって、
コンピュータを、
前記複数の表示オブジェクト、および前記複数の端末装置の各々のユーザーが前記複数の表示オブジェクトのうちで興味を持った表示オブジェクトの変遷を示す表示を含む表示画面を生成する表示制御部、
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近日、離隔する複数のユーザーが参加する遠隔会議を実現するための遠隔会議システムが普及している。遠隔会議システムに関しては、対面会議のような臨場感を得るための工夫が研究されている。例えば、特許文献１には、遠隔会議において誰が自分にアイコンタクトを要求しているかを各ユーザーが把握するための技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−３５１１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
対面会議においては、各参加者に共有資料が配布され、共有資料を用いながら各参加者によるコミュニケーションが進められる。各参加者は、対面会議では、他の参加者の視線に基づき、他の参加者が興味を持った共有資料の変遷を知ることができる。このため、各参加者は、他の参加者の興味の変遷を加味することで、円滑にコミュニケーションを進めることができる。しかし、これまでの遠隔会議システムでは、各ユーザーに共有資料として表示される表示オブジェクトに関する工夫が不十分であり、各ユーザーの興味を加味して円滑なコミュニケーションを実現することが困難であった。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、各ユーザーが、ユーザー間で共有される複数の表示オブジェクトのうちでの他のユーザーの興味の変遷を知ることが可能な、新規かつ改良された情報処理システム、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、複数の端末装置を有し、前記複数の端末装置の各々で共通の複数の表示オブジェクトが表示される情報処理システムであって、前記複数の表示オブジェクトを含む表示画面を生成する表示制御部を有し、前記表示画面は、前記複数の端末装置の各々のユーザーが前記複数の表示オブジェクトのうちで興味を持った表示オブジェクトの変遷を示す表示を含む、情報処理システムが提供される。
【０００７】
前記表示は、各ユーザーについて、ユーザーが興味を持った表示オブジェクトの変遷に応じた位置に関連付けて配置されるユーザー表示を含んでもよい。
【０００８】
前記表示は、前記ユーザー表示と、前記ユーザーが興味を持っている表示オブジェクトとを結ぶ連結表示を含んでもよい。
【０００９】
前記情報処理システムは、ユーザーが前記複数の表示オブジェクトのうちの各表示オブジェクトに興味を持った時間から、各表示オブジェクトに対応する座標軸上の座標値で表現される座標位置を算出する位置算出部をさらに備え、前記表示制御部は、前記表示画面上で前記座標位置に対応する位置に前記ユーザー表示を配置してもよい。
【００１０】
前記情報処理システムは、前記座標位置と、前記ユーザーが現在興味を持っている表示オブジェクトに対応する座標軸上の所定値とを結ぶ抽象興味ベクトルを演算する抽象興味ベクトル演算部と、前記抽象興味ベクトルを、前記表示画面で表現可能な次元数を有する射影興味ベクトルに射影変換する射影変換部をさらに備え、前記表示制御部は、前記ユーザーが現在興味を持っている表示オブジェクトを前記射影興味ベクトルの一端とした場合の他端の位置に、前記ユーザー表示を配置してもよい。
【００１１】
前記表示画面は、前記複数の端末装置のユーザーによる遠隔会議に用いられ、前記位置算出部は、前記ユーザーがある表示オブジェクトに興味を持った時間を前記遠隔会議の予定時間で除して得られる値と、前記表示オブジェクトに対応する座標軸上の前記所定値との乗算により、前記表示オブジェクトに対応する座標軸上の座標値を算出してもよい。
【００１２】
前記情報処理システムは、前記ユーザー表示の表示態様をユーザーごとに調整する調整部をさらに備えてもよい。
【００１３】
前記表示画面は、前記複数の端末装置のユーザーによる遠隔会議に用いられ、前記調整部は、前記遠隔会議への各ユーザーの関心の度合いに応じて、前記調整を行ってもよい。
【００１４】
前記調整部は、前記遠隔会議への関心の度合いが高いユーザーほど、当該ユーザーのユーザー表示の視認性が高くなるように、前記調整を行ってもよい。
【００１５】
前記調整部は、前記遠隔会議への各ユーザーの関心の度合いとして、前記複数の端末装置の各ユーザーが前記表示画面に興味を向けていた時間長に応じて前記調整を行ってもよい。
【００１６】
前記調整部は、前記遠隔会議への各ユーザーの関心の度合いとして、前記複数の端末装置の各々に表示される前記表示画面を視認可能な範囲の撮像画像から各ユーザーについて顔認識が成功した時間長に応じて、前記調整を行ってもよい。
【００１７】
前記調整部は、前記遠隔会議への各ユーザーの関心の度合いとして、各ユーザーの発話量に応じて前記調整を行ってもよい。
【００１８】
前記表示画面は、前記複数の端末装置のユーザーによる遠隔会議に用いられ、前記情報処理システムは、前記位置算出部により算出された各ユーザーについての座標位置を、前記遠隔会議への前記各ユーザーの関心の度合いに応じて調整する調整部をさらに備えてもよい。
【００１９】
前記表示制御部は、前記ユーザーからの操作に基づいて、前記表示画面における前記複数の表示オブジェクトの配置または大きさを変更してもよい。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、複数の端末装置の各々が共通の複数の表示オブジェクトを含む表示画面を表示することを含み、前記表示画面は、前記複数の端末装置の各々のユーザーが前記複数の表示オブジェクトのうちで興味を持った表示オブジェクトの変遷を示す表示を含む、情報処理方法が提供される。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、複数の端末装置を有し、前記複数の端末装置の各々で共通の複数の表示オブジェクトが表示される情報処理システムを実現するためのプログラムであって、コンピュータを、前記複数の表示オブジェクト、および前記複数の端末装置の各々のユーザーが前記複数の表示オブジェクトのうちで興味を持った表示オブジェクトの変遷を示す表示を含む表示画面を生成する表示制御部、として機能させるための、プログラムが提供される。
【発明の効果】
【００２２】
以上説明したように本発明によれば、各ユーザーが、ユーザー間で共有される複数の表示オブジェクトのうちでの他のユーザーの興味の変遷を知ることが可能である。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態による遠隔会議システムの構成を示す説明図である。
【図２】端末装置のハードウェア構成を示す説明図である。
【図３】サーバのハードウェア構成を示す説明図である。
【図４】本実施形態により表示される会議画面の具体例を示す説明図である。
【図５】本発明の第１の実施形態によるサーバの構成を示す説明図である。
【図６】興味遷移履歴記憶部に記憶される興味遷移履歴の一例を示す説明図である。
【図７】抽象興味ベクトルが表現される情報空間を示す説明図である。
【図８】第１の実施形態による端末装置の構成を示す説明図である。
【図９】ユーザーＡが利用する端末装置の表示部に表示される会議画面の具体例を示す説明図である。
【図１０】ユーザーＡが利用する端末装置の表示部に表示される会議画面の他の例を示す説明図である。
【図１１】ユーザーＡが利用する端末装置の表示部に表示される会議画面の他の例を示す説明図である。
【図１２】ユーザーＢが利用する端末装置の表示部に表示される会議画面の具体例を示す説明図である。
【図１３】会議画面のレイアウトのバリエーションを示す説明図である。
【図１４】会議画面のレイアウトのバリエーションを示す説明図である。
【図１５】ユーザーＢが利用する端末装置の表示部に表示される会議画面の具体例を示す説明図である。
【図１６】第１の実施形態による遠隔会議システムの動作を示す説明図である。
【図１７】第２の実施形態による端末装置の構成を示す説明図である。
【図１８】第２の実施形態によるサーバの構成を示す説明図である。
【図１９】プレゼンスが調整される前にユーザーＢが利用する端末装置に表示される会議画面を示す。
【図２０】プレゼンスが調整された後にユーザーＢが利用する端末装置に表示される会議画面を示す。
【図２１】会議画面に対応する抽象興味ベクトルの情報空間を示す説明図である。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２５】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じて端末装置２００Ａ、２００Ｂおよび２００Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。例えば、端末装置２００Ａ、２００Ｂおよび２００Ｃを特に区別する必要が無い場合には、各端末装置を単に端末装置２００と称する。
【００２６】
＜０．遠隔会議システムの概要＞
本発明の実施形態は、複数のユーザーが同一の表示オブジェクトを共有する情報処理システムに関し、例えば、当該情報処理システムは、複数の会議資料の各々に対応する表示オブジェクトをユーザー間で共有しながら遠隔会議を行うための遠隔会議システムとして実現され得る。以下、図１を参照し、本発明の実施形態による遠隔会議システムの概要を説明する。
【００２７】
図１は、本発明の実施形態による遠隔会議システムの構成を示す説明図である。図１に示したように、本発明の実施形態による遠隔会議システムは、サーバ１００および複数の端末装置２００を有する。サーバ１００は、各端末装置２００とＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を介して接続される。
【００２８】
（端末装置）
各端末装置２００は、異なる拠点に位置し、異なるユーザーにより利用される。例えば、図１に示した例では、端末装置２００Ａは拠点ｂＡに位置してユーザーＡ（ｕＡ）により利用され、端末装置２００Ｂは拠点ｂＢに位置してユーザーＢにより利用され、端末装置２００Ｃは拠点ｂＣに位置してユーザーＣにより利用され、端末装置２００Ｄは拠点ｂＤに位置してユーザーＤにより利用される。ただし、図１においては、１つの拠点に１つの端末装置２００および１人のユーザーが存在する例を示したが、１つの拠点に複数の端末装置２００および複数のユーザーが存在してもよい。
【００２９】
ここで、図２を参照し、端末装置２００のハードウェア構成を説明する。図２は、端末装置２００のハードウェア構成を示す説明図である。
【００３０】
図２に示したように、本実施形態による端末装置２００は、ＣＰＵ（Central  Processing  Unit）８０１、ＲＯＭ（Read  Only  Memory）８０３、ＲＡＭ（Random  Access  Memory）８０５、バス８０７、記憶装置８０９、通信インターフェース８１１、カメラ８１３、マイクロフォン８１５、スピーカ８１７、入力装置８１９を備える。
【００３１】
ＣＰＵ８０１は、端末装置２００における様々な処理を実行する。また、ＲＯＭ８０３は、端末装置２００における処理をＣＰＵ８０１に実行させるためのプログラム及びデータを記憶する。また、ＲＡＭ８０５は、ＣＰＵ８０１の処理の実行時に、プログラム及びデータを一時的に記憶する。
【００３２】
バス８０７は、ＣＰＵ８０１、ＲＯＭ８０３及びＲＡＭを相互に接続する。バス８０７には、さらに、記憶装置８０９、通信インターフェース８１１、カメラ８１３、マイクロフォン８１５、スピーカ８１７及びタッチパネル８２０が接続される。バス８０７は、例えば、複数の種類のバスを含む。一例として、バス８０７は、ＣＰＵ８０１、ＲＯＭ８０３及びＲＡＭ８０５を接続する高速バスと、当該高速バスよりも低速の１つ以上の別のバスを含む。
【００３３】
記憶装置８０９は、端末装置２００内で一時的又は恒久的に保存すべきデータを記憶する。記憶装置８０９は、例えば、ハードディスク（Hard  Disk）等の磁気記憶装置であってもよく、又は、ＥＥＰＲＯＭ（Electrically  Erasable  and  Programmable  Read  Only  Memory）、フラッシュメモリ（flash  memory）、ＭＲＡＭ（Magnetoresistive  Random  Access  Memory）、ＦｅＲＡＭ（Ferroelectric  Random  Access  Memory）及びＰＲＡＭ（Phase  change  Random  Access  Memory）等の不揮発性メモリ（nonvolatile  memory）であってもよい。
【００３４】
通信インターフェース８１１は、端末装置２００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）外部装置と通信する。通信インターフェース８１１は、無線通信用のインターフェースであってもよく、この場合に、例えば、通信アンテナ、ＲＦ回路及びその他の通信処理用の回路を含んでもよい。また、通信インターフェース８１１は、有線通信用のインターフェースであってもよく、この場合に、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。
【００３５】
カメラ８１３は、被写体を撮像する。カメラ８１３は、例えば、光学系、撮像素子及び画像処理回路を含む。マイクロフォン８１５は、周囲の音を集音する。マイクロフォン８１５は、周囲の音を電気信号へ変換し、当該電気信号をデジタルデータに変換する。スピーカ８１７は、音声を出力する。スピーカ８１７は、デジタルデータを電気信号に変換し、当該電気信号を音声に変換する。
【００３６】
入力装置８１９は、タッチパネル、マウス、視線検出装置等である。表示装置８２３は、端末装置２００からの出力画像（即ち、表示画面）を表示する。表示装置８２３は、例えば、液晶、有機ＥＬ（Organic  Light-Emitting  Diode：ＯＬＥＤ）、ＣＲＴ（Cathode  Ray  Tube）等を用いて実現され得る。
【００３７】
（サーバ）
サーバ１００は、遠隔会議の仮想空間を形成し、各端末装置２００のユーザーに遠隔会議の場を提供する機能を有する。具体的には、サーバ１００は、各端末装置２００からユーザーの画像および音声を収集し、収集したユーザーの画像および音声を、遠隔会議に参加する全てのユーザーの端末装置２００に提供する。これにより、遠隔会議に参加する全てのユーザーが、対面会議のように、各ユーザーの画像および音声を共有することが可能である。
【００３８】
ここで、図３を参照して、サーバ１００のハードウェア構成を説明する。図３は、サーバ１００のハードウェア構成を示す説明図である。
【００３９】
図３に示したように、本実施形態によるサーバ１００は、ＣＰＵ９０１、ＲＯＭ９０３、ＲＡＭ９０５、バス９０７、記憶装置９０９及び通信インターフェース９１１を備える。
【００４０】
ＣＰＵ９０１は、サーバ１００における様々な処理を実行する。また、ＲＯＭ９０３は、サーバ１００における処理をＣＰＵ９０１に実行させるためのプログラム及びデータを記憶する。また、ＲＡＭ９０５は、ＣＰＵ９０１の処理の実行時に、プログラム及びデータを一時的に記憶する。
【００４１】
バス９０７は、ＣＰＵ９０１、ＲＯＭ９０３及びＲＡＭを相互に接続する。バス９０７には、さらに、記憶装置９０９及び通信インターフェース９１１が接続される。バス９０７は、例えば、複数の種類のバスを含む。一例として、バス９０７は、ＣＰＵ９０１、ＲＯＭ９０３及びＲＡＭ９０５を接続する高速バスと、当該高速バスよりも低速の１つ以上の別のバスを含む。
【００４２】
記憶装置９０９は、サーバ１００内で一時的又は恒久的に保存すべきデータを記憶する。記憶装置９０９は、例えば、ハードディスク等の磁気記憶装置であってもよく、又は、ＥＥＰＲＯＭ、フラッシュメモリ、ＭＲＡＭ、ＦｅＲＡＭ及びＰＲＡＭ等の不揮発性メモリであってもよい。
【００４３】
通信インターフェース９１１は、サーバ１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）外部装置と通信する。通信インターフェース９１１は、無線通信用のインターフェースであってもよく、この場合に、例えば、通信アンテナ、ＲＦ回路及びその他の通信処理用の回路を含んでもよい。また、通信インターフェース９１１は、有線通信用のインターフェースであってもよく、この場合に、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。
【００４４】
（動作概要）
本実施形態においては、上述したサーバ１００および端末装置２００の協働により、遠隔会議に用いられる複数の資料の各々に対応する表示オブジェクトを含む会議画面（表示画面）が各ユーザーに提供される。なお、実世界での対面会議で複数の資料が用いられる例が少なくないことから遠隔会議においても複数の資料を共有する需要があると考えられること、および、複数の資料が用いられる場合には各ユーザーの興味が分散するので各ユーザーの興味状況を互いに伝達することを支援する必要性が大きくなること、などから、本実施形態では複数の資料が用いられる遠隔会議システムにおける工夫を提案する。
【００４５】
図４は、本実施形態により表示される会議画面の具体例を示す説明図である。より詳細には、図４には、ユーザーＡが利用する端末装置２００Ａに表示される会議画面３００Ａを示している。
【００４６】
図４に示したように、会議画面３００Ａは、遠隔会議に用いられる資料Ｅ、資料Ｆおよび資料Ｇの各々に対応する表示オブジェクト３２０Ｅ、３２０Ｆおよび３２０Ｇを含む。さらに、本実施形態による会議画面３００Ａは、各ユーザーの各資料に対する興味の変遷（例えば、ユーザーが各資料に興味を持っていた時間）を示す表示を含む。具体的には、図４に示したように、会議画面３００Ａは、各ユーザーに対応するユーザー表示３３０と、各ユーザー表示３３０といずれかの表示オブジェクト３２０を結ぶ連結表示３５０（後述する射影興味ベクトル）を含む。
【００４７】
１のユーザーに対応するユーザー表示３３０は、当該ユーザーが複数の資料（複数の表示オブジェクト３２０）のうちで興味を持った資料の変遷に応じた位置に配置される。結果、図４に示したように、各ユーザーに対応するユーザー表示３３０Ａ、３３０Ｂおよび３３０Ｃが異なる位置に配置され得る。
【００４８】
また、連結表示３５０は、１のユーザーに対応するユーザー表示３３０と、当該ユーザーが現在興味を持っている資料に対応する表示オブジェクト３２０を結ぶように配置される。図４に示した例では、ユーザーＢに対応するユーザー表示３３０Ｂと資料Ｅに対応する表示オブジェクト３２０Ｅを結ぶ連結表示が配置されており、当該連結表示は、ユーザーＢが現在資料Ｅに興味を持っていることを示す。
【００４９】
なお、ユーザー表示３３０Ａと資料Ｅに対応する表示オブジェクト３２０Ｅを結ぶ連結表示が示すように、ユーザーＡも現在資料Ｅに興味を持っている。この場合、ユーザーＡが利用する端末装置２００Ａに表示される会議画面３００Ａでは、図４に示したように、資料Ｅに対応する表示オブジェクト３２０Ｅが他の表示オブジェクトよりも大きく表示される。
【００５０】
このような会議画面３００に基づき、各ユーザーは、複数の表示オブジェクト３２０のうちでの他のユーザーの興味の変遷および現在の興味の対象を知ることが可能である。従って、各ユーザーは、対面会議と同様に他のユーザーの興味を加味することで、遠隔会議においても円滑なコミュニケーションを実現することが可能である。以下、本発明の各実施形態の構成および動作を順次詳細に説明する。
【００５１】
＜１．第１の実施形態＞
（サーバの構成）
図５は、本発明の第１の実施形態によるサーバ１００の構成を示す説明図である。図５に示したように、サーバ１００は、通信部１１０、記憶部１２０および制御部１３０を有する。
【００５２】
通信部１１０は、他の装置と通信する。例えば、通信部１１０は、ＬＡＮ２０に直接的に接続され、各拠点にある端末装置２００と通信する。また、通信部１１０は、端末装置２００が存在する拠点に各拠点の空間を撮影するネットワークカメラやマイクロフォンなどのセンサ機器が存在していた場合に、それらセンサ機器と通信してセンサデータを取得し、取得されたセンサデータを他の拠点の端末装置２００へ送信してもよい。なお、通信部１１０は、例えば、通信インターフェース９１１により実装され得る。
【００５３】
記憶部１２０は、サーバ１００の動作のためのプログラム及びデータを記憶する。記憶部１２０は、興味遷移履歴記憶部１２１を含む。興味遷移履歴記憶部１２１は、複数の資料（表示オブジェクト）のうちでの各ユーザーの興味の変遷を示す興味遷移履歴を記憶する。ここで、図６を参照し、興味遷移履歴記憶部１２１に記憶される興味遷移履歴についてより具体的に説明する。
【００５４】
図６は、興味遷移履歴記憶部１２１に記憶される興味遷移履歴の一例を示す説明図である。図６に示したように、興味遷移履歴は、各ユーザーについて、ユーザーが選択した資料、および当該選択の時刻を関連付けて記憶する。例えば、図６には、ユーザーＡが１０：００：０５に資料Ｇを選択し、ユーザーＡが１０：１２：３２に資料Ｆを選択した場合の興味遷移履歴が示されている。ユーザーＡが資料Ｇを選択してから資料Ｆを選択するまでの１２分２７秒にわたって、ユーザーＡが資料Ｇを選択していた、すなわち資料Ｇに興味を持っていたと扱われ得る。なお、興味遷移履歴記憶部１２１は、後述する制御部１３０により演算される、各ユーザーについての抽象興味ベクトルのデータの遷移を時刻情報と関連付けて記憶してもよい。
【００５５】
制御部１３０は、サーバ１００の動作全般を制御する。例えば、制御部１３０は、遠隔会議で端末装置２００を介して参加者であるユーザー間に共有される人物映像のデータ、共有資料のデータ、音声データ、テキストデータなどのマルチメディアデータを各端末装置２００からの要求に応じて他の端末装置２００から取得し、各端末装置２００にデータを提供する。また、制御部１３０は、興味対象の選択処理に関わるデータを端末装置２００から取得し、当該データに基づいて抽象興味ベクトルを演算により求め、抽象興味ベクトルのデータを端末装置２００へ提供する。さらに、制御部１３０は、上述の各種マルチメディアデータや興味対象の選択処理に関わるデータ、抽象興味ベクトルのデータを記憶部１２０へ記憶させてもよい。なお、制御部１３０は、本遠隔会議システムにおいて用いられる様々な情報を適宜更新する。制御部１３０は、自動で、又は手動による指示に応じて、当該情報を更新してもよい。このような制御部１３０の機能は、例えばＣＰＵ９０１、ＲＯＭ９０３及びＲＡＭ９０５により実現され得る。
【００５６】
上述した制御部１３０を実現する要素機能として、制御部１３０は、図５に示したように、人物映像制御部１３１、共有資料制御部１３３、他メディア情報制御部１３５および抽象興味ベクトル演算部１３７を有する。
【００５７】
人物映像制御部１３１は、遠隔会議に参加しているユーザーの端末装置２００の撮像部２３０で撮像されたデータ（例えば、端末装置２００を利用しているユーザーの人物映像のデータ）を取得し、管理し、他の端末装置２００へ提供する。なお、各拠点の空間を撮影するネットワークカメラが存在する場合、人物映像制御部１３１は、ユーザーの人物映像のデータとして、上記ネットワークカメラにより撮像されたデータを撮像部２３０で撮像されたデータの代わりに取得し、他の端末装置２００へ提供してもよい。
【００５８】
共有資料制御部１３３は、遠隔会議で共有される資料のデータを取得し、管理し、端末装置２００へ提供する。遠隔会議で共有される資料としては、典型的にはスライド資料が挙げられるが、遠隔会議で共有される資料はスライド資料に限定されない。例えば、テキスト、画像、映像、多視点映像のように人間が視認できる形態を持った情報が資料として扱われてもよい。
【００５９】
他メディア情報制御部１３５は、人物映像制御部１３１によって扱われる人物映像データ、および共有資料制御部１３３によって扱われる資料のデータ以外の、遠隔会議システムで取り扱われる様々なデータを取得し、管理し、端末装置２００へ提供する。当該データは、たとえば遠隔会議で端末装置２００を介して参加者であるユーザー間に共有される音声データおよびテキストデータなどのマルチメディアデータであってもよい。
【００６０】
抽象興味ベクトル演算部１３７は、遠隔会議に参加している各ユーザーの端末装置２００から興味対象の選択処理に関わるデータを取得し、当該データから抽象興味ベクトルを演算により求め、抽象興味ベクトルのデータを端末装置２００へ提供する。以下、抽象興味ベクトルについて説明を進める。
【００６１】
／抽象興味ベクトルの概要／
抽象興味ベクトルは、各ユーザーが各資料にどの程度の時間興味を持ったか、および各ユーザーが現在どの資料に興味を持っているかを反映するデータである。当該抽象興味ベクトルは、遠隔会議で共有される資料の数の次元数を有する情報空間にて表現される。
【００６２】
上記情報空間においては、遠隔会議で共有される各資料に対応する座標軸が設定され、例えば資料Ｅ、ＦおよびＧの３つの資料が共有される場合、資料Ｅ、ＦおよびＧの各々に対応する座標軸からなる３次元の情報空間が規定される。
【００６３】
抽象興味ベクトル演算部１３７は、あるユーザーが同一の資料を選択した状態で一定時間が経過する度に、上記情報空間において、上記資料に対応する座標軸の正方向に平行な基本規定長ｂｕＭＶのベクトルを累積する。ここで、各座標軸に平行なベクトルの最大設定値をｍａｘＭＶ、上記一定時間をｂｕＴ、遠隔会議の実施予定時間をｔｏｔａｌＴとすると、上記の基本規定長ｂｕＭＶは、ｂｕＭＶ＝ｍａｘＭＶ＊ｂｕＴ／ｔｏｔａｌＴとして算出される。
【００６４】
なお、ｂｕＴとｍａｘＭＶは、所定値として遠隔会議システムの管理者によってあらかじめ設定されていてもよく、例えば、ｂｕＴは１秒間（毎秒１回ｂｕＭＶを加算）、ｍａｘＭＶは７２００のように、所与の規定値として記憶部１２０に記憶されていてよい。遠隔会議の実施予定時間であるｔｏｔａｌＴは会議ごとに異なると考えられるため、ｔｏｔａｌＴの値は会議ごとに本遠隔会議システムのユーザーによって設定され得る。
【００６５】
そして、抽象興味ベクトル演算部１３７は、会議開始時刻からある時点までに累積されたｂｕＭＶを加算平均して得られる座標位置と、ユーザーが現在興味を持っている資料に対応する座標軸上の最大設定値ｍａｘＭＶとを結ぶベクトルを、抽象興味ベクトルとしてユーザーごとに算出する。
【００６６】
／抽象興味ベクトルの具体例／
以上、抽象興味ベクトルの概要を説明した。続いて、図７を参照して、抽象興味ベクトルについてより具体的に説明する。
【００６７】
図７は、抽象興味ベクトルが表現される情報空間４００を示す説明図である。情報空間４００は、資料Ｅ、ＦおよびＧの３つの資料の各々に対応する座標軸を有する。当該情報空間において、ｂｕＴが１秒間であり、資料ＥにユーザーＡが興味を持った時間が２００秒間であり、資料ＦにユーザーＡが興味を持った時間が４００秒間であり、資料ＧにユーザーＡが興味を持った時間が１００秒間であった場合、抽象興味ベクトル演算部１３７が１秒ごとにベクトルを累積することにより、資料Ｅに対応する座標軸上の成分が２００、資料Ｆに対応する座標軸上の成分が４００、資料Ｇに対応する座標軸上の成分が１００であるベクトルが得られる。
【００６８】
そして、会議開始から７００秒目の時点でユーザーが資料Ｅに興味を持っている場合、抽象興味ベクトル演算部１３７は、上記ベクトルの各成分を加算平均して得られる座標位置４３０Ａと、資料Ｅに対応する座標軸における最大設定値ｍａｘＭＶ４１０Ｅを結ぶベクトル４５０Ａを抽象興味ベクトル４５０Ａとして算出する。
【００６９】
なお、抽象興味ベクトル４５０Ａの先端はユーザーの興味対象の変化に応じて変化し、抽象興味ベクトル４５０Ａの他端（図７で示した例では座標位置４３０Ａ）は時間変化に伴い変化するので、抽象興味ベクトル４５０Ａの方向と大きさは、少なくともｂｕＴ（本例では１秒間）の経過毎に変化する。
【００７０】
また、図７にはユーザーＡの抽象興味ベクトル４５０Ａを示しているが、抽象興味ベクトル演算部１３７は、ユーザーＢの抽象興味ベクトルおよびユーザーＣの抽象興味ベクトルを算出し、情報空間４００には、ユーザーＢの抽象興味ベクトルおよびユーザーＣの抽象興味ベクトルが存在してもよい。
【００７１】
また、上記では、ｔｏｔａｌＴの値が会議ごとユーザーによって設定される例を説明したが、ｔｏｔａｌＴの設定方法はユーザーによる設定に限定されない。例えば、ｔｏｔａｌＴは、会議予定が入力されたスケジューラアプリケーションと連携動作して同アプリケーションからデータとして取得されてもよいし、本遠隔会議システムの使用履歴からの統計的情報（たとえば、使用時点までの所定期間におけるｔｏｔａｌＴ設定パラメータの平均値や最頻値）に基づいて自動的に設定されてもよい。また、遠隔会議が予定を超えて延長され会議時間が会議開始前に設定されたｔｏｔａｌＴを超えてしまった場合は、制御部１３０がｔｏｔａｌＴの値を自動的に増加させてもよい。
【００７２】
（端末装置の構成）
以上、サーバ１００の機能を説明した。続いて、図８を参照し、端末装置２００の機能を説明する。
【００７３】
図８は、第１の実施形態による端末装置２００の構成を示す説明図である。図８に示したように、第１の実施形態による端末装置２００は、通信部２１０、入力部２２０、撮像部２３０、収音部２４０、記憶部２５０、表示部２６０、音声出力部２７０および制御部２８０を有する。端末装置２００としては、例えばフロントカメラを備えたノートＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やスマートフォンが想定される。
【００７４】
通信部２１０は、他の装置と通信する。例えば、通信部２１０は、ＬＡＮ２０に直接的に接続され、サーバ１００と通信する。また、通信部２１０は、サーバ１００を介して、他拠点にある他の端末装置２００と通信する。なお、通信部２１０は、例えば通信インターフェース８１１により実現され得る。
【００７５】
入力部２２０は、端末装置２００のユーザーによる入力を受け付ける。そして、入力部２２０は、入力結果を制御部２８０へ提供する。例えば、ユーザーは、入力部を操作することにより、表示部２６０に表示されている各資料に対応する表示オブジェクトから１つの表示オブジェクトを選択することができる。このような入力部２２０は、例えばマウスやタッチパネルまたはキーボードにより実現され得る。
【００７６】
なお、入力部２２０は、視線検出装置であってもよい。入力部２２０が視線検出装置で実現される場合、入力部２２０の機能により、表示部２６０に表示されている各資料に対応する表示オブジェクトのうちで、ユーザーの視線が向けられている表示オブジェクトを特定することができる。視線検出の方法は特に限定されず、例えば、光学的手法（角膜反射法等）、物理的手法（サーチコイル法等）または電気的手法（ＥＯＧ法等）であってもよい。さらに、近年では特殊な計測器を用いずに、Ｗｅｂカメラ等の汎用的な撮像装置から視線検出を行ったり注視点を推定したりする方法が開発されており、これら方法が利用されてもよい。その場合は、入力部２２０は後述する撮像部２３０によって代用され得る。
【００７７】
撮像部２３０は、端末装置２００を操作しているユーザーを撮像する。撮像部２３０は、例えば、端末装置２００の表示部２６０を視認可能な範囲（表示部２６０の正面方向）の空間領域を撮像する。そして、撮像部２３０は、撮像結果（すなわち撮像画像）を制御部２８０に提供する。このような撮像部２３０は、例えばカメラ８１３により実現され得る。
【００７８】
収音部２４０は、端末装置２００の周囲の音を収音する。例えば、収音部２４０は、端末装置２００を操作して本遠隔会議システムを使用しているユーザーの発話音声を収音する。そして、収音部２４０は、収音結果（すなわち音声データ）を制御部２８０に提供する。なお、収音部２４０は、例えばマイクロフォン８１５により実現され得る。
【００７９】
記憶部２５０は、端末装置２００の動作のためのプログラム及びデータを記憶する。例えば、記憶部２５０は、後述する制御部２８０により算出される、興味対象選択の履歴データや射影興味ベクトルのデータを一時的に記憶したり、表示環境設定部２８３により設定される表示部２６０における表示環境設定のデータを記憶したりする。なお、記憶部２５０は、例えば記憶装置８０９により実現され得る。
【００８０】
表示部２６０は、多様な表示画面を表示する。例えば、表示部２６０は、後述する表示制御部２８９による制御に応じて、本発明の実施形態による本遠隔会議システムのアプリケーション画面である会議画面を表示する。会議画面の構成については詳細に後述する。なお、表示部２６０は、例えば表示装置８２３により実現され得る。
【００８１】
音声出力部２７０は、音声を出力する。音声出力部２７０は、制御部２８０による制御に応じて音声（たとえば本遠隔会議システムにおける他のユーザーの発話音声や共有資料の音声メディア情報）を出力する。なお、音声出力部２７０は、例えばスピーカ８１７により実現され得る。
【００８２】
制御部２８０は、端末装置２００の動作全般を制御する。特に、本実施形態による端末装置２００の制御部２８０は、興味対象特定部２８１、表示環境設定部２８３、射影興味ベクトル演算部２８５および表示制御部２８９の機能を有する。制御部２８０の各機能は、例えばＣＰＵ８０１、ＲＯＭ８０３およびＲＡＭ８０５により実現され得る。
【００８３】
興味対象特定部２８１は、端末装置２００のユーザーが、表示部２６０に表示された会議画面に含まれるいずれの資料に興味を持っているかを一意に特定する。興味対象特定部２８１は、例えば入力部２２０から提供される入力点（会議画面上での１点の座標）を含む表示オブジェクトを、ユーザーが興味を持っている資料の表示オブジェクトとして特定してもよい。なお、上記の入力点は、ユーザーが視線を向けている位置、またはマウスによる選択位置などであってもよい。
【００８４】
ところで、本実施形態によれば、各資料に対応する表示オブジェクトを全て同等に表示されるのではなく、ユーザーの興味対象となるひとつの資料に対応する表示オブジェクトは拡大表示され、他の資料に対応する表示オブジェクトは縮小表示される。このため、ユーザーは、興味対象となる資料をどれかひとつ選択する入力を自然に行う可能性が高く、また、視線検出が用いられる場合にも興味対象がどれであるかを端末装置２００が一意に特定しやすくなる。
【００８５】
なお、端末装置２００が上述した各資料に対応する表示オブジェクトの拡大または縮小処理を行ってもよいし、サーバ１００が拡大または縮小された表示オブジェクトを端末装置２００に送信してもよい。後者の場合、例えば資料が映像であった場合に、サーバ１００は、ユーザーが興味を持っている資料に対応する表示オブジェクトに比べて他の表示オブジェクトを低い解像度や低フレームレートで送信することができるので、端末装置２００における映像受信データ容量や映像再生の処理負荷が低減される。
【００８６】
表示環境設定部２８３は、入力部２２０からのユーザーの操作データに基づいて、端末装置２００の表示部２６０に表示される会議画面のレイアウトを変更する設定を行うことができる。表示環境設定部２８３は、当該設定のデータを記憶部２５０に記憶させておいてもよい。表示環境設定部２８３により設定され得る会議画面のレイアウトについては、図面を参照して後述する。
【００８７】
射影興味ベクトル演算部２８５は、サーバ１００から通信部２１０を介して抽象興味ベクトルのデータを取得し、抽象興味ベクトルのデータを表示部２６０で表現可能な次元数（例えば、２次元）を有する射影興味ベクトルに射影変換する。例えば、図７に示した抽象興味ベクトル４５０Ａは、一例として図４に示した２次元の射影興味ベクトル３５０Ａ（連結表示）へと射影興味ベクトル演算部２８５によって射影変換される。すなわち、抽象興味ベクトル４５０Ａの先端が資料Ｅに対応する表示オブジェクト３２０Ｅの重心点に対応するように抽象興味ベクトル４５０Ａが射影変換され、射影興味ベクトル３５０Ａの画面上位置と方向、大きさを求められる。また、図７に示した情報空間４００内の原点４４０も射影変換され、図４に示した会議画面３００Ａにおける重心点３４０として表示されてもよい。なお、本明細書に添付の図面では、射影興味ベクトル３５０Ａの両端は、各表示オブジェクト３２０およびユーザー表示３３０との表示領域に重複しないように、方向情報を維持したままベクトル長が調整された例を示している。
【００８８】
表示制御部２８９は、本実施形態による遠隔会議のための会議画面を生成し、当該会議画面を表示部２６０に表示させる。例えば、表示制御部２８９は、表示環境設定部２８３により設定されたレイアウトに従って、各資料に対応する表示オブジェクトを会議画面に配置する。また、表示制御部２８９は、射影興味ベクトル演算部２８５により得られた各ユーザーの射影興味ベクトルに従って、各ユーザーに対応するユーザー表示および射影興味ベクトルを会議画面に配置する。以下、図９〜図１５を参照し、表示制御部２８９により生成される会議画面の具体例をより詳細に説明する。
【００８９】
／会議画面の具体例／
図９は、ユーザーＡが利用する端末装置２００Ａの表示部２６０に表示される会議画面３００Ａの具体例を示す説明図である。図９に示したように、会議画面３００Ａは、資料Ｅに対応する表示オブジェクト３２０Ｅ、資料Ｆに対応する表示オブジェクト３２０Ｆおよび資料Ｇに対応する表示オブジェクト３２０Ｇを含む。ここで、興味対象特定部２８１によりユーザーＡが資料Ｅに興味を持っていることが特定された場合、表示制御部２８９は、図９に示したように、資料Ｅに対応する表示オブジェクト３２０Ｅを他の表示オブジェクト３２０Ｆおよび３２０Ｇと比較して拡大表示させる。なお、各資料の表示オブジェクト３２０の共有は、遠隔会議に参加するユーザーがサーバ１００へ資料をアップロードすることにより実現されてもよい。
【００９０】
また、表示制御部２８９は、射影興味ベクトル演算部２８５により得られた各ユーザーの射影興味ベクトル３５０を、ユーザーが興味を持っている資料に対応する表示オブジェクト３２０の重心位置が射影興味ベクトル３５０の先端となるように配置する。図９に示したように、射影興味ベクトル３５０は、例えば矢印で表現される。そして、表示制御部２８９は、射影興味ベクトル３５０の他端に当該ユーザーに対応するユーザー表示３３０を配置する。射影興味ベクトルは遠隔会議に参加するユーザーごとに生成されるので、遠隔会議に３人のユーザー（ユーザーＡ、ユーザーＢおよびユーザーＣ）が参加する場合、図９に示したように３人のユーザーの各々に対応する３つの射影興味ベクトル３５０Ａ、３５０Ｂおよび３５０Ｃと、３つのユーザー表示３３０Ａ、３３０Ｂおよび３３０Ｃが会議画面３００Ａに配置される。
【００９１】
なお、図９においてはユーザー表示３３０として、端末装置２００の間でサーバ１００を介して通信される人物映像を示しているが、ユーザー表示３３０は、ユーザーのニックネームのテキスト表示などユーザーを特定できる他の表示であってもよい。
【００９２】
また、図９に示した会議画面３００Ａは、重心点３４０を含む。重心点３４０は、各資料に対応する表示オブジェクト３２０の重心点を繋いで形成される多角形の重心位置に配置される。ユーザーは、当該重心点３４０と各ユーザーに対応するユーザー表示３３０の位置関係から、各ユーザーが各資料に興味を持った時間の関係を把握することができる。ただし、重心点３４０が会議画面３００Ａに含まれなくても、ユーザーは各ユーザー表示３３０の位置から各ユーザーが各資料に興味を持った時間の関係をある程度把握し得るので、重心点３４０は会議画面３００Ａに含まれなくてもよい。
【００９３】
以上、図９を参照して、本実施形態による会議画面３００の基本構成を説明した。続いて、図１０および図１１を参照して、ユーザーの興味対象の変化に伴う会議画面３００の変化例を説明する。
【００９４】
図１０および図１１は、ユーザーＡが利用する端末装置２００Ａの表示部２６０に表示される会議画面３００Ａの他の例を示す説明図である。ユーザーＡが例えば入力部２２０を用いて資料Ｆを選択すると、図１０に示したように、資料Ｆに対応する表示オブジェクト３２０Ｆが他の表示オブジェクトに対して拡大して表示され、ユーザーＡの射影興味ベクトル３５０Ａの先端が資料Ｆに対応する表示オブジェクト３２０Ｆを指す。一方、ユーザーＡが例えば入力部２２０を用いて資料Ｇを選択すると、図１１に示したように、資料Ｇに対応する表示オブジェクト３２０Ｇが他の表示オブジェクトに対して拡大して表示され、ユーザーＡの射影興味ベクトル３５０Ａの先端が資料Ｇに対応する表示オブジェクト３２０Ｇを指す。
【００９５】
各ユーザーは上述した資料の選択を自由に行うことができ、このため、ユーザー間で異なる資料が選択された状態も勿論想定される。例えば、ユーザーＡが利用する端末装置２００Ａの表示部２６０に図９に示した会議画面３００Ａが表示されている時、ユーザーＢが利用する端末装置２００Ｂの表示部２６０には、図１２に示す会議画面３００Ｂが表示され得る。会議画面３００Ｂにおいては、図１２に示したように、ユーザーＢが例えば入力部２２０を用いて選択した資料Ｆに対応する表示オブジェクト３２０Ｆが他の表示オブジェクトに対して拡大して表示される。
【００９６】
また、表示制御部２８９は、ユーザー操作に基づく表示環境設定部２８３によるレイアウト設定に従って、会議画面のレイアウトを制御する。以下、図１３および図１４を参照して会議画面のレイアウトのバリエーションを説明する。
【００９７】
図１３および図１４は、会議画面のレイアウトのバリエーションを示す説明図である。ユーザーＡが例えば端末装置２００Ａの入力部２２０を用いて各資料に対応する表示オブジェクトの位置を変更した結果、例えば図１３に示したように、図９に示した会議画面３００Ａと上下反転したようなレイアウトを有する会議画面３００Ａが表示され得る。また、図１４に示したように、図９に示した会議画面３００Ａとは資料Ｅに対応する表示オブジェクト３２０Ｅおよび資料Ｇに対応する表示オブジェクト３２０Ｇの位置が異なるレイアウトを有する会議画面３００Ａが表示され得る。
【００９８】
この時、ユーザー表示３３０Ａ、３３０Ｂおよび３３０Ｃ、および射影興味ベクトル３５０Ａ、３５０Ｂおよび３５０Ｃの配置は、上述した射影興味ベクトル演算部２８５の射影変換演算処理によって自動的に算出され、会議画面３００Ａの表示が変更される。例えば、図９に示した会議画面３００Ａにおいて、ユーザーＡが各資料に対応する表示オブジェクト３２０のレイアウトの変更操作を行うと、図１３および図１４に示したように、表示オブジェクト３２０のレイアウトに加え、ユーザー表示３３０Ａ、３３０Ｂおよび３３０Ｃ、および射影興味ベクトル３５０Ａ、３５０Ｂおよび３５０Ｃの配置も変更される。
【００９９】
なお、ユーザーは、会議画面３００上の多くの表示要素のうち、共有資料だけを操作することにより、自身の表示レイアウトの好みや、どの資料を閲覧したいか（例えば、資料Ｅを画面上部ではなく画面下部で閲覧したい等）を容易に実現可能である。資料共有機能を備えたほとんどの遠隔会議システムでは、画面共有によって資料の共有が実現されており、遠隔会議の参加ユーザーは自身の好む表示レイアウトで遠隔会議アプリケーションを利用することができなかった点と比較して、本実施形態が有する上記のレイアウトの変更機能は有用である。
【０１００】
以上、ユーザーの興味対象の変化に伴う会議画面３００の変化、およびレイアウト変更について説明した。続いて、会議画面３００の時間変化に伴う変化を説明する。
【０１０１】
図１５は、図１２に示した会議画面３００Ｂが表示されてから時間が経過した後にユーザーＢが利用する端末装置２００Ｂの表示部２６０に表示される会議画面３００Ｂの具体例を示す説明図である。ただし、図面の簡略化のために、図１５においては、ユーザーＡおよびユーザーＢに関するユーザー表示３３０および射影興味ベクトル３５０を省略している。
【０１０２】
図１５において破線で示したユーザー表示３３０Ｃｐａｓｔは、図１２に示した会議画面３００Ｂにおけるユーザー表示３３０Ｃの位置である。図１２に示した会議画面３００Ｂの表示の後、ユーザーＣが資料Ｅを選択し続けると、図１５に示したように、ユーザーＣのユーザー表示３３０Ｃが資料Ｅに対応する表示オブジェクト３２０Ｅに近づき、ユーザーＣの射影興味ベクトル３５０Ｃも短くなる。
【０１０３】
（動作）
以上、第１の実施形態による遠隔会議システムの構成を説明した。続いて、第１の実施形態による遠隔会議システムの動作を整理する。
【０１０４】
図１６は、第１の実施形態による遠隔会議システムの動作を示す説明図である。図１６のステップＳ１３０１〜Ｓ１３１１までは端末装置２００Ａ、端末装置２００Ｂ、端末装置２００Ｃとサーバ１００との間で遠隔会議が開始されるまでの処理を示し、Ｓ１３１３以降は端末装置２００ＡでユーザーＡが入力を行った場合の処理を示す。
【０１０５】
図１６に示したように、ステップＳ１３０１で、端末装置２００Ａ、端末装置２００Ｂ、端末装置２００ＣがそれぞれユーザーＡ、Ｂ、Ｃの遠隔会議参加希望に対応する入力を受け付けると、ステップＳ１３０３で、端末装置２００Ａ、端末装置２００Ｂおよび端末装置２００Ｃは、遠隔会議への新規参加要求メッセージをサーバ１００へ送信する。
【０１０６】
ステップＳ１３０５で、サーバ１００は、ユーザーＡ、ＢおよびＣが参加する遠隔会議の仮想空間をデータとして生成する。当該データには、例えば上述した抽象興味ベクトルの情報空間４００が含まれていてもよい。そして、ステップＳ１３０７で、サーバ１００は、端末装置２００Ａ、端末装置２００Ｂおよび端末装置２００Ｃへ、遠隔会議への参加処理に関わるデータを送信する。このとき、端末装置２００とサーバ１００間で呼制御に係る処理が行われてもよい。
【０１０７】
これにより、ステップＳ１３０９で、端末装置２００Ａ、端末装置２００Ｂ、端末装置２００Ｃおよびサーバ１００の間で当該遠隔会議のセッションが開始され、ステップＳ１３１１で、端末装置２００Ａ、端末装置２００Ｂ、端末装置２００Ｃの表示部２６０において、本遠隔会議システムの会議画面３００の表示が開始される。当該表示の処理は、例えば、サーバ１００から受信される抽象興味ベクトルの射影興味ベクトル演算部２８５による射影変換処理が含まれていてもよい。また、会議画面３００は、上述した表示環境設定部２８３によるレイアウト設定に基づき、端末装置２００Ａ、端末装置２００Ｂおよび端末装置２００Ｃの各々で異なったレイアウトを有してもよい。
【０１０８】
その後、ステップＳ１３１３で、端末装置２００ＡがユーザーＡの入力を受け付けると、ステップＳ１３１５で、端末装置２００ＡはユーザーＡの入力に基づくデータをサーバ１００へと送信する。ユーザーＡの入力は、例えば、資料の選択操作であり、当該選択操作に基づいて興味対象特定部２８１により特定された資料を示すデータがサーバ１００へ送信される。
【０１０９】
そして、ステップＳ１３１７で、サーバ１００は、ユーザーＡの入力データに基づいて仮想空間のデータを変更する。例えば、サーバ１００の抽象興味ベクトル演算部１３７は、情報空間４００での各抽象興味ベクトルの位置、方向、大きさの再演算処理を行ってもよい。
【０１１０】
続いて、ステップＳ１３１９で、サーバ１００は、端末装置２００Ａ、端末装置２００Ｂおよび端末装置２００Ｃへ、変更された仮想空間のデータを送信する。これにより、ステップＳ１３２１で、端末装置２００Ａ、端末装置２００Ｂおよび端末装置２００Ｃの表示部２６０において、受信した仮想空間のデータに対応して、本遠隔会議システムの会議画面３００の表示が変更される。
【０１１１】
なお、図１６においてはユーザーＡによる入力が行われる例を記載したが、ユーザーＢまたはユーザーＣによる入力が行われた場合でも同様の処理が行われる。また、複数のユーザーにより同時に入力が行われても、サーバ１００は複数のユーザーからの入力に同時に対応可能である。
【０１１２】
また、図１６の説明では、ステップＳ１３１１およびＳ１３１９のようにサーバ１００から端末装置２００への会議データの送信処理を明示的に示したが、当該データ送信のタイミングは限定されない。例えば、遠隔会議においては常時接続のネットワーク環境が一般的であるため、端末装置２００はサーバ１００から連続的に会議データを受信してもよい。特に、遠隔会議における人物映像データや音声データ、また資料が映像ストリーミングデータであった場合などには、端末装置２００はサーバ１００とリアルタイムにデータ通信してもよい。
【０１１３】
（補足）
上記では、図７を参照して、情報空間４００における座標位置４３０といずれかの資料に対応する座標軸における最大設定値ｍａｘＭＶ４１０を結ぶ抽象興味ベクトル４５０をサーバ１００が算出し、端末装置２００が抽象興味ベクトル４５０から射影興味ベクトル３５０を得て、射影興味ベクトル３５０を会議画面３００に配置する例を説明した。他の方法として、サーバ１００は情報空間４００における座標位置４３０を端末装置２００に提供してもよい。この場合、端末装置２００は、会議画面３００上で当該座標位置４３０に対応する位置にユーザー表示３３０を配置し、当該ユーザー表示３３０とユーザーが現在興味を持っている資料に対応する表示オブジェクト３２０との間に矢印を配置してもよい。当該方法によっても、図４などを参照して説明した例と同等な会議画面３００を得ることが可能である。
【０１１４】
＜２．第２の実施形態＞
以上、本発明の第１の実施形態を説明した。続いて、本発明の第２の実施形態を説明する。会議においては、各ユーザーの会議の「場」への関心度（当該会議に関わろうという意志量）が共有できることも重要であると考えられるが、遠隔会議では、対面会議と比較して上記の関心度が伝達および共有され難い傾向にある。本発明者は、当該事情に鑑みて第２の実施形態を創作した。第２の実施形態によれば、各ユーザーの遠隔会議への関心度をユーザー間で共有することが可能である。以下、このような本発明の第２の実施形態について詳細に説明する。
【０１１５】
（端末装置の構成）
図１７は、第２の実施形態による端末装置２０２の構成を示す説明図である。図１７に示したように、第２の実施形態による端末装置２０２は、通信部２１０、入力部２２０、撮像部２３０、収音部２４０、記憶部２５０、表示部２６０、音声出力部２７０および制御部２８０を有する。制御部２８０は、興味対象特定部２８１、表示環境設定部２８３、射影興味ベクトル演算部２８５、関心度判断部２８７および表示制御部２８９の機能を有する。関心度判断部２８７が、第２の実施形態による端末装置２０２と第１の実施形態による端末装置２００との主な差異である。
【０１１６】
関心度判断部２８７は、入力部２２０、撮像部２３０、または収音部２４０などにより取得された入力データまたはセンシングデータに基づいて、端末装置２０２のユーザーが本遠隔会議の場にどの程度関心を持っているか（関心度）を求め、通信部２１０を介して当該関心度を示すデータをサーバ１０２へ送信する。関心度判断部２８７は、多様な方法によりユーザーの関心度を求めることができる。以下、関心度を求めるための幾つかの方法を説明する。
【０１１７】
／第１の方法／
関心度判断部２８７は、ユーザーが会議画面３００に興味を持っていた時間の会議時間に対する割合を関心度として算出してもよい。会議画面３００が表示部２６０の全領域を占める場合、上記の割合は、ユーザーが表示部２６０を見ていた時間の会議時間に対する割合である。
【０１１８】
例えば、会議時間１２０分間のうち、ユーザーが会議画面３００に興味を持っていた時間を９０分間、他の時間を３０分間とすると、関心度判断部２８７は、関心度として「９０／１２０＝０．７５」を算出する。当該関心度は、会議終了時に算出されるのではなく、会議の時間経過に伴い逐次算出されてもよい。
【０１１９】
なお、ユーザーが表示部２６０を見ていることは、会議画面３００を見ていることと必ずしも同義ではない。例えば、端末装置２０２が汎用的なコンピュータ機能を有する場合、ユーザーは、表示部２６０上に常に会議画面３００を表示させ続けているとは限らず、端末装置２０２上に本遠隔会議とは別の作業アプリケーションを一時的に立ち上げ使用する可能性もある（遠隔会議における“内職”）。このとき、ユーザーは表示部２６０を見ていても会議画面３００は見ていない。このため、関心度判断部２８７は、ユーザーが端末装置２０２の表示部２６０上に会議画面３００を表示させているか否かの情報を取得し、会議画面３００が表示されていない時間を他の空間領域を見ている時間として計上してもよい。
【０１２０】
／第２の方法／
上述したように撮像部２３０が表示部２６０の正面方向の空間領域を撮像する場合、ユーザーが表示部２６０に表示された会議画面３００を見ている間は顔認識が成功し、ユーザーが表示部２６０とは別の方向に顔を向けていたり、離席したりしている間は顔認識が成功しないと考えられる。このため、関心度判断部２８７は、端末装置２０２の撮像部２３０により映像から顔認識が成功した時間の会議時間に対する割合を関心度として算出してもよい。
【０１２１】
／第３の方法／
関心度判断部２８７は、ユーザーによる本遠隔会議での発話の量、例えば、発話の合計時間長、発話語数、発話音量などに基づいて当該ユーザーの関心度を算出してもよい。具体的には、関心度判断部２８７は、収音部２４０により得られたデータからユーザーの発話を認識し、発話の量を当該ユーザーの基準値で相対化した値を当該ユーザーの関心度として算出してもよい。ユーザーの基準値は、過去の遠隔会議における当該ユーザーの発話の量の統計値（例えば、平均値）であってもよい。
【０１２２】
なお、ユーザーによって、会議への参加の仕方の傾向が異なる。会議での発言が多い傾向のユーザーもいれば、会議での発言が少ない傾向のユーザーもいる。このため、ある会議でのユーザー間の発言の量の比較では各ユーザーの会議への関心度を適切に算出することが難しい場合もある。一方、普段より多くの発言をしているユーザーは会議への関心度が高く、普段より発言が少ないユーザーは会議への関心度が低いと考えられる。そこで、上記のような、あるユーザーの平均的な発話の量と、本遠隔会議における当該ユーザーの発話の量との比較により、当該ユーザーに関してより適切な関心度を算出することが可能である。
【０１２３】
また、同一のユーザーが同一の関心度で幾つかの遠隔会議に参加した場合であっても、各遠隔会議に参加するユーザーの数によって、ユーザーの絶対的な発話の合計時間長、発話語数は異なることが想定される。そこで、関心度判断部２８７は、例えば遠隔会議に参加するユーザーの数に応じてユーザーの基準値を調整し、ユーザーの発話の量を調整した基準値で相対化することでユーザーの関心度を算出してもよい。
【０１２４】
／第４の方法／
ユーザーの覚醒度が低い場合、すなわちユーザーが眠気に襲われている場合、ユーザーは遠隔会議に積極的に参加していない可能性が高い。そこで、関心度判断部２８７は、ユーザーの覚醒度を当該ユーザーの関心度として算出してもよい。
【０１２５】
ユーザーの覚醒度は、多様な方法により算出され得る。例えば、入力部２２０が視線検出装置で実現される場合、関心度判断部２８７は、入力部２２０によって計測された眼球の瞳孔径を用いてユーザーの覚醒度を算出してもよい。また、関心度判断部２８７は、ユーザーの人物映像の皮膚領域から脈拍を推定し、当該脈拍の変動データを用いてユーザーの覚醒度を算出してもよい。
【０１２６】
／第５の方法／
関心度判断部２８７は、表示部２６０または会議画面３００上に表示変更イベントを発生させ、当該表示変更イベントへのユーザーの反応に基づいて関心度を算出してもよい。表示変更イベントとしては、例えば、スクリーンセーバーのような表示遮蔽処理、会議画面３００の表示を所定の時間経過に伴って視認し難くさせる処理（画面明度が徐々に下がる、背景透過度が徐々に上がる）などが挙げられる。
【０１２７】
関心度判断部２８７は、上記の表示変更イベントを、表示部２６０へのシングルタップなどのユーザーによる入力に基づいて解消する。遠隔会議に強い関心を持ち会議画面３００を注意深く見ているユーザーは、会議画面３００を視認できなくなったり会議画面の視認性が低下したりした場合、これら表示変更イベントを解消する操作を行うと考えられる。一方、遠隔会議への関心が薄く会議画面３００をあまり見ていないユーザーは、表示変更イベントを解消する操作を行わない、または表示変更を解消する操作が遅れると考えられる。そこで、関心度判断部２８７は、表示変更イベントへのユーザーの反応の有無または反応の速さに基づき、当該ユーザーの関心度を算出してもよい。
【０１２８】
／組み合わせ／
上述した第１の方法〜第５の方法の関係は排他関係でなく、関心度判断部２８７は、上述した第１の方法〜第５の方法のうちの２以上の方法を組み合わせて関心度を算出してもよい。例えば、関心度判断部２８７は、各方法で算出された関心度の平均値または最頻値をサーバ１０２に送信する関心度として決定してもよい。
【０１２９】
（サーバの構成）
以上、第２の実施形態による端末装置２０２の構成を説明した。続いて、図１８を参照し、第２の実施形態によるサーバ１０２の構成を説明する。
【０１３０】
図１８は、第２の実施形態によるサーバ１０２の構成を示す説明図である。図１８に示したように、第２の実施形態によるサーバ１０２は、通信部１１０と、記憶部１２０と、制御部１３０と、を備える。制御部１３０は、人物映像制御部１３１、共有資料制御部１３３、他メディア情報制御部１３５、抽象興味ベクトル演算部１３７、関心度管理部１３９およびプレゼンス調整部１４１の機能を有する。関心度管理部１３９およびプレゼンス調整部１４１が、第２の実施形態によるサーバ１０２と第１の実施形態によるサーバ１００との主な差異である。
【０１３１】
関心度管理部１３９は、遠隔会議に参加している各ユーザーの端末装置２０２から関心度を示すデータを取得し、当該データを一元的に管理する。また、関心度管理部１３９は、取得した関心度を示すデータをプレゼンス調整部１４１へ提供する。なお、関心度を示すデータは記憶部１２０に記憶されてもよい。
【０１３２】
プレゼンス調整部１４１は、関心度管理部１３９から提供される各ユーザーの関心度を示すデータに基づき、各ユーザーの関心度の大きさに応じて会議画面３００における各ユーザー表示３３０の表示態様を調整するための処理、すなわち各ユーザーのプレゼンスの調整処理を行う。
【０１３３】
プレゼンスの調整は、例えば、人物映像が有する情報量の調整であってもよい。この場合、プレゼンス調整部１４１は、人物映像制御部１３１が各ユーザーの端末装置２０２へ提供する人物映像のデータの情報量を、各ユーザーの関心度の大きさに応じて指示する。例えば、プレゼンス調整部１４１は、遠隔会議への関心度が小さいユーザーの人物映像の解像度または表示サイズが、当該ユーザーより関心度が高いユーザーの人物映像より小さくなるよう、人物映像制御部１３１に調整を指示してもよい。または、人物映像制御部１３１は、プレゼンス調整部１４１からの指示に基づき、遠隔会議への関心度が小さいユーザーの人物映像の明度を下げる、または、遠隔会議への関心度が小さいユーザーの人物映像にぼかしフィルタ処理を施してもよい。
【０１３４】
結果、遠隔会議への関心度が相対的に低いユーザーは、会議画面３００上でプレゼンスの低いユーザー表示３３０により表現される。このため、遠隔会議に参加している各ユーザーは、各ユーザーが遠隔会議にどの程度関心を持っているかを互いに直感的に把握することが可能である。
【０１３５】
／プレゼンスの調整例／
以下、図１９〜図２１を参照して、プレゼンスの調整の具体例を説明する。
【０１３６】
図１９は、プレゼンスが調整される前にユーザーＢが利用する端末装置２０２Ｂに表示される会議画面３００Ｂを示す。図２０は、プレゼンスが調整された後にユーザーＢが利用する端末装置２０２Ｂに表示される会議画面３００Ｂを示す。
【０１３７】
プレゼンス調整部１４１は、例えば、関心度管理部１３９からユーザーＡの関心度「１．０」、ユーザーＢの関心度「２．０」、ユーザーＣの関心度「０．５」を取得する。この場合、プレゼンス調整部１４１は、ユーザーＢに対応するユーザー表示３３０ＢがユーザーＡに対応するユーザー表示３３０Ａの４倍のサイズ（解像度、画素数）になるように、人物映像制御部１３１に調整を指示する。また、プレゼンス調整部１４１は、ユーザーＣに対応するユーザー表示３３０ＣがユーザーＡに対応するユーザー表示３３０Ａの１／４倍のサイズになるように、人物映像制御部１３１に調整を指示する。
【０１３８】
結果、図２０に示したように、会議画面３００Ｂにおいて、ユーザーＢに対応するユーザー表示３３０ＢがユーザーＡに対応するユーザー表示３３０Ａの４倍のサイズで表示され、ユーザーＣに対応するユーザー表示３３０ＣがユーザーＡに対応するユーザー表示３３０Ａの１／４倍のサイズで表示される。
【０１３９】
なお、上記ではサーバ１０２の人物映像制御部１３１がユーザー表示３３０の情報量を調整する例を説明したが、情報量の調整を端末装置２０２が行うことも可能である。例えば、サーバ１０２は、情報量の調整が行われていない各ユーザー表示および各ユーザーの関心度を各端末装置２０２に提供し、各端末装置２０２が各ユーザーの関心度に基づいて各ユーザーのユーザー表示の情報量を調整してもよい。
【０１４０】
続いて、プレゼンスの調整の他の例を説明する。プレゼンス調整部１４１は、抽象興味ベクトル演算部１３７に指示し、ユーザーの関心度の大きさに応じて、当該ユーザーの抽象興味ベクトル４５０の末端の座標位置４３０を変更させてもよい。例えば、あるユーザーの関心度が所定の値より低い場合、本遠隔会議において表示オブジェクトへの当該ユーザーの興味が低いと考えられる。このため、あるユーザーの関心度が所定の値より低い場合、プレゼンス調整部１４１は、抽象興味ベクトル演算部１３７に、当該ユーザーに関する座標位置４３０の更新処理を止めさてもよいし、座標位置４３０を徐々に原点４４０に近づけさせてもよい。
【０１４１】
図２１は、会議画面３００に対応する抽象興味ベクトルの情報空間４００を示す説明図である。図２１に破線で示した抽象興味ベクトル４５０Ａｐａｓｔは、プレゼンスの調整が行われる前のユーザーＡの抽象興味ベクトルである。一方、実線で示した抽象興味ベクトル４５０Ａは、プレゼンスの調整後のユーザーＡの抽象興味ベクトルである。
【０１４２】
ユーザーＡの遠隔会議への関心度が低い場合、図２１に示したように、抽象興味ベクトル４５０Ａｐａｓｔの末端の座標位置４３０Ａｐａｓｔが原点４４０に近い座標位置４３０Ａに移動され、実線で示した抽象興味ベクトル４５０Ａが得られる。結果、端末装置２０２に表示される会議画面における射影興味ベクトル３５０Ａやユーザー表示３３０Ａの位置も変更される。このように、各ユーザーの関心度に応じて、ユーザー表示３３０の情報量だけでなく、ユーザー表示３３０の位置も変更することが可能である。
【０１４３】
また、プレゼンス調整部１４１は、あるユーザーの関心度が所定の値より低い場合には、当該ユーザーの関心度が所定の値を上回るまで当該ユーザーに対応する射影興味ベクトル３５０を表示させないよう、端末装置２０２の表示制御部２８９に指示を出してもよい。
【０１４４】
＜３．むすび＞
以上説明したように、本発明の実施形態によれば、遠隔会議に用いられる複数の資料の各々に対応する表示オブジェクトを含む会議画面が各ユーザーに提供される。さらに、当該会議画面において、各ユーザーに対応するユーザー表示が、各ユーザーの興味の変遷に応じた位置に配置されるので、各ユーザーは、対面会議と同様に他のユーザーの興味を加味することで、遠隔会議においても円滑なコミュニケーションを実現することが可能である。
【０１４５】
また、本発明の実施形態によれば、ユーザー操作に基づき、表示環境設定部２８３が会議画面のレイアウト設定を変更することができる。資料共有機能を備えたほとんどの遠隔会議システムでは、画面共有によって資料の共有が実現されており、遠隔会議の参加ユーザーは自身の好む表示レイアウトで遠隔会議アプリケーションを利用することができなかった点と比較して、本実施形態が有する上記のレイアウトの変更機能は有用である。
【０１４６】
また、本発明の第２の実施形態によれば、各ユーザーの関心度に応じて各ユーザーに対応するユーザー表示のプレゼンスを調整することにより、各ユーザーの遠隔会議への関心度をユーザー間で共有することが可能である。
【０１４７】
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１４８】
例えば、本明細書の遠隔会議システムの処理における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、遠隔会議システムの処理における各ステップは、シーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１４９】
また、サーバ１００および端末装置２００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述したサーバ１００および端末装置２００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【０１５０】
１００、１０２  サーバ
１１０  通信部
１２０  記憶部
１２１  興味遷移履歴記憶部
１３０  制御部
１３１  人物映像制御部
１３３  共有資料制御部
１３５  他メディア情報制御部
１３７  興味ベクトル演算部
１３９  関心度管理部
１４１  プレゼンス調整部
２００、２０２  端末装置
２１０  通信部
２２０  入力部
２３０  撮像部
２４０  収音部
２５０  記憶部
２６０  表示部
２７０  音声出力部
２８０  制御部
２８１  興味対象特定部
２８３  表示環境設定部
２８５  射影興味ベクトル演算部
２８７  関心度判断部
２８９  表示制御部
【図１】
2018036844.tif 000003
【図２】
2018036844.tif 000004
【図３】
2018036844.tif 000005
【図４】
2018036844.tif 000006
【図５】
2018036844.tif 000007
【図６】
2018036844.tif 000008
【図７】
2018036844.tif 000009
【図８】
2018036844.tif 000010
【図９】
2018036844.tif 000011
【図１０】
2018036844.tif 000012
【図１１】
2018036844.tif 000013
【図１２】
2018036844.tif 000014
【図１３】
2018036844.tif 000015
【図１４】
2018036844.tif 000016
【図１５】
2018036844.tif 000017
【図１６】
2018036844.tif 000018
【図１７】
2018036844.tif 000019
【図１８】
2018036844.tif 000020
【図１９】
2018036844.tif 000021
【図２０】
2018036844.tif 000022
【図２１】
2018036844.tif 000023