(57)【要約】      （修正有）【課題】操作入力装置に入力されている操作内容を表示する装置に対して、当該操作を行った人物の情報をより早く提供する。【解決手段】情報処理装置１００（中継装置）は、入力装置２００（デジタイザ）に入力された操作者による操作の内容を示す操作データを取得する操作取得手段と、入力装置から所定の範囲に存在する人物の位置を取得する位置取得手段と、前記人物と入力装置との位置関係に基づいて、操作を入力した人物を特定する特定手段と、操作データにより示される操作の内容を、前記特定した人物を識別する人物情報に対応付けて、表示手段３００（表示装置）に表示させる表示制御手段とを備える。【選択図】図１
2017033290.tif 000002
【特許請求の範囲】
【請求項１】
入力装置に入力された操作者による操作の内容を示す操作データを取得する操作取得手段と、
前記入力装置から所定の範囲に存在する人物の位置を取得する位置取得手段と、
前記人物の位置と前記入力装置の位置との位置関係に基づいて、操作を入力した人物を特定する特定手段と、
前記操作データにより示される操作の内容を、前記特定した人物を識別する人物情報に対応付けて、表示手段に表示させる表示制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記操作データは、前記入力装置に入力された操作の該入力装置における位置を示す位置情報を含み、
前記特定手段は、前記位置情報により示される前記操作の位置と、前記人物の位置との位置関係に基づいて、前記人物を特定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定手段は、
前記位置取得手段が取得した人物の位置から操作可能な、前記入力装置における操作エリアを判定し、
前記位置情報により示される前記操作の位置が前記操作エリアに含まれる場合に、前記操作を入力した人物を該操作エリアに対応する人物と特定する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記操作取得手段は、前記入力装置から前記操作データを取得することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記位置取得手段は、前記入力装置の周辺を撮影する撮影装置から前記人物の位置を取得することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記位置取得手段が位置を取得した人物ごとに、当該人物を識別する人物情報を取得する人物取得手段をさらに備え、
前記表示制御手段は、前記操作データにより示される操作の内容を、前記人物取得手段により取得された前記人物を識別する人物情報に対応付けて、前記表示手段に表示させる
ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記表示制御手段は、前記操作データと前記人物情報とを前記表示手段へ送信して、該操作データにより示される操作の内容を該人物情報に対応付けて該表示手段に表示させることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記位置取得手段が位置を取得した人物ごとに、前記表示手段との間の通信に用いるストリーム情報を作成する作成手段と、
作成した前記ストリーム情報を記憶手段に記憶させる記憶制御手段と
をさらに備え、
前記表示制御手段は、前記操作データと前記人物情報とを対応する前記ストリーム情報により前記表示手段へ送信する
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記記憶制御手段は、前記ストリーム情報に対応する人物が前記入力装置の周辺から離脱したことに応じて、当該人物に対応する前記ストリーム情報を前記記憶手段から破棄することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記表示手段をさらに備えることを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
【請求項１１】
入力装置に入力された操作者による操作の内容を示す操作データを取得する操作取得手段と、
前記入力装置から所定の範囲に存在する人物の位置を取得する位置取得手段と、
前記人物の位置と前記入力装置の位置との位置関係に基づいて、操作を入力した人物を特定する特定手段と、
前記操作データにより示される操作の内容を、前記特定した人物を識別する人物情報に対応付けて表示する表示手段と
を備えることを特徴とする表示装置。
【請求項１２】
操作取得手段が、入力装置に入力された操作者による操作の内容を示す操作データを取得する操作取得工程と、
位置取得手段が、前記入力装置から所定の範囲に存在する人物の位置を取得する位置取得工程と、
特定手段が、前記人物の位置と前記入力装置の位置との位置関係に基づいて、操作を入力した人物を特定する特定工程と、
表示制御手段が、前記操作データにより示される操作の内容を、前記特定した人物を識別する人物情報に対応付けて、表示手段に表示させる表示制御工程と
を有することを特徴とする情報処理装置の制御方法。
【請求項１３】
コンピュータを請求項１から１０のいずれか１項に記載の情報処理装置が備える各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置及びその制御方法、表示装置、コンピュータプログラムに関し、特に、ユーザ操作を行った人物の識別のための方法に関する。
【背景技術】
【０００２】
デジタイザ等の操作入力装置を用いて書き込まれた内容を遠隔拠点と共有する遠隔会議システムが普及している。このようなシステムにおいては、複数の人物による書込みが行われた場合に、書込んだ内容と書込んだ人物とを対応づけることが困難であるという課題がある。
【０００３】
特許文献１には、ホワイトボードに対する書込過程を撮影した動画データから取得した書込時刻と、人物がホワイトボードの前に停留した時刻情報とを対比させて、書込を行った人物を決定することが記載されている。この構成によれば、どの事項を誰がいつ書き込んだかについてのアノテーションを動画データに対して設定することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１９７８８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載されている構成では、書き込み等のユーザ操作が行われてから、当該ユーザ操作を行った人物に関する情報を表示できるようになるまでに時間がかかるという課題があった。
【０００６】
本発明は、操作入力装置に入力されている操作内容を表示する装置に対して、当該操作を行った人物の情報をより早く提供できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明による情報処理装置は以下の構成を備える。即ち、
入力装置に入力された操作者による操作の内容を示す操作データを取得する操作取得手段と、
前記入力装置から所定の範囲に存在する人物の位置を取得する位置取得手段と、
前記人物の位置と前記入力装置の位置との位置関係に基づいて、操作を入力した人物を特定する特定手段と、
前記操作データにより示される操作の内容を、前記特定した人物を識別する人物情報に対応付けて、表示手段に表示させる表示制御手段と
を備える。
【発明の効果】
【０００８】
本発明によれば、操作入力装置に入力されている操作内容を表示する装置に対して、当該操作を行った人物の情報をより早く提供できるようになる。
【図面の簡単な説明】
【０００９】
【図１】遠隔会議システムの全体構成を示す図
【図２】ネットワーク構成を示す図
【図３】中継装置の機能構成の一例を示す図
【図４】中継装置のハードウェア構成の一例を示す図
【図５】操作データを中継する処理を示すフローチャート
【図６】操作エリアを示す図
【図７】重複する操作エリアを示す図
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は、本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するための手段に必須であるとは限らない。
【００１１】
（遠隔会議システム）
図１を用いて本発明の一実施形態に係る遠隔会議システムの全体構成を説明する。図１は、本発明の一実施形態に係る遠隔会議システムの全体構成の一例を示す図である。
【００１２】
遠隔会議システムは、拠点２１、拠点３１がネットワーク１０に接続し、中継装置１００を介して、拠点間で映像、音声、データをリアルタイムに共有することができる。本実施形態では２拠点間の遠隔会議システムについて説明する。なお、３拠点以上で会議を行ってもよいし、各拠点にいる人物の数は限定しない。
【００１３】
拠点２１には、デジタイザ２００、人物監視装置２０１、人物撮影装置２０２が設置されており、人物２２、人物２３、人物２４が会議に参加している。拠点３１には、表示装置３００が設置され、人物３２が会議に参加している。なお、拠点２１、拠点３１には、音声マイク、スピーカ、データ共有やチャットアプリ用のＰＣ（パーソナルコンピュータ）、スマートフォンやタブレット等も設置し、拠点間で音声、データ共有を行ってもよい。
【００１４】
デジタイザ２００は、人物により指示された位置を検出する入力装置である。また、デジタイザ２００は、人物による操作に応じた操作データを中継装置１００に対して送信する。操作データは、デジタイザ２００に入力された操作者による操作の内容を示すデータである。より具体的には、デジタイザ２００は、人物による座標指示の入力開始、停止、移動等のイベント情報と、入力された位置情報を操作データとして中継装置１００にストリーミング送信する。プロジェクタ等を利用してデジタイザ２００に対し、映像、画像、電子ファイルを投影したり、デジタイザ２００に入力された操作データを元に操作軌跡２５を投影してもよい。なお、デジタイザ２００は、同時に複数の人物から操作データの入力を受付け、各入力された操作データを中継装置１００にストリーム送信できる。
【００１５】
人物監視装置２０１は、人物を特定し、人物を識別するための人物情報と特定した人物の位置情報を取得する装置であり、特定した人物情報をその人物ごとに中継装置１００へ送信する。人物特定と、位置情報を取得する手法として、ＲＦＩＤ、ＢＬＥ等のセンサ情報を利用してもよいし、映像を撮影し映像解析を利用してもよい。ＲＦＩＤはRadio Frequency Identifierの略称であり、ＢＬＥはBluetooth Low Energyの略称である。人物情報は、人物の名前、ニックネーム、社員番号等であり、人物の年齢、性別などの特徴情報でもよい。
【００１６】
人物撮影装置２０２は、デジタイザ２００の周辺や、拠点２１の中を撮影しており、撮影された映像の中から人物２２、人物２３、人物２３を切りぬいた人物映像のそれぞれを中継装置１００へ送信する。なお、人物監視装置２０１と人物撮影装置２０２は、同一の装置により実現してもよい。また、人物撮影装置２０２は、人物のデジタイザ２００に対する相対位置に応じて、中継装置１００への人物映像の送信開始や停止を制御してもよい。例えば、デジタイザ２００に近い人物２２の人物映像だけを中継装置１００へ送信してもよい。さらに、人物２３がデジタイザ２００に近づくと人物２３の人物映像の送信を開始し、人物２２がデジタイザ２００から離れると、人物２２の人物映像の送信を停止するようにしてもよい。このようにして、デジタイザ２００から所定の範囲に存在する人物の位置を取得する位置取得が行われる。
【００１７】
中継装置１００は、デジタイザ２００から操作データのイベント情報と位置情報を受信する。また中継装置１００は、人物監視装置２０１から人物情報と人物の位置情報を受信し、人物撮影装置２０２から人物映像を受信する。これらの受信したデータに基づき、中継装置１００は、デジタイザ２００に入力された操作データとしてイベント情報と位置情報、デジタイザ２００に操作データを入力した人物情報や、操作データを入力した人物映像を表示装置３００へ転送する。
【００１８】
表示装置３００は、デジタイザ２００に入力された操作データ、入力した人物情報や、人物映像を中継装置１００から受信し、受信した情報を重畳表示する装置である。デジタイザ２００に入力されたデータは、表示装置３００に操作データ３４として軌跡が表示され、デジタイザに入力した人物２２の人物情報３３や、人物２２の人物映像３５を重畳表示する。操作データ３４、人物情報３３、人物映像３５は、表示する一例であり、表示する場所や内容を変更してもよい。例えば、表示するサイズを拡大・縮小や、予め人物に関連するアバタを準備しておきアバタに差替えて表示してもよい。
【００１９】
（ネットワーク構成）
次に、図２を用いて遠隔会議システムのネットワーク構成を説明する。本実施形態に係るネットワークとしてのネットワーク１０はインターネットであるが、インターネットに限定されず、公衆無線ネットワーク、ＶＰＮ、広域Ｅｔｈｅｒｎｅｔｗｏｒｋ等の他の形態でもよい。
【００２０】
ネットワーク２０および、ネットワーク３０は、本実施形態における会議室ネットワークであり有線ＬＡＮまたは無線ＬＡＮである。なお、有線ＬＡＮまたは無線ＬＡＮに限定されず、アドホックネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）等の他の形態でもよい。また、ネットワーク２０とネットワーク３０とでそれぞれ異なる形態でもよい。
【００２１】
ネットワーク２０および、ネットワーク３０は、ネットワーク１０と接続している。中継装置１００は、ネットワーク１０に接続している。デジタイザ２００、人物監視装置２０１および、人物撮影装置２０２は、ネットワーク２０に接続している。表示装置３００は、ネットワーク３０に接続している。
【００２２】
なお、中継装置１００は、ネットワーク１０の接続に限定されず、ネットワーク２０または、ネットワーク３０に接続してもよい。さらには、デジタイザ２００、人物監視装置２０１、人物撮影装置２０２、および表示装置３００は、直接ネットワーク１０に接続してもよい。
【００２３】
（中継装置の構成）
次に、図３を利用して、中継装置１００の機能構成について説明する。図３は中継装置１００の機能構成を示すブロック図である。
【００２４】
操作データ受信機能１０１は、デジタイザ２００がストリーミング送信している操作データとして操作イベントと、操作された位置情報を受信する機能を有する。人物情報受信機能１０２は、人物監視装置２０１が送信する人物情報及び人物の位置情報を受信する人物取得の機能を有する。人物映像受信機能１０３は、人物撮影装置２０２が送信する人物映像を受信する機能を有する。
【００２５】
操作人物特定機能１０４は、操作データ受信機能１０１で取得した操作データの位置情報と、人物情報受信機能１０２で取得した人物の位置情報から、操作データを入力した人物を特定する操作取得の機能を有する。操作データ送信機能１０５は、操作人物特定機能１０４で特定した人物情報と、操作データを関連付けて表示装置３００へ送信する機能を有する。人物映像送信機能１０６は、人物映像受信機能１０３で受信した人物映像の中から、操作人物特定機能１０４で特定した人物を選定し、表示装置３００へ送信する機能を有する。
【００２６】
セッション管理機能１０７は、デジタイザ２００、人物監視装置２０１、人物撮影装置２０２、表示装置３００それぞれとの通信セッションを管理する機能を有する。通信セッションは会議の開始、停止と連動してもよいし、常時セッションを確立したままでもよい。なお、通信セッションは、ＴＣＰセッション、ＨＴＴＰ等のセッション、ＳＩＰ、Ｈ．３２３などで管理するセッションや、独自の論理セッションを利用してもよい。本実施形態では、ＨＴＴＰ／２のコネクションに基づくセッションを利用する。
【００２７】
サブストリーム制御機能１０８は、表示装置３００とのセッションの中でサブストリームを確立する機能を有する。本実施形態では、ＨＴＴＰ／２のコネクション中で作成するストリームをサブストリームとして利用する。操作人物特定機能１０４で特定した人物毎にサブストリームを２個作成し、各サブストリーム間で関連付けを行う。作成したサブストリームは人物と関連付けて記録する機能も有する。操作データ送信機能１０５と人物映像送信機能１０６は、操作データと、人物映像を各サブストリームで送信する。後述するように、本実施形態では、このようなサブストリームを用いて、操作データにより示される操作等を表示装置３００に表示させる表示制御を行う。
【００２８】
図４は、本実施形態に係る中継装置１００のハードウェア構成例を模式的に示すブロック図である。中継装置１００は、例えば、パーソナルコンピュータ（ＰＣ）や組込みシステム、タブレット端末、スマートフォン等により実現される。
【００２９】
図４において、ＣＰＵ９９０は中央演算処理装置であり、オペレーティングシステム（ＯＳ）やアプリケーションプログラム等に基づいて他の構成要素と協働し、中継装置１００全体の動作を制御する。ＲＯＭ９９１は読出し専用メモリであり、基本Ｉ／Ｏプログラム等のコンピュータプログラム、基本処理に使用するデータ等を記憶する。ＲＡＭ９９２は書込み可能メモリであり、ＣＰＵ９９０のワークエリア等として機能する。
【００３０】
外部記憶ドライブ９９３は記録媒体へのアクセスを実現し、メディア（記録媒体）９９４に記憶されたコンピュータプログラム等を本システムにロードすることができる。メディア９９４には、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイディスク、ＵＳＢメモリ、フラッシュメモリ等が含まれる。ストレージ９９５は大容量メモリとして機能する装置であり、本実施形態ではＳＳＤ（ソリッドステートドライブ）を用いている。ストレージ９９５には、ＯＳ、アプリケーションプログラム等が格納される。ストレージ９９５はハードディスク装置等の他の装置により実現することもできる。
【００３１】
操作部９９６はユーザからの指示やコマンドの入力を受け付ける装置であり、キーボードやポインティングデバイス、タッチパネル等がこれに相当する。ディスプレイ９９７は、操作部９９６から入力されたコマンドや、それに対する中継装置１００の応答出力等を表示したりする表示装置である。インターフェイス（Ｉ／Ｆ）９９８は外部装置とのデータのやり取りを中継する装置である。システムバス９９９は、中継装置１００内のデータの流れを司るデータバスである。
【００３２】
なお、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
【００３３】
（中継装置の処理）
次に、図５を利用して中継装置１００が操作データを転送する処理を説明する。以下の各ステップは、中継装置１００のＣＰＵ９９０の制御に基づき実行される。
【００３４】
中継装置１００は、デジタイザ２００、人物監視装置２０１、人物撮影装置２０２、表示装置３００のそれぞれと通信セッションを確立する（Ｓ４００）。会議を開始するタイミングでそれぞれの装置からＨＴＴＰ／２によるコネクション確立要求を受信し、コネクションを確立する。本実施形態では、ＨＴＴＰ／２のコネクションを通信セッションとする。通信セッションを確立するタイミングは、遠隔拠点間で会議を開始するタイミングに限定されず、常に通信セッションを確立したままでもよいし、中継装置１００から各装置へコネクション確立要求を行ってもよい。
【００３５】
次に、各装置とのコネクションを確立した後に、人物監視装置２０１、人物撮影装置２０２からの人物情報、人物の位置情報、人物映像を受信する（Ｓ４０１）。すなわち、人物監視装置２０１から、人物監視装置２０１が特定した人物情報と、人物の位置情報を受信する。人物撮影装置２０２から、人物映像を受信する。前述のように人物情報は人物を識別する情報であり、人物の名前、ニックネーム、年齢、性別などの情報が含まれている。人物の名前、ニックネーム等が含まれておらず、人物の特徴情報が含まれている場合は、人物の特徴量から中継装置１００が人物の名前を特定してもよい。人物の位置情報は、人物とデジタイザ２００と距離や、拠点２１内に人物がいる場所が含まれている。
【００３６】
次に、デジタイザ２００から、操作データとして操作イベントと位置情報を受信する（Ｓ４０２）。操作イベントには、入力開始・停止、移動、クリック、ダブルクリックや、フリック等が含まれている。位置情報には、デジタイザ２００に入力されたイベントの位置情報として、座標情報が含まれている。
【００３７】
次に、Ｓ４０１で受信した人物情報、人物の位置情報、及び、Ｓ４０２で受信した操作イベントの位置情報に基づき、デジタイザ２００が検出した操作データを入力した人物の特定を行う（Ｓ４０３）。人物を特定できた場合（Ｓ４０３でＹＥＳ）はＳ４０４へ進み、特定できなかった場合（Ｓ４０３でＮＯ）はＳ４０９へ進む。
【００３８】
人物の特定においては、まず、人物の位置情報に含まれるデジタイザ２００と人物との距離や人物がいる場所等から、人物がデジタイザ２００に操作することが可能な操作エリアを算出する。操作イベントの位置情報が操作エリア内であれば、当該人物が入力した操作データとして判断する。すなわち、検出された操作イベントの位置を含む操作エリアに対応する人物を、その操作に係る入力を行った人物と特定する。
【００３９】
図６を用いて操作エリアの算出例について説明する。デジタイザ２００と、人物２２及び人物２３との距離を、それぞれ距離Ａ２７、距離Ｂ２８とする。デジタイザ２００と人物の距離が一定範囲内の場合に、その人物は操作可能と判断する。距離Ａ２７が一定範囲内である場合は、人物２２は入力可能と判断され、人物２２の位置周辺の操作エリア２６を人物２２の操作エリアとして算出する。例えば、デジタイザ２００から１ｍ以内の距離に存在する人物は入力可能と判断し、その人物の正面に位置するデジタイザ２００の一定領域（例えば、高さ０．５ｍ〜２ｍ、幅１ｍの四角形領域など）を操作エリアと判定する。一方、距離Ｂ２８が一定範囲外である場合は、人物２３は入力不可能と判断され、人物２３の操作エリアは算出されない。
【００４０】
なお、操作エリアの範囲については、人物がいる位置を中心として算出してもよいし、人物の頭の位置を中心に操作エリアを算出してもよい。より正確には人物の利き腕を中心に操作エリアを算出してもよい。人物の移動に伴い動的に操作エリアの算出を行う。また、図７のように人物２２と人物２３の操作エリアが重複する場合は、重複エリアの中心に人物２２と人物２３に分割してもよいし、重複エリア２９に入力された操作データは人物２２と人物２３の両方が入力した操作データとして判断してもよい。操作エリア２６や重複エリア２９内に入力された操作データを操作データの連続性を判断し人物を特定してもよい。また、操作エリア２６の形は四角形に限定するものではなく、多角形、円形、楕円形などでもよい。このようにして、人物の位置とデジタイザ２００との位置関係に基づいて、操作を入力した人物を特定する。
【００４１】
次に、表示装置３００がサブストリームに対応しているか否かを判断する（Ｓ４０４）。すなわち、表示装置３００とＨＴＴＰ／２とのコネクションの中でストリーム（ストリーム情報）の作成が可能であるか否かを判断する。ストリーム作成が不可能である、すなわち、表示装置３００がサブストリームに対応していないと判断した場合（Ｓ４０４でＮＯ）はＳ４０５へ進み、可能であると判断した場合（Ｓ４０４でＹＥＳ）はＳ４１０へ進む。
【００４２】
Ｓ４０５では、検出された操作データにＳ４０３で特定した人物情報を付加する。そして、人物情報を付加した操作データを表示装置３００へ送信する（Ｓ４０６）。
【００４３】
さらに、Ｓ４０３で特定した人物が写り込まれている映像を選択する（Ｓ４０７）。人物映像の選択は、例えば、撮影した人物の位置情報や人物映像の特徴量と、Ｓ４０３で特定した人物の位置情報や特徴量から特定することができる。Ｓ４０３にて重複エリア２９に入力された操作データについては、人物２２と人物２３の両方の人物映像を選択してもよい。
【００４４】
そして、選択した人物の映像を操作データと関連付けて、表示装置３００へ送信する（Ｓ４０８）。操作データを表示装置３００へ送信した後は、Ｓ４０１に戻る。なお、本実施形態では、シーケンシャル（逐次的）に処理を行う例を説明しているが、各処理の順番はこれに限定されるものではなく、非同期で並行して処理を行ってもよい。
【００４５】
一方、Ｓ４０９では、入力された位置付近の人物映像を選択し、Ｓ４０８において、操作データと関連付けて表示装置３００へ送信する。入力された位置付近の人物映像を受信していない場合は、デジタイザ２００に対して人物が直接入力したのではなく、他の手法で入力されたと判断する。直接入力する以外の手法による入力としては、例えば遠隔のキーボード、マウス、ジェスチャ入力、音声入力等がある。ジェスチャ入力、音声入力の場合で、人物の特徴量や音声認識等で入力した人物を特定できた場合は、操作データに人物情報を付加して表示装置３００へ送信してもよいし、当該人物映像を操作データと関連付けて送信してもよい。
【００４６】
次に、Ｓ４０４で表示装置がサブストリームに対応していると判断した場合について説明する。Ｓ４１０では、Ｓ４０３で特定した人物が新規に特定した人物であるか否かを判定する。新規に特定した人物である場合（Ｓ４１０でＹＥＳ）はＳ４１１へ進み、以前特定したことのある人物である場合（Ｓ４１０でＮＯ）はＳ４１４へ進む。
【００４７】
Ｓ４１１では、表示装置３００とのＨＴＴＰ／２のコネクションの中で、新規にストリームを操作データ用と人物映像用の２個作成する。作成したストリームにて人物情報を表示装置３００に通知する。なお、予め会議に参加する人物が分かっている場合は会議開始時に全人物のストリームを予め作成してもよい。
【００４８】
次に、作成したストリームと人物情報とを対応付けて、ストレージ９９５等の記憶装置に記憶する記憶制御を行う（Ｓ４１２）。当該人物がデジタイザ２００一定時間入力を行わなかった場合や、拠点２１の外に出た場合に記憶したストリームと人物情報を削除してもよい。この場合ストリーム情報を破棄するとともに表示装置とのストリームを破棄する。このように、ストリーム情報に対応する人物がデジタイザ２００の周辺から離脱したことに応じて、当該人物に対応するストリーム情報を記憶装置から破棄することで、記憶装置を効率的に利用することができる。
【００４９】
次に、当該人物がデジタイザ２００に入力した操作データを、Ｓ４１１で作成したサブストリームで表示装置３００へ送信する（Ｓ４１３）。そしてＳ４０７へ進む。
【００５０】
次に、Ｓ４１０で新規人物ではないと判断した場合（Ｓ４１０でＮＯ）について説明する。新規人物ではない場合、Ｓ４１４においてＳ４１２で記憶した人物に対応付いたサブストリームを選択し、Ｓ４１３において操作データを当該サブストリームで表示装置３００へ送信する。そしてＳ４０７へ進む。
【００５１】
上記のように、本実施形態では、中継装置１００は、デジタイザ２００に入力された操作データと、デジタイザ２００から所定の範囲に存在する人物の位置を取得し、その人物とデジタイザ２００との位置関係に基づいて、操作を入力した人物を特定する。そして、操作データにより示される操作を、特定した人物を識別する人物情報に対応付けて、表示装置３００に表示させる。このように、中継装置１００は操作データと人物情報とを対応付けて表示装置３００に表示させるため、操作との関連を示しながらリアルタイムに書込んでいる人物情報を提供することが可能となる。
【００５２】
また、本実施形態の操作データは、デジタイザ２００に入力された操作のデジタイザ２００における位置を示す位置情報を含み、中継装置１００は、この位置情報により示される操作の位置と人物の位置との位置関係に基づいて、操作をした人物を特定する。具体的には、取得した人物の位置から操作可能な、デジタイザ２００における操作エリアを判定し、操作データに含まれる操作の位置が操作エリアに含まれる場合に、操作を入力した人物を操作エリアに対応する人物と特定する。このため、図６を参照して説明したような、大きなデジタイザ２００を用いて数人が操作を行うような場合であっても、操作と人物とを対応付けて表示装置３００に表示させることが可能となる。なお、本実施形態では、図６のような大きなデジタイザ２００を用いた場合の例を説明したが、タブレット端末のような入力域が小さな操作入力装置を用いた場合も上記と同様の構成をとることができる。例えば、人物の利き腕の位置をその人物の位置として、操作入力装置または操作入力装置における操作位置との位置関係により操作をしている人物を特定してもよい。
【００５３】
また、本実施形態では、操作を入力した人物の特定や操作と人物情報との対応付けを中継装置１００が行う例を説明したが、これらの処理は他の装置が行うようにしてもよい。例えば、表示装置３００に接続されたＰＣ等の情報処理装置や、表示装置３００自身が上記処理を行ってもよい。
【００５４】
上記各構成によれば、デジタイザ２００に書込まれている内容を表示する装置が、リアルタイムに書込んでいる人物情報を認識して表示することができる。
【００５５】
＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５６】
１００：中継装置、２００：デジタイザ、２０１：人物監視装置、２０２：人物撮影装置、３００：表示装置
【図１】
2017033290.tif 000003
【図２】
2017033290.tif 000004
【図３】
2017033290.tif 000005
【図４】
2017033290.tif 000006
【図５】
2017033290.tif 000007
【図６】
2017033290.tif 000008
【図７】
2017033290.tif 000009