(57)【要約】【課題】特定のデバイスを用いずに、指し示された点の座標を推定することが可能な情報処理装置、座標推定プログラム及び座標推定方法を提供することを目的としている。【解決手段】面における点を指し示す指示手段を撮像した画像から、前記指示手段が指し示す水平及び垂直方向の角度を推定する傾き推定部と、前記面における基準位置と、前記指示手段が前記基準位置を指し示したときの前記指示手段が指し示す水平及び垂直方向の基準角度と前記傾き推定部により推定された前記水平及び垂直方向の角度との差分と、に基づき、前記面における点の座標を推定する座標推定部と、を有する。【選択図】図１
2016224888.tif 000002
【特許請求の範囲】
【請求項１】
面における点を指し示す指示手段を撮像した画像から、前記指示手段が指し示す水平及び垂直方向の角度を推定する傾き推定部と、
前記面における基準位置と、前記指示手段が前記基準位置を指し示したときの前記指示手段が指し示す水平及び垂直方向の基準角度と前記傾き推定部により推定された前記水平及び垂直方向の角度との差分と、に基づき、前記面における点の座標を推定する座標推定部と、を有する情報処理装置。
【請求項２】
前記指示手段を撮像した画像における、前記指示手段の形状の変化から、前記指示手段が前記基準位置を指し示したことを検知する認識部を有し、
前記座標推定部は、
前記認識部により前記指示手段が前記基準位置を指し示したことが検知されたときの画像から、前記指示手段の水平及び垂直方向の角度を求め、基準角度とする、請求項１記載の情報処理装置。
【請求項３】
前記指示手段は、人の指であり、
前記傾き推定部は、
前記指の根元及び指先の太さに応じて前記垂直方向の角度を推定する請求項１又は２記載の情報処理装置。
【請求項４】
前記面に表示させる画像における前記点の座標が示す位置に、前記点を示すポインタ画像を重畳させる画像合成部を有する請求項１乃至３の何れか一項に記載の情報処理装置。
【請求項５】
面における点を指し示す指示手段を撮像した画像から、前記指示手段が指し示す水平及び垂直方向の角度を推定し、
前記面における基準位置と、前記指示手段が前記基準位置を指し示したときの前記指示手段が指し示す水平及び垂直方向の基準角度と前記傾き推定部により推定された前記水平及び垂直方向の角度との差分と、に基づき、前記面における点の座標を推定する、
処理を、コンピュータに実行させる座標推定プログラム。
【請求項６】
コンピュータによる座標推定方法であって、該コンピュータが、
面における点を指し示す指示手段を撮像した画像から、前記指示手段が指し示す水平及び垂直方向の角度を推定する傾き、
前記面における基準位置と、前記指示手段が前記基準位置を指し示したときの前記指示手段が指し示す水平及び垂直方向の基準角度と前記傾き推定部により推定された前記水平及び垂直方向の角度との差分と、に基づき、前記面における点の座標を推定する、座標推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、座標推定プログラム及び座標推定方法に関する。
【背景技術】
【０００２】
従来では、プロジェクタ等により文書や画像等を投影して行うプレゼンテーション等において、質問者が発表者に対して質問する際に、スマートフォンをレーザポインタとして機能させる技術が知られている。この技術では、例えばスマートフォンが備えている加速度センサ等を用いてスマートフォンが指し示すスライド上の座標を推定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２２０７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術により、デバイスをレーザポインタとして機能させる場合、このデバイスが加速度センサ等を備えている必要がある。しかしながら、加速度センサ等を備えているデバイスは、スマートフォン程普及しておらず、見つけることが困難である。このため、質問者は、レーザポインタの代用となるデバイスとして、スマートフォンを準備しなければならなかった。
【０００５】
１つの側面では、特定のデバイスを用いずに、指し示された点の座標を推定することが可能な情報処理装置、座標推定プログラム及び座標推定方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
一様態によれば、面における点を指し示す指示手段を撮像した画像から、前記指示手段が指し示す水平及び垂直方向の角度を推定する傾き推定部と、前記面における基準位置と、前記指示手段が前記基準位置を指し示したときの前記指示手段が指し示す水平及び垂直方向の基準角度と前記傾き推定部により推定された前記水平及び垂直方向の角度との差分と、に基づき、前記面における点の座標を推定する座標推定部と、を有する。
【０００７】
上記各部は、上記各部を実現するプログラム、各部を手順としてコンピュータにより実行させる方法、プログラムを記憶したコンピュータ読み取り可能な記憶媒体とすることもできる。
【発明の効果】
【０００８】
特定のデバイスを用いずに、指し示された点の座標を推定することができる。
【図面の簡単な説明】
【０００９】
【図１】第一の実施形態を説明する図である。
【図２】座標の推定について説明する図である。
【図３】指の基準位置及び基準角度の設定について説明する図である。
【図４】指の基準角度を説明する図である。
【図５】第一の実施形態の電子会議システムの一例を示す図である。
【図６】第一の実施形態の端末装置のハードウェア構成の一例を説明する図である。
【図７】第一の実施形態の電子会議システムに含まれる各装置の有する機能を説明する図である。
【図８】端末装置の手形認識部の処理を説明するフローチャートである。
【図９】端末装置の傾き推定部の処理を説明するフローチャートである。
【図１０】端末装置のポインタ座標推定部の処理を説明するフローチャートである。
【図１１】端末装置が複数ある場合を説明する図である。
【図１２】第二の実施形態の電子会議システムの一例を示す図である。
【図１３】第二の実施形態の電子会議システムの有する情報処理装置の機能を説明する図である。
【図１４】第三の実施形態の電子会議システムの一例を示す図である。
【発明を実施するための形態】
【００１０】
（第一の実施形態）
以下に図面を参照して、実施形態について説明する。図１は、第一の実施形態を説明する図である。
【００１１】
図１は、例えば電子会議システム５００を用いてプレゼンテーションが行われている場面を示しており、投影領域４００には、発表者がプレゼンテーションに用いた画像が投影されている。投影されている画像の画像データは、情報処理装置２００からプロジェクタ等の投影装置３００へ送信されたものであり、投影装置３００が画像データを投影させることで、投影領域４００に画像が表示される。
【００１２】
本実施形態では、この状況において、質問者が投影領域４００を指差した際に、特定のデバイスを用いずに、質問者が指差した位置にポインタ画像を表示させる。
【００１３】
本実施形態では、質問者の手をカメラ等の撮像装置を有する端末装置１００で撮影し、手の形から、指が指し示している方向や指の傾きを認識する。そして、端末装置１００は、質問者が指さしている方向や傾きから、投影領域４００において質問者が指し示している点Ｐ１の座標を推定し、推定した座標を示す座標情報を情報処理装置２００へ渡す。
【００１４】
情報処理装置２００は、受け取った座標情報に基づき、点Ｐ１にポインタ画像を描画した画像データを投影装置３００へ渡す。投影装置３００は、情報処理装置２００から受け取った画像データを投影領域４００に投影させる。
【００１５】
その結果、投影装置３００により投影された画像には、点Ｐ１を示すポインタ画像が含まれる。
【００１６】
このように、本実施形態では、撮像機能を用いて質問者が指さした点の座標を推定するため、端末装置１００は加速度センサ等を必要としない。また、本実施形態の端末装置１００は、撮像機能をしていれば良いため、ノート型コンピュータ等であっても良く、特定のデバイスを準備せずに、指し示された投影領域内の座標を推定することができる。
【００１７】
図２は、座標の推定について説明する図である。図２（Ａ）は、質問者の指の基準位置及び角度を説明する図であり、図２（Ｂ）は、座標の推定を説明する図である。
【００１８】
本実施形態では、投影領域４００内に予め基準位置を決め、この基準位置を指し示す質問者の指の角度を、指の基準角度とする。
【００１９】
図２（Ａ）では、投影領域４００内の点Ｓを基準位置とし、点Ｓの座標を、基準位置を示す座標とし、点Ｓを指し示す質問者の指の水平及び垂直方向の角度を基準角度とした。本実施形態の点Ｓは、例えば投影領域４００内の中心点であっても良い。
【００２０】
本実施形態の端末装置１００は、撮像装置により撮像された質問者の手の動きと、基準位置とに応じて、質問者の指先が示す点の座標を推定する。図２（Ｂ）では、質問者の指先が、基準位置である点Ｓを指し示す状態から、点Ｐ１を指し示すように動いた場合を示している。
【００２１】
この場合、端末装置１００は、図２（Ｂ）における指先の傾きを示す角度を推定し、推定した角度と基準角度との差分と、基準位置とから、質問者が指し示している点Ｐ１の座標を推定する。
【００２２】
つまり、本実施形態の端末装置１００は、基準位置を指し示したときの手の画像と、投影領域４００内の他の点を指し示したときの手の画像とを比較し、指の傾きに応じて、投影領域４００内の他の点の座標を推定する。
【００２３】
本実施形態では、投影領域４００を１つの面とし、横方向をＸ軸、縦方向をＹ軸としたとき、点Ｐ１のＸ座標は、基準位置のＸ座標と、指先の水平方向の傾きθとにより推定される。また、点Ｐ１のＹ座標は、基準位置のＹ座標と、手の形の変化により求められる指先の垂直方向の傾きとにより推定される。座標の推定の処理の詳細は後述する。
【００２４】
次に、図３を参照して、指の基準位置及び基準角度の設定について説明する。図３は、指の基準位置及び基準角度の設定について説明する図である。図３（Ａ）は、質問者が手を握った状態を示す図であり、図３（Ｂ）は、質問者が投影領域内の基準位置を差し示した状態を示す図である。
【００２５】
本実施形態では、端末装置１００を例えば机の上等においた状態で、質問者の手の映像を撮影し、質問者の手の形が、手を握った形から指を指す形になったとき、基準位置及び基準角度を設定する。
【００２６】
質問者は、例えば端末装置１００を机の上等に、質問者の手を撮像できる向きに配置し、図３（Ａ）に示すように、手を握った状態で撮影を開始する。次に、質問者は、図３（Ｂ）に示すように、指投影領域４００内の基準位置（点Ｓ）を指差す。本実施形態の端末装置１００では、撮像装置により撮影される画像を解析し、質問者の手の形が指差す形となったことを検知すると、このときの指先の向いている角度を基準角度に設定する。また、端末装置１００は、指が指し示している点Ｓを基準位置に設定する。尚、基準位置の座標は、予め情報処理装置２００から端末装置１００へ与えられても良い。
【００２７】
以上のように、本実施形態では、端末装置１００の有する撮像装置１２におけるシャッターボタンを操作せずに、手の形が指差す形となったことを検知する。したがって、本実施形態によれば、例えば指差す形とした手の画像を撮像する際のシャッターボタンを操作により端末装置１００が移動し、基準位置及び基準角度が質問者の意図したものからずれることを防止できる。
【００２８】
以下に、図４を参照し、本実施形態の指の基準角度について説明する。図４は、指の基準角度を説明する図である。
【００２９】
本実施形態の基準角度には、指の水平方向の傾きを示す角度と、垂直方向の傾きを示す角度とが含まれる。
【００３０】
本実施形態の端末装置１００は、端末装置１００の表示操作装置の縦（長手）方向をＹ軸、横（短手）方向をＸ軸としたとき、Ｙ軸に対する人差し指の角度を水平方向の基準角度としても良い。より具体的には、例えば端末装置１００は、点Ｐ０と、人差し指の太さを示す幅Ｗの中点Ｐ０′とを結んだ直線４２とし、Ｙ軸に対する直線４２の傾きを水平方向の基準角度としても良い。
【００３１】
また、本実施形態の端末装置１００は、手の形から、人差し指が上方向に傾いているか、又は下方向に傾いているか、を判定し、傾きの角度を求めて垂直方向の基準角度とする。垂直方向の傾きの角度は、例えば指の根元と指先の太さ等を用いて、既存の画像認識技術により求められる。
【００３２】
尚、本実施形態では、投影領域４００の点を指し示す指示手段を人差し指としたが、これに限定されない。投影領域４００を指し示す指は、中指でも良いし親指でも良く、拳のから突出しているものであれば指でなくても良い。
【００３３】
次に、図５を参照し、本実施形態の端末装置１００と情報処理装置２００とを含むシステムについて説明する。本実施形態では、端末装置１００と情報処理装置２００を含むシステムを、電子会議等に用いる電子会議システムとした。
【００３４】
図５は、第一の実施形態の電子会議システムの一例を示す図である。本実施形態の電子会議システム５００は、端末装置１００と、情報処理装置２００とを有する。端末装置１００と情報処理装置２００とは、ネットワークを介して接続されている。情報処理装置２００は、投影装置３００と接続されている。
【００３５】
本実施形態の端末装置１００は、座標推定処理部１１０を有する。本実施形態の座標推定処理部１１０の処理の概要は、上述したように、撮像した画像における指が指し示す点の座標を推定する。
【００３６】
本実施形態の情報処理装置２００は、画像処理部２１０を有する。本実施形態の画像処理部２１０は、投影装置３００により投影させる画像の画像データを投影装置３００へ渡す。また、本実施形態の画像処理部２１０は、投影させる画像に、ポインタ画像を重畳させる。具体的には、画像処理部２１０は、投影させる画像において、端末装置１００により推定された座標と対応する位置に、ポインタ画像を重畳させる。
【００３７】
尚、本実施形態では、情報処理装置２００が画像データを出力する先を投影装置３００としたが、これに限定されない。情報処理装置２００が画像データを出力する先は、例えば大型のディスプレイ等であっても良く、複数人（発表者と質問者）が同時に閲覧できる表示装置であれば良い。
【００３８】
以下に、図６を参照し、本実施形態の端末装置１００のハードウェア構成について説明する。図６は、第一の実施形態の端末装置のハードウェア構成の一例を説明する図である。
【００３９】
本実施形態の端末装置１００は、情報処理装置の１つであり、それぞれバスＢで相互に接続されている表示操作装置１１、撮像装置１２、ドライブ装置１３、補助記憶装置１４、メモリ装置１５、演算処理装置１６及びインターフェース装置１７を含む。
【００４０】
表示操作装置１１は、表示機能と入力機能の両方を備えたタッチパネル等である。撮像装置１２は、一般的なカメラ等である。インターフェース装置１７は、モデム、ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。
【００４１】
座標推定プログラムは、端末装置１００を制御する各種プログラムの少なくとも一部である。座標推定プログラムは例えば記録媒体１８の配布やネットワークからのダウンロードなどによって提供される。座標推定プログラムを記録した記録媒体１８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００４２】
また、座標推定プログラムは、座標推定プログラムを記録した記録媒体１８がドライブ装置１３にセットされるとは記録媒体１８からドライブ装置１３を介して補助記憶装置１４にインストールされる。ネットワークからダウンロードされた座標推定プログラムは、インターフェース装置１７を介して補助記憶装置１４にインストールされる。
【００４３】
補助記憶装置１４は、インストールされた座標推定プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置１５は、コンピュータの起動時に補助記憶装置１４から座標推定プログラムを読み出して格納する。そして、演算処理装置１６はメモリ装置１５に格納された座標推定プログラムに従って、後述するような各種処理を実現している。
【００４４】
また、本実施形態の端末装置１００は、例えばノート型のコンピュータ等であっても良い。その場合、端末装置１００は、表示操作装置１１の代わりに、キーワードとディスプレイを有していても良い。
【００４５】
本実施形態の情報処理装置２００は、一般のコンピュータやタブレット型のコンピュータ等であり、そのハードウェア構成は、端末装置１００と同様であるから、説明を省略する。
【００４６】
次に、図７を参照し、本実施形態の電子会議システム５００の有する各装置の機能について説明する。
【００４７】
図７は、電子会議システムに含まれる各装置の有する機能を説明する図である。始めに、端末装置１００について説明する。
【００４８】
本実施形態の端末装置１００は、座標推定処理部１１０を有する。本実施形態の座標推定処理部１１０は、端末装置１００の演算処理装置１６が補助記憶装置１４やメモリ装置１５に格納された座標推定プログラムを実行することにより実現される。
【００４９】
本実施形態の座標推定処理部１１０は、手形認識部１１１、傾き推定部１１２、ポインタ座標推定部１１３、指差しフラグ記憶部１１４、基準記憶部１１５を有する。また、本実施形態の端末装置１００は、撮像装置１２により実現される撮像部１１６と、インターフェース装置１７により実現されるインターフェース部１１７を有する。
【００５０】
本実施形態の手形認識部１１１は、撮像部１１６により取得された質問者の手の画像において、手の画像を認識する。また、本実施形態の手形認識部１１１は、画像における手の形状の変化を検知する。具体的には、手形認識部１１１は、画像において、手の形が手を握った状態の形から、指を指した状態の形へ変化したことを検知する。本実施形態の手形認識部１１１は、手の形が手を握った状態の形から、指を指した状態の形へ変化したことを検出すると、ポインタ座標推定部１１３に対し、基準角度と基準位置を設定する基準設定指示を行う。
【００５１】
傾き推定部１１２は、手形認識部１１１により認識された手の形が、指を指した状態の形であった場合、手の形から指の傾きを推定する。
【００５２】
具体的には、傾き推定部１１２は、例えば画像におけるＹ軸に対する人差し指の傾きから、人差し指の指先が向いている水平方向の角度を推定する（図４参照）。
【００５３】
また、傾き推定部１１２は、人差し指が撮像装置１２に近い程太く、遠いほど細く写ることに着目し、画像における人差し指の根元と指先の太さの比率から、人差し指の指先が向いている垂直方向の角度を推定する。
【００５４】
ポインタ座標推定部１１３は、指の傾き、基準位置、画像における指の太さ等に応じて、指を指している点の座標を推定する。また、本実施形態のポインタ座標推定部１１３は、基準設定指示を受け付けると、手形認識部１１１により検出された手形から、基準角度と基準位置とを基準記憶部１１５へ格納する。
【００５５】
指差しフラグ記憶部１１４は、手形認識部１１１による手形の認識結果が格納される。具体的には、画像における手の形が指を指した状態の形である場合、指差しフラグ記憶部１１４には「１」が格納され、手の形が指を指した状態以外の形である場合、指差しフラグ記憶部１１４には「０」が格納される。
【００５６】
基準記憶部１１５は、基準設定指示により設定された基準角度と基準位置とが格納される。
【００５７】
撮像部１１６は、撮像装置１２により実現される機能であり、例えば質問者の手の画像を撮像する。尚、本実施形態の撮像部１１６は、手の動画を撮影しても良い。以下の説明における手の画像とは、撮像部１１６により撮影された動画の１フレームを示すものとする。
【００５８】
インターフェース部１１７は、インターフェース装置１７により実現される機能であり、ネットワークを介して情報処理装置２００と通信を行う。
【００５９】
次に、本実施形態の情報処理装置２００について説明する。本実施形態の情報処理装置２００は、インターフェース部２１１、スライド画像レンダリング部２１２、ポインタ画像レンダリング部２１３、画像合成部２１４、画像出力部２１５を有する。
【００６０】
インターフェース部２１１は、端末装置１００から、端末装置１００で推定されたポインタの座標情報を取得する。また、インターフェース部２１１は、取得した座標情報をポインタ画像レンダリング部２１３に渡す。
【００６１】
スライド画像レンダリング部２１２は、投影装置３００により投影される画像（以下、スライド画像）をレンダリングする。尚、レンダリングとは、画像や画面の内容を指示するデータの集まり(数値や数式のパラメータ、描画ルールを記述したもの等)をプログラムで処理して、具体的な画素の集合を得ることである。
【００６２】
ポインタ画像レンダリング部２１３は、スライド画像における座標情報が示す位置に表示させるポインタの画像をレンダリングする。
【００６３】
画像合成部２１４は、スライド画像とポインタ画像とを合成し、画像出力部２１５へ渡す。画像出力部２１５は、画像合成部２１４により合成された画像の画像データを投影装置３００へ出力する。
【００６４】
次に、図８乃至図１０を参照し、本実施形態の端末装置１００の動作について説明する。尚、本実施形態の端末装置１００は、図８の処理の実行を開始する前に、情報処理装置２００と通信を行い、情報処理装置２００が表示させる画面の中心位置、すなわち投影装置３００により投影される投影領域４００の中心を示す点Ｓ（基準位置）の座標を取得しても良い。また、点Ｓの座標は、予め端末装置１００に与えられていても良い。
【００６５】
図８は、端末装置の手形認識部の処理を説明するフローチャートである。
【００６６】
本実施形態の手形認識部１１１は、撮像装置１２により撮影された動画データにおいて、予め決められた所定のフレーム数毎に、図８の処理を行う。
【００６７】
本実施形態の端末装置１００は、手形認識部１１１により、撮像装置１２により撮影された質問者の手の動画データを読み取る（ステップＳ８０１）。続いて手形認識部１１１は、読み出した動画に含まれる１フレームの画像から手を検出し、手の形を認識する（ステップＳ８０２）。本実施形態の手形認識部１１１は、例えば画像における手の輪郭を検出することで、手を検出し、手の形を認識しても良い。また、このとき手形認識部１１１は、手を検出した１フレーム分の画像データを、補助記憶装置１４やメモリ装置１５に設けられた記憶領域へ格納し、保持する。
【００６８】
続いて、手形認識部１１１は、手の形が指を差した形であるか否かを判定する（ステップＳ８０３）。具体的には、手形認識部１１１は、検出した輪郭の形状の一部が突出している形状であった場合等に、指を差した形であると判定する。ステップＳ８０３において、手の形が指を差した形でなかった場合、手形認識部１１１は、後述するステップＳ８０７へ進む。
【００６９】
ステップＳ８０３において、手の形が指を差した形である場合、手形認識部１１１は、所定のフレーム数前の画像において、手の形が指を差した形であったか否かを判定する（ステップＳ８０４）。より具体的には、手形認識部１１１は、指差しフラグ記憶部１１４には「１」が格納されているか否かを判定する。尚、所定のフレーム数前とは、図８の処理が前回行われたときを示している。本実施形態の所定のフレーム数は、例えば５〜１０フレーム程度であっても良い。
【００７０】
つまり、手形認識部１１１は、ステップＳ８０４において、図８の処理を前回実行したときに、手の形が、指を差した形であったか否かを判定している。
【００７１】
ステップＳ８０４において指を差した形であった場合、手形認識部１１１は、指差しをしているか否かを示す値をＴｒｕｅとし、基準設定指示を行うか否かを示す値をＦａｌｓｅとし（ステップＳ８０５）、処理を終了する。具体的には、手形認識部１１１は、指差しフラグ記憶部１１４に「１」を格納し、ポインタ座標推定部１１３に対する基準設定指示を行わない。ステップＳ８０５は、質問者の手が、前回図８の処理を実行したときから指を差した形であり、基準位置及び基準角度が既に設定された状態である。また、本実施形態の手形認識部１１１は、処理を終了する際に、傾き推定部１１２に対して、傾き推定の処理の実行を指示してもよい。
【００７２】
ステップＳ８０４において指を差した形でない場合、手形認識部１１１は、指差しをしているか否かを示す値をＴｒｕｅとし、基準設定指示を行うか否かを示す値をＴｒｕｅとし（ステップＳ８０６）、処理を終了する。具体的には、手形認識部１１１は、指差しフラグ記憶部１１４に「１」を格納し、ポインタ座標推定部１１３に対する基準設定指示を行う。ステップＳ８０６は、質問者の手が、前回図８の処理を実行したときは指を差した形ではなく、今回の図８の処理で指を差した形が検出された場合である。
【００７３】
したがって、ステップＳ８０６において、本実施形態の手形認識部１１１は、質問者が投影領域４００を指差す動作を開始したものと検出し、ポインタ座標推定部１１３に基準設定指示を行う。
【００７４】
また、ステップＳ８０３において、手の形が指を差した形でなかった場合、手形認識部１１１は、指差しをしているか否かを示す値をＦａｌｓｅとし、基準設定指示を行うか否かを示す値をＦａｌｓｅとし（ステップＳ８０７）、処理を終了する。具体的には、手形認識部１１１は、指差しフラグ記憶部１１４に「０」を格納し、ポインタ座標推定部１１３に対する基準設定指示を行わない。ステップＳ８０７は、質問者の手が、指を差した形ではなく、投影領域４００を指差していない状態である。
【００７５】
次に、図９を参照し、本実施形態の端末装置１００における傾き推定部１１２の動作について説明する。図９は、端末装置の傾き推定部の処理を説明するフローチャートである。
【００７６】
本実施形態の傾き推定部１１２は、手形認識部１１１により、傾き推定の指示を受け付けると、手形認識部１１１が図８のステップＳ８０２で保持した画像データを読み出す（ステップＳ９０１）。
【００７７】
続いて傾き推定部１１２は、画像データにおいて認識された手の形から、人差し指の示している人差し指の水平方向と垂直方向の角度を求め、例えばメモリ装置１５等に設けられた記憶領域に保持し（ステップＳ９０２）、処理を終了する。具体的には、傾き推定部１１２は、画像のＸ軸又はＹ軸に対する人差し指の角度を求め（図４参照）、人差し指の水平方向の傾きとする。また、傾き推定部１１２は、人差し指の根元の太さと、先端の太さの比率から、人差し指の垂直方向の角度を求め、人差し指の垂直方向の傾きとする。
【００７８】
尚、傾き推定部１１２は、画像における人差し指の水平方向の角度と垂直方向の角度は、公知の画像認識技術により求められても良い。具体的には、例えば傾き推定部１１２は、指の先端の太さと根元の太さ以外から人差し指の水平方向と垂直方向の角度を求めても良い。例えば、垂直方向の角度は、画像における手の甲の領域の面積と、人差し指の領域の面積の比率等から求められても良い。この場合、前回取得された画像データと比較して、手の甲の領域の面積が大きくなり、人差し指の領域の面積とが小さくなれば、指先が下を向いたと言える。同様に、前回取得した画像データと比較して、手の甲の領域の面積が小さくなり、人差し指の領域の面積が大きくなれば、指先が上を向いたと言える。
【００７９】
また、傾き推定部１１２は、処理を終了する際に、ポインタ座標推定部１１３へ、ポインタ座標推定の処理の実行を指示する。
【００８０】
次に、図１０を参照して本実施形態のポインタ座標推定部１１３の処理を説明する。図１０は、端末装置のポインタ座標推定部の処理を説明するフローチャートである。
【００８１】
本実施形態のポインタ座標推定部１１３は、手形認識部１１１又は傾き推定部１１２から指示を受け付ける（ステップＳ１００１）。具体的には、ポインタ座標推定部１１３は、手形認識部１１１からの基準設定指示又は傾き推定部１１２からのポインタ座標推定の処理の実行指示の何れかを受け付ける。
【００８２】
続いてポインタ座標推定部１１３は、受け付けた指示が基準設定指示であるか否かを判定する（ステップＳ１００２）。
【００８３】
ステップＳ１００２において、受け付けた指示が基準設定指示であった場合、ポインタ座標推定部１１３は、図８のステップＳ８０２で取得した画像データにおける人差し指の水平方向の傾きの角度を水平方向の基準角度とし、垂直方向の傾きの角度を垂直方向の基準角度として基準記憶部１１５に格納する。また、ポインタ座標推定部１１３は、情報処理装置２００から取得した点Ｓの座標を基準位置として基準記憶部１１５に格納し（ステップＳ１００３）、処理を終了する。
【００８４】
尚、基準位置は、点Ｓの座標ではなく、投影領域のＸ軸方向の幅の中点、Ｙ軸方向の高さの中点に設定されても良い。具体的には、投影領域のＸ軸方向の幅をＷｘ、Ｙ軸方向の高さをＨｙとしたとき、基準位置は、（Ｗｘ／２，Ｈｙ／２）と設定される。このように基準位置を設定すれば、情報処理装置２００の表示させる画面の幅と高さそれぞれの画素数に関わらず、投影領域の中心を基準位置とすることができる。
【００８５】
尚、基準位置は、投影領域の中心で無くても良い。本実施形態では、投影装置３００の解像度と、基準位置の座標とを端末装置１００に予め提供することができれば、基準位置は任意の位置であっても良い。
【００８６】
ステップＳ１００２において、受け付けた指示がポインタ座標推定の処理の実行指示であった場合、ポインタ座標推定部１１３は、ポインタ画像を表示させる位置の座標を推定し、インターフェース部１１７へ出力し、処理を終了する（ステップＳ１００３）。
【００８７】
具体的には、ポインタ座標推定部１１３は、傾き推定部１１２が求めた水平方向の傾きの角度と、基準記憶部１１５に格納された水平方向の基準角度との差分を求める。そして、この差分から、人差し指が指差している位置が、投影領域４００において基準点ＳからＸ軸方向にどれだけ離れているかを求め、その結果をＸ座標に反映させたものを、ポインタ画像を表示させる位置のＸ座標の値とする。
【００８８】
ポインタ座標推定部１１３は、同様に、傾き推定部１１２が求めた垂直方向の傾きの角度と、基準記憶部１１５に格納された垂直方向の基準角度との差分を求める。そして、この差分から、人差し指が指差している位置が、投影領域４００において基準点ＳからＹ軸方向にどれだけ離れているかを求め、その結果をＹ座標に反映させたものを、ポインタ画像を表示させる位置のＹ座標の値とする。
【００８９】
本実施形態の端末装置１００は、ポインタ座標が求まると、インターフェース部１１７が情報処理装置２００に対してポインタ座標を送信する。
【００９０】
情報処理装置２００は、ポインタ座標を受信すると、ポインタ画像レンダリング部213により、ポインタ画像を生成し、画像合成部２１４により、スライド画像において、ポインタ座標が示す位置にポインタ画像を重畳させる。そして、情報処理装置２００は、画像出力部２１５により、ポインタ画像を重畳させたスライド画像を投影装置３００へ出力する。
【００９１】
投影装置３００は、ポインタ画像が重畳されたスライド画像を投影させるため、投影された画像には、座標推定処理部１１０により推定された位置にポインタ画像が表示される。
【００９２】
以上のように、本実施形態によれば、質問者は撮像機能を有する端末装置１００を有していれば、特定のデバイスを用いずに、指し示された点の座標を推定することができる。
【００９３】
尚、本実施形態の電子会議システム５００では、端末装置１００が１台である例を説明したが、これに限定されない。本実施形態の電子会議システム５００は、座標推定処理部１１０を有する端末装置を複数有していても良い。
【００９４】
図１１は、端末装置が複数ある場合を説明する図である。図１１の例では、電子会議システム５００は、端末装置１００と、端末装置１００Ａとを有する。
【００９５】
端末装置１００Ａは、例えば、撮像装置を有するノート型コンピュータ等である。本実施形態の端末装置１００Ａは、端末装置１００と同様に、端末装置１００Ａを使用している質問者の手の動画を撮像し、人差し指が指し示す位置の座標を推定して情報処理装置２００へ渡す。情報処理装置２００は、端末装置１００から座標を受けたときと同様の処理を行う。
【００９６】
したがって、情報処理装置２００が表示させるスライド画像には、端末装置１００から受けた座標が示す位置である点Ｐ１と、端末装置１００Ａから受けた座標が示す位置である点Ｐ２と、に、ポインタ画像が表示される。
【００９７】
尚、本実施形態では、図１１に示すように、異なる端末装置において推定された座標と対応するポインタ画像を異なる形状の画像としても良い。具体的には、例えば点Ｐ１に表示させるポインタ画像は円形とし、点Ｐ２に表示させるポインタ画像を星型としても良い。また、２つのポインタ画像は、それぞれ異なる色としても良い。
【００９８】
（第二の実施形態）
以下に図面を参照して第二の実施形態について説明する。第二の実施形態は、座標推定処理部を情報処理装置が有する点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
【００９９】
図１２は、第二の実施形態の電子会議システムの一例を示す図である。本実施形態の電子会議システム５００Ａは、複数の撮像装置６００−１、６００−２と、情報処理装置２００Ａとを有する。
【０１００】
本実施形態の撮像装置６００−１、６００−２は、例えば会議室等に予め設置されているものとした。また、図１２の例では、電子会議システム５００Ａは、撮像装置６００−１、６００−２の２つを有するものとしたが、これに限定されず、任意の数の撮像装置を有していても良い。さらに、以下の本実施形態の説明では、撮像装置６００−１、６００−２のそれぞれを区別しない場合は、撮像装置６００と呼ぶ。
【０１０１】
図１３は、第二の実施形態の電子会議システムの有する情報処理装置の機能を説明する図である。
【０１０２】
本実施形態の電子会議システム５００Ａにおいて、撮像装置６００は、質問者の手の映像データを情報処理装置２００Ａへ出力する。
【０１０３】
本実施形態の情報処理装置２００Ａは、座標推定処理部１１０Ａと、画像処理部２１０Ａとを有する。
【０１０４】
座標推定処理部１１０Ａは、ポインタ座標推定部１１３Ａを有する。ポインタ座標推定部１１３Ａは、推定したポインタの座標を直接画像処理部２１０Ａに渡す点のみ、第一の実施形態と相違する。
【０１０５】
画像処理部２１０Ａは、ポインタ画像レンダリング部２１３Ａを有する。ポインタ画像レンダリング部２１３Ａは、ポインタ座標推定部１１３Ａから直接ポインタの座標を受け付ける点のみ、第一の実施形態と相違する。
【０１０６】
本実施形態では、座標推定処理部１１０を情報処理装置２００Ａに設けたため、端末装置側で座標推定処理を行わなくても良くなる。つまり、本実施形態によれば、質問者に撮像装置のみを提供すればよく、特定のデバイスを準備せずに、指し示された投影領域内の座標を推定することができる。
【０１０７】
（第三の実施形態）
以下に図面を参照して第三の実施形態について説明する。第三の実施形態は、投影領域を指し示すのが指でなくペン等である点が、第一の実施形態と相違する。よって、以下の第三の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
【０１０８】
図１４は、第三の実施形態の電子会議システムの一例を示す図である。本実施形態では、投影領域４００を指し示す指示手段として、質問者の指先の代わりにペン７００を用いた場合を示している。
【０１０９】
本実施形態の端末装置１００は、手形認識部１１１により、ペン７００を持った手の形を認識する。本実施形態において、また、本実施形態の端末装置１００と情報処理装置２００は、第一の実施形態と同様の処理を行う。
【０１１０】
開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
面における点を指し示す指示手段を撮像した画像から、前記指示手段が指し示す水平及び垂直方向の角度を推定する傾き推定部と、
前記面における基準位置と、前記指示手段が前記基準位置を指し示したときの前記指示手段が指し示す水平及び垂直方向の基準角度と前記傾き推定部により推定された前記水平及び垂直方向の角度との差分と、に基づき、前記面における点の座標を推定する座標推定部と、を有する情報処理装置。
（付記２）
前記指示手段を撮像した画像における、前記指示手段の形状の変化から、前記指示手段が前記基準位置を指し示したことを検知する認識部を有し、
前記座標推定部は、
前記認識部により前記指示手段が前記基準位置を指し示したことが検知されたときの画像から、前記指示手段の水平及び垂直方向の角度を求め、基準角度とする、付記１記載の情報処理装置。
（付記３）
前記指示手段は、人の指であり、
前記傾き推定部は、
前記指の根元及び指先の太さに応じて前記垂直方向の角度を推定する付記１又は２記載の情報処理装置。
（付記４）
前記基準位置は、前記面に表示された画像の中心を示す点である、付記１乃至３の何れか一項に記載の情報処理装置。
（付記５）
前記面に表示させる画像における前記点の座標が示す位置に、前記点を示すポインタ画像を重畳させる画像合成部を有する付記１乃至４の何れか一項に記載の情報処理装置。
（付記６）
面における点を指し示す指示手段を撮像した画像から、前記指示手段が指し示す水平及び垂直方向の角度を推定し、
前記面における基準位置と、前記指示手段が前記基準位置を指し示したときの前記指示手段が指し示す水平及び垂直方向の基準角度と前記傾き推定部により推定された前記水平及び垂直方向の角度との差分と、に基づき、前記面における点の座標を推定する、
処理を、コンピュータに実行させる座標推定プログラム。
（付記７）
コンピュータによる座標推定方法であって、該コンピュータが、
面における点を指し示す指示手段を撮像した画像から、前記指示手段が指し示す水平及び垂直方向の角度を推定する傾き、
前記面における基準位置と、前記指示手段が前記基準位置を指し示したときの前記指示手段が指し示す水平及び垂直方向の基準角度と前記傾き推定部により推定された前記水平及び垂直方向の角度との差分と、に基づき、前記面における点の座標を推定する、座標推定方法。
【０１１１】
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から
逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【０１１２】
１００、１００Ａ  端末装置
１１０  座標推定処理部
１１１  手形認識部
１１２  傾く推定部
１１３  ポインタ座標推定部
２００  情報処理装置
２１０  画像処理部
３００  投影装置
４００  投影領域
５００  電子会議システム
【図１】
2016224888.tif 000003
【図２】
2016224888.tif 000004
【図３】
2016224888.tif 000005
【図４】
2016224888.tif 000006
【図５】
2016224888.tif 000007
【図６】
2016224888.tif 000008
【図７】
2016224888.tif 000009
【図８】
2016224888.tif 000010
【図９】
2016224888.tif 000011
【図１０】
2016224888.tif 000012
【図１１】
2016224888.tif 000013
【図１２】
2016224888.tif 000014
【図１３】
2016224888.tif 000015
【図１４】
2016224888.tif 000016