(57)【要約】【課題】ポインティングの際のユーザの利便性を向上させること。【解決手段】映像を表示する表示装置と映像を表示している表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムであって、変換規則生成部は、映像の特徴点と、撮像部が撮像して得た画像の特徴点とに基づいて、画像の座標系から映像の座標系への変換規則を生成する。推定部は、変換規則を参照して、撮像部の光軸が、表示装置が備える表示部と交わる点を表示部に表示させるポインタの位置を決定するための情報として推定する【選択図】図３
2014110030.tif 000002
【特許請求の範囲】
【請求項１】
映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムであって、
前記映像の特徴点と、前記撮像部が撮像して得た画像の特徴点とに基づいて、前記画像の座標系から前記映像の座標系への変換規則を生成する変換規則生成部と、
前記変換規則を参照して、前記撮像部の光軸が、前記表示装置が備える表示部と交わる点を前記表示部に表示させるポインタの位置を決定するための情報として推定する推定部と、
を備えること
を特徴とするポインティングシステム。
【請求項２】
前記映像から特徴のある領域を抽出するエリア選択部をさらに備え、
前記変換規則生成部は、前記エリア選択部が抽出した前記領域に含まれる前記映像の特徴点と、該映像の特徴点に対応する前記画像の特徴点とに基づいて前記変換規則を生成すること
を特徴とする請求項１に記載のポインティングシステム。
【請求項３】
前記表示部に表示される前記映像を複数のエリアに分割する画面分割部と、
前記画面分割部が分割した前記エリアごとに前記映像の特徴点の数をカウントする画面特徴点カウント部と、
をさらに備え、
前記エリア選択部は、
前記画面特徴点カウント部が前記エリアごとにカウントした前記映像の特徴点の数に基づいて前記領域を抽出すること
を特徴とする請求項２に記載のポインティングシステム。
【請求項４】
前記変換規則生成部は、
前記映像の特徴点と前記画像の特徴点とを対応付けた特徴点の対を少なくとも４組用いて前記変換規則を生成すること
を特徴とする請求項１から請求項３のいずれか一項に記載のポインティングシステム。
【請求項５】
前記変換規則生成部は、前記映像の特徴点と対応する前記画像の特徴点のうち、少なくとも４組の前記特徴点の対から前記画像における前記表示部の角の位置を推定し、
該推定した角の位置と前記映像の角の位置とに基づいて前記変換規則を生成すること
を特徴とする請求項４に記載のポインティングシステム。
【請求項６】
前記変換規則生成部は、
画面分割部が分割した前記エリアごとに前記映像の特徴点と対応する前記画像の特徴点の対のうち任意の４組から前記角の位置を繰り返し推定し、該繰り返し推定して得た複数の角の位置に基づいて前記角の位置を決定すること
を特徴とする請求項５に記載のポインティングシステム。
【請求項７】
前記変換規則生成部は、
前記画面分割部が分割した前記エリアごとの前記映像の特徴点と対応する前記画像の特徴点の対のうち、互いに異なる前記エリアに存在する前記映像の特徴点と対応する前記画像の特徴点の対から前記角の位置を決定すること
を特徴とする請求項５に記載のポインティングシステム。
【請求項８】
加速度を測定する加速度センサと、
前記ポインタの動きを平滑化する平滑化部と、
前記加速度に応じて平滑化部に平滑化させるか否かを制御する制御部と、
をさらに備えること
を特徴とする請求項１から請求項７のいずれか一項に記載のポインティングシステム。
【請求項９】
映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムにおけるポインティング方法であって、
前記映像の特徴点と、前記撮像部が撮像して得た画像の特徴点とに基づいて、前記画像の座標系から前記映像の座標系への変換規則を生成する変換規則生成過程と、
前記変換規則を参照して、前記撮像部の光軸が、前記表示装置が備える表示部と交わる点を前記表示部に表示させるポインタの位置を決定するための情報として推定する推定過程と、
を有すること
を特徴とするポインティング方法。
【請求項１０】
映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムにおける前記表示装置であって、
前記映像の特徴点と、前記撮像部が撮像して得た画像の特徴点とに基づいて、前記画像の座標系から前記映像の座標系への変換規則を生成する変換規則生成部と、
前記変換規則を参照して、前記撮像部の光軸が、前記表示装置が備える表示部と交わる点を前記表示部に表示させるポインタの位置を決定するための情報として推定する推定部と、
を備えること
を特徴とする表示装置。
【請求項１１】
映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムにおける前記電子装置であって、
前記映像の特徴点と、前記撮像部が撮像して得た画像の特徴点とに基づいて、前記画像の座標系から前記映像の座標系への変換規則を生成する変換規則生成部と、
前記変換規則を参照して、前記撮像部の光軸が、前記表示装置が備える表示部と交わる点を前記表示部に表示させるポインタの位置を決定するための情報として推定する推定部と、
を備えること
を特徴とする電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポインティングシステム、ポインティング方法、表示装置、および電子装置に関する。
【背景技術】
【０００２】
ポインティングとは、図などを指し示すことであり、例えば、レーザーポインターのようにレーザー光線を用いて図などを指し示すものがある。特許文献１に記載の技術は、表示装置の映像を撮影する画像処理装置のカメラの撮影映像におけるキー撮影フレーム候補から、表示装置の表示映像における表示フレームへの第１の射影変換行列を算出し、第１の射影変換行列の更新と並行して、現撮影フレームからキー撮影フレームへの第２の射影変換行列を算出する。画像処理装置は、第２の射影変換行列に第１の射影変換行列を乗算し、現撮影フレームから表示フレームへの第３の射影変換行列を算出し、第３の射影変換行列を用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付けるものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１１３３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術を用いてもカメラを表示装置と遠い距離にある場合などにおいて、カメラ映像と表示映像との特徴点のマッチングができないという欠点があった。また、カメラが表示装置と近い距離にある場合などにおいても、特徴点の抽出とマッチングにおける処理時間が長くなり、ユーザが指し示すポインティング位置の推定ができないという欠点があった。このように、当該距離によって、ポインティング位置の推定ができない場合があり、ユーザの利便性が不十分であるという問題があった。
【０００５】
本発明は上記の点に鑑みてなされたものであり、ポインティングの際のユーザの利便性を向上させることができるポインティングシステム、ポインティング方法、表示装置、および電子装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムであって、前記映像の特徴点と、前記撮像部が撮像して得た画像の特徴点とに基づいて、前記画像の座標系から前記映像の座標系への変換規則を生成する変換規則生成部と、前記変換規則を参照して、前記撮像部の光軸が、前記表示装置が備える表示部と交わる点を前記表示部に表示させるポインタの位置を決定するための情報として推定する推定部と、を備えることを特徴とするポインティングシステムである。
【０００７】
（２）また、本発明の一態様は、前記映像から特徴のある領域を抽出するエリア選択部をさらに備え、前記変換規則生成部は、前記エリア選択部が抽出した前記領域に含まれる前記映像の特徴点と、該映像の特徴点に対応する前記画像の特徴点とに基づいて前記変換規則を生成することを特徴とするポインティングシステムである。
【０００８】
（３）また、本発明の一態様は、前記表示部に表示される前記映像を複数のエリアに分割する画面分割部と、前記画面分割部が分割した前記エリアごとに前記映像の特徴点の数をカウントする画面特徴点カウント部と、をさらに備え、前記エリア選択部は、前記画面特徴点カウント部が前記エリアごとにカウントした前記映像の特徴点の数に基づいて前記領域を抽出することを特徴とするポインティングシステムである。
【０００９】
（４）また、本発明の一態様は、前記変換規則生成部は、前記映像の特徴点と前記画像の特徴点とを対応付けた特徴点の対を少なくとも４組用いて前記変換規則を生成することを特徴とするポインティングシステムである。
【００１０】
（５）また、本発明の一態様は、前記変換規則生成部は、前記映像の特徴点と対応する前記画像の特徴点のうち、少なくとも４組の前記特徴点の対から前記画像における前記表示部の角の位置を推定し、該推定した角の位置と前記映像の角の位置とに基づいて前記変換規則を生成することを特徴とするポインティングシステムである。
【００１１】
（６）また、本発明の一態様は、前記変換規則生成部は、前記画面分割部が分割した前記エリアごとに前記映像の特徴点と対応する前記画像の特徴点の対のうち任意の４組から前記角の位置を繰り返し推定し、該繰り返し推定して得た複数の角の位置に基づいて前記角の位置を決定することを特徴とするポインティングシステムである。
【００１２】
（７）また、本発明の一態様は、前記変換規則生成部は、前記画面分割部が分割した前記エリアごとの前記映像の特徴点と対応する前記画像の特徴点の対のうち、互いに異なる前記エリアに存在する前記映像の特徴点と対応する前記画像の特徴点の対から前記角の位置を決定することを特徴とするポインティングシステムである。
【００１３】
（８）また、本発明の一態様は、加速度を測定する加速度センサと、前記ポインタの動きを平滑化する平滑化部と、前記加速度に応じて平滑化部に平滑化させるか否かを制御する制御部と、をさらに備えることを特徴とするポインティングシステムである。
【００１４】
（９）また、本発明の一態様は、映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムにおけるポインティング方法であって、前記映像の特徴点と、前記撮像部が撮像して得た画像の特徴点とに基づいて、前記画像の座標系から前記映像の座標系への変換規則を生成する変換規則生成過程と、前記変換規則を参照して、前記撮像部の光軸が、前記表示装置が備える表示部と交わる点を前記表示部に表示させるポインタの位置を決定するための情報として推定する推定過程と、を有することを特徴とするポインティング方法である。
【００１５】
（１０）また、本発明の一態様は、映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムにおける前記表示装置であって、前記映像の特徴点と、前記撮像部が撮像して得た画像の特徴点とに基づいて、前記画像の座標系から前記映像の座標系への変換規則を生成する変換規則生成部と、前記変換規則を参照して、前記撮像部の光軸が、前記表示装置が備える表示部と交わる点を前記表示部に表示させるポインタの位置を決定するための情報として推定する推定部と、を備えることを特徴とする表示装置である。
【００１６】
（１１）また、本発明の一態様は、映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムにおける前記電子装置であって、前記映像の特徴点と、前記撮像部が撮像して得た画像の特徴点とに基づいて、前記画像の座標系から前記映像の座標系への変換規則を生成する変換規則生成部と、前記変換規則を参照して、前記撮像部の光軸が、前記表示装置が備える表示部と交わる点を前記表示部に表示させるポインタの位置を決定するための情報として推定する推定部と、を備えることを特徴とする電子装置。
【発明の効果】
【００１７】
本発明によれば、ポインティングの際のユーザの利便性を向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態に係るポインティングシステムの構成の一例を示す概略図である。
【図２】本実施形態に係る表示装置の構成の一例を示す概略ブロック図である。
【図３】本実施形態に係る表示装置の画面分割部の動作の一例を説明する説明図である。
【図４】本実施形態に係る表示装置の画面分割部の動作の一例を説明する説明図である。
【図５】本実施形態に係る電子装置の構成の一例を示す概略ブロック図である。
【図６】本実施形態に係る電子装置のポインティング部の特徴点比較部おけるマッチング処理の一例を説明する説明図である。
【図７】本実施形態に係る電子装置のポインティング部のコーナー推定部におけるコーナー推定手段の一例を説明する説明図である。
【図８】本実施形態に係る電子装置のポインティング部の変換行列生成部における変換行列生成手段の一例を説明する説明図である。
【図９】本実施形態に係る電子装置のポインティング部のマッピング部におけるマッピング処理の一例を説明する説明図である。
【発明を実施するための形態】
【００１９】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。
図１は、本実施形態に係るポインティングシステムＳ１の構成の一例を示す概略図である。
ポインティングシステムＳ１は、表示装置１と、電子装置２とを含んで構成される。表示装置１は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイなどの表示部１０１を備える。電子装置２は、表示部１０１に表示された表示映像をカメラ（撮像部）２０１を用いて撮影する。ポインティングシステムＳ１は、撮影映像と表示映像各々から特徴点を抽出し、表示映像における各々の特徴点に撮影映像における各々の特徴点を対応付ける。ポインティングシステムＳ１は、表示映像の特徴点に対応付けた撮影映像の特徴点の組から変換行列を生成し、生成した変換行列から電子装置２におけるカメラ２０１の光軸が表示装置１における表示部１０１と交わる点をポインティング位置として推定する。ここで、変換行列は、後述するカメラ画像の座標系から表示映像の座標系に変換するための行列である。
【００２０】
図２は、本実施形態に係る表示装置１の構成の一例を示す概略ブロック図である。
表示装置１は、画面取得部１００と、表示部１０１と、画面特徴点抽出部１０２と、画面分割部１０３と、画面特徴点カウント部１０４と、エリア選択部１０５と、画面圧縮部１０６と、記憶部１０７と、制御部１０８と、通信部１０９とを含んで構成される。表示装置１は、その他、公知の表示装置の機能を備えるが図示および説明は省略する。
【００２１】
画面取得部１００は、表示部１０１に表示させる表示映像を取得する。画面取得部１００は、取得した表示映像を表示部１０１に表示させる。画面取得部１００は、取得した表示映像を画面特徴点抽出部１０２に出力する。画面特徴点抽出部１０２は、表示映像から特徴点を抽出する。具体的には、画面特徴点抽出部１０２は、例えば、表示映像における画素ごとの輝度値を比較し、該輝度値に基づいて特徴点を抽出し、該特徴点の特徴量を抽出する。ここで、特徴点の特徴量とは、特徴点を含む周辺領域の輝度勾配情報を用いた特有の性質のことであり、６４次元や１２８次元などの多次元のベクトルで表されるものである。画面特徴点抽出部１０２は、抽出した表示映像の特徴点および該特徴点の特徴量と、表示映像とを記憶部１０７に記憶させる。画面特徴点抽出部１０２は、表示映像の特徴点および該特徴点の特徴量の抽出を完了すると、抽出完了信号を画面分割部１０３に出力する。
【００２２】
画面分割部１０３は、画面特徴点抽出部１０２から抽出完了信号が入力されると、記憶部１０７から表示映像を読み出す。画面分割部１０３は、表示映像を複数のエリアに分割する。図３および図４は、本実施形態に係る表示装置１の画面分割部１０３の動作の一例を説明する説明図である。画面分割部１０３は、図３に示すように表示映像Ｇ１を例えば４つのエリアＡ１、Ａ２、Ａ３、Ａ４に分割する。そして、画面分割部１０３は、図４に示すように分割したエリアＡ１をさらに４つのサブエリアＡ１ａ、Ａ１ｂ、Ａ１ｃ、Ａ１ｄに分割する。画面分割部１０３は、エリアＡ２、Ａ３、Ａ４に対しても同様に各々４つのサブエリアに分割する。すなわち、画面分割部１０３は、表示映像Ｇ１を４つのエリアに分割し、さらに各エリアを４つのサブエリアに分割することで表示映像を１６分割する。画面分割部１０３は、分割したサブエリアを示す情報を記憶部１０７に記憶させ、該情報を画面特徴点カウント部１０４に出力する。
【００２３】
画面特徴点カウント部１０４は、画面分割部１０３からサブエリアを示す情報が入力されると、記憶部１０７から表示映像の特徴点を読み出し、サブエリアを示す情報に基づいてサブエリアごとの特徴点の数をカウントする。画面特徴点カウント部１０４は、サブエリアごとにカウントした特徴点の数をエリア選択部１０５に出力する。エリア選択部１０５は、画面特徴点カウント部１０４から入力されたサブエリアごとの特徴点の数に基づいて、各々のサブエリアに、例えば１〜１６位と順位付けを行う。エリア選択部１０５は、各エリアにおけるサブエリアの順位を比較し、エリアごとに最も順位の高いサブエリアを、例えば、一つずつ、計４つのサブエリアを選択する。エリア選択部１０５は、選択した４つのサブエリアを有効領域として設定する。エリア選択部１０５は、有効領域を示す情報を記憶部１０７に記憶させ、該情報を画面圧縮部１０６に出力する。
【００２４】
画面圧縮部１０６は、エリア選択部１０５から有効領域を示す情報が入力されると、表示映像を記憶部１０７から読み出し、表示映像を任意の倍率、例えば１／４に圧縮する。画面圧縮部１０６は、記憶部１０７から表示映像の特徴点および該特徴点の特徴量を読み出し、任意の倍率で圧縮した表示映像に対し、圧縮前の表示映像の特徴点および該特徴点の特徴量を対応付けて、記憶部１０７に記憶させる。画面圧縮部１０６は、記憶部１０７から有効領域を示す情報を読み出し、任意の倍率で圧縮した表示映像に対し、圧縮前の有効領域を示す情報を対応付け、記憶部１０７に記憶させる。
記憶部１０７は、表示映像、特徴点および該特徴点の特徴量、サブエリアを示す情報、有効領域を示す情報、圧縮された表示映像および該表示映像の特徴点および該特徴点の特徴量、圧縮された表示映像の有効領域を示す情報を記憶する。
【００２５】
制御部１０８は、記憶部１０７から圧縮された表示映像の有効領域を示す情報と、圧縮された表示映像および該表示映像の特徴点および該特徴点の特徴量とを読み出し、通信部１０９を介して電子装置２に送信する。制御部１０８は、通信部１０９を介して電子装置２から受信したポインティング位置を示す情報に基づいてポインタを表示部１０１に表示させる。
通信部１０９は、制御部１０８から入力された圧縮された表示映像の有効領域を示す情報と、圧縮された表示映像および該表示映像の特徴点および該特徴点の特徴量とを電子装置２に送信する。通信部１０９は、電子装置２からポインティング位置を示す情報を受信すると、制御部１０８に出力する。
【００２６】
図５は、本実施形態に係る電子装置２の構成の一例を示す概略ブロック図である。
電子装置２は、カメラ２０１と、画像特徴点抽出部２０２と、通信部２０３と、制御部２１０と、加速度センサ２１１と、閾値記憶部２１２と、フィルタ部（平滑化部）２１３と、ポインティング部２２０とを含んで構成される。ポインティング部２２０は、取得部２０４と、マッピング部２０８と、変換規則生成部２０９と、を含んで構成される。また、変換規則生成部２０９は、特徴点比較部２０５と、コーナー推定部２０６と、変換行列生成部２０７と、を含んで構成させる。電子装置２は、その他、一般的な電子装置の機能を有するが図示および説明は省略する。
【００２７】
カメラ２０１は、表示装置１の表示部１０１に表示された表示映像を撮影し、カメラ画像を取得する。カメラ２０１は、取得したカメラ画像を画像特徴点抽出部２０２に出力する。画像特徴点抽出部２０２は、カメラ２０１から入力されたカメラ画像から特徴点を抽出する。具体的には、画像特徴点抽出部２０２は、例えば、カメラ画像における画素ごとの輝度値を比較し、該輝度値に基づいて特徴点を抽出し、該特徴点の特徴量を抽出する。画像特徴点抽出部２０２は、抽出したカメラ画像の特徴点および該特徴点の特徴量を特徴点比較部２０５に出力する。
【００２８】
通信部２０３は、表示装置１から受信した表示映像の特徴点および該特徴点の特徴量と、有効領域を示す情報とを取得部２０４に出力する。通信部２０３は、フィルタ部（平滑化部）２１３から入力されたポインティング位置を示す情報を表示装置１に送信する。
取得部２０４は、通信部２０３を介して表示映像の特徴点および該特徴点の特徴量と、有効領域を示す情報とを表示装置１から取得する。取得部２０４は、取得した表示映像の特徴点および該特徴点の特徴量と、有効領域を示す情報とを特徴点比較部２０５に出力する。
【００２９】
特徴点比較部２０５は、画像特徴点抽出部２０２から入力されたカメラ画像の特徴点および該特徴点の特徴量と、取得部２０４から入力された表示映像の特徴点および該特徴点の特徴量と、有効領域を示す情報とに基づいて、カメラ画像の特徴点の特徴量と、有効領域における表示映像の特徴点の特徴量とを比較し、有効領域における表示映像の特徴点にカメラ画像の特徴点を対応付けるマッチング処理を行う。具体的には、特徴点比較部２０５は、有効領域を示す情報を参照し、該有効領域における表示映像の特徴点の特徴量と、カメラ画像の特徴点の特徴量とが最も多く一致するように表示映像の特徴点にカメラ画像の特徴点を対応付けた特徴点の対を生成する。特徴点比較部２０５は、生成した特徴点の対をコーナー推定部２０６に出力する。図６を参照して、特徴点比較部２０５のマッチング処理の一例を詳述する。
【００３０】
図６は、本実施形態に係る電子装置２のポインティング部２２０の特徴点比較部２０５におけるマッチング処理の一例を説明する説明図である。
表示映像Ｇ２における有効領域を示す情報が、図４におけるＡ１ａと、Ａ２ｄと、Ａ３ｂと、Ａ４ｃとを表す場合、各サブエリアに含まれる特徴点が、例えば４つずつ存在するとき、特徴点比較部２０５は、表示映像Ｇ２の特徴点の特徴量とカメラ画像Ｇ３の特徴点の特徴量が最も多く一致するように表示映像Ｇ２の特徴点にカメラ画像Ｇ３の特徴点を対応付ける。図６は、表示映像Ｇ２に対応するカメラ画像Ｇ３の特徴点を線で結んで図示したものである。特徴点比較部２０５は、図６における線で結ばれた表示映像Ｇ２の特徴点と、カメラ画像Ｇ３の特徴点とを特徴点の対としてコーナー推定部２０６に出力する。
【００３１】
コーナー推定部２０６は、特徴点比較部２０５から入力された特徴点の対の中から部分集合、例えば、任意の４つの特徴点の対からなる特徴点の組を繰り返し生成する。コーナー推定部２０６は、繰り返し生成した４つの特徴点の組および最小二乗法を用いて、ホモグラフィ行列（ｍａｔ）を推定する。ここで、ホモグラフィ行列とは、空間内の平面と、画像(平面)の投影を調べることで得られる行列であり、２次元の点の対応が与えられると、一般的に３行３列の行列である。
【００３２】
コーナー推定部２０６は、推定したホモグラフィ行列（ｍａｔ）を用いてカメラ画像中の表示装置１の表示部１０１のコーナー（角）の座標を算出する。コーナー推定部２０６は、推定したホモグラフィ行列を用いて表示映像座標系のコーナーの座標を透視変換することによりカメラ画像座標系のコーナーの座標の算出を行う。ここで、表示映像座標系は、表示映像平面における座標系であり、カメラ画像座標系は、カメラ画像平面における座標系である。コーナー推定部２０６は、算出したカメラ画像座標系のコーナーの座標を変換行列生成部２０７に出力する。図７を参照して、コーナー推定部２０６のコーナー推定手段の一例を詳述する。
【００３３】
図７は、本実施形態に係る電子装置２のポインティング部２２０のコーナー推定部２０６におけるコーナー推定手段の一例を説明する説明図である。
表示映像Ｇ４における有効領域を示す情報が、図４におけるＡ１ａと、Ａ２ｄと、Ａ３ｂと、Ａ４ｃとを表す場合、各サブエリアに含まれる特徴点が、例えば４つずつ存在するとき、コーナー推定部２０６は、特徴点比較部２０５において表示映像Ｇ４の特徴点と対応付けられたカメラ画像Ｇ５の特徴点との任意の４つの特徴点の対を抽出し、４対の特徴点からなる部分集合（組）を繰り返し生成する。コーナー推定部２０６は、生成した部分集合と最小二乗法とを用いてホモグラフィ行列を推定する。コーナー推定部２０６は、推定したホモグラフィ行列を用いて透視変換することにより、表示映像Ｇ４のコーナーＣ１に対応するカメラ画像Ｇ５のコーナーＣ２の座標を算出する。コーナー推定部２０６は、算出したコーナーＣ２の座標を変換行列生成部２０７に出力する。
【００３４】
変換行列生成部２０７は、表示映像座標系のコーナーの座標Ｍと、コーナー推定部２０６から入力されたカメラ画像座標系のコーナーの座標ｍとから透視変換行列（ＰＭａｔ）を式（１）により算出する。
【００３５】
【数１】
2014110030.tif 000003
【００３６】
ここで、表示映像座標系のコーナーの座標Ｍが（ｔｘ、ｔｙ、ｔ）、カメラ画像座標系のコーナーの座標ｍが（ｘ、ｙ、１）であるときの例である。
【００３７】
図８は、本実施形態に係る電子装置２のポインティング部２２０の変換行列生成部２０７における変換行列生成手段の一例を説明する説明図である。
変換行列生成部２０７は、カメラ画像Ｇ６におけるカメラ画像座標系のコーナーの座標ｍ（ｘ、ｙ、１）と、表示映像Ｇ７における表示映像座標系のコーナーの座標Ｍ（ｔｘ、ｔｙ、ｔ）とから透視変換行列（ＰＭａｔ）を算出する。変換行列生成部２０７は、算出した透視変換行列をマッピング部２０８に出力する。
【００３８】
マッピング部２０８は、変換行列生成部２０７から入力された透視変換行列に基づいてマッピング処理を行う。図９を参照して、マッピング部２０８のマッピング処理について詳述する。
【００３９】
図９は、本実施形態に係る電子装置２のポインティング部２２０のマッピング部２０８におけるマッピング処理の一例を説明する説明図である。
マッピング部２０８は、カメラ２０１の光軸と表示装置１の表示部１０１の交わる点を推定する。具体的には、マッピング部２０８は、変換行列生成部２０７から入力された透視変換行列に基づいて、カメラ画像座標系の中心座標ｃを表示映像座標系の座標Ｃに変換する。例えば、カメラ２０１の解像度が６４０×４８０ピクセルであるとすると、カメラ画像座標系の中心座標ｃは、（３２０、２４０、１）となる。その行列において、マッピング部２０８は、透視変換行列を用いてカメラ画像座標系の中心座標ｃ（３２０、２４０、１）を表示映像座標系の座標Ｃ（Ｘ、Ｙ、Ｚ）に変換する。マッピング部２０８は、算出した座標Ｃを制御部２１０に出力する。
【００４０】
加速度センサ２１１は、電子装置２の加速度を測定する。加速度センサ２１１は、加速による錘（マス、質量）の位置変化により加速度を測定する。加速度センサ２１１は、測定した加速度の値を制御部２１０に出力する。
制御部２１０は、加速度センサ２１１から入力された加速度の値と閾値記憶部２１２から読み出した閾値とを比較する。制御部２１０は、加速度の値が閾値未満である場合、フィルタ部（平滑化部）２１３にマッピング部２０８から入力された座標Ｃに対し平滑化させる。一方、加速度の値が閾値以上である場合、制御部２１０は、フィルタ部（平滑化部）２１３に平滑化させずにマッピング部２０８から入力された座標Ｃを、通信部２０３を介し表示装置１に送信する。
【００４１】
フィルタ部（平滑化部）２１３は、制御部２１０から入力された座標Ｃおよび加速度の値が閾値未満であることを示す信号が入力されると、平滑化、例えば、２次元のローパスフィルタや移動平均を用いてユーザの生理振動でポインタのポインティング位置が振動することを軽減する。フィルタ部（平滑化部）２１３は、平滑化した座標Ｃを、ポインティング位置を示す情報として通信部２０３を介し表示装置１に送信する。フィルタ部（平滑化部）２１３は、制御部２１０から入力された座標Ｃおよび加速度の値が閾値以上であることを示す信号が入力されると平滑化をせずに通信部２０３を介し、表示装置１にポインティング位置を示す情報として座標Ｃを送信する。
【００４２】
なお、本実施形態において、特徴点の抽出は、輝度値により行っているが、ＳＩＦＴ、ＳＵＲＦ、ＯＲＢなどを用いて特徴点の抽出を行ってもよい。また、ポインティング部２２０を電子装置２が有しているが、電子装置２または表示装置１の少なくとも一方がポインティング部２２０を備えていればよい。この場合、電子装置２はカメラ２０１が取得したカメラ画像から特徴点および該特徴点の抽出を行い、通信部２０３を介して表示装置１に送信し、表示装置１は、画面圧縮部１０６から特徴点比較部２０５に出力し、取得部２０４が通信部１０９を介し電子装置２から特徴点および該特徴点の特徴量を取得すればよい。
【００４３】
さらに、表示装置１のエリア選択部１０５は、４つのサブエリアを選択しているが、１つのサブエリアのみを選択してもよいし、１つ以上の複数のサブエリアを選択してもよい。エリア選択部１０５は、少数、例えば１つのエリアを選択することで高速な処理演算を行うことができ、複数エリアを選択することでコーナー推定部２０６におけるコーナー推定精度を向上させることができる。また、特徴点比較部２０５において、複数の特徴点の対を抽出し、部分集合を繰り返し生成しているが、少なくとも４対（１組）の特徴点があればよい。特徴点比較部２０５は、複数の特徴点の対を用いることでコーナー推定部２０６やマッピング部２０８における座標Ｃの算出する精度を向上することができ、ポインティング位置の推定を向上させることができる。
【００４４】
さらに、画面圧縮部１０６は、任意の倍率で表示映像を圧縮するとしているが、圧縮率が異なる複数の倍率で表示映像を圧縮し、記憶部１０７に記憶させておいてもよい。これにより、電子装置２が表示装置１と遠い距離にある場合においても、カメラ２０１が取得したカメラ画像において適切に特徴点の抽出およびポインティング位置の算出ができる。
【００４５】
以上のように、本実施形態によれば、映像を表示する表示装置１と映像を表示している表示装置１を撮像する撮像部（カメラ２０１）を備える電子装置２とを具備するポインティングシステムＳ１である。変換規則生成部２０９は、映像の特徴点と、撮像部（カメラ２０１）が撮像して得た画像の特徴点とに基づいて、画像の座標系から映像の座標系への変換規則を生成する。推定部（ポインティング部２２０）は、変換規則を参照して、撮像部（カメラ２０１）の光軸が、表示装置１が備える表示部１０１と交わる点を表示部１０１に表示させるポインタの位置を決定するための情報として推定する。
【００４６】
これにより、ポインティングシステムＳ１は、カメラ映像と表示映像との特徴点をマッチングすることで変換規則を推定するため、表示装置１と電子装置２の距離によらずポインタを表示装置１の表示部１０１にポインティングさせる位置を推定できる。そのため、ユーザの利便性を向上させることができる。
【００４７】
ポインティングシステムＳ１は、映像から特徴のある領域を抽出するエリア選択部１０５をさらに備える。変換規則生成部は、エリア選択部１０５が抽出した領域に含まれる映像の特徴点と、該映像の特徴点に対応する画像の特徴点とに基づいて変換規則を生成する。
【００４８】
これにより、ポインティングシステムＳ１は、カメラ映像と表示映像との特徴点のマッチング精度を向上させることができるので、ポインタを表示部１０１にポインティングさせる位置の精度を向上させることができる。さらに表示装置１のエリア選択部１０５が特徴のある領域を抽出し、抽出した領域における表示映像の特徴点と、カメラ画像の特徴点とから変換規則生成部２０９が変換規則（変換行列）を生成することができるため、処理演算が軽減され、処理演算にかかる時間を高速化することができる。
【００４９】
ポインティングシステムＳ１は、表示部１０１に表示される映像を複数のエリアに分割する画面分割部１０３と、画面分割部１０３が分割したエリアごとに映像の特徴点の数をカウントする画面特徴点カウント部１０４と、をさらに備える。記エリア選択部１０５は、画面特徴点カウント部１０４がエリアごとにカウントした映像の特徴点の数に基づいて前記領域を抽出する。
【００５０】
これにより、ポインティングシステムＳ１は、変換規則（変換行列）の推定精度を向上させることができるので、ポインタに表示部１０１をポインティングさせる位置の精度を向上させることができる。
【００５１】
変換規則生成部２０９は、映像の特徴点と画像の特徴点とを対応付けた特徴点の対を少なくとも４組用いて変換規則を生成する。
【００５２】
これにより、ポインティングシステムＳ１は、任意の４組の特徴点から変換規則（変換行列）の推定を行えるため、変換規則（変換行列）の推定精度を向上させることができるので、ポインタを表示部１０１にポインティングさせる位置の精度を向上させることができる。
【００５３】
変換規則生成部２０９は、映像の特徴点と対応する画像の特徴点のうち、少なくとも４組の特徴点の対から画像における表示部１０１の角の位置を推定し、該推定した角の位置と映像の角の位置とに基づいて変換規則を生成する。
【００５４】
これにより、ポインティングシステムＳ１は、エリアの映像の特徴点と対応する４組の特徴点から画像における表示部１０１の角を推定することが出るため、変換規則生成部２０９は、変換規則（変換行列）の推定を行え、変換規則（変換行列）の推定精度を向上させることができるので、ポインタを表示部１０１にポインティングさせる位置の精度を向上させることができる。
【００５５】
変換規則生成部２０９は、画面分割部１０３が分割したエリアごとに映像の特徴点と対応する画像の特徴点の対のうち任意の４組から角の位置を繰り返し推定し、該繰り返し推定して得た複数の角の位置に基づいて角の位置を決定する。
【００５６】
これにより、ポインティングシステムＳ１は、複数の特徴点の組から角を推定することにより、角の推定精度が向上させることができ、ポインティング位置推定する精度を向上させることができる。
【００５７】
変換規則生成部２０９は、画面分割部１０３が分割したエリアごとの映像の特徴点と対応する画像の特徴点の対のうち、互いに異なるエリアに存在する映像の特徴点と対応する画像の特徴点の対から前記角の位置を決定する。
【００５８】
これにより、ポインティングシステムＳ１は、複数の特徴点の組から角を推定することにより、角の推定精度が向上させることができ、ポインティング位置推定する精度を向上させることができる。さらに、ポインティングシステムＳ１は、分割されたエリアの特徴点に対してポインティング位置の推定を行えるため、演算処理を高速化することができる。
【００５９】
ポインティングシステムＳ１は、加速度を測定する加速度センサ２１１と、ポインタの動きを平滑化する平滑化部（フィルタ部２１３）と、加速度に応じて平滑化部（フィルタ部２１３）に平滑化させるか否かを制御する制御部２１０とをさらに備える。
【００６０】
これにより、ユーザの生理振動などの影響によるポインティング位置の変動を抑圧することができる。
【００６１】
映像を表示する表示装置１と映像を表示している表示装置１を撮像する撮像部（カメラ２０１）を備える電子装置２とを具備するポインティングシステムＳ１におけるポインティング方法であって、映像の特徴点と、撮像部（カメラ２０１）が撮像して得た画像の特徴点とに基づいて、画像の座標系から映像の座標系への変換規則を生成する変換規則生成過程と、変換規則を参照して、撮像部（カメラ２０１）の光軸が、表示装置１が備える表示部１０１と交わる点を表示部１０１に表示させるポインタの位置を決定するための情報として推定する推定過程と、を有することを特徴とするポインティング方法。
【００６２】
これにより、ポインティングシステムＳ１は、カメラ映像と表示映像との特徴点をマッチングすることで変換規則を推定するため、表示装置１と電子装置２の距離によらずポインタを表示装置１の表示部１０１にポインティングさせる位置を推定できる。そのため、ユーザの利便性を向上させることができる。
【００６３】
映像を表示する表示装置１と映像を表示している表示装置１を撮像する撮像部（カメラ２０１）を備える電子装置２とを具備するポインティングシステムＳ１における表示装置１であって、映像の特徴点と、撮像部（カメラ２０１）が撮像して得た画像の特徴点とに基づいて、画像の座標系から映像の座標系への変換規則を生成する変換規則生成部（変換行列生成部２０７）と、変換規則（変換行列）を参照して、撮像部（カメラ２０１）の光軸が、表示装置１が備える表示部１０１と交わる点を表示部１０１に表示させるポインタの位置を決定するための情報として推定する推定部（ポインティング部２２０）と、を備えることを特徴とする表示装置１。
【００６４】
これにより、ポインティングシステムにおける表示装置１は、カメラ映像と表示映像との特徴点をマッチングすることで変換規則を推定するため、表示装置１と電子装置２の距離によらずポインタを表示装置１の表示部１０１にポインティングさせる位置を推定できる。そのため、ユーザの利便性を向上させることができる。
【００６５】
映像を表示する表示装置１と映像を表示している表示装置１を撮像する撮像部（カメラ２０１）を備える電子装置２とを具備するポインティングシステムＳ１における電子装置２であって、映像の特徴点と、撮像部（カメラ２０１）が撮像して得た画像の特徴点とに基づいて、画像の座標系から映像の座標系への変換規則を生成する変換規則生成部（変換行列生成部２０７）と、変換規則を参照して、撮像部（カメラ２０１）の光軸が、表示装置１が備える表示部１０１と交わる点を表示部１０１に表示させるポインタの位置を決定するための情報として推定する推定部（ポインティング部２２０）と、を備えることを特徴とする電子装置２。
【００６６】
これにより、ポインティングシステムＳ１は、カメラ映像と表示映像との特徴点をマッチングすることで変換規則を推定するため、表示装置１と電子装置２の距離によらずポインタを表示装置１の表示部１０１にポインティングさせる位置を推定できる。そのため、ユーザの利便性を向上させることができる。
【００６７】
なお、上述した実施形態における表示装置１、電子装置２の一部、または全部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、表示装置１、電子装置２装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６８】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。
【００６９】
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００７０】
また、上述した実施形態における表示装置１、電子装置２の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。表示装置１、電子装置２の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００７１】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００７２】
Ｓ１  ポインティングシステム
１  表示装置
２  電子装置
１００  画面取得部
１０１  表示部
１０２  画面特徴点抽出部
１０３  画面分割部
１０４  画面特徴点カウント部
１０５  エリア選択部
１０６  画面圧縮部
１０７  記憶部
１０８  制御部
１０９  通信部
２０１  カメラ
２０２  画像特徴点抽出部
２０３  通信部
２０４  取得部
２０５  特徴点比較部
２０６  コーナー推定部
２０７  変換行列生成部
２０８  マッピング部
２０９  変換規則生成部
２１０  制御部
２１１  加速度センサ
２１２  閾値記憶部
２１３  フィルタ部（平滑化部）
２２０  ポインティング部
【図１】
2014110030.tif 000004
【図２】
2014110030.tif 000005
【図３】
2014110030.tif 000006
【図４】
2014110030.tif 000007
【図５】
2014110030.tif 000008
【図８】
2014110030.tif 000009
【図９】
2014110030.tif 000010
【図６】
2014110030.tif 000011
【図７】
2014110030.tif 000012