(57)【要約】【課題】ポインティングの際のユーザの利便性を向上させること。【解決手段】映像を表示する表示装置と映像を表示している表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムであって、電子装置の姿勢を表す測定値を測定するモーションセンサ部と、モーションセンサ部が測定した測定値に基づいて、撮像部の光軸が表示装置の表示領域を含む平面と交わる点をポインティング位置として算出する姿勢算出部と、ポインティング位置が表示領域内であるか否かを判定する判定部と、判定部が表示領域内であると判定した場合、ポインティング位置を補正する補正部と、を備える。【選択図】図１０
2014110029.tif 000002
【特許請求の範囲】
【請求項１】
映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムであって、
前記電子装置の姿勢を表す測定値を測定するモーションセンサ部と、
前記モーションセンサ部が測定した前記測定値に基づいて、前記撮像部の光軸が前記表示装置の表示領域を含む平面と交わる点をポインティング位置として算出する算出部と、
前記ポインティング位置が前記表示領域内であるか否かを判定する判定部と、
前記判定部が前記表示領域内であると判定した場合、前記ポインティング位置を補正する補正部と、
を備えること
を特徴とするポインティングシステム。
【請求項２】
前記補正部は、前記撮像部が撮像して得た画像と、前記映像との比較に基づいて、前記ポインティング位置を補正すること
を特徴とする請求項１に記載のポインティングシステム。
【請求項３】
前記映像と、前記撮像部が撮像して得た前記画像とに基づいて、前記画像の座標系から前記映像の座標系への変換規則を生成する変換規則生成部と、
前記変換規則を参照して、前記撮像部の光軸が、前記表示装置が備える表示部と交わる点を前記表示部に表示させるポインタの位置を決定するための情報として推定する推定部と、
をさらに備え、
前記補正部は前記推定部が推定した前記情報を用いて前記ポインティング位置を補正すること
を特徴とする請求項２に記載のポインティングシステム。
【請求項４】
前記変換規則生成部は、
前記撮像部が取得した前記画像から前記表示部におけるコーナーを検出するコーナー検出部と、
前記コーナー検出部が検出した前記画像における前記表示部の前記コーナーの座標を推定する撮像面コーナー座標算出部と、
前記撮像面コーナー座標算出部が推定した前記コーナーの座標に基づいて前記画像の中心座標を前記表示部の座標に射影変換する射影変換部と、
をさらに備えること
を特徴とする請求項３に記載のポインティングシステム。
【請求項５】
前記モーションセンサ部は、
加速度を測定する加速度センサと、
地球の磁界の向きを測定する地磁気センサと、
を備え、
前記補正部は、前記加速度センサが測定した加速度と、前記地磁気センサが測定した前記磁界の向きとから表示部の表示領域外において、前記ポインタの動きを推定し、前記表示部の前記表示領域に戻った際に、推定したポインタの動きと、前記撮像部が撮像して得た画像から推定した前記ポインタの位置と、に基づいて、前記ポインティング位置を補正すること
を特徴とする請求項１から請求項４のいずれか一項に記載のポインティングシステム。
【請求項６】
前記モーションセンサ部は、加速度および角速度を測定するジャイロセンサであり、
前記補正部は、前記ジャイロセンサが測定した加速度と、角速度とから前記表示部の表示領域外において、ポインタの動きを推定し、前記表示部の前記表示領域に戻った際に、推定した前記ポインタの動きと、前記撮像部が撮像して得た画像から推定した前記ポインタの位置と、に基づいて、前記ポインティング位置を補正すること
を特徴とする請求項１から請求項４のいずれか一項に記載のポインティングシステム。
【請求項７】
ポインタの動きを平滑化する平滑化部
をさらに備え、
制御部は、モーションセンサ部が測定した加速度に応じて平滑化部を制御すること
を特徴とする請求項１から請求項６のいずれか一項に記載のポインティングシステム。
【請求項８】
映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムにおけるポインティング方法であって、
前記電子装置の姿勢を表す測定値を測定する第１の過程と、
前記第１の過程において測定した前記測定値に基づいて、前記撮像部の光軸が前記表示装置の表示領域を含む平面と交わる点をポインティング位置として算出する第２の過程と、
前記ポインティング位置が前記表示領域内であるか否かを判定する第３の過程と、
前記第３の過程において前記表示領域内であると判定した場合、前記ポインティング位置を補正する第４の過程と、
を有すること
を特徴とするポインティング方法。
【請求項９】
映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムにおける表示装置であって、
前記電子装置のモーションセンサ部が測定した前記測定値に基づいて、前記撮像部の光軸が前記表示装置の表示領域を含む平面と交わる点をポインティング位置として算出する算出部と、
前記ポインティング位置が前記表示領域内であるか否かを判定する判定部と、
前記判定部が前記表示領域内であると判定した場合、前記ポインティング位置を補正する補正部と、
を備えること
を特徴とする表示装置。
【請求項１０】
映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムにおける電子装置であって、
前記撮像部が撮像して得た画像から表示装置が備える表示部のコーナーを推定し、推定した前記コーナーから前記表示部にポインタをポインティングさせる位置を算出するポインティング部と、
前記電子装置の姿勢を表す測定値を測定するモーションセンサ部と、
前記モーションセンサ部が測定した前記測定値に基づいて、前記撮像部の光軸が前記表示装置の表示領域を含む平面と交わる点をポインティング位置として算出する算出部と、
前記ポインティング位置が前記表示領域内であるか否かを判定する判定部と、
前記判定部が前記表示領域内であると判定した場合、前記ポインティング位置を補正する補正部と、
を備えること
を特徴とする電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポインティングシステム、ポインティング方法、表示装置および電子装置に関する。
【背景技術】
【０００２】
ポインティングとは、図などを指し示すことであり、例えば、レーザーポインターのようにレーザー光線を用いて図などを指し示すものがある。特許文献１に記載の技術は、ユーザインタフェース装置が同一平面上にない配置で設けられた少なくとも４つの加速度計装置を具備し、前記少なくとも４つの加速度計装置の各々はそれぞれの加速度計データを出力する。ユーザインタフェース装置は、前記少なくとも４つの加速度計装置の各々からの前記加速度計データを２次元のポインタの動きに変換するアルゴリズムをさらに具備するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００７−５０９４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術を用いても装置の姿勢を計測する加速度計において、誤差が累積され、正確にポインティング位置を推定できないという欠点があった。また、表示装置に表示される映像をカメラで撮影することによるポインティング方法においては、カメラの撮像範囲から離れる、すなわち、映像を表示する表示装置と該映像を撮像するカメラとが遠い距離にある場合に、ポインタをポインティングさせる位置を推定できないという欠点があった。このように、ポインティング位置の推定ができない場合があり、ユーザの利便性が十分でないという問題があった。
【０００５】
本発明は上記の点に鑑みてなされたものであり、ポインティングの際のユーザの利便性を向上させることができるポインティングシステム、ポインティング方法、表示装置および電子装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムであって、前記電子装置の姿勢を表す測定値を測定するモーションセンサ部と、前記モーションセンサ部が測定した前記測定値に基づいて、前記撮像部の光軸が前記表示装置の表示領域を含む平面と交わる点をポインティング位置として算出する姿勢算出部と、前記ポインティング位置が前記表示領域内であるか否かを判定する判定部と、前記判定部が前記表示領域内であると判定した場合、前記ポインティング位置を補正する補正部と、を備えることを特徴とするポインティングシステムである。
【０００７】
（２）また、本発明の一態様は、上記のポインティングシステムであって、前記補正部は、前記撮像部が撮像して得た前記画像と、前記映像との比較に基づいて、前記ポインティング位置を補正することを特徴とする記載のポインティングシステムである。
【０００８】
（３）また、本発明の一態様は、上記のポインティングシステムであって、前記映像と、前記撮像部が撮像して得た前記画像とに基づいて、前記画像の座標系から前記映像の座標系への変換規則を生成する変換規則生成部と、前記変換規則を参照して、前記撮像部の光軸が、前記表示装置が備える表示部と交わる点を前記表示部に表示させるポインタの位置を決定するための情報として推定する推定部と、をさらに備えることを特徴とするポインティングシステムである。
【０００９】
（４）また、本発明の一態様は、上記のポインティングシステムであって、前記変換規則生成部は、前記撮像部が取得した前記画像から前記表示部における前記コーナーを検出するコーナー検出部と、前記コーナー検出部が検出した前記画像における前記表示部の前記コーナーの座標を推定する撮像面コーナー座標算出部と、前記撮像面コーナー座標算出部が推定した前記コーナーの座標に基づいて前記画像の中心座標を前記表示部の中心座標に射影変換する射影変換部と、をさらに備えることを特徴とするポインティングシステムである。
【００１０】
（５）また、本発明の一態様は、上記のポインティングシステムであって、前記表示部に前記ポインタをポインティングさせることを制御する制御部をさらに備え、前記モーションセンサ部は、加速度を測定する加速度センサと、地球の磁界の向きを測定する地磁気センサと、から構成され、前記制御部は、前記加速度センサが測定した加速度と、前記地磁気センサが測定した前記磁界の向きとから前記表示部の表示領域外において、前記ポインタの動きを推定し、前記表示部の前記表示領域に戻った際に、推定した前記ポインタの動きと、前記撮像部が撮像して得た画像から推定した前記ポインタの前記位置と、に基づいて、前記表示部に前記ポインタをポインティングさせることを特徴とするポインティングシステムである。
【００１１】
（６）また、本発明の一態様は、上記のポインティングシステムであって、前記モーションセンサ部は、加速度および角速度を測定するジャイロセンサであり、前記制御部は、前記ジャイロセンサが測定した加速度と、角速度とから前記表示部の表示領域外において、前記ポインタの動きを推定し、前記表示部の前記表示領域に戻った際に、推定した前記ポインタの動きと、前記撮像部が撮像して得た画像から推定した前記ポインタの前記位置と、に基づいて、前記表示部に前記ポインタをポインティングさせることを特徴とするポインティングシステムである。
【００１２】
（７）また、本発明の一態様は、上記のポインティングシステムであって、前記ポインタの動きを平滑化する平滑化部をさらに備え、前記制御部は、前記加速度に応じて平滑化部に平滑化させるか否かを制御することを特徴とするポインティングシステムである。
【００１３】
（８）また、本発明の一態様は、映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムにおけるポインティング方法であって、前記電子装置の姿勢を表す測定値を測定する第１の過程と、前記第１の過程において測定した前記測定値に基づいて、前記撮像部の光軸が前記表示装置の表示領域を含む平面と交わる点をポインティング位置として算出する第２の過程と、前記ポインティング位置が前記表示領域内であるか否かを判定する第３の過程と、前記第３の過程において前記表示領域内であると判定した場合、前記ポインティング位置を補正する第４の過程と、を有することを特徴とするポインティング方法である。
【００１４】
（９）また、本発明の一態様は、映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムにおける表示装置であって、前記電子装置のモーションセンサ部が測定した前記測定値に基づいて、前記撮像部の光軸が前記表示装置の表示領域を含む平面と交わる点をポインティング位置として算出する姿勢算出部と、前記ポインティング位置が前記表示領域内であるか否かを判定する判定部と、前記判定部が前記表示領域内であると判定した場合、前記ポインティング位置を補正する補正部と、を備えることを特徴とする表示装置である。
【００１５】
（１０）また、本発明の一態様は、映像を表示する表示装置と前記映像を表示している前記表示装置を撮像する撮像部を備える電子装置とを具備するポインティングシステムにおける電子装置であって、前記撮像部が撮像して得た画像から表示装置が備える表示部のコーナーを推定し、推定した前記コーナーから前記表示部にポインタをポインティングさせる位置を算出するポインティング部と、前記電子装置の姿勢を表す測定値を測定するモーションセンサ部と、前記モーションセンサ部が測定した前記測定値に基づいて、前記撮像部の光軸が前記表示装置の表示領域を含む平面と交わる点をポインティング位置として算出する姿勢算出部と、前記ポインティング位置が前記表示領域内であるか否かを判定する判定部と、前記判定部が前記表示領域内であると判定した場合、前記ポインティング位置を補正する補正部と、を備えることを特徴とする電子装置である。
【発明の効果】
【００１６】
本発明によれば、ポインティングの際のユーザの利便性を向上させることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係るポインティングシステムの構成の一例を示す概略図である。
【図２】本実施形態に係る電子装置の構成の一例を示す概略ブロック図である。
【図３】本実施形態に係る表示装置の構成の一例を示す概略ブロック図である。
【図４】本実施形態に係る表示装置のポインティング部のコーナー検出部において入力されたカメラ画像の一例を示す説明図である。
【図５】本実施形態に係る表示装置のポインティング部のコーナー検出部におけるコントラスト強調処理の一例を示す説明図である。
【図６】本実施形態に係る表示装置のポインティング部のコーナー検出部における二値化処理の一例を示す説明図である。
【図７】本実施形態に係る本実施形態に係る表示装置のポインティング部の射影変換部における射影変換処理の一例を説明する説明図である。
【図８】本実施形態に係る本実施形態に係る表示装置のポインティング部の射影変換部における射影変換処理の一例を説明する説明図である。
【図９】本実施形態に係る表示装置の制御部の姿勢算出部における電子装置の姿勢算出手段の一例を示す説明図である。
【図１０】本実施形態に係る表示装置の制御部の切替判定部におけるカメラ画像に基づくポインティング座標と推定部に基づくポインティング座標の切り替え処理を説明する説明図である。
【図１１】本発明の第２の実施形態に係る表示装置の構成の一例を示す概略ブロック図である。
【図１２】本実施形態に係る表示装置の画面分割部の動作の一例を説明する説明図である。
【図１３】本実施形態に係る表示装置の画面分割部の動作の一例を説明する説明図である。
【図１４】本実施形態に係る電子装置の構成の一例を示す概略ブロック図である。
【図１５】本実施形態に係る電子装置のポインティング部の特徴点比較部おけるマッチング処理の一例を説明する説明図である。
【図１６】本実施形態に係る電子装置のポインティング部のコーナー推定部におけるコーナー推定手段の一例を説明する説明図である。
【発明を実施するための形態】
【００１８】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。
図１は、本実施形態に係るポインティングシステムＳ１の構成の一例を示す概略図である。
ポインティングシステムＳ１は、表示装置１と、電子装置２とを含んで構成される。表示装置１は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイなどの表示部１０１を備える。電子装置２は、表示部１０１に表示された表示映像をカメラ（撮像部）２０１を用いて撮影する。ポインティングシステムＳ１は、カメラ２０１が撮像して得た撮影画像（カメラ画像）における表示部のコーナー（角）を推定する。ポインティングシステムＳ１は、推定したカメラ画像のコーナーから変換行列を生成し、生成した変換行列から電子装置２におけるカメラ２０１の光軸が表示装置１における表示部１０１と交わる点をポインティング位置として推定する。ここで、変換行列は、後述するカメラ画像の座標系から表示映像の座標系に変換するための行列である。
【００１９】
図２は、本実施形態に係る電子装置２の構成の一例を示す概略ブロック図である。
電子装置２は、カメラ２０１と、通信部２０３と、モーションセンサ部２１１とを含んで構成される。電子装置２は、その他、一般的に公知の電子装置の機能を備えるが、図示および説明は省略する。
カメラ２０１は、例えば、赤外線カメラ（ＩＲカメラ）である。カメラ２０１は、表示装置１の表示部１０１に表示された表示映像を撮影し、撮像して得たカメラ画像を、通信部２０３を介して、表示装置１に送信する。
【００２０】
モーションセンサ部２１１は、電子装置２の姿勢を表す測定値を測定する。ここで、モーションセンサ部２１１は、加速度センサ２１１１と、地磁気センサ２１１２とを含んで構成される。
【００２１】
加速度センサ２１１１は、電子装置２の加速度を測定する、加速度センサ２１１１は、例えば、加速による錘（マス、質量）の位置変化により加速度を測定する。加速度センサ２１１１は、測定した加速度の値を、通信部２０３を介し、表示装置１に送信する。
地磁気センサ２１１２は、電子装置２の傾きを測定する。地磁気センサ２１１２は、地球の磁界の向きを検出する。地磁気センサ２１１２は、検出した磁界の向きから電子装置２の傾きを測定する。地磁気センサ２１１２は、測定した電子装置２の傾きを、通信部２０３を介し、表示装置１に送信する。
【００２２】
通信部２０３は、各種通信処理を行う。通信部２０３は、データの符号化／復号化、変調／復調、ＡＤ（Ａｎａｔｏｇ  ｔｏ  Ｄｉｇｉｔａｌ）変換／ＤＡ（Ｄｉｇｉｔａｌ  ｔｏ  Ａｎａｌｏｇ）変換、周波数変換、無線波によるデータ信号の送受信などの通信処理を行う。通信部２０３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、などの各種通信方式を用いて表示装置１と通信を行う。
【００２３】
図３は、本実施形態に係る表示装置１の構成の一例を示す概略ブロック図である。
表示装置１は、表示部１０１と、ポインティング部１１と、制御部１２とを含んで構成される。また、ポインティング部１１は、通信部１１０と、コーナー検出部１１１と撮像面コーナー座標算出部１１２と、射影変換部１１３とを含んで構成される。また、制御部１２は、姿勢算出部１２１と、推定部１２２と、切替判定部１２３と重み付け部１２４と、出力指示部１２５とを含んで構成される。表示装置１は、その他、公知の表示装置の機能を備えるが、図示および説明は省略する。
【００２４】
表示部１０１は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイなどである。表示部１０１は、映像（表示映像）を表示する。
ポインティング部１１は、通信部１１０を介し、電子装置２のカメラ２０１が撮像して得たカメラ画像が入力されると、該カメラ画像における表示部１０１のコーナーを推定し、推定したコーナーから表示部１０１にポインタを表示させる位置をポインティング位置として算出する。
【００２５】
通信部１１０は、各種通信処理を行う。通信部１１０は、データの符号化／復号化、変調／復調、ＡＤ（Ａｎａｔｏｇ  ｔｏ  Ｄｉｇｉｔａｌ）変換／ＤＡ（Ｄｉｇｉｔａｌ  ｔｏ  Ａｎａｌｏｇ）変換、周波数変換、無線波によるデータ信号の送受信などの通信処理を行う。通信部１１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、などの各種通信方式を用いて電子装置２と通信を行う。
【００２６】
コーナー検出部１１１は、通信部１１０を介し、電子装置２のカメラ２０１からカメラ画像が入力されると、該カメラ画像内における表示部１０１のコーナー又は表示装置のコーナーを検出する。
図４は、本実施形態に係る表示装置１のポインティング部１１のコーナー検出部１１１において入力されたカメラ画像Ｇａ１の一例を示す説明図である。また、図５は、本実施形態に係る表示装置１のポインティング部１１のコーナー検出部１１１におけるコントラスト調整処理の一例を示す説明図である。
【００２７】
具体的には、コーナー検出部１１１は、図４に示すようなカメラ２０１により撮像されて得たカメラ画像に少なくともコントラスト強調処理を行い、図５に示すようなコントラストが強調された画像Ｇａ２を生成する。コントラスト強調は、例えば、カメラ画像に対して、ヒストグラム均等化やコントラストストレッチ等のアルゴリズムを用いることにより行われる。本実施形態では、後述する二値化に適しているコントラストストレッチを用いる。
【００２８】
コーナー検出部１１１は、コントラスト強調処理が終了した後、二値化処理を行う。
図６は、本実施形態に係る表示装置１のポインティング部１１のコーナー検出部１１１における二値化処理の一例を示す説明図である。
コーナー検出部１１１は、コントラスト強調処理を行った図５に示したコントラストが強調された画像Ｇａ２に対し、二値化処理を行うことで、図６に示すような二値化後の画像Ｇａ３を生成する。ここで、二値化処理として用いるアルゴリズムとしては、適応二値化や自動二値化などが挙げられる。本実施形態におけるコーナー検出部１１１は、図６に示すような表示装置１の背景と表示部１０１を明確に分離しやすい自動二値化を用いてコーナー検出用画像（二値化後の画像Ｇａ３）を生成している。
【００２９】
図３に戻って、コーナー検出部１１１は、二値化後の画像Ｇａ３における背景から分離された明領域についてポリゴン近似を行い、明領域の縁部を構成する直線を推定する。さらに、コーナー検出部１１１は、この推定された直線から最も表示部１０１の形状を表している可能性が高い四辺を選択する。そして、コーナー検出部１１１は、二値化後の画像Ｇａ３において選択された四辺に基づいてコーナーＣｏ１、Ｃｏ２、Ｃｏ３、Ｃｏ４を検出する。コーナー検出部１１１は、検出したコーナーＣｏ１、Ｃｏ２、Ｃｏ３、Ｃｏ４の情報を撮像面コーナー座標算出部１１２に出力する。
【００３０】
撮像面コーナー座標算出部１１２は、コーナー検出部１１１から入力されたコーナーの情報が示すカメラ２０１のカメラ画像における表示部１０１のコーナー座標を算出する。すなわち、撮像面コーナー座標算出部１１２は、検出された各コーナーＣｏ１、Ｃｏ２、Ｃｏ３、Ｃｏ４があるカメラ画像の画素の座標に基づいて、カメラ画像における表示部１０１のコーナー座標を算出する。撮像面コーナー座標算出部１１２は、該コーナー座標を用いて、ホモグラフィ行列（ｍａｔ）を推定する。ここで、ホモグラフィ行列とは、空間内の平面と、画像(平面)の投影を調べることで得られる行列であり、２次元の点の対応が与えられると、一般的に３行３列の行列である。
【００３１】
撮像面コーナー座標算出部１１２は、推定したホモグラフィ行列（ｍａｔ）を用いてカメラ画像中の表示装置１の表示部１０１のコーナー（角）を算出する。撮像面コーナー座標算出部１１２は、推定したホモグラフィ行列を用いて表示映像座標系のコーナーの座標を射影変換することによりカメラ画像座標系のコーナーの座標の算出を行う。ここで、表示映像座標系は、表示映像平面における座標系であり、カメラ画像座標系は、カメラ画像平面における座標系である。撮像面コーナー座標算出部１１２は、算出したカメラ画像における表示部１０１のコーナー座標を射影変換部１１３に出力する。
【００３２】
射影変換部１１３は、透視変換行列（ＰＭａｔ）と、撮像面コーナー座標算出部１１２から入力されたカメラ画像座標系のコーナー座標とに基づいて、カメラ画像座標系の中心の座標を表示映像座標系の中心へと射影変換した座標をポインティング座標として算出する。より具体的には、算出されたカメラ画像座標系における各コーナー座標と、表示映像座標系における表示部１０１の各コーナーの座標とに基づいて、カメラ画像座標系における各座標から表示映像座標系における座標へと変換するための透視変換行列（ＰＭａｔ）を算出する。
【００３３】
図７は、本実施形態に係る表示装置１のポインティング部１１の撮射影変換部１１３における射影変換処理一例を説明する説明図である。
撮像面コーナー座標算出部１１２は、表示映像座標系のコーナー座標Ｍと、算出したカメラ画像座標系のコーナー座標ｍとから透視変換行列ＰＭａｔを式（１）により算出する。
【００３４】
【数１】
2014110029.tif 000003
【００３５】
ここで、Ｍが（ｔｘ、ｔｙ、ｔ）であるときの例である。また、ｍが（ｘ、ｙ、１）であるときの例である。
【００３６】
次に、射影変換部１１３は、図７に示すように求められた透視変換行列ＰＭａｔを用いて、カメラ画像座標系の中心座標ｃに対応する表示映像座標系の座標Ｃを算出する。この算出された座標Ｃがユーザにより電子装置２のカメラ２０１の光軸と表示装置１の表示部１０１と交わる点であり、該点に基づいてポインティング位置を決定する。
【００３７】
図８は、本実施形態に係る電子装置２のポインティング部１１の射影変換部１１３における射影変換処理の一例を説明する説明図である。
射影変換部１１３は、カメラ２０１の光軸と表示装置１の表示部１０１の交わる点を推定する。具体的には、マッピング部２０８は、変換行列生成部２０７から入力された透視変換行列ＰＭａｔに基づいて、カメラ画像座標系の中心座標ｃを表示映像座標系の座標Ｃに変換する。例えば、カメラ２０１の解像度が６４０×４８０ピクセルであるとすると、カメラ画像座標系の中心座標ｃは、（３２０、２４０、１）となる。その行列において、射影変換部１１３は、透視変換行列ＰＭａｔを用いてカメラ画像座標系の中心座標ｃ（３２０、２４０、１）を表示映像座標系の座標Ｃ（Ｘ、Ｙ、Ｚ）に変換する。射影変換部１１３は、算出した座標Ｃを制御部１２に出力する。
【００３８】
制御部１２は、電子装置２のモーションセンサ部２１１が測定した測定値に基づいて、表示部１０１の表示領域外において、ポインタが表示部１０１の表示領域に戻った際に、表示部１０１にポインタをポインティングさせる位置を算出する。
姿勢算出部１２１は、通信部１１０を介して電子装置２のモーションセンサ部２１１から入力された加速度と角速度から電子装置２の姿勢を算出する。図９を参照して、姿勢算出部１２１の電子装置２の姿勢算出手段について詳述する。
【００３９】
図９は、本実施形態に係る表示装置１の制御部１２の姿勢算出部１２１における電子装置２の姿勢算出手段の一例を示す説明図である。
姿勢算出部１２１は、通信部１１０を介して電子装置２のモーションセンサ部２１１から入力された加速度と角速度から、３軸（Ｘ、Ｙ、Ｚ）方向の加速度および角度を次式（２）から（６）を用いて算出する。
【００４０】
【数２】
2014110029.tif 000004
【００４１】
【数３】
2014110029.tif 000005
【００４２】
ここで、ａｘ、ａｙ、およびａｚは、各々Ｘ、Ｙ、Ｚ軸方向の加速度センサ２１１１が測定した加速度を表す。そして、θｙａｗは、式（４）、（５）および（６）を用いて算出される。
【００４３】
【数４】
2014110029.tif 000006
【００４４】
【数５】
2014110029.tif 000007
【００４５】
【数６】
2014110029.tif 000008
【００４６】
ここで、Ｍｘ、Ｍｙ、およびＭｚは、各々地磁気センサ２１１２におけるＸ、Ｙ、Ｚ軸方向の出力信号を表す。
姿勢算出部１２１は、算出した電子装置２の角度を表す情報（θｐｉｔｃｈ、θｒｏｌｌ、θｙａｗ）を推定部１２２に出力する。
【００４７】
推定部１２２は、姿勢算出部１２１から入力された電子装置２の姿勢を表す情報（θｐｉｔｃｈ、θｒｏｌｌ、θｙａｗ）に基づいて、例えば、電子装置２のカメラ２０１が表示部１０１以外の方向を向いている、電子装置２のカメラ２０１が表示部１０１の左右方向を向いている、電子装置２のカメラ２０１が表示部１０１の正面方向を向いているなど、電子装置２の姿勢を推定する。具体的には、推定部１２２は、ポインティング部１１からの出力、および姿勢算出部１２１から入力された電子装置２の角度を表す情報に基づいて、電子装置２の動きを常に推定する。推定部１２２は、推定した電子装置２の動きを表す情報、例えば、電子装置２の姿勢を表す情報（θｐｉｔｃｈ、θｒｏｌｌ、θｙａｗ）から表示装置１の表示部１０１の表示領域を含む平面上におけるポインティング座標を切替判定部１２３に出力する。図１０を参照して、上記ポインティング座標について詳述する。
【００４８】
図１０は、本実施形態に係る表示装置１の制御部１２の切替判定部１２３におけるカメラ画像に基づくポインティング座標と、推定部１２２に基づくポインティング座標の切り替え処理を説明する説明図である。
図１０において、表示部１０１の表示領域内にあるポインタが破線矢印が示す方向に移動したとき、すなわち、表示部１０１の表示領域外にポインタが示している可能性のあるポインティング座標がある場合、切替判定部１２３は、ポインティング部１１のポインティング座標から推定部１２２のポインティング座標に切り替える。このとき推定部１２２は、常にポインタが示す可能性のあるポインティング座標を姿勢算出部１２１からの電子装置２の角度を表す情報から推定している。
【００４９】
再度ポインタが表示部１０１の表示領域内に戻ったとき、切替判定部１２３は、ポインティング座標を推定部１２２のものからポインティング部のものに切り替え、重み付け部１２４は、重みを付けて段階的に変更していく。これにより、ポインタが表示部１０１の表示領域内に戻った際のポインティング座標の推定誤差を軽減できる。
【００５０】
切替判定部１２３は、推定部１２２から入力された電子装置２の動きを表す情報と、ポインティング部１１から入力されたポインティング座標とに基づいて、表示部１０１の表示領域内にポインティング座標があるか否かを判定する。ポインティング座標が表示部１０１の表示領域内にない場合、切替判定部１２３は、ポインティング部１１から入力されるポインティング座標から推定部１２２において推定されたポインティング座標に切り替える。
【００５１】
表示装置１の表示部１０１の表示領域内にポインティング座標が入った場合、切替判定部１２３は、推定部１２２において推定されたポインティング座標からポインティング部１１において推定されたポインティング座標に切り替え、重み付け部１２４にポインティング座標を出力する。このとき、切替判定部１２３は、推定部１２２が用いるモーションセンサ部２１１の測定値を初期化させる。一方、切替判定部１２３は、ポインティング部１１から入力されたポインティング座標が表示部１０１の表示領域内に存在しているとき、出力指示部１２５にポインティング座標を出力する。
【００５２】
重み付け部１２４（補正部）は、切替判定部１２３から推定部１２２が推定したポインティング座標が入力されると、該ポインティング座標とポインティング部１１から入力されたポインティング座標とに基づいて、ポインティング座標の補正を行う。
具体的には、重み付け部１２４は、切替判定部１２３から推定部１２２が推定したポインティング座標が入力されると、該ポインティング座標とポインティング部１１から入力されたポインティング座標とに、加重平均化（重み付け）を行うことで、重み付け後のポインティング座標を算出し、表示部１０１にポインティング座標が表す領域にポインタを表示させる。具体的には、推定部１２２が推定したポインティング座標と、ポインティング部１１が推定したポインティング座標とに、０から１の間の重み付けを段階的に行い、表示部１０１にポインタを表示させる際のポインティング座標の推定誤差の影響を軽減する。重み付け部１２４は、重み付けしたポインティング座標を表示部１０１に表示させる。
【００５３】
出力指示部１２５は、表示部１０１において切替判定部１２３から入力されたポインティング座標が表す領域にポインタをそのまま表示させる。
【００５４】
このように、本実施形態によれば、映像を表示する表示装置１と映像を表示している表示装置１を撮像する撮像部（カメラ２０１）を備える電子装置２とを具備するポインティングシステムＳ１であって、電子装置の姿勢を表す測定値を測定するモーションセンサ部２１１と、モーションセンサ部２１１が測定した測定値に基づいて、撮像部（カメラ２０１）の光軸が表示装置１の表示領域を含む平面と交わる点をポインティング位置として算出する姿勢算出部１２１と、ポインティング位置が表示領域内であるか否かを判定する判定部（切替判定部１２３）と、判定部（切替判定部１２３）が表示領域内であると判定した場合、ポインティング位置を補正する補正部（重み付け部１２４）と、を備える。
【００５５】
これにより、ポインティングシステムＳ１は、モーションセンサ部２１１で得られたポインティング位置を補正することで、ポインティング位置の精度が向上するので、ポインティングの際のユーザの利便性を向上させることができる。さらに、ポインティングシステムＳ１は、撮像部（カメラ２０１）において撮像して得た画像から算出したポインティング位置と、モーションセンサから算出したポインティング位置とから表示部１０１にポインタを表示させることができるため、表示部１０１の表示領域からポインタが外れた場合においても、ポインタの動きを推定し、ポインティングさせることができる。
【００５６】
また、補正部（重み付け部１２４）は、撮像部（カメラ２０１）が撮像して得た画像と、映像との比較に基づいて、ポインティング位置を補正する。
【００５７】
これにより、ポインティングシステムＳ１は、モーションセンサ部２１１で得られたポインティング位置を補正することで、ポインティング位置の精度が向上するので、ポインティングの際のユーザの利便性を向上させることができる。
【００５８】
また、ポインティングシステムＳ１は、映像と、撮像部（カメラ２０１）が撮像して得た画像とに基づいて、画像の座標系から映像の座標系への変換規則を生成する変換規則生成部（撮像面コーナー座標算出部１１２）と、変換規則を参照して、撮像部（カメラ２０１）の光軸が、表示装置１が備える表示部１０１と交わる点を表示部１０１に表示させるポインタの位置を決定するための情報として推定する推定部（ポインティング部１１）と、をさらに備える。
【００５９】
これにより、ポインティングシステムＳ１は、撮影画像における表示部１０１のコーナーおよびその座標を推定でき、推定したコーナーの座標に基づいて画像の中心座標を表示部１０１の座標に射影変換することでポインタを表示部１０１にポインティングさせることができる。さらに、ポインティングシステムＳ１は、ポインティングの際のユーザの利便性を向上させることができる。さらに、ポインティングシステムＳ１は、撮像部（カメラ２０１）において撮像して得た画像から算出したポインティング位置と、モーションセンサから算出したポインティング位置とから表示部１０１にポインタを表示させることができるため、表示部１０１の表示領域からポインタが外れた場合においても、ポインタの動きを推定し、ポインティングさせることができる。
【００６０】
また、変換規則生成部（ポインティング部１１）は、撮像部（カメラ２０１）が取得した画像から表示部１０１におけるコーナーを検出するコーナー検出部１１１と、コーナー検出部１１１が検出した画像における表示部１０１のコーナーの座標を推定する撮像面コーナー座標算出部１１２と、撮像面コーナー座標算出部１１２が推定したコーナーの座標に基づいて画像の中心座標ｃを表示部１０１の座標Ｃに射影変換する射影変換部１１３と、をさらに備える。
【００６１】
これにより、ポインティングシステムＳ１は、撮影画像における表示部１０１のコーナーおよびその座標を推定でき、推定したコーナーの座標に基づいて画像の中心座標を表示部１０１の座標に射影変換することでポインタを表示部１０１にポインティングさせることができる。さらに、ポインティングシステムＳ１は、ポインティングの際のユーザの利便性を向上させることができる。さらに、ポインティングシステムＳ１は、撮像部（カメラ２０１）において撮像して得た画像から算出したポインティング位置と、モーションセンサから算出したポインティング位置とから表示部１０１にポインタを表示させることができるため、表示部１０１の表示領域からポインタが外れた場合においても、ポインタの動きを推定し、ポインティングさせることができる。
【００６２】
モーションセンサ部２１１は、加速度を測定する加速度センサ２１１１と、地球の磁界の向きを測定する地磁気センサ２１１２と、から構成される。制御部１２は、加速度センサ２１１１が測定した加速度と、地磁気センサ２１１２が測定した磁界の向きとから表示部１０１の表示領域外において、ポインタの動きを推定し、表示部１０１の表示領域に戻った際に、推定したポインタの動きと、撮像部（カメラ２０１）が撮像して得た画像から推定したポインタの位置と、に基づいて、表示部１０１にポインタをポインティングさせる。
【００６３】
これにより、ポインティングシステムＳ１は、撮影画像における表示部１０１のコーナーおよびその座標を推定でき、推定したコーナーの座標に基づいて画像の中心座標を表示部１０１の座標に射影変換することでポインタを表示部１０１にポインティングさせることができる。さらに、ポインティングシステムＳ１は、ポインティングの際のユーザの利便性を向上させることができる。さらに、ポインティングシステムＳ１は、撮像部（カメラ２０１）において撮像して得た画像から算出したポインティング位置と、モーションセンサから算出したポインティング位置とから表示部１０１にポインタを表示させることができるため、表示部１０１の表示領域からポインタが外れた場合においても、ポインタの動きを推定し、ポインティングさせることができる。
【００６４】
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
図１１は、本発明の第２の実施形態に係る表示装置１ａの構成の一例を示す概略ブロック図である。
表示装置１ａは、表示部１０１と、画面抽出部１３とを含んで構成される。画面抽出部１３は、画面取得部１００と、画面特徴点抽出部１０２と、画面分割部１０３と、画面特徴点カウント部１０４と、エリア選択部１０５と、画面圧縮部１０６と、記憶部１０７と、制御部１０８と、通信部１０９と、を含んで構成される。表示装置１ａは、その他、公知の表示装置の機能を備えるが図示および説明は省略する。
【００６５】
画面取得部１００は、表示部１０１に表示させる表示映像を取得する。画面取得部１００は、取得した表示映像を表示部１０１に表示させる。画面取得部１００は、取得した表示映像を画面特徴点抽出部１０２に出力する。画面特徴点抽出部１０２は、表示映像から特徴点を抽出する。具体的には、画面特徴点抽出部１０２は、例えば、表示映像における画素ごとの輝度値を比較し、該輝度値に基づいて特徴点を抽出し、該特徴点の特徴量を抽出する。ここで、特徴点の特徴量とは、特徴点を含む周辺領域の輝度勾配情報を用いた特有の性質のことであり、６４次元や１２８次元などの多次元のベクトルで表されるものである。画面特徴点抽出部１０２は、抽出した表示映像の特徴点および該特徴点の特徴量と、表示映像とを記憶部１０７に記憶させる。画面特徴点抽出部１０２は、表示映像の特徴点および該特徴点の特徴量の抽出を完了すると、抽出完了信号を画面分割部１０３に出力する。
【００６６】
画面分割部１０３は、画面特徴点抽出部１０２から抽出完了信号が入力されると、記憶部１０７から表示映像を読み出す。画面分割部１０３は、表示映像を複数のエリアに分割する。図１２および図１３は、本実施形態に係る表示装置１ａの画面分割部１０３の動作の一例を説明する説明図である。画面分割部１０３は、図１２に示すように表示映像Ｇ１を例えば４つのエリアＡ１、Ａ２、Ａ３、Ａ４に分割する。そして、画面分割部１０３は、図１３に示すように分割したエリアＡ１をさらに４つのサブエリアＡ１ａ、Ａ１ｂ、Ａ１ｃ、Ａ１ｄに分割する。画面分割部１０３は、エリアＡ２、Ａ３、Ａ４に対しても同様に各々４つのサブエリアに分割する。すなわち、画面分割部１０３は、表示映像Ｇ１を４つのエリアに分割し、さらに各エリアを４つのサブエリアに分割することで表示映像を１６分割する。画面分割部１０３は、分割したサブエリアを示す情報を記憶部１０７に記憶させ、該情報を画面特徴点カウント部１０４に出力する。
【００６７】
画面特徴点カウント部１０４は、画面分割部１０３からサブエリアを示す情報が入力されると、記憶部１０７から表示映像の特徴点を読み出し、サブエリアを示す情報に基づいてサブエリアごとの特徴点の数をカウントする。画面特徴点カウント部１０４は、サブエリアごとにカウントした特徴点の数をエリア選択部１０５に出力する。エリア選択部１０５は、画面特徴点カウント部１０４から入力されたサブエリアごとの特徴点の数に基づいて、各々のサブエリアに、例えば１〜１６位と順位付けを行う。エリア選択部１０５は、各エリアにおけるサブエリアの順位を比較し、エリアごとに最も順位の高いサブエリアを、例えば、一つずつ、計４つのサブエリアを選択する。エリア選択部１０５は、選択した４つのサブエリアを有効領域として設定する。エリア選択部１０５は、有効領域を示す情報を記憶部１０７に記憶させ、該情報を画面圧縮部１０６に出力する。
【００６８】
画面圧縮部１０６は、エリア選択部１０５から有効領域を示す情報が入力されると、表示映像を記憶部１０７から読み出し、表示映像を任意の倍率、例えば１／４に圧縮する。画面圧縮部１０６は、記憶部１０７から表示映像の特徴点および該特徴点の特徴量を読み出し、任意の倍率で圧縮した表示映像に対し、圧縮前の表示映像の特徴点および該特徴点の特徴量を対応付け、記憶部１０７に記憶させる。画面圧縮部１０６は、記憶部１０７から有効領域を示す情報を読み出し、任意の倍率で圧縮した表示映像に対し、圧縮前の有効領域を示す情報を対応付け、記憶部１０７に記憶させる。
記憶部１０７は、表示映像、特徴点および該特徴点の特徴量、サブエリアを示す情報、有効領域を示す情報、圧縮された表示映像および該表示映像の特徴点および該特徴点の特徴量、圧縮された表示映像の有効領域を示す情報を記憶する。
【００６９】
制御部１０８は、記憶部１０７から圧縮された表示映像の有効領域を示す情報と、圧縮された表示映像および該表示映像の特徴点および該特徴点の特徴量とを読み出し、通信部１０９を介して電子装置２に送信する。制御部１０８は、通信部１０９を介して電子装置２から受信したポインティング位置を示す情報、例えば、ポインティング座標に基づいてポインタを表示部１０１に表示させる。
通信部１０９は、制御部１０８から入力された圧縮された表示映像の有効領域を示す情報と、圧縮された表示映像および該表示映像の特徴点および該特徴点の特徴量とを電子装置２に送信する。通信部１０９は、電子装置２からポインティング位置を示す情報、例えばポインティング座標を受信すると、制御部１０８に出力する。
【００７０】
図１４は、本実施形態に係る電子装置２ａの構成の一例を示す概略ブロック図である。
電子装置２ａは、カメラ２０１と、画像特徴点抽出部２０２と、通信部２０３と、制御部２１０と、モーションセンサ部２１１と、閾値記憶部２１２と、フィルタ部（平滑化部）２１３と、ポインティング部２２０とを含んで構成される。モーションセンサ部２１１は、加速度センサ２１１１と、地磁気センサ２１１２とを含んで構成される。ポインティング部２２０は、取得部２０４と、マッピング部２０８と、変換規則生成部２０９と、を含んで構成される。また、変換規則生成部２０９は、特徴点比較部２０５と、コーナー推定部２０６と、変換行列生成部２０７と、を含んで構成させる。制御部２１０は、姿勢算出部２１０１と、推定部２１０２と、切替判定部２１０３と、重み付け部２１０４と、出力指示部２１０５とを含んで構成される。電子装置２は、その他、一般的な電子装置の機能を有するが図示および説明は省略する。
【００７１】
カメラ２０１は、可視光カメラであり、表示装置１ａの表示部１０１に表示された表示映像を撮影し、カメラ画像を取得する。カメラ２０１は、取得したカメラ画像を画像特徴点抽出部２０２に出力する。画像特徴点抽出部２０２は、カメラ２０１から入力されたカメラ画像から特徴点を抽出する。具体的には、画像特徴点抽出部２０２は、例えば、カメラ画像における画素ごとの輝度値を比較し、該輝度値に基づいて特徴点を抽出し、該特徴点の特徴量を抽出する。画像特徴点抽出部２０２は、抽出したカメラ画像の特徴点および該特徴点の特徴量を特徴点比較部２０５に出力する。
【００７２】
通信部２０３は、表示装置１ａから受信した表示映像の特徴点および該特徴点の特徴量と、有効領域を示す情報とを取得部２０４に出力する。通信部２０３は、フィルタ部（平滑化部）２１３から入力されたポインティング位置を示す情報を表示装置１ａに送信する。
取得部２０４は、通信部２０３を介して表示映像の特徴点および該特徴点の特徴量と、有効領域とを示す情報を表示装置１ａから取得する。取得部２０４は、取得した表示映像の特徴点のおよび該特徴点の特徴量と、有効領域を示す情報とを特徴点比較部２０５に出力する。
【００７３】
特徴点比較部２０５は、画像特徴点抽出部２０２から入力されたカメラ画像の特徴点および該特徴点の特徴量と、取得部２０４から入力された表示映像の特徴点および該特徴点の特徴量と、有効領域を示す情報とに基づいて、カメラ画像の特徴点の特徴量と、有効領域における表示映像の特徴点の特徴量とを比較し、有効領域における表示映像の特徴点にカメラ画像の特徴点を対応付けるマッチング処理を行う。具体的には、特徴点比較部２０５は、有効領域を示す情報を参照し、該有効領域における表示映像の特徴点の特徴量と、カメラ画像の特徴点の特徴量とが最も多く一致するように表示映像の特徴点にカメラ画像の特徴点を対応付けた特徴点の対を生成する。特徴点比較部２０５は、生成した特徴点の対をコーナー推定部２０６に出力する。図１５を参照して、特徴点比較部２０５のマッチング処理の一例を詳述する。
【００７４】
図１５は、本実施形態に係る電子装置２ａのポインティング部２２０の特徴点比較部２０５におけるマッチング処理の一例を説明する説明図である。
表示映像Ｇ２における有効領域を示す情報が、図１３におけるＡ１ａと、Ａ２ｄと、Ａ３ｂと、Ａ４ｃとを表す場合、各サブエリアに含まれる特徴点が、例えば４つずつ存在するとき、特徴点比較部２０５は、表示映像Ｇ２の特徴点の特徴量とカメラ画像Ｇ３の特徴点の特徴量が最も多く一致するように表示映像Ｇ２の特徴点にカメラ画像Ｇ３の特徴点を対応付ける。図１５は、表示映像Ｇ２に対応するカメラ画像Ｇ３の特徴点を線で結んで図示したものである。特徴点比較部２０５は、図１５における線で結ばれた表示映像Ｇ２の特徴点と、カメラ画像Ｇ３の特徴点とを特徴点の対としてコーナー推定部２０６に出力する。
【００７５】
コーナー推定部２０６は、特徴点比較部２０５から入力された特徴点の対の中から部分集合、例えば、任意の４つの特徴点の対からなる特徴点の組を繰り返し生成する。コーナー推定部２０６は、繰り返し生成した４つの特徴点の組および最小二乗法を用いて、ホモグラフィ行列（ｍａｔ）を推定する。ここで、ホモグラフィ行列とは、空間内の平面と、画像(平面)の投影を調べることであり、２次元の点の対応が与えられると、一般的に３行３列の行列である。
【００７６】
コーナー推定部２０６は、推定したホモグラフィ行列（ｍａｔ）を用いてカメラ画像中の表示装置１ａの表示部１０１のコーナー（角）の座標を算出する。コーナー推定部２０６は、推定したホモグラフィ行列を用いて表示映像座標系のコーナーの座標を透視変換することによりカメラ画像座標系のコーナーの座標の算出を行う。ここで、表示映像座標系は、表示映像平面における座標系であり、カメラ画像座標系は、カメラ画像平面における座標系である。コーナー推定部２０６は、算出したカメラ画像座標系のコーナーの座標を変換行列生成部２０７に出力する。図１６を参照して、コーナー推定部２０６のコーナー推定手段の一例を詳述する。
【００７７】
図１６は、本実施形態に係る電子装置２ａのポインティング部２２０のコーナー推定部２０６におけるコーナー推定手段の一例を説明する説明図である。
図１６に示す表示映像Ｇ４における有効領域を示す情報が、図１３におけるＡ１ａと、Ａ２ｄと、Ａ３ｂと、Ａ４ｃとを表す場合、各サブエリアに含まれる特徴点が、例えば、４つずつ存在するとき、コーナー推定部２０６は、特徴点比較部２０５において図１６における表示映像Ｇ４の特徴点と対応付けられた図１６におけるカメラ画像Ｇ５の特徴点との任意の４つの特徴点の対を抽出し、４対の特徴点からなる部分集合（組）を繰り返し生成する。コーナー推定部２０６は、生成した部分集合と最小二乗法とを用いてホモグラフィ行列を推定する。コーナー推定部２０６は、推定したホモグラフィ行列を用いて透視変換することにより、図１６における表示映像Ｇ４のコーナーＣ１に対応する図１６におけるカメラ画像Ｇ５のコーナーＣ２の座標を算出する。コーナー推定部２０６は、算出したコーナーＣ２の座標を変換行列生成部２０７に出力する。
【００７８】
変換行列生成部２０７は、表示映像座標系のコーナーの座標Ｍと、コーナー推定部２０６から入力されたカメラ画像座標系のコーナーの座標ｍとから透視変換行列ＰＭａｔを式（１）により算出する。
【００７９】
変換行列生成部２０７は、図７に示すカメラ画像Ｇ６におけるカメラ画像座標系のコーナーの座標ｍ（ｘ、ｙ、１）と、図７に示す表示映像Ｇ７における表示映像座標系のコーナーの座標Ｍ（ｔｘ、ｔｙ、ｔ）とから透視変換行列（ＰＭａｔ）を算出する。変換行列生成部２０７は、算出した透視変換行列をマッピング部２０８に出力する。
マッピング部２０８は、変換行列生成部２０７から入力された透視変換行列に基づいてマッピング処理を行う。図８を参照して、マッピング部２０８のマッピング処理について詳述する。
【００８０】
マッピング部２０８は、カメラ２０１の光軸と表示装置１ａの表示部１０１の交わる点を推定する。具体的には、マッピング部２０８は、変換行列生成部２０７から入力された透視変換行列に基づいて、カメラ画像座標系の中心座標ｃを表示映像座標系の座標Ｃに変換する。例えば、カメラ２０１の解像度が６４０×４８０ピクセルであるとすると、カメラ画像座標系の中心座標ｃは、（３２０、２４０、１）となる。その行列において、マッピング部２０８は、透視変換行列を用いてカメラ画像座標系の中心座標ｃ（３２０、２４０、１）を表示映像座標系の座標Ｃ（Ｘ、Ｙ、Ｚ）に変換する。マッピング部２０８は、算出した座標Ｃを制御部２１０に出力する。
【００８１】
本実施形態に係る電子装置２ａのモーションセンサ部２１１の動作は、第１の実施形態に係る電子装置２のモーションセンサ部２１１と同様であるので説明は省略する。また、本実施形態に係る電子装置２ａの制御部２１０動作は、第１の実施形態に係る表示装置１の制御部１２と同様であるので説明は省略する。
【００８２】
閾値記憶部２１２は、加速度センサに関する加速度の閾値を記憶している。
制御部２１０は、加速度センサ２１１１から入力された加速度と閾値記憶部２１２から読み出した加速度の閾値とを比較する。制御部２１０は、加速度の値が閾値未満である場合、出力指示部２１０５または重み付け部２１０４が出力するポインティング座標に対しフィルタ部（平滑化部）２１３に平滑化させる。一方、加速度の値が閾値以上である場合、制御部２１０は、フィルタ部（平滑化部）２１３に平滑化させずにから出力指示部２１０５または重み付け部２１０４から入力されたポインティング座標を、通信部２０３を介し、表示装置１ａに送信する。
【００８３】
フィルタ部（平滑化部）２１３は、制御部２１０から入力されたポインティング座標および加速度の値が閾値未満であることを示す信号が入力されると、平滑化、例えば、２次元のローパスフィルタや移動平均を用いてユーザの生理振動でポインタのポインティング位置が振動することを軽減する。フィルタ部（平滑化部）２１３は、平滑化したポインティング座標を、ポインティング位置を示す情報として通信部２０３を介し表示装置１ａに送信する。フィルタ部（平滑化部）２１３は、制御部２１０から入力されたポインティング座標および加速度の値が閾値以上であることを示す信号が入力されると平滑化をせずに通信部２０３を介し、表示装置１ａにポインティング位置を示す情報としてポインティング座標を送信する。
【００８４】
このように、本実施形態によれば、映像を表示する表示装置１ａと映像を表示している表示装置１を撮像する撮像部（カメラ２０１）を備える電子装置２ａとを具備するポインティングシステムＳ１であって、電子装置２ａの姿勢を表す測定値を測定するモーションセンサ部２１１と、モーションセンサ部２１１が測定した測定値に基づいて、撮像部（カメラ２０１）の光軸が表示装置１ａの表示領域を含む平面と交わる点をポインティング位置として算出する姿勢算出部２１０１と、ポインティング位置が表示領域内であるか否かを判定する判定部（切替判定部２１０３）と、判定部（切替判定部２１０３）が表示領域内であると判定した場合、前記ポインティング位置を補正する補正部（重み付け部２１０４）と、を備えることを特徴とする。
【００８５】
これにより、ポインティングシステムＳ１は、モーションセンサ部２１１で得られたポインティング位置を補正することで、ポインティング位置の精度が向上するので、ポインティングの際のユーザの利便性を向上させることができる。さらに、ポインティングシステムＳ１は、撮像部（カメラ２０１）において撮像して得た画像から算出したポインティング位置と、モーションセンサから算出したポインティング位置とから表示部１０１にポインタを表示させることができるため、表示部１０１の表示領域からポインタが外れた場合においても、ポインタの動きを推定し、ポインティングさせることができる。
【００８６】
また、補正部（重み付け部２１０４）は、撮像部（カメラ２０１）が撮像して得た画像と、映像との比較に基づいて、ポインティング位置を補正する。
【００８７】
これにより、ポインティングシステムＳ１は、モーションセンサ部２１１で得られたポインティング位置を補正することで、ポインティング位置の精度が向上するので、ポインティングの際のユーザの利便性を向上させることができる。
【００８８】
また、ポインティングシステムＳ１は、映像と、撮像部（カメラ２０１）が撮像して得た画像とに基づいて、画像の座標系から映像の座標系への変換規則を生成する変換規則生成部２０９と、変換規則を参照して、撮像部（カメラ２０１）の光軸が、表示装置１ａが備える表示部１０１と交わる点を表示部１０１に表示させるポインタの位置を決定するための情報として推定する推定部（ポインティング部２２０）と、をさらに備える。
【００８９】
これにより、ポインティングシステムＳ１は、撮影画像における表示部１０１のコーナーおよびその座標を推定でき、推定したコーナーの座標に基づいて画像の中心座標を表示部１０１の座標に射影変換することでポインタを表示部１０１にポインティングさせることができる。さらに、ポインティングシステムＳ１は、ポインティングの際のユーザの利便性を向上させることができる。さらに、ポインティングシステムＳ１は、撮像部（カメラ２０１）において撮像して得た画像から算出したポインティング位置と、モーションセンサから算出したポインティング位置とから表示部１０１にポインタを表示させることができるため、表示部１０１の表示領域からポインタが外れた場合においても、ポインタの動きを推定し、ポインティングさせることができる。
【００９０】
また、変換規則生成部２０９は、撮像部（カメラ２０１）が取得した画像から表示部１０１におけるコーナーを検出するコーナー検出部（コーナー推定部２０６）と、コーナー検出部（コーナー推定部２０６）が検出した画像における表示部１０１のコーナーの座標を推定する撮像面コーナー座標算出部（コーナー推定部２０６）と、撮像面コーナー座標算出部（コーナー推定部２０６）が推定したコーナーの座標に基づいて画像の中心座標ｃを表示部１０１の座標Ｃに射影変換する射影変換部（変換行列生成部２０７）と、をさらに備える。
【００９１】
これにより、ポインティングシステムＳ１は、撮影画像における表示部１０１のコーナーおよびその座標を推定でき、推定したコーナーの座標に基づいて画像の中心座標を表示部１０１の座標に射影変換することでポインタを表示部１０１にポインティングさせることができる。さらに、ポインティングシステムＳ１は、ポインティングの際のユーザの利便性を向上させることができる。さらに、ポインティングシステムＳ１は、撮像部（カメラ２０１）において撮像して得た画像から算出したポインティング位置と、モーションセンサから算出したポインティング位置とから表示部１０１にポインタを表示させることができるため、表示部１０１の表示領域からポインタが外れた場合においても、ポインタの動きを推定し、ポインティングさせることができる。
【００９２】
モーションセンサ部２１１は、加速度を測定する加速度センサ２１１１と、地球の磁界の向きを測定する地磁気センサ２１１２と、から構成される。制御部２１０は、加速度センサ２１１１が測定した加速度と、地磁気センサ２１１２が測定した磁界の向きとから表示部１０１の表示領域外において、ポインタの動きを推定し、表示部１０１の表示領域に戻った際に、推定したポインタの動きと、撮像部（カメラ２０１）が撮像して得た画像から推定したポインタの位置と、に基づいて、表示部１０１にポインタをポインティングさせる。
【００９３】
これにより、ポインティングシステムＳ１は、撮影画像における表示部１０１のコーナーおよびその座標を推定でき、推定したコーナーの座標に基づいて画像の中心座標を表示部１０１の座標に射影変換することでポインタを表示部１０１にポインティングさせることができる。さらに、ポインティングシステムＳ１は、ポインティングの際のユーザの利便性を向上させることができる。さらに、ポインティングシステムＳ１は、撮像部（カメラ２０１）において撮像して得た画像から算出したポインティング位置と、モーションセンサから算出したポインティング位置とから表示部１０１にポインタを表示させることができるため、表示部１０１の表示領域からポインタが外れた場合においても、ポインタの動きを推定し、ポインティングさせることができる。
【００９４】
モーションセンサ部２１１は、加速度を測定する加速度センサ２１１１と、地球の磁界の向きを測定する地磁気センサ２１１２と、から構成される。制御部１２は、加速度センサ２１１１が測定した加速度と、地磁気センサ２１１２が測定した磁界の向きとから表示部１０１の表示領域外において、ポインタの動きを推定し、表示部１０１の表示領域に戻った際に、推定したポインタの動きと、撮像部（カメラ２０１）が撮像して得た画像から推定したポインタの位置と、に基づいて、表示部１０１にポインタをポインティングさせる。
【００９５】
これにより、ポインティングシステムＳ１は、撮影画像における表示部１０１のコーナーおよびその座標を推定でき、推定したコーナーの座標に基づいて画像の中心座標を表示部１０１の座標に射影変換することでポインタを表示部１０１にポインティングさせることができる。さらに、ポインティングシステムＳ１は、ポインティングの際のユーザの利便性を向上させることができる。さらに、ポインティングシステムＳ１は、撮像部（カメラ２０１）において撮像して得た画像から算出したポインティング位置と、モーションセンサから算出したポインティング位置とから表示部１０１にポインタを表示させることができるため、表示部１０１の表示領域からポインタが外れた場合においても、ポインタの動きを推定し、ポインティングさせることができる。
【００９６】
モーションセンサ部２１１は、加速度および角速度を測定するジャイロセンサであり、制御部２１０は、ジャイロセンサが測定した加速度と、角速度とから表示部１０１の表示領域外において、ポインタの動きを推定し、表示部１０１の表示領域に戻った際に、推定したポインタの動きと、撮像部（カメラ２０１）が撮像して得た画像から推定したポインタの位置と、に基づいて、表示部１０１にポインタをポインティングさせる。
【００９７】
これにより、ポインティングシステムＳ１は、撮影画像における表示部１０１のコーナーおよびその座標を推定でき、推定したコーナーの座標に基づいて画像の中心座標を表示部１０１の座標に射影変換することでポインタを表示部１０１にポインティングさせることができる。さらに、ポインティングシステムＳ１は、ポインティングの際のユーザの利便性を向上させることができる。さらに、ポインティングシステムＳ１は、撮像部（カメラ２０１）において撮像して得た画像から算出したポインティング位置と、モーションセンサから算出したポインティング位置とから表示部１０１にポインタを表示させることができるため、表示部１０１の表示領域からポインタが外れた場合においても、ポインタの動きを推定し、ポインティングさせることができる。
【００９８】
ポインティングシステムＳ１は、ポインタの動きを平滑化する平滑化部２１３をさらに備える。制御部２１０は、加速度に応じて平滑化部２１０に平滑化させるか否かを制御する。
【００９９】
これにより、ポインティングシステムＳ１は、ユーザの生理振動によるポインティング位置の振動を防ぐことができる。
【０１００】
なお、各実施形態において、ポインティング部１１または２２０は、電子装置２、２ａが備えてもよいし、表示装置１、１ａが備えてもよい。表示装置１、１ａがポインティング部１１または２２０を備える場合、第１の実施形態の表示装置１および電子装置２のように構成すればよい。また、電子装置２、２ａがポインティング部１１および２２０を備える場合、第２の実施形態における表示装置１ａ、電子装置２ａのように構成すればよい。
【０１０１】
また、各実施形態において、モーションセンサ部２１１は、加速度センサ２１１１と、地磁気センサ２１１２とを備えるとしているが、加速度センサ２１１１や地磁気センサ２１１２の代わりに、ジャイロセンサを用いてもよい。この場合、ジャイロセンサが電子装置２、２ａの角度および加速度を測定すればよい。
【０１０２】
なお、各実施形態において、特徴点の抽出は、輝度値により行っているが、ＳＩＦＴ、ＳＵＲＦ、ＯＲＢなどを用いて特徴点の抽出を行ってもよい。さらに、表示装置１ａのエリア選択部１０５は、４つのサブエリアを選択しているが、１つのサブエリアのみを選択してもよいし、１つ以上の複数のサブエリアを選択してもよい。エリア選択部１０５は、少数、例えば１つのエリアを選択することで高速な処理演算を行うことができ、複数エリアを選択することでコーナー推定部２０６におけるコーナー推定精度を向上させることができる。また、特徴点比較部２０５において、複数の特徴点の対を抽出し、部分集合を繰り返し生成しているが、少なくとも４対（１組）の特徴点の対があればよい。特徴点比較部２０５は、複数の特徴点の対を用いることでコーナー推定部２０６やマッピング部２０８における座標Ｃの算出する精度を向上することができ、ポインティング位置の推定を向上させることができる。
【０１０３】
さらに、画面圧縮部１０６は、任意の倍率で表示映像を圧縮するとしているが、圧縮率が異なる複数の倍率で表示映像を圧縮し、記憶部１０７に記憶させておいてもよい。これにより、電子装置２ａが表示装置１ａと遠い距離にある場合においても、カメラ２０１が取得したカメラ画像において適切に特徴点の抽出およびポインティング位置の算出ができる。
【０１０４】
なお、上述した実施形態における表示装置１、１ａ、および電子装置２、２ａの一部、または全部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、表示装置１、１ａ、および電子装置２、２ａに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１０５】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。
【０１０６】
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１０７】
また、上述した実施形態における表示装置１、１ａ、および電子装置２、２ａの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。表示装置１、１ａ、および電子装置２、２ａの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【０１０８】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【０１０９】
Ｓ１  ポインティングシステム
１、１ａ  表示装置
２、２ａ  電子装置
１００  画面取得部
１０１  表示部
１０２  画面特徴点抽出部
１０３  画面分割部
１０４  画面特徴点カウント部
１０５  エリア選択部
１０６  画面圧縮部
１０７  記憶部
１０８  制御部
１０９  通信部
１１０  通信部
１１  ポインティング部（変換規則生成部）
１１１  コーナー検出部
１１２  撮像面コーナー座標算出部
１１３  射影変換部
１２  制御部
１２１  姿勢算出部（算出部）
１２２  推定部
１２３  切替判定部（判定部）
１２４  重み付け部（補正部）
１２５  出力指示部
１３  画面抽出部
２０１  カメラ（撮像部）
２０２  画像特徴点抽出部
２０３  通信部
２０４  取得部
２０５  特徴点比較部
２０６  コーナー推定部
２０７  変換行列生成部
２０８  マッピング部
２０９  変換規則生成部
２１０  制御部
２１０１  姿勢算出部（算出部）
２１０２  推定部
２１０３  切替判定部（判定部）
２１０４  重み付け部（補正部）
２１０５  出力指示部
２１１  モーションセンサ部
２１１１  加速度センサ
２１１２  地磁気センサ
２１２  閾値記憶部
２１３  フィルタ部（平滑化部）
２２０  ポインティング部（推定部）
【図１】
2014110029.tif 000009
【図２】
2014110029.tif 000010
【図３】
2014110029.tif 000011
【図７】
2014110029.tif 000012
【図８】
2014110029.tif 000013
【図９】
2014110029.tif 000014
【図１０】
2014110029.tif 000015
【図１１】
2014110029.tif 000016
【図１２】
2014110029.tif 000017
【図１３】
2014110029.tif 000018
【図１４】
2014110029.tif 000019
【図４】
2014110029.tif 000020
【図５】
2014110029.tif 000021
【図６】
2014110029.tif 000022
【図１５】
2014110029.tif 000023
【図１６】
2014110029.tif 000024