【手続補正書】
【提出日】平成28年5月30日(2016.5.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
眼鏡本体部と、前記眼鏡本体部に設けられた、使用者に空中に浮かんでいるように見える視認画面に対応する元画面を表示する表示装置とを有し、使用者が眼鏡のように装着して使用する眼鏡型端末において、
前記眼鏡本体部に設けられた、前記視認画面に対して使用者が指又は所定の入力指示具で操作を行ったときにその操作を行った指又は入力指示具を撮像する撮像装置と、
使用者が前記視認画面に対して操作を行った指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた画像データに基づいて当該指又は入力指示具による操作がどのような内容の操作であるのかを判定する操作判定部と、
使用者が前記視認画面に対して操作を行った指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた画像データに基づいて前記撮像装置が撮像することができる範囲である撮像範囲における当該指又は入力指示具の位置データを生成する位置データ生成部と、
使用者が前記視認画面における一又は複数の所定位置において指又は入力指示具で操作を行ったときに、前記操作判定部で前記各所定位置における操作が所定の操作であると判定された前記画像データに基づいて前記位置データ生成部で生成された当該指又は入力指示具の位置データを用いて、当該視認画面の位置及び大きさを特定するための当該視認画面に関するデータを生成して基準データとして記憶部に記憶する基準データ生成部と、
使用者が前記視認画面に対して指又は入力指示具で操作を行ったときに、前記操作判定部で判定して得られた当該指又は入力指示具による操作の内容に関するデータ及び前記位置データ生成部で生成された当該指又は入力指示具の位置データと、前記記憶部に記憶されている当該視認画面に関する前記基準データとに基づいて、当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、前記表示装置に表示する前記元画面の制御を行う入力制御部と、
を備えることを特徴とする眼鏡型端末。
【請求項２】
前記撮像装置は、使用者が認識する視認画面の位置にある被写体にピントが合うように構成されており、
前記撮像装置でピントが合った被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指又は入力指示具であるかどうかを判断して指又は入力指示具が存在している画像データを抽出する画像データ抽出部が更に備えられており、
前記操作判定部は、前記画像データ抽出部で抽出された画像データに基づいて当該画像データに存在している指又は入力指示具による操作がどのような内容の操作であるのかを判定するものであり、
前記位置データ生成部は、前記操作判定部で指又は入力指示具による操作が所定の操作であると判定された画像データに基づいて、前記撮像範囲における当該指又は入力指示具の位置データを生成するものであることを特徴とする請求項１記載の眼鏡型端末。
【請求項３】
前記撮像装置は、被写体に自動的にピントを合わせることができるオートフォーカス制御部を有し、前記オートフォーカス制御部により自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、その算出した距離データを当該撮像して得られた画像データとともに出力するものであり、
前記撮像装置で自動的にピントが合わせられた被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指又は入力指示具であるかどうかを判断し、また、当該画像データとともに送られた距離データに基づいて当該被写体が前記撮像装置から奥行き方向に沿って予め定められた略一定の距離だけ離れているかどうかを判定して、指又は入力指示具が存在している画像データであってその指又は入力指示具が前記撮像装置から奥行き方向に沿って略一定の距離だけ離れているものを抽出する画像データ抽出部が更に備えられており、
前記操作判定部は、前記画像データ抽出部で抽出された画像データに基づいて当該画像データに存在している指又は入力指示具による操作がどのような内容の操作であるのかを判定するものであり、
前記位置データ生成部は、前記操作判定部で指又は入力指示具による操作が所定の操作であると判定された画像データに基づいて、前記撮像範囲における当該指又は入力指示具の前記位置データを生成するものであることを特徴とする請求項１記載の眼鏡型端末。
【請求項４】
前記基準データ生成部は、四隅のうち少なくとも一箇所に所定の目印が付された前記元画面が前記表示装置に表示されている場合に、使用者が当該元画面に対応する前記視認画面における前記目印に対して指又は入力指示具で操作を行ったときに、前記位置データ生成部で生成された指又は入力指示具の位置データを用いて、当該視認画面に関する前記基準データを生成することを特徴とする請求項１、２又は３記載の眼鏡型端末。
【請求項５】
眼鏡本体部と、前記眼鏡本体部に設けられた、使用者に空中に浮かんでいるように見える視認画面に対応する元画面を表示する表示装置とを有し、使用者が眼鏡のように装着して使用する眼鏡型端末において、
前記眼鏡本体部に設けられた、被写体に自動的にピントを合わせることができるオートフォーカス制御部を有し、前記オートフォーカス制御部により自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、その算出した距離データを当該撮像して得られた画像データとともに出力する撮像装置と、
前記撮像装置で自動的にピントが合わせられた被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指又は入力指示具であるかどうかを判断して、指又は入力具が存在している画像データを抽出する画像データ抽出部と、
使用者が前記視認画面に対して操作を行った指又は入力指示具を前記撮像装置が撮像したときに、前記画像データ抽出部で抽出された画像データに基づいて当該指又は入力指示具による操作がどのような内容の操作であるのかを判定する操作判定部と、
使用者が前記視認画面に対して操作を行った指又は入力指示具を前記撮像装置が撮像したときに、前記操作判定部で指又は入力指示具による操作が所定の操作であると判定された画像データに基づいて、前記撮像装置が撮像することができる範囲である撮像範囲における当該指又は入力指示具の前記位置データを生成する位置データ生成部と、
使用者が前記視認画面における少なくとも三つの所定位置において指又は入力指示具で操作を行ったときに、前記操作判定部で前記各所定位置における操作が所定の操作であると判定された前記画像データに基づいて前記位置データ生成部で生成された少なくとも三つの指又は入力指示具の位置データと、それら位置データを生成した際に用いた画像データとともに送られた距離データとを用いて、三次元空間内において当該視認画面に対応する画面である基準画面を特定するデータを生成して基準データとして記憶部に記憶する基準データ生成部と、
前記基準データ生成部で前記基準データが生成された後に、使用者が前記視認画面に対して指又は入力指示具で操作を行った際に前記撮像装置で自動的にピントが合わせられた被写体を撮像したときに、前記操作判定部で指又は入力指示具による当該操作が所定の操作であると判定された画像データに基づいて前記位置データ生成部で生成された指又は入力指示具の位置データと、その指又は入力指示具の位置データを生成する際に用いた画像データと関連付けられている距離データと、前記記憶部に記憶されている当該視認画面に対応する基準画面を特定する基準データとに基づいて、当該指又は入力指示具が前記基準画面から予め定められた略一定の距離範囲以内に位置しているかどうかを判定する距離判定部と、
使用者が前記視認画面に対して指又は入力指示具で操作を行った場合であって前記距離判定部で当該指又は入力指示具が前記基準画面から略一定の距離範囲以内に位置していると判定されたときに、前記操作判定部で判定して得られた当該指又は入力指示具による操作の内容に関するデータ、その判定で用いられた画像データに基づいて前記位置データ生成部で生成された当該指又は入力指示具の位置データと、その判定で用いられた画像データと関連付けられている距離データと、前記記憶部に記憶されている当該視認画面に対応する基準画面を特定する基準データとに基づいて、当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、前記表示装置に表示する前記元画面の制御を行う入力制御部と、
を備えることを特徴とする眼鏡型端末。
【請求項６】
前記表示装置に表示される元画面は、キーボード画像と入力した文字を表示する表示領域とを有する文字入力画面であることを特徴とする請求項１乃至５の何れか一項記載の眼鏡型端末。
【請求項７】
前記表示装置に表示される元画面には遠隔制御可能な装置についてのリモートコントローラの操作部に対応する画面が含まれており、
前記リモートコントローラの操作部に対応する画面に対して操作が行われたときにその操作の内容を示す指令信号を生成し、その生成した指令信号を前記遠隔制御可能な装置に無線送信する遠隔制御部を更に備えることを特徴とする請求項１乃至５の何れか一項記載の眼鏡型端末。
【請求項８】
前記撮像装置は、ピントが合う範囲を一定範囲に制限することができるものであり、ピントが合う範囲を一定範囲に制限している旨を第三者に報知する報知手段を有することを特徴とする請求項１又は５記載の眼鏡型端末。
【請求項９】
前記表示装置は、表示デバイスを有するプロジェクタと、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影されるハーフミラーとを備え、前記ハーフミラーは、前記眼鏡本体部のレンズ部の前に配置されたプリズムの中に埋め込まれ若しくは一体化され、又は前記眼鏡本体部のレンズ部の前に配置されたプリズムに貼り付けられていることを特徴とする請求項１乃至８の何れか一項記載の眼鏡型端末。
【請求項１０】
前記表示装置は、表示デバイスを有するプロジェクタと、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影されるハーフミラーとを備え、前記ハーフミラーは、前記眼鏡本体部のレンズ部に貼り付けられ、又は前記眼鏡本体部のレンズ部に埋め込まれ若しくは一体化されていることを特徴とする請求項１乃至８の何れか一項記載の眼鏡型端末。
【請求項１１】
前記表示装置は、表示デバイスを有するプロジェクタと、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影されるホログラムシート又はホログラムフィルムとを備え、前記ホログラムシート又はホログラムフィルムは、前記眼鏡本体部のレンズ部に貼り付けられ、又は前記眼鏡本体部のレンズ部に埋め込まれ若しくは一体化されていることを特徴とする請求項１乃至８の何れか一項記載の眼鏡型端末。
【請求項１２】
使用者の指先には所定のマークが付されており、前記操作判定部は、前記マークの動きに基づいて指による操作がどのような内容の操作であるかを判定し、前記位置データ生成部は、前記マークの位置データを指の位置データとして生成することを特徴とする請求項１乃至１０の何れか一項記載の眼鏡型端末。
【請求項１３】
使用者が眼鏡のように装着して使用するのではなく、使用者が耳以外の頭部のいずれかの部位に装着して使用することを特徴とする請求項１乃至１２の何れか一項記載の眼鏡型端末。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
眼鏡本体部１０は、図２に示すように、二つのレンズ部１１，１１を有する一般的な眼鏡である。レンズ部１１に取り付けるレンズは、視力を矯正するための凸レンズや凹レンズであってもよいし、視力矯正機能を持たないただのガラスやプラスチック等であってもよい。また、眼鏡本体部１０は、レンズ部１１に取り付けるレンズを省略したものであってもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
なお、入力制御部７６は、ユーザが視認画面Ｓに対して指で操作を行った際に当該指による操作に対応する入力指示の内容を認識する場合、まず、記憶部９０に記憶されている当該視認画面Ｓに関する基準データに基づいて、撮像装置３０の撮像範囲に相当する仮想平面上に、当該視認画面Ｓに対応する画面である基準画面を生成し、次に、位置データ生成部７４で生成された当該指の位置データが基準画面のどの位置に対応するのかを調べることにより、当該指で操作された視認画面Ｓ上の位置を特定するようにしてもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
オートフォーカス制御部３３１は、撮像範囲内における所定の位置にある被写体に自動的にピントを合わせるようにカメラ部３１を制御するものである。ここで、第二実施形態では、撮像装置３０ａは、撮像範囲内のどの位置においても、自動的にピントを合わせることができるように、多数のフォーカスポイントを有する。このため、ユーザが視認画面Ｓに対して指で操作を行っている場合、撮像装置３０ａは、その操作を行っている指に自動的にピントを合わせ、当該指をピントが合った状態で撮像することができる。また、オートフォーカス制御部３３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出する。この算出した距離データは当該画像データと関連付けられる。そして、撮像装置３０ａで撮像して得られた画像データとそれに関連付けられた距離データは制御部７０ａに送られる。なお、オートフォーカスの方式としては、被写体に赤外線・超音波などを照射し、その反射波が戻るまでの時間や照射角度により距離を検出するアクティブ方式、或いは、カメラ部３１のレンズで捉えた画像を利用して測距を行う位相差検出方式やコントラスト検出方式等のパッシブ方式のいずれであってもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
本変形例の眼鏡型端末１ｅについて、ずれ補正部７７ｂによる位置データの換算処理は、上述した第二実施形態の第一変形例のものと同様に行われる。尚、本変形例では、ハーフミラー２３がレンズ部１１ｂに埋め込まれているが、図２３及び図２４に示すように、各点（Ｃｃ，Ｍｃ，Ｅｃ，ｐｃ，Ｐｃ等）や各距離（Ｗ，Ｈ，Ｌ，α等）は第二実施形態の第一変形例におけるものと全く同じに定義される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１３１
【補正方法】変更
【補正の内容】
【０１３１】
ステップＳ１４８の処理の後、位置データ生成部７４は、操作判定部７３で指による操作の内容が判定された画像データに基づいて、撮像装置３０ｃの撮像範囲における当該指（指先）の位置データを生成する（Ｓ１４９）。こうして生成された指の位置データは記憶部９０に記憶される。
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2016031761.tif 000001
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図２４
【補正方法】変更
【補正の内容】
【図２４】
2016031761.tif 000002