【手続補正書】
【提出日】令和2年8月27日(2020.8.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
また、コントローラ４は、赤外撮像部１２３を備える。赤外撮像部１２３は、コントローラ４の周囲を撮像する赤外線カメラを有する。一例として、ゲーム装置本体３および／またはコントローラ４は、撮像された情報（例えば、撮像された撮像画像における少なくとも一部の領域全体を分割した複数のブロックの輝度に関連する情報等）を算出し、当該情報に基づいて、コントローラ４の周囲変化を判別する。また、赤外撮像部１２３は、環境光のみによって撮像を行ってもよいが、本実施形態においては、赤外線を照射する赤外発光部１２４を有する。赤外発光部１２４は、例えば、赤外線カメラが画像を撮像するタイミングと同期して、赤外線を照射する。また、その照射方向については、少なくとも、赤外線カメラの撮像方向と実質的に同じ方向に赤外線を照射する。そして、赤外発光部１２４によって照射された赤外線が撮像対象によって反射され、当該反射された赤外線が赤外線カメラによって受光されることで、赤外線の画像が取得される。これによって、赤外撮像部１２３は、より鮮明な赤外線画像を得ることができる。なお、赤外撮像部１２３と赤外発光部１２４とは、それぞれ別のデバイスとしてコントローラ４内に設けられてもよいし、同じパッケージ内に設けられた単一のデバイスとしてコントローラ４内に設けられてもよい。また、本実施形態においては、赤外線カメラを有する赤外撮像部１２３が用いられるが、他の実施形態においては、撮像手段として、赤外線カメラに代えて可視光カメラ（可視光イメージセンサを用いたカメラ）が用いられてもよい。また、他の実施形態では、赤外発光部１２４は設けず、赤外撮像部１２３と、可視光撮像部としての可視光カメラだけで撮像するような構成としても良い。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
コントローラ４は、処理部１２１を備える。処理部１２１は、通信制御部１１１に接続される。また、処理部１２１は、赤外撮像部１２３、および赤外発光部１２４に接続される。処理部１２１は、ＣＰＵやメモリ等を含み、コントローラ４に備えられた図示しない記憶装置（例えば、不揮発性メモリ等）に記憶された所定のプログラム（例えば、画像処理や各種演算を行うためのアプリケーションプログラム）に基づいて、ゲーム装置本体３からの指令に応じて赤外撮像部１２３に対する管理処理を実行する。例えば、処理部１２１は、赤外撮像部１２３に撮像動作を行わせたり、撮像結果に基づく情報（撮像画像の情報、あるいは、当該情報から算出される情報等）を取得および／または算出して通信制御部１１１を介してゲーム装置本体３へ送信したりする。また、処理部１２１は、ゲーム装置本体３からの指令に応じて赤外発光部１２４に対する管理処理を実行する。例えば、処理部１２１は、ゲーム装置本体３からの指令に応じて赤外発光部１２４の発光を制御する。なお、処理部１２１が処理を行う際に用いるメモリは、処理部１２１内に設けられてもよいし、メモリ１１２であってもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
［ＶＲゲームキットについて］
次に、ＶＲゲームキット２について説明する。図８は、ＶＲゲームキット２の一例を示す六面図である。また、図９は、ＶＲゲームキット２をＶＲゴーグル部５の側から見た斜視図である。図１０は、ＶＲゲームキット２を把持操作部６側からみた斜視図である。なお、各パーツの構成の理解を助けるために、図１１に、ＶＲゴーグル部５、接続アーム部７、把持操作部６を分離した場合の模式図も示す。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
ＶＲゴーグル部５は、ゲーム装置装着部２０１と、マーカ配置部２０２と、把持部２０４と、レンズパーツ部２０７とを含んでいる。レンズパーツ部２０７は、当接部２０３と、左目用レンズ２０５と、右目用レンズ２０６とを含む。当接部２０３は、ＶＲゴーグル部５に装着されたゲーム装置本体３のディスプレイをユーザが見る場合に、ユーザの顔の一部に当接する部位である。レンズパーツ部２０７とゲーム装置装着部２０１、マーカ配置部２０２は、把持部２０４の上方となる位置に設けられている。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
また、本実施形態では、第１アーム２５１と第２アーム２５２の長さは同じであるものとする。そして、図１８に示すように、接続アーム部７を最長の状態としたときの長さＬについては、例えば、成人男性の平均的な腕の長さとほぼ同じか、これより少し短い程度であるものとする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
ここで、図１９に、接続アーム部７を折りたたみ、最短の状態にした（折りたたんだ）場合の例を示す。図１９に示すように、最短の状態にした場合でも、マーカ配置部２０２と把持操作部６（コントローラ４の下面）との間で、ある程度の距離Ｍが確保されている。換言すれば、接続アーム部７は、最短の状態であっても、コントローラ４から赤外光をマーカ配置部２０２に照射し、その反射光を赤外撮像部１２３で撮像できる程度の距離が確保されるように構成されている。
【手続補正７】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
周囲を撮像するための撮像部を有し、ユーザによって把持可能な可動撮像部と、
互いに視差のある左目用画像および右目用画像からなる立体視画像を表示する少なくとも１つの表示部、前記立体視画像を見ている状態の前記ユーザの顔の一部と当接可能な当接部、および、当該ユーザによって把持されている状態の前記可動撮像部の前記撮像部によって撮像可能な被検出部を有する立体画像提供部と、
前記撮像部によって撮像された画像に含まれる前記被検出部を示す被検出部画像を検出する検出部と、
前記検出部によって検出された前記被検出部画像の前記撮像された画像における位置および／または形状を特定する特定部と、
前記特定部によって特定された前記被検出部画像の前記撮像された画像における位置および／または形状に基づいて、前記可動撮像部の姿勢および／または位置を推測する推測部と、
前記推測部による推測結果に基づいて、前記少なくとも１つの表示部に表示する前記立体視画像を生成する画像生成部とを備える、姿勢位置推測システム。
【請求項２】
前記可動撮像部は、更に、操作部、および、当該操作部に対する前記ユーザの操作に基づいて所定のデータを生成する操作データ生成部を有し、
前記画像生成部は、更に、前記推測部による推測結果と前記操作データ生成部によって生成されたデータとに基づいて、前記少なくとも１つの表示部に表示する立体視画像を生成する、請求項１に記載の姿勢位置推測システム。
【請求項３】
前記可動撮像部は、更に、前記撮像部の撮像方向と少なくとも実質的に同じ方向へ所定の光を発する発光部とを有し、
前記被検出部は、前記発光部からの所定の光を反射する再帰性反射材である、請求項１または２に記載の姿勢位置推測システム。
【請求項４】
前記被検出部は、前記ユーザの顔の一部が前記当接部に当接している状態で前記少なくとも１つの表示部を見ている当該ユーザの視線方向と実質的に同じ方向を向く前記立体画像提供部の所定面、および／または、当該視線方向に対向する方向から見た場合に視認可能な前記立体画像提供部における位置に設けられる、請求項１乃至３のいずれか１つに記載の姿勢位置推測システム。
【請求項５】
前記立体画像提供部は、所定の領域を有する複数の前記被検出部を有し、
当該複数の被検出部は、同一の直線上には並ばないような３つの被検出部を含む、請求項１乃至４のいずれか１つに記載の姿勢位置推測システム。
【請求項６】
前記複数の被検出部は、前記立体画像提供部の前記所定面を正面視した場合において、前記少なくとも３つ以上の被検出部が左右非対称および／または上下非対称となるように配置される、請求項５に記載の姿勢位置推測システム。
【請求項７】
前記複数の被検出部は、当該複数の被検出部それぞれを終点とした場合に、当該終点までの直線距離が実質的に同一となるような始点位置である中央点を通る直線を基準として左右非対称および／または上下非対称となるように配置される、請求項６に記載の姿勢位置推測システム。
【請求項８】
前記可動撮像部は、更に、加速度センサおよび／または角速度センサを有し、
前記推測部は、更に、前記加速度センサおよび／または角速度センサによる検出結果に基づいて、前記可動撮像部の姿勢および／または位置を推測する、請求項１乃至７のいずれか１つに記載の姿勢位置推測システム。
【請求項９】
前記推測部は、前記可動撮像部で撮像された画像において前記被検出部画像を判別または特定できない場合に、前記加速度センサおよび／または角速度センサによる検出結果に基づいて、前記可動撮像部の姿勢および／または位置を推測する、請求項８に記載の姿勢位置推測システム。
【請求項１０】
前記姿勢位置推測システムは、一方の端が前記可動撮像部の一部と接続され、他方の端が前記立体画像提供部の一部と接続される接続部を更に備える、請求項１乃至９のいずれか１つに記載の姿勢位置推測システム。
【請求項１１】
前記接続部と前記立体画像提供部とが接続される位置は、前記被検出部が設けられている面の下辺近傍であって、当該被検出部が設けられている面を正面視した場合に略中央となる位置を通って上下方向に伸びる直線の上または近傍である、請求項１０に記載の姿勢位置推測システム。
【請求項１２】
前記接続部は、当該接続部と前記立体画像提供部とが接続される位置の近傍に設けられる第１の可動部を有し、
前記第１の可動部によって、前記立体画像提供部と前記可動撮像部との相対的な位置関係および／または姿勢関係が変更可能である、請求項１０または１１に記載の姿勢位置推測システム。
【請求項１３】
前記接続部は、当該接続部と前記立体画像提供部とが接続される位置、および、当該接続部と前記可動撮像部とが接続される位置のいずれにも該当しない所定の位置に設けられる第２の可動部を有し、
前記第２の可動部によって、前記立体画像提供部と前記可動撮像部との相対的な位置関係および／または姿勢関係が変更可能である、請求項１０乃至１２のいずれか１つに記載の姿勢位置推測システム。
【請求項１４】
前記接続部は、当該接続部と可動撮像部とが接続される位置の近傍に設けられる第３の可動部を有し、
前記第３の可動部によって、前記立体画像提供部と前記可動撮像部との相対的な位置関係および／または姿勢関係が変更可能である、請求項１０乃至１３のいずれか１つに記載の姿勢位置推測システム。
【請求項１５】
前記接続部は、伸縮可能である、請求項１０乃至１４のいずれか１つに記載の姿勢位置推測システム。
【請求項１６】
前記撮像部および前記操作部は、前記可動撮像部に着脱可能なハウジングに設けられる、請求項２乃至１５のいずれか１つに記載の姿勢位置推測システム。
【請求項１７】
前記可動撮像部は、前記撮像部の撮像方向が前記ユーザに面するように、前記一方の端を介して前記接続部に接続される、請求項１０に記載の姿勢位置推測システム。
【請求項１８】
前記ユーザによって立体画像提供部が使用されるとき、前記接続部の前記他方の端は、前記立体画像提供部の下部に接続される、請求項１０に記載の姿勢位置推測システム。
【請求項１９】
前記一方の端は、前記可動撮像部と電気的に接触することなく接続され、
前記他方の端は、前記立体画像提供部と電気的に接触することなく接続される、請求項１０に記載の姿勢位置推測システム。
【請求項２０】
互いに視差のある左目用画像および右目用画像からなる立体視画像を表示する少なくとも１つの表示部、前記立体視画像を見ている状態のユーザの顔の一部と当接する当接部、および、被検出部を有する立体画像提供部の当該被検出部を、周囲を撮像するための撮像部を有し、ユーザによって把持可能な可動撮像部の当該撮像部を用いて撮像し、当該撮像された画像に含まれる当該被検出部を示す被検出部画像を検出する検出ステップと、
前記検出ステップによって検出された前記被検出部画像の前記撮像された画像における位置および／または形状を特定する特定ステップと、
前記特定ステップによって特定された前記被検出部画像の前記撮像された画像における位置および／または形状に基づいて、前記可動撮像部の姿勢および／または位置を推測する推測ステップと、
前記推測ステップによる推測結果に基づいて、前記表示部に表示する立体視画像を生成する画像生成ステップとを有する、姿勢位置推測方法。
【請求項２１】
周囲を撮像するための撮像部を有し、ユーザによって把持可能な可動撮像部と、
互いに視差のある左目用画像および右目用画像からなる立体視画像を表示する少なくとも１つの表示部、前記立体視画像を見ている状態のユーザの顔の一部と当接する当接部、および、前記ユーザが前記可動撮像部を把持している状態における前記撮像部によって撮像可能な被検出部を有する立体画像提供部と、
前記可動撮像部の前記撮像部によって撮像された画像に含まれる前記被検出部を示す被検出部画像を検出する検出部と、
前記検出部によって検出された前記被検出部画像の前記撮像された画像における位置および／または形状を特定する特定部と、
前記特定部によって特定された前記被検出部画像の前記撮像された画像における位置および／または形状に基づいて、前記可動撮像部の姿勢および／または位置を推測する推測部と、
前記推測部による推測結果に基づいて、前記表示部に表示する立体視画像を生成する画像生成部とを備える、姿勢位置推測装置。
【請求項２２】
前記姿勢位置推測装置は、少なくとも２つの端を有し、一方の端が前記可動撮像部の少なくとも一部と接続され、他方の端が前記立体画像提供部の少なくとも一部と接続される接続部を更に備える、請求項２１に記載の姿勢位置推測装置。
以上