【事件の表示】
　特願２０１７−５５６６７３「仮想現実においてハンドヘルド電子装置を追跡するためのシステム」拒絶査定不服審判事件〔平成２９年　１月１２日国際公開、ＷＯ２０１７／００７６３７、平成３０年１０月１８日国内公表、特表２０１８−５３０７９７、請求項の数（１９）〕について、次のとおり審決する。
【結　論】
　原査定を取り消す。
　本願の発明は、特許すべきものとする。
【理　由】
第１　手続きの経緯
　本願は、２０１６年（平成２８年）６月２８日（パリ条約による優先権主張２０１５年７月７日、米国）を国際出願日とする出願であって、平成３１年３月１９日付けで拒絶理由通知がされ、令和元年６月１９日に意見書が提出されるとともに手続補正がなされたが、令和元年１０月３１日付けで拒絶査定（原査定）がされ、これに対し、令和２年２月２７日に拒絶査定不服審判の請求がされると同時に手続補正がなされたものである。
第２　原査定の概要
　原査定（令和元年１０月３１日付け拒絶査定）の概要は次のとおりである。
２．（新規性）この出願の下記の請求項に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明であるから、特許法第２９条第１項第３号に該当し、特許を受けることができない。
３．（進歩性）この出願の下記の請求項に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者（以下、「当業者」という。）が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。
　　　　　　　　　　　　　　　　　記
●理由２（新規性）、理由３（進歩性）について
・請求項　１、６
・引用文献等　１
●理由３（進歩性）について
・請求項　２−５、７−２０
・引用文献等　１−２
＜引用文献等一覧＞
　１．国際公開第２０１４／１８８７９８号
　２．特開２０１１−１８６８５６号公報
第３　本願発明
　本願の請求項１−１９に係る発明（以下、それぞれ「本願発明１」−「本願発明１９」という。）は、令和２年２月２７日になされた手続補正で補正された特許請求の範囲の請求項１−１９に記載された事項により特定される発明であり、本願発明１−本願発明１９は、以下のとおりの発明である。
「　【請求項１】
　第１の電子装置を第２の電子装置と、前記第１の電子装置と前記第２の電子装置とが周囲環境の中で動作中に相互通信するように、作動的に結合するステップを含み、前記第２の電子装置は、ユーザが使用するヘッドマウントディスプレイ装置であり、前記周囲環境の中で動作中に仮想環境を生成し表示するように構成され、前記第１の電子装置は、前記ユーザが使用するハンドヘルドコントローラであり、
　第１のモードにおいて、前記第２の電子装置に対する前記第１の電子装置の動きを追跡するステップを含み、前記追跡するステップは、
　　前記第２の電子装置の上にある複数の視覚マーカーを、前記第１の電子装置のセンサによって検出するステップを含み、前記複数の視覚マーカーは、前記第２の電子装置の第１の表面上に位置する第１の視覚マーカーと、前記第２の電子装置の第２の表面上に位置する第２の視覚マーカーと、を含み、前記第２の表面は前記第１の表面とは異なり、前記追跡するステップは、さらに、
　　前記複数の視覚マーカーにおいて検出された特徴に基づいて、前記第１の電子装置に対する前記第２の電子装置の相対的な位置を求め、前記周囲環境の中における前記第１の電子装置の動きを追跡するステップとを含み、前記第２の電子装置の位置を求めるステップは、
　　　前記第２の電子装置の位置の逆変換を計算するステップと、
　　　前記第１の電子装置の現在の位置を前記第１の電子装置の過去の位置と比較することにより、前記第１の電子装置の動きを追跡するステップとを含み、さらに、
　前記検出し追跡した、前記周囲環境の中における前記第１の電子装置の動きを、前記仮想環境の中における対応する動作に変換するステップを含む、方法。
　　【請求項２】
　前記複数の視覚マーカーを検出するステップおよび前記周囲環境の中における前記第１の電子装置の動きを追跡するステップは、
　前記第１の電子装置の光学センサを用いて光学データを収集するステップを含み、前記光学データは前記第２の電子装置の画像を含み、
　前記収集した光学データをスキャンし前記スキャンした光学データにおける複数の所定の特徴を検出するステップと、
　前記検出した複数の所定の特徴を、前記第２の電子装置の上にある前記複数の視覚マーカーの既知の画像と比較するステップと、
　前記複数の所定の特徴の検出に基づいて、前記収集した光学データにおいて前記複数の視覚マーカーを識別するステップとを含む、請求項１に記載の方法。
　　【請求項３】
　前記検出した複数の所定の特徴は、複数のコーナーまたは複数のエッジのうちの少なくとも一方の不規則なパターンを含み、
　前記検出した複数の所定の特徴を前記複数の視覚マーカーの既知の画像と比較するステップおよび前記収集した光学データにおいて前記複数の視覚マーカーを識別するステップは、
　前記検出した複数の所定の特徴の前記不規則なパターンの向きを、前記複数の視覚マーカーの前記既知の画像における対応する複数の特徴の向きと比較するステップと、
　前記比較に基づいて、前記第１の電子装置に対する前記第２の電子装置の相対的な位置および向きを求めるステップとを含む、請求項２に記載の方法。
　　【請求項４】
　前記第１の電子装置の光学センサを用いて光学データを収集するステップは、
　前記第２の電子装置の画像を、前記第１の電子装置の赤外線センサを用い赤外線投光器で照明して取得するステップを含み、前記複数の視覚マーカーは、前記赤外線投光器で照明されている間、前記赤外線センサのみに見える前記第１の電子装置上の赤外線パターンを含む、請求項３に記載の方法。
　　【請求項５】
　前記光学センサは前記ハンドヘルドコントローラの前面カメラであり、前記複数の視覚マーカーは、前記ヘッドマウントディスプレイ装置の第１の表面上の第１の２次元バーコードと、前記ヘッドマウントディスプレイ装置の第２の表面上の第２の２次元バーコードとを含む、請求項２に記載の方法。
　　【請求項６】
　第２のモードにおいて、前記第２の電子装置に対する前記第１の電子装置の動きを追跡するステップをさらに含み、前記第２のモードは、
　前記第２の電子装置の光学センサを用いて光学データを収集するステップを含み、前記光学データは前記第１の電子装置の画像を含み、前記第２のモードはさらに、
　前記収集した光学データをスキャンし前記スキャンした光学データにおける複数の所定の特徴を検出するステップと、
　前記検出した複数の所定の特徴を、前記第２の電子装置の上にある前記複数の視覚マーカーの既知の画像と比較するステップと、
　前記収集した光学データにおいて前記複数の視覚マーカーを識別するステップと、
　前記複数の所定の特徴の検出に基づく前記識別した複数の視覚マーカーに基づいて前記第２の電子装置に対する前記第１の電子装置の相対的な位置を求めるステップと、
　前記第１の電子装置の現在の位置を前記第１の電子装置の過去の位置と比較することにより、前記第１の電子装置の動きを追跡するステップとを含む、請求項１に記載の方法。
　　【請求項７】
　前記検出した複数の所定の特徴は、複数のコーナーまたは複数のエッジのうちの少なくとも一方の不規則なパターンを含み、
　前記検出した複数の所定の特徴を前記複数の視覚マーカーの既知の画像と比較し前記収集した光学データにおいて前記複数の視覚マーカーを識別するステップは、
　前記検出した複数の所定の特徴の前記不規則なパターンの向きを、前記複数の視覚マーカーの既知の画像における対応する複数の特徴の向きと比較するステップと、
　前記比較に基づいて、前記第１の電子装置に対する前記第２の電子装置の相対的な位置および向きを求めるステップとを含む、請求項６に記載の方法。
　　【請求項８】
　前記第２の電子装置の光学センサを用いて光学データを収集するステップは、
　前記第１の電子装置の画像を、前記第２の電子装置の赤外線センサを用い赤外線投光器で照明して取得するステップを含み、前記複数の視覚マーカーは、前記赤外線投光器で照明されている間、前記赤外線センサに見える前記第１の電子装置上の定められた赤外線パターンを含む、請求項７に記載の方法。
　　【請求項９】
　前記光学センサは前記ヘッドマウントディスプレイ装置上のカメラであり、前記視覚マーカーは前記ハンドヘルドコントローラのディスプレイ画面上にレンダリングされたまたは前記ハンドヘルドコントローラの外面上に位置する２次元バーコードである、請求項６に記載の方法。
　　【請求項１０】
　ヘッドマウント電子装置に作動的に結合されるように構成されたハンドヘルド電子装置を備え、前記ヘッドマウント電子装置は、前記ヘッドマウント電子装置の筐体の外面上に複数の視覚マーカーを有し、前記複数の視覚マーカーは、前記ヘッドマウント電子装置の第１の表面上に設けられた第１の視覚マーカーと、前記ヘッドマウント電子装置の第２の表面に設けられた第２の視覚マーカーとを含み、前記第２の表面は前記第１の表面とは異なり、前記ハンドヘルド電子装置は光学センサとプロセッサとを含み、
　前記ハンドヘルド電子装置は、
　　前記ハンドヘルド電子装置の前記光学センサによって取得した画像と、前記取得した画像における所定の特徴の識別とに基づいて、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求め、
　　前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置の逆変換を計算することにより、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求めるように、構成されている、システム。
　　【請求項１１】
　前記第１の視覚マーカーは、前記ヘッドマウント電子装置の前記第１の表面に対応付けられた第１のパターンによって定められ、前記第１のパターンは、第１の非繰返しパターンまたは第１の複数の明確なコーナーのうちの少なくとも一方を含み、
　前記第２の視覚マーカーは、前記ヘッドマウント電子装置の前記第２の表面に対応付けられた第２のパターンによって定められ、前記第２のパターンは、第２の非繰返しパターンまたは第２の複数の明確なコーナーのうちの少なくとも一方を含む、請求項１０に記載のシステム。
　　【請求項１２】
　前記第１のパターンは、前記ヘッドマウント電子装置の前記第１の表面に対応付けられた第１の赤外線パターンであり、前記第２のパターンは、前記ヘッドマウント電子装置の前記第２の表面に対応付けられた第２の赤外線パターンであり、
　前記ハンドヘルド電子装置の前記光学センサは、赤外線投光器と赤外線センサとを含み、前記第１のパターンおよび前記第２のパターンが前記赤外線投光器によって照明されている間、前記第１のパターンおよび前記第２のパターンは前記赤外線センサのみに見える、請求項１１に記載のシステム。
　　【請求項１３】
　前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置および動きを求めるとき、前記ハンドヘルド電子装置は、
　前記光学センサが収集した画像において検出された前記第１のパターンの向きを、前記第１の視覚マーカーの既知の画像に含まれる前記第１のパターンの向きと比較し、
　前記光学センサが収集した画像において検出された前記第２のパターンの向きを、前記第２の視覚マーカーの既知の画像に含まれる前記第２のパターンの向きと比較し、
　前記比較に基づいて、前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置および向きを求めるように、
構成されている、請求項１１に記載のシステム。
　　【請求項１４】
　前記第１の視覚マーカーは、前記ヘッドマウント電子装置の前面に対応付けられた第１の２次元バーコードを含み、前記第２の視覚マーカーは、前記ヘッドマウント電子装置の下面に対応付けられた第２の２次元バーコードを含む、請求項１０に記載のシステム。
　　【請求項１５】
　前記第１の表面は前記ヘッドマウント電子装置の前面であり、前記第２の表面は、前記ヘッドマウント電子装置の下面である、請求項１０〜１４のいずれか１項に記載のシステム。
　　【請求項１６】
　前記ヘッドマウント電子装置はプロセッサを含み、前記プロセッサは、
　前記ヘッドマウント電子装置の光学センサを用いて前記ハンドヘルド電子装置の画像を取得し、
　前記光学センサによって取得した画像において複数の所定の特徴を検出し、
　前記検出した複数の所定の特徴を、前記複数の視覚マーカーの既知の画像と比較し、
　前記比較に基づいて少なくとも１つの視覚マーカーを識別し、
　前記識別した少なくとも１つの視覚マーカーに基づいて、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求めるように、
構成されている、請求項１０に記載のシステム。
　　【請求項１７】
　前記識別した少なくとも１つの視覚マーカーは、前記ハンドヘルド電子装置のディスプレイ画面上にレンダリングされたまたは前記ハンドヘルド電子装置の外面上に位置する２次元バーコードである、請求項１６に記載のシステム。
　　【請求項１８】
　前記ハンドヘルド電子装置はハンドヘルドコントローラまたはスマートフォンであり、
　周囲環境における前記ハンドヘルド電子装置の動きは、前記ヘッドマウント電子装置によって生成された仮想環境における対応する対話に変換される、請求項１０〜１７のいずれか１項に記載のシステム。
　　【請求項１９】
　プロセッサ上で実行されると、請求項１〜９のいずれか１項に記載の方法を実行する命令を含むコンピュータプログラム。」
第４　引用文献、引用発明等
１．引用文献１の記載事項について
（１）引用文献１の記載
　原査定の拒絶の理由に引用された上記引用文献１には、図面とともに次の事項が記載されている（下線は、当審付与。以下同様。）。
「[0014]
（１−１．第１の装置構成例）
　図１は、本開示の第１の装置構成例に係るシステムを概略的に示す図である。図１を参照すると、
システム１０
ウェアラブルディスプレイ１００と、モバイル端末２００とを含む
[0015]
　
ウェアラブルディスプレイ１００は、ユーザの頭部に装着され、ユーザの視界に画像を提示するディスプレイであ
[0016]
　
ユーザは、ウェアラブルディスプレイ１００を装着することによって、
ウェアラブルディスプレイ１００が備えるカメラによって撮像された周囲の実空間の画像や、ウェアラブルディスプレイ１００を透過して観察される実空間の像に重畳された画像を観察することによって、いわゆる拡張現実
を体験することもでき
なお、
「像」（image）は視覚によって認識されるオブジェクトの姿を全般的に意味し、「画像」（picture）は像を認識させるために表示部に
電子的に映し出されるものを意味す
「[0019]
　そこで、本開示のいくつかの実施形態では、
モバイル端末２００を、ウェアラブルディスプレイ１００の操作手段として利用す
モバイル端末２００は、ウェアラブルディスプレイ１００の近傍にあり、同じユーザによって操作され
「[0021]
　図２は、本開示の第１の装置構成例の概略的な機能構成を示すブロック図である。図２を参照すると、
ウェアラブルディスプレイ１００−１は、表示部１１０と、
カメラ１３０と、プロセッサ１４０と、
通信部１６０とを有す
モバイル端末２００−１は、表示部２１０と、タッチセンサ２２０と、カメラ２３０と、プロセッサ２４０と、
通信部２６０とを有す
「[0022]
　　（
ウェアラブルディスプレイ
　表示部１１０は、例えばＬＣＤ（Liquid　Crystal　Display）またはＯＬＥＤ（Organic　Light-Emitting　Diode）などでありうる。
表示部１１０は、プロセッサ１４０の制御に従って各種の画像を表示す
ユーザの視界を遮蔽して画像を表示させてもよいし、画像をユーザの視界に透過的に重畳表示させてもよ
コンテンツや実空間の画像に加えて、これらの画像の表示を制御するためのＧＵＩの画像を表示してもよ
・・・（中略）・・・
[0025]
　プロセッサ１４０は、例えばＣＰＵ（Central　Processing　Unit）またはＤＳＰ（Digital　Signal　Processor）といったような各種の処理回路であり、メモリ１５０に格納されたプログラムに従って演算や制御などの動作を実行することによって各種の機能を実現する。図示された例において、
プロセッサ１４０は、
通信部１６０を介してモバイル端末２００−１から受信された情報に基づいて、表示部１１０における画像の表示を含むウェアラブルディスプレイ１００−１全体の動作を制御す
・・・（中略）・・・
[0027]
　
通信部１６０は、ウェアラブルディスプレイ１００−１による他の装置との通信を仲介する通信インターフェースであ
任意の無線通信プロトコル
をサポートし、モバイル端末２００−１を含む他の装置との通信接続を確立す
モバイル端末２００−１において取得されたユーザ操作に基づいて表示部１１０の表示などを制御するための情報を受信す
「[0028]
　　（
モバイル端末
　表示部２１０は、例えばＬＣＤまたはＯＬＥＤなどでありうる。
表示部２１０は、プロセッサ２４０の制御に従って各種の画像を表示す
モバイル端末２００−１がウェアラブルディスプレイ１００−１の操作手段として利用される場合、表示部２１０には、ウェアラブルディスプレイ１００−１を操作するためのＧＵＩが表示されてもよ
あるいは、ウェアラブルディスプレイ１００−１でモバイル端末２００−１の表示部２１０に重畳するようにＧＵＩ画像を表示させることも可能であるため、
表示部２１０は画像を表示していなくてもよ
・・・（中略）・・・
[0030]
　
カメラ２３０は、
撮像素子を用いて実空間を撮像し、撮像画像を生成す
モバイル端末２００−１がウェアラブルディスプレイ１００−１の操作手段として利用される場合、カメラ２３０が生成する撮像画像の画角にはウェアラブルディスプレイ１００が含まれ、
プロセッサ２４０において撮像画像の解析によってモバイル端末２００−１とウェアラブルディスプレイ１００−１との空間的関係が推定され
[0031]
　
プロセッサ２４０は、
プログラムに従って演算や制御などの動作を実行することによって各種の機能を実現す
例えば、
空間的関係取得部２４２、操作取得部２４４、および表示制御部２４６の各機能を実現す
[0032]
　
空間的関係取得部２４２は、例えばカメラ２３０が生成した撮像画像、および／またはセンサの検出結果などに基づいて、ウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係を推定す
[0033]
　
操作取得部２４４は、タッチセンサ２２０に対するユーザの操作入力を示す情報を取得す
さらに、操作取得部２４４は、操作入力を、空間的関係取得部２４２が取得したウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係に対応付け
これによって、ユーザの操作入力の情報は、例えばユーザが表示面のどこに接触したかという情報に加えて、ウェアラブルディスプレイ１００−１とモバイル端末２００−１とがどのような空間的関係にあるときに操作入力が取得されたかという情報を含み
[0034]
　
表示制御部２４６は、操作取得部２４４が取得したユーザの操作入力と、空間的関係取得部２４２が推定したウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係とに基づいて、ウェアラブルディスプレイ１００−１における画像の表示を制御するための情報を生成す
また、
ウェアラブルディスプレイ１００−１におけるＧＵＩの表示を制御するための情報を生成してもよ
・・・（中略）・・・
[0036]
　
通信部２６０は、モバイル端末２００−１による他の装置との通信を仲介する通信インターフェースであ
任意の無線通信プロトコル
をサポートし、ウェアラブルディスプレイ１００−１を含む他の装置との通信接続を確立す
プロセッサ２４０によって実現される表示制御部２４６が生成した情報をウェアラブルディスプレイ１００−１に送信す
「[0037]
　　（空間的関係の推定）
　図３は、本開示の第１の装置構成例におけるウェアラブルディスプレイとモバイル端末との空間的関係の推定について説明するための図である。図３に示された例では、
モバイル端末２００−１のプロセッサ２４０によって実現される空間的関係取得部２４２が、カメラ２３０が生成した撮像画像２３００の解析に基づいてウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係を推定す
モバイル端末２００−１のカメラ２３０は、ウェアラブルディスプレイ１００−１が装着されたユーザの頭部の方を向いて
ユーザがモバイル端末２００−１の表示部２１０を自分の方に向けて操作する場合、カメラ２３０はいわゆるインカメラであり
[0038]
　図示されているように、
カメラ２３０によって生成される撮像画像２３００には、ユーザの頭部に装着されたウェアラブルディスプレイ１００’が映って
空間的関係取得部２４２は、例えば撮像画像中の特徴点の抽出などによってウェアラブルディスプレイ１００’をオブジェクト認識し、ウェアラブルディスプレイ１００’の画像内でのサイズや姿勢などに基づいてカメラ２３０に対するウェアラブルディスプレイ１００−１の相対的な位置および姿勢を推定す
あるいは、ウェアラブルディスプレイ１００−１の筐体の所定の位置に赤外発光素子
を取り付け、赤外領域の撮像が可能なカメラ２３０が生成した撮像画像における赤外発光の位置からウェアラブルディスプレイ１００−１の位置および姿勢を推定してもよ
「[0063]
　（２−１．スクロール操作）
　　（第１の例）
　図９は、本開示の実施形態における
スクロール操作の
例では、ウェアラブルディスプレイ１００の表示部１１０に表示される画像１１００において、配列されたアイコン（Ａ〜Ｃ）が左から右へとスクロールされて
[0064]
　
このとき、ユーザは、モバイル端末２００を把持し、モバイル端末２００のタッチセンサ２２０に対してタッチ操作２２０１を実行し
図９Ａに示すスクロール操作の開始時にユーザはタッチ操作２２０１を開始し、図９Ｂに示すスクロール操作の終了時までタッチ操作２２０１を継続し
この間、ユーザは、実空間においてモバイル端末２００を図中の左側から右側へと移動させて
つまり、ユーザは、タッチ操作２２０１を継続しながらモバイル端末２００を実空間内でドラッグ操作しているともいえ
[0065]
　上記の場合において、
モバイル端末２００のプロセッサ２４０は、空間的関係取得部２４２の機能によって、例えばカメラ２３０の撮像画像におけるウェアラブルディスプレイ１００’の形状の変化から、ウェアラブルディスプレイ１００とモバイル端末２００との位置関係の変化を検出することができ
プロセッサ２４０は、画像１１００の左右方向の変位に対応する位置関係の変化を検出し、これに対応して画像１１００に配列されたアイコンをスクロールさせている
「[図9]
」
（２）引用発明
　ア　引用システム発明
　引用文献１の上記（１）の記載からみて、引用文献１には次の発明（以下、「引用システム発明」という。）が記載されていると認められる。
「ウェアラブルディスプレイ１００と、モバイル端末２００とを含むシステム１０であって、
　ウェアラブルディスプレイ１００は、ユーザの頭部に装着され、ユーザの視界に画像を提示するディスプレイであり、ユーザは、ウェアラブルディスプレイ１００を装着することによって、ウェアラブルディスプレイ１００が備えるカメラによって撮像された周囲の実空間の画像や、ウェアラブルディスプレイ１００を透過して観察される実空間の像に重畳された画像を観察することによって、いわゆる拡張現実を体験することもでき、なお、「像」（image）は視覚によって認識されるオブジェクトの姿を全般的に意味し、「画像」（picture）は像を認識させるために表示部に電子的に映し出されるものを意味し、
　モバイル端末２００を、ウェアラブルディスプレイ１００の操作手段として利用し、モバイル端末２００は、ウェアラブルディスプレイ１００の近傍にあり、同じユーザによって操作され、
　ウェアラブルディスプレイ１００−１は、表示部１１０と、カメラ１３０と、プロセッサ１４０と、通信部１６０とを有し、モバイル端末２００−１は、表示部２１０と、タッチセンサ２２０と、カメラ２３０と、プロセッサ２４０と、通信部２６０とを有し、
　ウェアラブルディスプレイに関して、
　表示部１１０は、プロセッサ１４０の制御に従って各種の画像を表示し、ユーザの視界を遮蔽して画像を表示させてもよいし、画像をユーザの視界に透過的に重畳表示させてもよく、コンテンツや実空間の画像に加えて、これらの画像の表示を制御するためのＧＵＩの画像を表示してもよく、
　プロセッサ１４０は、通信部１６０を介してモバイル端末２００−１から受信された情報に基づいて、表示部１１０における画像の表示を含むウェアラブルディスプレイ１００−１全体の動作を制御し、
　通信部１６０は、ウェアラブルディスプレイ１００−１による他の装置との通信を仲介する通信インターフェースであり、任意の無線通信プロトコルをサポートし、モバイル端末２００−１を含む他の装置との通信接続を確立し、モバイル端末２００−１において取得されたユーザ操作に基づいて表示部１１０の表示などを制御するための情報を受信し、
　モバイル端末に関して、
　表示部２１０は、プロセッサ２４０の制御に従って各種の画像を表示し、モバイル端末２００−１がウェアラブルディスプレイ１００−１の操作手段として利用される場合、表示部２１０には、ウェアラブルディスプレイ１００−１を操作するためのＧＵＩが表示されてもよく、あるいは、ウェアラブルディスプレイ１００−１でモバイル端末２００−１の表示部２１０に重畳するようにＧＵＩ画像を表示させることも可能であるため、表示部２１０は画像を表示していなくてもよく、
　カメラ２３０は、撮像素子を用いて実空間を撮像し、撮像画像を生成し、モバイル端末２００−１がウェアラブルディスプレイ１００−１の操作手段として利用される場合、カメラ２３０が生成する撮像画像の画角にはウェアラブルディスプレイ１００が含まれ、プロセッサ２４０において撮像画像の解析によってモバイル端末２００−１とウェアラブルディスプレイ１００−１との空間的関係が推定され、
　プロセッサ２４０は、プログラムに従って演算や制御などの動作を実行することによって各種の機能を実現し、例えば、空間的関係取得部２４２、操作取得部２４４、および表示制御部２４６の各機能を実現し、
　空間的関係取得部２４２は、例えばカメラ２３０が生成した撮像画像、および／またはセンサの検出結果などに基づいて、ウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係を推定し、
　操作取得部２４４は、タッチセンサ２２０に対するユーザの操作入力を示す情報を取得し、さらに、操作取得部２４４は、操作入力を、空間的関係取得部２４２が取得したウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係に対応付け、これによって、ユーザの操作入力の情報は、例えばユーザが表示面のどこに接触したかという情報に加えて、ウェアラブルディスプレイ１００−１とモバイル端末２００−１とがどのような空間的関係にあるときに操作入力が取得されたかという情報を含み、
　表示制御部２４６は、操作取得部２４４が取得したユーザの操作入力と、空間的関係取得部２４２が推定したウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係とに基づいて、ウェアラブルディスプレイ１００−１における画像の表示を制御するための情報を生成し、また、ウェアラブルディスプレイ１００−１におけるＧＵＩの表示を制御するための情報を生成してもよく、
　通信部２６０は、モバイル端末２００−１による他の装置との通信を仲介する通信インターフェースであり、任意の無線通信プロトコルをサポートし、ウェアラブルディスプレイ１００−１を含む他の装置との通信接続を確立し、プロセッサ２４０によって実現される表示制御部２４６が生成した情報をウェアラブルディスプレイ１００−１に送信し、
　モバイル端末２００−１のプロセッサ２４０によって実現される空間的関係取得部２４２が、カメラ２３０が生成した撮像画像２３００の解析に基づいてウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係を推定し、モバイル端末２００−１のカメラ２３０は、ウェアラブルディスプレイ１００−１が装着されたユーザの頭部の方を向いており、ユーザがモバイル端末２００−１の表示部２１０を自分の方に向けて操作する場合、カメラ２３０はいわゆるインカメラであり、
　カメラ２３０によって生成される撮像画像２３００には、ユーザの頭部に装着されたウェアラブルディスプレイ１００’が映っており、空間的関係取得部２４２は、例えば撮像画像中の特徴点の抽出などによってウェアラブルディスプレイ１００’をオブジェクト認識し、ウェアラブルディスプレイ１００’の画像内でのサイズや姿勢などに基づいてカメラ２３０に対するウェアラブルディスプレイ１００−１の相対的な位置および姿勢を推定し、あるいは、ウェアラブルディスプレイ１００−１の筐体の所定の位置に赤外発光素子を取り付け、赤外領域の撮像が可能なカメラ２３０が生成した撮像画像における赤外発光の位置からウェアラブルディスプレイ１００−１の位置および姿勢を推定してもよく、
　スクロール操作の例では、ウェアラブルディスプレイ１００の表示部１１０に表示される画像１１００において、配列されたアイコン（Ａ〜Ｃ）が左から右へとスクロールされており、このとき、ユーザは、モバイル端末２００を把持し、モバイル端末２００のタッチセンサ２２０に対してタッチ操作２２０１を実行し、図９Ａに示すスクロール操作の開始時にユーザはタッチ操作２２０１を開始し、図９Ｂに示すスクロール操作の終了時までタッチ操作２２０１を継続し、この間、ユーザは、実空間においてモバイル端末２００を図中の左側から右側へと移動させており、つまり、ユーザは、タッチ操作２２０１を継続しながらモバイル端末２００を実空間内でドラッグ操作しているともいえ、
　モバイル端末２００のプロセッサ２４０は、空間的関係取得部２４２の機能によって、例えばカメラ２３０の撮像画像におけるウェアラブルディスプレイ１００’の形状の変化から、ウェアラブルディスプレイ１００とモバイル端末２００との位置関係の変化を検出することができ、プロセッサ２４０は、画像１１００の左右方向の変位に対応する位置関係の変化を検出し、これに対応して画像１１００に配列されたアイコンをスクロールさせている
　システム。」
　イ　引用方法発明
　また、引用文献１の上記（１）の記載からみて、引用文献１には次の発明（以下、「引用方法発明」という。）が記載されていると認められる。
「ウェアラブルディスプレイ１００と、モバイル端末２００とを含むシステム１０であって、
　ウェアラブルディスプレイ１００は、ユーザの頭部に装着され、ユーザの視界に画像を提示するディスプレイであり、ユーザは、ウェアラブルディスプレイ１００を装着することによって、ウェアラブルディスプレイ１００が備えるカメラによって撮像された周囲の実空間の画像や、ウェアラブルディスプレイ１００を透過して観察される実空間の像に重畳された画像を観察することによって、いわゆる拡張現実を体験することもでき、なお、「像」（image）は視覚によって認識されるオブジェクトの姿を全般的に意味し、「画像」（picture）は像を認識させるために表示部に電子的に映し出されるものを意味し、
　モバイル端末２００を、ウェアラブルディスプレイ１００の操作手段として利用し、モバイル端末２００は、ウェアラブルディスプレイ１００の近傍にあり、同じユーザによって操作され、
　ウェアラブルディスプレイ１００−１は、表示部１１０と、カメラ１３０と、プロセッサ１４０と、通信部１６０とを有し、モバイル端末２００−１は、表示部２１０と、タッチセンサ２２０と、カメラ２３０と、プロセッサ２４０と、通信部２６０とを有し、
　ウェアラブルディスプレイに関して、
　表示部１１０は、プロセッサ１４０の制御に従って各種の画像を表示し、ユーザの視界を遮蔽して画像を表示させてもよいし、画像をユーザの視界に透過的に重畳表示させてもよく、コンテンツや実空間の画像に加えて、これらの画像の表示を制御するためのＧＵＩの画像を表示してもよく、
　プロセッサ１４０は、通信部１６０を介してモバイル端末２００−１から受信された情報に基づいて、表示部１１０における画像の表示を含むウェアラブルディスプレイ１００−１全体の動作を制御し、
　通信部１６０は、ウェアラブルディスプレイ１００−１による他の装置との通信を仲介する通信インターフェースであり、任意の無線通信プロトコルをサポートし、モバイル端末２００−１を含む他の装置との通信接続を確立し、モバイル端末２００−１において取得されたユーザ操作に基づいて表示部１１０の表示などを制御するための情報を受信し、
　モバイル端末に関して、
　表示部２１０は、プロセッサ２４０の制御に従って各種の画像を表示し、モバイル端末２００−１がウェアラブルディスプレイ１００−１の操作手段として利用される場合、表示部２１０には、ウェアラブルディスプレイ１００−１を操作するためのＧＵＩが表示されてもよく、あるいは、ウェアラブルディスプレイ１００−１でモバイル端末２００−１の表示部２１０に重畳するようにＧＵＩ画像を表示させることも可能であるため、表示部２１０は画像を表示していなくてもよく、
　カメラ２３０は、撮像素子を用いて実空間を撮像し、撮像画像を生成し、モバイル端末２００−１がウェアラブルディスプレイ１００−１の操作手段として利用される場合、カメラ２３０が生成する撮像画像の画角にはウェアラブルディスプレイ１００が含まれ、プロセッサ２４０において撮像画像の解析によってモバイル端末２００−１とウェアラブルディスプレイ１００−１との空間的関係が推定され、
　プロセッサ２４０は、プログラムに従って演算や制御などの動作を実行することによって各種の機能を実現し、例えば、空間的関係取得部２４２、操作取得部２４４、および表示制御部２４６の各機能を実現し、
　空間的関係取得部２４２は、例えばカメラ２３０が生成した撮像画像、および／またはセンサの検出結果などに基づいて、ウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係を推定し、
　操作取得部２４４は、タッチセンサ２２０に対するユーザの操作入力を示す情報を取得し、さらに、操作取得部２４４は、操作入力を、空間的関係取得部２４２が取得したウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係に対応付け、これによって、ユーザの操作入力の情報は、例えばユーザが表示面のどこに接触したかという情報に加えて、ウェアラブルディスプレイ１００−１とモバイル端末２００−１とがどのような空間的関係にあるときに操作入力が取得されたかという情報を含み、
　表示制御部２４６は、操作取得部２４４が取得したユーザの操作入力と、空間的関係取得部２４２が推定したウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係とに基づいて、ウェアラブルディスプレイ１００−１における画像の表示を制御するための情報を生成し、また、ウェアラブルディスプレイ１００−１におけるＧＵＩの表示を制御するための情報を生成してもよく、
　通信部２６０は、モバイル端末２００−１による他の装置との通信を仲介する通信インターフェースであり、任意の無線通信プロトコルをサポートし、ウェアラブルディスプレイ１００−１を含む他の装置との通信接続を確立し、プロセッサ２４０によって実現される表示制御部２４６が生成した情報をウェアラブルディスプレイ１００−１に送信し、
　モバイル端末２００−１のプロセッサ２４０によって実現される空間的関係取得部２４２が、カメラ２３０が生成した撮像画像２３００の解析に基づいてウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係を推定し、モバイル端末２００−１のカメラ２３０は、ウェアラブルディスプレイ１００−１が装着されたユーザの頭部の方を向いており、ユーザがモバイル端末２００−１の表示部２１０を自分の方に向けて操作する場合、カメラ２３０はいわゆるインカメラであり、
　カメラ２３０によって生成される撮像画像２３００には、ユーザの頭部に装着されたウェアラブルディスプレイ１００’が映っており、空間的関係取得部２４２は、例えば撮像画像中の特徴点の抽出などによってウェアラブルディスプレイ１００’をオブジェクト認識し、ウェアラブルディスプレイ１００’の画像内でのサイズや姿勢などに基づいてカメラ２３０に対するウェアラブルディスプレイ１００−１の相対的な位置および姿勢を推定し、あるいは、ウェアラブルディスプレイ１００−１の筐体の所定の位置に赤外発光素子を取り付け、赤外領域の撮像が可能なカメラ２３０が生成した撮像画像における赤外発光の位置からウェアラブルディスプレイ１００−１の位置および姿勢を推定してもよく、
　スクロール操作の例では、ウェアラブルディスプレイ１００の表示部１１０に表示される画像１１００において、配列されたアイコン（Ａ〜Ｃ）が左から右へとスクロールされており、このとき、ユーザは、モバイル端末２００を把持し、モバイル端末２００のタッチセンサ２２０に対してタッチ操作２２０１を実行し、図９Ａに示すスクロール操作の開始時にユーザはタッチ操作２２０１を開始し、図９Ｂに示すスクロール操作の終了時までタッチ操作２２０１を継続し、この間、ユーザは、実空間においてモバイル端末２００を図中の左側から右側へと移動させており、つまり、ユーザは、タッチ操作２２０１を継続しながらモバイル端末２００を実空間内でドラッグ操作しているともいえ、
　モバイル端末２００のプロセッサ２４０は、空間的関係取得部２４２の機能によって、例えばカメラ２３０の撮像画像におけるウェアラブルディスプレイ１００’の形状の変化から、ウェアラブルディスプレイ１００とモバイル端末２００との位置関係の変化を検出することができ、プロセッサ２４０は、画像１１００の左右方向の変位に対応する位置関係の変化を検出し、これに対応して画像１１００に配列されたアイコンをスクロールさせているシステムを用いて、
　モバイル端末２００を、ウェアラブルディスプレイ１００の操作手段として利用する方法。」
２．引用文献２の記載事項について
　原査定の拒絶の理由に引用された上記引用文献２には、図面とともに次の事項が記載されている。
「【課題を解決するための手段】
【００１０】
　本発明の一側面における
携帯端末システム
表示情報に応じて表示を行う表示装置を備える携帯端末と、携帯端末から取得した表示情報に基づいて、装着者の視野内の表示領域に仮想画面を表示するヘッドマウントディスプレイとを備える
ヘッドマウントディスプレイは、撮像部と、撮像部によって撮像された表示装置の表示に基づいてヘッドマウントディスプレイに対する携帯端末の相対的な位置を示す位置情報を生成する端末姿勢取得部とを備え
「【００３２】
　図１０のフローチャートは、図９のフローチャートのステップＳ０２の、ＨＭＤ使用開
始の処理の詳細である。
　ステップＳ１１では、ＨＭＤ制御部１０５が表示制御部１０１を用いて表示部１１に、図５で示すような画像認識で検出しやすい固定パターンの画像を表示する。
　ステップＳ１２からステップＳ１５までのループは、ＨＭＤ制御部１０５が別スレッドを生成して、その生成されたスレッド内で端末姿勢取得部１０６が処理を行う。
　ステップＳ１２では、端末姿勢取得部１０６が通信制御部１０３を用いてＨＭＤのカメラ２１の撮影画像を取得する。
　ステップＳ１３では、
端末姿勢取得部１０６が
携帯端末の付属ディスプレイ１１に表示した位置合わせ用表示である固定パターンを検出す
【００３３】
　ステップＳ１４では、ステップＳ１３での
検出結果での固定パターンの大きさと歪みから、ＨＭＤ２に対する付属ディスプレイ１１の相対位置と相対姿勢を計算す
「【００４３】
　そこで、
第２の実施形態では、携帯端末１の位置の検出のために、携帯端末１は、表示部１１への固定パターンの表示ではなく、表示部１１の周りに赤外線のＬＥＤを備え
【００４４】
　図１２に、第２の実施形態の構成図を示す。第１の実施形態との違いは、ＬＥＤ１４が追加されているのみである。ＬＥＤ１４の点灯、消灯は、表示制御部１０１が行う。
ＬＥＤ１４は、携帯電話の位置及び姿勢を認識するための位置合わせ用表示を行うための表示装置として機能す
【００４５】
　図１３に、第２の実施形態における携帯端末１の外観を示す。携帯端末１は、
表示部１１の周囲３点にＬＥＤを備え
　したがって、上記引用文献２には次の技術的事項が特定されていると認められる。
「表示情報に応じて表示を行う表示装置を備える携帯端末と、携帯端末から取得した表示情報に基づいて、装着者の視野内の表示領域に仮想画面を表示するヘッドマウントディスプレイとを備える携帯端末システムにおいて、
　ヘッドマウントディスプレイは、撮像部と、撮像部によって撮像された表示装置の表示に基づいてヘッドマウントディスプレイに対する携帯端末の相対的な位置を示す位置情報を生成する端末姿勢取得部とを備え、
　端末姿勢取得部１０６が、携帯端末の付属ディスプレイ１１に表示した位置合わせ用表示である固定パターンを検出し、検出結果での固定パターンの大きさと歪みから、ＨＭＤ２に対する付属ディスプレイ１１の相対位置と相対姿勢を計算し、
　他の実施形態では、携帯端末１の位置の検出のために、携帯端末１は、表示部１１への固定パターンの表示ではなく、表示部１１の周りに赤外線のＬＥＤを備え、ＬＥＤ１４は、携帯電話の位置及び姿勢を認識するための位置合わせ用表示を行うための表示装置として機能し、表示部１１の周囲３点にＬＥＤを備える、携帯端末システム。」
第５　対比・判断
１．本願発明１について
（１）対比
　上記本願発明１と上記「第４　１．（２）イ」の引用方法発明とを対比すると、次のことがいえる。
ア．引用方法発明の「ユーザ」は、本願発明１の「ユーザ」に相当する。また、引用方法発明の「周囲の実空間」は、「ウェアラブルディスプレイ１００が備えるカメラによって撮像」される対象の空間であり、あるいは、「ウェアラブルディスプレイ１００を透過して観察される」対象の空間であることから、実際に存在する空間を意味するといえる。したがって、当該「周囲の実空間」は、本願発明１の「周囲環境」に相当するといえる。
　また、引用方法発明の「ウェアラブルディスプレイ１００」は、「ユーザの頭部に装着され、ユーザの視界に画像を提示するディスプレイ」であるから、本願発明１の「ユーザが使用する」「ヘッドマウントディスプレイ装置」に相当し、かつ、「第２の電子装置」に相当する。さらに、引用方法発明の「モバイル端末２００」は、「ウェアラブルディスプレイ１００の操作手段として利用」され、「同じユーザによって操作され」るものであるから、本願発明１の「前記ユーザが使用する」「ハンドヘルドコントローラ」に相当し、かつ、「第１の電子機器」に相当する。
　そして、引用方法発明の「ウェアラブルディスプレイ１００」は「通信部１６０」により、「モバイル端末２００−１を含む他の装置との通信接続を確立」し、他方、引用方法発明の「モバイル端末２００」も「通信部２６０」により、「ウェアラブルディスプレイ１００−１を含む他の装置との通信接続を確立」するものであり、両装置とも「任意の無線通信プロトコルをサポート」することから、引用方法発明は、「モバイル端末２００」を「ウェアラブルディスプレイ１００」と、「無線通信プロトコル」に従って「通信接続」するものといえる。そうすると、引用方法発明の当該「通信接続」することは、本願発明１の「第１の電子装置を第２の電子装置と、」「作動的に結合する」ことに相当するといえる。
　また、引用方法発明の「ウェアラブルディスプレイ１００」は、前記通信接続により、「モバイル端末２００−１において取得されたユーザ操作に基づいて表示部１１０の表示などを制御するための情報を受信」し、他方、引用方法発明の「モバイル端末２００」は、前記通信接続により、「プロセッサ２４０によって実現される表示制御部２４６が生成した情報をウェアラブルディスプレイ１００−１に送信」するものである。
　ここで、「モバイル端末２００」が「ウェアラブルディスプレイ１００」に送信する「表示制御部２４６が生成した情報」とは、「操作取得部２４４が取得したユーザの操作入力と、空間的関係取得部２４２が推定したウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係とに基づいて、」生成されるものであり、当該「空間的関係取得部２４２が推定した」「空間的関係」は、「ウェアラブルディスプレイ１００とモバイル端末２００との位置関係の変化」を含むことから、引用方法発明では、「ウェアラブルディスプレイ１００」と「モバイル端末２００」とが、実空間の中で「位置関係の変化」する中で、相互に通信を行っているものといえる。
　また、引用方法発明の「ウェアラブルディスプレイ１００」は、上述したように「表示部１１０の表示などを制御するための情報を受信」し、当該「表示部１１０」は、「コンテンツや実空間の画像に加えて、これらの画像の表示を制御するためのＧＵＩの画像を表示」することから、「前記周囲環境の中で動作中に
仮想環境
画像
　以上のことから、引用方法発明と本願発明１とは、「第１の電子装置を第２の電子装置と、前記第１の電子装置と前記第２の電子装置とが周囲環境の中で動作中に相互通信するように、作動的に結合するステップを含み、前記第２の電子装置は、ユーザが使用するヘッドマウントディスプレイ装置であり、前記周囲環境の中で動作中に
画像
イ．引用方法発明では、「モバイル端末２００のプロセッサ２４０は、空間的関係取得部２４２の機能によって、例えばカメラ２３０の撮像画像におけるウェアラブルディスプレイ１００’の形状の変化から、ウェアラブルディスプレイ１００とモバイル端末２００との位置関係の変化を検出することができ、プロセッサ２４０は、画像１１００の左右方向の変位に対応する位置関係の変化を検出し、これに対応して画像１１００に配列されたアイコンをスクロールさせて」おり、これにより「スクロール操作」として、「ウェアラブルディスプレイ１００の表示部１１０に表示される画像１１００において、配列されたアイコン（Ａ〜Ｃ）が左から右へとスクロールされて」いることから、
　「モバイル端末２００」は、「ウェアラブルディスプレイ１００とモバイル端末２００との位置関係の変化」を検出し、上記「ア．」で示したように、当該「位置関係の変化」を含む「空間的関係」に基づいて生成された「情報」が「モバイル端末２００」から「ウェアラブルディスプレイ１００」に送信され、これにより「ウェアラブルディスプレイ１００」は、当該「位置関係の変化」を受信して、「表示部１１０に表示される画像１１００において、」当該「位置関係の変化」に対応して「画像１１００に配列されたアイコンをスクロールさせて」いるものである。ここで、「ウェアラブルディスプレイ１００とモバイル端末２００との位置関係」は相対的であり、「モバイル端末２００」が検出するその「変化」は、「ウェアラブルディスプレイ１００」に対する「モバイル端末２００」の「動き」を逐次的に検出する動作に他ならない。
　よって、当該動作は、本願発明１の「前記第２の電子装置に対する前記第１の電子装置の動きを追跡するステップ」に相当するといえる。
　また、引用方法発明の当該動作を「第１のモード」と呼称するのは任意である。
ウ．引用方法発明の「ウェアラブルディスプレイ１００」の「筐体の所定の位置」に取り付けられた「赤外発光素子」は、「モバイル端末２００」の「カメラ２３０」が撮像することにより、「ウェアラブルディスプレイ１００−１の相対的な位置および姿勢を推定」するためのものであるから、本願発明１の「前記第２の電子装置の上にある」「視覚マーカー」に相当する。
　また、引用方法発明の「モバイル端末２００」の「カメラ２３０」は、当該「カメラ２３０が生成した撮像画像２３００の解析に基づいて」、「ウェアラブルディスプレイ１００−１の相対的な位置および姿勢を推定」することから、本願発明１の「前記第１の電子装置」の「センサ」に相当する。
　したがって、引用方法発明と、「前記第２の電子装置の上にある
複数の
エ．引用方法発明の「モバイル端末２００」の「カメラ２３０に対するウェアラブルディスプレイ１００−１の相対的な位置」は、本願発明１の「前記第１の電子装置に対する前記第２の電子装置の相対的な位置」に相当する。そして、上記「ア．」〜「ウ．」で示したように、引用方法発明では、「ウェアラブルディスプレイ１００」の「筐体の所定の位置」に取り付けられた「赤外発光素子」を「モバイル端末２００」の「カメラ２３０」が撮像して解析することにより、「ウェアラブルディスプレイ１００−１の相対的な位置および姿勢を推定」し、それにより「ウェアラブルディスプレイ１００」と「モバイル端末２００」とが、実空間の中で「位置関係の変化」する中で、「ウェアラブルディスプレイ１００」は「モバイル端末２００」の「動き」に対応した「アイコンをスクロール」する「画像１１００」が表示される。
　このことから、引用方法発明と、「前記
複数の
オ．上記「エ．」に示したとおり、引用方法発明の「モバイル端末２００」は、「ウェアラブルディスプレイ１００−１の相対的な位置」を推定する動作を備え、そこでは、上記「イ．」で示したように、「ウェアラブルディスプレイ１００」は、「モバイル端末２００」から送信された「位置関係の変化」を含む「空間的関係」に基づいて生成された「情報」を受信し、当該「情報」から、「モバイル端末２００」の「動き」に対応した「画像１１００」を表示していることから、「ウェアラブルディスプレイ１００」は、当該表示する「画像１１００」の作成のため、「モバイル端末２００」が推定した「ウェアラブルディスプレイ１００−１の相対的な位置」の何らかの演算を行うものであるといえる。
　また、引用方法発明の「ウェアラブルディスプレイ１００」は、「ウェアラブルディスプレイ１００とモバイル端末２００との位置関係の変化を検出」し、「これに対応して画像１１００に配列されたアイコンをスクロールさせている」ことから、「ウェアラブルディスプレイ１００とモバイル端末２００との位置関係の変化」を、「対応する動作」である「スクロール」に「変換」するといえる。
　したがって、上記「ア．」及び「エ．」も踏まえると、引用方法発明と、「前記第２の電子装置の位置を求めるステップは、前記第２の電子装置の位置の
逆変換を計算する
前記第１の電子装置の現在の位置を前記第１の電子装置の過去の位置と比較することにより、
仮想環境
演算を行う
画像
カ．引用方法発明の「方法」は、下記相違点を除き、本願発明１の「方法」に相当する。
　したがって、本願発明１と引用方法発明との間には、次の一致点、相違点があるといえる。
＜一致点＞
「　第１の電子装置を第２の電子装置と、前記第１の電子装置と前記第２の電子装置とが周囲環境の中で動作中に相互通信するように、作動的に結合するステップを含み、前記第２の電子装置は、ユーザが使用するヘッドマウントディスプレイ装置であり、前記周囲環境の中で動作中に画像を生成し表示するように構成され、前記第１の電子装置は、前記ユーザが使用するハンドヘルドコントローラであり、
　第１のモードにおいて、前記第２の電子装置に対する前記第１の電子装置の動きを追跡するステップを含み、前記追跡するステップは、
　　前記第２の電子装置の上にある視覚マーカーを、前記第１の電子装置のセンサによって検出するステップを含み、前記追跡するステップは、さらに、
　　前記視覚マーカーにおいて検出された特徴に基づいて、前記第１の電子装置に対する前記第２の電子装置の相対的な位置を求め、前記周囲環境の中における前記第１の電子装置の動きを追跡するステップとを含み、前記第２の電子装置の位置を求めるステップは、
　　　前記第２の電子装置の位置の演算を行うステップと、
　　　前記第１の電子装置の動きを追跡するステップとを含み、さらに、
　前記検出し追跡した、前記周囲環境の中における前記第１の電子装置の動きを、前記画像の中における対応する動作に変換するステップを含む、方法。」
＜相違点＞
（相違点１）本願発明１では、ヘッドマウントディスプレイ装置である第２の装置は、周囲環境の中で動作中に「仮想環境」を生成し表示するように構成されているのに対し、引用方法発明では、「仮想環境」を生成し表示するように構成されていることは特定されていない点。
（相違点２）本願発明１では、第２の電子装置の上にある「複数の」視覚マーカーを、第１の電子装置のセンサによって検出するステップを含み、「前記複数の視覚マーカーは、前記第２の電子装置の第１の表面上に位置する第１の視覚マーカーと、前記第２の電子装置の第２の表面上に位置する第２の視覚マーカーと、を含み、前記第２の表面は前記第１の表面とは異な」るのに対し、引用方法発明では、第２の電子装置の上にある「複数の」視覚マーカーを検出することは特定されておらず、そのため、「前記複数の視覚マーカーは、前記第２の電子装置の第１の表面上に位置する第１の視覚マーカーと、前記第２の電子装置の第２の表面上に位置する第２の視覚マーカーと、を含み、前記第２の表面は前記第１の表面とは異な」る構成も特定されていない点。
（相違点３）第２の電子装置の位置の演算を行うステップにおいて、本願発明１では、第２の電子装置の位置の「逆変換を計算する」演算を行うのに対し、引用方法発明では、「逆変換を計算する」演算を行うものとして特定されていない点。
（相違点４）第１の電子装置の動きを追跡するステップは、本願発明１では、「前記第１の電子装置の現在の位置を前記第１の電子装置の過去の位置と比較することにより、」追跡するのに対し、引用方法発明には、そのような特定がされていない点。
（２）相違点についての判断
　事案に鑑み、相違点２について先に検討する。
　本願明細書の段落【００２０】には、「視覚マーカー１１５を、ＨＭＤ１００の前面１００Ａおよび下面１００Ｂ上に配置する」（複数の視覚マーカーをＨＭＤ（ヘッドマウントディスプレイ）の異なる表面に配置する）ことにより、「ユーザが手で持っているハンドヘルド電子装置１０２の前面カメラ１０３の視野の中でマーカー１１５を比較的安定して正確に撮影することができる。なぜなら、ハンドヘルド電子装置１０２がユーザの手で保持されているとき、一般的に、ユーザが手／腕をユーザの腕の動く範囲の中で動かしたとしても、前面カメラ１０３は、ＨＭＤ１００の前面１００Ａおよび／または下面１００Ｂのうちの少なくとも一方を見ることができるからである。」と記載されており、この記載を参照すると、本願発明１は、第２の電子装置の上にある「複数の」視覚マーカーを、第１の電子装置のセンサによって検出するステップを含み、「前記複数の視覚マーカーは、前記第２の電子装置の第１の表面上に位置する第１の視覚マーカーと、前記第２の電子装置の第２の表面上に位置する第２の視覚マーカーと、を含み、前記第２の表面は前記第１の表面とは異な」るように構成することにより、ユーザの手／腕の動きによって、ハンドヘルド電子装置１０２の前面カメラ１０３が撮影することができないマーカー１１５があったとしても、異なる表面に位置する他のマーカー１１５を撮影することで、第１の電子装置の動きを追跡することを可能としているといえる。
　他方、引用文献１には、「ウェアラブルディスプレイ１００」の「筐体の所定の位置」に取り付けられた「赤外発光素子」を複数設置することについて記載も示唆もなく、また、ユーザの保持体勢等を起因として「赤外発光素子」を「モバイル端末２００」の「カメラ２３０」で撮像されない事態を想定した記載もなく、それゆえに引用方法発明において、「カメラ２３０」が撮像する「赤外発光素子」を「複数」配置する必然性を見い出すことはできない。
　また、当該構成は、引用文献２にも記載も示唆もされておらず、周知技術であるとも認められない。
　したがって、相違点１に係る本願発明１の第２の電子装置の上にある「複数の」視覚マーカーを、第１の電子装置のセンサによって検出すること、「前記複数の視覚マーカーが前記第２の電子装置の第１の表面上に位置する第１の視覚マーカーと、前記第２の電子装置の第２の表面上に位置する第２の視覚マーカーと、を含み、前記第２の表面は前記第１の表面とは異な」るように構成することは、当業者が容易に想到し得たものとは認められない。
　したがって、上記相違点１、３及び４について判断するまでもなく、本願発明１は、当業者であっても引用方法発明及び引用文献２に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。
２．本願発明１０について
（１）対比
　上記本願発明１０と上記「第４　１．（２）ア」の引用システム発明とを対比すると、次のことがいえる。
ア．引用システム発明の「ウェアラブルディスプレイ１００」は、「ユーザの頭部に装着され、ユーザの視界に画像を提示するディスプレイ」であるから、本願発明１０の「ヘッドマウント電子装置」に相当する。また、引用システム発明の「モバイル端末２００」は、「ウェアラブルディスプレイ１００の操作手段として利用」され、「同じユーザによって操作され」るものであるから、本願発明１０の「ハンドヘルド電子装置」に相当する。
　そして、引用システム発明の「ウェアラブルディスプレイ１００」は「通信部１６０」により、「モバイル端末２００−１を含む他の装置との通信接続を確立」し、他方、引用システム発明の「モバイル端末２００」も「通信部２６０」により、「ウェアラブルディスプレイ１００−１を含む他の装置との通信接続を確立」するものであり、両装置とも「任意の無線通信プロトコルをサポート」することから、引用システム発明の「モバイル端末２００」は「ウェアラブルディスプレイ１００」と、「無線通信プロトコル」に従って「通信接続」するものといえる。そうすると、引用システム発明の「モバイル端末２００」は、本願発明１０の「ヘッドマウント電子装置に作動的に結合されるように構成されたハンドヘルド電子装置」に相当するといえる。
イ．引用システム発明の「ウェアラブルディスプレイ１００」の「筐体の所定の位置」に取り付けられた「赤外発光素子」は、「モバイル端末２００」の「カメラ２３０」が撮像することにより、「ウェアラブルディスプレイ１００−１の相対的な位置および姿勢を推定」するためのものであるから、本願発明１０の「前記ヘッドマウント電子装置の筐体の外面上」の「視覚マーカー」に相当する。
　また、引用システム発明の「モバイル端末２００」の「カメラ２３０」は、当該「カメラ２３０が生成した撮像画像２３００の解析に基づいて」、「ウェアラブルディスプレイ１００−１の相対的な位置および姿勢を推定」することから、本願発明１０の「ハンドヘルド電子装置」の「光学センサ」に相当する。また、引用システム発明の「モバイル端末２００」の「プロセッサ２４０」は、本願発明１０の「ハンドヘルド電子装置」の「プロセッサ」に相当する。
　したがって、引用システム発明と、「前記ヘッドマウント電子装置の筐体の外面上に
複数の
前記複数の視覚マーカーは、前記ヘッドマウント電子装置の第１の表面上に設けられた第１の視覚マーカーと、前記ヘッドマウント電子装置の第２の表面に設けられた第２の視覚マーカーとを含み、前記第２の表面は前記第１の表面とは異なり、
ウ．引用システム発明の「モバイル端末２００」の「カメラ２３０によって生成される撮像画像２３００」は、本願発明１０の「前記ハンドヘルド電子装置の前記光学センサによって取得した画像」に相当する。また、引用システム発明の当該「撮像画像における赤外発光」は、本願発明１０の「前記取得した画像における所定の特徴」に相当し、引用システム発明の「撮像画像２３００の解析」は、「撮像画像における赤外発光の位置」を「解析」するものといえることから、本願発明１０の「前記取得した画像における所定の特徴の識別」を含むものといえる。
　そして、引用システム発明の「モバイル端末２００」は、当該「撮像画像２３００の解析」に基づいて、「ウェアラブルディスプレイ１００−１の相対的な位置」を推定することにより、「ウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係」を取得していることから、引用システム発明と、「前記ハンドヘルド電子装置は、前記ハンドヘルド電子装置の前記光学センサによって取得した画像と、前記取得した画像における所定の特徴の識別とに基づいて、前記ヘッドマウント電子装置
に対する
と
関係
エ．引用システム発明の「ウェアラブルディスプレイ１００」は、「通信接続」により「モバイル端末２００」から送信された「位置関係の変化」を含む「空間的関係」に基づいて生成された「情報」を受信し、当該「情報」から、「モバイル端末２００」の「位置関係の変化」に対応した「画像１１００」を表示していることから、「ウェアラブルディスプレイ１００」は、当該表示する「画像１１００」の作成のため、「モバイル端末２００」が推定した「ウェアラブルディスプレイ１００−１の相対的な位置」の何らかの演算を行うものであるといえる。
　したがって、上記「ウ．」に示した点を含め、引用システム発明と、「前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置の
逆変換を計算する
に対する
演算を行う
と
関係
オ．引用システム発明の「システム」は、下記相違点を除き、本願発明１０の「システム」に相当する。
　したがって、本願発明１０と引用システム発明との間には、次の一致点、相違点があるといえる。
＜一致点＞
「　ヘッドマウント電子装置に作動的に結合されるように構成されたハンドヘルド電子装置を備え、前記ヘッドマウント電子装置は、前記ヘッドマウント電子装置の筐体の外面上に視覚マーカーを有し、前記ハンドヘルド電子装置は光学センサとプロセッサとを含み、
　前記ハンドヘルド電子装置は、
　　前記ハンドヘルド電子装置の前記光学センサによって取得した画像と、前記取得した画像における所定の特徴の識別とに基づいて、前記ヘッドマウント電子装置と前記ハンドヘルド電子装置の相対的な位置関係を求め、
　　前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置の演算を行うことにより、前記ヘッドマウント電子装置と前記ハンドヘルド電子装置の相対的な位置関係を求めるように、構成されている、システム。」
＜相違点＞
（相違点５）本願発明１０では、ヘッドマウント電子装置の筐体の外面上に「複数の」視覚マーカーを有し、「前記複数の視覚マーカーは、前記ヘッドマウント電子装置の第１の表面上に設けられた第１の視覚マーカーと、前記ヘッドマウント電子装置の第２の表面に設けられた第２の視覚マーカーとを含み、前記第２の表面は前記第１の表面とは異な」るのに対し、引用システム発明では、ヘッドマウント電子装置の筐体の外面上に「複数の」視覚マーカーを有することは特定されておらず、そのため、「前記複数の視覚マーカーは、前記ヘッドマウント電子装置の第１の表面上に設けられた第１の視覚マーカーと、前記ヘッドマウント電子装置の第２の表面に設けられた第２の視覚マーカーとを含み、前記第２の表面は前記第１の表面とは異な」る構成も特定されていない点。
（相違点６）ハンドヘルド電子装置は、本願発明１０では、「前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求め」るのに対し、引用システム発明では、「前記ヘッドマウント電子装置と前記ハンドヘルド電子装置の相対的な位置関係を求め」る点。
（相違点７）前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置の演算について、本願発明１０では、前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置の「逆変換を計算する」演算を行うのに対し、引用システム発明では、「逆変換を計算する」演算を行うものとして特定されていない点。
（２）相違点についての判断
　相違点５について検討する。
　上述の「１．（２）」で示したとおり、本願明細書の段落【００２０】には、「視覚マーカー１１５を、ＨＭＤ１００の前面１００Ａおよび下面１００Ｂ上に配置する」（複数の視覚マーカーをＨＭＤ（ヘッドマウントディスプレイ）の異なる表面に配置する）ことにより、「ユーザが手で持っているハンドヘルド電子装置１０２の前面カメラ１０３の視野の中でマーカー１１５を比較的安定して正確に撮影することができる。なぜなら、ハンドヘルド電子装置１０２がユーザの手で保持されているとき、一般的に、ユーザが手／腕をユーザの腕の動く範囲の中で動かしたとしても、前面カメラ１０３は、ＨＭＤ１００の前面１００Ａおよび／または下面１００Ｂのうちの少なくとも一方を見ることができるからである」と記載されており、この記載を参照すると、本願発明１０は、ヘッドマウント電子装置の筐体の外面上に「複数の」視覚マーカーを有し、「前記複数の視覚マーカーは、前記ヘッドマウント電子装置の第１の表面上に設けられた第１の視覚マーカーと、前記ヘッドマウント電子装置の第２の表面に設けられた第２の視覚マーカーとを含み、前記第２の表面は前記第１の表面とは異な」るように構成することにより、ユーザの手／腕の動きによっては、ハンドヘルド電子装置１０２の前面カメラ１０３が撮影することができないマーカー１１５があったとしても、異なる表面に位置する他のマーカー１１５を撮影することで、ヘッドマウント電子装置の相対的な位置を求めることを可能としているといえる。
　他方、引用文献１には、「ウェアラブルディスプレイ１００」の「筐体の所定の位置」に取り付けられた「赤外発光素子」を複数設置することについて記載も示唆もなく、また、ユーザの保持体制等を起因として「赤外発光素子」を「モバイル端末２００」の「カメラ２３０」で撮像されない事態を想定した記載もなく、それゆえに引用システム発明において、「カメラ２３０」が撮像する「赤外発光素子」を「複数」配置する必然性を見い出すことはできない。
　また、当該構成は、引用文献２にも記載も示唆もされておらず、周知技術であるとも認められない。
　したがって、相違点５に係る本願発明１０のヘッドマウント電子装置の筐体の外面上に「複数の」視覚マーカーを有し、「前記ヘッドマウント電子装置の第１の表面上に設けられた第１の視覚マーカーと、前記ヘッドマウント電子装置の第２の表面に設けられた第２の視覚マーカーとを含み、前記第２の表面は前記第１の表面とは異な」るように構成することは、当業者が容易に想到し得たものとは認められない。
　したがって、上記相違点６、７について判断するまでもなく、本願発明１０は、当業者であっても引用システム発明及び引用文献２に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。
３．本願発明２−９について
　本願発明２−９は、本願発明１の上記相違点２に係る構成を備えるものであるから、本願発明１と同じ理由により、当業者であっても引用方法発明及び引用文献２に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。
４．本願発明１１−１８について
　本願発明１１−１８は、本願発明１０の上記相違点５に係る構成を備えるものであるから、本願発明１０と同じ理由により、当業者であっても引用システム発明及び引用文献２に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。
５．本願発明１９について
　本願発明１９は、本願発明１の方法を実行する命令を含むコンピュータプログラムの発明であり、本願発明１の上記相違点２に係る構成を備えるものであるから、本願発明１と同じ理由により、当業者であっても引用方法発明及び引用文献２に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。
第６　むすび
　以上のとおり、本願発明１−１９は、引用方法発明又は引用システム発明と同一ではない。また、本願発明１−１９は、当業者が引用方法発明又は引用システム発明、及び引用文献２に記載された技術的事項に基づいて容易に発明をすることができたものではない。したがって、原査定の理由によっては、本願を拒絶することはできない。
　また、他に本願を拒絶すべき理由を発見しない。
　よって、結論のとおり審決する。