【事件の表示】
　特願２０１７−５４２２５６「モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法」拒絶査定不服審判事件〔平成２８年　５月１２日国際公開、ＷＯ２０１６／０７０８００、平成２９年１１月１６日国内公表、特表２０１７−５３４１３５、請求項の数（４）〕について、次のとおり審決する。
【結　論】
　原査定を取り消す。
　本願の発明は、特許すべきものとする。
【理　由】
第１　手続の経緯
　本願は、２０１５年（平成２７年）１１月３日（パリ条約による優先権主張外国庁受理　２０１４年（平成２６年）１１月６日　中華人民共和国）を国際出願日とする出願であって、その手続の経緯は以下のとおりである。
　平成３０年　５月１０日付け：拒絶理由通知書
　平成３０年　８月１４日　　：意見書・手続補正書の提出
　平成３１年　１月２８日付け：拒絶査定
　令和　元年　６月　４日　　：審判請求書・手続補正書の提出
　令和　２年　６月３０日付け：拒絶理由通知書
　令和　２年　９月２３日　　：意見書・手続補正書の提出
第２　原査定の概要
　原査定（平成３１年１月２８日付け拒絶査定）の概要は次のとおりである。
　本願請求項１に係る発明は、以下の引用文献Ａに記載されているから、特許法第２９条第１項第３号に該当し、特許を受けることができない。本願請求項２−６に係る発明は、以下の引用文献Ａ−Ｄに基づいて、その発明の属する技術の分野における通常の知識を有する者（以下、「当業者」という。）が容易に発明できたものであるから、特許法第２９条第２項の規定により特許を受けることができない。
［引用文献等一覧］
Ａ．特表２０１２−５１０６７３号公報
Ｂ．特開平８−１１２４４９号公報（周知技術を示す文献）
Ｃ．特表２００９−５４４１０７号公報（周知技術を示す文献）
Ｄ．特開２０１４−６８２０号公報（周知技術を示す文献）
第３　当審拒絶理由の概要
　令和２年６月３０日付けの当審が通知した拒絶理由の概要は次のとおりである。
理由１．本願請求項１−３に係る発明は、以下の引用文献１に記載されているから、特許法第２９条第１項第３号の規定により特許を受けることができない。
理由２．本願請求項１−５に係る発明は、以下の引用文献１−３に基づいて、当業者が容易に発明できたものであるから、特許法第２９条第２項の規定により特許を受けることができない。
［引用文献等一覧］
１．特開２０１４−７２５７０号公報（当審において新たに引用した文献）
２．特表２００２−５２０７４６号公報（周知技術を示すもの；当審において新たに引用した文献）
３．特開２００３−１３２３５８号公報（周知技術を示すもの；当審において新たに引用した文献）
第４　本願発明
　本願請求項１−４に係る発明（以下、それぞれ「本願発明１」−「本願発明４」という。）は、令和２年９月２３日付けの手続補正で補正された特許請求の範囲の請求項１−４に記載された事項により特定される発明であり、本願発明１−４は、以下のとおりの発明である（下線部は、補正箇所である。）。
「【請求項１】
　モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法であって、
　前記モバイル機器の画像収集部材を用いて画像を収集し、連続した画像シーケンスを得るステップと、
　画像の内容を分析するステップと、
　前記バーチャルボールを、収集された画像シーケンス内で所定のルールに従って、利用者及び前記利用者に関連する情報と互いに独立している画像の内容とインタラクションさせるステップと、
　インタラクションの結果を前記モバイル機器のスクリーンに表示させるステップと、
を含
み、
　
画像の内容を分析するステップは、
　
前記バーチャルボール近傍の画像エッジを演算するステップと、
　
衝突後の前記バーチャルボールの速度および方向を演算するステップと、
　
前記バーチャルボールの位置を更新するステップと、
　
前記バーチャルボールを表示するステップと、
　
を含み、
　
前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する、
　方法。
【請求項２】
請求項１に記載の方法であって、
　前記所定のルールは、前記バーチャルボールが画像内の色の境界と剛体衝突すること、前記バーチャルボールがスクリーンの左、右、下方の境界と剛体衝突すること、スクリーンにおいて、前記バーチャルボールがスクリーンの上方から垂直にスクリーンの下方に向かうバーチャル重力場の作用によりスクリーンの下方に「落下」すること、前記バーチャルボールが利用者の指と剛体衝突し、衝突時に前記バーチャルボールと指が衝突する角度、力度を考慮すること、前記バーチャルボールが上方にスクリーンの範囲を超えて飛び出すことができ、スクリーンの範囲から飛び出した後、スクリーンの下方への自由落体運動のみを行うこと、前記バーチャルボールの下半分と画像の内容および利用者の指との衝突のみを考慮すること、から選ばれた少なくとも一つを含む、
　方法。
【請求項３】
請求項
１
前記バーチャルボール近傍の画像エッジを演算するステップは、
入力画像をグレースケールマップに変換するステップと、
前記バーチャルボールの下半分のグレースケールヒストグラムを演算するステップと、
前記ヒストグラムを用いてグレースケール確率図を生成するステップと、
生成された確率図をエッジ判断の根拠とするステップと、
を含む方法。
【請求項４】
請求項
３
前記画像のエッジは、グレースケールの確率が異なる領域の境界である、
方法。」
第５　引用文献、引用発明等
１．引用文献１について
　令和２年６月３０日付けの拒絶の理由に引用された引用文献１には、次の事項が記載されている（下線は，当審が付加した。以下、同様。）。
「【技術分野】
【０００１】
　本発明は、
表示装置および制御方法に関する
「【００１０】
　まず、図１および図２を参照しながら、第１の実施例に係る表示装置１の全体的な構成について説明する。図１は、表示装置１の斜視図である。図２は、利用者によって装着された表示装置１を正面から見た図である。図１および図２に示すように、
表示装置１は、利用者の頭部に装着されるヘッドマウントタイプの装置
「【００１６】
　表示装置１は、このように現実の光景を利用者に提供する機能に加えて、仮想的な情報を３次元的に表示し、仮想的な情報を利用者が操作することを可能にする機能を有する。表示装置１によれば、仮想的な情報は、実際に存在しているかのように、現実の光景と重ねて表示される。そして、利用者は、例えば、手を使って仮想的な情報を実際に触っているかのように操作し、移動、回転、変形等の変化を仮想的な情報に施すことができる。このように、表示装置１は、仮想的な情報に関して、直感的で利便性の高い操作方法を提供する。以下の説明では、
表示装置１によって３次元的に表示される仮想的な情報を「３次元オブジェクト」と呼
「【００１９】
　次に、図６を参照しながら、表示装置１の機能的な構成について説明する。図６は、表示装置１のブロック図である。図６に示すように、
表示装置１は、
制御部２２と、記憶部２４と、通信部１６と、表示部３２ａおよび３２ｂと、撮影部４０および４２と、検出部４４
を有する
【００２０】
　通信部１６は、他の装置との間で通信を行う。通信部１６は、無線ＬＡＮまたはＢｌｕｅｔｏｏｔｈ（登録商標）のように比較的狭い範囲で無線通信を行う通信方式をサポートしてもよいし、通信キャリア向けの３Ｇ通信方式または４Ｇ通信方式のように比較的広い範囲で無線通信を行う通信方式をサポートしてもよい。通信部１６は、イーサネット（登録商標）のような有線による通信方式をサポートしてもよい。通信部１６は、複数の通信方式をサポートしてもよい。
【００２１】
　
表示部３２ａおよび３２ｂは、
制御部２２から入力される制御信号に従って各種の情報を表示する。
　表示部３２ａおよび３２ｂは、レーザー光線等の光源を用いて利用者の網膜に画像を投影する投影装置であってもよい。
【００２２】
　
撮影部４０および４２は
イメージセンサを用いて電子的に画像を撮影する。そして、撮影部４０および４２は、撮影した画像を信号に変換して制御部２２へ出力する
【００２３】
　
検出部４４は、撮影部４０および４２の撮影範囲に存在する現実の物体を検出する。検出部４４は、例えば、撮影範囲に存在する現実の物体のうち、予め登録された形状（例えば、人間の手の形状）にマッチする物体を検出する。検出部４４は、予め形状が登録されていない物体についても、画素の明度、彩度、色相のエッジ等に基づいて、画像中の現実の物体の範囲（形状および大きさ）を検出するように構成されてもよい
「【００２８】
　
制御部２２は、演算手段であるＣＰＵ（CentralProcessingUnit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する
【００２９】
　記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。
　
記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれ
【００３０】
　
制御プログラム２４ａは、表示装置１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、撮影部４０および４２が取得する画像に３次元オブジェクトを重ねて表示部３２ａおよび３２ｂに表示する機能、３次元オブジェクトに対する操作を検出する機能、検出した操作に応じて３次元オブジェクトを変化させる機能等が含まれる
【００３１】
　
制御プログラム２４ａは、検出処理部２５と、表示オブジェクト制御部２６と、視点制御部２７と、画像合成部２８と、発注処理部２９とを含む。検出処理部２５は、撮影部４０および４２の撮影範囲に存在する現実の物体を検出するための機能を提供する。検出処理部２５が提供する機能には、検出したそれぞれの物体までの距離を測定する機能が含まれる
【００３２】
　
表示オブジェクト制御部２６は、仮想空間にどのような３次元オブジェクトが配置され、それぞれの３次元オブジェクトがどのような状態にあるかを管理するための機能を提供する。表示オブジェクト制御部２６が提供する機能には、検出処理部２５の機能によって検出される現実の物体の動きに基づいて３次元オブジェクトに対する操作を検出し、検出した操作に基づいて３次元オブジェクトを変化させる機能が含まれる
【００３３】
　視点制御部２７は、仮想空間における利用者の視点の位置および方向を管理するための機能を提供する。視点制御部２７が提供する機能には、動きセンサ４８が検出する表示装置１の位置の変化および方向の変化に応じて、仮想空間における利用者の視点の位置および方向を変化させる機能が含まれる。例えば、動きセンサ４８によって表示装置１が前方移動したことが検出された場合、視点制御部２７は、仮想空間における利用者の視点を前方へ移動させる。例えば、動きセンサ４８によって表示装置１が右向きに回転したことが検出された場合、視点制御部２７は、仮想空間における利用者の視点を右向きに回転させる。このように、表示装置１の位置および方向の変化に合わせて仮想空間における利用者の視点の位置および方向を変化させることにより、現実の空間の画像に重ねて表示される仮想空間の画像の変化を現実の空間の画像の変化と一致させることができる。
【００３４】
　
画像合成部２８は、現実の空間の画像と仮想空間の画像とを合成することにより、表示部３２ａに表示する画像と表示部３２ｂに表示する画像とを生成するための機能を提供する。画像合成部２８が提供する機能には、検出処理部２５の機能によって測定される現実の物体までの距離と、仮想空間における視点から３次元オブジェクトまでの距離とに基づいて、現実の物体と３次元オブジェクトの前後関係を判定し、重なりを調整する機能が含まれる
【００３５】
　発注処理部２９は、３次元オブジェクトを利用して商品を発注する機能を提供する。発注処理部２９の機能の詳細については後述する。
【００３６】
　
オブジェクトデータ２４ｂは、３次元オブジェクトの形状および性質に関する情報を含む。オブジェクトデータ２４ｂは、３次元オブジェクトを表示するために用いられる。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が３次元オブジェクトにどのように作用するかに関する情報を含む。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が検出された場合に、３次元オブジェクトをどのように変化させるかを判定するために用いられる。ここでいう変化には、移動、回転、変形、消失、置換等が含まれる
仮想空間データ２４ｄは、仮想空間に配置される３次元オブジェクトの状態に関する情報を保持する
３次元オブジェクトの状態には、例えば、位置、姿勢、変形の状況等が含まれる
「【００４６】
　このような
表示用の合成画像の更新は、一般的な動画のフレームレートと同等の頻度（例えば、毎秒３０回）で実行される
その結果、利用者の操作に応じた３次元オブジェクトの変化は
表示装置１が表示する画像にほぼリアルタイムに反映され、利用者は、あたかも実際に存在しているかのように、違和感なく３次元オブジェクトを操作することができ
「【００７２】
　図１２に示すように、
オブジェクトデータ２４ｂには、種別、形状情報、色、透明度等を含む情報が３次元オブジェクト毎に格納される
種別は、３次元オブジェクトの物理的な性質を示す。種別は、例えば、「剛体」、「弾性体」等の値をとる。
【００７３】
　図１３から図１８に示す例では、押す操作が検出された場合の変化に関する情報が３次元オブジェクトの種別毎に作用データ２４ｃに格納されている。図１３に示すように、
３次元オブジェクトの種別が「剛体」の場合、支点の有無、押された方向における障害物の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。ここでいう障害物とは、他の３次元オブジェクトであってもよいし、現実の物体であってもよい。
【００７４】
　
３次元オブジェクトに支点がなく、押された方向に障害物がない場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される
【００７５】
　
３次元オブジェクトに支点がなく、押された方向に固定された障害物がある場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止するように表示される。
　このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。押された速度が速い場合は、３次元オブジェクトが障害物を破壊して移動を継続することとしてもよい。また、
３次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように３次元オブジェクトを逆方向に移動させてもよい。
【００７６】
　３次元オブジェクトに支点がなく、
押された方向に固定されていない他の剛体があり、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後は、他の剛体もともに移動するように表示される。
また、３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、
押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。そして、３次元オブジェクトが他の剛体と接触した後は、他の剛体がはじかれて移動するように表示される。他の剛体と接触した後、３次元オブジェクトは、その場で停止してもよいし、速度を落として移動を継続してもよい。
「【００９１】
　図１９および図２０は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図１９に示すステップＳ１１では、表示装置１は、表示空間５０中に、３次元オブジェクトＯＢ１を立体的に表示している。
３次元オブジェクトＯＢ１は、例えば、ボールを模したオブジェクトである。
「【００９８】
　また、オブジェクトデータ２４ｂにおいて
３次元オブジェクトＯＢ１が剛体であると定義され、作用データ２４ｃにおいて剛体は押された場合に押された量に応じて押された方向に移動することが定義されていたものとする。この場合、表示装置１は、図２０のステップＳ１５に示すように、指Ｆ１に押されたように３次元オブジェクトＯＢ１を指Ｆ１の進行方向へ移動させる
【００９９】
　このように、３次元オブジェクトを押す操作が検出された場合に、オブジェクトデータ２４ｂおよび作用データ２４ｃに基づいて３次元オブジェクトＯＢ１を変化させることにより、３次元オブジェクトを操作に応じて様々に変化させることができる。
押すという操作は、現実の世界の様々な場面で利用されている操作であり、３次元オブジェクトＯＢ１を押す操作を検出して対応する処理を実行することにより、直感的で利便性の高い操作性を実現することができる
「【０１５１】
　次に、図２９および図３０を参照しながら、
３次元オブジェクトを摘んで行う操作に関して表示装置１が実行する処理手順の第１の例
【０１５２】
　図２９に示すように、制御部２２は、まず、ステップＳＥ０１として、３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。
【０１５３】
　続いて、制御部２２は、ステップＳＥ０２として、
検出部４４、すなわち、撮影部４０および４２によって第１の物体および第２の物体が検出されたかを判定する
第１の物体および第２の物体は、現実の物体、例えば、利用者の指である
【０１５４】
　操作終了は、例えば、操作部１３に対する所定の操作が行われた場合に検出される。操作終了が検出された場合（ステップＳＥ１０，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳＥ１０，Ｎｏ）、制御部２２は、ステップＳＥ０２以降を再実行する。
【０１５５】
　第１の物体および第２の物体が検出された場合（ステップＳＥ０２，Ｙｅｓ）、制御部２２は、ステップＳＥ０３として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。該当する３次元オブジェクトがない場合（ステップＳＥ０４，Ｎｏ）、制御部２２は、ステップＳＥ１０へ進む。
【０１５６】
　第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳＥ０４，Ｙｅｓ）、制御部２２は、ステップＳＥ０５として、第１の物体と第２の物体との間に３次元オブジェクトが位置している時間を取得する。取得した時間が所定時間未満の場合（ステップＳＥ０６，Ｎｏ）、制御部２２は、ステップＳＥ１０へ進む。
【０１５７】
　取得した時間が所定時間以上の場合（ステップＳＥ０６，Ｙｅｓ）、制御部２２は、ステップＳＥ０７として、第１の物体と第２の物体の距離を算出する。また、制御部２２は、ステップＳＥ０８として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを選択状態にする。そして、制御部２２は、ステップＳＥ０９として、後述する操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。操作検出処理が終了した後、制御部２２は、ステップＳＥ１０へ進む。
【０１５８】
　図３０は、操作検出処理の処理手順を示すフローチャートである。図３０に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。
【０１５９】
　図３０に示すように、制御部２２は、まず、ステップＳＦ０１として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳＦ０２として、操作検出処理の開始時点以降の第１の物体と第２の物体の距離がほぼ一定であるかを判定する。距離がほぼ一定とは、例えば、現時点での第１の物体と第２の物体の距離の変化量が、操作検出処理の開始時点の距離と比較して、所定の範囲（第１の物体および第２の物体が通常の速度で移動した場合の距離の最大変化量の±１０％等）以内に収まっていることを意味する。また、第１の物体と第２の物体の距離が操作検出処理の開始時点以降縮まり続けている場合（第１の物体および第２の物体が３次元オブジェクトを押しつぶす方向に移動している場合）に、距離がほぼ一定であると判定してもよい。また、手振れ等の範囲内でしか両者の距離が変化していない場合に、距離がほぼ一定であると判定してもよい。
【０１６０】
　第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳＦ０２，Ｙｅｓ）、
制御部２２
第１の物体および第２の物体の移動速度を算出する
【０１６１】
　移動速度が閾値以下の場合（ステップＳＦ０４，Ｙｅｓ）、制御部２２は、ステップＳＦ０５として、検出された第１の物体および第２の物体の動きに応じて３次元オブジェクトに変化を加える。例えば、
第１の物体および第２の物体の右方向への移動が検出された場合、制御部２２は、第１の物体および第２の物体の移動に合わせて３次元オブジェクトを右方向へ移動させる
【０１６２】
　
移動速度が閾値より速い場合
制御部２２は、
３次元オブジェクトが第１の物体および第２の物体の移動方向へ向けて飛んでいくようにアニメーション表示してもよい。
【０１６３】
　第１の物体と第２の物体の距離がほぼ一定でない場合（ステップＳＦ０２，Ｎｏ）、制御部２２は、ステップＳＦ０７として、距離が、３次元オブジェクトの選択時、すなわち、操作検出処理の開始時点よりも拡大しているかを判定する。距離が拡大している場合（ステップＳＦ０７，Ｙｅｓ）、制御部２２は、ステップＳＦ０８として、３次元オブジェクトの選択状態を解除する。第１の物体と第２の物体の距離を拡大するという操作は、摘んでいる現実のオブジェクトを放す操作と類似している。そのため、かかる操作は、３次元オブジェクトの選択を解除するための操作として、直感的で分かりやすい。
【０１６４】
　
続いて、
３次元オブジェクトが重力に従って落下し、床やテーブルの上で停止するように表示される。３次元オブジェクトの動きを停止させる前に、３次元オブジェクトの弾性や床やテーブルの硬度に応じて３次元オブジェクトをバウンドさせてもよい
　したがって、上記引用文献１には次の発明（以下、「引用発明」という。）が記載されていると認められる。
「表示装置および制御方法に関する技術分野において（【０００１】）、
　表示装置１は、利用者の頭部に装着されるヘッドマウントタイプの装置であり（【００１０】）、
　表示装置１によって３次元的に表示される仮想的な情報を「３次元オブジェクト」と呼び（【００１６】）、
　表示装置１において、制御部２２と、記憶部２４と、表示部３２ａおよび３２ｂと、撮影部４０および４２と、検出部４４とを有し、（【００１９】）
　表示部３２ａおよび３２ｂは、制御部２２から入力される制御信号に従って各種の情報を表示し（【００２１】）、
　撮影部４０および４２は、検出部４４は、撮影部４０および４２の撮影範囲に存在する現実の物体を検出し、
　検出部４４は、例えば、撮影範囲に存在する現実の物体のうち、予め登録された形状（例えば、人間の手の形状）にマッチする物体を検出し、予め形状が登録されていない物体についても、画素の明度、彩度、色相のエッジ等に基づいて、画像中の現実の物体の範囲（形状および大きさ）を検出するように構成されてもよく、（【００２１】−【００２３】）
　制御部２２は、演算手段であるＣＰＵと、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現し、
　記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれ、
　制御プログラム２４ａは、表示装置１を稼働させるための各種制御に関する機能を提供し、制御プログラム２４ａが提供する機能には、撮影部４０および４２が取得する画像に３次元オブジェクトを重ねて表示部３２ａおよび３２ｂに表示する機能、３次元オブジェクトに対する操作を検出する機能、検出した操作に応じて３次元オブジェクトを変化させる機能等が含まれ、
　制御プログラム２４ａは、検出処理部２５と、表示オブジェクト制御部２６と、と、画像合成部２８とを含み、検出処理部２５は、撮影部４０および４２の撮影範囲に存在する現実の物体を検出するための機能を提供し、検出処理部２５が提供する機能には、検出したそれぞれの物体までの距離を測定する機能が含まれ、
　表示オブジェクト制御部２６は、仮想空間にどのような３次元オブジェクトが配置され、それぞれの３次元オブジェクトがどのような状態にあるかを管理するための機能を提供し、表示オブジェクト制御部２６が提供する機能には、検出処理部２５の機能によって検出される現実の物体の動きに基づいて３次元オブジェクトに対する操作を検出し、検出した操作に基づいて３次元オブジェクトを変化させる機能が含まれ（【００２８】−【００３２】）、
　画像合成部２８は、現実の空間の画像と仮想空間の画像とを合成することにより、表示部３２ａに表示する画像と表示部３２ｂに表示する画像とを生成するための機能を提供し、画像合成部２８が提供する機能には、検出処理部２５の機能によって測定される現実の物体までの距離と、仮想空間における視点から３次元オブジェクトまでの距離とに基づいて、現実の物体と３次元オブジェクトの前後関係を判定し、重なりを調整する機能が含まれ（【００３４】）、
　オブジェクトデータ２４ｂは、３次元オブジェクトの形状および性質に関する情報を含み、オブジェクトデータ２４ｂは、３次元オブジェクトを表示するために用いられ、作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が３次元オブジェクトにどのように作用するかに関する情報を含み、作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が検出された場合に、３次元オブジェクトをどのように変化させるかを判定するために用いられ、ここでいう変化には、移動、回転、変形、消失、置換等が含まれる、仮想空間データ２４ｄは、仮想空間に配置される３次元オブジェクトの状態に関する情報を保持し、３次元オブジェクトの状態には、例えば、位置、姿勢、変形の状況等が含まれ（【００３６】）、
　表示用の合成画像の更新は、一般的な動画のフレームレートと同等の頻度（例えば、毎秒３０回）で実行され、その結果、利用者の操作に応じた３次元オブジェクトの変化は、表示装置１が表示する画像にほぼリアルタイムに反映され、利用者は、あたかも実際に存在しているかのように、違和感なく３次元オブジェクトを操作することができ（【００４６】）、
　オブジェクトデータ２４ｂには、種別、形状情報、色、透明度等を含む情報が３次元オブジェクト毎に格納され、種別は、３次元オブジェクトの物理的な性質を示し、例えば、「剛体」等の値をとり、
　３次元オブジェクトの種別が「剛体」の場合、支点の有無、押された方向における障害物の有無、押される速度に応じて、押す操作が検出された場合の変化が異なり、ここでいう障害物とは、他の３次元オブジェクトであってもよいし、現実の物体であってもよく（【００７２】−【００７３】）、
　３次元オブジェクトに支点がなく、押された方向に固定された障害物がある場合、
　３次元オブジェクトは、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止するように表示され、３次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように３次元オブジェクトを逆方向に移動させてもよく、（【００７５】）
　押された方向に固定されていない他の剛体があり、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後は、他の剛体もともに移動するように表示され、一方、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示され、他の剛体と接触した後、３次元オブジェクトは、その場で停止してもよいし、速度を落として移動を継続してもよく、（【００７６】）
　３次元オブジェクトＯＢ１は、例えば、ボールを模したオブジェクトであり（【００９０】）、
　３次元オブジェクトＯＢ１が剛体であると定義され、作用データ２４ｃにおいて剛体は押された場合に押された量に応じて押された方向に移動することが定義されており、この場合、表示装置１は、指Ｆ１に押されたように３次元オブジェクトＯＢ１を指Ｆ１の進行方向へ移動させ、３次元オブジェクトを押す操作が検出された場合に、オブジェクトデータ２４ｂおよび作用データ２４ｃに基づいて３次元オブジェクトＯＢ１を変化させることにより、３次元オブジェクトを操作に応じて様々に変化させることができ、３次元オブジェクトＯＢ１を押す操作を検出して対応する処理を実行することにより、直感的で利便性の高い操作性を実現することができ、（【００９８】―【００９９】）
　３次元オブジェクトを摘んで行う操作に関して表示装置１が実行する処理手順の例において、
　撮影部４０および４２によって第１の物体および第２の物体が検出されたかを判定し、第１の物体および第２の物体は、現実の物体、例えば、利用者の指であり、
　第１の物体および第２の物体の右方向への移動が検出された場合、制御部２２は、第１の物体および第２の物体の移動に合わせて３次元オブジェクトを右方向へ移動させ、
　制御部において、第１の物体および第２の物体の移動速度を算出し、移動速度が閾値より速い場合、制御部２２は、３次元オブジェクトが第１の物体および第２の物体の移動方向へ向けて飛んでいくようにアニメーション表示してもよく、
　続いて、３次元オブジェクトが重力に従って落下し、床やテーブルの上で停止するように表示され、３次元オブジェクトの動きを停止させる前に、３次元オブジェクトの弾性や床やテーブルの硬度に応じて３次元オブジェクトをバウンドさせてもよい（【０１５１】−【０１６４】）、
　表示装置。」
２．周知技術を示す文献について
　令和２年６月３０日付けの拒絶の理由に周知技術を示す文献として引用された引用文献２，３には、次の事項が記載されている。
（１）引用文献２について
　引用文献２（【請求項１】−【請求項３】及び【００２９】−【００３０】、図９など）には、下記の技術が記載されている。
「　画像エリアを規定するピクセルに関連した格納されたディジタル画像中の物体の境界を確定する方法であって、
　グレースケールヒストグラム３８において、ブロックに分割し、
　各ブロックについてブロックしきい値を指定し、
　ブロックしきい値に基づき、一方の側の輝度が背景輝度であり、他方の側の輝度が物体輝度であるようにピクセルしきい値を導出し、
　該ピクセルしきい値から、物体輝度を有している各ピクセルと、背景輝度を有している各ピクセルとを特定し、物体輝度を有している各ピクセルには第１の値を割り当て、背景輝度を有している各ピクセルには第２の値を割り当て、それにより画像物体を２値物体に変換し、
　該２値物体を輪郭化し、それにより該画像物体の該境界を確定し、
　該ブロックしきい値は、所定の場合に他ブロックにおけるブロックしきい値の平均などに基づき、計算される、
　方法。」
　ここで、「ピクセルしきい値」は、「グレースケールヒストグラム３８」の「ブロックしきい値」の平均などの統計的な手法により計算されており、それに基づき、物体画像と背景画像とに、それぞれ、第１の値、第２の値を割り当てているから、その結果としての２値化画像は、統計的な手法に基づき作成された統計的なマップであるといえる。
　つまり、引用文献２には、「ディジタル画像中の物体の境界を画定するために、画像のグレースケールのヒストグラムおいて、ヒストグラムに基づき統計的な手法により２値化マップを作成し、画像物体の境界を画定する」技術が開示されているが、このような技術は、本願の出願日前から周知であったといえる。
（２）引用文献３について
　引用文献３（【００３７】−【００５５】及び図３Ａなど）には、下記の記載がある。
「画像内の物体の形状を解析するために、画像のグレーレベル・ヒストグラムを作成し、ヒストグラムに基づき初期セグメント化しきい値Ｔｈｉが計算され、Ｔｈｉを使用して、正確な画像（タイプ０）、不正確なフォアグラウンド画像（タイプI）及び不正確なバックグラウンド画像（タイII）にセグメント化し、次に、これにより導出されたセグメント化しきい値に基づき画像エッジ基準を決定することにより、画像内のエッジを抽出する、方法。」
　ここで、上記のようにセグメント化した結果得られた画像は、画像のグレーレベル・ヒストグラムを統計的な手法により分析して得られた、正確な画像と不正確な画像とを含む統計的なマップであるといえる。
　つまり、引用文献３には、「画像内の物体の形状を解析するために、画像のグレーレベル・ヒストグラムを作成し、正確な画像と不正確な画像とを含む統計的なマップを作成し、エッジを抽出する」技術が記載されているが、このような技術は、本願の出願日前から周知であったといえる。
第６　対比・判断
１．本願発明１について
（１）対比
　本願発明１と引用発明とを対比すると、次のことがいえる。
ア．引用発明の「表示装置１」は、利用者の頭部に装着されるヘッドマウントタイプの装置であり、携行可能な装置であるといえるから、本願発明１の「モバイル機器」に相当する。
　また、引用発明の表示装置１において、「撮影部４０」により、利用者の「視界に相当する範囲の画像を取得」しているから，引用発明の「撮影部４０」は，「モバイル機器の画像収集部材」に対応しており，本願発明１と引用発明とは，「モバイル機器の画像収集部材を用いて画像を収集し」ている点で共通しているといえる。
　さらに、画像合成部２８により，「撮影部４０」により「取得し」た利用者の「視界に相当する範囲の画像」である「現実の空間の画像と仮想空間の画像とを合成」しており、「表示用の合成画像の更新は、一般的な動画のフレームレートと同等の頻度（例えば、毎秒３０回）で実行され、その結果、利用者の操作に応じた３次元オブジェクトの変化は、表示装置１が表示する画像にほぼリアルタイムに反映され」ることから、「撮影部４０」で取得された画像も、一般的な動画のフレームレート（かそれ以上）で取得される一連の画像であるといえる。よって、引用発明の「撮影部４０」においても、「画像を収集し」，「連続した画像シーケンス」を得ているものといえる。
　したがって、引用発明は、「モバイル機器の画像収集部材を用いて画像を収集し、連続した画像シーケンスを得る」点で、本願発明１と一致する。
イ．引用発明の「表示装置１」において、「検出部４４」は、「撮影部４０および４２の撮影範囲に存在する現実の物体を検出」するものであり、撮像部４０により撮影した「撮影画像の内容を分析」しているといえる。
　よって、引用発明は、「画像の内容を分析する」点で、本願発明１と一致する。
ウ．引用発明の「３次元オブジェクト」は、「３次元的に表示される仮想的な情報」であり、例えば、「ボールを模したオブジェクト」であるから、本願発明１の「バーチャルボール」に対応する。また、「表示装置１」において、「指Ｆ１に押されたように３次元オブジェクトＯＢ１を指Ｆ１の進行方向へ移動させ、３次元オブジェクトを押す操作が検出された場合に、オブジェクトデータ２４ｂおよび作用データ２４ｃに基づいて３次元オブジェクトＯＢ１を変化させ」、例えば「現実の物体」である「障害物」と接触するが、ここで、３次元オブジェクトの動作は、「オブジェクトデータ２４ｂおよび作用データ２４ｃ」に基づき変化するものであるから、これらは、「所定のルール」に対応するものである。また、「障害物」の例として、ボーリングのピンが挙げられており、また、「床やテーブル」も、３次元オブジェクトの向きや速度を変える障害物といえるものである。よって、引用発明の「障害物」は、利用者の指などの利用者に関する情報とは別体のものであるから、「前記利用者に関連する情報と互いに独立している画像の内容」に対応する。
　さらに、引用発明の「３次元オブジェクト」は、撮影画像内で検知された障害物と、「オブジェクトデータ２４ｂおよび作用データ２４ｃ」にしたがって、接触などの相互作用をするものであるから、引用発明は、「バーチャルボールを、収集された画像シーケンス内で所定のルールに従って、利用者及び前記利用者に関連する情報と互いに独立している画像の内容とインタラクションさせる」点で、本願発明１と一致する。
エ．引用発明において、３次元オブジェクトと障害物の接触により、「移動が停止する」、「跳ね返ったように３次元オブジェクトを逆方向に移動」させるなど、３次元オブジェクトの動作が変化されるものであるが、このような動作変化（結果）も含め、合成画像を表示部（スクリーン）に表示すると認められるから、引用発明と本願発明１とは、「インタラクションの結果を前記モバイル機器のスクリーンに表示させる」点で、一致する。
オ．引用発明の「表示装置１」によって、ア〜エの各動作を行うステップを含む方法が実行されると認められるから、引用発明においても、本願発明１の「モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法」を有するものであると認められる。
カ．引用発明の「表示装置１」において、撮影画像において検出された物体の「エッジ」を検出することや、３次元オブジェクトと障害物とが接触することが開示されており、このような接触は、「３次元オブジェクト」に接触する障害物のエッジ演算がなくては検知できないものであるから、引用発明においても、障害物との接触を検知する際、３次元オブジェクト近傍のエッジを演算することは明らかである。
　よって、引用発明と本願発明１とは、「前記バーチャルボール近傍の画像エッジを演算する」点で一致する。
      
キ．引用発明の「３次元オブジェクト」は、障害物との接触（衝突）に際し、「３次元オブジェクトは、押された方向に押された量に応じて移動し、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止する」、「３次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように３次元オブジェクトを逆方向に移動」しており、３次元オブジェクトの「方向」を演算しているが、速度についても同様に演算することは明らかであるといえる。
　よって、引用発明と本願発明１とは、「衝突後の前記バーチャルボールの速度および方向を演算する」点で一致する。
      
ク．引用発明において、３次元オブジェクトは、「他の剛体と接触した後は、他の剛体もともに移動するように表示され」るが、当該「移動」とは、位置の更新を表すものであるといえる。よって、引用発明と本願発明１とは、「バーチャルボールの位置を更新する」点、及び「バーチャルボールを表示する」点で一致する。
　したがって、本願発明１と引用発明との間には、次の一致点、相違点があるといえる。
（一致点）
「　モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法であって、
　前記モバイル機器の画像収集部材を用いて画像を収集し、連続した画像シーケンスを得るステップと、
　画像の内容を分析するステップと、
　前記バーチャルボールを、収集された画像シーケンス内で所定のルールに従って、利用者及び前記利用者に関連する情報と互いに独立している画像の内容とインタラクションさせるステップと、
　インタラクションの結果を前記モバイル機器のスクリーンに表示させるステップと、
　を含み、
　画像の内容を分析するステップは、
　前記バーチャルボール近傍の画像エッジを演算するステップと、
　衝突後の前記バーチャルボールの速度および方向を演算するステップと、
　前記バーチャルボールの位置を更新するステップと、
　前記バーチャルボールを表示するステップと、
　を含む、
　方法。」
（相違点１）本願発明１は、「前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する」という構成を備えるのに対し、引用発明はそのような構成を備えていない点。
（２）相違点についての判断
　相違点１に係る本願発明１の「前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する」という構成は、上記引用文献１−３のいずれにも記載されておらず、本願優先日前において周知技術であるともいえない。
　したがって、本願発明１は、当業者であっても引用発明および周知技術に基づいて容易に発明できたものであるとはいえない。
２．本願発明２−４について
　本願発明２ないし４は、いずれも本願発明１に従属する発明であり、本願発明１の「前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する」と同一の構成を備えるものであるから、本願発明１と同じ理由により、当業者であっても、引用発明および周知技術に基づいて容易に発明できたものとはいえない。
第７　原査定についての判断
　令和２年９月２３日の補正により、補正後の請求項１−４は、「前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する」という技術的事項を有するものとなった。
　当該「前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する」は、原査定における引用文献Ａ−Ｄには記載されておらず、本願優先日前における周知技術でもないので、本願発明１−４は、当業者であっても、原査定における引用文献Ａ−Ｄに基づいて容易に発明できたものではない。したがって、原査定を維持することはできない。
第８むすび
　以上のとおり、原査定の理由によって、本願を拒絶することはできない。
　他に本願を拒絶すべき理由を発見しない。
　よって、結論のとおり審決する。