【事件の表示】
　特願２０１４−１４２３９４「表示制御方法、情報処理プログラム、及び情報処理装置」拒絶査定不服審判事件〔平成２８年　２月　１日出願公開、特開２０１６−　１８４８７、請求項の数（３）〕について、次のとおり審決する。
【結　論】
　原査定を取り消す。
　本願の発明は、特許すべきものとする。
【理　由】
第１　手続の経緯
　本願は，平成２６年７月１０日の出願であって，その手続の経緯は以下のとおりである。
平成２９年１２月２７日付け　　拒絶理由通知書
平成３０年　３月１６日　　　　意見書・手続補正書の提出
平成３０年　３月２７日付け　　拒絶査定
平成３０年　６月２８日　　　　審判請求書，手続補正書の提出
第２　原査定の概要
　原査定（平成３０年３月２７日付け拒絶査定）の概要は次のとおりである。
１（新規性）この出願の請求項１，４及び６に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明であるから、特許法第２９条第１項第３号に該当し、特許を受けることができない。
２（進歩性）この出願の請求項１ないし７に係る発明は、その出願前に日本国内又は外国において、頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。
　　　　　　　　　　　　　　＜引用文献等一覧＞
１.特開２０１２−１９９８２４号公報
２.国際公開第２０１２／０９８８７２号
３.国際公開第２０１４／０１３６８９号
４.特開２０１２−０５８８３８号公報
５.特開２０１３−１８６８２７号公報
第３　審判請求時の補正について
　本件補正は，補正前の請求項２，３，５，及び７を削除し，補正前の請求項４及び６を補正後の請求項２及び３とした上で，補正前の請求項１，４及び６の「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた表示状態であり、かつ、前記第１の重畳用データが選択状態でない場合に第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ、」及び「前記第１の重畳用データが選択状態である場合に第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力する」との記載を，補正後の請求項１ないし３の「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れ
た状
前記第２の重畳用データに対する
前記第２の重畳用データにより少なくとも一部が隠れた状態である
前記第２の重畳用データに対する
　そうすると，本件補正は，特許法第１７条の２第５項２号の特許請求の範囲の減縮及び同項４号の明りょうでない記載の釈明を目的とするものに該当する。（下線は，補正箇所を示すものである。以下同じ。）
　また，上記補正後の請求項１ないし３の「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れ
た状
前記第２の重畳用データに対する
前記第２の重畳用データにより少なくとも一部が隠れた状態である
前記第２の重畳用データに対する
　そして，下記第４ないし第６までに示すように，補正後の請求項１ないし３に係る発明は，独立特許要件を満たすものである。
第４　本願発明
　本願請求項１ないし３に係る発明（以下，それぞれ「本願発明１」ないし「本願発明３」という。）は，平成３０年６月２８日に提出された手続補正書で補正された特許請求の範囲の請求項１ないし３に記載された事項により特定される発明であり，以下のとおりの発明である。
「【請求項１】
　表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する表示制御方法であって、
　前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ、
　前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力することを特徴とする表示制御方法。
　【請求項２】
　表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示し、
　前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ、
　前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力する、処理をコンピュータに実行させる情報処理プログラム。
　【請求項３】
　表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する表示部と、
　前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ、
　前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力する画像生成部とを有することを特徴とする情報処理装置。」
第５　引用文献，引用発明等
１　引用文献１について
　原査定の拒絶の理由に引用された引用文献１には，図面とともに次の事項が記載されている。（下線は，当審で付与した。以下同じ。）
「【技術分野】
【０００１】
　本発明は、撮影装置、制御方法および仮想情報表示プログラムに関する。
【背景技術】
【０００２】
　近年、現実空間の画像をコンピュータで処理して更なる情報を付加する拡張現実（ＡＲ：Augmented reality）技術が注目されている（例えば、特許文献１参照）。また、現実空間の画像に付加された情報を選択してより詳細な情報を表示させる技術も知られている。」
「【発明が解決しようとする課題】
【０００４】
　しかしながら、現実空間の画像に付加する情報が複数ある場合、付加される情報が重なってしまうことがあった。このような場合、重なった情報の１つを任意に選択することは困難であった。
【０００５】
　本発明は、
画像に付加された複数の情報の１つを容易に選択することができる撮影装置、制御方法および仮想情報表示プログラムを提供することを目的とする。
「【００３５】
　仮想情報表示プログラム２４ａは、拡張現実（ＡＲ：Augmented reality）技術に基づいて、撮影部４０によって取得した現実の画像に現実の施設や物品に対応した仮想的な情報を重ねて表示部２に表示する機能を提供する。具体的には、
仮想情報表示プログラム２４ａは、位置・姿勢検出部３６によって検出される位置と姿勢等に基づいて撮影部４０の撮影範囲にある施設や物品に対応する仮想情報２４ｂを取得させる。そして、仮想情報表示プログラム２４ａは、取得した仮想情報２４ｂに対応するＡＲタグと呼ばれるオブジェクトを画像に重ねて表示させる。
【００３６】
　また、
仮想情報表示プログラム２４ａは、ＡＲタグを選択するための所定の物体（以下、「ポインタ」）を用いて利用者に任意のＡＲタグを選択させる機能と、選択されたＡＲタグに関連づけられた動作を実行する機能を提供する。ポインタは、例えば、指、ペン、差し棒である。
【００３７】
　仮想情報２４ｂは、撮影部４０によって取得された画像に重ねて表示されるＡＲタグに関する情報を保持する。図３は、仮想情報２４ｂの一例を示す図である。
図３に示すように、仮想情報２４ｂは、緯度、経度、高さ、画像、ＵＲＬ（Uniform Resource Locator）といった項目を有する。緯度、経度、高さは、仮想情報２４ｂに対応する現実の施設や物品の位置を示す。画像は、ＡＲタグとして表示されるオブジェクトの実体を示す。ＵＲＬは、ＡＲタグに関連づけられた情報を示す。
「【００６１】
　また、指Ｆの角度によっては指Ｆが奥行き方向へ移動していることを検出し難いため、
画像Ｐ上での指Ｆの位置が一定の場所に一定時間以上留まっている場合には、指Ｆが所定の速度で奥行き方向へ移動しているものとみなしてもよい。
「【００６５】
　次に、図１０および図１１を参照しながら、携帯電話端末１の動作について説明する。図１０は、携帯電話端末１によるＡＲタグ選択処理の処理手順を示す図である。図１１は、携帯電話端末１によるＡＲタグ対応動作実行処理の処理手順を示す図である。図１０および図１１に示す処理手順は、仮想情報表示プログラム２４ａが起動された後、利用者が所定の終了操作を行うまで繰り返して並列に実行される。なお、ＡＲタグ選択処理およびＡＲタグ対応動作実行処理は、制御部２２が仮想情報表示プログラム２４ａを実行することによって実現される。
【００６６】
　図１０に示すように、制御部２２は、まず、
ステップＳ１０１として、撮影部４０で取得された画像Ｐを表示部２に表示させる。そして、制御部２２は、ステップＳ１０２として、位置・姿勢検出部３６に自装置の位置と姿勢を取得させる。
【００６７】
　続いて、制御部２２は、
ステップＳ１０３として、自装置の位置と姿勢等に基づいて、撮影部４０の撮影範囲に対応する仮想情報２４ｂを取得する。そして、制御部２２は、ステップＳ１０４として、取得した仮想情報２４ｂに対応するＡＲタグを画像Ｐに重ねて表示部２に表示させる。
【００６８】
　続いて、制御部２２は、
ステップＳ１０５として、画像Ｐに含まれるポインタを検出する。
ステップＳ１０８として、対応するＡＲタグがポインタの先端と重なっている仮想情報２４ｂを検索する。
【００６９】
　一方、
該当する仮想情報２４ｂがみつかった場合、すなわち、ポインタの先端がいずれかのＡＲタグと重なっている場合（ステップＳ１０９，Ｙｅｓ）、制御部２２は、ステップＳ１１０として、該当する仮想情報に対応するＡＲタグを選択状態にする。そして、制御部２２は、ステップＳ１１１として、自装置とポインタの先端との距離を測定し、測定された距離を基準距離として設定する。
【００７０】
　続いて、制御部２２は、
ステップＳ１１２として、選択状態のＡＲタグに対応する仮想情報２４ｂが示す位置と自装置との距離を算出し、ステップＳ１１３として、算出した距離と基準距離とに基づいて換算係数を算出する。そして、制御部２２は、ステップＳ１１４として、選択状態のＡＲタグから他のＡＲタグへの奥行き方向の距離を、対応する仮想情報２４ｂが示す位置間の距離と換算係数とに基づいて算出する。
【００７１】
　
ステップＳ１０７で基準距離が設定済みであった場合（ステップＳ１０７，Ｙｅｓ）、制御部２２は、ステップＳ１１５として、自装置とポインタの先端との距離を測定する。次に、制御部２２は、ステップＳ１１６として、測定された距離と基準距離の差、すなわち、ポインタの移動距離を算出する。
【００７２】
　続いて、制御部２２は、
ステップＳ１１７として、対応するＡＲタグがポインタの先端と重なり、かつ、対応するＡＲタグの奥行き方向の位置とポインタの先端の奥行き方向の現在位置とが一致する仮想情報を検索する。該当する仮想情報２４ｂがみつかった場合、（ステップＳ１１８，Ｙｅｓ）、制御部２２は、ステップＳ１１９として、該当する仮想情報に対応するＡＲタグを選択状態にする。
【００７３】
　また、画像Ｐに含まれるポインタが検出されない場合（ステップＳ１０６，Ｎｏ）、制御部２２は、ステップＳ１２０として、基準距離をクリアして、基準距離を設定し直すことができるようにする。なお、位置・姿勢検出部３６によって検出される携帯電話端末１の位置と姿勢が所定以上変化した場合にも基準距離をクリアすることが好ましい。
【００７４】
　図１１に示すように、制御部２２は、まず、ステップＳ２０１として、
起動動作が検出されたかを判定する。起動動作とは、ＡＲタグに対応する動作を起動するための動作である。起動動作は、例えば、
表示部２に表示されている選択状態のＡＲタグを指ではじいたり、摘んだりする動作であってもよい。
【００７５】
　
起動動作が検出された場合（ステップＳ２０１，Ｙｅｓ）、制御部２２は、ステップＳ２０２として、対応するＡＲタグが選択状態にある仮想情報２４ｂがあるかを判定する。対応するＡＲタグが選択状態にある仮想情報２４ｂがある場合（ステップＳ２０２，Ｙｅｓ）、制御部２２は、ステップＳ２０３として、その仮想情報２４ｂに対応する動作を実行する。仮想情報２４ｂに対応する動作とは、例えば、仮想情報２４ｂに含まれるＵＲＬにアクセスしてＷＥＢページを表示する動作である。
【００７６】
　起動動作が検出されない場合（ステップＳ２０１，Ｎｏ）、または、対応するＡＲタグが選択状態にある仮想情報２４ｂがない場合（ステップＳ２０２，Ｎｏ）、特に処理は実行されない。」
【図３】
【図９】
　上記記載から，次のことがいえる。
（１）引用文献１では，段落【００７１】の「ポインタの移動距離を算出する」際に，段落【００６１】の記載から，指Ｆ，すなわち，ポインタの位置が一定の場所に一定時間以上留まっている場合，ポインタが所定の速度で奥行き方向へ移動したとみなし，その距離をポインタの移動距離とすることを行っていると認められる。
（２）段落【００３５】の「位置・姿勢検出部３６によって検出される位置と姿勢等に基づいて撮影部４０の撮影範囲にある施設や物品に対応する仮想情報２４ｂを取得」する際に，位置・姿勢検出部３６によって検出される位置と姿勢等に基づいて撮影部４０の撮影範囲にある施設や物品を【図３】に示された緯度・経度・高さに基づいて判断し，その撮影範囲にある施設や物品に対応する仮想情報２４ｂを取得していると認められる。
（３）段落【００３７】の記載から，仮想情報２４ｂにはＡＲタグが含まれていると認められる。
　そうすると，上記引用文献１には次の発明（以下，「引用発明１」という。）が記載されていると認められる。
「撮影部４０で取得された画像Ｐを表示部２に表示し，
　位置・姿勢検出部３６に自装置の位置と姿勢を取得させ，自装置の位置と姿勢等に基づいて，撮影部４０の撮影範囲にある施設や物品を判断し，その施設や物品に対応するＡＲタグを含む仮想情報２４ｂを取得し，
　取得したＡＲタグを画像に重ねて表示し，
　画像Ｐに含まれる指などのポインタを検出し，
　対応するＡＲタグがポインタの先端と重なっている仮想情報２４ｂを検索し，該当する仮想情報に対応するＡＲタグを選択状態にし，
　自装置とポインタの先端との距離を測定し，測定された距離を基準距離として設定し，
　選択状態のＡＲタグに対応する仮想情報２４ｂが示す位置と自装置との距離を算出し，
　算出した距離と基準距離とに基づいて換算係数を算出し，
　選択状態のＡＲタグから他のＡＲタグへの奥行き方向の距離を、対応する仮想情報２４ｂが示す位置間の距離と換算係数とに基づいて算出し，
　自装置とポインタの先端との距離を測定し，測定された距離と基準距離の差，すなわち，ポインタの移動距離を算出する際，画像Ｐ上でのポインタの位置が一定の場所に一定時間以上留まっている場合には、ポインタが所定の速度で奥行き方向へ移動しているものとみなしその移動距離をポインタの移動距離とし，
　対応するＡＲタグがポインタの先端と重なり，かつ，対応するＡＲタグの奥行き方向の位置とポインタの先端の奥行き方向の現在位置とが一致する仮想情報を検索し，
　該当する仮想情報２４ｂがみつかった場合，該当する仮想情報に対応するＡＲタグを選択状態にし，
　起動動作，すなわち，表示部２に表示されている選択状態のＡＲタグを指ではじいたり、摘んだりする動作が検出されたかを判定し，
　起動動作が検出された場合，仮想情報２４ｂに含まれるＵＲＬにアクセスしてＷＥＢページを表示する動作を行う，
　ことを特徴とする，画像に付加された複数の情報の１つを容易に選択する制御方法。」
２　引用文献２について
　原査定の拒絶の理由に引用された引用文献２には，図面とともに次の事項が記載されている。
「技術分野
[0002]　この発明は、携帯端末及び携帯端末の制御方法に関し、特に、
実画像に仮想情報を重畳して表示するＡＲ技術に対応した携帯端末及び携帯端末の制御方法に関する。
「発明が解決しようとする課題
[0006]　従来技術では、端末からの距離が近いものから順にＡＲオブジェクトが表示されるため、背後に位置するＡＲオブジェクトは前面に位置するＡＲオブジェクトの背面に隠れて表示されないという問題があった。
[0007]　したがって、かかる点に鑑みてなされた本発明の目的は、重なり合うＡＲオブジェクトを切替えて表示可能な携帯端末を提供することにある。」
「[0021]　図１は、本発明の一実施形態に係る携帯端末１０の内部構成を概略的に示す機能ブロック図である。図１に示すように、携帯端末１０は、
タッチパネル１０１と
撮像部１０６と
[0022]　本実施形態では、
タッチパネル１０１は、表示部１０２と、タッチセンサ１０３とを備えている。
「[0033]　図４は、携帯端末１０の動作フローチャートである。まず、携帯端末１０のＡＲ表示がＯＮになる（ステップＳ１０１）。ここで、ＡＲ表示がＯＮになるとは、具体的にはＡＲオブジェクトを表示可能なアプリケーションが起動された場合、又は、ＡＲオブジェクトの表示、非表示の切替え可能なカメラモードにおいてＡＲオブジェクト表示に切替えられたときなどである。次に、制御部１１０は、撮像部１０６が取得する画像内のＡＲマーカーを検出し（ステップＳ１０２）、検出したＡＲマーカーに対応するＡＲオブジェクトを取得する（ステップＳ１０３）。また、制御部１１０は、位置情報取得部１０７から位置情報及び方位情報を取得し（ステップＳ１０４、Ｓ１０５）、通信部１０８を通じてＡＲサーバに当該位置情報及び方位情報を送信する（ステップＳ１０６）。このとき、ＡＲサーバは、携帯端末１０から受信した位置情報及び方位情報から、携帯端末１０の撮像部１０６が取得した画像内に含まれるＡＲオブジェクトを選択し、当該選択したＡＲオブジェクトをＡＲデータとして携帯端末１０に送信する。なお、前述したように、携帯端末１０はＡＲサーバに対して位置情報のみを送信し、ＡＲサーバより送信されたＡＲオブジェクトのうち、方位情報に基づいて選択されたＡＲオブジェクトのみを表示することもできる。制御部１１０は、ＡＲサーバからＡＲデータを取得すると（ステップＳ１０７）、画像内のＡＲマーカーから取得したＡＲオブジェクトと、ＡＲサーバから取得したＡＲオブジェクトとの階層化処理を行う（ステップＳ１０８）。次に、制御部１１０は、ＡＲオブジェクトの表示階層の切替え条件を設定し（ステップＳ１０９）、
ＡＲオブジェクトを撮像部１０６が取得した画像に重畳して表示部１０２に表示させる（ステップＳ１１０）。
「[0036]　図７〜９は、階層化されたＡＲオブジェクトの切替え例を示す図である。図７は、制御部１１０が表示階層の切替え条件として押圧荷重を用いた場合の切替え例である。図７の例では、制御部１１０は、第１の荷重基準（一段押下）を満たす押圧荷重を検出した場合に第１レイヤのＡＲオブジェクトを表示し、第２の荷重基準（二段押下）を満たす押圧荷重を検出した場合に第２レイヤのＡＲオブジェクトを表示する。
[0037]　図８は、制御部１１０が表示階層の切替え条件としてタッチセンサ１０３への入力位置を用いた場合の切替え例である。図８の例では、制御部１１０は、
ＡＲオブジェクトが重なり合う位置に入力が行われた場合に、ＡＲオブジェクトの表示階層を切替える。
[0038]　図９は、制御部１１０がＡＲオブジェクトの種類に応じて階層化を行った場合の表示階層の切替え例である。図９の例では、制御部１１０は、店舗名称を第１レイヤに、店舗の評判を第２レイヤに、店舗への口コミを第３レイヤに設定している。制御部１１０は、第１の荷重基準（一段押下）を満たす押圧荷重を検出した場合に第１レイヤである店舗名称を表示し、第２の荷重基準（二段押下）を満たす押圧荷重を検出した場合に第２レイヤである店舗の評判を表示し、第３の荷重基準（三段押下）を満たす押圧荷重を検出した場合に第３レイヤである店舗の口コミを表示する。
[0039]　このように、本実施形態によれば、制御部１１０は、ＡＲオブジェクト（仮想情報）を階層化し、タッチセンサ１０３への入力に応じてＡＲオブジェクトの表示階層を切替える。これにより、本実施形態に係る携帯端末１０は、重なり合って背面に隠れたＡＲオブジェクトを切替えることにより前面に表示することが可能になる。
[0040]　また、制御部１１０は、携帯端末１０の位置情報に基づきＡＲオブジェクトを撮像部１０６が取得した画像に重畳して表示することができる。これにより、本実施形態に係る携帯端末１０は、撮像部１０６が取得した画像内に含まれるＡＲオブジェクトを表示することが可能になる。
[0041]　また、制御部１１０は、
撮像部１０６が取得した画像に含まれ、ＡＲオブジェクト（仮想情報）が対応付けられた対象物（ＡＲマーカー）に関連するＡＲオブジェクトを、画像に重畳して表示することができる。
[0042]　また、制御部１１０は、指等の押圧荷重に応じてＡＲオブジェクトの表示階層を切替えることができる。これにより、本実施形態に係る携帯端末１０は、ユーザの入力の力に応じて表示階層を切替えることができ、ユーザは、直感的な操作でＡＲオブジェクトの表示を切替えることが可能になる。
[0043]　また、制御部１１０は、ＡＲオブジェクトが重なり合う位置に入力が検出された場合に、ＡＲオブジェクトの表示階層を切替えることができる。これにより、本実施形態に係る携帯端末１０は、ユーザの入力位置に応じて表示階層を切替えることができ、ユーザは、より直感的な操作でＡＲオブジェクトの表示を切替えることが可能になる。
[0044]　また、制御部１１０は、入力位置に表示されているＡＲオブジェクトに関する表示階層のみを切替えることができる。これにより、本実施形態に係る携帯端末１０は、ユーザが希望するＡＲオブジェクトのみ表示階層を切替えることが可能になり、ユーザは、より直感的な操作でＡＲオブジェクトの表示を切替えることが可能になる。
[0045]　また、制御部１１０は、ＡＲオブジェクトの種類に応じて階層化を行うことができる。これにより、本実施形態に係る携帯端末１０は、ＡＲオブジェクトに対してより多様な階層化を行うことが可能になる。」
　したがって，上記引用文献２には次の発明（以下，「引用発明２」という。）が記載されていると認められる。
「実画像に仮想情報を重畳して表示するＡＲ技術に対応した携帯端末の制御方法であって，
　表示部１０２と，タッチセンサ１０３とを備えたタッチパネル１０１と撮像部１０６とを備え，
　撮像部１０６が取得した画像に含まれ、ＡＲオブジェクト（仮想情報）が対応付けられた対象物（ＡＲマーカー）に関連するＡＲオブジェクトを、撮像部１０６が取得した画像に重畳して表示し，
　ＡＲオブジェクトが重なり合う位置に入力が行われた場合に、ＡＲオブジェクトの表示階層を切替える，
　制御方法。」
３　引用文献３について
　原査定の拒絶の理由に引用された引用文献３には，図面とともに次の事項が記載されている。
「技術分野
[0001]本発明は、被写体に対応したコメントを含むコメント付き動画像を生成するためのコメント付き動画像生成装置および
コメント付き動画像生成方法
「[0134]　図２１Ａ〜図２１Ｆに、異なる領域が選択されたケースごとに図１９に示すルールまたは図２０の処理フローを適用し、それぞれ表示優先度を算出した結果得られるコメント領域および被写体領域の重畳表示例を示す。
[0135]　図２１Ａは、図１０Ａに示したものと同じ被写体領域情報１１１が示す、動画像１１０およびその背景を含む被写体領域４００〜４０３である。さらに、図１１Ａと同様に、ある時刻でのコメント領域５００〜５０２を重畳した動画像の表示例を図２１Ｂに示す。ここで、コメント領域５００〜５０２の表示に用いられるコメント情報１１２は、図１１Ｂと同様である。図２１Ｂは、一般的なコメント表示例を示しており、コメント領域５００〜５０２が、背景を含む被写体領域４００〜４０３より前方に重畳されている。そのため背景以外の被写体領域４０１〜４０３は遮蔽されている。なお、コメント領域は、コメントの表示時刻が新しいものほど上方に重畳されている（コメント領域５００が最も新しいコメントの表示領域である）。なお、本実施の形態では、ユーザから何らかの指示がない限り、被写体領域の表示優先度は、前方（手前側）の被写体領域の方が高く、コメント領域の表示優先度は、表示時刻が新しいコメントほど高く設定される（他のコメント領域に隠されにくい）ものとする。また、ユーザから何らかの指示がない限り、コメント領域の表示優先度の方が被写体領域の表示優先度よりも高く、背景領域の表示優先度は全ての領域中で最も低いものとする。
[0136]　ここで、先に述べたように、コメント領域５００は被写体領域４０１に対応し、コメント領域５０１は被写体領域４０２に対応し、コメント領域５０２は被写体領域４０３に対応していることから、図２１Ｂの場合に算出される表示優先度はＰ ５００ ＞Ｐ ５０１ ＞Ｐ ５０２ ＞Ｐ ４０１ ＞Ｐ ４０２ ＞Ｐ ４０３ ＞Ｐ ４００ となる。図２１Ｂは、図１９の（Ａ）または図２０の処理（Ａ）に対応する表示例である。
[0137]　また、ユーザ選択された領域が、被写体領域４０２であった場合にコメント付き動画像生成装置１００が出力する動画像の表示例を図２１Ｃに示す。図２１Ｃは、図１９の（Ｂ）または図２０の処理（Ｂ）に対応する表示例である。被写体領域４０２が最も前方に重畳され、その次に被写体領域４０２に対応するコメント領域５０１が重畳され、その他の領域がコメント領域５０１の後方に重畳されていることが分かる。すなわち、この場合に算出される表示優先度はＰ ４０２ ＞Ｐ ５０１ ＞Ｐ ５００ ＞Ｐ ５０２ ＞Ｐ ４０１ ＞Ｐ ４０３ ＞Ｐ ４００ である。
[0138]　また、ユーザ選択された領域が、コメント領域５０２であった場合にコメント付き動画像生成装置１００が出力する動画像の表示例を図２１Ｄに示す。図２１Ｄは、図１９の（Ｃ）または図２０の処理（Ｃ）に対応する表示例である。コメント領域５０２が最も前方に重畳され、その次にコメント領域５０２に対応する被写体領域４０３が重畳され、その他の領域が被写体領域４０３の後方に重畳されていることが分かる。この場合に算出される表示優先度は、Ｐ ５０２ ＞Ｐ ４０３ ＞Ｐ ５００ ＞Ｐ ５０１ ＞Ｐ ４０１ ＞Ｐ ４０２ ＞Ｐ ４００ である。
[0139]　また、ユーザ選択された領域が、被写体領域４０２およびコメント領域５０２であった場合にコメント付き動画像生成装置１００が出力する動画像の表示例を図２１Ｅに示す。図２１Ｅは、図１９の（Ｄ）または図２０の処理（Ｄ）に対応する表示例である。前方から、コメント領域５０２、被写体領域４０２、コメント領域５０２に対応する被写体領域４０３、被写体領域４０２に対応するコメント領域５０１の順で重畳されていることが分かる。また、その他の領域がコメント領域５０１の後方に重畳されていることが分かる。この場合に算出される表示優先度は、Ｐ ５０２ ＞Ｐ ４０２ ＞Ｐ ４０３ ＞Ｐ ５０１ ＞Ｐ ５００ ＞Ｐ ４０１ ＞Ｐ ４００ である。
[0140]　ここで、ユーザ選択された領域が、被写体領域４０１〜４０３の全てであった場合にコメント付き動画像生成装置１００が出力する動画像の表示例を図２１Ｆに示す。図２１Ｆは、図１９の（Ｂ）または図２０の処理（Ｂ）の場合の表示例である。全てのコメントが、被写体領域４０１〜４０３よりも後方、かつ背景である被写体領域４００よりも前方に重畳されていることがわかる。すなわち、この場合に算出される表示優先度はＰ ４０１ ＞Ｐ ４０２ ＞Ｐ ４０３ ＞Ｐ ５００ ＞Ｐ ５０１ ＞Ｐ ５０２ ＞Ｐ ４００ である。
[0141]　以上に述べたようなルールに基づいて、表示優先度算出部１０６は、被写体領域情報１１１、コメント情報１１２およびユーザ情報１１３に基づいて、動画像１１０中の各コメント領域５００〜５０２と、背景を含む被写体領域４００〜４０３の表示優先度を算出する。なお、表示優先度の値は、各領域間の優先関係を表現できるものであればなんでもよく、例えば、前述の説明においては、領域数が７であることから、最も表示優先度の低い背景の表示優先度を０とし、以降、表示優先度が低くなるものから順に１，２，３・・・という整数値を与えてもよい。
[0142]　上記したとおり、表示優先度の優先順に対し、最も影響する要素はユーザ選択の有無である。さらに被写体領域の前後関係、およびコメントの投稿時刻、表示時刻の新旧、等を表示優先度に影響する複数の要素として挙げたが、上記した以外にも、例えば、コメント情報１１２がコメントを行なった人物のＩＤを含む場合は、ユーザが予め指定した特定のユーザＩＤを有するＩＤの書き込みの表示優先度に影響するとしても良い。
[0143]　また、表示優先度が同位の領域が発生した場合には、例えば図２０の処理（Ａ）［２］（１）−（４）に示すように、ランダムに順位を振るとしたが、その代わりに、ディスプレイ上にその旨を表示することでユーザに優先表示させる領域を選択させてもよい。また、重なったコメント間で文字数が異なるような場合、例えばコメントが少ない方のコメント領域を小さく表示し、より前方に重畳することで、両方のコメントが見やすくなるような表示を行なうとしてもよい。」
「[0194]　（実施の形態３）
　実施の形態１および２におけるコメント付き動画像生成装置は、動画サーバより取得した動画像をデータ取得部への入力とし、処理を行うこととしたが、動画像を動画サーバより入力するかわりに、コメント付き動画像生成装置を利用するユーザが保持したカメラから、そのカメラが撮影した動画像を入力するものとしてもよい。
[0195]　図３１に、本実施の形態３に係るコメント付き動画像生成装置１４００の構成を示す。
コメント付き動画像生成装置１４００は、被写体領域情報生成部１４０２、コメント重畳情報生成部１４０１、画像合成部１０２、および画像出力部１０３を含む。
ディスプレイ１２０は、コメント付き動画像生成装置１４００で生成されたコメント付き動画像を表示し、ユーザに対して視認可能な位置角度で設置されている。
[0196]　
被写体領域情報生成部１４０２は、カメラから動画像を取得し、被写体領域情報を算出する。
[0197]　データ取得部１４０４は、ユーザから一定範囲以内に存在する他端末のＧＰＳ情報および付加情報を含むコメント情報１４１２を取得する。
コメント位置推定部１４０３は、ユーザが利用する携帯端末（以下、「自端末」という）および他人が利用する携帯端末（以下、「他端末」という）のＧＰＳ情報と、自端末のコンパス情報とに基づき、自端末のカメラ位置およびカメラ軸の方向と、自端末の動画像上での他端末の位置とを算出し、これらの算出結果から各コメント情報１４１２が動画像中のどの被写体領域に対応するのかを推定する。表示優先度算出部１０６は、被写体領域情報生成部１４０２が算出した被写体領域情報、コメント情報１４１２、ユーザ情報１１３およびコメント位置推定部１４０３での推定結果を入力として受け、コメントの表示位置と、被写体領域およびコメントの表示優先度とを算出する。コメント重畳方法決定部１０７は、表示優先度算出部１０６が算出した表示優先度に基づいて、動画像へのコメントの重畳方法を決定する。
[0198]　
画像合成部１０２は、コメント重畳方法決定部１０７が決定したコメント重畳方法に基づいて、動画像にコメント領域を重畳する。画像出力部１０３は、コメントが重畳された動画像を画像出力部１０３に出力する。
[0199]　図３２に、本実施の形態のコメント付き動画像生成装置が対象とする、動画像配信システムの簡単な構成例を示す。動画像配信システムは、コメント情報蓄積サーバ、ユーザＩＤ情報サーバを備えている。さらに、コメント付き動画像生成装置１４００は、ネットワークを通じて、ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｍｍｅｒｃｅ）サイトなどの外部サーバおよび情報にアクセス可能になっているとより望ましい。各サーバはそれぞれ同じＰＣ上で管理されていても、別のＰＣ上で管理されていても良い。
[0200]　ユーザは、事前にユーザＩＤ情報サーバに、ユーザの情報を登録することができる。例えば、ユーザは、自分が購入した商品などの写真または動画像、上記商品に対応付けられた商品情報またはコメント、ＥＣサイトへのリンク情報、ＥＣサイトで販売される商品の情報および販売商品に対応付けられたコメントなどを、携帯端末に備えつけられたキーボードや、ソフトウェアキーボード、タッチ操作等を通じて入力することにより、これらのユーザの情報をユーザＩＤ情報サーバに登録することができる。例えば、ユーザＡは、商品カテゴリとして「ワンピース」、コメントとして「今日のコーデ」、日時として「２０１２．５．５」等を登録することができる。具体的には、その日付に、ユーザＡが身に着けるものや、所持するものなどを登録することを想定している。なお、コメントを登録した日時が自動的に登録されてもよい。ユーザ本人が洋服を身に着けるなどの予定をしている場合は、登録した洋服または商品（身に着けるものや、所持するもの）を、身に着ける、または所持する日時を、ユーザが入力するとしたほうが望ましい。
[0201]　これらのコメントを含む情報（コメント情報１４１２）は、コメントを行なったユーザのＩＤ、日時、写真、商品のカテゴリ、ＥＣサイトの情報（サイト名、商品番号等）等を含み、図３２に示すように、コメント情報蓄積サーバに新たに蓄積される。
[0202]　ユーザＡがコメントを行なった後、別のユーザＢおよびユーザＣが、ユーザＡに、携帯端末上のカメラ（起動済）を向けたとする。ユーザＡに対応付けられたコメント情報１４１２のうち、本日の日付に対応するものが、コメント情報蓄積サーバより配信され、図３２に示すように、ユーザＢおよびユーザＣの携帯端末画面上に、ユーザＡのコメント情報が重畳されて表示される。なお、ユーザＢおよびユーザＣは同じ日の別の時間帯に、全く別の場所で、ユーザＡにカメラを向けたものとしてもよい。カメラの画面内にユーザＡが写るようにカメラが保持されている間は、ユーザＡに関する情報が、図３２に示すように表示され続けるものとしてよい。前述のように、ユーザＡは、その日に身に着けるもの、または所持するものを事前に登録している。このため、ユーザＢおよびユーザＣの画面上には、ユーザＡが身に着けている、例えばユーザＡが身に着けているワンピースに関する情報が表示される。このため、ユーザＢおよびユーザＣは、そのワンピースに関する情報（メーカー、価格、購入可否等）を、その場で知ることができる。従来、このように「他の誰か（ユーザＡ）」が着用している洋服等について、ユーザＢまたはユーザＣが情報を知りたいと思っても、ユーザＡ本人に直接確認するしかなかった。以上の構成によれば、ユーザＢおよびユーザＣは簡単にユーザＡの着用しているもの等の情報を知ることができる。
[0203]　例えば、図３２のように、コメント情報を予め定めた配置で表示するとしてもよい。その際、
ユーザＡのように、コメント情報にＥＣサイトの情報が紐付けられている場合は、画像またはコメント文字等にリンクの機能をもたせることで、ユーザの入力により、ＥＣサイト上の商品ページ（購入できるサイト）にワンタッチで遷移することができる。
[0204]　さらに、
図３２のユーザＢまたはユーザＣの画面には、ユーザＡと同じ画面にユーザＤが映っており、ユーザＤも同様に事前に情報を登録していた場合、ユーザＡの情報と重なってしまい、ユーザＡまたはユーザＤと、それぞれに対応付けられたコメント情報とが、互いに遮蔽しあう。
例えばユーザＡを選択したユーザＢは、ユーザＡおよびユーザＡに対応するコメント情報を遮蔽なく視認できる。また、ユーザＤを選択したユーザＣは、ユーザＤおよびユーザＤに対応したコメント情報を遮蔽なく視認できる。
[0205]　以下、本実施の形態に係るコメント付き動画像生成装置１４００の構成についてより詳細に説明する。
[0206]　図３３に示すように、実施の形態３に係るコメント付き動画像生成装置１４００は、特に、あるユーザが保持する携帯端末に備え付けられたカメラを向けた方向に存在する人物等の被写体について、当該人物の情報または人物が保有する物品に関する情報などを携帯端末上で視認可能な状態にするものである。コメント付き動画像生成装置１４００は、携帯端末のカメラによって撮影された動画像を、携帯端末のディスプレイに表示する際に、当該動画像中に存在する特定の被写体領域に対し、コメントとして上記情報を付加表示する。
[0207]　上記特定の被写体領域は、当該ユーザが携帯端末上のタッチパネルなどのＵＩを通じて指定した被写体領域、または、データ取得部１４０４で取得された外部データベースに登録されている情報に基づき定められる被写体領域である。コメント付き動画像生成装置１４００は、特定の被写体領域を遮蔽しないように、動画像にコメント領域を重畳する。
[0208]　被写体領域情報生成部１４０２については、実施の形態２の被写体領域情報生成部９０３と同じであるため説明を省略する。
[0209]　ユーザが被写体１を指定する場面について図３４に示す。入力受付部１０５は、ユーザがタッチパネル等を用いて入力した情報を受け付け、画像座標系Ｄにおけるユーザの指示位置を算出する。
[0210]　ここで、ユーザの指示位置などの画像上の任意の１点（ｘｄ，ｙｄ）が、世界座標系Ｗ上で指す直線Ｌ（（ｘｄ，ｙｄ）とカメラ座標系Ｃの原点とを通る直線）は、カメラのパラメータ、および座標系の変換行列が分かれば算出することができる。上記パラメータおよび変換行列はキャリブレーションを行うことにより求めることができる。より詳しくは、非特許文献１に詳しい説明があるため省略する。
[0211]　一方、各被写体の世界座標系Ｗ上における位置情報（ｘｗ，ｙｗ，ｚｗ）のｘ成分、ｚ成分は、各被写体が保有する携帯端末から発せられたＧＰＳ等により得られる。ｙ成分は図３４に示すとおり被写体の身長方向の成分であり、例えば、各ユーザが事前に登録した身長Ｈ、または、年代および性別から平均的な身長Ｈを求めて、幅をもたせる形（ｙｗ＝０〜Ｈ）で用いる。同様に、平均的な体の幅の値を用いて、ｘｗ、ｚｗに関しても幅をもたせてもよい。
[0212]　先に述べた直線Ｌが求まれば、このＬが通る経路上で、ユーザから最も近い（ｘｗ，ｙｗ，ｚｗ）に相当する被写体が、ユーザが指示した被写体となる。
[0213]　コメント位置推定部１４０３は、被写体領域情報生成部１４０２が算出した画像座標系Ｄ上での各被写体領域に相当する座標に基づき、データ取得部１４０４で取得した、近傍に位置する携帯端末のＧＰＳ情報から、同様にカメラのパラメータと変換行列を用いて、各被写体領域に対応する携帯端末を推定する。コメント位置推定部１４０３は、その携帯端末に対応する付加情報と被写体領域とを対応付け、動画像上に表示するコメントの位置、形状、文字情報等のコメント表示情報を生成する。
[0214]　表示優先度算出部１０６は、コメント位置推定部１４０３が生成したコメント表示情報、被写体領域情報生成部１４０２が算出した被写体領域情報、および入力受付部１０５が受け付けたユーザ情報１１３から、表示優先度を算出する。表示優先度算出部１０６の動作以降の動作については実施の形態１および２と同様であるため説明を省略する。
[0215]　以上のようにして、本実施の形態のコメント付き動画像生成装置１４００は、ユーザ所望の被写体領域の視認性を保ったコメント領域を生成し、被写体領域に対応する付加情報を図３３のように画面上に表示する。
[0216]　なお、表示優先度算出部１０６は、入力受付部１０５が受け付けたユーザ情報１１３を必ずしも利用しなくともよい。例えば、コメント情報蓄積サーバは、コメント情報蓄積サーバに蓄積されているデータを参照し、別途、特定の品番またはカテゴリ等に属するコメント投稿数をカウントすることにより、品番またはカテゴリ等の人気の高さ等を管理していても良い。表示優先度算出部１０６は、コメント情報蓄積サーバが管理している上記情報に基づいて、表示優先度に重み付けを行っても良い。
[0217]　また、先に図３２の説明で述べたように、コメント情報蓄積サーバに蓄えられたコメント情報は、ＥＣサイトへのリンク情報、商品の品番などを備えていても良い。各ユーザ携帯端末上に表示したコメント領域上で、ユーザが、コメントや画像をタッチすると、リンク情報に基づき、商品購入ページ等へ自動的に誘導する（画面が切り替わる）ことができる。すなわち、各携帯端末に紐付けられたコメントとともに、もしくは単独で、リンク情報が、コメント領域（吹き出し）に表示されるとしてもよい。例えば、被写体の身につけている洋服の情報を備えた販売サイトへのリンク情報を表示することにより、ユーザが気に入った洋服を、簡単にＥＣサイト経由で購入できる。
[0218]　実施の形態３によると、ＡＲ技術のように、ユーザが撮影した動画像中の被写体に対応するコメントが表示される場合に、ユーザが指定する被写体領域に対応するコメントが他のコメントによって遮蔽されないように、動画像にコメント領域を重畳表示させることができる。」
　上記記載から，次のことがいえる。
（１）段落[0204]の記載から，異なる端末のコメントが重なって表示された場合，各端末を所持しているユーザを選択することにより，選択されたユーザのコメントが遮蔽なく視認できるようになること。
（２）段落[0203]の記載から，コメントにＥＣサイトの情報が紐付けられている場合は，画像またはコメント文字等にリンクの機能をもたせることで，ユーザの入力により，ＥＣサイト上の商品ページ（購入できるサイト）にワンタッチで遷移することができること。
　したがって，上記引用文献３には次の発明（以下，「引用発明３」という。）が記載されていると認められる。
「コメント位置推定部１４０３，表示優先度算出部１０６，コメント重畳方法決定部１０７，画像合成部１０２，画像出力部１０３，ディスプレイ１２０を有し，
　コメント位置推定部１４０３は，ユーザが利用する携帯端末（以下，「自端末」という）および他人が利用する携帯端末（以下，「他端末」という）のＧＰＳ情報と，自端末のコンパス情報とに基づき，自端末のカメラ位置およびカメラ軸の方向と，自端末の動画像上での他端末の位置とを算出し，これらの算出結果から各コメント情報１４１２が動画像中のどの被写体領域に対応するのかを推定し，
　表示優先度算出部１０６は，被写体領域情報生成部１４０２が算出した被写体領域情報，コメント情報１４１２，ユーザ情報１１３およびコメント位置推定部１４０３での推定結果を入力として受け，コメントの表示位置と，被写体領域およびコメントの表示優先度とを算出し，
　コメント重畳方法決定部１０７は，表示優先度算出部１０６が算出した表示優先度に基づいて，動画像へのコメントの重畳方法を決定し，
　画像合成部１０２は，コメント重畳方法決定部１０７が決定したコメント重畳方法に基づいて，動画像にコメント領域を重畳し，
　コメントが重畳された動画像を画像出力部１０３に出力し，
　ディスプレイ１２０は，画像出力部１０３から出力されたコメントが重畳された動画像を表示し，
　異なる他端末のコメントが重なって，表示された場合，端末を所有するユーザを選択することにより，選択されたユーザのコメントが遮蔽なく視認できるようになり，
　コメントにＥＣサイトの情報を紐付け，画像またはコメント文字等にリンクの機能をもたせることで，ユーザの入力により，ＥＣサイト上の商品ページ（購入できるサイト）にワンタッチで遷移することができる，
　コメント付き動画像生成方法。」
４　引用文献４について
　原査定の拒絶の理由に引用された引用文献４には，図面とともに次の事項が記載されている。
「【技術分野】
【０００１】
　本発明は、画像処理装置、プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
　近年、実空間を撮像して得られる画像に情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented  Reality）と呼ばれる技術が注目されている。ＡＲ技術において画像に重畳される情報は様々である。例えば、下記特許文献１は、入力画像に映る実空間内の運動する物体にハイパーリンク情報を付加して呈示する技術を開示している。
・・・　中　略　・・・
【発明の概要】
【発明が解決しようとする課題】
【０００４】
　しかしながら、情報を付加すべき対象が入力画像内に多数存在する場合には、表示される情報が混雑し、ユーザに呈示される出力画像が分かり易さを失ってしまう恐れがある。例えば、拡張現実の画像を介したユーザ間のコミュニケーションにおいて、コミュニケーションに積極的に関与しているユーザについての情報と周囲に存在するユーザについての情報とを区別することなく表示すると、情報の混雑により円滑なコミュニケーションが阻害され、誰がどの情報を発しているのかも分かりにくい状況が発生し得る。
【０００５】
　そこで、本発明は、拡張現実の画像内で情報が混雑する状況において、より分かり易く情報を呈示することのできる、新規かつ改良された画像処理装置、プログラム及び画像処理方法を提供しようとするものである。」
「【００５６】
　　［２−２．表示オブジェクトの属性］
　　（１）属性の例
　図５は、出力画像生成部１７０により決定される属性値を含む表示オブジェクトデータ１８０の構成の一例を示す説明図である。図５を参照すると、表示オブジェクトデータ１８０は、オブジェクトＩＤ１８１、ユーザＩＤ１８２、形状１８３、色１８４、サイズ１８５、表示位置１８６、透過率１８７、レイヤ１８８及び表示情報１８９という９つのデータ項目を有する。
【００５７】
　　（２）オブジェクトＩＤ及びユーザＩＤ
　オブジェクトＩＤ１８１は、１つの画像内に重畳される各表示オブジェクトを一意に特定するための識別子である。ユーザＩＤ１８２は、オブジェクトＩＤ１８１により識別される表示オブジェクトが関連付けられるユーザを表すユーザＩＤである。例えば、表示オブジェクトデータ１８０の第１レコード１９０ａ及び第２レコード１９０ｂから、２つの表示オブジェクトＤ０１Ａ及びＤ０２ＡがユーザＵａと関連付けられることが理解される。また、第３レコード１９０ｃから、表示オブジェクトＤ０１ＢがユーザＵｂと関連付けられること、及び第４レコード１９０ｄから、表示オブジェクトＤ０１ＣがユーザＵｃと関連付けられること、が理解される。
【００５８】
　　（３）形状
　形状１８３は、当該表示オブジェクトの形状を表す。図５の例では、表示オブジェクトの形状は、予め定義される表示オブジェクトのタイプＯｂｊ１、Ｏｂｊ２、…のいずれかを指定することにより特定される。
【００５９】
　図６Ａ〜図６Ｄは、それぞれ表示オブジェクトのタイプの一例を示す説明図である。図６Ａを参照すると、図２に例示した表示オブジェクト１２ａ及び１３ａが示されている。このうち、表示オブジェクト１２ａのタイプはタイプＯｂｊ１である。また、表示オブジェクト１２ｂのタイプはＯｂｊ２である。これらタイプＯｂｊ１及びＯｂｊ２の表示オブジェクトは、いわゆる吹き出しの形状をしている。
【００６０】
　次に、図６Ｂを参照すると、表示オブジェクト１４ａが示されている。表示オブジェクト１４ａのタイプはＯｂｊ３である。表示オブジェクト１４ａは、肩にかける看板の形状をしている。図６Ａに示したタイプＯｂｊ１及び図６Ｂに示したタイプＯｂｊ３は、例えば、ユーザの属性情報を表示するために使用されてよい。一方、図６Ａに示したタイプＯｂｊ２は、例えば、ユーザからの入力情報を表示するために使用されてよい。
【００６１】
　さらに、図６Ｃを参照すると、表示オブジェクト１５ａが示されている。表示オブジェクト１５ａのタイプはＯｂｊ４である。タイプＯｂｊ４もまた、例えば、ユーザからの入力情報を表示するために使用されてよい。
【００６２】
　ここで、図６Ａに示したタイプＯｂｊ２の形状は、ユーザによる発話を象徴する形状である。これに対し、図６Ｂに示したタイプＯｂｊ４の形状は、ユーザによる思考を象徴する形状である。出力画像生成部１７０は、例えば、表示情報が音声入力装置を介して入力された入力情報である場合に、当該表示情報を表示する表示オブジェクトを、発話を象徴する形状を有するタイプＯｂｊ２に設定し得る。また、出力画像生成部１７０は、例えば、表示情報がテキスト入力装置を介して入力された入力情報である場合に、当該表示情報を表示する表示オブジェクトを、思考を象徴する形状を有するタイプＯｂｊ４に設定し得る。その代わりに、出力画像生成部１７０は、例えば、表示情報の内容を解析することにより、表示情報をユーザの思考に対応する情報又はユーザの発話に対応する情報のいずれかに分類し、前者の分類に対応する表示オブジェクトをタイプＯｂｊ２に、後者の分類に対応する表示オブジェクトをタイプＯｂｊ４にそれぞれ設定してもよい。
【００６３】
　また、図６Ｄを参照すると、表示オブジェクト１６ａが示されている。表示オブジェクト１６ａのタイプはＯｂｊ５である。表示オブジェクト１６ａもまた吹き出しの形状をしている。但し、タイプＯｂｊ５の吹き出しの起点は、ユーザではなく、上方を向いている。出力画像生成部１７０は、例えば、情報取得部１５０により外部の情報源から取得される情報を表示するための表示オブジェクトをタイプＯｂｊ５に設定し得る。外部の情報源から取得される情報とは、例えば、上述した検索情報などである。
【００６４】
　このように、表示情報の取得経路又は情報入力のために利用された入力手段などに応じて表示オブジェクトの形状を変化させることで、画像処理システム１におけるユーザ間のコミュニケーションに際して、ユーザが情報の種類をより直感的かつ的確に理解することが可能となる。また、ユーザは自身が入力する情報が表示される際のオブジェクトの形状を使い分ける（発話又は思考）ことができるため、より豊かなユーザ間のコミュニケーションが実現され得る。
【００６５】
　　（４）色
　図５における色１８４は、当該表示オブジェクトの色（又は当該表示オブジェクト内の表示情報のテキストの色）を表す。出力画像生成部１７０は、情報取得部１５０により取得される各ユーザの属性情報を参照し、例えばユーザの性別又は年齢層などの属性値に応じて、各表示オブジェクトの色を変化させてもよい。
【００６６】
　　（５）サイズ
　サイズ１８５は、当該表示オブジェクトのサイズを表す。図５の例では、表示オブジェクトのサイズは、既定のサイズからの倍率（％）により表されている。出力画像生成部１７０は、例えば、各ユーザの撮像装置１０４からの距離に応じて、各ユーザに関連付けられる表示情報を表示するための表示オブジェクトのサイズを決定する。本実施形態において、出力画像生成部１７０は、撮像装置１０４からの距離そのものを測定する代わりに、撮像装置１０４からの距離に応じたパラメータとして、各ユーザの顔領域のサイズを使用することができる。顔領域のサイズは、例えば、顔領域に属すると認識された画素数により表されてもよく、又は顔領域を囲むバウンディングボックスの面積により表されてもよい。より具体的には、出力画像生成部１７０は、例えば、顔領域のサイズがより大きいユーザと関連付けられる表示情報のための表示オブジェクトのサイズをより大きく設定する。但し、表示オブジェクトのサイズの上限値が予め定義されてよい。その場合、出力画像生成部１７０は、所定の距離以上撮像装置１０４に近付いたユーザの表示オブジェクトのサイズがその上限値を超えないように、表示オブジェクトのサイズを設定する。
【００６７】
　　（６）表示位置
　表示位置１８６は、当該表示オブジェクトの表示位置、即ち、当該表示オブジェクトが重畳される画像内の位置を表す２次元座標である。本実施形態では、出力画像生成部１７０は、ユーザの顔領域を基準点として、予め定義されるオフセットを有する位置に各表示オブジェクトの中心（又は所定のコーナーなど）を配置する。
【００６８】
　図７は、本実施形態における表示オブジェクトの表示位置について説明するための説明図である。図７を参照すると、ユーザの顔領域の重心位置Ｐ０が示されている。位置Ｐ０は、表示オブジェクトの表示位置を決定するためのオフセットの基準点である。出力画像生成部１７０は、例えば、あるユーザと関連付けられる表示情報の数が１つである場合には、当該表示情報を表示する表示オブジェクトの表示位置を、位置Ｐ１とする。また、出力画像生成部１７０は、例えば、あるユーザと関連付けられる表示情報の数が複数である場合には、第２、第３、及び第４の表示情報のための表示位置を、それぞれ位置Ｐ２、Ｐ３及びＰ４とする。位置Ｐ０と位置Ｐ１、Ｐ２、Ｐ３及びＰ４との間のオフセットは、それぞれ予め定義される。本明細書では、これら表示位置を「既定の表示位置」という。なお、図７に示したこれら既定の表示位置は一例に過ぎない。
【００６９】
　また、表示オブジェクトのタイプが図６Ｂに例示したタイプＯｂｊ３である場合には、表示オブジェクトの既定の表示位置は、例えば位置Ｐ５であってよい。また、表示オブジェクトのタイプが図６Ｄに例示したタイプＯｂｊ５である場合には、表示オブジェクトの既定の表示位置は、例えば位置Ｐ６及びＰ７であってもよい。
【００７０】
　　（７）透過率
　図５における透過率１８７は、当該表示オブジェクトの透過率を表す。表示オブジェクトに透過率が設定されることで、複数の表示オブジェクトが重ねて重畳される場合にも、ユーザは背面の表示オブジェクトを視認することができる。本実施形態において、出力画像生成部１７０は、認識部１３０により認識される各ユーザについて、入力画像内に映っている時間の長さ（以下、滞在時間という）又は移動速度を計測する。そして、出力画像生成部１７０は、表示情報を表示する表示オブジェクトの透過率を、当該表示情報に関連付けられるユーザについて計測した滞在時間又は移動速度に応じて設定する。
【００７１】
　図８Ａは、出力画像生成部１７０による透過率設定処理の一例について説明するための説明図である。図８Ａの例では、出力画像生成部１７０は、ユーザの画像内での滞在時間に応じて、当該ユーザと関連付けられる表示オブジェクトの透過率を設定する。
【００７２】
　図８Ａの横軸は、時間軸（時間Ｔ）である。縦軸は、破線で示される滞在時間Ｓｔ及び実線で示される透過率Ｔｒの大きさを表す。図８Ａの例において、時間Ｔ０に画像内に現れたユーザが継続して画像内に留まることにより、当該ユーザの滞在時間Ｓｔが時間軸に沿って線形的に増加している。一方、時間Ｔ０における表示オブジェクトの透過率Ｔｒは１００％である。即ち、ユーザが画像内に現れた瞬間には、表示オブジェクトは視認されない。そして、滞在時間Ｓｔが増加するにつれて、表示オブジェクトの透過率Ｔｒは減少する。即ち、ユーザが画像内に留まっている間、表示オブジェクトは徐々に濃く現れる。そして、時間Ｔ１において表示オブジェクトの透過率Ｔｒが２０％になると、出力画像生成部１７０は、透過率Ｔｒの減少を停止する。これは、背面に重なる表示オブジェクトを少なくともある程度視認可能とするためである。
【００７３】
　ここで、ユーザの画像内での滞在時間の長さは、そのユーザの画像処理システム１により提供されるコミュニケーションに対する興味の強さ又は貢献度の大きさを表していると考えることができる。従って、滞在時間の長いユーザほど表示オブジェクトの透過率を低く設定することで、興味の強いユーザ又は貢献度の大きいユーザを優先的にコミュニケーションに関与させることができる。また、滞在時間の短いユーザについて表示オブジェクトの透過率を高く設定することで、例えば、偶然撮像装置１０４の前を通過したユーザについての不要な表示情報が画像内に強く現れることが回避される。なお、出力画像生成部１７０は、ここで説明した滞在時間の代わりに、例えばユーザによる利用開始後の経過時間などを用いてもよい。
【００７４】
　図８Ｂは、出力画像生成部１７０による透過率設定処理の他の例について説明するための説明図である。図８Ｂの例では、出力画像生成部１７０は、ユーザの画像内での移動速度に応じて、当該ユーザと関連付けられる表示オブジェクトの透過率を設定する。
【００７５】
　図８Ｂの横軸は、時間軸（時間Ｔ）である。縦軸は、破線で示される移動速度Ｍｖ及び実線で示される透過率Ｔｒの大きさを表す。図８Ｂの例において、時間Ｔ０に画像内に現れたユーザの移動速度はＭｖ１である。このとき、表示オブジェクトの透過率Ｔｒは１００％である。その後、時間Ｔ０からＴ２にかけてユーザの移動速度は減少し、時間Ｔ２以降ユーザの移動速度は増加している。透過率Ｔｒは、このような移動速度Ｍｖの変化に追随し、時間Ｔ０からＴ２にかけて減少した後、時間Ｔ２以降増加する。
【００７６】
　ここで、画像処理システム１により提供されるコミュニケーションに強い興味を抱いているユーザは、撮像装置１０４の前に留まるものと考えられる。従って、ユーザの移動速度が小さいほど表示オブジェクトの透過率を低く設定することで、そのようなユーザを優先的にコミュニケーションに関与させることができる。また、この場合にも、偶然撮像装置１０４の前を通過したユーザについての不要な表示情報が画像内に強く現れることが回避される。なお、出力画像生成部１７０は、ユーザの移動速度を、例えば顔領域の重心位置のフレーム間の移動量から算出することができる。
【００７７】
　また、出力画像生成部１７０は、ユーザの滞在時間及び移動速度の双方に応じて、表示オブジェクトの透過率を設定してもよい。例えば、出力画像生成部１７０は、ユーザの移動速度が増加した場合にも、当該ユーザの滞在時間が所定の閾値以上に長いときには、ユーザの透過率を低く維持してもよい。それにより、画像内でのユーザの一時的な移動によって当該ユーザの表示オブジェクトが視認困難となることが回避される。なお、出力画像生成部１７０は、例えば、移動速度が所定の閾値以下である静止状態の時間の長さと、移動速度が当該閾値を上回る移動状態の時間の長さとを各ユーザについて計測し、これら２つの時間の長さの比に応じて、表示オブジェクトの透過率を設定してもよい。
【００７８】
　また、出力画像生成部１７０は、所定のジェスチャを行ったユーザの表示オブジェクトの透過率を一時的に減少させてもよい。例えば、手を挙げるジェスチャ又は手を振るジェスチャなどが、透過率の減少に対応付けられ得る。それにより、例えば、登場して間もない（即ち、滞在時間が短い）ながらも、コミュニケーションに強い興味を抱いているユーザを、より容易にコミュニケーションに参加させることができる。
【００７９】
　　（８）レイヤ
　図５におけるレイヤ１８８は、当該表示オブジェクトの表示オブジェクト間の重畳の順序を表す。図５の例では、表示オブジェクトＤ０１Ａ及びＤ０２Ａのレイヤは１、表示オブジェクトＤ０１Ｂのレイヤは２、表示オブジェクトＤ０１Ｃのレイヤは３である。従って、出力画像生成部１７０は、表示オブジェクトＤ０１Ａ及びＤ０２Ａを最前面のレイヤに、表示オブジェクトＤ０１Ｂを次のレイヤに、表示オブジェクトＤ０１Ｃを最背面のレイヤに重畳する。
【００８０】
　出力画像生成部１７０は、このような各表示オブジェクトのレイヤを、各ユーザについての撮像装置１０４からの距離に応じたパラメータに基づいて決定する。本実施形態において、撮像装置１０４からの距離に応じたパラメータとは、上述した顔領域のサイズであってよい。なお、かかる例に限定されず、例えば、測距センサにより測定される距離又はマイクロフォンを介して入力される音声の大きさなどが、上記パラメータとして使用されてもよい。そして、出力画像生成部１７０は、上記パラメータにより表される距離がより小さいユーザに関連付けられる表示情報を表示する表示オブジェクトのレイヤを、より小さい値に設定する（即ち、より前面に配置する）。
【００８１】
　図９Ａ及び図９Ｂは、レイヤ設定処理の一例について説明するための説明図である。
【００８２】
　図９Ａを参照すると、スクリーン１０７の前に３人のユーザＵａ〜Ｕｃが存在する。ユーザＵａ、Ｕｂ及びＵｃのスクリーン１０７からの距離は、それぞれＤ１、Ｄ２及びＤ３である。このうち、距離Ｄ１が最も小さく、距離Ｄ３が最も大きい。このような状況において、入力画像には、ユーザＵａの顔領域が最も大きく映る。ユーザＵｂの顔領域の大きさは２番目であり、ユーザＵｃの顔領域の大きさは最も小さい。図９Ａの例では、ユーザＵａ、Ｕｂ及びＵｃの顔領域の大きさは、それぞれ、１０００画素、８００画素及び４００画素である。そこで、出力画像生成部１７０は、ユーザＵａと関連付けられる表示オブジェクトのレイヤを１、ユーザＵｂと関連付けられる表示オブジェクトのレイヤを２、ユーザＵｃと関連付けられる表示オブジェクトのレイヤを３と設定する。
【００８３】
　このように、顔領域のサイズが大きいユーザについての表示オブジェクトをより前面に重畳することで、表示オブジェクトが混雑している場合にも、距離感に合わせた自然な表示を簡易に実現することができる。また、コミュニケーションに関与したいユーザをよりスクリーン１０７の近くに導くことも可能となる。
【００８４】
　また、出力画像生成部１７０は、例えば、所定のジェスチャ若しくは所定の表情をしているユーザ、又は発話中のユーザに関連付けられる表示オブジェクトのレイヤを、ユーザの撮像装置１０４からの距離に関わらず一時的に前面に設定してもよい。所定のジェスチャとは、例えば、手を挙げるジェスチャ又は手を振るジェスチャなどであってよい。また、所定の表情とは、笑顔などであってよい。図９Ｂの例では、手を振るジェスチャをしているユーザＵｃのレイヤが、スクリーン１０７からの距離が最も遠いにも関わらず、一時的に１に設定されている。このような処理により、スクリーン１０７に近い位置を占めるユーザばかりがコミュニケーションに強く関与することなく、コミュニケーションへの参加を希望する様々なユーザにコミュニケーションの機会を広く与えることができる。
【００８５】
　　［２−３．出力画像の例］
　図１０は、本実施形態において画像処理装置１００から出力される出力画像の一例を示す説明図である。図１０を参照すると、一例としての出力画像Ｉｍ１１が示されている。出力画像Ｉｍ１１には、３人のユーザＵａ、Ｕｂ及びＵｃが映っている。また、ユーザＵａの近傍には、表示オブジェクト１２ａ及び１３ａが重畳されている。ユーザＵｂの近傍には、表示オブジェクト１２ｂが重畳されている。ユーザＵｃの近傍には、表示オブジェクト１２ｃが重畳されている。しかし、画像内でユーザＵａ、Ｕｂ及びＵｃが互いに近くに位置しているため、点線枠に囲まれた領域内で表示オブジェクトが混雑し、表示オブジェクト１３ａ、１２ｂ及び１２ｃが互いに重なっている。
【００８６】
　図１０の右下の部分画像Ｉｍ１２は、出力画像Ｉｍ１１の中の上述した点線枠内の部分画像の拡大図である。部分画像Ｉｍ１２において、表示オブジェクト１３ａが最前面に重畳されている。また、表示オブジェクト１３ａの背面に表示オブジェクト１２ｂ、表示オブジェクト１２ｂの背面に表示オブジェクト１２ｃがそれぞれ重畳されている。即ち、スクリーン１０７に最も近い位置で積極的にコミュニケーションに関与しているユーザＵａについての情報が、優先的に出力画像Ｉｍ１１において表示されていることが理解される。また、画像内を右から左へ横切っているユーザＵｃの表示オブジェクト１２ｃの透過率は高く設定されている。それにより、コミュニケーションに関与しない可能性の高いユーザＵｃについての情報が他の情報の視認性を阻害することが防止される。」
５　引用文献５について
　原査定の拒絶の理由に引用された引用文献５には，図面とともに次の事項が記載されている。
「【技術分野】
【０００１】
　本発明は、電子機器を操作するための操作装置に関する。」
「【００４５】
　図２は、入力センサ１７が検出する操作物の位置に基づいて、操作／表示部１６が表示する操作子を透明にする手順を示すフローチャートである。図３は、操作／表示部１６が複数の操作子を三次元映像として表示した例を示す説明図である。図４は、最上層を半透明に表示した例を示す説明図である。図５は、最上層と、最上層から２段目の操作子の層を半透明に表示した例を示す説明図である。」
【図５】
第６　対比，判断
１　本願発明１について
（１）引用発明１を主たる引用発明とする検討
ア　本願発明１と引用発明１との対比
（ア）引用発明１の「表示部２」，「画像Ｐ」，「ＡＲタグ」及び「制御方法」は，それぞれ，本願発明１の「表示部」，「画像データ」，「重畳用データ」及び「表示制御方法」に相当する。
（イ）本願の明細書段落【００４８】の「なお、本実施形態における基準物は、ＡＲマーカに限定されるものではなく、例えば取得画像に含まれる
実物体を基準物としてもよい
　そして，引用発明１は，「位置・姿勢検出部３６に自装置の位置と姿勢を取得し，自装置の位置と姿勢等に基づいて，撮影部４０の撮影範囲にある施設や物品を判断し」ているから，この判断された「撮影部４０の撮影範囲にある施設や物品」は，取得画像に含まれる実物体といえる。
　そうすると，引用発明１の「施設や物品」は，本願発明１の「基準物」に相当する。
（ウ）加えて，引用発明１は，「位置・姿勢検出部３６に自装置の位置と姿勢を取得し，自装置の位置と姿勢等に基づいて，撮影部４０の撮影範囲にある施設や物品を判断し」ているから，このことは本願発明１の「表示部に表示すべき画像データに基準物が含まれている場合」を判断していることに相当する。
　そして，引用発明は，判断した撮影部４０の撮影範囲にある施設や物品に対応するＡＲタグを含む仮想情報２４ｂを取得し，取得したＡＲタグを画像に重ねて表示しているから，このことは，本願発明１の「表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する」ことに相当する。
（エ）また，引用発明は，複数のＡＲタグが重なった状態（上記第５の１【図９】参照。）を取り得るから，その複数のＡＲタグが重なった状態と，本願発明１の「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態」とは，「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態」である点で共通する。
（オ）引用発明は「画像Ｐに含まれる指などのポインタを検出し，対応するＡＲタグがポインタの先端と重なっている仮想情報２４ｂを検索し，該当する仮想情報に対応するＡＲタグを選択状態にし，自装置とポインタの先端との距離を測定し，測定された距離を基準距離として設定し，選択状態のＡＲタグに対応する仮想情報２４ｂが示す位置と自装置との距離を算出し，算出した距離と基準距離とに基づいて換算係数を算出し，選択状態のＡＲタグから他のＡＲタグへの奥行き方向の距離を、対応する仮想情報２４ｂが示す位置間の距離と換算係数とに基づいて算出し」た上で，「自装置とポインタの先端との距離を測定し，測定された距離と基準距離の差，すなわち，ポインタの移動距離を算出する際，画像Ｐ上でのポインタの位置が一定の場所に一定時間以上留まっている場合には、ポインタが所定の速度で奥行き方向へ移動しているものとみなしその移動距離をポインタの移動距離と」する動作を行い，「対応するＡＲタグがポインタの先端と重なり，かつ，対応するＡＲタグの奥行き方向の位置とポインタの先端の奥行き方向の現在位置とが一致する仮想情報を検索し，該当する仮想情報２４ｂがみつかった場合，該当する仮想情報に対応するＡＲタグを選択状態にし」ている。
　そして，上記（エ）で検討した，複数のＡＲタグが重なった状態で，且つ，そのＡＲタグの重なった部分にポインタが一定時間以上留まっている場合は，手前側に表示されている選択状態のＡＲタグから奥行き方向の奥に存在するＡＲタグに順次選択状態が遷移する（上記第５の１【図９】参照。）と認められる。
　この操作は，手前側に表示されている選択状態のＡＲタグに対して，ＡＲタグが重なった部分にポインタが一定時間以上留まるという操作を行っているともいえるから，この操作は，本願発明１の「第２の重畳用データに対する第１の操作を受け付ける」ことに対応する。
　また，手前側に表示されている選択状態のＡＲタグに対して，ＡＲタグが重なった部分にポインタが一定時間以上留まるという操作を行った際に，手前側に表示されている選択状態のＡＲタグから奥行き方向の奥に存在するＡＲタグに順次選択状態が遷移することは，操作を行っていないＡＲタグに対して，他のＡＲタグを操作することにより選択状態が遷移することであるといえる。
　そうすると，引用発明１における，複数のＡＲタグが重なった状態で，且つ，そのＡＲタグの重なった部分にポインタが一定時間以上留まっている場合に，手前側に表示されている選択状態のＡＲタグから奥行き方向の奥に存在するＡＲタグに順次選択状態が遷移することと，本願発明１の「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ」ることとは，「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ」る点で共通する。
（カ）引用発明１の「起動動作，すなわち，表示部２に表示されている選択状態のＡＲタグを指ではじいたり、摘んだりする動作が検出されたかを判定し，起動動作が検出された場合，仮想情報２４ｂに含まれるＵＲＬにアクセスしてＷＥＢページを表示する動作を行う」ことと，本願発明１の「前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力すること」とは，「操作を受け付けると、前記第１の重畳用データに応じた情報を出力すること」である点で共通する。
（キ）そうすると，本願発明１と引用発明１とは，以下の点で一致し，又相違する。
［一致点］
「表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する表示制御方法であって、
　前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ、
　操作を受け付けると、前記第１の重畳用データに応じた情報を出力することを特徴とする表示制御方法。」
［相違点１］
　「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ」ることについて，本願発明１は，「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ」ているのに対して，引用発明１は，「撮影部４０の撮影範囲にある施設や物品」における，「施設や物品」の一つに複数の「ＡＲタグ」が対応付けられていないために，「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態」とはならない点。
［相違点２］
　「操作を受け付けると、前記第１の重畳用データに応じた情報を出力すること」について，本願発明１は，「前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力する」のに対して，引用発明１はそのようになっていない点。
イ　相違点についての判断
［相違点２］について検討すると，引用発明１において，［相違点２］に係る操作が自明の事項であるとはいえない。
　また，引用文献２ないし５には［相違点２］に係る操作は記載されていないから，引用文献２ないし５の記載に基づいて，引用発明１に［相違点２］に係る操作を行うことが容易であるとはいえない。
ウ　本件発明１についての，引用発明１を主たる引用発明とする検討のまとめ
　そうすると，他の相違点について検討するまでもなく，本願発明１は，引用発明１であるとはいえず，又，当業者であっても，引用発明１及び引用文献２ないし５に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。
（２）引用発明２を主たる引用発明とする検討
ア　本願発明１と引用発明２との対比
（ア）引用発明２の「表示部１０２」，「撮像部１０６が取得した画像」，「対象物（ＡＲマーカー）」，「ＡＲオブジェクト（仮想情報）」及び「制御方法」は，それぞれ，本願発明１の「表示部」，「画像データ」，「基準物」，「重畳用データ」及び「表示制御方法」に相当する。
（イ）引用発明２の「撮像部１０６が取得した画像に含まれ、ＡＲオブジェクト（仮想情報）が対応付けられた対象物（ＡＲマーカー）に関連するＡＲオブジェクトを、撮像部１０６が取得した画像に重畳して表示」することは，本願発明１の「表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する」ことに相当する。
（ウ）引用発明２の「ＡＲオブジェクトが重なり合う位置」を有することと，本願発明１の「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態」は，「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態」である点で共通する。
（エ）そして，引用発明２の「ＡＲオブジェクトが重なり合う位置に入力が行われ」ることと，本願発明１の「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付ける」ことは，「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、重畳用データに対する操作を受け付ける」点で共通する。
（オ）してみると，引用発明２の「ＡＲオブジェクトが重なり合う位置に入力が行われた場合に、ＡＲオブジェクトの表示階層を切替える」ことと，本願発明１の「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ」ることとは，「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、重畳用データに対する操作を受け付けると、重畳用データの状態を遷移させ」る点で共通する。
（キ）そうすると，本願発明１と引用発明２とは，以下の点で一致し，又相違する。
［一致点］
「表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する表示制御方法であって、
　前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、重畳用データに対する操作を受け付けると、重畳用データの状態を遷移させる、
　ことを特徴とする表示制御方法。」
［相違点３］
　「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、重畳用データに対する操作を受け付けると、重畳用データの状態を遷移させる」点について，本願発明１は，「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ」ているのに対して，引用発明２はそのようになっていない点。
［相違点４］
　本願発明１は，「前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力」しているのに対して，引用発明２は対応する操作を行っていない点。
イ　相違点についての判断
［相違点４］について検討すると，引用発明２において，［相違点４］に係る操作が自明の事項であるとはいえない。
　また，引用文献１及び３ないし５には［相違点４］に係る操作は記載されていないから，引用文献１及び３ないし５の記載に基づいて，引用発明２に［相違点４］に係る操作を行うことが容易であるとはいえない。
ウ　本件発明１についての，引用発明２を主たる引用発明とする検討のまとめ
　そうすると，他の相違点について検討するまでもなく，本願発明１は，引用発明２であるとはいえず，又，当業者であっても，引用発明２並びに引用文献１及び３ないし５に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。
（３）引用発明３を主たる引用発明とする検討
ア　本願発明１と引用発明３との対比
（ア）引用発明３の「ディスプレイ１２０」，「コメント」及び「コメント付き動画像生成方法」は，それぞれ，本願発明１の「表示部」，「重畳用データ」及び「表示制御方法」に相当する。
（イ）本願の明細書段落【００４８】の「なお、本実施形態における基準物は、ＡＲマーカに限定されるものではなく、例えば取得画像に含まれる
実物体を基準物としてもよい
　そして，引用発明３は，「ＧＰＳ情報と，自端末のコンパス情報とに基づき，自端末のカメラ位置およびカメラ軸の方向と，自端末の動画像上での他端末の位置とを算出し，これらの算出結果から各コメント情報１４１２が動画像中のどの被写体領域に対応するのかを推定し，表示優先度算出部１０６は，被写体領域情報生成部１４０２が算出した被写体領域情報，コメント情報１４１２，ユーザ情報１１３およびコメント位置推定部１４０３での推定結果を入力として受け，コメントの表示位置と，被写体領域およびコメントの表示優先度とを算出し，コメント重畳方法決定部１０７は，表示優先度算出部１０６が算出した表示優先度に基づいて，動画像へのコメントの重畳方法を決定し，画像合成部１０２は，コメント重畳方法決定部１０７が決定したコメント重畳方法に基づいて，動画像にコメント領域を重畳し，コメントが重畳された動画像を画像出力部１０３に出力し，ディスプレイ１２０は，画像出力部１０３から出力されたコメントが重畳された動画像を表示し」ており，この「他端末」は，取得画像に含まれる実物体といえるから，引用発明３の「他端末」は，本願発明１の「基準物」に相当する。
（ウ）加えて，引用発明３は「ユーザが利用する携帯端末（以下，「自端末」という）および他人が利用する携帯端末（以下，「他端末」という）のＧＰＳ情報と，自端末のコンパス情報とに基づき，自端末のカメラ位置およびカメラ軸の方向と，自端末の動画像上での他端末の位置とを算出し」ているから，このことは，本願発明１の「表示部に表示すべき画像データに基準物が含まれている場合」を判断していることに相当する。
　そして，引用発明３は算出結果から，各コメント情報１４１２が動画像中のどの被写体領域に対応するのかを推定し，この推定結果等を入力として受け，コメントの表示位置と，被写体領域およびコメントの表示優先度とを算出し，表示優先度に基づいて，動画像へのコメントの重畳方法を決定し，決定したコメント重畳方法に基づいて，動画像にコメント領域を重畳し，動画像を表示しているから，このことは，本願発明１の「表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する」ことに相当する。
（エ）また，引用発明３の「異なる他端末のコメントが重なって，表示された場合」と，本願発明１の「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態」とは，「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態」である点で共通する。
（オ）そして，引用発明３の「異なる他端末のコメントが重なって，表示された場合，端末を所有するユーザを選択することにより，選択されたユーザのコメントが遮蔽なく視認できるようにな」ることと，本願発明１の「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ」ることとは，「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、操作を受け付けると、重畳用データの状態を遷移させ」ている点で共通する。
（カ）引用発明３の「ユーザの入力により，ＥＣサイト上の商品ページ（購入できるサイト）にワンタッチで遷移すること」と，本願発明１の「前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力すること」とは，「操作を受け付けると、前記第１の重畳用データに応じた情報を出力する」点で共通する。
（キ）そうすると，本願発明１と引用発明３とは，以下の点で一致し，又相違する。
［一致点］
「表示部に表示すべき画像データに基準物が含まれている場合、該基準物に対応する重畳用データを前記画像データに重畳して表示する表示制御方法であって、
　前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ、
　操作を受け付けると、前記第１の重畳用データに応じた情報を出力することを特徴とする表示制御方法。」
［相違点５］
　「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ」ることについて，本願発明１は，「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態であり、かつ、前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作を受け付けると、前記第１の重畳用データを選択状態に遷移させ」ているのに対して，引用発明３は，一つの「他端末」が複数の「コメント情報１４１２」を対応付けていないために，「前記表示部に表示される基準物に対応付けられた第１の重畳用データの少なくとも一部が、該基準物に対応付けられた第２の重畳用データにより隠れた状態」とならず，又「前記第１の重畳用データが選択状態でない場合に前記第２の重畳用データに対する第１の操作」を行っていない点。
［相違点６］
　「操作を受け付けると、前記第１の重畳用データに応じた情報を出力すること」について，本願発明１が「前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力する」のに対して，引用発明３の「ユーザの入力」は如何なる操作であるのか不明である点。
イ　相違点についての判断
［相違点６］について検討すると，引用発明３において，［相違点６］に係る操作が自明の事項であるとはいえない。
　また，引用文献１，２，４及び５には［相違点６］に係る操作は記載されていないから，引用文献１，２，４及び５の記載に基づいて，引用発明３に［相違点６］に係る操作を行うことが容易であるとはいえない。
ウ　本件発明１についての，引用発明３を主たる引用発明とする検討のまとめ
　そうすると，他の相違点について検討するまでもなく，本願発明１は，引用発明３であるとはいえず，又，当業者であっても，引用発明３並びに引用文献１，２，４及び５に記載された技術的事項に基づいて容易に発明できたものであるとはいえない。
（４）本願発明１についてのまとめ
　したがって，引用発明１ないし３には，「前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力」するという技術的事項は有しておらず，また，該技術的事項は自明の事項であるともいえないから，本願発明１は，引用発明１ないし３であるとはいえない。
　さらに，引用文献４及び５にも「前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力」することは記載されていないから，引用文献１ないし５に記載された事項から，本願発明１を，当業者が容易に発明をすることができたものでない。
２　本願発明２及び３について
　本願発明２及び３は，本願発明１の「表示制御方法」の発明を，それぞれ「処理をコンピュータに実行させる情報処理プログラム」及び「情報処理装置」としたものであり，本願発明１と同様に「前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力」するという技術的事項を有している。
　そして，上記１で検討したように，「前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力」するという技術的事項は，引用発明１ないし３に記載されておらず，又自明の事項とも認められない。
　そうすると，本願発明２及び３は，引用発明１ないし３であるとはいえない。
　さらに，引用文献４及び５にも「前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力」することは記載されていないから，引用文献１ないし５に記載された事項から，本願発明２及び３を，当業者が容易に発明をすることができたものでない。
第７　原査定について
１　理由１（特許法第２９条第１項第３号）について
　審判請求時の補正により，本願発明１ないし３は，「前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力」するという事項を有するものとなっているから，本願発明１ないし３は，拒絶査定において引用された引用文献１ないし３に記載された発明であるとはいえない。したがって，原査定の理由１を維持することはできない。
２　理由２（特許法第２９条第２項）について
　審判請求時の補正により，本願発明１ないし３は，「前記第２の重畳用データにより少なくとも一部が隠れた状態である前記第１の重畳用データが選択状態である場合に前記第２の重畳用データに対する第２の操作を受け付けると、前記第１の重畳用データに応じた情報を出力」するという事項を有するものとなっているから，当業者であっても，拒絶査定において引用された引用文献１ないし５に基づいて，容易に発明できたものとはいえない。したがって，原査定の理由２を維持することはできない。
第８　むすび
　以上のとおり，原査定の理由によっては，本願を拒絶することはできない。
　また，他に本願を拒絶すべき理由を発見しない。
　よって，結論のとおり審決する。