(57)【要約】【課題】ユーザが注目する実物体を自動的に適切に決定することができる情報処理装置を提供する。【解決手段】情報処理装置１０１は、実物体を含む実空間の撮像画像を取得する撮像部２１１と、撮像画像から実物体を検出する物体検出部２１２と、物体検出部２１２の検出結果に基づいて、実物体の重なりを検出する重なり検出部２１３と、重なり検出部２１３が検出した実物体の重なりに基づいて、ユーザが注目する実物体である注目対象物を決定する注目対象物決定部２１８と、注目対象物に関連する情報を提示する提示部２１９と、を備える。【選択図】図２
2018197900.tif 000002
【特許請求の範囲】
【請求項１】
実物体を含む実空間の撮像画像を取得する撮像手段と、
前記撮像画像から実物体を検出する物体検出手段と、
前記物体検出手段の検出結果に基づいて、前記実物体の重なりを検出する重なり検出手段と、
前記重なり検出手段が検出した前記実物体の重なりに基づいて、ユーザが注目する実物体である注目対象物を決定する注目対象物決定手段と、
前記注目対象物決定手段が決定した前記注目対象物に関連する情報を提示する提示手段と、を備えることを特徴とする、
情報処理装置。
【請求項２】
前記ユーザの位置から前記物体検出手段が検出した前記実物体までの距離を検出する距離検出手段と、
前記ユーザの向きに対する前記物体検出手段が検出した前記実物体の角度を検出する相対角度検出手段と、をさらに備え、
前記注目対象物決定手段は、前記重なり検出手段が検出した前記実物体の重なりと、前記距離検出手段が検出した前記距離及び前記相対角度検出手段が検出した前記角度の少なくとも一つと、に基づいて前記注目対象物を決定することを特徴とする、
請求項１に記載の情報処理装置。
【請求項３】
前記距離検出手段は、前記撮像画像から前記ユーザの位置を検出し、検出した前記ユーザの位置と前記物体検出手段が検出した前記実物体の位置とにより、前記ユーザの位置から前記物体検出手段が検出した前記実物体までの前記距離を検出することを特徴とする、
請求項２に記載の情報処理装置。
【請求項４】
前記撮像画像から前記ユーザの視線を検出し、該視線の向きにより前記ユーザが向いている方向を検出するユーザ向き検出手段をさらに備え、
前記相対角度検出手段は、前記ユーザ向き検出手段で検出した前記ユーザの向きに対する、前記物体検出手段が検出した前記実物体の角度を検出することを特徴とする、
請求項２または３に記載の情報処理装置。
【請求項５】
前記ユーザ向き検出手段は、所定の赤外線照射装置から前記ユーザに向けて照射された赤外線の反射光に基づいて、前記ユーザの視線を検出することを特徴とする、
請求項４に記載の情報処理装置。
【請求項６】
前記物体検出手段が検出した前記実物体に対するインタラクションを検出するインタラクション検出手段をさらに備え、
前記注目対象物決定手段は、前記重なり検出手段が検出した前記実物体の重なりと、前記インタラクション検出手段が検出した検出結果と、の少なくとも一つに基づいて前記注目対象物を決定することを特徴とする、
請求項１に記載の情報処理装置。
【請求項７】
前記インタラクション検出手段がインタラクションを検出した時刻からの経過時間を算出する経過時間算出手段をさらに備え、
前記注目対象物決定手段は、前記重なり検出手段が検出した前記実物体の重なりと、前記経過時間算出手段が算出した前記経過時間に基づいて、前記注目対象物を決定することを特徴とする、
請求項６に記載の情報処理装置。
【請求項８】
前記物体検出手段の検出結果及び前記ユーザの位置に基づいて、前記物体検出手段が検出した実物体の移動方向を検出する移動方向検出手段をさらに備え、
前記注目対象物決定手段は、前記重なり検出手段が検出した前記実物体の重なりと、前記移動方向検出手段が検出した移動方向と、の少なくとも一つに基づいて前記注目対象物を決定することを特徴とする、
請求項１に記載の情報処理装置。
【請求項９】
前記移動方向検出手段は、異なる２つの時点における前記実物体の位置に基づいて、当該実物体の前記ユーザに対する移動方向を検出することを特徴とする、
請求項８に記載の情報処理装置。
【請求項１０】
前記移動方向検出手段は、異なる２つの時点における前記実物体の前記ユーザに対する角度に基づいて、当該実物体の前記ユーザに対する移動方向を検出することを特徴とする、
請求項８に記載の情報処理装置。
【請求項１１】
前記実空間の前記実物体は、当該実物体を識別するための識別子を画像化した画像コードが１以上付されており、
前記物体検出手段は、前記撮像画像から前記画像コードを抽出することで、前記撮像画像に含まれる実物体を検出し、
前記重なり検出手段は、前記撮像画像から抽出された前記画像コードに基づいて前記実物体の重なりを検出することを特徴とする、
請求項１〜１０のいずれか１項に記載の情報処理装置。
【請求項１２】
実物体を含む実空間を撮像する撮像装置から撮像画像を取得する情報処理装置により実行される方法であって、
前記撮像画像から前記実物体を検出し、
検出した前記実物体の重なりを検出し、
前記実物体の重なりに基づいて、ユーザが注目する実物体である注目対象物を決定して、当該注目対象物に関連する情報を提示することを特徴とする、
情報処理方法。
【請求項１３】
実物体を含む実空間を撮像する撮像装置から撮像画像を取得するコンピュータを、
前記撮像画像から実物体を検出する物体検出手段、
前記物体検出手段の検出結果に基づいて、前記実物体の重なりを検出する重なり検出手段、
前記重なり検出手段が検出した前記実物体の重なりに基づいて、ユーザが注目する実物体である注目対象物を決定する注目対象物決定手段、
前記注目対象物決定手段が決定した前記注目対象物に関連する情報を提示する提示手段、
として機能させるためのコンピュータプログラム。
【請求項１４】
請求項１３記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に用いることが可能なユーザインタフェースに関する。
【背景技術】
【０００２】
コンピュータ等の情報処理装置の入力インタフェースには、キーボードやマウスのような入力装置の他に、より直感的な技術が提案されている。例えば、実世界指向インタフェースと呼ばれる入力インタフェースは、現実の物理的なオブジェクト（以降、「実物体」と呼ぶ）を用いて直感的なコンピュータ操作を実現する。実世界指向インタフェースを用いた情報処理装置は、例えば、実物体を識別するための識別子、実物体の位置、実物体の動き等を撮像装置やセンサにより検出し、その検出結果に応じて処理を実行する。実物体の識別子は、例えば画像化された画像コードにより表され、当該実物体に取り付けられる。情報処理装置は、読み取られた画像コードから実物体の識別子を認識し、該識別子に関連する情報をディスプレイやプロジェクタ等の表示装置を用いて表示する。識別子の検出結果に応じた処理の一つとして、実空間に付加的な情報を重畳して提示する拡張現実（ＡＲ：Augmented Reality）がある。ＡＲを用いる場合、情報処理装置は、カメラやマイク、各種センサを用いて得たユーザやその周囲の状況に関する情報に基づいて、テキストや画像、映像など様々な形態の仮想オブジェクトにより実物体に関連する情報を可視化する。情報処理装置は、仮想オブジェクトを、実物体に関連付けられる位置に表示する。
【０００３】
ＡＲを用いてユーザに情報を提示する場合、情報の視認性が失われないことが重要である。ユーザに提示される情報が多すぎる場合、重畳して提示される仮想オブジェクトが多くなる。結果として提示する情報の視認性が低下する。特許文献１の情報処理装置は、ユーザの明示的な指示や、実物体と撮像装置との相対的な距離や角度に基づいて、ユーザが注目している実物体（以降、「注目対象物」と呼ぶ）を特定する。この情報処理装置は、注目対象物に関する情報のみを提示することで、該情報の視認性を向上させる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２１８５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ユーザに注目対象物を明示的に指示させる操作は、ユーザにとって煩わしく感じられる。実物体と撮像装置との相対的な距離や角度に基づいて自動的に注目対象物を決定する場合、適切な注目対象物が特定されない可能性がある。例えば、紙類などの薄い実物体が複数枚置いてある場合、各実物体と撮像装置の距離や角度がほぼ等しくなることがあり、適切な注目対象物の特定が困難になる。適切な注目対象物が特定されない場合、ユーザが注目していない実物体が注目対象物として特定され、ユーザが所望していない情報が提示される。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、ユーザが注目する実物体を自動的に適切に決定することができる情報処理装置を提供することを主たる目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、実物体を含む実空間の撮像画像を取得する撮像手段と、前記撮像画像から実物体を検出する物体検出手段と、前記物体検出手段の検出結果に基づいて、前記実物体の重なりを検出する重なり検出手段と、前記重なり検出手段が検出した前記実物体の重なりに基づいて、ユーザが注目する実物体である注目対象物を決定する注目対象物決定手段と、前記重なり検出手段が検出した前記実物体の重なりに基づいて、ユーザが注目する注目対象物を決定する注目対象物決定手段と、前記注目対象物決定手段が決定した前記注目対象物に関連する情報を提示する提示手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザが注目する実物体を自動的に適切に決定して、当該実物体（注目対象物）に関連する情報を適切に提示することができる。
【図面の簡単な説明】
【０００９】
【図１】システムの説明図。
【図２】（ａ）、（ｂ）は、情報処理装置の構成説明図。
【図３】（ａ）、（ｂ）は、実物体の検出処理の説明図。
【図４】（ａ）、（ｂ）は、重なりの検出処理の説明図。
【図５】（ａ）、（ｂ）は、重なりの検出処理の説明図。
【図６】（ａ）、（ｂ）は、重なりの検出処理の説明図。
【図７】注目対象物を決定して情報を提示する処理を表すフローチャート。
【図８】（ａ）〜（ｃ）は、注目対象物の決定処理の説明図。
【図９】画像コードの解析結果の例示図。
【図１０】（ａ）、（ｂ）は、情報の提示例示図。
【図１１】情報処理装置の機能ブロック図。
【図１２】注目対象物を決定して情報を提示する処理を表すフローチャート。
【図１３】（ａ）、（ｂ）は、注目対象物の決定処理の説明図。
【図１４】（ａ）、（ｂ）は、注目対象物の決定処理で生成される情報の例示図。
【図１５】（ａ）、（ｂ）は、注目対象物の決定処理の説明図。
【図１６】情報処理装置の機能ブロック図。
【図１７】注目対象物を決定して情報を提示する処理を表すフローチャート。
【図１８】（ａ）〜（ｃ）は、注目対象物の決定処理の説明図。
【図１９】画像コードの解析結果の例示図。
【図２０】（ａ）〜（ｃ）は、注目対象物の決定処理の説明図。
【図２１】（ａ）〜（ｃ）は、注目対象物の決定処理の説明図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して実施の形態を詳細に説明する。
【００１１】
＜第１実施形態＞
図１は、本実施形態の情報処理装置を含むシステムの説明図である。システム１００は、情報処理装置１０１、撮像装置１０２、及び出力装置１０３を備える。情報処理装置１０１、撮像装置１０２、及び出力装置１０３は、一体に構成されていてもよく、それぞれ独立して設けられてもよい。情報処理装置１０１は、撮像装置１０２により撮像された実空間の撮像画像を取得し、取得した撮像画像に基づく処理を実行する。情報処理装置１０１は、処理の実行結果を出力装置１０３により出力する。
【００１２】
本実施形態では、実物体がテーブル１０４上に載置される。撮像装置１０２は、テーブル１０４及びテーブル１０４の傍のユーザ１０５の実空間を撮像範囲に含むように配置される。撮像装置１０２は、例えばカメラであり、実空間の状況を検出するための画像を撮像する。撮像装置１０２が撮像した画像（撮像画像）には、テーブル１０４上の実物体、テーブル１０４周辺のユーザ１０５等の画像が含まれる。情報処理装置１０１は、撮像画像から実物体及びユーザ１０５を検出する。
【００１３】
出力装置１０３は、テーブル１０４全体に画像を表示できるように配置される。出力装置１０３により、例えばテーブル１０４上に処理の実行結果や、実物体に関連する情報を表す画像が表示される。出力装置１０３は、本実施形態ではプロジェクタであって、テーブル１０４上の投影可能領域に、ＣＰＵ２０１の指示に応じて画像を投影する。なお、出力装置１０３は、例えば、テーブル１０４の面に設けられるディスプレイや、ヘッドマウントディスプレイであってもよい。
【００１４】
（情報処理装置の構成）
図２は、情報処理装置１０１の構成説明図である。図２（ａ）は、情報処理装置１０１のハードウェア構成図である。図２（ｂ）は、情報処理装置１０１の機能ブロック図である。
【００１５】
情報処理装置１０１は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、ＲＯＭ（Read Only Memory）２０３、及びＩ／Ｏインタフェース２０４を備える。情報処理装置１０１は、Ｉ／Ｏインタフェース２０４を介して撮像装置１０２及び出力装置１０３に接続される。ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、及びＩ／Ｏインタフェース２０４は、バスを介して通信可能に接続される。ＣＰＵ２０１は、ＲＯＭ２０３からコンピュータプログラムを読み込み、ＲＡＭ２０２を作業領域として実行することで、システム１００全体の動作の制御を行う。なお、ＣＰＵ２０１は、図示しない外部記憶装置等からコンピュータプログラムを読み込んで実行する構成であってもよい。Ｉ／Ｏインタフェース２０４は、撮像装置１０２から撮像画像を取得してＣＰＵ２０１へ送信し、ＣＰＵ２０１からの指示を出力装置１０３へ送信する。
【００１６】
情報処理装置１０１は、撮像部２１１、物体検出部２１２、重なり検出部２１３、ユーザ位置検出部２１４、ユーザ向き検出部２１５、距離検出部２１６、相対角度検出部２１７、注目対象物決定部２１８、及び提示部２１９として機能する。各機能ブロックは、ＣＰＵ２０１がコンピュータプログラムを実行することで実現される。なお、機能ブロックの少なくとも一部は、ハードウェアにより実現されてもよい。
【００１７】
撮像部２１１は、撮像装置１０２の動作を制御し、撮像装置１０２から実空間の撮像画像を取得する。
【００１８】
物体検出部２１２は、撮像部２１１が取得した撮像画像に基づいて、撮像画像内の実物体を検出する。実物体には、当該実物体を識別するための識別子を画像化した画像コードが１以上付される。物体検出部２１２は、撮像画像から画像コードを抽出してこれを解析し、識別子を検出する。物体検出部２１２は、実物体の撮像装置内の位置や角度として、撮像画像内における画像コードの位置や、所定の位置に配置された撮像装置１０２の視線に対する画像コードの角度を検出する。なお、本実施形態では、角度θは−１８０度＜θ≦１８０度で表される。物体検出部２１２は、検出した画像コードの位置や角度と、予めＲＡＭ２０２に保持してある実物体と画像コードとの関係を示す登録情報と、に基づいて実物体の位置を検出してもよい。登録情報は、実物体毎にＲＡＭ２０２に保持されている。
【００１９】
図３は、物体検出部２１２による実物体の検出処理の説明図である。図３（ａ）は、実物体に取り付けられる画像コードの位置を例示する。本実施形態の実物体は、シートである。なお、実物体としては、複数枚のシートが束ねられたものであってもよい。シート１０は、矩形であり、四隅に画像コード１１〜１４が設けられる。シート１０には、仮想オブジェクトである関連情報が紐付けられる。注目対象物として決定されたシートに紐付けられた仮想オブジェクトが、出力装置１０３から出力される。図３（ｂ）は、予めＲＡＭ２０２に保持される、実物体と画像コードとの関係を表す登録情報の例示図である。この登録情報は、例えば実物体の識別子、実物体に対する画像コードの位置及び角度、画像コードの識別子、実物体のサイズ（幅、高さ）を含む。図３（ｂ）の登録情報は、図３（ａ）の実物体に対するものであり、この実物体の識別子が「シート１０」で表され、各画像コード１１〜１４を識別する画像コード識別子が「１１」〜「１４」で表される。画像コード識別子は、画像コード内に、実物体の識別子とともに埋め込まれている。実物体に対する画像コードの位置は、例えば実物体の左上端を原点とした２次元座標により表される。実物体に対する画像コードの角度は、実物体を上方の所定の位置から見たときに、実物体の中心からの画像コードのずれを表す。
【００２０】
撮像画像内の位置は、撮像画像の左上端を原点（０，０）として２次元座標（ｘ，ｙ）で表される。撮像画像内の位置は、撮像画像の右にいくほどｘ軸の値が増加し、撮像画像の下に行くほどｙ軸の値が増加する。
物体検出部２１２による撮像画像内の画像コード１１の検出位置が（２００，２００）である場合のシート１０の位置の検出処理について説明する。登録情報では、実物体に対する画像コード１１の位置が（５，５）であり、実物体の幅が「１００」、実物体の高さが「２００」である。従って、撮像画像におけるシート１０の中心位置は、画像コード１１から見てｘ軸方向に１００／２−５＝４５、ｙ軸方向に２００／２−５＝９５ずれた位置となる。物体検出部２１２は、画像コード１１の検出位置が撮像画像内において（２００，２００）であるときに、シート１０の中心位置が（２００＋４５，２００＋９５）＝（２４５，２９５）であると算出する。撮像画像における画像コード１０の角度の検出値が０度である場合、物体検出部２１２は、登録情報における実物体に対する画像コード１０の角度が１０度であることから、撮像画像における実物体の角度を０＋１０＝１０度であると算出する。なお、物体検出部２１２は、撮像画像に画像コードが含まれていない場合に、実物体の形状や色に基づいて実物体の識別子や位置、角度を検出してもよい。
【００２１】
重なり検出部２１３は、撮像画像内の実物体の重なりを検出する。重なり検出部２１３は、重なりの検出により、撮像画像で重なりの一番上にある実物体を検出する。重なり検出部２１３が検出する「重なり」は、例えば、複数の実物体が重なっているか否か、所定の実物体が他の実物体により隠されている領域の程度を示す値（以降、「重なり値」と呼ぶ）、及び一番上にある実物体はいずれであるか、の少なくとも一つを示す。重なり検出部２１３による処理の詳細は後述する。
【００２２】
ユーザ位置検出部２１４は、撮像画像から、ユーザ１０５の撮像画像内の位置を検出する。ユーザ位置検出部２１４は、例えば、顔検出技術を用いて撮像画像からユーザ１０５の顔を検出する。ユーザ位置検出部２１４は、ユーザ１０５の顔の位置や目の位置、鼻の位置、口の位置をユーザ１０５が存在する位置として検出する。ユーザ位置検出部２１４は、例えば、頭部検出技術を用いてユーザ１０５の頭部を検出し、検出した頭部の位置をユーザ１０５が存在する位置としてもよい。ユーザ１０５の位置は、例えば、テーブル１０４に対しユーザ１０５が座る椅子が床に固定されている等の理由で撮像装置１０２に対してユーザ１０５が存在する位置が明確に決まっている場合などは、明示的に指示されてよい。
【００２３】
ユーザ向き検出部２１５は、撮像画像から、ユーザ１０５が向いている方向を検出する。ユーザ向き検出部２１５は、例えば、視線検出技術を用いてユーザ１０５の視線方向を検出し、検出した視線方向に基づいてユーザ１０５が向いている方向を検出する。視線方向の検出は、例えば、撮像装置１０２から取得した撮像画像を解析して、目頭や目じりの位置を検出し、その位置に対する虹彩の位置から視線を検出することで行われる。また、ユーザ１０５の正面に赤外線照射装置及び撮像装置１０２が設置される場合、ユーザ向き検出部２１５は、目の角膜による赤外線の反射光により視線を検出してもよい。また、撮像装置１０２がユーザ１０５の目を撮像する場合、ユーザ向き検出部２１５は、撮像画像を解析して、ユーザ１０５の目に映る実空間の様子によりユーザ１０５の視線を検出してもよい。また、撮像装置１０２がユーザ１０５の顔と目を撮像する場合、ユーザ向き検出部２１５は、撮像画像を解析して、ユーザ１０５の顔の向きと黒目の位置から視線を検出してもよい。
なお、ユーザ１０５が加速度センサ、ジャイロセンサ、地磁気センサ等のセンサを身につける場合、ユーザ向き検出部２１５は、１以上のセンサによる検出値に基づいて、ユーザ１０５が向いている方向を検出してもよい。この場合、加速度センサ、ジャイロセンサ、地磁気センサ等のセンサは、例えばメガネ型ディスプレイやヘッドマウントディスプレイに内蔵されて、ユーザ１０５に装着される。
【００２４】
距離検出部２１６は、撮像画像内において、ユーザ１０５の位置から所定の実物体の位置までの距離を検出する。具体的には、距離検出部２１６は、物体検出部２１２が検出した実物体の位置と、ユーザ位置検出部２１４が検出したユーザ１０５の位置とに基づいて、ユーザ１０５の位置から所定の実物体の位置までの撮像画像内の距離を検出する。
【００２５】
相対角度検出部２１７は、所定の実物体の、ユーザ１０５が向いている方向に対する相対角度を検出する。具体的には、相対角度検出部２１７は、物体検出部２１２が検出した実物体の角度と、ユーザ向き検出部２１５が検出したユーザの向きとに基づいて、ユーザ１０５が向いている方向に対する所定の実物体の撮像画像内の相対角度を検出する。
【００２６】
注目対象物決定部２１８は、重なり検出部２１３の検出結果と、距離検出部２１６の検出結果及び相対角度検出部２１７の検出結果の少なくとも一つと、に基づいて、ユーザ１０５が注目する注目対象物を決定する。提示部２１９は、出力装置１０３を用いて、注目対象物決定部２１８が決定した注目対象物に関連する情報をユーザ１０５に提示する。
【００２７】
（重なり検出部２１３による処理の詳細）
図４〜図６は、重なり検出部２１３による重なりの検出処理の説明図である。実物体であるシートは、それぞれ画像コードが付されている。重なり検出部２１３は、画像コードの位置や検出数により、シートの重なりを検出する。図４は、複数の実物体の一部が重なっている場合の処理を表す。図５は、一部が重なっている実物体と、まったく重なっていない実物体と、が混在する場合の処理を表す。図６は、複数の実物体のサイズが異なり、一の実物体の上に他の実物体が完全に重なっている場合の処理を表す。
【００２８】
図４（ａ）は、複数（ここでは２つ）の実物体（シート１０、２０）の一部が重なった状態を表す。シート１０、２０のそれぞれについて複数の画像コードが付されている。図４（ａ）の例では、画像コードは、各シート１０、２０のそれぞれの四隅及び中心の５箇所に付される。重なり検出部２１３は、撮像画像を解析して、各シート１０、２０における画像コードの検出数を取得する。重なり検出部２１３は、取得した画像コードの検出数に基づいて重なり値を算出する。重なり値は、小さいほど、他の実物体により隠れている領域が小さいことを表す。
【００２９】
図４（ｂ）は、図４（ａ）の状態の２枚のシート１０、２０から、一番上にあるシートを検出する処理を表すフローチャートである。
【００３０】
重なり検出部２１３は、実物体に付されている画像コード数を取得する（Ｓ４０１）。ここでは、重なり検出部２１３は、シート１０、２０に、それぞれ５つの画像コードが付されている旨を示す情報を取得する。この情報は、ＲＡＭ２０２に保持される登録情報に含まれる。重なり検出部２１３は、物体検出部２１２の検出結果より、撮像画像から検出された実物体毎の画像コード数を取得する（Ｓ４０２）。重なり検出部２１３は、シート１０について２つ、シート２０について５つの画像コードを検出したとういう旨を示す情報を取得することになる。
【００３１】
重なり検出部２１３は、各シート１０、２０に付されている画像コード数及び撮像画像から検出された画像コード数により、実物体（シート１０、２０）毎の重なり値を算出する（Ｓ４０３）。重なり検出部２１３は、シート１０の重なり値が（５−２）／５＝３／５、シート２０の重なり値が（５−５）／５＝０であると算出する。他の実物体により画像コードが隠されている数が多いほど、重なり値が大きくなる。重なり検出部２１３は、重なり値により一番上に載置された実物体を検出する（Ｓ４０４）。図４（ａ）の場合、シート２０の重なり値が、シート１０の重なり値よりも小さいため、重なり検出部２１３は、シート１０の上にシート２０が載置されていることを検出する。
【００３２】
なお、１つの実物体について１以上の画像コードが付されている場合、ＲＡＭ２０２に保持される登録情報の、画像コードの識別子、実物体における画像コードの位置情報、及び実物体のサイズの少なくとも一つに基づいて、重なりが検出可能である。例えば、画像コードがシートの左上端に１つ付され且つ複数のシートが同じ向き（例えば画像コードが左上端になるよう）に揃えられてテーブル１０４に載置される場合、重なり検出部２１３は、以下のように重なりを検出する。すなわち重なり検出部２１３は、複数のシートから検出された複数の画像コードのうち、撮像画像内で画像コードの位置が右又は下にあるシートほど、他のシートの上に載置されていると検出する。また、重なり検出部２１３は、実物体同士の距離と、実物体に対する画像コードの位置とに基づいて、重なりを検出してもよい。
【００３３】
図５（ａ）は、複数（ここでは４つ）の実物体（シート）のうち、２つの実物体（シート１０、２０）の一部が重なり、他の２つの実物体（シート３０、４０）がまったく重なっていない状態を表す。各シート１０〜４０のそれぞれの左上端に画像コードが付されている。各シート１０〜４０の登録情報は、ＲＡＭ２０２に保持されている。
【００３４】
撮像画像の２次元座標系において、テーブル１０４は、左上端が（０，０）、右上端が（２０００，０）、左下端が（０，１０００）、右上端が（２０００，００００）、右下端が（２０００，１０００）で表される。物体検出部２１２は、４つの画像コード１１、２１、３１、４１を検出する。ここでは、検出された４つの画像コード１１、２１、３１、４１の位置は、（１００，１００）、（１５０，１２０）、（３００，１００）、（１５０，４００）である。物体検出部２１２は、４つの画像コード１１、２１、３１、４１の位置を、各シート１０〜４０の位置として検出する。
【００３５】
図５（ｂ）は、図５（ａ）の状態の４枚のシート１０〜４０から、一番上にあるシートを検出する処理を表すフローチャートである。
【００３６】
重なり検出部２１３は、ＲＡＭ２０２に保持される登録情報から、実物体に対する画像コードの位置を示す情報を取得する（Ｓ５０１）。ここで、重なり検出部２１３は、シートに対する画像コードの付された位置が、シートの左上端であるという旨を示す情報を同時に取得する。重なり検出部２１３は、物体検出部２１２から、撮像画像から検出された各画像コードの位置を取得する（Ｓ５０２）。重なり検出部２１３は、取得した各画像コードの位置により、画像コード間の距離を算出する（Ｓ５０３）。
【００３７】
重なり検出部２１３は、算出した画像コード間の距離に基づいて、実物体の重なり判定を行う（Ｓ５０４）。画像コード１１と画像コード２１とは、ｘ軸方向の距離がシートの幅「１００」より小さい。また、画像コード１１と画像コード２１とは、ｙ軸方向の距離がシートの高さ「２００」より小さい。そのために重なり検出部２１３は、画像コード１１が付されたシート１０と画像コード２１が付されたシート２０とが重なっていると判定する。
【００３８】
図５（ａ）では、画像コードが各シート１０〜４０の左上端に付されており、各シート１０〜４０が同じ向き（画像コードが左上端になるよう）に揃えてテーブル１０４に載置される。そのために重なり検出部２１３は、重なっていると判定された実物体のうち、画像コードが撮像画像内で最も右下に位置する実物体を一番上の実物体として検出する（Ｓ５０５）。ここでは、重なり検出部２１３は、画像コード１１よりも右下に位置する画像コード２１が付されたシート２０を、シート１０の上に載置されている一番上のシートとして検出する。
【００３９】
重なり検出部２１３は、他の実物体に重なっていない実物体を、一番上の実物体として検出する（Ｓ５０６）。図５（ａ）の場合、画像コード１１と画像コード３１とは、ｘ軸方向の距離がシートの幅「１００」より大きい。そのために重なり検出部２１３は、Ｓ５０４の重なり判定処理において、画像コード１１が付されたシート１０と画像コード３１が付されたシート３０とが重なっていないと判定する。同様に重なり検出部２１３は、画像コード２１と画像コード３１とのｘ軸方向の距離がシートの幅「１００」より大きいために、シート２０とシート３０とが重なっていないと判定する。同様に重なり検出部２１３は、画像コード４１と他の画像コード１１〜３１までのｙ軸方向の距離がシートの高さ「２００」より大きいために、画像コード４１が付されたシート４０と、他のシート１０〜３０とが重なっていないと判定する。そのために重なり検出部２１３は、画像コード３１が付されたシート３０及び画像コード４１が付されたシート４０を、一番上のシートとして検出する。
【００４０】
以上の処理により、重なり検出部２１３は、画像コード２１、３１、４１が付されたシート２０、３０、４０を、一番上にある実物体であるとして検出する。登録情報が実物体のサイズや画像コードのサイズ、実物体における画像コードの角度等を含む場合、重なり検出部２１３は、登録情報に含まれる実物体のサイズと、撮像画像から検出した画像コードの位置と、に基づいて実物体の重なりを検出してもよい。例えば、重なり検出部２１３は、撮像画像から検出された２つの画像コードの位置に基づいて画像コード間の距離を算出し、算出した距離が、登録情報に含まれる実物体のサイズよりも大きいか否かを判定する。重なり検出部２１３は、算出した距離が実物体のサイズより大きい場合に実物体が重なっていないと判定し、算出した距離が実物体のサイズより小さい場合に実物体が重なっていると判定する。また、重なり検出部２１３は、登録情報に含まれる実物体のサイズと、撮像画像から検出した画像コードの位置と、に基づいて重なり値を算出してもよい。
【００４１】
図６（ａ）は、複数の実物体のサイズが異なり、一の実物体（シート１０）の上に他の実物体（シート２０）が完全に重なっている状態を表す。各シート１０，２０は、それぞれ四隅に画像コードが付されている。この場合、重なり検出部２１３は、撮像画像から検出される画像コード数と、登録情報に含まれる実物体のサイズとに基づいて、一番上に載置される実物体を検出する。
【００４２】
図６（ｂ）は、図６（ａ）の状態の２枚のシート１０、２０から、撮像画像で重なりの一番上にあるシートを検出する処理を表すフローチャートである。
【００４３】
重なり検出部２１３は、ＲＡＭ２０２に保持される登録情報から、実物体に付されている画像コード数を取得する（Ｓ６０１）。ここでは、重なり検出部２１３は、シート１０、２０に、それぞれ４つの画像コードが付されている旨を示す情報を取得する。重なり検出部２１３は、物体検出部２１２の検出結果より、撮像画像から検出された実物体毎の画像コード数を取得する（Ｓ６０２）。重なり検出部２１３は、シート１０、２０のそれぞれについて４つの画像コードを検出したという旨を示す情報を取得することになる。
【００４４】
重なり検出部２１３は、各シート１０、２０に付されている画像コード数及び撮像画像から検出された画像コード数により、実物体（シート１０、２０）毎の重なり値を算出する（Ｓ６０３）。重なり検出部２１３は、シート１０、２０のいずれもが４つすべての画像コードを検出されているために、シート１０、２０の重なり値をそれぞれ（４−４）／４＝０であると算出する。重なり検出部２１３は、物体検出部２１２が撮像画像から検出した実物体の位置に基づいて、実物体間の距離を算出する（Ｓ６０４）。ここでは、重なり検出部２１３は、シート１０とシート２０との位置に基づいて、シート１０とシート２０との間の距離を算出する。
【００４５】
重なり検出部２１３は、算出した実物体間の距離（シート１０とシート２０との間の距離）が所定範囲以内であるか否かを判定する（Ｓ６０５）。所定範囲は、実物体のサイズに基づいて、例えば０〜［［｛（２つの実物体の幅の和）／２｝＾２＋｛（２つの実物体の高さの和）／２｝＾２］＾１／２］の範囲に設定される。シート１０とシート２０との間の距離が所定範囲以内である場合（Ｓ６０５：Y）、重なり検出部２１３は、複数の実物体（シート１０、シート２０）のそれぞれの重なり値が同値であるか否かを判定する（Ｓ６０６）。重なり値が同値である場合（Ｓ６０６：Y）、重なり検出部２１３は、複数の実物体（シート１０、シート２０）が重なっていると判定する。
【００４６】
複数の実物体が重なっていると判定した重なり検出部２１３は、登録情報の実物体（シート１０、シート２０）のサイズに基づいて、各実物体（シート１０、シート２０）の面積を算出する（Ｓ６０７）。重なり検出部２１３は、算出した面積が最も小さい実物体を一番上に載置された実物体として検出する（Ｓ６０８）。図６（ａ）の場合、シート２０の面積がシート１０の面積よりも小さいために、シート１０の上にシート２０が載置されていることを検出する。
【００４７】
シート１０とシート２０との間の距離が所定範囲以内でない場合（Ｓ６０５：N）、或いは重なり値が同値でない場合（Ｓ６０６：N）、重なり検出部２１３は、重なり値に基づいて一番上に載置された実物体を検出する（Ｓ６０９）。この処理は、図４（ｂ）のＳ４０４の処理と同様の処理である。
【００４８】
重なり検出部２１３は、実物体に画像コードが付されていない場合、撮像画像から実物体の輪郭の長さ、位置、実物体の面積を算出し、これらの算出結果に応じて、実物体の重なりを検出してもよい。また、登録情報に各実物体の画素情報を保持する場合、重なり検出部２１３は、撮像画像から検出した画素情報と、登録情報に含まれる画素情報との一致度に基づいて、実物体の重なりを検出してもよい。画素情報とは、具体的には、画像における各画素の明るさや色などの情報のことである。例えば、重なり検出部２１３は、予め登録情報の一つとして各実物体を撮像した画像を保持しておき、登録情報の画像の各画素の色や明るさと、撮像部２１１が撮像した撮像画像の各画素の色や明るさとを比較する。重なり検出部２１３は、登録情報の画素情報と撮像画像の画素情報との一致度が高い実物体が、他の実物体の上に載置されていると判定する。図６に示すように２枚のシートが重なっている場合、例えば、シート１０はシート２０によって半分程度隠れるため、登録情報の画素情報のうち半分程度しか一致せず、一致度が５０％である。また、シート２０はすべて見えているため、登録情報との一致度が１００％であする。この場合、重なり検出部２１３は、シート２０を一番上に載置された実物体として検出する。
【００４９】
（注目対象物の決定処理）
図７は、ユーザが注目する実物体である注目対象物を決定して情報を提示する処理を表すフローチャートである。この処理は、情報処理装置１０１の起動時に開始され、終了の指示があるまで繰り返し実行される。
【００５０】
撮像部２１１は、撮像装置１０２から撮像画像を取得する（Ｓ７０１）。物体検出部２１２は、撮像部２１１で取得した撮像画像に含まれるすべての実物体に付される画像コードを抽出し、これを解析する。これにより物体検出部２１２は、撮像画像に含まれるすべての実物体の識別子、撮像画像内における実物体の位置、及び撮像画像内における実物体の角度を検出する（Ｓ７０２）。重なり検出部２１３は、図４〜図６で説明したような重なりの検出処理を行う（Ｓ７０３）。これにより撮像画像中で最も上にある実物体が検出される。
【００５１】
ユーザ位置検出部２１４は、撮像画像から、ユーザ１０５の位置を検出する（Ｓ７０４）。ユーザ位置検出部２１４は、例えば顔検出技術を用いて、撮像画像からユーザ１０５の顔の位置を、ユーザ１０５の位置として検出する。ユーザ向き検出部２１５は、撮像画像から、ユーザ１０５が向いている方向を検出する（Ｓ７０５）。ユーザ向き検出部２１５は、例えば視線検出技術を用いて、撮像画像からユーザ１０５の視線方向を、ユーザ１０５が向いている方向として検出する。
【００５２】
距離検出部２１６は、撮像画像内におけるユーザ１０５の位置と実物体の位置とに基づいて、ユーザ１０５から実物体までの距離を検出する（Ｓ７０６）。相対角度検出部２１７は、ユーザ１０５が向いている方向に対する実物体の相対角度を検出する（Ｓ７０７）。Ｓ７０６、Ｓ７０７の処理は、撮像画像内に含まれるすべての実物体に対して行われる。
【００５３】
注目対象物決定部２１８は、重なり検出部２１３による検出結果と、距離検出部２１６による検出結果及び相対角度検出部２１７による検出結果の少なくとも一つと、に基づいて、ユーザ１０５が注目する注目対象物を決定する（Ｓ７０８）。提示部２１９は、注目対象物決定部２１８が決定した注目対象物に関連する情報を出力装置１０３によりユーザ１０５に提示する（Ｓ７０９）。以上の処理により、情報処理装置１０１は、撮像画像に含まれる１以上の実物体からユーザ１０５が注目する注目対象物を適切に決定し、該注目対象物に関連する情報を出力することができる。
【００５４】
このようなシステム１００は、実物体を入力インタフェースとして用いた処理が可能である。例えば、情報処理装置１０１は、撮像装置１０２の撮像範囲内の実物体とユーザ１０５との状況に応じて、入力を受け付ける。情報処理装置１０１は、受け付けた入力に応じた処理を行い、出力装置１０３によりユーザに処理の結果や情報を提供する。
【００５５】
（運用形態）
図８は、ユーザ１０５の目の前にあるテーブル１０４上に、実物体である３枚のシート１０、２０、３０が載置される場合の注目対象物の決定処理の説明図である。各シート１０、２０、３０は、四隅及び中心の合計５箇所に画像コード１１〜１５、２１〜２５、３１〜３５が付される。図４（ｂ）及び図７のフローチャートに沿って説明する。
【００５６】
撮像装置１０２は、図８（ａ）に示すテーブル１０４周辺を含む撮像範囲を撮像する。撮像部２１１は、撮像装置１０２から撮像画像を取得する（Ｓ７０１）。物体検出部２１２は、撮像画像に含まれるすべてのシート１０、２０、３０に付される画像コードを抽出し、これを解析する。これにより物体検出部２１２は、撮像画像に含まれるすべてのシート１０、２０、３０について、識別子、撮像画像内における位置、及び撮像画像内における角度を検出する（Ｓ７０２）。図８（ａ）では、シート１０の画像コード１１、１３、１４、シート２０の画像コード２１〜２５、シート３０の画像コード３１〜３５が解析される。図９は、画像コードの解析結果の例示図である。
【００５７】
重なり検出部２１３は、登録情報から各シート１０〜３０に付されている画像コード数を取得する（Ｓ４０１）。重なり検出部２１３は、物体検出部２１２の検出結果により、シート１０は２つ、シート２０及びシート３０は５つの画像コードをそれぞれ検出した旨を示す情報を取得する（Ｓ４０２）。重なり検出部２１３は、シート１０の重なり値（５−２）／５＝３／５、シート２０、３０の各重なり値（５−５）／５＝０を算出する（Ｓ４０３）。重なり検出部２１３は、シート２０とシート３０との重なり値が同値であり、且つシート１０の重なり値よりも小さいため、シート２０とシート３０とが一番上に載置されていると検出する（Ｓ４０４）。
【００５８】
ユーザ位置検出部２１４は、ユーザ１０５の位置として、顔検出技術を用いて、撮像画像からユーザ１０５の顔の位置を検出する（Ｓ７０４）。ここでは、撮像画像内の顔の位置（ｘ，ｙ）を（９００，１０１０）とする。ユーザ向き検出部２１５は、視線検出技術を用いて、撮像画像からユーザ１０５の視線方向θ１を検出する（Ｓ７０５）。ここでは、視線方向θ１を、基準となる０度とする。すなわち、ユーザが向いている方向は０度である。
【００５９】
距離検出部２１６は、撮像画像内のユーザ１０５の位置（９００，１０１０）と、画像コードの解析結果から得られたシート２０の位置（９００，８００）（図９参照）とに基づいて、ユーザ１０５からシート２０までの距離ｄ１を検出する。距離ｄ１は、ｄ１＝｛（９００−９００）＾２＋（１０１０−８００）＾２｝＾１／２＝２１０となる。同様に、距離検出部２１６は、ユーザ１０５からシート３０までの距離ｄ２＝３３４を検出する（Ｓ７０６）。また、距離検出部２１６は、ユーザ１０５からシート１０までの距離も同様に検出する。図８（ｂ）は、ユーザ１０５からシート２０までの距離ｄ１及びユーザ１０５からシート３０までの距離ｄ２を表す。
【００６０】
相対角度検出部２１７は、ユーザ１０５が向いている方向（視線方向区θ１）に対するシート２０の相対角度を検出する。相対角度検出部２１７は、シート２０が向いている角度θ２を物体検出部２１２から取得する。ここでは、角度θ２を１８０度とする（図９参照）。そのためにユーザ１０５が向いている方向に対するシート２０の相対角度は、｜１８０−０｜＝１８０となる。同様に、相対角度検出部２１７はシート３０の相対角度θ３＝１８０（図９参照）を検出する（Ｓ７０７）。図８（ｃ）は、ユーザ１０５が向いている方向（視線方向区θ１）に対する、シート２０の相対角度θ２及びシート３０の相対角度θ３を表す。
【００６１】
注目対象物決定部２１８は、重なり検出部２１３の検出結果と、距離検出部２１６の検出結果及び相対角度検出部２１７の検出結果の少なくとも一つと、に基づいてユーザ１０５が注目する注目対象物を決定する（Ｓ７０８）。例えば、注目対象物決定部２１８は、一番上に載置され、且つユーザが向いている方向に対する相対角度が所定範囲内である実物体を注目対象物候補とし、注目対象物候補の中でユーザ１０５との距離が最も小さい実物体を注目対象物として決定する。図８の例では、一番上にあるシートは、シート２０及びシート３０である。ユーザ１０５が向いている方向に対する相対角度が所定範囲内とは、例えば１６０＜相対角度の絶対値｜θ｜＜２００である。シート２０及びシート３０は、いずれも相対角度の絶対値が「１８０」であるため、所定範囲内である。注目対象物決定部２１８は、シート２０とシート３０とのうち、ユーザ１０５との距離が最も小さいシート２０を注目対象物として決定する。提示部２１９は、注目対象物であるシート２０に関連する情報である仮想オブジェクトを出力装置１０３により提示する（Ｓ７０９）。
【００６２】
図１０は、出力装置１０３による情報の提示例示図である。図１０（ａ）は、本実施形態により注目対象物を決定した場合の提示例示図である。注目対象物の情報のみを提示するために、情報の視認性が向上する。そのためにユーザ１０５は、必要とする仮想オブジェクト（シート２０の情報）をすぐに確認することができる。図１０（ｂ）は、従来のすべてのシートが注目対象物になる場合の提示例示図である。
【００６３】
シート１０〜３０は、薄いために、撮像装置１０２からの距離が撮像装置１０２からテーブル１０４までの距離と等しくなる。シート１０〜３０は、それぞれの距離が近いために、撮像装置１０２の視線に対する角度が略同じである。そのために、従来のように撮像装置１０２から各シート１０〜３０までの距離や角度により注目対象物を決定すると、すべてのシート１０〜３０が注目対象物となる。すべてのシート１０〜３０が注目対象物となって、シート１０〜３０の周囲にそれぞれの情報（仮想オブジェクト）が表示されるために、図１０（ｂ）に示すように各情報の視認性が低くなる。
【００６４】
以上の説明では、注目対象物決定部２１８は、一番上にあり、且つユーザ１０５が向いている方向に対する相対角度が所定範囲内である実物体の中で、ユーザ１０５との距離が最も小さい実物体を注目対象物として決定している。この他に注目対象物決定部２１８は、例えば、一番上にあり、且つユーザ１０５が向いている方向に対する相対角度が所定範囲内であり、且つユーザ１０５との距離が所定範囲以内であるすべての実物体を注目対象物としてもよい。また、以上の説明では、重なり値が最小の実物体を一番上にあると判定しているが、これに限るものではなく、例えば、重なり値が所定値未満であるすべての実物体を一番上にあると判定してもよい。
【００６５】
以上のように本実施形態の情報処理装置１０１は、実物体の重なりと、実物体とユーザ１０５との位置関係と、の少なくとも一つにより、適切に注目対象物を決定する。そのために情報処理装置１０１は、提示する情報が多数ある場合であっても、ユーザ１０５が注目している実物体に関連する情報のみを提示して、視認性を向上させることができる。
【００６６】
＜第２実施形態＞
情報処理装置１０１は、ユーザ１０５が実物体に対してインタラクションしているか否かの判定や、各実物体における直近のインタラクション発生時刻から現在時刻までの経過時間に応じて、注目対象物を決定してもよい。例えば、情報処理装置１０１は、ユーザ１０５がシートを手で押さえて閲覧している場合、シートに触れていることを「インタラクションしている」とみなして、当該シートを注目対象物として決定する。情報処理装置１０１は、例えば、ユーザ１０５がシートをテーブル１０４上に置いた際に「インタラクションが発生した」と判定する。情報処理装置１０１は、インタラクションの発生時刻から現在時刻までの経過時間を算出し、算出した経過時間に基づいて直近にインタラクションが発生した実物体を注目対象物として決定する。また、例えば、情報処理装置１０１は、手の進入位置や進入方向に基づいて情報処理装置１０１を主に使用しているユーザか否かを判定し、その判定結果に基づいて注目対象物を決定してもよい。
【００６７】
この場合のシステム１００の全体構成は図１に示したものと同様であるので説明を省略する。情報処理装置１０１のハードウェア構成は図２（ａ）に示したものと同様であるので説明を省略する。情報処理装置１０１の機能ブロックは図２（ｂ）に示したものと異なる。
【００６８】
図１１は、情報処理装置１０１の機能ブロック図である。情報処理装置１０１は、撮像部２１１、物体検出部２１２、重なり検出部２１３、注目対象物決定部２１８、提示部２１９、インタラクション検出部２２１、及び経過時間算出部２２２として機能する。各機能ブロックは、ＣＰＵ２０１がコンピュータプログラムを実行することで実現される。なお、機能ブロックの少なくとも一部は、ハードウェアにより実現されてもよい。撮像部２１１、物体検出部２１２、重なり検出部２１３、注目対象物決定部２１８、及び提示部２１９は、図２（ｂ）のものと同様であるので説明を省略する。
【００６９】
インタラクション検出部２２１は、ユーザ１０５のインタラクションを検出する。インタラクションは、実物体に対するユーザ１０５の動作であり、例えば、実物体をテーブル１０４上から取る、実物体をテーブル１０４に置く、実物体を触る、実物体を移動させる等である。インタラクション検出部２２１は、インタラクションの発生を検出した際に、検出時刻をインタラクション発生時刻としてＲＡＭ２０２に保持する。同時に、インタラクション検出部２２１は、インタラクションがあった実物体の識別子をＲＡＭ２０２に保持する。
【００７０】
インタラクション検出部２２１は、例えば、撮像画像から手検出技術を用いて検出した手の検出結果と、実物体に付されている画像コードの検出結果と、に基づいてユーザ１０５の手が実物体に触れているか否かを検出する。手が実物体に触れている場合、インタラクション検出部２２１は、インタラクションの発生を検出する。
インタラクション検出部２２１は、例えば、実物体に付されている画像コードの検出結果をトラッキングし、検出した画像コードの位置が変化する場合に、実物体が移動したと判定する。インタラクション検出部２２１は、実物体の移動をユーザ１０５が実物体を動かしたとして認識し、インタラクションの発生を検出する。
インタラクション検出部２２１は、２つの異なる時点における物体検出部２１２の検出結果により、所定の時点では検出していなかった実物体をそれ以降の時点で検出した場合に、実物体がテーブル１０４に置かれたと判定する。この場合、インタラクション検出部２２１は、インタラクションの発生を検出する。
【００７１】
経過時間算出部２２２は、インタラクション検出部２２１がＲＡＭ２０２に保持したインタラクション発生時刻から現在時刻までの経過時間を算出する。
【００７２】
図１２は、ユーザが注目する実物体である注目対象物を決定して情報を提示する処理を表すフローチャートである。この処理は、情報処理装置１０１の起動時に開始され、終了の指示があるまで繰り返し実行される。図７のフローチャートと同じ処理には同じステップ番号を付してある。同じ処理の説明は省略する。
【００７３】
物体検出部２１２により撮像画像に含まれるすべての実物体の識別子、撮像画像内における実物体の位置、及び撮像画像内における実物体の角度が検出されると、インタラクション検出部２２１は、撮像画像に基づいてインタラクションを検出する（Ｓ９０１）。インタラクションを検出した場合（Ｓ９０１：Y）、インタラクション検出部２２１は、インタラクションの発生時刻とインタラクションのあった実物体の識別子とをＲＡＭ２０２に保持する（Ｓ９０２）。インタラクション検出部２２１がインタラクションを検出しない場合（Ｓ９０１：N）、或いはインタラクション検出部２２１が発生時刻及び識別子を保持した後に、重なり検出部２１３は、重なりの検出処理を行う（Ｓ７０３）。
【００７４】
重なりの検出処理後に、経過時間算出部２２２は、インタラクションの発生時刻と現在時刻とに基づいて、インタラクション発生からの経過時間を算出する（Ｓ９０３）。注目対象物決定部２１８は、経過時間算出部２２２が算出した経過時間と、重なり検出部２１３が検出した重なりと、の少なくとも一つに基づいて注目対象物を決定する（Ｓ９０４）。提示部２１９は、注目対象物決定部２１８が決定した注目対象物に関連する情報を出力装置１０３によりユーザ１０５に提示する（Ｓ７０９）。以上の処理により、情報処理装置１０１は、撮像画像に含まれる１以上の実物体からユーザ１０５が注目する注目対象物を適切に決定し、該注目対象物に関連する情報を出力することができる。
【００７５】
（運用形態）
図１３は、ユーザ１０５の目の前にあるテーブル１０４上に、実物体である２枚のシート１０、２０が載置される場合の注目対象物の決定処理の説明図である。各シート１０、２０は、四隅及び中心の合計５箇所に画像コード１１〜１５、２１〜２５が付される。図１４は、この注目対象物の決定処理で生成される情報の例示図である。
【００７６】
ユーザ１０５は、２枚のシート１０、２０を順に閲覧する。図１３（ａ）は、ユーザ１０５が１枚目のシート１０をテーブル１０４に置いて閲覧する様子を示す。１枚目のシート１０は、ユーザ１０５により、例えば時刻１０：０５：００にテーブル１０４上に載置される。ユーザ１０５は、図１３（ｂ）に示すように、２枚目のシート２０をテーブル１０４上に追加して載置する。ここでは、インタラクションは、ユーザ１０５がテーブル１０４に実物体を置くことである。図４（ｂ）及び図１２のフローチャートに沿って説明する。
【００７７】
撮像装置１０２は、シート１０が載置された後に図１３（ａ）に示すテーブル１０４周辺を含む撮像範囲の撮像画像を出力し、シート２０が追加で載置された後に図１３（ｂ）に示すテーブル１０４周辺を含む撮像範囲の撮像画像を出力する。撮像部２１１は、撮像装置１０２からこれらの撮像画像を異なるタイミングで取得する（Ｓ７０１）。物体検出部２１２は、これらの撮像画像に含まれるすべてのシート１０、２０に付される画像コードを抽出し、これを解析する。これにより物体検出部２１２は、撮像画像に含まれるすべてのシート１０、２０について、識別子、撮像画像内における位置、及び撮像画像内における角度を検出する（Ｓ７０２）。図１３（ａ）では、シート１０の５つの画像コード１１〜１５が解析される。図１３（ｂ）では、シート１０の５つの画像コード１１〜１５及びシート２０の５つの画像コード２１〜２５が解析される。図１４（ａ）は、画像コードの解析結果の例示図である。
【００７８】
インタラクション検出部２２１は、図１４（ａ）の画像コードの検出結果に基づいて、現在時刻（例えば１０：０７：００）以前に各シート１０、２０が検出されていたか否かを判定する。その結果、インタラクション検出部２２１は、シート１０が検出されており、シート２０が検出されていなかったと判定する。この場合、インタラクション検出部２２１は、シート２０がテーブル１０４に新たに置かれたとみなして、シート２０のインタラクションの発生を検出する（Ｓ９０１：Y）。インタラクション検出部２２１は、インタラクション発生時刻として現在時刻（１０：０７：００）と、インタラクションが発生したシート２０の識別子を、ＲＡＭ２０２に保持する。図１４（ｂ）は、ＲＡＭ２０２に保持されるインタラクション発生時刻及びインタラクションが発生したシートの識別子の例示図である。
【００７９】
重なり検出部２１３は、登録情報から各シート１０、２０に付されている画像コード数を取得する（Ｓ４０１）。重なり検出部２１３は、物体検出部２１２の検出結果により、シート１０、２０からそれぞれ５つの画像コードを検出した旨を示す情報を取得する（Ｓ４０２）。重なり検出部２１３は、シート１０、２０の重なり値（５−５）／５＝０を算出する（Ｓ４０３）。重なり検出部２１３は、シート１０とシート２０との重なり値が同値であるために、シート１０とシート２０とがいずれも一番上に載置されていると検出する（Ｓ４０４）。
【００８０】
経過時間算出部２２２は、インタラクション検出部２２１の検出結果に基づいて、各シート１０、２０の最新のインタラクション発生時刻から現在時刻までの経過時間を算出する（Ｓ９０３）。現在時刻が１０：０７：００である場合、シート１０の経過時間は（１０：０７：００）−（１０：０５：００）＝００：０２：００、シート２０の経過時間は（１０：０７：００）−（１０：０７：００）＝００：００：００となる。
【００８１】
注目対象物決定部２１８は、重なり検出部２１３の検出結果に応じて、シート１０とシート２０の両方を注目対象物候補に決定する。注目対象物決定部２１８は、注目対象物候補であるシート１０、２０から、最近発生したインタラクションからの経過時間により注目対象物を決定する。注目対象物決定部２１８は、シート１０の経過時間よりシート２０の経過時間の方が短いため、最近の時刻ではユーザ１０５がシート２０を必要としている判定し、シート２０のみを注目対象物に決定する(Ｓ９０４)。提示部２１９は、注目対象物であるシート２０に関連する情報のみを提示する（Ｓ７０９）。
【００８２】
注目対象物決定部２１８は、重なり検出部２１３の検出結果と、インタラクション検出部２２１の検出結果と、の少なくとも一つにより注目対象物を決定してもよい。具体的には、注目対象物決定部２１８は、実物体（シート１０、２０）の重なりと、実物体（シート１０、２０）に現在インタラクションが発生しているか否かの判定結果の少なくとも一つに基づいて注目対象物を決定する。例えば、注目対象物決定部２１８は、ユーザ１０５が触り続けている実物体をユーザ１０５が意図して注目しているとみなし、当該実物体を注目対象物に決定する。
【００８３】
注目対象物決定部２１８は、実物体に対するインタラクションを行うために実物体や実物体を持つ手が撮像装置１０２の撮像範囲内に進入する場合、該実物体や該手の進入方向や進入位置に基づいて、注目対象物を決定してもよい。注目対象物決定部２１８は、例えば、システム１００を主に操作しているユーザ以外の人物が、実物体をテーブル１０４に置いたり、テーブル１０４上で動かす場合に、注目対象物を変えない。図１５は、ユーザ１０５の目の前にあるテーブル１０４上に、実物体である２枚のシート１０、２０が載置される場合の注目対象物の決定処理の説明図である。
【００８４】
図１５（ａ）は、テーブル１０４上にシート１０、２０があり、ユーザ１０５がシート２０を閲覧している状態を表す。注目対象物はシート２０であり、シート２０に関連する情報のみがユーザ１０５に提示されている。図１５（ｂ）は、シート３０が、撮像装置１０２の撮像範囲外である点線の四角枠の位置から撮像範囲内に進入して、テーブル１０４上に載置される状態を表す。
【００８５】
この場合、図１２のＳ９０１の処理により、インタラクション検出部２２１は、シート３０がテーブル１０４に置かれた、即ち、インタラクションが発生したと検出する。インタラクション検出部２２１は、シート３０の進入時に取得された撮像画像により、シート３０の進入位置を取得する。インタラクション検出部２２１は、ユーザ位置検出部２１４が検出したユーザ位置に基づいて、シート３０の進入位置がユーザ位置から所定範囲以内にあるか否かを判定する。所定範囲以内にある場合、インタラクション検出部２２１は、シート３０がユーザ１０５から差し出されたと判定し、インタラクション発生時刻及び識別子をＲＡＭ２０２に保持する。所定範囲以外にある場合は、インタラクション検出部２２１は、インタラクションの発生検出を棄却する。
【００８６】
このような情報処理装置１０１は、実物体の重なりと、インタラクションの発生の判定結果と、インタラクション発生からの経過時間のうち、少なくとも一つに基づいて、適切に注目対象物を決定することができる。そのために情報処理装置１０１は、提示する情報が多数ある場合であっても、ユーザ１０５が注目している実物体に関連する情報のみを提示して、視認性を向上させることができる。
【００８７】
＜第３実施形態＞
情報処理装置１０１は、実物体の移動方向に応じて注目対象物を決定してもよい。実物体の移動方向とは、例えば、ユーザ１０５に近づく方向、或いはユーザ１０５から遠ざかる方向である。情報処理装置１０１は、例えば、ユーザ１０５がテーブル１０４上あるいはテーブル１０４外にある実物体をユーザ１０５の近くに移動させた場合に、当該実物体を注目対象物として決定する。また、情報処理装置１０１は、ユーザ１０５がテーブル１０４上で実物体をユーザ１０５から遠ざけた場合に、当該実物体を注目対象物ではないと決定する。
【００８８】
図１６は、情報処理装置１０１の機能ブロック図である。情報処理装置１０１は、撮像部２１１、物体検出部２１２、重なり検出部２１３、ユーザ位置検出部２１４、注目対象物決定部２１８、提示部２１９、及び移動方向検出部２３１として機能する。各機能ブロックは、ＣＰＵ２０１がコンピュータプログラムを実行することで実現される。なお、機能ブロックの少なくとも一部は、ハードウェアにより実現されてもよい。撮像部２１１、物体検出部２１２、重なり検出部２１３、ユーザ位置検出部２１４、注目対象物決定部２１８、及び提示部２１９は、図２（ｂ）のものと同様であるので説明を省略する。
【００８９】
移動方向検出部２３１は、実物体の移動方向を検出する。例えば、移動方向検出部２３１は、物体検出部２１２が検出した異なる２つの時点における実物体の位置に基づいて、該実物体の移動方向を検出する。移動方向検出部２３１は、物体検出部２１２が検出した異なる２つの時点における実物体の位置を取得し、その位置が同等であるか否かを判定する。２つの時点の位置が同等である場合、移動方向検出部２３１は、実物体が移動しなかったと判定し、移動方向を検出しない。２つの時点の位置が異なる場合、移動方向検出部２３１は、実物体の移動があったと判定し、その移動方向を検出する。実物体が移動した場合、移動方向検出部２３１は、まず、ユーザ位置検出部２１４からユーザ１０５の位置を取得する。次に移動方向検出部２３１は、取得したユーザの位置と、異なる２つの時点における実物体の位置とに基づいて、各時点におけるユーザ１０５から実物体までの距離を算出する。移動方向検出部２３１は、異なる２つの時点におけるユーザ１０５から実物体までの距離を比較する。時間経過とともにユーザ１０５から実物体までの距離が小さくなる場合、移動方向検出部２３１は、実物体がユーザ１０５に近づいたと判定し、ユーザ１０５に近づく方向を移動方向に検出する。時間経過とともにユーザ１０５から実物体までの距離が大きくなる場合、移動方向検出部２３１は、実物体がユーザ１０５から遠のいたと判定し、ユーザ１０５から遠ざかる方向を移動方向に検出する。
【００９０】
また、移動方向検出部２３１は、異なる２つの時点における実物体の位置に基づいて、実物体の移動前の位置から移動後の位置へのベクトルを求め、このベクトルに基づいて移動方向を検出してもよい。例えば、移動方向検出部２３１は、ユーザ位置検出部２１４から取得するユーザ１０５の位置に基づいて、実物体の移動前の位置から移動後の位置へのベクトルの延長線上に、ユーザ１０５が存在するか否かを判定する。ユーザ１０５が存在する場合、移動方向検出部２３１は、移動方向をユーザ１０５に近づく方向と検出する。ユーザ１０５が存在しない場合、移動方向検出部２３１は、移動方向をユーザ１０５から遠ざかる方向と検出する。
【００９１】
図１７は、ユーザが注目する実物体である注目対象物を決定して情報を提示する処理を表すフローチャートである。この処理は、情報処理装置１０１の起動時に開始され、終了の指示があるまで繰り返し実行される。図７のフローチャートと同じ処理には同じステップ番号を付してある。同じ処理の説明は省略する。
【００９２】
物体検出部２１２により撮像画像に含まれるすべての実物体の識別子、撮像画像内における実物体の位置、及び撮像画像内における実物体の角度が検出されると、移動方向検出部２３１は、実物体の移動の有無を検出する（Ｓ９０１）。例えば移動方向検出部２３１は、物体検出部２１２による検出結果から異なる２つの時点における実物体の位置を取得し、その位置が同等であるか否かを判定する。２つの時点の実物体の位置が同等である場合（Ｓ９０１：N）、移動方向検出部２３１は、実物体が移動していないと判定し、移動方向を検出しない。
【００９３】
２つの時点における実物体の位置が異なる場合、移動方向検出部２３１は、実物体の移動があると判定し（Ｓ９０１：Y）、移動方向を検出する。この場合、移動方向検出部２３１は、ユーザ位置検出部２１４からユーザ１０５の位置を取得する(Ｓ９０２)。移動方向検出部２３１は、取得したユーザ１０５の位置と、異なる２つの時点における実物体の位置と、に基づいて実物体の移動方向を検出する（Ｓ９０３）。移動方向検出部２３１は、ユーザ１０５の位置と、異なる２つの時点における実物体の位置と、に基づいて各時点におけるユーザ１０５から実物体までの距離を算出する。移動方向検出部２３１は、異なる２つの時点におけるユーザから実物体までの距離を比較する。時間経過とともに距離が小さくなる場合、移動方向検出部２３１は、実物体がユーザ１０５に近づいていると判定し、実物体の移動方向をユーザ１０５に近づく方向と検出する。距離が大きくなる場合、実物体をユーザ１０５から遠ざかると判定し、実物体の移動方向をユーザ１０５から遠ざかる方向と検出する。
【００９４】
実物体の移動がない場合（Ｓ９０１：N）、あるいは実物体の移動方向の検出後に、重なり検出部２１３が重なりを検出する（Ｓ７０３）。注目対象物決定部２１８は、重なり検出部２１３が検出した重なりと、移動方向検出部２３１が検出した移動方向と、の少なくとも一つに基づいて、注目対象物を決定する（Ｓ９０４）。提示部２１９は、注目対象物であるシート２０に関連する情報のみを提示する（Ｓ７０９）。
【００９５】
（運用形態）
図１８は、ユーザ１０５の目の前にあるテーブル１０４上に、実物体である２枚のシート１０、２０が載置される場合の注目対象物の決定処理の説明図である。各シート１０、２０は、四隅及び中心の合計５箇所に画像コード１１〜１５、２１〜２５が付される。図１９は、画像コードの解析結果の例示図である。図１８（ａ）の状態は、時刻１０：００：００の状態である。図１８（ｂ）の状態は、時刻１０：００：０１の状態である。図１８（ｃ）の状態は、時刻１０：００：０２の状態である。図１８（ａ）は、実物体が移動していない状態を表す。図１８（ｂ）は、実物体（シート２０）が矢印方向に点線の四角枠まで移動を開始する場合の状態を表す。図１８（ｃ）は、実物体（シート２０）が点線の四角枠まで移動終了した場合の状態を表す。
【００９６】
実物体が移動しない場合の処理（図１８（ａ）、図１８（ｂ））は、以下のようになる。
撮像装置１０２は、テーブル１０４周辺を含む撮像範囲を撮像する。撮像部２１１は、撮像装置１０２から撮像画像を取得する（Ｓ７０１）。物体検出部２１２は、これらの撮像画像に含まれるすべてのシート１０、２０に付される画像コードを抽出し、これを解析する。これにより物体検出部２１２は、撮像画像に含まれるすべてのシート１０、２０について、識別子、撮像画像内における位置、及び撮像画像内における角度を検出する（Ｓ７０２）。図１８（ａ）、図１８（ｂ）では、シート１０の４つの画像コード１１〜１４及びシート２０の５つの画像コード２１〜２５が解析される。図１９の時刻１０：００：００及び時刻１０：００：０１の解析結果がこのときの結果である。
【００９７】
移動方向検出部２３１は、物体検出部２１２による時刻１０：００：００及び時刻１０：００：０１の解析結果に基づいて、移動したシートの有無を判定する。シート１０、２０は、いずれも時刻１０：００：００及び時刻１０：００：０１において位置が同等である。そのために移動方向検出部２３１は、シート１０、２０がいずれも移動していないと判定する（Ｓ９０１：N）。
【００９８】
重なり検出部２１３は、登録情報から各シート１０、２０に付されている画像コード数を取得する（Ｓ４０１）。重なり検出部２１３は、物体検出部２１２の検出結果により、シート１０から４つ、シート２０から５つの画像コードが検出された旨を示す情報を取得する（Ｓ４０２）。重なり検出部２１３は、シート１０の重なり値（５−４）／５＝１／５、及びシート２０の重なり値（５−５）／５＝０を算出する（Ｓ４０３）。重なり検出部２１３は、シート２０の重なり値がシート１０よりも重なり値も小さいために、シート２０が一番上に載置さていると検出する（Ｓ４０４）。
【００９９】
注目対象物決定部２１８は、シート１０及びシート２０のいずれも移動していないために移動方向を考慮せず、一番上にあるシート２０を注目対象物として決定する（Ｓ９０４）。提示部２１９は、図１８（ａ）に示すように、注目対象物であるシート２０に関連する情報のみを提示する（Ｓ７０９）。
【０１００】
実物体が移動する場合の処理（図１８（ｂ）、図１８（ｃ））は、以下のようになる。
撮像装置１０２は、テーブル１０４周辺を含む撮像範囲を撮像する。撮像部２１１は、撮像装置１０２から撮像画像を取得する（Ｓ７０１）。物体検出部２１２は、これらの撮像画像に含まれるすべてのシート１０、２０に付される画像コードを抽出し、これを解析する。これにより物体検出部２１２は、撮像画像に含まれるすべてのシート１０、２０について、識別子、撮像画像内における位置、及び撮像画像内における角度を検出する（Ｓ７０２）。図１８（ｂ）では、シート１０の４つの画像コード１１〜１４及びシート２０の５つの画像コード２１〜２５が解析される。図１８（ｃ）では、シート１０、２０ともに５つの画像コード２１〜２５が解析される。図１９の時刻１０：００：０１及び時刻１０：００：０２の解析結果がこのときの結果である。
【０１０１】
移動方向検出部２３１は、物体検出部２１２による時刻１０：００：０１及び時刻１０：００：０２の解析結果に基づいて、移動したシートの有無を判定する。シート２０は、時刻１０：００：０１及び時刻１０：００：０２において位置が異なる。そのために移動方向検出部２３１は、シート２０が移動したと判定する（Ｓ９０１：Y）。なお、移動方向検出部２３１は、シート１０については移動していないと判定する。ユーザ位置検出部２１４は、ユーザ１０５の位置（例えば（９００，１０１０））を検出する(Ｓ９０２)。
【０１０２】
移動方向検出部２３１は、移動したと判定するシート２０の移動方向を検出する（Ｓ９０３）。移動方向検出部２３１は、まず、時刻１０：００：０１におけるシート２０からユーザまでの距離｛（９００−９００）＾２＋（１０１０−８００）＾２｝＾１／２＝２１０を算出する。同様に、移動方向検出部２３１は、時刻１０：００：０２におけるシート２０からユーザまでの距離「３３４」を算出する。移動方向検出部２３１は、１０：００：０１における距離よりも時刻１０：００：０２における距離の方が大きいために、シート２０は時間経過とともにユーザ１０５から遠ざかっていると判定する。そのために移動方向検出部２３１は、シート２０の移動方向として、ユーザ１０５から遠ざかる方向を検出する。
【０１０３】
重なり検出部２１３は、登録情報から各シート１０、２０に付されている画像コード数を取得する（Ｓ４０１）。重なり検出部２１３は、物体検出部２１２の検出結果により、シート１０、２０からそれぞれ５つの画像コードが検出された旨を示す情報を取得する（Ｓ４０２）。重なり検出部２１３は、シート１０、２０の重なり値（５−５）／５＝０を算出する（Ｓ４０３）。重なり検出部２１３は、シート１０及びシート２０の重なり値が同等であるために、シート１０とシート２０とがいずれも一番上に載置さていると検出する（Ｓ４１０４）。
【０１０４】
注目対象物決定部２１８は、シート１０とシート２０とのいずれもが一番上に載置さているため、いずれも注目対象物候補とする。移動方向検出部２３１は、注目対象物候補から、移動方向に応じて注目対象物を決定する。注目対象物決定部２１８は、シート２０がユーザ１０５から遠ざかる方向に移動するため、ユーザ１０５が不要なシート２０を移動させたと判定する。そのために注目対象物決定部２１８は、シート２０を注目対象物候補から外す。従って、注目対象物決定部２１８は、シート１０のみを注目対象物に決定する（Ｓ９０４）。提示部２１９は、注目対象物であるシート１０に関連する情報のみ提示する（Ｓ７０９）。
【０１０５】
図２０は、ユーザ１０５の目の前にあるテーブル１０４上に、実物体である２枚のシート１０、２０が載置される場合の注目対象物の決定処理の説明図である。図２０では、シート２０がユーザ１０５に近づく方向に移動する。
【０１０６】
シート２０が移動を開始する前は、図２０（ａ）に示すように、テーブル１０４上にシート１０及びシート２０が載置される。ここでは、シート１０が注目対象物として決定されており、シート１０に関連する情報が提示されている。図２０（ｂ）の時点でシート２０が矢印方向に移動を開始する。図２０（ｃ）は、シート２０が移動した後のテーブル１０４の状態を表す。
【０１０７】
この場合、移動方向検出部２３１は、シート１０が移動せず、シート２０がユーザ１０５に近づく方向に移動したと判定する。重なり検出部２１３は、シート１０とシート２０のいずれもが一番上に載置されていると検出する。注目対象物決定部２１８は、シート１０及びシート２０のいずれもが一番上に載置さているため、いずれも注目対象物候補とする。移動方向検出部２３１は、注目対象物候補から、移動方向に応じて注目対象物を決定する。注目対象物決定部２１８は、シート２０がユーザ１０５に近づく方向に移動するため、ユーザ１０５が必要なシート２０を移動させたと判定する。そのために注目対象物決定部２１８は、シート２０を注目対象物に決定する。提示部２１９は、注目対象物であるシート２０に関連する情報のみ提示する。
【０１０８】
移動方向検出部２３１は、移動方向を実物体の角度の変化を用いて検出してもよい。例えば、移動方向検出部２３１は、異なる２つの時点におけるシートの角度とユーザ１０５が向いている方向を取得し、該２つの時点のシートの、ユーザ１０５が向いている方向に対する相対角度を算出する。相対角度が所定範囲以内であり、その後、相対角度が所定範囲外になる場合、移動方向検出部２３１は、ユーザ１０５が不要になったシートを自身以外の向きへ回転させたと判定する。この場合、移動方向検出部２３１は、シートがユーザ１０５から遠ざかる方向に移動したと検出する。相対角度が所定範囲外であり、その後、相対角度が所定範囲以内になる場合、移動方向検出部２３１は、ユーザ１０５がシートを見やすいように回転させたと判定する。この場合、移動方向検出部２３１は、シートがユーザ１０５に近づく方向に移動したと検出する。
【０１０９】
図２１は、ユーザ１０５の目の前にあるテーブル１０４上に、実物体である２枚のシート１０、２０が載置される場合の注目対象物の決定処理の説明図である。図２１では、シート１０が回転する。提示部２１９は、シート１０に関連する情報を提示する。
【０１１０】
図２１（ａ）では、シート１０とシート２０の各角度θ１１、θ１２が１８０度、ユーザ１０５の視線の向きθ１が０度である。所定範囲以内は、１６０度＜相対角度の絶対値｜θ｜＜２００である。そのためにシート１０の相対角度は、ここで、１６０＜｜１８０−０｜＜２００である。図２１（ｂ）に示すように、ユーザ１０５がシート１０を回転させる。その結果、図２１（ｃ）に示すように、シート１０の角度θ１１が−９０度になる。シート１０の相対角度は、｜−９０−０｜＝９０となり、所定範囲外となる。この場合、移動方向検出部２３１は、シート１０がユーザ１０５から遠ざかる方向に移動したと検出する。
【０１１１】
このような情報処理装置１０１は、実物体の重なりと、実物体の移動方向との少なくとも一つに基づいて、適切に注目対象物を決定することができる。そのために情報処理装置１０１は、提示する情報が多数ある場合であっても、ユーザ１０５が注目している実物体に関連する情報のみを提示して、視認性を向上させることができる。
【０１１２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2018197900.tif 000003
【図２】
2018197900.tif 000004
【図３】
2018197900.tif 000005
【図４】
2018197900.tif 000006
【図５】
2018197900.tif 000007
【図６】
2018197900.tif 000008
【図７】
2018197900.tif 000009
【図８】
2018197900.tif 000010
【図９】
2018197900.tif 000011
【図１０】
2018197900.tif 000012
【図１１】
2018197900.tif 000013
【図１２】
2018197900.tif 000014
【図１３】
2018197900.tif 000015
【図１４】
2018197900.tif 000016
【図１５】
2018197900.tif 000017
【図１６】
2018197900.tif 000018
【図１７】
2018197900.tif 000019
【図１８】
2018197900.tif 000020
【図１９】
2018197900.tif 000021
【図２０】
2018197900.tif 000022
【図２１】
2018197900.tif 000023