(57)【要約】【課題】拡張現実を実施するシステムにおいて、マーカーとコントローラの操作性を向上させる。【解決手段】撮像装置で撮像した画像に基づいて、表示装置を備えた情報処理端末に情報を表示するための撮影対象の装置であって、前記情報を前記表示装置に表示する位置と姿勢のうち少なくとも一方を決定するための特徴を持つ特徴部（マーカー）と、ユーザーの入力を前記情報処理端末に送る操作部（コントローラ）と、を有し、前記特徴部と前記操作部とが固定されていることを特徴とする装置。【選択図】図１
2019061634.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮像した画像に基づいて、表示装置を備えた情報処理端末に情報を表示するための撮影対象の装置であって、
前記情報を前記表示装置に表示する位置と姿勢のうち少なくとも一方を決定するための特徴を持つ特徴部と、
ユーザーの入力を前記情報処理端末に送る操作部と、
を有し、前記特徴部と前記操作部とが固定されていることを特徴とする装置。
【請求項２】
前記特徴部の前記特徴は２次元のマーカーであることを特徴とする請求項１に記載の装置。
【請求項３】
前記装置は、さらに
前記特徴部と前記操作部とを固定するための固定部を有し、
前記固定部は、前記特徴部と前記操作部のうち少なくとも一方を切り離す機能を有する  ことを特徴とする請求項１乃至２に記載の装置。
【請求項４】
前記操作部は、前記表示装置に表示する前記情報の位置と姿勢のうち少なくとも一方を変更するための入力を、前記情報処理端末に送る
ことを特徴とする請求項１乃至３に記載の装置。
【請求項５】
前記装置は、接触式の位置入力機能と画像を表示する表示機能とを有し、
前記特徴部と前記操作部は、前記表示機能によって表示する画像であり、
前記操作部は、前記位置入力機能に基づいてユーザーの入力を前記情報処理端末に送る  ことを特徴とする請求項１乃至４に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、拡張現実の技術に関する。
【背景技術】
【０００２】  カメラで撮影した画像上に、文字やＣＧなどの情報を表示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）の技術が知られている。具体的には、カメラでマーカーを撮影し、撮影した画像上のマーカーの位置と姿勢に合わせて情報を表示する事例が一般的である。ここで，マーカーを動かすことで、情報を表示する位置と姿勢を変えることができる。また、ゲームパッドやキーボードなどのコントローラを操作することで、表示する情報の変更や動作の指示などを行うこともできる。なお、カメラを片方の手に持つ場合を考えると、マーカーやコントローラは空いているもう片方の手で操作する形態が想定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５０１６７２３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】  しかしながら、マーカーを手で動かしながら、さらにコントローラを操作したい場合、その両方を同時に手に持って操作することが難しい欠点があった。【０００５】  本発明は、上記の課題に鑑みてなされたものであり、マーカーとコントローラを同時に操作できるようにする。
【課題を解決するための手段】
【０００６】  上記課題を解決するために、本発明の装置は、例えば以下の構成を備える。即ち、撮像装置で撮像した画像に基づいて、表示装置を備えた情報処理端末に情報を表示するための撮影対象の装置であって、前記情報を前記表示装置に表示する位置と姿勢のうち少なくとも一方を決定するための特徴を持つ特徴部と、ユーザーの入力を前記情報処理端末に送る操作部と、を有し、前記特徴部と前記操作部とが固定されていることを特徴とする装置。
【発明の効果】
【０００７】  本発明により、マーカーとコントローラの操作性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の装置の例を表す図である。
【図２】拡張現実による表示を行うための機器構成の例を表す図である。
【図３】拡張現実によるＣＧの表示の例を表す図である。
【図４】情報処理端末のハードウェアの例を表す図である。
【図５】マーカーのバリエーションを表す図である。
【図６】固定部の構造を表す正面図と側面図である。
【図７】固定部の構造を表す斜視図である。
【図８】タッチパネルを利用した本発明の装置の例を表す図である。
【発明を実施するための形態】
【０００９】（第１の実施形態）
図１は、本発明における装置１００の例である。図１の１１０はＣＧや文字などの情報を表示する位置と姿勢を決めるためのマーカー（特徴部）、１２０はユーザーの入力を受け付けるためのコントローラ（操作部）である。
【００１０】  本実施形態のマーカー１１０は、平面の板に２次元の矩形模様で構成されている。この模様を手掛かりに、撮影した画像上からマーカー１１０の位置と姿勢を認識することができる。マーカーの認識方法は公知であり、例えば特許文献１の方法が利用できる。また、コントローラ１２０はボタン１２１や方向キー１２２などの入力部を備える。本発明の装置１００は、マーカー１１０とコントローラ１２０を備える。また、それらは固定部１３０で物理的に固定されている。これにより、コントローラ１２０の部分を手に持って動かせば、それに連動してマーカー１１０を動かすことができる。つまり、この構成により、マーカー１１０を動かすと同時に、手に持ったコントローラ１２０のボタン１２１や方向キー１２２を操作することができる。
【００１１】  図２は、本発明の装置１００を使って拡張現実を実施するための機器構成の例である。図２の２００は撮像装置２１０（背面）と表示装置２２０を備えた情報処理端末である。また、図２は装置１００のコントローラ１２０の部分をユーザーの右手３００、情報処理端末２００をユーザーの左手３０１で持っている様子を表している。また、表示装置２２０は、撮像装置２１０で撮影した画像を表示している。なお、本実施形態における撮像装置２１０はカメラ、表示装置２２０は液晶モニタである。
【００１２】  本実施形態における情報処理端末２００の処理について説明する。まず、情報処理端末２００は撮像装置２１０で撮像した画像上からマーカー１１０を認識し、拡張現実による情報を表示する位置と姿勢を算出する。次に、撮影した画像を表示装置２２０に表示すると共に、算出した位置と姿勢に基づいて拡張現実による文字やＣＧなどの情報を表示する。また、情報処理端末２００とコントローラ１２０は無線の通信装置を備え、情報処理端末２００はコントローラ１２０からの入力を受け取ることができる。これにより、コントローラ１２０を操作して、表示する情報の変更や動作の指示などを行うこともできる。
【００１３】  図３は、拡張現実による情報の表示例である。具体的には、認識したマーカー１１０の位置と姿勢に合わせてＣＧのキャラクター４００を表示した例である。ユーザーは装置１００のコントローラ１２０の部分を手に持って動かすことで、表示するキャラクター４００の位置と姿勢を変えることができる。また、装置１００のコントローラ１２０の入力部（ボタン１２１や方向キー１２１）を操作することで、表示するキャラクター４００の変更や動作の指示などを行うこともできる。
【００１４】  図４は、情報処理端末２００のハードウェアの構成の例である。情報処理端末２００は、ＣＰＵ２０１、ＲＯＭ（読み出し専用メモリ）２０２、ＲＡＭ（ランダムアクセスメモリ）２０３、Ｉ／Ｆ（インターフェース）２０４及びバス２０５を備える。
【００１５】  ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて情報処置端末２００全体の制御を行う。ＲＯＭ２０２は、変更を必要としないプログラムやデータを格納する。ＲＡＭ２０３は、ＲＯＭ２０２から供給されるプログラムやデータ、及びＩ／Ｆ２０４を介して外部から取得されたデータなどを一時的に記憶する。Ｉ／Ｆ２０４は、外部の装置（撮像装置や表示装置、通信装置など）とデータの通信を行う。バス２０５は、上述の各部を繋いで信号を伝達する。
【００１６】  以上述べたように、本発明の装置１００は、マーカー１１０とコントローラ１２０とを固定した状態で備え、ユーザーはその両方を同時に操作することができる。
【００１７】  また、本実施形態に示す装置１００のように２次元のマーカーであれば、マーカーの部分は平面的な形状で構成できる。平面的な形状で構成できれば、立体的にスペースを取らないため携帯性に優れる利点がある。また、２次元のマーカーは、印刷物ではなく液晶モニタなどの表示装置を使って表示させても良い。また、本実施形態は、手に持った装置１００と情報処理端末２００以外に、例えば環境中にセンサ等を備える必要はない。つまり、設置コストが低く、場所を選ばすに拡張現実のシステムを実施することができる。
【００１８】  なお、本発明における装置のマーカーは、その位置と姿勢のうち少なくとも一方を画像上で認識できるものであればどのようなマーカーでも良い。図５の（ａ）に示す様に、複数のドット模様１１１を含むマーカーでも良いし、図５の（ｂ）に示す様に、任意の模様１１２（画像やイラストなど）をマーカーとしても良い。例えば、ドット模様１１１をマーカーとして利用する場合、撮像装置２１０で撮影した画像を２値化することで各ドットを検出した後、検出したドットの分布から位置と姿勢を計算できる。任意の模様１１２をマーカーとして利用する場合、予めその画像やイラストを情報処理端末２００に登録しておき、撮像装置２１０で撮影した画像上の模様と、登録した模様とのマッチングを行うことで位置と姿勢を計算できる。また、マーカーは図１のように平面の板に模様を印刷したものでも良いし、液晶モニタなどを利用して模様を表示したものでも良い。
【００１９】  また、位置と姿勢のうち片方だけを画像上から認識しても良い、その場合、片方だけに基づいて拡張現実による表示を行っても良い。例えば、位置だけを決めて情報を表示しても良いし、姿勢だけを決めて情報を表示しても良い。
【００２０】  また、本発明における装置のコントローラはユーザーの入力を受け付ける入力部を備えるものであれば、どのようなコントローラでも良い。アナログスティックを備えても良いし、タッチセンサを備えても良い。また、コントローラと情報処理端末との通信は無線でも良いし、ケーブルを繋げて有線で行っても良い。また、コントローラを固定する位置は、図１に示す様に、マーカーの右側でも良いし、左側でも良い。また、コントローラを２つ用意して、マーカーの両側にそれぞれ固定しても良い。
【００２１】  また、拡張現実による表示を行う情報処理端末は、撮影した画像に基づいて文字やＣＧなどの情報を表示する位置と姿勢を算出できれば、どのような情報処理端末でも良い。スマートフォンでも良いし、ＰＣでも良い。また、頭に装着するＨＭＤ（ヘッドマウントディスプレイ）でも良い。ＨＭＤを利用する場合、情報処理端末を手に持つに必要がないため、両方の手が自由になる利点がある。この場合、コントローラ１２０を２つ用意しマーカー１１０の両側に取り付け、両手で操作できるようにしても良い。また、情報処理端末と撮像装置、表示装置は一体になっていなくても良い。ケーブルで繋げても良いし、無線通信を使って別々にしても良い。
【００２２】（第２の実施形態）
第１の実施形態の装置１００は、マーカー１１０とコントローラ１２０とを固定した状態で備え、その両方を同時に操作できるようにする。しかし、拡張現実のアプリケーションによっては、必ずしもコントローラ１２０が必要になるとは限らない。その場合、マーカー１１０とコントローラ１２０とが固定されていると、コントローラ１２０の部分が邪魔になる場合がある。また、他のゲームやアプリケーションにおいて、コントローラ１２０を単体で利用したい場合もある。また、マーカー１１０とコントローラ１２０を一体とした装置１００は全体としてサイズが大きくなるため、持ち運びのための携帯性が低下する。
【００２３】  従って、マーカー１１０とコントローラ１２０は必要に応じて分離できることが望ましい。図６は、マーカー１１０とコントローラ１２０を着脱させるための構造を示す。また、図７はその斜視図である。図６、図７の１３０は固定部であり、マーカー１１０とコントローラ１２０を所定の部位に収めることで固定することができる。また、一度固定したマーカー１１０とコントローラ１２０は、ユーザーが必要に応じて固定部１３０から取り外しできるようにする。ここで、固定と取り外しのための構造は、スナップフィットやスライド式の構造を利用しても良い。
【００２４】  以上述べたように、マーカー１１０とコントローラ１２０とを着脱する機能を固定部１３０に備えることで、ユーザーの用途に合わせてマーカー１１０とコントローラ１２０とを固定した状態で利用、或いは分離して個別に利用できるようにする。
【００２５】  また、マーカー１１０とコントローラ１２０を分離することで、個々のサイズを小さく抑えることができる。これにより、持ち運びのための携帯性を向上させることができる。
【００２６】  なお、固定部１３０はマーカー１１０とコントローラ１２０のうち、少なくとも一方を着脱できるだけでも良い。例えば、固定部１３０とマーカー１１０が一体となっていても良いし、固定部１３０とコントローラ１２０が一体となっていても良い。
【００２７】  また、固定部１３０はマーカー１１０やコントローラ１２０を所定の部位に収めた後、ロックする機構を含めても良い。また、固定部１３０における固定方法は、各部を固定できる方法であればどのような方法でも良い。機械的な方法で固定しても良いし、着脱可能なテープやマグネットなどを利用して固定しても良い。
【００２８】（第３の実施形態）
拡張現実による文字やＣＧなどの情報を表示するアプリケーションでは、姿勢を変えて情報を表示したい場合がある。表示する情報の姿勢を変えるには、マーカー１１０の姿勢を変える必要がある。例えば、マーカー１１０を１回転させるように動かすと、ユーザーは表示する情報を様々な姿勢で見ることができる。しかし、コントローラ１２０の部分を常に片手で持つ条件を考えると、手の可動域の都合から、マーカー１１０の姿勢を大きく変える動きや、１回転させるような動きは難しくなり、操作性が低下する。
【００２９】  そこで、表示する情報の姿勢を変更するための入力信号を、コントローラ１２０から情報処理端末２００に与えられるようにする。そして、情報処理端末２００は、受け取った信号に応じて表示する情報の姿勢を変更する。具体的には、コントローラの入力部のうち、いずれかを姿勢を変更するための入力部として設定し、ユーザーはその入力部を操作することで、コントローラ１２０の部分を手に持ったまま、表示する情報の姿勢を自由に変えられるようにする。例えば、コントローラ１２０のボタン１２１のうち１つを右回転、もう１つを左回転で姿勢を変更するボタンとして設定する。
【００３０】  以上述べたように、表示する情報の姿勢を変えるための入力部を備えることで、ユーザーが表示する情報の姿勢を自由に変えられるようにする。
【００３１】  なお、コントローラ１２０の操作により、拡張現実による情報の姿勢以外を変更しても良い。例えば、位置を変更できるようにしても良いし、位置と姿勢の両方を変更できるようにしても良い。
【００３２】（第４の実施形態）
本発明におけるマーカーとコントローラとを備えた装置として、液晶のタッチパネルを備えた装置を利用しても良い。ここで、タッチパネルとは液晶モニタなどの表示装置と、タッチセンサなどの接触式の位置入力装置を組み合わせた電子部品である。図８の５００は本実施形態の装置５００の例を示す。装置５００はタッチパネル５４０を備え、そこにマーカー５１０とコントローラ５２０の画像を表示する。コントローラ５２０はボタン５２１と方向キー５２２の画像が含まれる。ユーザーは、タッチパネル５４０上のボタン５２１と方向キー５２２の部位を操作することで、情報処理端末１００との無線通信を介して、情報処理端末１００に表示する情報の変更や動作の指示などを行うことができる。また、タッチパネル５４０上のマーカー５１０を、撮像装置２１０で撮影することで、撮影した画像上のマーカーを認識し、情報処理装置２００の表示装置２２０で拡張現実による情報の表示を行うことができる。
【００３３】  以上述べたように、本発明の装置はタッチパネルを使って構成することもできる。本実施形態の装置は、既存のハードウェア（タッチパネル）を利用して構成できるため、導入コストを抑えることができる。
【００３４】  なお、コントローラ５２０は、図８のように画面の右側に画像として表示しているが、左側に表示しても良いし、左右両方に表示しても良い。
【００３５】（その他の実施形態）
本発明における情報処理端末は、上述の実施形態の１つ以上の機能を実施するプログラムを、ネットワーク又は記憶媒体を介してシステムまたは端末に供給し、そのシステム又は端末のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記憶媒体に記録して提供しても良い。
【産業上の利用可能性】
【００３６】  産業用の図面やＣＡＤデータを拡張現実により表示する用途に適用できる。
【符号の説明】
【００３７】１００  撮像対象の装置
１１０  マーカー（特徴部）
１２０  コントローラ（操作部）
１３０  固定部
２００  情報処理端末
【図１】
2019061634.tif 000003
【図２】
2019061634.tif 000004
【図３】
2019061634.tif 000005
【図４】
2019061634.tif 000006
【図５】
2019061634.tif 000007
【図６】
2019061634.tif 000008
【図７】
2019061634.tif 000009
【図８】
2019061634.tif 000010