(57)【要約】【課題】ウェアラブル端末の視界の画像から案内対象を特定して、案内対象に応じて収集した案内図をウェアラブル端末の表示板に拡張現実として表示する。【解決手段】ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示システムであって、ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得手段と、前記画像を画像解析して、前記案内対象を特定する特定手段と、前記案内対象の案内図を収集する収集手段と、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示手段と、を備えるウェアラブル端末表示システムを提供する。【選択図】図１
2018216220.tif 000002
【特許請求の範囲】
【請求項１】
ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示システムであって、
ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得手段と、
前記画像を画像解析して、前記案内対象を特定する特定手段と、
前記案内対象の案内図を収集する収集手段と、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示手段と、を備えるウェアラブル端末表示システム。
【請求項２】
前記特定手段は、前記ウェアラブル端末の視界の中央にある案内対象だけを特定する請求項１に記載のウェアラブル端末表示システム。
【請求項３】
前記収集手段は、予め案内図が登録されたデータベースを参照して、前記案内対象の案内図を収集する請求項１に記載のウェアラブル端末表示システム。
【請求項４】
前記収集手段は、前記案内対象に予め紐付けられたＷｅｂコンテンツにアクセスして、前記案内図を収集する請求項１に記載のウェアラブル端末表示システム。
【請求項５】
前記収集手段は、前記案内対象をインターネット検索して、検索されたＷｅｂコンテンツから前記案内図を収集する請求項１に記載のウェアラブル端末表示システム。
【請求項６】
前記表示された案内図が閲覧されたかどうかを判定する判定手段と、
前記閲覧されたと判定された場合、案内図を閲覧済みに変更する変更手段と、
を備える請求項１に記載のウェアラブル端末表示システム。
【請求項７】
前記表示された案内図が閲覧されたかどうかを判定する判定手段と、
前記閲覧されていないと判定された場合、案内図が閲覧されるように注目度を変更する変更手段と、を備える請求項１に記載のウェアラブル端末表示システム。
【請求項８】
前記表示された案内図に対するアクションを検出する検出手段と、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記アクションに応じた結果を拡張現実として表示するアクション結果表示手段と、を備える請求項１に記載のウェアラブル端末表示システム。
【請求項９】
前記ウェアラブル端末の、端末位置と撮像方向と、を取得する位置方向取得手段と、
前記端末位置と前記撮像方向とに基づいて、前記案内対象の案内対象位置を推測する推測手段と、を備え、
前記特定手段は、前記案内対象位置と前記画像解析とから、前記案内対象を特定する
請求項１に記載のウェアラブル端末表示システム。
【請求項１０】
前記ウェアラブル端末の表示板に、前記案内対象を撮像するためのガイドラインを拡張現実として表示するガイドライン表示手段を備え、
前記取得手段は、前記ガイドラインに沿って撮像された前記画像を取得する請求項１に記載のウェアラブル端末表示システム。  
【請求項１１】
前記ウェアラブル端末の表示板を透過して見える前記案内対象に対して、選択対象の選択を受け付ける選択受付手段を備え、
前記案内図表示手段は、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記案内図を拡張現実として表示する請求項１に記載のウェアラブル端末表示システム。
【請求項１２】
ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示方法であって、
ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップと、
前記画像を画像解析して、前記案内対象を特定する特定ステップと、
前記案内対象の案内図を収集する収集ステップと、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示ステップと、を備えるウェアラブル端末表示方法。
【請求項１３】
コンピュータに、
ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップと、
前記画像を画像解析して、前記案内対象を特定する特定ステップと、
前記案内対象の案内図を収集する収集ステップと、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示ステップと、を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して、収集された案内対象の案内図を拡張現実として表示するウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラムに関する。
【背景技術】
【０００２】
近年、案内図のＩＴ化が進んでいる。例えば、ＩＣタグと連動して携帯電話に案内図や地図を表示する案内システムが提供されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５-１８０９６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のシステムは、案内するためにはＩＣタグを設置しなければならない問題がある。【０００５】
本発明は、上記課題に鑑み、ウェアラブル端末の視界の画像から案内対象を特定して、案内対象に応じて収集した案内図をウェアラブル端末の表示板に拡張現実として表示するウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では、以下のような解決手段を提供する。【０００７】
第１の特徴に係る発明は、ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示システムであって、ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得手段と、前記画像を画像解析して、前記案内対象を特定する特定手段と、前記案内対象の案内図を収集する収集手段と、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示手段と、を備えるウェアラブル端末表示システムを提供する。【０００８】
第１の特徴に係る発明は、ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示方法であって、ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップと、前記画像を画像解析して、前記案内対象を特定する特定ステップと、前記案内対象の案内図を収集する収集ステップと、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示ステップと、を備えるウェアラブル端末表示方法を提供する。【０００９】
第１の特徴に係る発明は、コンピュータに、ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップと、前記画像を画像解析して、前記案内対象を特定する特定ステップと、前記案内対象の案内図を収集する収集ステップと、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示ステップと、をさせるためのプログラムを提供する。
【発明の効果】
【００１０】
案内対象をウェアラブル端末の視界に入れるだけで、ウェアラブル端末の表示板に案内対象の案内図を表示できる。
【図面の簡単な説明】
【００１１】
【図１】図１は、ウェアラブル端末表示システムの概要図である。
【図２】図２は、ウェアラブル端末の表示板に案内対象の案内図を収集して表示した一例である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための最良の形態について説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００１３】
本発明のウェアラブル端末表示システムは、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して、収集された案内図を拡張現実として表示するシステムである。ウェアラブル端末とはスマートグラスやヘッドマウントディスプレイなどの視界がある端末のことをいう。
【００１４】
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるウェアラブル端末表示システムの概要図である。
【００１５】
図１にあるように、ウェアラブル端末表示システムは、制御部が所定のプログラムを読み込むことで実現される、画像取得手段、特定手段、収集手段、案内図表示手段、を備える。また図示しないが、同様に、判定手段、変更手段、検出手段、アクション結果表示手段、位置方向取得手段、推測手段、ガイドライン表示手段、選択受付手段、を備えてもよい。これらは、アプリケーション型、クラウド型またはその他であってもよい。上述の各手段が、単独のコンピュータで実現されてもよいし、２台以上のコンピュータ（例えば、サーバと端末のような場合）で実現されてもよい。
【００１６】
画像取得手段は、ウェアラブル端末の視界に入った案内対象の画像を取得する。ウェアラブル端末のカメラで撮像された画像を取得してもよい。または、ウェアラブル端末以外であっても、このような画像を取得できるのであれば、それでも構わない。画像とは動画でも静止画でもよい。リアルタイムに案内図を表示するためには、リアルタイムな画像の方が好ましい。
【００１７】
特定手段は、画像を画像解析して案内対象を特定する。例えば、案内対象が、特定の店舗名（例えば、伊勢丹、マルイ、三井アウトレットパーク）であるのかを特定する。具体的には、外観、看板、ロゴマークなどの画像から案内対象を特定する。また、映った案内対象の全てを特定してしまうと時間が掛かる場合には、ウェアラブル端末の視界の中央にある案内対象だけを特定してもよい。視界の中央にある案内対象だけを特定することで、特定に要する時間を大幅に短縮できる。機械学習によって画像解析の精度を向上させてもよい。例えば、案内対象の過去画像を教師データとして機械学習を行う。
【００１８】
収集手段は、案内対象に応じた案内図を収集する。予め案内図が登録されたデータベースを参照して案内対象に応じた案内図を収集してもよい。また、案内対象に予め紐付けられたＷｅｂコンテンツにアクセスして案内図を収集してもよい。例えば、案内対象と案内図とを紐づけるＵＲＬなど割当てることでＷｅｂコンテンツから収取できる。また、案内対象をインターネット検索して検索されたＷｅｂコンテンツから案内図を収集してもよい。例えば、案内対象のホームページに案内図が掲載されているケースがあるので、インターネット検索から収集できる。または、ＳＮＳ（ｓｏｃｉａｌ  ｎｅｔｗｏｒｋｉｎｇ  ｓｅｒｖｉｃｅ）や口コミサイトなどから、案内図を収集できることもある。
【００１９】
案内図表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して案内図を拡張現実として表示する。例えば図２にあるように、ウェアラブル端末の表示板に、表示板を透過して見える実線で描かれた案内対象に対して、破線で描かれた案内図を拡張現実として表示している。ここでは理解のために、実線は実物、破線は拡張現実、としている。表示板を透過して見える実線で描かれた案内対象に対して案内図を拡張現実で表示することで、案内対象にどのような案内図があるのかを視覚的に把握することが出来る。拡張現実として表示する案内図は、表示板を透過して見える案内対象に重なるように表示しても良いが、案内対象が見づらくなるので、案内図の表示ＯＮ／ＯＦＦを切り替えられるようにしてもよい。
【００２０】
判定手段は、表示された案内図が閲覧されたかどうかを判定する。閲覧中の画像を取得して画像解析をすることで、案内図が閲覧されたかどうかを判定してもよい。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、案内図が閲覧されたかどうかを判定してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
【００２１】
変更手段は、閲覧されたと判定された場合は案内図を閲覧済みに変更し、閲覧されていないと判定された場合は案内図が閲覧されるように注目度を変更する。このようにすることで、どの案内図が、閲覧されたのか、閲覧されていないのか、を視覚的に把握できる。例えば、案内図のチェックボックスにチェックを入れることで閲覧済とてもよい。例えば、案内図にスタンプを押すことで閲覧済としてもよい。また、注目度の変更は、案内図の色・サイズを変更したり、案内図が目立つようにスタンプを押したりしてもよい。
【００２２】
検出手段は、表示された案内図に対するアクションを検出する。アクションは、例えば、ジェスチャーや、手の動き、視線の動き、などである。閲覧中の画像を取得して画像解析をすることで、案内図に対するアクションを検出できる。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、案内図に対するアクションを検出してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
【００２３】
アクション結果表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して、アクションに応じた結果を拡張現実として表示する。例えば、案内図を消すアクションを検出したら案内図の表示を消してよい。例えば、案内図に付けられたリンクを開くアクションを検出したらリンクを開いてもよい。もちろん他のアクションでもよい。
【００２４】
位置方向手段は、ウェアラブル端末の端末位置と撮像方向とを取得する。例えば、端末位置は、ウェアラブル端末のＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）から取得できる。例えば、撮像方向は、ウェアラブル端末で撮像する場合は、ウェアラブル端末の地磁気センサや加速度センサから取得できる。これら以外から取得してもよい。
【００２５】
推測手段は、端末位置と撮像方向とに基づいて、案内対象の案内対象位置を推測する。端末位置と撮像方向が分かっていれば、撮像された案内対象の案内対象位置を推測することができる。
【００２６】
また、特定手段は、案内対象位置と画像解析とから、案内対象を特定してもよい。例えば、同じチェーン店の案内対象であっても、店舗によって案内図が異なるケースもあるので、案内対象位置を推測しないと一意的に特定できないことがある。例えば、東京都港区店であると特定できれば、東京都港区店の案内図を表示できる。
【００２７】
ガイドライン表示手段は、ウェアラブル端末の表示板に、案内対象を撮像するためのガイドラインを拡張現実として表示する。例えば、枠や十字などのガイドラインを表示してもよい。ガイドラインに沿って撮像してもらうことで画像解析がしやすくなる。
【００２８】
また、取得手段は、ガイドラインに沿って撮像された画像を取得してもよい。ガイドラインに沿って撮像された画像だけを取得して画像解析することで、効率良く案内対象を特定できる。
【００２９】
選択受付手段は、ウェアラブル端末の表示板を透過して見える案内対象に対して、選択対象の選択を受け付ける。例えば、ウェアラブル端末の表示板を透過して見える案内対象を一定時間見ることで選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える案内対象にタッチして選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える案内対象にカーソルを合わせることで選択対象の選択を受け付けてもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
【００３０】
また、案内図表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える選択対象にだけ合わせて、案内図を拡張現実として表示してもよい。選択された選択対象にだけ合わせて案内図を拡張現実として表示するので、ピンポイントに案内図を把握することができる。特定された全ての案内対象に案内図を表示すると表示板の画面が煩わしくなることがある。
【００３１】
[動作の説明]
次に、ウェアラブル端末表示方法について説明する。本発明のウェアラブル端末表示方法は、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して、収集された案内図を拡張現実として表示する方法である。
【００３２】
ウェアラブル端末表示方法は、画像取得ステップ、特定ステップ、収集ステップ、案内図表示ステップ、を備える。また図示しないが、同様に、判定ステップ、変更ステップ、検出ステップ、アクション結果表示ステップ、位置方向取得ステップ、推測ステップ、ガイドライン表示ステップ、選択受付ステップ、を備えてもよい。
【００３３】
画像取得ステップは、ウェアラブル端末の視界に入った案内対象の画像を取得する。ウェアラブル端末のカメラで撮像された画像を取得してもよい。または、ウェアラブル端末以外であっても、このような画像を取得できるのであれば、それでも構わない。画像とは動画でも静止画でもよい。リアルタイムに案内図を表示するためには、リアルタイムな画像の方が好ましい。
【００３４】
特定ステップは、像を画像解析して案内対象を特定する。例えば、案内対象が、特定の店舗名（例えば、伊勢丹、マルイ、三井アウトレットパーク等）であるのか、などを特定する。これは外観、看板、ロゴマーク等の画像から案内対象を特定できる。案内対象は、これらに限らない。また、映った案内対象の全てを特定してしまうと時間が掛かる場合には、ウェアラブル端末の視界の中央にある案内対象だけを特定してもよい。視界の中央にある案内対象だけを特定することで、特定に要する時間を大幅に短縮できる。機械学習によって画像解析の精度を向上させてもよい。例えば、案内対象の過去画像を教師データとして機械学習を行う。
【００３５】
収集ステップは、案内対象に応じた案内図を収集する。予め案内図が登録されたデータベースを参照して案内対象に応じた案内図を収集してもよい。また、案内対象に予め紐付けられたＷｅｂコンテンツにアクセスして案内図を収集してもよい。例えば、案内対象と案内図とを紐づけるＵＲＬなど割当てることでＷｅｂコンテンツから収取できる。また、案内対象をインターネット検索して検索されたＷｅｂコンテンツから案内図を収集してもよい。例えば、案内対象のホームページに案内図が掲載されているケースがあるので、インターネット検索から収集できる。または、ＳＮＳ（ｓｏｃｉａｌ  ｎｅｔｗｏｒｋｉｎｇ  ｓｅｒｖｉｃｅ）や口コミサイトなどから、案内図を収集できることもある。
【００３６】
案内図表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して案内図を拡張現実として表示する。例えば図２にあるように、ウェアラブル端末の表示板に、表示板を透過して見える実線で描かれた案内対象に対して、破線で描かれた案内図を拡張現実として表示している。ここでは理解のために、実線は実物、破線は拡張現実、としている。表示板を透過して見える実線で描かれた案内対象に対して案内図を拡張現実で表示することで、案内対象にどのような案内図があるのかを視覚的に把握することが出来る。拡張現実として表示する案内図は、表示板を透過して見える案内対象に重なるように表示しても良いが、案内対象が見づらくなるので、案内図の表示ＯＮ／ＯＦＦを切り替えられるようにしてもよい。
【００３７】
判定ステップは、表示された案内図が閲覧されたかどうかを判定する。閲覧中の画像を取得して画像解析をすることで、案内図が閲覧されたかどうかを判定してもよい。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、案内図が閲覧されたかどうかを判定してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
【００３８】
変更ステップは、閲覧されたと判定された場合は案内図を閲覧済みに変更し、閲覧されていないと判定された場合は案内図が閲覧されるように注目度を変更する。このようにすることで、どの案内図が、閲覧されたのか、閲覧されていないのか、を視覚的に把握できる。例えば、案内図のチェックボックスにチェックを入れることで閲覧済とてもよい。例えば、案内図にスタンプを押すことで閲覧済としてもよい。また、注目度の変更は、案内図の色・サイズを変更したり、案内図が目立つようにスタンプを押したりしてもよい。
【００３９】
検出ステップは、表示された案内図に対するアクションを検出する。アクションは、例えば、ジェスチャーや、手の動き、視線の動き、などである。閲覧中の画像を取得して画像解析をすることで、案内図に対するアクションを検出できる。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、案内図に対するアクションを検出してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなどでよい。
【００４０】
アクション結果表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して、アクションに応じた結果を拡張現実として表示する。例えば、案内図を消すアクションを検出したら案内図の表示を消してよい。例えば、案内図に付けられたリンクを開くアクションを検出したらリンクを開いてもよい。もちろん他のアクションでもよい。
【００４１】
位置方向ステップは、ウェアラブル端末の端末位置と撮像方向とを取得する。例えば、端末位置は、ウェアラブル端末のＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）から取得できる。例えば、撮像方向は、ウェアラブル端末で撮像する場合は、ウェアラブル端末の地磁気センサや加速度センサから取得できる。これら以外から取得してもよい。
【００４２】
推測ステップは、端末位置と撮像方向とに基づいて、案内対象の案内対象位置を推測する。端末位置と撮像方向が分かっていれば、撮像された案内対象の案内対象位置を推測することができる。
【００４３】
また、特定ステップは、案内対象位置と画像解析とから、案内対象を特定してもよい。例えば、同じチェーン店の案内対象であっても、店舗によって案内図が異なるケースもあるので、案内対象位置を推測しないと一意的に特定できないことがある。例えば、東京都港区店であると特定できれば、東京都港区店の案内図を表示できる。
【００４４】
ガイドライン表示ステップは、ウェアラブル端末の表示板に、案内対象を撮像するためのガイドラインを拡張現実として表示する。例えば、枠や十字などのガイドラインを表示してもよい。ガイドラインに沿って撮像してもらうことで画像解析がしやすくなる。
【００４５】
また、取得ステップは、ガイドラインに沿って撮像された画像を取得してもよい。ガイドラインに沿って撮像された画像だけを取得して画像解析することで、効率良く案内対象を特定できる。
【００４６】
選択受付ステップは、ウェアラブル端末の表示板を透過して見える案内対象に対して、選択対象の選択を受け付ける。例えば、ウェアラブル端末の表示板を透過して見える案内対象を一定時間見ることで選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える案内対象にタッチして選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える案内対象にカーソルを合わせることで選択対象の選択を受け付けてもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
【００４７】
また、案内図表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える選択対象にだけ合わせて、案内図を拡張現実として表示してもよい。選択された選択対象にだけ合わせて案内図を拡張現実として表示するので、ピンポイントに案内図を把握することができる。特定された全ての案内対象に案内図を表示すると表示板の画面が煩わしくなることがある。
【００４８】
上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータにインストールされるアプリケーションであってもよいし、コンピュータからネットワーク経由で提供されるＳａａＳ（ソフトウェア・アズ・ア・サービス）形態であってもよいし、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供されてもよい。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【００４９】
上述した機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン、強化学習などを利用してよい。また、ニューラルネットワークを利用して、学習するための特徴量を自ら生成する深層学習（ディープラーニング）であってもよい。
【００５０】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【図１】
2018216220.tif 000003
【図２】
2018216220.tif 000004
【手続補正書】
【提出日】平成30年1月29日(2018.1.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示システムであって、
ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得手段と、
前記画像を画像解析して、前記案内対象を特定する特定手段と、
前記案内対象の案内図を収集する収集手段と、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示するとともに、当該案内対象と当該案内図とを異なる表示態様で表示する案内図表示手段と、を備えるウェアラブル端末表示システム。
【請求項２】
前記特定手段は、前記ウェアラブル端末の視界の中央にある案内対象だけを特定する請求項１に記載のウェアラブル端末表示システム。
【請求項３】
前記収集手段は、予め案内図が登録されたデータベースを参照して、前記案内対象の案内図を収集する請求項１に記載のウェアラブル端末表示システム。
【請求項４】
前記収集手段は、前記案内対象に予め紐付けられたＷｅｂコンテンツにアクセスして、前記案内図を収集する請求項１に記載のウェアラブル端末表示システム。
【請求項５】
前記収集手段は、前記案内対象をインターネット検索して、検索されたＷｅｂコンテンツから前記案内図を収集する請求項１に記載のウェアラブル端末表示システム。
【請求項６】
前記表示された案内図が閲覧されたかどうかを判定する判定手段と、
前記閲覧されたと判定された場合、案内図を閲覧済みに変更する変更手段と、
を備える請求項１に記載のウェアラブル端末表示システム。
【請求項７】
前記表示された案内図が閲覧されたかどうかを判定する判定手段と、
前記閲覧されていないと判定された場合、案内図が閲覧されるように注目度を変更する変更手段と、を備える請求項１に記載のウェアラブル端末表示システム。
【請求項８】
前記表示された案内図に対するアクションを検出する検出手段と、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記アクションに応じた結果を拡張現実として表示するアクション結果表示手段と、を備える請求項１に記載のウェアラブル端末表示システム。
【請求項９】
前記ウェアラブル端末の、端末位置と撮像方向と、を取得する位置方向取得手段と、
前記端末位置と前記撮像方向とに基づいて、前記案内対象の案内対象位置を推測する推測手段と、を備え、
前記特定手段は、前記案内対象位置と前記画像解析とから、前記案内対象を特定する請求項１に記載のウェアラブル端末表示システム。
【請求項１０】
前記ウェアラブル端末の表示板に、前記案内対象を撮像するためのガイドラインを拡張現実として表示するガイドライン表示手段を備え、
前記取得手段は、前記ガイドラインに沿って撮像された前記画像を取得する請求項１に記載のウェアラブル端末表示システム。
【請求項１１】
前記ウェアラブル端末の表示板を透過して見える前記案内対象に対して、選択対象の選択を受け付ける選択受付手段を備え、
前記案内図表示手段は、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記案内図を拡張現実として表示する請求項１に記載のウェアラブル端末表示システム。
【請求項１２】
ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示システムが実行するウェアラブル端末表示方法であって、
ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップと、
前記画像を画像解析して、前記案内対象を特定する特定ステップと、
前記案内対象の案内図を収集する収集ステップと、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示するとともに、当該案内対象と当該案内図とを異なる表示態様で表示する案内図表示ステップと、を備えるウェアラブル端末表示方法。
【請求項１３】
ウェアラブル端末表示システムに、
ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップと、
前記画像を画像解析して、前記案内対象を特定する特定ステップと、
前記案内対象の案内図を収集する収集ステップと、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示するとともに、当該案内対象と当該案内図とを異なる表示態様で表示する案内図表示ステップと、を実行させるためのコンピュータ読み取り可能なプログラム。
【手続補正書】
【提出日】令和1年11月27日(2019.11.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示システムであって、
ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得手段と、
前記画像を画像解析して、前記案内対象を特定する特定手段と、
前記案内対象の案内図を収集する収集手段と、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示するとともに、当該案内対象と当該案内図とを異なる表示態様で表示するとともに、当該案内図の表示ＯＮ／ＯＦＦをユーザの意思に基づいて切り替える案内図表示手段と、を備えるウェアラブル端末表示システム。
【請求項２】
前記特定手段は、前記ウェアラブル端末の視界の中央にある案内対象だけを特定する請求項１に記載のウェアラブル端末表示システム。
【請求項３】
前記収集手段は、予め案内図が登録されたデータベースを参照して、前記案内対象の案内図を収集する請求項１に記載のウェアラブル端末表示システム。
【請求項４】
前記収集手段は、前記案内対象に予め紐付けられたＷｅｂコンテンツにアクセスして、前記案内図を収集する請求項１に記載のウェアラブル端末表示システム。
【請求項５】
前記収集手段は、前記案内対象をインターネット検索して、検索されたＷｅｂコンテンツから前記案内図を収集する請求項１に記載のウェアラブル端末表示システム。
【請求項６】
前記表示された案内図が閲覧されたかどうかを判定する判定手段と、
前記閲覧されたと判定された場合、案内図を閲覧済みに変更する変更手段と、
を備える請求項１に記載のウェアラブル端末表示システム。
【請求項７】
前記表示された案内図が閲覧されたかどうかを判定する判定手段と、
前記閲覧されていないと判定された場合、案内図が閲覧されるように注目度を変更する変更手段と、を備える請求項１に記載のウェアラブル端末表示システム。
【請求項８】
前記表示された案内図に対するアクションを検出する検出手段と、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記アクションに応じた結果を拡張現実として表示するアクション結果表示手段と、を備える請求項１に記載のウェアラブル端末表示システム。
【請求項９】
前記ウェアラブル端末の、端末位置と撮像方向と、を取得する位置方向取得手段と、
前記端末位置と前記撮像方向とに基づいて、前記案内対象の案内対象位置を推測する推測手段と、を備え、
前記特定手段は、前記案内対象位置と前記画像解析とから、前記案内対象を特定する
請求項１に記載のウェアラブル端末表示システム。
【請求項１０】
前記ウェアラブル端末の表示板に、前記案内対象を撮像するためのガイドラインを拡張現実として表示するガイドライン表示手段を備え、
前記取得手段は、前記ガイドラインに沿って撮像された前記画像を取得する請求項１に記載のウェアラブル端末表示システム。
【請求項１１】
前記ウェアラブル端末の表示板を透過して見える前記案内対象に対して、選択対象の選択を受け付ける選択受付手段を備え、
前記案内図表示手段は、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記案内図を拡張現実として表示する請求項１に記載のウェアラブル端末表示システム。
【請求項１２】
ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示システムが実行するウェアラブル端末表示方法であって、
ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップと、
前記画像を画像解析して、前記案内対象を特定する特定ステップと、
前記案内対象の案内図を収集する収集ステップと、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示するとともに、当該案内対象と当該案内図とを異なる表示態様で表示するとともに、当該案内図の表示ＯＮ／ＯＦＦをユーザの意思に基づいて切り替える案内図表示ステップと、を備えるウェアラブル端末表示方法。
【請求項１３】
ウェアラブル端末表示システムに、
ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップ、
前記画像を画像解析して、前記案内対象を特定する特定ステップ、
前記案内対象の案内図を収集する収集ステップ、
前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示するとともに、当該案内対象と当該案内図とを異なる表示態様で表示するとともに、当該案内図の表示ＯＮ／ＯＦＦをユーザの意思に基づいて切り替える案内図表示ステップ、を実行させるためのコンピュータ読み取り可能なプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
第１の特徴に係る発明は、ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示システムであって、ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得手段と、前記画像を画像解析して、前記案内対象を特定する特定手段と、前記案内対象の案内図を収集する収集手段と、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示するとともに、当該案内対象と当該案内図とを異なる表示態様で表示するとともに、当該案内図の表示ＯＮ／ＯＦＦをユーザの意思に基づいて切り替える案内図表示手段と、を備えるウェアラブル端末表示システムを提供する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
第１の特徴に係る発明は、ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示方法であって、ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップと、前記画像を画像解析して、前記案内対象を特定する特定ステップと、前記案内対象の案内図を収集する収集ステップと、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示するとともに、当該案内対象と当該案内図とを異なる表示態様で表示するとともに、当該案内図の表示ＯＮ／ＯＦＦをユーザの意思に基づいて切り替える案内図表示ステップと、を備えるウェアラブル端末表示方法を提供する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
第１の特徴に係る発明は、コンピュータに、ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップ、前記画像を画像解析して、前記案内対象を特定する特定ステップ、前記案内対象の案内図を収集する収集ステップ、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示するとともに、当該案内対象と当該案内図とを異なる表示態様で表示するとともに、当該案内図の表示ＯＮ／ＯＦＦをユーザの意思に基づいて切り替える案内図表示ステップ、を実行させるためのコンピュータ読み取り可能なプログラムを提供する。
【国際調査報告】
2018216220.tif 000005
2018216220.tif 000006
2018216220.tif 000007
2018216220.tif 000008