(57)【要約】【課題】ユーザが表示部に触れることなく表示部に表示された部分領域を選択できる技術を提供する。【解決手段】携帯情報端末１であって、方位傾斜検出部２０は、表示部５０の向き及び傾きを検出する。映像再生部１５は、メタデータが設定されたメタデータ領域を少なくとも一部に含む全方位映像を再生する。映像決定部１４は、向き及び傾きに基づいて全方位映像のうち表示部５０に表示させる表示映像を決定する。領域選択部１６は、表示映像に含まれるメタデータ領域の少なくとも一部が、表示部５０に定められた所定の表示位置で表示された場合、当該メタデータ領域を選択する。実行部１１は、領域選択部１６が選択したメタデータ領域に設定されたメタデータが規定する動作を実行する。【選択図】図２
2017123006.tif 000002
【特許請求の範囲】
【請求項１】
携帯情報端末に、
前記携帯情報端末の向き及び傾きを検出する方位傾斜検出機能と、
メタデータが設定されたメタデータ領域を少なくとも一部に含む全方位映像を再生する映像再生機能と、
前記向き及び傾きに基づいて前記全方位映像のうち前記携帯情報端末の表示部に表示させる表示映像を決定する映像決定機能と、
前記表示映像に含まれるメタデータ領域の少なくとも一部が、前記表示部に定められた所定の表示位置で表示された場合、当該メタデータ領域を選択する領域選択機能と、
選択された前記メタデータ領域に設定されたメタデータに応じた動作を実行する実行機能と、
を実現させることを特徴とするプログラム。
【請求項２】
前記携帯情報端末に、
前記表示部に定められた所定の表示位置に、メタデータ領域を選択するためのマーカを表示するマーカ表示制御機能と、
前記マーカと前記表示映像に含まれるメタデータ領域とが重なっていることを示すアイコンを、前記表示部に表示させるアイコン表示制御機能と、
をさらに実現させることを特徴とする請求項１に記載のプログラム。
【請求項３】
前記アイコン表示制御機能は、前記表示映像に含まれるメタデータ領域の少なくとも一部が前記表示部に定められた所定の表示位置に表示されてから経過した時間を示す情報を含むアイコンを、前記表示部に表示させることを特徴とする請求項２に記載のプログラム。
【請求項４】
前記領域選択機能は、前記表示映像に含まれるメタデータ領域の少なくとも一部が、前記表示部に定められた所定の表示位置に、領域選択の有無を決定するために予め定められた選択決定時間が経過する間継続して表示された場合、前記表示映像に含まれるメタデータ領域を選択することを特徴とする請求項１から３のいずれか一項に記載のプログラム。
【請求項５】
前記メタデータ領域に設定されたメタデータは、当該メタデータ領域における全方位映像の被写体に関連するコンテンツを示すデータであり、
前記実行機能は、前記領域選択機能が選択したメタデータ領域の被写体に関連するコンテンツを前記表示部に表示させる動作を実行する、
ことを特徴とする請求項１から４のいずれか一項に記載のプログラム。
【請求項６】
前記実行機能は、前記領域選択機能が選択したメタデータ領域の被写体を認識し、認識した被写体に関連するコンテンツを前記表示部に表示させる動作を実行する、
ことを特徴とする請求項１から５のいずれか一項に記載のプログラム。
【請求項７】
前記領域選択機能は、前記表示部に表示されたコンテンツの少なくとも一部が、前記表示部に定められた所定の表示位置で表示された場合、当該コンテンツを選択することを特徴とする請求項５又は６に記載のプログラム。
【請求項８】
前記携帯情報端末に、前記全方位映像に含まれる複数の部分領域のそれぞれについて、前記表示部に定められた所定の表示位置において前記部分領域が表示された時間を計測する時間計測機能をさらに実現させ、
前記映像再生機能は、前記時間計測機能が計測した時間の長短を示す情報を計測対象とした部分領域毎に重畳した前記全方位映像を再生する、
ことを特徴とする請求項１から７のいずれか一項に記載のプログラム。
【請求項９】
表示部と、
前記表示部の向き及び傾きを検出する方位傾斜検出部と、
メタデータが設定されたメタデータ領域を少なくとも一部に含む全方位映像を再生する映像再生部と、
前記向き及び傾きに基づいて前記全方位映像のうち前記表示部に表示させる表示映像を決定する映像決定部と、
前記表示映像に含まれるメタデータ領域の少なくとも一部が、前記表示部に定められた所定の表示位置で表示された場合、当該メタデータ領域を選択する領域選択部と、
前記領域選択部が選択した前記メタデータ領域に設定されたメタデータが規定する動作を実行する実行部と、
を備えることを特徴とする携帯情報端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯情報端末及び携帯情報端末が実行可能なプログラムに関する。
【背景技術】
【０００２】
スマートフォン等の携帯情報端末の表示部を映像提示部として利用する簡易的なヘッドマウントディスプレイ（Head Mounted Display；ＨＭＤ）を提供するための筐体が知られている。この筐体に手持ちのスマートフォンを差し込むことにより、ユーザは専用のＨＭＤを購入することなく手軽にバーチャルリアリティ（Virtual Reality；ＶＲ）を楽しむことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２０１０／００７９３５６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般にスマートフォン等の携帯情報端末はその表示画面がタッチスクリーンとなっており、表示画面自体がユーザ操作のためのインタフェースとなっている。上記の文献に示されたような技術では、ひとたび携帯情報端末を筐体に取り付けると、ユーザは携帯情報端末を操作することが難しくなる。上記文献では、携帯情報端末とは異なる操作補助のための装置を提供することも開示しているが、携帯情報端末をＨＭＤとして用いている間は、ユーザは手元を見るのが難しい。このため、補助操作のための装置があったとしても、ユーザが携帯情報端末を操作しづらいことには変わりない。
【０００５】
本発明はこれらの点に鑑みてなされたものであり、ユーザが表示部に触れることなく表示部に表示された部分領域を選択できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様のプログラムは、当該プログラムを実行する携帯情報端末に、前記携帯情報端末の向き及び傾きを検出する方位傾斜検出機能と、メタデータが設定されたメタデータ領域を少なくとも一部に含む全方位映像を再生する映像再生機能と、前記向き及び傾きに基づいて前記全方位映像のうち前記携帯情報端末の表示部に表示させる表示映像を決定する映像決定機能と、前記表示映像に含まれるメタデータ領域の少なくとも一部が、前記表示部に定められた所定の表示位置で表示された場合、当該メタデータ領域を選択する領域選択機能と、選択された前記メタデータ領域に設定されたメタデータに応じた動作を実行する実行機能と、を実現させる。
【０００７】
前記携帯情報端末に、前記表示部に定められた所定の表示位置に、メタデータ領域を選択するためのマーカを表示するマーカ表示制御機能と、前記マーカと前記表示映像に含まれるメタデータ領域とが重なっていることを示すアイコンを、前記表示部に表示させるアイコン表示制御機能と、をさらに実現させてもよい。
【０００８】
前記アイコン表示制御機能は、前記表示映像に含まれるメタデータ領域の少なくとも一部が前記表示部に定められた所定の表示位置に表示されてから経過した時間を示す情報を含むアイコンを、前記表示部に表示させてもよい。
【０００９】
前記領域選択機能は、前記表示映像に含まれるメタデータ領域の少なくとも一部が、前記表示部に定められた所定の表示位置に、領域選択の有無を決定するために予め定められた選択決定時間が経過する間継続して表示された場合、前記表示映像に含まれるメタデータ領域を選択してもよい。
【００１０】
前記メタデータ領域に設定されたメタデータは、当該メタデータ領域における全方位映像の被写体に関連するコンテンツを示すデータであってもよく、前記実行機能は、前記領域選択機能が選択したメタデータ領域の被写体に関連するコンテンツを前記表示部に表示させる動作を実行してもよい。
【００１１】
前記実行機能は、前記領域選択機能が選択したメタデータ領域の被写体を認識し、認識した被写体に関連するコンテンツを前記表示部に表示させる動作を実行してもよい。
【００１２】
前記領域選択機能は、前記表示部に表示されたコンテンツの少なくとも一部が、前記表示部に定められた所定の表示位置で表示された場合、当該コンテンツを選択してもよい。
【００１３】
前記携帯情報端末に、前記全方位映像に含まれる複数の部分領域のそれぞれについて、前記表示部に定められた所定の表示位置において前記部分領域が表示された時間を計測する時間計測機能をさらに実現させてもよく、前記映像再生機能は、前記時間計測機能が計測した時間の長短を示す情報を計測対象とした部分領域毎に重畳した前記全方位映像を再生してもよい。
【００１４】
本発明の第２の態様に係る携帯情報端末は、表示部と、前記表示部の向き及び傾きを検出する方位傾斜検出部と、メタデータが設定されたメタデータ領域を少なくとも一部に含む全方位映像を再生する映像再生部と、前記向き及び傾きに基づいて前記全方位映像のうち前記表示部に表示させる表示映像を決定する映像決定部と、前記表示映像に含まれるメタデータ領域の少なくとも一部が、前記表示部に定められた所定の表示位置で表示された場合、当該メタデータ領域を選択する領域選択部と、前記領域選択部が選択した前記メタデータ領域に設定されたメタデータが規定する動作を実行する実行部と、を備える。
【００１５】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００１６】
また、以上の構成要素を方法に変換した場合における各ステップをコンピュータに実現させるプログラムも、本発明の態様として有効である。このプログラムは、携帯情報端末等のハードウェア資源の基本的な制御を行うために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、例えば、携帯情報端末内のＲＯＭ（Read Only Memory）やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。
【発明の効果】
【００１７】
本発明によれば、ユーザが表示部に触れることなく表示部に表示された部分領域を選択できる技術を提供できる。
【図面の簡単な説明】
【００１８】
【図１】実施の形態に係る携帯情報端末の外観及び使用例を示す図である。
【図２】実施の形態に係る携帯情報端末の機能構成を模式的に示す図である。
【図３】実施の形態に係る映像再生部が再生する全方位映像を説明するための図である。
【図４】実施の形態に係る領域選択部によるメタデータ領域の選択を説明するための図である。
【図５】実施の形態に係る携帯情報端末が扱う全方位映像のメタデータを説明するための図である。
【図６】実施の形態に係る携帯情報端末が提供する仮想店舗を説明するための図である。
【図７】実施の形態に係るヒートマップを示す模式図である。
【図８】実施の形態に係る携帯情報端末が実行する領域選択処理の流れを説明するためのフローチャートである。
【発明を実施するための形態】
【００１９】
＜実施の形態の概要＞
図１（ａ）−（ｂ）は、実施の形態に係る携帯情報端末１の外観及び使用例を示す図である。具体的には、図１（ａ）は実施の形態に係る携帯情報端末１の表示部５０が映像を表示している様子を示す図であり、図１（ｂ）は、実施の形態に係る携帯情報端末１の好適な使用例を示す図である。以下、図１を参照しながら、実施の形態に係る携帯情報端末１の概要を述べる。
【００２０】
実施の形態に係る携帯情報端末１は、全方位映像を表示するためのプログラムを実行可能なデバイスであり、具体的には図１（ａ）に示すようなスマートフォンや、タブレットＰＣ（Personal Computer）である。ここで「全方位映像」とは、球面形状のスクリーン又は仮想スクリーン上に投影するに足りる情報量を持った映像である。全方位映像は、既知の全方位カメラを用いて撮影することで取得できる。
【００２１】
図１（ａ）に示すように、実施の形態に係る携帯情報端末１が備える表示部５０は平面であり、球面形状である全方位映像の全てを一度に表示することは難しい。このため携帯情報端末１は、表示部５０に全方位映像の一部分を表示する。この際、携帯情報端末１は、表示部５０の方位及び傾きに連動して、表示部５０に表示する映像を変更する。
【００２２】
実施の形態に係る携帯情報端末１は、図１（ｂ）に示すように、携帯情報端末１を収容するための筐体７０に収容して用いることができる。筐体７０は紙又は樹脂性の略直方体形状であり、一つの面に開口部が設けられている。筐体７０は、ユーザＰが開口部をのぞき込むとユーザＰの目の前方に外部の光を遮蔽する空間が形成されるように構成されている。また筐体７０の開口部の対面には、携帯情報端末１を差し込んで保持する保持部（不図示）が設けられている。したがって、筐体７０の内側に表示部５０が向くように携帯情報端末１を保持部に差し込むと、筐体７０をのぞくユーザＰの目の前方に表示部５０が表示する映像が提示される。すなわち、筐体７０は携帯情報端末１を用いることで簡易的なＨＭＤを実現することができる。
【００２３】
筐体７０を使用することでユーザＰに深い没入感を伴った仮想現実体験を提供することができる。ユーザＰが筐体７０をのぞきながら顔の向きや傾きを変えると、それと連動して表示部５０が表示する映像も変化する。これにより、ユーザＰはあたかも表示部５０が表示する映像の中にいるかのような体験をすることができる。
【００２４】
一方、筐体７０を使用すると、ユーザＰは携帯情報端末１の表示部５０に触れたり、携帯情報端末１が備えるボタン等を押下したりすることが難しくなる。一般に、携帯情報端末１の表示部５０はタッチスクリーンとなっており、表示部５０はユーザＰが携帯情報端末１を操作するためのユーザインタフェースともなっている。ユーザＰがタッチスクリーンに表示された操作用のアイコン等をタップして選択すると、携帯情報端末は、そのアイコンに関連付けられている動作を実行する。しかしながら、携帯情報端末１を筐体７０に収容して使用している状態では、ユーザＰはタッチスクリーンを介して携帯情報端末１を操作することが困難となる。
【００２５】
このため実施の形態に係る携帯情報端末１は、表示部５０が表示する映像中のアイコン等の選択可能な領域が、表示部５０の表示領域に設定された所定の場所に表示されると、その選択可能な領域が選択されるように構成されている。これにより、ユーザＰは表示部５０の向きや傾きを変更して選択可能な領域の表示位置を動かすことにより、表示部５０に触れることなくアイコン等を選択することができる。
以下、実施の形態に係る携帯情報端末１をより詳細に説明する。
【００２６】
＜携帯情報端末の機能構成＞
図２は、実施の形態に係る携帯情報端末１の機能構成を模式的に示す図である。実施の形態に係る携帯情報端末１は、制御部１０、方位傾斜検出部２０、記憶部３０、一時記憶部４０、表示部５０、及び通信部６０を備える。また制御部１０は、実行部１１、アイコン表示制御部１２、マーカ表示制御部１３、映像決定部１４、映像再生部１５、領域選択部１６、及び時間計測部１７を備える。
【００２７】
図２は、実施の形態に係る携帯情報端末１を実現するための機能構成を示しており、その他の構成は省略している。図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には携帯情報端末１のＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができる。またソフトウェア的には、メインメモリにロードされたプログラム等によって実現される。したがってこれらの機能ブロックが、携帯情報端末１の計算リソースによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２８】
通信部６０は、インターネットや携帯電話通信網等のネットワークを介して他の装置と情報のやり取りをする。通信部６０は、ＷｉＦｉ（登録商標）やＬＴＥ（Long Term Evolution）モジュール、又は３Ｇ（3rd Generation）モジュール等の既知の通信モジュールを用いて実現できる。
【００２９】
記憶部３０は、携帯情報端末１の動作を制御するオペレーティングシステム（Operating System;以下、「ＯＳ」と記載する。）と、携帯情報端末１に制御部１０の各部の機能を実現させるためのアプリケーションプログラム（以下、単に「アプリ」と記載する。）とを格納する。記憶部３０はまた、表示部５０に表示させる全方位映像や、全方位映像に関連付けられたメタデータ等の電子情報も記憶している。記憶部３０は、例えばＳＳＤ（Solid State Drive）等の大容量記憶ストレージで実現できる。なお、記憶部３０は、例えば全方位映像を撮影するための撮像装置から全方位映像を取得したり、通信部６０及びネットワークを介してサーバ等の他の装置から取得したりして、全方位映像を格納する。
【００３０】
制御部１０は、携帯情報端末１のＣＰＵ及びＧＰＵ（Graphic Processing Unit）である。制御部１０は、記憶部３０から読み出したＯＳを実行することにより、携帯情報端末１の動作を制御する。制御部１０はまた、記憶部３０から読み出したアプリを実行することにより、制御部１０内の各部の機能に対応する実行機能、アイコン表示制御機能、マーカ表示制御機能、映像決定機能、映像再生機能、領域選択機能、及び時間計測機能を実現する。
一時記憶部４０は、制御部１０の作業領域を提供する揮発性メモリである。一時記憶部４０は、例えばＤＲＡＭ（Dynamic Random Access Memory）を用いて実現できる。
【００３１】
方位傾斜検出部２０は、携帯情報端末１の方位及び傾き、すなわち携帯情報端末１が備える表示部５０の方位及び傾きを検出する。方位傾斜検出部２０は、例えば既知の方位角センサと加速度センサとを用いたり、６軸センサを用いたりして実現できる。
映像再生部１５は、記憶部３０が記憶する全方位映像を読み出して、全方位映像を再生する。映像再生部１５が再生する全方位映像は動画像であり、映像再生部１５は全方位映像の全部又は少なくとも一部を再生して、フレームバッファとなる一時記憶部４０に記憶する。なお、映像再生部１５は、全方位映像を通常の２次元動画として再生してもよいし、ユーザＰの右目用の視差画像と左目用の視差画像とのそれぞれを再生することによって立体動画像として再生してもよい。
【００３２】
図３（ａ）−（ｂ）は、実施の形態に係る映像再生部１５が再生する全方位映像８０を説明するための図である。具体的に、図３（ａ）は仮想的な球面スクリーンに投影される全方位映像８０を説明するための図であり、図３（ｂ）は映像再生部１５が再生する全方位映像８０と、携帯情報端末１の表示部５０が表示する表示映像５１との関係を示す図である。
【００３３】
映像再生部１５は、図３（ａ）に示すように、ユーザＰを中心とする所定の半径の球面に、仮想的な球面スクリーンに投影することを仮定して全方位映像８０を再生する。図３（ａ）において、符号５１で示す領域は、映像決定部１４が携帯情報端末１の表示部５０に表示させる映像として決定した表示映像５１である。図３（ａ）は、方位傾斜検出部２０が検出した表示部５０の方位が、真東よりやや北寄りの方位である場合の例を示している。また図３（ｂ）に示すように、方位傾斜検出部２０は、表示部５０の傾き、すなわち仰角がαであることを示している。映像決定部１４は、方位傾斜検出部２０が検出した方位及び傾きに基づいて、表示映像５１を決定する。映像決定部１４は、全方位映像８０から表示映像５１を切り出してフレームバッファに格納する。表示部５０は、フレームバッファに格納された表示映像５１を表示する。
【００３４】
ユーザＰが携帯情報端末１を動かして表示部５０の方位及び傾きを変化させると、それに連動して映像決定部１４が全方位映像８０から切り出す表示映像５１も変化する。これにより、表示映像５１を観察するユーザＰは、あたかも全方位映像８０が映し出すシーンの中にいるかのような体験を得ることができる。
【００３５】
実施の形態に係る映像再生部１５が再生する全方位映像８０は、少なくとも一部にメタデータが設定されたメタデータ領域を含んでいる。領域選択部１６は、表示映像５１に含まれるメタデータ領域の少なくとも一部が、表示部５０に定められた所定の表示位置で表示された場合、そのメタデータ領域を選択する。実行部１１は、領域選択部１６が選択したメタデータ領域に設定されたメタデータに応じた動作を実行する。
【００３６】
メタデータ領域に設定されたメタデータは、実行部１１に何らかの動作を指示する命令を含んでいる。例えば、領域選択部１６が選択したメタデータ領域に設定されているメタデータが、映像再生部１５による全方位映像８０の再生を終了すること指示する命令を含むとする。この場合、実行部１１は、映像再生部１５による全方位映像８０の再生を終了させる。同様に、選択されたメタデータが、映像再生部１５が再生する全方位映像８０を別の全方位映像８０に切り替えることを指示する命令を含んでいる場合、実行部１１は、映像再生部１５に別の全方位映像８０を再生させる。これにより、携帯情報端末１のユーザＰは、表示部５０の方位及び傾きを変えてメタデータ領域を選択することにより、表示部５０に触れることなく、携帯情報端末１を操作することができる。
【００３７】
図４（ａ）−（ｂ）は、実施の形態に係る領域選択部１６によるメタデータ領域の選択を説明するための図である。具体的に、図４（ａ）は表示映像５１にあるメタデータ領域５３を例示する図であり、図４（ｂ）は、選択されたメタデータ領域５３を例示する図である。図４（ａ）及び図４（ｂ）は、第１メタデータ領域５３ａ、第２メタデータ領域５３ｂ、及び第３メタデータ領域５３ｃの３つのメタデータ領域５３が表示されている場合の例を示している。図４（ａ）−（ｂ）において、符号５３ａ、符号５３ｂ、及び符号５３ｃが付された平行四辺形又は矩形が、それぞれ第１メタデータ領域５３ａ、第２メタデータ領域５３ｂ、及び第３メタデータ領域５３ｃである。なお、表示映像５１に含まれるメタデータ領域５３の数は３つに限られず、１又は２であってもよいし、４以上であってもよい。本明細書においては、複数のメタデータ領域５３を区別しない場合は、それらを総称して「メタデータ領域５３」と記載する。
【００３８】
図４（ａ）−（ｂ）に示す３つのメタデータ領域５３は、それぞれ新たな映像コンテンツを再生することを示す命令を含むメタデータが設定されている。図４（ａ）−（ｂ）に図示はしていないが、映像再生部１５は、各メタデータ領域５３に、そのメタデータ領域５３に関連付けて再生される映像コンテンツのサムネイル動画を表示してもよい。
【００３９】
マーカ表示制御部１３は、表示部５０に定められた所定の表示位置に、メタデータ領域５３を選択するためのマーカ５２を表示する。図４（ａ）−（ｂ）に示す例では、マーカ表示制御部１３は、表示部５０の中心に位置するように、表示映像５１の大きさに対して十分小さなマーカ５２を表示する。マーカ表示制御部１３が表示部５０に表示させるマーカ５２の位置、大きさ、及び形状は、携帯情報端末１の表示部５０のサイズや携帯情報端末１が再生する映像の種類等に応じて実験により定めればよい。一例としては、図４（ａ）−（ｂ）に示すように、マーカ表示制御部１３は、表示部５０の中央部に縦５ピクセル、横５ピクセルの矩形をマーカ５２として表示している。
【００４０】
図４（ａ）は、マーカ５２がいずれのメタデータ領域５３とも重なっていない場合の例を示している。表示映像５１を観察するユーザＰは、表示部５０の方位及び傾きを変化させて、表示部５０に表示させる表示映像５１を変える。例えば、図４（ａ）に示す表示映像５１に対し、マーカ５２が第２メタデータ領域５３ｂと重なるようにユーザＰが表示部５０の傾きを変えると、図４（ｂ）に示すようにマーカ５２が第２メタデータ領域５３ｂと重なる。なお、図１（ｂ）に示すようにユーザＰが携帯情報端末１を筐体７０とともにＨＭＤとして使用している場合には、ユーザＰは顔を上方向に動かすことによって、マーカ５２を第２メタデータ領域５３ｂと重ねることができる。
【００４１】
アイコン表示制御部１２は、マーカ５２と表示映像５１に含まれるメタデータ領域５３とが重なっていることを示すアイコン５４を、表示部５０に表示させる。図４（ｂ）に示す例では、アイコン５４は、マーカ５２を中心とする十字と、その十字を囲む円とで構成されている。このように、マーカ５２がメタデータ領域５３と重なることがアイコン５４によって示されるため、ユーザＰはメタデータ領域５３を適切に選択できたことを確認することができる。なお、アイコン表示制御部１２は、マーカ５２がメタデータ領域５３の少なくとも一部と重なることを契機として、アイコン５４を表示部５０に表示させる。
【００４２】
図４（ｂ）に示すように、アイコン表示制御部１２が表示部５０に表示させるアイコン５４は、表示映像５１に含まれるメタデータ領域５３の少なくとも一部がマーカ５２に表示されてから経過した時間を示す情報を含む。より具体的には、図４（ｂ）に示す例では、アイコン５４の構成要素の一つである円が、マーカ５２が第２メタデータ領域５３ｂと重なってから経過した時間を示している。いわばこの円はウエイトバー（Wait Bar）ないしプログレスバー（Progress Bar）と呼ばれるＧＵＩ（Graphical User Interface）として機能する。
【００４３】
マーカ５２が第２メタデータ領域５３ｂと重なることを契機として、アイコン表示制御部１２はアイコン５４を表示部５０に表示させる。この時点では、アイコン５４の円は白色である。その後、マーカ５２が第２メタデータ領域５３ｂと重なっている時間の経過とともに、白色部分が黒色に変化する。全ての円が黒色となると、領域選択部１６は、第２メタデータ領域５３ｂの選択を確定する。
【００４４】
このように、領域選択部１６は、表示映像５１に含まれるメタデータ領域５３の少なくとも一部とマーカ５２とが、領域選択の有無を決定するために予め定められた選択決定時間が経過する間継続して重なって表示された場合、そのメタデータ領域５３を選択する。マーカ５２がメタデータ領域５３と重なってから領域選択部１６によるメタデータ領域５３の選択が確定するまでに時間差を設けることにより、ユーザＰが表示部５０を動かしたときに意図せずメタデータ領域５３を選択してしまうことを軽減できる。また、マーカ５２が第２メタデータ領域５３ｂと重なっている時間の経過をアイコン５４を用いてユーザＰに明示することにより、ユーザＰが意図的にメタデータ領域５３を選択する際のユーザビリティを向上することができる。なお、「選択決定時間」の具体的な長さは、メタデータ領域５３に関連付けられたメタデータの内容や、表示部５０に表示させるコンテンツ等によって実験により定めればよいが、一例としては３秒である。
【００４５】
＜メタデータのデータ構造＞
図５（ａ）−（ｂ）は、実施の形態に係る携帯情報端末１が扱う全方位映像のメタデータを説明するための図である。具体的に図５（ａ）は表示映像５１に定義されたメタデータ領域５３の境界線を例示する図であり、図５（ｂ）は図５（ａ）に定義されたメタデータ領域５３のうちの一つのメタデータ領域５３に設定されているメタデータのデータ構造を示す模式図である。
【００４６】
図５（ａ）が示す表示映像５１は、ある果物屋を撮影した映像である。表示映像５１には、果物屋の店主を示す第４メタデータ領域５３ｄ、客を示す第５メタデータ領域５３ｅ、商品であるバナナを示す第６メタデータ領域５３ｆが定義されている。また、図５（ｂ）は、第６メタデータ領域５３ｆに設定されているメタデータのデータ構造を示す模式図である。各メタデータは、それぞれを一意に特定するメタデータＩＤ（IDentifier）、メタデータの概要、全方位映像８０におけるメタデータ領域５３の位置を表す絶対座標、表示映像５１におけるメタデータ領域５３の表示位置を示す相対座標、メタデータ領域５３に関連付けられている１又は複数の関連コンテンツを特定するための情報、メタデータ領域５３がアクティブか否か、すなわち、メタデータ領域５３をユーザＰに提示して選択させることができるか否か等の情報を含んでいる。
【００４７】
なお、絶対座標は、全方位映像８０において表示位置を特定するためにあらかじめ定められている座標である。絶対座標は全方位映像８０の位置を一意に特定できるのであればどのようなものでもよい。例えば図３（ａ）における東西を結ぶ線分をＸ軸、南北を結ぶ線分をＹ軸、ユーザＰから天頂に向かう線分をＺ軸としたときの、方位角と仰角（又は俯角）を用いて全体座標を表現することができる。なお、方位角はＸＹ平面における極座標の角度であり、仰角はＸＹ平面の上側の角度、俯角はＸＹ平面の下側の角度である。
【００４８】
図５（ａ）において、第７メタデータ領域５３ｇ、第８メタデータ領域５３ｈ、及び第９メタデータ領域５３ｉは、ユーザＰが第６メタデータ領域５３ｆを選択したときにアクティブとなり、映像再生部１５が表示部５０に表示させるメタデータ領域５３である。より具体的には、第６メタデータ領域５３ｆに関連付けられている関連コンテンツをユーザＰに提示するためのメタデータ領域である。図５（ａ）−（ｂ）に示す例では、ユーザＰがバナナを示す第６メタデータ領域５３ｆを選択すると、その産地を紹介するＵＲＬ（Uniform Resource Locator）や、類似商品の画像、その商品を使った料理のレシピ等の関連コンテンツがアクティブとなり、表示部５０に表示される。
【００４９】
ユーザＰがマーカ５２をアクティブとなった関連コンテンツに重ねると、領域選択部１６は、その関連コンテンツを選択する。実行部１１は、領域選択部１６が選択したメタデータ領域５３の被写体に関連するコンテンツを表示部５０に表示させる動作を実行する。このように、全方位映像８０の被写体に関連するコンテンツを示すデータをメタデータとしてあらかじめ設定することにより、実行部１１は、領域選択部１６が選択したメタデータ領域５３の被写体に関連するコンテンツを表示部５０に表示させる動作を実行することができる。これにより、ユーザＰは全方位映像８０の被写体に関連する情報を得ることができるようになる。
【００５０】
＜全方位映像を利用したショッピング＞
図５（ａ）−（ｂ）を参照して説明した技術を用いることにより、例えば全方位映像８０を利用したショッピングの場をユーザＰに提供することが可能となる。
図６（ａ）−（ｂ）は、実施の形態に係る携帯情報端末１が提供する仮想店舗を説明するための図である。具体的には、図６（ａ）−（ｂ）における表示映像５１は、ある服飾店におけるジャケット売り場である場合の例を示している。
【００５１】
図６（ａ）に示す表示映像５１に撮影されている各ジャケットはあらかじめ全方位映像８０の制作者によってメタデータ領域５３に設定されている。このため図６（ａ）に示すように、ユーザＰがマーカ５２を表示映像５１内の所望のジャケットと重ねると、領域選択部１６はそのジャケットに対応するメタデータ領域５３を選択する。図６（ａ）−（ｂ）に示す例では、ジャケットである各メタデータ領域５３には、そのジャケットとの類似商品や、そのジャケットに合う他の服飾品等の情報がメタデータとして設定されている。例えば図６（ｂ）は、ユーザＰが選択したジャケットと類似するジャケットを示す第１０メタデータ領域５３ｊ及び第１１メタデータ領域５３ｋが表示されている様子を示している。図６（ｂ）にはさらに、ユーザＰが選択したジャケットに合う靴としてユーザＰに推薦される靴を示す第１２メタデータ領域５３ｌもアクティブとなっている。
【００５２】
この他、図６（ａ）−（ｂ）に図示はしないが、ユーザＰがジャケットであるメタデータ領域５３を選択すると、そのジャケットを購入するための決済ページに移動するためのメタデータ領域５３が表示される。これにより、あたかも本当のお店でジャケットを選んで購入するかのような体験をユーザＰに提供することができる。
なお以下では、実施の形態に係る携帯情報端末１は、図示しないサーバから全方位映像８０を取得して再生することを前提として説明する。
【００５３】
＜ヒートマップ＞
このように、ユーザＰは、マーカ５２を全方位映像８０中のメタデータ領域５３と重ねることにより、所望のメタデータ領域５３を選択する。これはつまり、マーカ５２はユーザＰが、全方位映像８０のうちどの点を注目しているかを計る指標となり得る。このため、時間計測部１７は、全方位映像８０に定められた複数の部分領域それぞれについて、マーカ５２が部分領域に表示された時間を計測する。
【００５４】
通信部６０は、時間計測部１７が計測した時間と、全方位映像８０における計測位置を示す全体座標とを、全方位映像８０を提供するサーバに送信する。サーバは、ネットワークを介して通信する複数の携帯情報端末１から時間情報と位置情報とを集計し、ヒートマップを作成する。ここで「ヒートマップ」とは、１以上の携帯情報端末１の時間計測部１７が計測した時間の長短を示す情報を、計測対象とした部分領域毎に重畳した全方位映像である。ヒートマップは、携帯情報端末１のユーザＰが全方位映像８０のある部分領域を注目すること、すなわちマーカ５２を部分領域と重ねる行為をした時間の長短を視覚的に示す情報となる。映像再生部１５は、サーバからヒートマップを取得して、表示部５０に表示させる。
【００５５】
図７は、実施の形態に係るヒートマップを示す模式図である。図７において、符号５５で示す破線の矩形は、一つの部分領域５５を示している。煩雑となるために全てに符号を付していないが、図７において、破線で囲まれた矩形領域は、それぞれ異なる部分領域５５である。図７に示す例では、画素の輝度値が小さい領域、すなわち黒色に観察される部分は、画素の輝度値が大きく白色に観察される部分よりもユーザＰがマーカ５２を重ねた時間が長いことを示している。
【００５６】
ヒートマップは、例えば図６（ａ）−（ｂ）に示すような全方位映像８０を利用したショッピングにおいて、顧客となるユーザＰの注目領域を推測する上で有用な指標となり得る。例えば、全方位映像８０を利用したショッピングの提供者が、デザインの異なる複数の全方位映像８０を用意し、それぞれのデザインにおけるユーザＰの注目領域を計測することができる。これにより、全方位映像８０を用いたＡＢテストを実現することができる。全方位映像８０を利用したショッピングの提供者は、どのような全方位映像８０を用意すれば商品に対するユーザＰの注目時間が増加するか等の知見が得られるため、ユーザＰにとって利用のしやすいショッピングの場を提供することを実現しうる。
【００５７】
＜処理フロー＞
図８は、実施の形態に係る携帯情報端末１が実行する領域選択処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば携帯情報端末１が起動した時に開始する。
【００５８】
映像再生部１５は、記憶部３０から読み出した全方位映像８０を再生する（Ｓ２）。方位傾斜検出部２０は、携帯情報端末１の表示部５０が向いている方向を示す方位、及び表示部５０の傾きを検出する（Ｓ４）。映像決定部１４は、方位傾斜検出部２０が検出した方位及び傾きに基づいて、全方位映像８０のうち表示部５０に表示させる表示映像５１を決定する（Ｓ６）。
【００５９】
領域選択部１６は、ユーザＰが表示部５０を動かしてマーカ５２をメタデータ領域５３に重ねることにより、メタデータ領域５３を選択するまで待機する（Ｓ８）。ユーザＰによるメタデータ領域５３の選択の候補がない間（Ｓ１０のＮＯ）、ステップＳ２に戻ってステップＳ２からステップＳ８に至るまでの処理を繰り返す。ユーザＰによるメタデータ領域５３の選択候補がある場合（Ｓ１０のＹＥＳ）、アイコン表示制御部１２は、マーカ５２に重ねてアイコン５４が表示されるように、表示部５０を制御する（Ｓ１２）。
【００６０】
アイコン表示制御部１２は、マーカ５２がメタデータ領域５３と重なった状態となってからの経過時間を計測する（Ｓ１４）。アイコン表示制御部１２が計測した時間が所定の選択決定時間を経過するまでは（Ｓ１６のＮＯ）、アイコン表示制御部１２は時間計測を継続する。アイコン表示制御部１２が計測した時間が所定の選択決定時間を経過すると（Ｓ１６のＹＥＳ）、領域選択部１６はマーカ５２が重なっているメタデータ領域５３の選択を確定する（Ｓ１８）。実行部１１は、選択が確定したメタデータ領域５３に設定されているメタデータに応じた動作を実行する（Ｓ２０）。領域選択処理を終了しない間（Ｓ２２のＮＯ）、ステップＳ２に戻ってステップＳ２からステップＳ２０に至るまでの処理を実行する。領域選択処理を終了する場合（Ｓ２２のＹＥＳ）、本フローチャートにおける処理は終了する。
【００６１】
以上説明したように、実施の形態に係る携帯情報端末１によれば、ユーザＰが携帯情報端末１の表示部５０に触れることなく表示部５０に表示されたメタデータ領域５３を選択することができる。
特に、ユーザＰがマーカ５２をメタデータ領域５３に重ねたとき表示部５０にアイコン５４が表示されるので、ユーザＰはメタデータ領域５３を選択していることが一見して把握できる。また、各メタデータ領域５３には実行部１１が実行する動作がメタデータとして設定されているため、ユーザＰは表示部５０に触れることなく、携帯情報端末１に種々の動作を実行させることができる。これは例えば音声認識による指示と比較して指示の精度が高くなる点で有利である。また、単に携帯情報端末１の傾きを指示とする場合と比較して、指示できる動作のバリエーションを増やせる点で有利である。
【００６２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。以下そのような変形例を説明する。
【００６３】
撮影した全方位映像８０の被写体である果物屋の店先のバナナや、服飾店のジャケットのような商品は、全方位映像８０の作成者が手動でメタデータ領域５３及び関連付けるメタデータを設定する。一方、近年、機械学習を用いて映像中の被写体を認識する被写体認識技術が急速に発展してきている。この中でも、特に映像中の人物を検出し、その人物が誰であるかまでも特定する人物認識技術は実用段階に入っている。
【００６４】
そこで、既知の人物認識技術を用いて、全方位映像８０に撮影された人物を認識して自動でメタデータ領域５３を作成してもよい。これは例えば実行部１１が表示映像５１中の人物を認識し、輪郭抽出を実行してメタデータ領域５３を生成することで実現できる。また、実行部１１は、認識した人物の名前に基づいて図示しないＳＮＳ（Social Networking System）のサーバに問い合わせることにより、メタデータ領域５３に人物の情報を示すメタデータを特定することができる。これにより、実行部１１は、認識した被写体の顔画像や名前等、被写体に関連するコンテンツを表示部５０に表示させる動作を実行することができる。
【００６５】
実行部１１による被写体認識機能を利用することにより、例えば撮影者自身が撮影されている全方位映像８０のショートムービーを投稿するＳＮＳサービスを仮定した場合、そのＳＮＳサービスを利用するユーザが、投稿されている全方位映像８０に撮影されている撮影者等の被写体を選択したとする。この被写体の選択を契機として、ユーザがその被写体を「フォロー」することができるようになる。いわば全方位映像版の短文投稿型ＳＮＳである。これにより、このＳＮＳサービスを利用するユーザは、表示部５０の方向及び傾きを変えて全方位映像８０に写っている被写体を選択するだけで、その被写体が過去に投稿した他の全方位映像８０や、これから投稿する全方位映像８０を簡単に追いかけることができるようになる。
【符号の説明】
【００６６】
１・・・携帯情報端末
１０・・・制御部
１１・・・実行部
１２・・・アイコン表示制御部
１３・・・マーカ表示制御部
１４・・・映像決定部
１５・・・映像再生部
１６・・・領域選択部
１７・・・時間計測部
２０・・・方位傾斜検出部
３０・・・記憶部
４０・・・一時記憶部
５０・・・表示部
５１・・・表示映像
５３・・・メタデータ領域
５４・・・アイコン
５５・・・部分領域
６０・・・通信部
７０・・・筐体
８０・・・全方位映像
【図１】
2017123006.tif 000003
【図２】
2017123006.tif 000004
【図３】
2017123006.tif 000005
【図４】
2017123006.tif 000006
【図５】
2017123006.tif 000007
【図６】
2017123006.tif 000008
【図７】
2017123006.tif 000009
【図８】
2017123006.tif 000010