(57)【要約】【課題】撮像画像のうち所望の部分画像を視認する場合のユーザの利便性を向上させることが可能な携帯端末装置を提供する。【解決手段】携帯端末装置は、予め定められた方位角範囲を撮像可能なカメラで撮像された撮像画像とカメラによる撮像方位とを関連付けて記憶するサーバ、および、撮像画像の第１の部分画像を表示する電子機器と通信可能に構成されている。携帯端末装置は、電子機器が向いている方向を示す第１の方向情報を電子機器から受信し、携帯端末装置が向いている方向を示す第２の方向情報を取得し、第１および第２の方向情報に基づいて、電子機器が向いている方向と携帯端末装置が向いている方向とがなす角度を算出し、角度をサーバに送信し、角度と第１の部分画像に関連付けられた撮像方位とに基づいてサーバにより撮像画像から抽出された第２の部分画像を、サーバから受信し、第２の部分画像を表示する。【選択図】図２
2016051449.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末装置であって、
前記携帯端末装置は、予め定められた方位角範囲を撮像可能なカメラで撮像された撮像画像と前記カメラによる撮像方位とを関連付けて記憶するサーバ、および、前記サーバから送信された前記撮像画像の第１の部分画像を表示する電子機器と通信可能に構成されており、
前記電子機器が向いている方向を示す第１の方向情報を前記電子機器から受信する方向受信手段と、
前記携帯端末装置が向いている方向を示す第２の方向情報を取得する方向取得手段と、
前記第１および第２の方向情報に基づいて、前記電子機器が向いている方向と前記携帯端末装置が向いている方向とがなす角度を算出する算出手段と、
前記角度を前記サーバに送信する送信手段と、
前記角度と前記第１の部分画像に関連付けられた撮像方位とに基づいて前記サーバにより前記撮像画像から抽出された第２の部分画像を、前記サーバから受信する画像受信手段と、
前記第２の部分画像を表示する表示手段とを備える、携帯端末装置。
【請求項２】
前記算出手段により算出された前記角度が予め定められた範囲内である場合に、前記携帯端末装置と前記電子機器との通信を許可する認証手段をさらに含み、
前記認証手段により前記通信が許可された場合に、前記送信手段は、前記角度を前記サーバに送信する、請求項１に記載の携帯端末装置。
【請求項３】
前記認証手段により前記通信が許可された場合に、前記送信手段は、前記認証手段により通信が許可された時刻情報を前記サーバにさらに送信し、
前記画像受信手段は、前記通信が許可されたときに前記電子機器により表示されていた前記第１の部分画像に関連付けられた撮像方位と前記角度とに基づいて前記サーバにより抽出された前記第２の部分画像を、前記サーバから受信する、請求項２に記載の携帯端末装置。
【請求項４】
前記算出手段は、前記携帯端末装置が向いている方向を確定させる入力を受け付けたときに前記方向取得手段により取得されていた前記第２の方向情報を、前記携帯端末装置が向いている方向として確定させて、前記第１の方向情報と前記確定された前記第２の方向情報とに基づいて前記角度を算出する、請求項１〜３のいずれか１項に記載の携帯端末装置。
【請求項５】
電子機器および携帯端末装置を備える表示システムであって、
前記電子機器は、
予め定められた方位角範囲を撮像可能なカメラで撮像された撮像画像と前記カメラによる撮像方位とを関連付けて記憶するサーバから送信された、前記撮像画像の第１の部分画像を受信する第１の画像受信手段と、
前記第１の部分画像を表示する第１の表示手段と、
前記電子機器が向いている方向を示す第１の方向情報を取得する第１の方向取得手段と、
前記第１の方向情報を前記携帯端末装置に送信する機器送信手段とを含み、
前記携帯端末装置は、
前記機器送信手段から送信された前記第１の方向情報を受信する方向受信手段と、
前記携帯端末装置が向いている方向を示す第２の方向情報を取得する第２の方向取得手段と、
前記第１および第２の方向情報に基づいて、前記電子機器が向いている方向と前記携帯端末装置が向いている方向とがなす角度を算出する算出手段と、
前記角度を前記サーバに送信する端末送信手段と、
前記角度と前記第１の部分画像に関連付けられた撮像方位とに基づいて前記サーバにより前記撮像画像から抽出された第２の部分画像を、前記サーバから受信する第２の画像受信手段と、
前記第２の部分画像を表示する第２の表示手段とを含む、表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、携帯端末装置を用いて撮像画像の部分画像を視認するための技術に関する。
【背景技術】
【０００２】
従来、全方位カメラは、周囲３６０°の被写体画像を同時に撮像することができるため、様々な形態で利用されている。たとえば、全方位カメラは、定点カメラとして周囲３６０°の状態を常時撮影し、３６０°のパノラマ画像として合成し、これを表示したり、記録したりする。また、全方位カメラとヘッドマウントディスプレイとを利用して、仮想物体を現実の空間に重畳して表示する技術が提案されている。
【０００３】
たとえば、特開２０１２−０４８５９７号公報（特許文献１）は、画像提供サーバと複数のクライアント端末とが通信可能に構成された複合現実感表示システムを開示している。画像提供サーバは、仮想物体を描画し、描画した仮想物体と全方位画像取得カメラにて撮影された全方位画像とを合成し、合成画像情報を複数のクライアント端末に向けて配信する。クライアント端末は、当該クライアント端末を観察するユーザの視線を定義する位置姿勢情報に基づいて、画像提供サーバから受信した合成画像情報が示す合成画像から部分領域画像を抽出し、表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−０４８５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術によると、ヘッドマウントディスプレイを装着するユーザは、自己の位置と姿勢に基づいて全方位画像から抽出された部分領域画像を観察する。そのため、ユーザは、自己の位置と姿勢を実際に動かすことにより、所望の部分領域画像を視認することが可能となる。
【０００６】
たとえば、建物や設置物などの静的な対象物を全方位カメラで撮像する場合には、ユーザは、所望の部分領域画像を視認するために自己の位置姿勢を頻繁に動かす必要はない。しかしながら、サッカーなどのスポーツを全方位カメラで撮像する場合には、ユーザは、所望の部分領域画像を視認するためには自己の位置姿勢を頻繁に動かす必要がある。なぜなら、ユーザが見たい対象物は、通常、常時動いているボールや選手などの動的な対象物であると考えられるためである。この場合、長時間の視聴はユーザの体力を消耗させ、また、ユーザは落ち着いて視聴することもできない。
【０００７】
本開示は、上記のような問題点を解決するためになされたものであって、ある局面における目的は、撮像画像のうち所望の部分画像を視認する場合のユーザの利便性を向上させることが可能な携帯端末装置、および表示システムを提供することである。
【課題を解決するための手段】
【０００８】
ある実施の形態に従う携帯端末装置は、予め定められた方位角範囲を撮像可能なカメラで撮像された撮像画像とカメラによる撮像方位とを関連付けて記憶するサーバ、および、サーバから送信された撮像画像の第１の部分画像を表示する電子機器と通信可能に構成されている。携帯端末装置は、電子機器が向いている方向を示す第１の方向情報を電子機器から受信する方向受信手段と、携帯端末装置が向いている方向を示す第２の方向情報を取得する方向取得手段と、第１および第２の方向情報に基づいて、電子機器が向いている方向と携帯端末装置が向いている方向とがなす角度を算出する算出手段と、角度をサーバに送信する送信手段と、角度と第１の部分画像に関連付けられた撮像方位とに基づいてサーバにより撮像画像から抽出された第２の部分画像を、サーバから受信する画像受信手段と、第２の部分画像を表示する表示手段とを備える。
【発明の効果】
【０００９】
本開示によると、撮像画像のうち所望の部分画像を視認する場合のユーザの利便性を向上させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態に従う表示システムの全体構成を示す図である。
【図２】本実施の形態に従う表示システムの動作概要を示すシーケンス図である。
【図３】本実施の形態に従う全方位カメラにより取得される撮像画像に対する画像処理の内容を説明するための図である。
【図４】本実施の形態に従う携帯端末装置および電子機器の向きを説明するための図である。
【図５】本実施の形態に従う携帯端末装置のハードウェア構成を示すブロック図である。
【図６】本実施の形態に従う電子機器のハードウェア構成を示すブロック図である。
【図７】本実施の形態に従うサーバのハードウェア構成を示すブロック図である。
【図８】本実施の形態に従う携帯端末装置、電子機器およびサーバの機能ブロック図である。
【図９】本実施の形態に従う携帯端末装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００１２】
＜全体構成＞
図１は、本実施の形態に従う表示システムの全体構成を示す図である。図１を参照して、表示システムは、携帯端末装置１０と、電子機器２０と、サーバ３０と、全方位カメラ４０とを含む。
【００１３】
全方位カメラ４０は、全方位（０°〜３６０°）を撮像可能に構成されている。全方位カメラ４０は、常時撮像を行なっており、撮像された全方位画像をサーバ３０に送信している。全方位カメラ４０は、天頂部も含む全方位の撮像が可能であってもよい。なお、全方位カメラ４０に代えて、予め定められた方位角範囲（たとえば、０°〜１８０°）を撮像可能なカメラにより画像が撮像される構成であってもよい。
【００１４】
サーバ３０は、全方位カメラ４０から送信された全方位画像を受信して、当該全方位画像を内部メモリに記憶する。また、サーバ３０は、インターネットまたは移動体端末通信網などを介して、携帯端末装置１０および電子機器２０と互いに通信可能に構成されている。
【００１５】
携帯端末装置１０は、たとえば、タッチパネル１１０を備えるスマートフォンである。以下では、スマートフォンを「携帯端末装置」の代表例として説明を行なう。ただし、携帯端末装置は、タブレット端末装置、デジタルカメラ、ノートパソコン、ＰＤＡ（Personal  Data  Assistance）などのような、他の携帯機器であってもよい。
【００１６】
電子機器２０は、たとえば、ディスプレイ２０６を備える据置型のテレビジョン装置（テレビ）である。以下では、テレビを「電子機器」の代表例として説明を行なう。ただし、電子機器は、表示機能および通信機能を有するディスプレイ一体型のパソコン、デジタルサイネージ端末装置などのような他の機器であってもよい。なお、電子機器２０が携帯型の機器である場合には、ディスプレイ２０６は、固定して用いられることが望ましい。
【００１７】
携帯端末装置１０および電子機器２０は、それぞれ通信インターフェイスを介して無線または有線で互いに通信可能に構成される。たとえば、携帯端末装置１０および電子機器２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local  Area  Network）などを利用した無線通信を行なう。
【００１８】
＜動作概要＞
次に、図２〜図４を参照して、本実施の形態に従う表示システムの動作概要について説明する。図２は、本実施の形態に従う表示システムの動作概要を示すシーケンス図である。図３は、本実施の形態に従う全方位カメラ４０により取得される撮像画像に対する画像処理の内容を説明するための図である。図４は、本実施の形態に従う携帯端末装置１０および電子機器２０の向きを説明するための図である。
【００１９】
以下の説明では、携帯端末装置１０のユーザは、電子機器２０のディスプレイ２０６を視認することができる状態であるものとする。典型的には、ユーザは、携帯端末装置１０を把持しながら、家庭内のリビングなどに設置された電子機器２０のディスプレイ２０６を視認している場面が想定される。
【００２０】
図２を参照して、全方位カメラ４０は、撮像した全方位画像を取得する（ステップＳ１０）。具体的には、全方位カメラ４０は、図３（ａ）に示すような全方位画像を取得する。そして、全方位カメラ４０は、このような円形状の全方位画像を展開して、所定の画像処理を行なうことで図３（ｂ）に示すような方形状の全方位画像（パノラマ画像）を生成する。
【００２１】
ここで、全方位カメラ４０により撮像された全方位画像には、全方位カメラ４０の撮像方位が関連付けられている。たとえば、全方位画像を部分画像Ｐ１〜Ｐ１２に１２等分した場合を考えると、部分画像Ｐ１は、全方位画像のうち撮像方位が０°〜３０°までの画像であることを示している。すなわち、部分画像Ｐ１には、撮像方位０°〜３０°が関連付けられている。
【００２２】
全方位カメラ４０は、全方位画像をサーバ３０に送信する（ステップＳ１１）。サーバ３０は、受信した全方位画像を内部メモリに記憶するとともに、サーバ３０の管理者の指示に従って、電子機器２０に送信するための部分画像Ｐａを抽出する（ステップＳ１２）。たとえば、管理者が、撮像方位が６０°〜１２０°の画像を全方位画像から抽出するようにサーバ３０に指示したとする。この場合、サーバ３０は、電子機器２０に送信する部分画像Ｐａとして、全方位画像から部分画像Ｐ３，Ｐ４を抽出する（図３を参照）。なお、管理者は、任意の撮像方位の画像を全方位画像から抽出するようにサーバ３０に指示することが可能である。
【００２３】
次に、サーバ３０は、管理者の指示に従って全方位画像から抽出した部分画像Ｐａを電子機器２０に送信する（ステップＳ１４）。電子機器２０は、受信した部分画像Ｐａをディスプレイ２０６に表示する（ステップＳ１６）。この例では、ディスプレイ２０６には、部分画像Ｐ３，Ｐ４が表示される。
【００２４】
次に、携帯端末装置１０は、電子機器２０との通信を確立するために、電子機器２０が向いている方向を示す方向情報Ｄａを送信するように電子機器２０に要求する（ステップＳ１８）。電子機器２０は、携帯端末装置１０から当該要求を受信すると、内蔵された方向センサにより方向情報Ｄａを取得して、これを携帯端末装置１０に送信する（ステップＳ２０）。具体的には、電子機器２０が向いている方向とは、ディスプレイ２０６の表示面が向いている方向（Ｙ軸方向）である（図４（ａ）を参照）。
【００２５】
携帯端末装置１０は、方向情報Ｄａを受信すると、内蔵された方向センサにより携帯端末装置１０が向いている方向を示す方向情報Ｄｂを取得する（ステップＳ２２）。具体的には、携帯端末装置１０が向いている方向とは、タッチパネル１１０の表示面が向いている方向（Ｙ軸方向）である（図４（ｂ）を参照）。
【００２６】
携帯端末装置１０は、方向情報Ｄａおよび方向情報Ｄｂに基づいて、電子機器２０が向いている方向と携帯端末装置１０が向いている方向とがなす角度θ（図４（ｃ）を参照）を算出する（ステップＳ２４）。
【００２７】
携帯端末装置１０は、角度θに基づいて、携帯端末装置１０と電子機器２０との通信の認証判定を行う（ステップＳ２６）。具体的には、角度θが予め定められた基準範囲内（たとえば、±３°以内）未満である場合には、携帯端末装置１０は当該通信を許可する。すなわち、ユーザは、携帯端末装置１０と電子機器２０との通信を確立するためには、把持している携帯端末装置１０を動かして、電子機器２０および携帯端末装置１０の向きを合わせる必要がある。ここでは、携帯端末装置１０と電子機器２０との通信が確立されたものとする。
【００２８】
携帯端末装置１０は、通信が確立されると、現時点における角度θをサーバ３０に送信する（ステップＳ２８）。ここでは、携帯端末装置１０と電子機器２０との通信の確立後に、たとえば、ユーザが携帯端末装置１０をＺ軸まわりに回転させて、現時点での角度θが６０°になったものとする。サーバ３０は、受信した角度θと部分画像Ｐａに関連付けられた撮像方位とに基づいて、全方位画像から部分画像Ｐｂを抽出する（ステップＳ３０）。具体的には、サーバ３０は、部分画像Ｐａに関連付けられた撮像方位（たとえば、６０°〜１２０°）に角度θ（６０°）を加えた撮像方位（１２０°〜１８０°）の画像を全方位画像から抽出する。すなわち、サーバ３０は、携帯端末装置１０に送信するための部分画像Ｐｂとして、全方位画像から部分画像Ｐ５，Ｐ６を抽出する（図３を参照）。
【００２９】
次に、サーバ３０は、部分画像Ｐｂを携帯端末装置１０に送信する（ステップＳ３２）。携帯端末装置１０は、受信した部分画像Ｐｂをタッチパネル１１０に表示する（ステップＳ３４）。
【００３０】
このように、タッチパネル１１０には、角度θに応じた部分画像Ｐａの周辺画像（部分画像Ｐｂ）が表示される。そのため、ユーザは、サーバ３０の管理者が選んだ部分画像Ｐａをディスプレイ２０６で視認しつつ、その周辺画像（部分画像Ｐｂ）を視認することができる。
【００３１】
＜ハードウェア構成＞
次に、表示システムに含まれる各装置のハードウェア構成について説明する。
【００３２】
（携帯端末装置）
図５は、本実施の形態に従う携帯端末装置１０のハードウェア構成を示すブロック図である。図５を参照して、携帯端末装置１０は、たとえば、ＣＰＵ１０２と、メモリ１０４と、タッチパネル１１０と、無線通信部１１２と、メモリインターフェイス（Ｉ／Ｆ）１１４と、方向センサ１１６と、通信インターフェイス（Ｉ／Ｆ）１１８とを含む。
【００３３】
ＣＰＵ１０２は、メモリ１０４に記憶されたプログラムを読み出して実行することで、携帯端末装置１０の各部の動作を制御する。より詳細にはＣＰＵ１０２は、当該プログラムを実行することによって、後述する携帯端末装置１０の処理（ステップ）の各々を実現する。
【００３４】
メモリ１０４は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read-Only  Memory）、フラッシュメモリなどによって実現される。メモリ１０４は、ＣＰＵ１０２によって実行されるプログラム、またはＣＰＵ１０２によって用いられるデータなどを記憶する。
【００３５】
タッチパネル１１０は、タッチセンサ１０６とディスプレイ１０８とを含む。タッチセンサ１０６は、ユーザからのタッチ入力の位置を検出可能に構成されている。具体的には、タッチセンサ１０６は、所定時間毎に外部物体によるタッチパネル１１０（ディスプレイ１０８）へのタッチ入力を検出し、タッチが検出された場所の位置情報（たとえば、タッチ座標）をＣＰＵ１０２に入力する。ディスプレイ１０８は、たとえば、液晶ディスプレイ、有機ＥＬディスプレイなどから構成される。
【００３６】
無線通信部１１２は、通信アンテナ１１３を介して無線通信網に接続し無線通信のための信号を送受信する。これにより、携帯端末装置１０は、たとえば、第３世代移動通信システム（３Ｇ）、ＬＴＥ（Long  Term  Evolution）などの移動体通信網を介して他の通信装置（たとえば、サーバ３０）との通信が可能となる。
【００３７】
メモリインターフェイス（Ｉ／Ｆ）１１４は、外部の記憶媒体１１５からデータを読み出す。ＣＰＵ１０２は、メモリ１０４からデータを読み出して、メモリインターフェイス１１４を介して当該データを外部の記憶媒体１１５に格納する。なお、記憶媒体１１５としては、ＣＤ（Compact  Disc）、ＤＶＤ（Digital  Versatile  Disk）、ＢＤ（Blu-ray（登録商標）  Disc）、ＵＳＢ（Universal  Serial  Bus）メモリ、ＳＤ（Secure  Digital）メモリカードなどの不揮発的にデータを格納する媒体が挙げられる。
【００３８】
方向センサ１１６は、携帯端末装置１０が向いている方向を検出する。具体的には、方向センサ１１６は、表示のためにディスプレイ１０８の表示面がどの方向に向いているのかを検出する。たとえば、方向センサ１１６は、地磁気センサ、加速度センサおよびジャイロセンサなどのいずれか、またはこれらを組み合わせて構成されるセンサである。なお、方向センサ１１６は、ディスプレイ１０８の表示面が向いている方向を検出可能なセンサであればよい。
【００３９】
通信インターフェイス（Ｉ／Ｆ）１１８は、たとえば、電子機器２０との間で各種データをやり取りするものである。なお、通信方式としては、たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどによる無線通信であってもよいし、ＵＳＢケーブルなどを利用した有線通信であってもよい。
【００４０】
（電子機器）
図６は、本実施の形態に従う電子機器２０のハードウェア構成を示すブロック図である。図６を参照して、電子機器２０は、たとえば、各種処理を実行するためのＣＰＵ２０２と、プログラムやデータを格納するためのメモリ２０４と、ディスプレイ２０６と、通信インターフェイス２０８と、チューナ２１０と、方向センサ２１２と、ユーザからの指示を受け付けるボタンなどの入力インターフェイス（Ｉ／Ｆ）２１４とを含む。
【００４１】
通信インターフェイス２０８は、たとえば、携帯端末装置１０との間でデータを送受信するためのものである。なお、通信インターフェイス２０８は、サーバ３０との間でデータを送受信するために用いられてもよい。
【００４２】
チューナ２１０は、ＴＶアンテナ（図示しない）を介してサーバ３０からＴＶ番組を受信する。本実施の形態では、サーバ３０は、全方位画像から抽出した部分画像ＰａをＴＶ番組として電子機器２０に送信する。ＣＰＵ２０２は、受信した部分画像Ｐａ（ＴＶ番組）をディスプレイ２０６に表示する。
【００４３】
方向センサ２１２は、電子機器２０が向いている方向を検出する。具体的には、方向センサ２１２は、ディスプレイ２０６の表示面がどの方向に向いているのかを検出する。
【００４４】
なお、電子機器２０は、音声を出力するためのスピーカ、ユーザからの指示を受け付けるためのリモコン受信部（およびリモコン）などの公知のものを有していてもよい。
【００４５】
（サーバ）
図７は、本実施の形態に従うサーバ３０のハードウェア構成を示すブロック図である。図７を参照して、サーバ３０は、各種処理を実行するためのＣＰＵ３０２と、プログラムやデータなどを格納するためのメモリ３０４と、携帯端末装置１０、電子機器２０および全方位カメラ４０と各種データを送受信するための通信インターフェイス３０６と、管理者からの指示を受け付けるための入力インターフェイス（Ｉ／Ｆ）３０８とを含む。
【００４６】
＜機能構成＞
次に、表示システムに含まれる各装置の機能構成について説明する。
【００４７】
図８は、本実施の形態に従う携帯端末装置１０、電子機器２０およびサーバ３０の機能ブロック図である。
【００４８】
図８を参照して、携帯端末装置１０は、その主たる機能構成として、端末通信部１５０と、方向取得部１５２と、算出部１５４と、認証部１５６と、表示制御部１５８とを含む。これらの機能は、典型的には、携帯端末装置１０のＣＰＵ１０２がメモリ１０４に格納されたプログラムを実行することにより実現される。
【００４９】
電子機器２０は、その主たる機能構成として、機器通信部２５０と、表示制御部２５２と、方向取得部２５４とを含む。これらの機能は、典型的には、電子機器２０のＣＰＵ２０２がメモリ２０４に格納されたプログラムを実行することにより実現される。
【００５０】
サーバ３０は、その主たる機能構成として、サーバ通信部３５０と、第１の抽出部３５２と、第２の抽出部３５４とを含む。これらの機能は、典型的には、サーバ３０のＣＰＵ３０２がメモリ３０４に格納されたプログラムを実行することにより実現される。
【００５１】
なお、携帯端末装置１０、電子機器２０およびサーバ３０における上述の機能構成の一部または全部はハードウェアで実現されていてもよい。以下、携帯端末装置１０、電子機器２０およびサーバ３０の各々の機能構成について具体的に説明する。
【００５２】
サーバ通信部３５０は、全方位カメラ４０で撮像された全方位画像を受信する。なお、図３で説明したように、全方位画像には、全方位カメラ４０による撮像方位が関連付けられている。サーバ通信部３５０は、全方位画像と撮像方位とを関連付けてメモリ３０４（記憶部として機能）に記憶する。
【００５３】
第１の抽出部３５２は、入力インターフェイス３０８を介して管理者からの指示を受け付け、当該指示に従って全方位画像から部分画像Ｐａを抽出する。なお、管理者は、たとえば、テレビ番組のディレクターなどであり、全方位画像の中から視聴者にとって望ましいと考えられる部分画像Ｐａを選定する。そして、管理者は、入力インターフェイス３０８を用いて、選択した部分画像Ｐａを全方位画像から抽出するようにサーバ３０に指示する。
【００５４】
サーバ通信部３５０は、通信インターフェイス３０６を介して、第１の抽出部３５２により抽出された部分画像Ｐａを電子機器２０（機器通信部２５０）に送信する。
【００５５】
機器通信部２５０は、通信インターフェイス２０８を介して、サーバ通信部３５０から送信された部分画像Ｐａを受信する。表示制御部２５２は、部分画像Ｐａをディスプレイ２０６に表示させる。
【００５６】
また、携帯端末装置１０の端末通信部１５０は、電子機器２０（機器通信部２５０）に要求情報を送信する。具体的には、端末通信部１５０は、電子機器２０と携帯端末装置１０との通信を確立するために必要な情報を送信するように電子機器２０に要求する。なお、この必要な情報は、電子機器２０が向いている方向（ディスプレイ２０６の表示面が向いている方向）を示す方向情報Ｄａを含む。なお、必要な情報は、パスコードなどの暗証番号を含んでいてもよい。
【００５７】
機器通信部２５０は、端末通信部１５０から送信された要求情報を受信する。方向取得部２５４は、方向センサ２１２を用いて方向情報Ｄａを取得する。機器通信部２５０は、方向情報Ｄａを携帯端末装置１０（端末通信部１５０）に送信する。
【００５８】
端末通信部１５０は、機器通信部２５０から送信された方向情報Ｄａを受信する。方向取得部１５２は、方向センサ１１６を用いて、携帯端末装置１０が向いている方向（タッチパネル１１０の表示面が向いている方向）を示す方向情報Ｄｂを取得する。
【００５９】
算出部１５４は、方向情報Ｄａおよび方向情報Ｄｂに基づいて、電子機器２０が向いている方向と携帯端末装置１０が向いている方向とがなす角度を算出する。
【００６０】
認証部１５６は、算出部１５４により算出された角度θが基準範囲内（たとえば、±３°以内）である場合に、携帯端末装置１０と電子機器２０との通信を許可する。これにより、携帯端末装置１０と電子機器２０との通信が確立される。一方、角度θが基準範囲外である場合には、認証部１５６は、携帯端末装置１０と電子機器２０との通信を許可しない（禁止する）。
【００６１】
認証部１５６により当該通信が許可された場合には、端末通信部１５０は、無線通信部１１２を介して、算出部１５４により算出された角度θをサーバ３０（サーバ通信部３５０）に送信する。
【００６２】
サーバ通信部３５０は、通信インターフェイス３０６を介して、端末通信部１５０から送信された角度θを受信する。第２の抽出部３５４は、サーバ通信部３５０により受信された角度θと部分画像Ｐａに関連付けられた撮像方位とに基づいて、全方位画像から部分画像Ｐｂを抽出する。具体的には、第２の抽出部３５４は、現時点で第１の抽出部３５２により抽出されている部分画像Ｐａに関連付けられた撮像方位から角度θだけ変更（加算または減算）した撮像方位の画像を全方位画像から抽出する。たとえば、メモリ３０４には、第１の抽出部３５２が、いつ、どの撮像方位の画像を全方位画像から抽出したかを示す履歴情報が記憶されている。そのため、第２の抽出部３５４は、メモリ３０４を参照すれば、現時点での部分画像Ｐａに関連付けられている撮像方位を把握することができる。
【００６３】
サーバ通信部３５０は、通信インターフェイス３０６を介して、第２の抽出部３５４により抽出された部分画像Ｐｂを携帯端末装置１０（端末通信部１５０）に送信する。
【００６４】
端末通信部１５０は、無線通信部１１２を介して、サーバ通信部３５０から送信された部分画像Ｐｂを受信する。表示制御部１５８は、部分画像Ｐｂをタッチパネル１１０（ディスプレイ１０８）に表示させる。
【００６５】
上記において、携帯端末装置１０と電子機器２０との通信が認証部１５６により許可された場合に、端末通信部１５０は、当該通信が許可された時刻情報をサーバ３０にさらに送信してもよい。この場合、第２の抽出部３５４は、当該通信が許可されたときに電子機器２０で表示されていた部分画像Ｐａに関連付けられた撮像方位と角度θとに基づいて、全方位画像から部分画像Ｐｂを抽出する。そして、表示制御部１５８は、端末通信部１５０により受信された当該部分画像Ｐｂをタッチパネル１１０に表示させる。
【００６６】
また、算出部１５４は、携帯端末装置１０が向いている方向を確定させる入力を受け付けたときに方向取得部１５２により取得されていた方向情報Ｄｂを、携帯端末装置１０が向いている方向として確定してもよい。この場合、算出部１５４は、方向情報Ｄａと当該確定された方向情報Ｄｂとに基づいて角度θを算出する。
【００６７】
＜処理手順＞
図９は、本実施の形態に従う携帯端末装置１０の処理手順を示すフローチャートである。以下の各ステップは、携帯端末装置１０のＣＰＵ１０２がメモリ１０４に格納されたプログラムを実行することによって実現される。ここでは、携帯端末装置１０のユーザが、サーバ３０から電子機器２０に送信されるＴＶ番組（すなわち、部分画像Ｐａ）をディスプレイ２０６で視聴しながら、携帯端末装置１０の筐体を把持している場面を想定する。また、電子機器２０は据置型であり、ディスプレイ２０６の表示面の向き（方向情報Ｄａ）は変化しないものとする。
【００６８】
図９を参照して、ＣＰＵ１０２は、タッチパネル１１０を介して、携帯端末装置１０と電子機器２０との通信を認証するための操作を受け付けたか否かを判断する（ステップＳ５０）。具体的には、ＣＰＵ１０２は、当該通信を認証するための処理を開始する開始ボタンをタッチパネル１１０に表示する。ＣＰＵ１０２は、開始ボタンをユーザが選択した場合には、当該操作を受け付けたと判断する。たとえば、ユーザは、現在視認しているディスプレイ２０６に表示されている画像（部分画像Ｐａ）の周辺画像を視認したい場合には開始ボタンをタッチする。
【００６９】
ＣＰＵ１０２は、当該操作を受け付けていない場合には（ステップＳ５０においてＮＯ）、ステップＳ５０の処理を繰り返す。一方、ＣＰＵ１０２は、当該操作を受け付けた場合には（ステップＳ５０においてＹＥＳ）、電子機器２０の向きを示す方向情報Ｄａを送信するように要求する（ステップＳ５２）。ＣＰＵ１０２は、電子機器２０から方向情報Ｄａを受信したか否かを判断する（ステップＳ５４）。
【００７０】
ＣＰＵ１０２は、方向情報Ｄａを受信していない場合には（ステップＳ５４においてＮＯ）、ステップＳ５４の処理を繰り返す。一方、ＣＰＵ１０２は、方向情報Ｄａを受信した場合には（ステップＳ５４においてＹＥＳ）、方向センサ１１６を用いて、携帯端末装置１０の向きを示す方向情報Ｄｂを取得する（ステップＳ５６）。ＣＰＵ１０２は、方向情報Ｄａおよび方向情報Ｄｂに基づいて、携帯端末装置１０が向いている方向と電子機器２０が向いている方向とがなす角度θを算出する（ステップＳ５８）。以後、ＣＰＵ１０２は、ユーザが把持している携帯端末装置１０の向きに合わせて角度θを算出していく。
【００７１】
ＣＰＵ１０２は、角度θに基づいて、携帯端末装置１０と電子機器２０との通信を許可するか否かを判断する（ステップＳ６０）。具体的には、ＣＰＵ１０２は、角度θが基準範囲内である場合には当該通信を許可すると判断し、角度θが基準範囲外である場合には当該通信を禁止すると判断する。なお、ＣＰＵ１０２は、所定時間以内に角度θが基準範囲内にならない場合に当該通信を禁止すると判断してもよい。ユーザは、携帯端末装置１０と電子機器２０との通信を確立するために、タッチパネル１１０およびディスプレイ２０６の表示面の向きを一致させるように携帯端末装置１０を動かす必要がある。
【００７２】
当該通信が禁止された場合には（ステップＳ６０においてＮＯ）、ＣＰＵ１０２は、携帯端末装置１０と電子機器２０との通信の認証が失敗したことを示す画像をタッチパネル１１０に表示して（ステップＳ６２）、処理を終了する。一方、当該通信が許可された場合には（ステップＳ６０においてＹＥＳ）、ＣＰＵ１０２は、タッチパネル１１０を介して、携帯端末装置１０の向きを確定させるための確定入力を受け付けたか否かを判断する（ステップＳ６４）。
【００７３】
確定入力を受け付けた場合には（ステップＳ６４においてＹＥＳ）、ＣＰＵ１０２は後述するステップＳ７４以降の処理を実行する。一方、確定入力を受け付けていない場合には（ステップＳ６４においてＮＯ）、ＣＰＵ１０２は現時点での角度θをサーバ３０に送信する（ステップＳ６６）。
【００７４】
ＣＰＵ１０２は、サーバ３０により全方位画像から抽出された部分画像Ｐｂをサーバ３０から受信する（ステップＳ６８）。サーバ３０は、部分画像Ｐａに関連付けられた撮像方位から角度θだけ変更した撮像方位の画像を部分画像Ｐｂとして全方位画像から抽出する。
【００７５】
ＣＰＵ１０２は、サーバ３０から受信した部分画像Ｐｂをタッチパネル１１０に表示する（ステップＳ７０）。ＣＰＵ１０２は、タッチパネル１１０を介して、携帯端末装置１０と電子機器２０との通信を終了させるための終了指示をユーザから受け付けたか否かを判断する（ステップＳ７２）。たとえば、ユーザは、ディスプレイ２０６の周辺画像の視認を終了したい場合には当該通信を終了させる指示を与える。
【００７６】
ＣＰＵ１０２は、終了指示を受け付けていない場合には（ステップＳ７２においてＮＯ）、ステップＳ６４からの処理を実行する。一方、ＣＰＵ１０２は、終了指示を受け付けた場合には（ステップＳ７２においてＹＥＳ）、処理を終了する。
【００７７】
次に、ステップＳ７４からの処理について説明する。ステップＳ７４において、ＣＰＵ１０２は、方向情報Ｄａと、携帯端末装置１０の向きを確定させる確定入力を受け付けたときに方向センサ１１６により取得されていた方向情報Ｄｂとに基づいて角度θを算出し、この角度θをサーバ３０に送信する。そして、ＣＰＵ１０２は、部分画像Ｐｂをサーバ３０から受信して（ステップＳ７６）、受信した部分画像Ｐｂをタッチパネル１１０に表示する（ステップＳ７８）。
【００７８】
具体的には、ユーザが確定入力を行なった場合には、確定入力後に携帯端末装置１０を動かしたとしても、ＣＰＵ１０２は、確定入力を受け付けたときの方向情報Ｄｂと方向情報Ｄａとに基づいて角度θを算出する。また、ユーザが確定入力を行なった場合には、方向情報Ｄａが変化しないため、角度θは固定されることになる。たとえば、当該確定入力により角度θが６０°で固定されており、部分画像Ｐａに関連付けられた撮像方位が６０°〜１２０°で固定されているとする。この場合、ユーザが携帯端末装置１０を動かしたとしても、撮像方位が１２０°〜１８０°の部分画像Ｐｂがタッチパネル１１０に表示され続けることになる。そのため、ユーザは、タッチパネル１１０に表示されている画像の視点で固定したい場合には、上記の確定入力を行なえばよい。これにより、ユーザは、携帯端末装置１０を動かしても所望の視点からの画像を視認し続けることができる。
【００７９】
ＣＰＵ１０２は、タッチパネル１１０を介して、携帯端末装置１０の向きの確定を解除する指示を受け付けたか否かを判断する（ステップＳ８０）。ユーザは、タッチパネル１１０で表示されている画像の視点を変更したい場合には、当該指示を与える。ＣＰＵ１０２は、当該指示を受け付けていない場合には（ステップＳ８０においてＮＯ）、ステップＳ７４からの処理を実行する。一方、ＣＰＵ１０２は、当該指示を受け付けた場合には（ステップＳ８０においてＹＥＳ）、携帯端末装置１０の向きの確定を解除して（ステップＳ８２）、ステップＳ７２からの処理を実行する。
【００８０】
上記処理によると、タッチパネル１１０には、部分画像Ｐａに関連付けられた撮像方位から角度θだけ変更した撮像方位の画像（部分画像Ｐｂ）が表示される。ここで、部分画像Ｐａに関連付けられた撮像方位が一定である場合（たとえば、管理者が一定の撮像方位の画像を全方位画像から抽出するようにサーバ３０に指示している場合）には、ユーザは、携帯端末装置１０を動かすことにより、所望の周辺画像を視認することができる。
【００８１】
ただし、部分画像Ｐａに関連付けられた撮像方位が頻繁に変化する場合には、仮にユーザが携帯端末装置１０を固定（すなわち、角度θを固定）していたとしても、タッチパネル１１０に表示される画像の視点も頻繁に変化する。たとえば、時刻Ｔ１では部分画像Ｐａに関連付けられた撮像方位が６０°〜１２０°、時刻Ｔ２では当該撮像方位が３０°〜９０°であり、かつ、時刻Ｔ１〜時刻Ｔ２の間、ユーザは携帯端末装置１０を角度θ＝６０°になるように固定していたとする。この場合、時刻Ｔ１では、タッチパネル１１０には撮像方位が１２０°〜１８０°の部分画像Ｐｂが表示されるが、時刻Ｔ２では撮像方位が９０°〜１５０°の部分画像Ｐｂが表示されてしまう。そのため、部分画像Ｐａに関連付けられた撮像方位が頻繁に変化する場合には、ユーザが望む撮像方位の画像をタッチパネル１１０に表示しにくくなる可能性がある。
【００８２】
そこで、ＣＰＵ１０２は、携帯端末装置１０と電子機器２０との通信が許可されたときの時刻情報を角度θとともに送信してもよい。この場合、サーバ３０は、当該通信が許可されたときに電子機器２０で表示されていた部分画像Ｐａに関連付けられた撮像方位（たとえば、６０°〜１２０°）と角度θとに基づいて、全方位画像から部分画像Ｐｂを抽出する。これにより、当該通信が許可されたときの時刻以降に、部分画像Ｐａに関連付けられた撮像方位が頻繁に変化したとしても、ユーザが携帯端末装置１０を固定（角度θを固定：たとえば６０°）している限り、タッチパネル１１０には一定の撮像方位（１２０°〜１８０°）の部分画像Ｐｂが表示される。そのため、ユーザは、携帯端末装置１０を動かすことにより、所望の周辺画像を視認し易くなる。
【００８３】
＜その他の実施の形態＞
部分画像Ｐａ，Ｐｂには撮像方位以外の情報が関連付けられていてもよい。たとえば、サーバ３０の管理者は、部分画像Ｐａ，Ｐｂをどの倍率で、それぞれ電子機器２０および携帯端末装置１０に表示させるのかを設定できるように構成されていてもよい。
【００８４】
なお、コンピュータを機能させて、上述のフローチャートで説明したような制御を実行させるプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact  Disk  Read  Only  Memory）、ＲＯＭ、ＲＡＭおよびメモリカードなどの一時的でないコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【００８５】
プログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本実施の形態にかかるプログラムに含まれ得る。
【００８６】
上述の実施の形態として例示した構成は、本発明の構成の一例であり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、一部を省略する等、変更して構成することも可能である。
【００８７】
＜実施の形態の効果＞
本実施の形態によると、電子機器のディスプレイに表示されているスポーツなどの動的なコンテンツを視認しつつ、その周辺画像を視認することができる。また、携帯端末装置を動かすだけで所望の撮像方位の周辺画像を視認することができる。そのため、撮像方位を指定するためのユーザの労力が少ない。
【００８８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００８９】
１０  携帯端末装置、２０  電子機器、３０  サーバ、４０  全方位カメラ、１０２，２０２，３０２  ＣＰＵ、１０４，２０４，３０４  メモリ、１０６  タッチセンサ、１０８，２０６  ディスプレイ、１１０  タッチパネル、１１２  無線通信部、１１３  通信アンテナ、１１４  メモリインターフェイス、１１５  記憶媒体、１１６，２１２  方向センサ、１５０  端末通信部、１５２，２５４  方向取得部、１５４  算出部、１５６  認証部、１５８，２５２  表示制御部、２０８，３０６  通信インターフェイス、２１０  チューナ、２５０  機器通信部、３０８  入力インターフェイス、３５０  サーバ通信部、３５２  第１の抽出部、３５４  第２の抽出部。
【図１】
2016051449.tif 000003
【図２】
2016051449.tif 000004
【図３】
2016051449.tif 000005
【図４】
2016051449.tif 000006
【図５】
2016051449.tif 000007
【図６】
2016051449.tif 000008
【図７】
2016051449.tif 000009
【図８】
2016051449.tif 000010
【図９】
2016051449.tif 000011