(57)【要約】【課題】予め撮影した空間内において、事前に設計したルート上を移動する視点から任意の視線方向で見える映像を自動で出力し、さらに、ユーザが空間内の所定の位置を指定した場合に、視点の位置を指定された位置に非連続的に移動することが可能な映像出力装置等を提供する。【解決手段】映像出力装置１は、間取り図２０上の点Ｐの指定を受付けると、点Ｐの座標値を算出する。映像出力装置１は、経路上の探索候補となる点Ｒの座標値を算出し、全ての点Ｒと点Ｐとのユークリッド距離ｄを算出する。映像出力装置１は、ユークリッド距離ｄが最小になる時の点Ｒを特定し、特定された点Ｒが属するブランチを対象ブランチとして記憶する。また、特定された点Ｒの座標値を対象ブランチ内の進行率に変換して記憶する。映像出力装置１は、全方位画像９０から対応する視野画像を切り出して、ユーザ画面６１を表示する。【選択図】図１１
2015069445.tif 000002
【特許請求の範囲】
【請求項１】
座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置であって、
全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する経路記憶手段と、
前記経路をフロアマップとして表示するフロアマップ表示手段と、
前記視点位置及び前記視線方向の移動を受付けるとともに、前記フロアマップ上の位置の入力を受付ける入力手段と、
前記フロアマップ上の前記位置の入力を受付けた場合に、当該位置に対応する前記座標空間における前記経路内の位置に、前記視点位置を移動させる視点位置移動手段と、
前記視点位置及び前記視線方向における視野範囲の映像を、前記全方位画像から切り出して生成する映像生成手段と、
生成した前記映像を出力する映像出力手段と、
を具備することを特徴とする映像出力装置。
【請求項２】
前記経路は、ノードと有向なブランチとから構成され、
前記全方位画像のフレームからなるシーケンスは、前記有向なブランチごとに対応付けられる
ことを特徴とする請求項１に記載の映像出力装置。
【請求項３】
前記フロアマップには、所定の位置を原点とした２次元座標系が設定されており、
前記視点位置移動手段は、前記フロアマップ上の前記位置を前記座標空間における位置に変換し、変換した前記位置から最も近い前記経路内の位置に、前記視点位置を移動させる
ことを特徴とする請求項２に記載の映像出力装置。
【請求項４】
前記視点位置移動手段は、変換した前記位置と、前記経路を構成する前記ブランチに設定した各候補点との距離を算出し、算出した前記距離が最も小さい前記候補点に、前記視点位置を移動させる
ことを特徴とする請求項３に記載の映像出力装置。
【請求項５】
前記候補点は、前記ブランチを所定数に等分した際に生じる区切り点である
ことを特徴とする請求項４に記載の映像出力装置。
【請求項６】
座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する、全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する経路記憶手段を備えるコンピュータが行う映像出力方法であって、
前記経路をフロアマップとして表示するフロアマップ表示ステップと、
前記視点位置及び前記視線方向の移動を受付けるとともに、前記フロアマップ上の位置の入力を受付ける入力ステップと、
前記フロアマップ上の前記位置の入力を受付けた場合に、当該位置に対応する前記座標空間における前記経路内の位置に、前記視点位置を移動させる視点位置移動ステップと、
前記視点位置及び前記視線方向における視野範囲の映像を、前記全方位画像から切り出して生成する映像生成ステップと、
生成した前記映像を出力する映像出力ステップと、
を含むことを特徴とする映像出力方法。
【請求項７】
コンピュータを、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置として機能させるためのプログラムであって、
前記コンピュータを、
全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する経路記憶手段、
前記経路をフロアマップとして表示するフロアマップ表示手段、
前記視点位置及び前記視線方向の移動を受付けるとともに、前記フロアマップ上の位置の入力を受付ける入力手段、
前記フロアマップ上の前記位置の入力を受付けた場合に、当該位置に対応する前記座標空間における前記経路内の位置に、前記視点位置を移動させる視点位置移動手段、
前記視点位置及び前記視線方向における視野範囲の映像を、前記全方位画像から切り出して生成する映像生成手段、
生成した前記映像を出力する映像出力手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間内を移動するユーザの視点から見た視線に対応する映像を出力するための映像出力装置等に関するものである。
【背景技術】
【０００２】
魚眼レンズや全方位ミラーを装着したカメラを用いて、周囲３６０°の視界をもつ全方位画像を撮影することができる。近年、予め撮影した全方位画像によって作られた実写空間内を、任意の視線方向を向きながら自由に移動するユーザの視野に応じたパノラマ画像を提供できるパノラマ画像提供サービスが開発されている。
【０００３】
パノラマ画像提供サービスを利用したものとして、例えば、オンライン地図検索サービスがあり、非特許文献１はその一例である。非特許文献１は、ユーザがマップ上のある地点をクリックすると、その地点で撮影されたパノラマ画像を閲覧することができるというサービスを提供するサイトである。また、画面に表示される矢印をクリックすることで、ユーザはパノラマ写真内の先や手前などに視点を動かすことができる。
【０００４】
また、非特許文献２では、撮影されたパノラマ画像を再生時に繋ぎ合せることによって、ユーザが視線方向を自由に変えながら移動しているような映像を閲覧することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】“GoogleStreet View”、［online］、Google,Inc、［平成２５年９月１１日検索］、インターネット<http://maps.google.co.jp/intl/ja/help/maps/streetview/ >
【非特許文献２】“Quick Time VRを利用した動画パノラマＶＲ（MotionVR of theMonth 2006 calendar）”、［online］、AppleComputer,Inc、［平成２５年９月１１日検索］、インターネット <http://www.worldinmotionvr.com/motionvr_month/calendar.html>
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の非特許文献１では、表示される画像は離散的な視点から見た複数の静止画像であり、空間内を移動するユーザに対して、移動に合わせた動画像を出力することはできない。
【０００７】
また、上述の非特許文献２では、表示される画像は動画像であるが双方向の移動はできない。また、ユーザが移動できる範囲は予め設定されたルート上のみであり、経路上に分岐が存在しない。
【０００８】
さらに、実写空間の平面図（俯瞰図）であるフロアマップ上の任意の位置が指定された場合に、出力する映像の視点位置をユーザが指定した場所に変更（ジャンプ）したいという要望があった。
【０００９】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、予め撮影した空間内において、事前に設計したルート上を移動する視点位置から任意の視線方向で見える映像を出力し、さらに、ユーザが空間の平面図であるフロアマップ上の任意の位置を指定した場合に、視点位置を指定された位置に移動することが可能な映像出力装置等を提供することである。
【課題を解決するための手段】
【００１０】
前述した課題を解決するために第１の発明は、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置であって、全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する経路記憶手段と、前記経路をフロアマップとして表示するフロアマップ表示手段と、前記視点位置及び前記視線方向の移動を受付けるとともに、前記フロアマップ上の位置の入力を受付ける入力手段と、前記フロアマップ上の前記位置の入力を受付けた場合に、当該位置に対応する前記座標空間における前記経路内の位置に、前記視点位置を移動させる視点位置移動手段と、前記視点位置及び前記視線方向における視野範囲の映像を、前記全方位画像から切り出して生成する映像生成手段と、生成した前記映像を出力する映像出力手段と、を具備することを特徴とする映像出力装置である。
第１の発明の映像出力装置によれば、予め撮影した空間内において、経路上を自由に移動する視点位置（空間内の位置情報）から任意の視線方向で見える映像を自動で出力することができる。また、経路を表すフロアマップ上の任意の位置がユーザによって指定されると、指定された位置に視点位置を移動して映像出力を再開することができる。
【００１１】
また、前記経路は、ノードと有向なブランチとから構成され、前記全方位画像のフレームからなるシーケンスは、前記有向なブランチごとに対応付けられることが望ましい。
有向なブランチと全方位画像のフレームからなるシーケンスとを関連付ける方法は、経路上の全ての位置情報と全方位画像とを関連付ける方法と比較して、データ構築の作業負荷及びデータ量が小さくなるというメリットがある。さらに、ユーザは有向なブランチ上を移動するため、双方向の移動が容易に可能となる。
ここで、ノードとはブランチの繋ぎ目であり、ブランチとは起点となるノードと終点となるノードとを繋ぐ経路を表す有向グラフの辺である。
【００１２】
また、前記フロアマップには、所定の位置を原点とした２次元座標系が設定されており、前記視点位置移動手段は、前記フロアマップ上の前記位置を前記座標空間における位置に変換し、変換した前記位置から最も近い前記経路内の位置に、前記視点位置を移動させることが望ましい。
これにより、ユーザによって指定されたフロアマップ上の位置に近い経路内の位置に視点位置を移動させることができる。
【００１３】
また、前記視点位置移動手段は、変換した前記位置と、前記経路を構成する前記ブランチに設定した各候補点との距離を算出し、算出した前記距離が最も小さい前記候補点に、前記視点位置を移動させることが望ましい。
これにより、変換した座標空間における位置と、ブランチに設定した候補点との距離を正確に算出できるため、適切な位置に視点位置を移動させることができる。
【００１４】
また、前記候補点は、前記ブランチを所定数に等分した際に生じる区切り点であることが望ましい。
これにより、候補点を簡便に設定することができる。
【００１５】
第２の発明は、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する、全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する経路記憶手段を備えるコンピュータが行う映像出力方法であって、前記経路をフロアマップとして表示するフロアマップ表示ステップと、前記視点位置及び前記視線方向の移動を受付けるとともに、前記フロアマップ上の位置の入力を受付ける入力ステップと、前記フロアマップ上の前記位置の入力を受付けた場合に、当該位置に対応する前記座標空間における前記経路内の位置に、前記視点位置を移動させる視点位置移動ステップと、前記視点位置及び前記視線方向における視野範囲の映像を、前記全方位画像から切り出して生成する映像生成ステップと、生成した前記映像を出力する映像出力ステップと、を含むことを特徴とする映像出力方法である。
第２の発明の映像出力方法によれば、予め撮影した空間内において、経路上を自由に移動する視点位置（空間内の位置情報）から任意の視線方向で見える映像を自動で出力することができる。また、経路を表すフロアマップ上の任意の位置がユーザによって指定されると、指定された位置に視点位置を移動して映像出力を再開することができる。
【００１６】
第３の発明は、コンピュータを、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置として機能させるためのプログラムであって、前記コンピュータを、全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する経路記憶手段、前記経路をフロアマップとして表示するフロアマップ表示手段、前記視点位置及び前記視線方向の移動を受付けるとともに、前記フロアマップ上の位置の入力を受付ける入力手段、前記フロアマップ上の前記位置の入力を受付けた場合に、当該位置に対応する前記座標空間における前記経路内の位置に、前記視点位置を移動させる視点位置移動手段、前記視点位置及び前記視線方向における視野範囲の映像を、前記全方位画像から切り出して生成する映像生成手段、生成した前記映像を出力する映像出力手段、として機能させるためのプログラムである。
第３の発明に係るプログラムを、汎用コンピュータにインストールすることによって、第１の発明に係る映像出力装置を得て、第２の発明に係る映像出力方法を実行することができる。
【発明の効果】
【００１７】
本発明によれば、予め撮影した空間内において、事前に設計したルート上を移動する視点位置から任意の視線方向で見える映像を出力し、さらに、ユーザが空間の平面図であるフロアマップ上の任意の位置を指定した場合に、視点位置を指定された位置に移動することが可能な映像出力装置等を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態に係る映像出力装置のハードウエアの構成例を示すブロック図
【図２】視点位置が移動する施設館内の一例を示す平面図
【図３】映像出力装置の記憶部が保持するデータ構造の一例を示す図
【図４】ＸＹ二次元座標上に表した経路上の視点位置の一例を示す図
【図５】図４に示す経路を記憶するノード情報とブランチ情報とを示す図
【図６】本実施形態に係る映像出力処理の流れを示すフローチャート
【図７】映像出力処理にて、映像出力装置が一時的に保持するデータの一例を示す図
【図８】ユーザ入力画面の一例を示す図
【図９】視線方向に対応する視野範囲を説明する図
【図１０】視点位置に対応する全方位画像から、視線方向に対応する画像を切り出す作業を説明する図
【図１１】ジャンプ処理の流れを示すフローチャート
【図１２】ブレンド画像表示処理の流れを示すフローチャート
【図１３】視線方向の移動について説明する図
【発明を実施するための形態】
【００１９】
以下、図面に基づいて、本発明の実施形態を詳細に説明する。
【００２０】
図１は、本発明の実施形態に係る映像出力装置１を実現するコンピュータのハードウエア構成図である。コンピュータは、図１に示すように、例えば、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続されて構成される。
【００２１】
制御部１１は、ＣＰＵ（Central
Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。
ＣＰＵは、記憶部１２、ＲＯＭ、記憶媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、映像出力装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、揮発性メモリであり、ロードしたプログラムや、データ等を一時的に保持すると共に、制御部１１が各処理を行うために使用するワークエリアを備える。
【００２２】
記憶部１２は、ＨＤＤ（Hard
Disk Drive）等であり、制御部１１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ（Operating
System）等が格納されている。これらのプログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。
【００２３】
メディア入出力部１３は、例えば、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピー（登録商標）ディスクドライブ、等のメディア入出力装置であり、画像等のデータの入出力を行う。
通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、他の装置間との通信制御を行う。
【００２４】
入力部１５は、データ入力を行い、例えば、上下左右に動くレバーやボタンを備えたコントローラ、キーボード、マウスなどのポインティングデバイス、テンキーなどの入力装置を有する。入力されたデータを制御部１１へ出力する。
表示部１６は、例えば、ＣＲＴモニタ、液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部１１の制御により入力された表示情報をディスプレイ装置上に表示させる。
尚、入力部１５と表示部１６は、それらの機能が一体化した、例えば、タッチパネル付ディスプレイであっても良い。
【００２５】
周辺機器Ｉ／Ｆ部（インターフェース）１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は、有線、無線を問わない。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２６】
図２は、本実施形態に係る視点位置が移動する施設館内の一例を示す平面図である。本実施形態に係る映像出力装置１は、所定の経路に沿って連続的に移動する視点位置から見た任意の視線方向に対応する画像を表示する機能を有する装置である。本実施形態に係る視点位置が移動する経路は、例えば、会社のフロアや、美術館などの施設等の空間内にある。経路上の映像を撮影できる空間であれば、屋外であっても良い。本実施形態では、図２に示される間取り図２０を有した施設の館内を、ユーザに提示する例について説明する。なお、本発明におけるフロアマップとは間取り図２０のことである。
【００２７】
映像出力装置１は、予め経路に沿って撮影された映像を構成するフレーム画像から、ユーザが入力する視点位置と視線方向に基づいて視野画像を切り出して、動画像として出力する。ユーザに視点位置と視線方向を自由に移動させながら館内の映像を提示することで、実際に歩き回って見学しているような体験をさせることが可能となる。
【００２８】
また、映像出力装置１は、ユーザに間取り図２０を提示し、映像を出力する操作の途中で、間取り図２０上の点をユーザによって指定（例えば、クリック操作）させることで、指定された点に最も近い地点に視点位置を非連続的に移動させる(ジャンプさせる）機能を備えるものである。
【００２９】
図２に示されるように、間取り図２０内の経路は、ノード２１とブランチ２２によって構成される。ノード２１とは経路の繋ぎ目であり、ブランチ２２とは起点となるノード２１（以下、起点ノード２１ａと表記）と終点となるノード２１（以下、終点ノード２１ｂと表記）とを接続する単位経路である。図２に示す例では、７個のノードＮ１〜Ｎ７と、６本のブランチＢ１〜Ｂ６とが定義されている。
【００３０】
図示されるように各ブランチ２２は直線で表現され、各ブランチ２２の矢印の向きは、矢印の起点が起点ノード２１ａであり、矢印の終点が終点ノード２１ｂであることを示す。即ち、起点ノード２１ａと終点ノード２１ｂが特定されると、当該ブランチ２２が特定されることとなる。ブランチ２２の向きは、記憶部１２に記憶される全方位画像を生成する際に、施設内を経路に沿って撮影した時の進行方向に一致する。
【００３１】
経路上のどの位置にノード２１を定義するかは、この装置の設計者の判断に委ねられるが、一般的には、経路上の端点（行き止まり）、曲り角、経路の分岐点にノード２１を定義する。図２に示す例では、Ｎ３、Ｎ４、Ｎ５、Ｎ７は経路上の端点を示すノード２１であり、Ｎ６は経路上の曲り角を示すノード２１であり、Ｎ１、Ｎ２は経路上の分岐点を示すノード２１である。
【００３２】
図３は、映像出力装置１の記憶部１２に記憶されるデータ構造の一例について説明する図である。映像出力装置１の記憶部１２には、（ａ）ノード情報２５と、（ｂ）ブランチ情報２６と、（ｃ）映像情報２７と、（ｄ）各種パラメータ２８と、切り出された画像を映像として出力するためのアプリケーション（図示せず）が、予め記憶される。
【００３３】
（ａ）に示すノード情報２５とは、視点位置が移動可能な経路上に存在する複数の各ノード２１に関する情報であり、「ノードＩＤ」、「位置情報Ｘ」、「位置情報Ｙ」、「属性」を格納する。
【００３４】
「位置情報Ｘ」及び「位置情報Ｙ」とは、ノード２１の位置情報であり、ノード２１をＸＹ二次元座標上に表した際の「Ｘ座標値」と「Ｙ座標値」をそれぞれ格納する。ＸＹ二次元座標とは、間取り図２０上に表示されているノードを、映像出力装置１が内部で管理する座標（座標系）である。ノード２１間の距離は、座標を距離単位に変換することで、実寸値で算出することができる。
【００３５】
「属性」とは、ノード２１の経路上の特徴を表す次数であり、各ノード２１から派生するブランチ２２の本数を示す値である。例えば、ノード２１が経路上の端点（行き止まり）にあれば「１」を格納し、ノード２１が経路上の曲り角にあれば「２」を格納し、ノード２１が経路上の三叉路にあれば「３」を格納し、ノード２１が経路上の十字路にあれば「４」を格納する。
【００３６】
（ｂ）に示すブランチ情報２６とは、起点ノード２１ａと終点ノード２１ｂとを繋ぐ複数の各ブランチ２２に関する情報であり、「ブランチＩＤ」、「起点ノード」、「終点ノード」、「映像ＩＤ」を格納する。
【００３７】
「起点ノード」には、ブランチ２２の端点のうち撮影開始側のノードＩＤを格納し、「終点ノード」には、ブランチ２２の端点のうち撮影終了側のノードＩＤを格納する。起点ノード２１ａから終点ノード２１ｂに向かう方向を、ブランチ２２の向きと定義する。「映像ＩＤ」には、ブランチ２２に対応する映像ＩＤを格納する。
【００３８】
（ｃ）に示す映像情報２７とは、各ブランチ２２上を撮影した全方位画像に関する情報であり、「映像ＩＤ」と、「画像データ」と、「フレーム数」を格納する。
【００３９】
「画像データ」には、全方位映像シーケンスが格納される。全方位画像シーケンスとは、全方位映像を構成する全方位画像を１フレームとした、連続した複数フレームからなる画像データ群である。全方位映像とは、ブランチ２２に沿って一定速度で移動しながら、全方位カメラを用いて撮影した映像である。一定速度で移動しながら撮影されるため、ブランチ２２上に定義された個々の地点について、それぞれの全方位画像フレームが対応付けられる。「フレーム数」には、全方位画像シーケンスを構成するフレーム数の値が格納される。
【００４０】
（ｄ）に示す各種パラメータ情報２８とは、全方位画像からユーザの視線方向に対応する視野範囲のパノラマ画像を切り出すために使用する「切出角度」等を格納する。詳細は後述する。
【００４１】
図４は、ＸＹ二次元座標上に表した経路上の視点位置５２の一例を示す図である。各ノードＮ１〜Ｎ４の符号に括弧書きで示した一対の座標は、当該ノードのＸ座標値とＹ座標値である。図示されるように、ブランチＢ１の向きはＸ軸の向きに一致し、Ｘ軸に対してブランチＢ２がなす角度は反時計回りに６０°であり、Ｘ軸に対してブランチＢ３がなす角度は時計回りに６０°である。
【００４２】
ここで、ブランチ角度とは、図示されるＸＹ座標系のＸ軸とブランチ２２の向きとがなす角度であり、反時計回りを正方向とする。ブランチ角度は、ブランチ２２の始点ノード２１ａの位置座標と終点ノード２２ｂの位置座標とによって算出することができる。図４に示す例では、ブランチＢ１のブランチ角度は０°であり、ブランチＢ２のブランチ角度は６０°であり、ブランチＢ３のブランチ角度は３００°（−６０°）である。
【００４３】
図４に、ブランチＢ１上に視点位置５２と視線方向５４の一例を示す。視線角度θＬ５５とは、Ｘ軸と視線方向５４とがなす角度（水平角）であり、反時計回りを正方向とする。この場合、映像出力装置１の表示部１６には、視点位置５２から視線方向５４に見える視野範囲の画像を配置したユーザ入力画面６１（図８参照）が表示されることとなる。
【００４４】
図５は、図４に示す経路を記憶するノード情報２５ａとブランチ情報２６ａとを示す図である。
図５（ａ）に示すように、ノードＮ１の位置座標Ｘにはｘ１格納され、位置座標Ｙにはｙ１が格納され、属性にはノードＮ１から派生するブランチ２２の本数である３が格納される。ノードＮ２の位置座標Ｘにはｘ２格納され、位置座標Ｙにはｙ１が格納され、属性にはノードＮ２から派生するブランチ２２の本数である３が格納される。ノードＮ３の位置座標Ｘにはｘ３格納され、位置座標Ｙにはｙ３が格納され、属性にはノードＮ３から派生するブランチ２２の本数である１が格納される。ノードＮ４の位置座標Ｘにはｘ４格納され、位置座標Ｙにはｙ４が格納され、属性にはノードＮ４から派生するブランチ２２の本数である１が格納される。
【００４５】
図５（ｂ）に示すように、ブランチＢ１の映像ＩＤにはブランチＢ１に対応する映像ＩＤが格納され、起点ノードにはＮ１が格納され、終点ノードにはＮ２が格納される。ブランチＢ２の映像ＩＤにはブランチＢ２に対応する映像ＩＤが格納され、起点ノードにはＮ２が格納され、終点ノードにはＮ３が格納される。ブランチＢ３の映像ＩＤにはブランチＢ３に対応する映像ＩＤが格納され、起点ノードにはＮ２が格納され、終点ノードにはＮ４が格納される。
【００４６】
（映像出力処理）
続いて、図６〜図１３を参照して、本実施形態に係る映像出力処理について説明する。
図６に示す映像出力処理とは、視点位置５２及び視線方向５４の連続的な移動の入力を受付け、ユーザの視野範囲の映像を出力する処理であり、ステップＳ１０３にて実行するジャンプ処理（図１１参照）が本発明の特徴的な処理である。
【００４７】
図７は映像出力処理にて、映像出力装置１が一時的に保持する保持データ６０の一例を示す図である。保持データ６０は、映像出力装置１の記憶部１２に記憶せず、制御部１１のＲＡＭに記憶させるのみでもよい。
【００４８】
「対象ブランチのブランチＩＤ」とは、視点位置５２が位置するブランチ２２（以下、対象ブランチ２２ａと表記）のブランチＩＤである。対象ブランチのブランチＩＤは、視点位置５２が次のブランチ２２に移行した場合のみ更新される。「進行率Ｐ」とは、対象ブランチ２２ａ内部での視点位置５２の相対的な位置を特定する値である。
すなわち、視点位置５２は、「対象ブランチのブランチＩＤ」と、当該対象ブランチ２２ａの「進行率Ｐ」とにより特定される。
【００４９】
「視線角度θＬ」とは、視線方向５４が基準軸（Ｘ軸）となす角度（水平角）であり、反時計回りを正方向とする。保持データ６０は、さらに「視線高さ」を記憶しても良い。「視線高さ」とは、視線方向５４が基準面（ＸＹ平面）となす角度（垂直角）である。
すなわち、視線方向５４は、「視線角度θＬ」と、必要であれば「視線高さ」とにより特定される。
「進行率Ｐ」と「視線角度θＬ」（及び「視線高さ」）は、映像出力処理が実行される毎に更新される値である。
【００５０】
「移動先ブランチのブランチＩＤ」と「視線角度の変化度合ｒ」と「ブレンド比率の変化度合ｒ1」と「ブレンド比率α」は、ステップＳ１１０にて実行するブレンド画像表示処理（図１２参照）にて使用するものである。「視線角度の変化度合ｒ」は、予め記憶されている固定値であり、例えば「１°」である。「移動先ブランチのブランチＩＤ」と「ブレンド比率の変化度合ｒ1」は、ブレンド画像表示処理が実行される毎に記憶される。「ブレンド比率α」は、ブレンド画像表示処理のステップＳ３０５〜ステップＳ３１１が実行される毎に更新される値である。詳細は後述する。
【００５１】
図６は、本実施形態に係る映像出力処理の流れを示すフローチャートである。
映像出力装置１の制御部１１は、ユーザ入力画面６１を表示部１６に表示する（ステップＳ１０１）。
【００５２】
図８は、ユーザ入力画面６１の一例を説明する図である。ユーザ入力画面６１には、視野画像領域６２と、経路表示領域６３と、入力受付領域７４とが表示される。視野画像領域６２には、ステップＳ１１２または、ステップＳ２０７、ステップＳ３１０にて表示される画像が配置される。
【００５３】
経路表示領域６３には、施設館内の間取り図２０と、視点位置５２が移動可能な経路と、現在の視点位置５２と視線方向５４を表現する視線方向指標５４ｅが表示される。図示される例では、視点位置５２として二重円が描かれ、視線方向指標５４ｅとして扇形が描かれる。
【００５４】
ユーザは、経路表示領域６３に表示される間取り図２０の任意の位置を、例えばクリック操作することによって指定することができる。
【００５５】
ユーザは、視野画像領域６２に表示される視野画像と、経路表示領域６３に表示される経路上の視点位置５２と視線方向指標５４ｅに基づいて、入力受付領域７４から視点位置５２の移動に関する指示と、視線方向５４の移動に関する指示とを入力する。
【００５６】
入力受付領域７４には、視点位置５２を移動させる場合や、視線方向５４を移動させる場合や、各種変更操作（例えば、移動速度の変更、視野画像領域６２に表示される視野画像の視野角の変更など）等を行う場合に、ユーザによって押下されるキーボード（図示せず）のキートップに印字される記号が表示される。入力受付領域７４に表示される各種ボタンの機能は、キーボード（図示せず）のいずれかのキーに割り付けられる。
【００５７】
ここで、前進ボタン７５ａと後退ボタン７５ｂとは、視点位置５２の移動を入力させる操作に利用され、前進ボタン７５ａが押されている間、視点位置５２が経路上の所定の進行方向に所定速度で移動するように進行率Ｐを増加または減少させる。また、後退ボタン７５ｂが押されている間、視点位置５２が経路上の所定の進行方向に所定速度で移動するように進行率Ｐを増加または減少させる。ここで、所定速度とは、例えば、ユーザが歩く速度にふさわしい速度などである。所定速度は、予め記憶部１２に記憶されているものであり、ユーザの指示により変更することも可能である。
【００５８】
別の方法として、前進ボタン７５ａと後退ボタン７５ｂは、視点位置５２が移動する経路上の進行方向を反転させるためにのみ用いられ、視点位置５２は所定の進行方向に所定速度で常に移動するように設定しても良い。この場合、停止ボタン７５ｃが押下されることで、視点位置５２の移動は停止する。
【００５９】
一方、右向きボタン７６ｂと左向きボタン７６ｄは、視線方向５４の移動を入力させる操作に利用され、右向きボタン７６ｂが押されている間、視線方向５４が所定の速度で進行方向に対して右向きに移動するように視線角度θＬを減少させる。また、左向きボタン７６ｄが押されている間、視線方向５４が所定の速度で進行方向に対して左向きに移動するように後述する視線角度θＬを増加させる。上向きボタン７６ａと下向きボタン７６ｃは、視線高さを変更させる場合に押下される。
【００６０】
変更操作ボタン７７には、例えば、移動速度の変更、視野画像領域６２に表示される視野画像の視野角の変更などの機能が割り当てられる。上記変更を行う際に、変更操作ボタン７７に対応するキーボード(図示せず)のキーがユーザによって押下される。
【００６１】
図６の説明に戻る。映像出力装置１の制御部１１は、ユーザ入力画面６１の経路表示領域６３を介して、間取り図２０上の点（以下、点Ｐと表記）の入力を受付けたか否かを判定する（ステップＳ１０２）。点Ｐの入力を受付けた場合には（ステップＳ１０２のＹＥＳ）、映像出力装置１の制御部１１は、後述するジャンプ処理を実行し（ステップＳ１０３）、ステップＳ１０４に進む。
【００６２】
点Ｐの入力を受付けていない場合には（ステップＳ１０２のＮＯ）、映像出力装置１の制御部１１は、ユーザ入力画面６１の入力受付領域７４を介して、視点位置５２の移動と視線方向５４の移動の入力を受付ける（ステップＳ１０４）。続いて、映像出力装置１の制御部１１は、視線角度θＬを算出する（ステップＳ１０５）。
【００６３】
映像出力装置１は、ステップＳ１０４にて受け付けた視線方向５４の移動量を算出して視線角度θＬを更新し、記憶部１２に記憶させる。具体的には、ユーザによって右向きボタン７６ｂ（図８参照）が押下され、視線方向５４の右方向への移動が指示された場合には、映像出力装置１は視線角度θＬを所定量減少させ、左向きボタン７６ｄ（図８参照）が押下され、視線方向５４の左方向への移動が指示された場合には、映像出力装置１は視線角度θＬを所定量増加させて、視線角度θＬを更新して、記憶する。
【００６４】
続いて、映像出力装置１の制御部１１は、ステップＳ１０５にて算出された視線角度θＬに基づいて、視点位置５２の進行方向を特定する（ステップＳ１０６）。「対象ブランチ２２ａのブランチＩＤ」は、保持データ６０に予め記憶されているものとする。
【００６５】
進行方向と特定する方法として、例えば、映像出力装置１は、ブランチ情報２６とノード情報２５から、対象ブランチ２２ａの起点ノード２１ａと終点ノード２１ｂの位置情報を検索し、対象ブランチ２２ａのブランチ角度θｂを算出する。視線角度θＬがθｂ−９０°＜θＬ≦θｂ＋９０°の範囲内にあれば、進行方向は対象ブランチ２２ａの向きに一致し、範囲外であれば、進行方向は対象ブランチ２２ａの逆向きに一致する。
【００６６】
映像出力装置１の制御部１１は、対象ブランチ２２ａ上の視点位置５２の進行率Ｐを算出する（ステップＳ１０７）。
【００６７】
映像出力装置１の制御部１１は、ステップＳ１０４にて受け付けた視点位置５２の移動量を算出して、視点位置５２の進行方向が対象ブランチ２２ａの正方向であれば、既存の進行率と算出された移動量との和を新しい進行率として、記憶部１２に記憶させる。また、視点位置５２の進行方向が対象ブランチ２２ａの負方向であれば、既存の進行率から算出された移動量を引いた値を新しい進行率として、記憶部１２に記憶させる。
【００６８】
算出された進行率が「０」未満の値となった場合は、進行率は「０」とし、算出された進行率が「１」を超える値となった場合には、進行率は「１」とする。
【００６９】
映像出力装置１の制御部１１は、視点位置５２が対象ブランチ２２ａの端点に位置するか否かを判断する（ステップＳ１０８）。具体的には、保持データ６０に記憶される進行率が、「０」または「１」であるか否かを判定する。
【００７０】
端点にない場合には（ステップＳ１０８のＮＯ）、映像出力装置１の制御部１１は、ブランチ情報２６から、対象ブランチ２２ａの映像ＩＤを検索し、映像情報２７から検索された映像ＩＤのフレーム数を検索し、フレーム数と進行率Ｐを掛け合わせて、対象フレームを特定する。対象フレームの全方位画像から、視線方向５４及び視線高さに対応する画像を切り出して視野画像を生成する（ステップＳ１１１）。
【００７１】
図９は、視線方向５４に対する視野範囲を説明する図である。映像出力装置１は、各種パラメータ２８に格納される切出角度をΔとすると、特定された対象フレームの全方位画像９０から、視野角「視線角度（視線高さ）−Δ／２」〜「視線角度（視線高さ）＋Δ／２」の視野範囲の画像を切り出して生成する。ユーザには視点位置５２から視線方向５４を中心に図示されるような視野角５４ｅの画像が提示されることとなる。
【００７２】
図１０は、特定された対象フレームの全方位画像９０から、視線方向に対応する画像９１を切り出す作業を説明する図である。図示される例では、視線角度θＬが９０°で、Δが９０°の画像９１を示す。
【００７３】
図６の説明に戻る。端点にある場合には（ステップＳ１０８のＹＥＳ）、映像出力装置１の制御部１１は、端点が分岐点又は曲り角であるか否かを判断する（ステップＳ１０９）。具体的には、映像出力装置１は、ノード情報２５から、進行率が「０」である場合には対象ブランチ２２ａの起点ノード２１ａの属性を検索し、進行率が「１」である場合には対象ブランチ２２ａの終点ノード２１ｂの属性を検索し、検索された属性が「２」以上であるか否かを判断する。
【００７４】
分岐点又は曲り角に有る場合には（ステップＳ１０９のＹＥＳ）、映像出力装置１の制御部１１は、後述するブレンド画像表示処理を実行して（ステップＳ１１０）、ステップＳ１０２に戻る。分岐点又は曲り角にない場合には（ステップＳ１０９のＮＯ）、映像出力装置１の制御部１１は、ステップＳ１１１に進む。
【００７５】
映像出力装置１の制御部１１は、生成した視野画像をユーザ入力画面６１の視野画像領域６２に配置して表示部１５に出力し（ステップＳ１１２）、処理を終了する。
【００７６】
また、映像出力装置１は、対象ブランチ２２ａの進行率Ｐと視線角度θＬに基づいて、経路表示領域６３の経路上に視点位置５２と視線方向指標５４ｅとを配置する。
【００７７】
映像出力装置１は、視野画像領域５２に配置される視線方向に対応する画像９１を、映像としてユーザに認識されるように、例えば、０．０１〜０．５秒の短い時間間隔でステップＳ１０２〜ステップＳ１１２を繰り返して、視野画像領域５２に配置される画像を更新する。
【００７８】
以上のように、映像出力処理は、空間内の経路上を自由に移動する視点位置５２から任意の視線方向５４で見える映像を自動で出力することができる。
【００７９】
（ジャンプ処理）
次に、図１１を参照して、映像出力処理のステップＳ１０３（図６）にて実行するジャンプ処理について説明する。ジャンプ処理とは、ユーザに視点位置５２が移動可能な経路を配置した間取り図２０を提示し、ユーザによって間取り図２０上の位置（点Ｐ）が指定されると、経路（ブランチ２２、またはノード２１）上の点の中から点Ｐに最も近い点を特定し、現在の視点位置５２を特定した点に更新して、新たな視点位置５２から見える画像をユーザに提示する処理である。
【００８０】
映像出力装置１の制御部１１は、ステップＳ１０２にて入力を受付けた点Ｐの経路表示領域６３における座標を、映像出力装置１がノード等を内部で管理するＸＹ二次元座標における座標に変換する（ステップＳ２０１）。
【００８１】
例えば、図８のユーザ入力画面６１において、経路表示領域６３は、その左上の角を原点として、右方向にＸ軸正をとり、下方向にＹ軸正をとった座標系で管理されているとする。ステップＳ１０２では、ユーザによって、経路表示領域６３の間取り図２０における点Ｐが入力（クリック）されると、映像出力装置１の制御部１１は、経路表示領域６３における座標系の点Ｐの座標を取得する。そして、映像出力装置１の制御部１１は、経路表示領域６３における座標系とＸＹ二次元座標系との比率等から、点Ｐの座標を、ＸＹ二次元座標系の座標に変換する。
【００８２】
映像出力装置１の制御部１１は、探索候補になる点（以下、点Ｒと表記）の座標値を算出する（ステップＳ２０２）。点Ｒとは、経路（ブランチ２２、またはノード２１）上の点である。
【００８３】
具体的には、映像出力装置１は、ブランチ情報２６に記憶される各ブランチ２２を、例えば１００等分する際に生じる区切り点で、ブランチ２２の両端を除いた９９点の座標値を算出する。ブランチ情報２６に記憶されるブランチ２２の総数がｎで、ノード情報２５に記憶されるノードの総数がｍであれば、点Ｒの総数は９９ｎ＋ｍ（個）となる。ブランチ２２上の各座標値は、各ブランチ２２の起点ノード２１ａの位置座標と終点ノード２１ｂの位置座標から算出することができる。
【００８４】
なお、映像出力装置１における各ブランチ２２の区切り点の設定の方法は、ブランチ２２を何等分に区切ってもよく、また等分でなくて任意に区切ってもよい。
また、映像出力装置１は、探索候補になる点の座標値を予め算出しておいて、記憶部１２又はＲＡＭに記憶しておき、映像出力装置１の制御部１１は、これを用いてもよい。
【００８５】
映像出力装置１の制御部１１は、点Ｐと点Ｒの間のユークリッド距離ｄを算出する（ステップＳ２０３）。点Ｐと点Ｒのユークリッド距離は数式（１）にて算出される。
【００８６】
【数１】
2015069445.tif 000003
【００８７】
映像出力装置１の制御部１１は、Ｓ２０２にて算出した全ての点Ｒについてユークリッド距離ｄを算出済みであるか否かを判定する（ステップＳ２０４）。算出済みで無い場合には（ステップＳ２０４のＮＯ）、映像出力装置１の制御部１１は、ステップＳ２０３に戻る。
【００８８】
算出済みである場合には（ステップＳ２０４のＹＥＳ）、映像出力装置１の制御部１１は、全ての探索候補点Ｒの中からユークリッド距離ｄを最小にする点Ｒを特定し、特定された点Ｒが属するブランチ２２を対象ブランチ２２ａとして、そのブランチＩＤを保持データ６０に記憶する。また、特定された点Ｒの座標値をそのブランチにおける進行率Ｐに変換し、変換した値を保持データ６０に記憶する（ステップＳ２０５）。ここで、保持データ６０に記憶する視線角度（水平角）は初期値（例えば、０）等に更新しても良い。
【００８９】
映像出力装置１の制御部１１は、対象ブランチ２２ａのブランチＩＤと進行率Ｐに基づいて対象フレームを特定し、対象フレームの全方位画像から、視線方向５４及び視線高さに対応する画像を切り出して視野画像を生成する（ステップＳ２０６）。
【００９０】
映像出力装置１の制御部１１は、生成した視野画像をユーザ入力画面６１の視野画像領域６２に配置して表示部１５に出力し（ステップＳ２０７）、処理を終了する。
【００９１】
以上のように、ジャンプ処理を実行することで、映像出力装置１は、ユーザによって経路表示領域６３の間取り図２０上の所望の位置が指定された場合に、指定された位置を起点として、経路上を連続的に移動する視点位置から見える映像の出力を再開することができる。また、ユーザによって指定される点は間取り図２０上であれば良く、経路（ブランチ２２、またはノード２１）上の点を正確にクリック操作しなくても良い。
【００９２】
（ブレンド画像表示処理）
次に、図１２、図１３を参照して、映像出力処理のステップＳ１１０にて実行するブレンド画像表示処理について説明する。ブレンド画像表示処理は、映像出力処理のステップＳ１１０にて、視点位置５２が分岐点又は曲り角に位置すると判断された場合に実行される処理である。ブレンド画像表示処理とは、視点位置５２が対象ブランチ２２ａから移動先ブランチに遷移する場合に、分岐点又は曲り角で見える映像を自動で連続的に表示する処理である。
【００９３】
映像出力装置１の制御部１１は、移動先ブランチを特定し（ステップＳ３０１）、移動先ブランチのブランチＩＤを記憶部１２（保持データ６０）に記憶させる。視点位置５２が曲り角に位置する場合には、対象ブランチ２２ａから遷移する移動先ブランチは１つに特定される。視点位置５２が分岐点に位置する場合に移動先ブランチを特定する方法としては、例えば、ユーザ入力画面６１の移動先経路選択ボタン（図示せず）によって、ユーザから入力を受付ける。
【００９４】
映像出力装置１の制御部１１は、ステップＳ３０１にて特定された移動先ブランチのブランチ角度θＥを算出する（ステップＳ３０２）。ブランチ角度θＥの算出方法については図４にて説明した通りである。次に、映像出力装置１の制御部１１は、視線方向５４の移動方向を特定する（ステップＳ３０３）。
【００９５】
図１３は、視点位置３１の移動について説明する図である。視点位置５２が対象ブランチ２２ａの終点ノード２１ｂに位置し、視線方向５４が対象ブランチ２２ａの向きと一致している場合、移動先ブランチ２２ｃの向きに到達するまで、視線方向５４は白抜きの矢印の向きで徐々に移動する。図１３に示す例では、視線方向５４の移動方向は反時計回りである。
【００９６】
映像出力装置１の制御部１１は、ブレンド比率の変化度合ｒ1を算出して（ステップＳ３０４）、記憶部１２（保持データ６０）に記憶させる。ブレンド比率の変化度合ｒ1の算出方法として、例えば、映像出力装置１は、保持データ６０の視線角度の変化度合ｒを、ステップＳ３０２にて算出されたブランチ角度θＥと視線角度θＬの差で割った値を、ブレンド比率の変化度合ｒ1とする。
【００９７】
図１３に示す例では、ブレンド比率の変化度合ｒ1は図に示される通りに算出される。
【００９８】
映像出力装置１の制御部１１は、ブレンド比率αに「０」を格納して、記憶部１２（保持データ６０）に記憶させる（ステップＳ３０５）。次に、映像出力装置１の制御部１１は、記憶部１２に記憶されるブレンド比率αをα＋ｒ１に更新し、視線角度θＬをθＬ＋ｒに更新する（ステップＳ３０６）。ステップＳ３０３にて特定された視線方向５４の移動方向が時計回りの場合では、視線角度θＬをθＬ−ｒに更新する。
【００９９】
映像出力装置１の制御部１１は、ブランチ情報２６から、対象ブランチ２２ａの映像ＩＤを検索し、視点位置５２が位置するノード２１に対応する対象フレームを特定する。対象フレームの全方位画像から、視線角度θＬに対応する画像を切り出して視野画像を生成する（ステップＳ３０７）。
【０１００】
映像出力装置１の制御部１１は、ブランチ情報２６から、移動先ブランチ２２ｃの映像ＩＤを検索し、視点位置５２が位置するノード２１に対応する対象フレームを特定する。対象フレームの全方位画像から、視線角度θＬに対応する画像を切り出して視野画像を生成する（ステップＳ３０８）。
【０１０１】
映像出力装置１の制御部１１は、ステップ３０７にて生成した視野画像と、ステップ３０８にて生成した視野画像を、数式（２）に基づいてブレンドしたブレンド画像を生成する（ステップ３０９）。
【０１０２】
【数２】
2015069445.tif 000004
【０１０３】
映像出力装置１の制御部１１は、生成したブレンド画像を、ユーザ入力画面６１の視野画像領域６２に配置して、表示部１５に出力する（ステップＳ３１０）。
【０１０４】
映像出力装置１の制御部１１は、記憶部１２に記憶されるブレンド比率αがα≧１を満たすか否かを判定する（ステップＳ３１１）。α≧１を満たさない場合には（ステップＳ３１１のＮＯ）、映像出力装置１の制御部１１は、ステップＳ３０６に戻る。
【０１０５】
α≧１を満たす場合には（ステップＳ３１１のＹＥＳ）、映像出力装置１の制御部１１は、記憶部１２に記憶される対象ブランチ２２ａのブランチＩＤを移動先ブランチ２２ｃのブランチＩＤに更新して（ステップＳ３１２）、処理を終了し、映像出力処理のステップＳ１０２に戻る。
【０１０６】
以上のように、ブレンド画像表示処理を実行することで、視線角度θＬを移動先ブランチのブランチ角度θＥに向かって、徐々に変化させながら、且つ、ブレンド比率αを０〜１まで徐々に変化させながら、ステップＳ３０６〜ステップＳ３１０の処理を繰り返すことで、一連のブレンド画像を動画として出力し、視点位置５２が対象ブランチ２２ａから移動先ブランチ２２ｃに連続的に移動する映像を提示することができる。
【０１０７】
以上、添付図面を参照しながら、本発明に係る映像出力装置１等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０８】
１………映像出力装置
１１………制御部
１２………記憶部
１３………メディア入出力部
１４………通信制御部
１５………入力部
１６………表示部
１７………周辺機器Ｉ／Ｆ部
２０………間取り図
２１………ノード
２１ａ………起点ノード
２１ｂ………終点ノード
２２………ブランチ
２２ａ………対象ブランチ
２５………ノード情報
２６………ブランチ情報
２７………映像情報
５２………視点位置
５４………視線方向
６０………保持データ
６１………ユーザ入力画面
９０………全方位画像
【図１】
2015069445.tif 000005
【図２】
2015069445.tif 000006
【図３】
2015069445.tif 000007
【図４】
2015069445.tif 000008
【図５】
2015069445.tif 000009
【図６】
2015069445.tif 000010
【図７】
2015069445.tif 000011
【図８】
2015069445.tif 000012
【図９】
2015069445.tif 000013
【図１０】
2015069445.tif 000014
【図１１】
2015069445.tif 000015
【図１２】
2015069445.tif 000016
【図１３】
2015069445.tif 000017