(57)【特許請求の範囲】
【請求項１】
複数の位置で撮影された複数のキーフレーム画像と、複数の前記キーフレーム画像それぞれの撮影位置と、を対応付けて記憶する記憶部と、
仮想的に移動するユーザ位置を取得する取得部と、
前記記憶部に記憶された複数のキーフレーム画像の中から、前記撮影位置が前記ユーザ位置の近傍である複数の前記キーフレーム画像を選択する選択部と、
前記ユーザ位置と選択された複数の前記キーフレーム画像それぞれの前記撮影位置との距離に基づく補間処理によって、選択された複数の前記キーフレーム画像の少なくとも一つから前記ユーザ位置における補間フレーム画像を得る補間処理部と、を備え、
前記補間処理は、
前記ユーザ位置と選択された複数の前記キーフレーム画像それぞれの前記撮影位置との距離に基づいて設定された透明度で、選択された複数の前記キーフレーム画像を重ね合わせる第１処理と、
選択された複数の前記キーフレーム画像の少なくとも一つに対して、前記ユーザ位置と前記撮影位置との距離に応じた画像強調化又は画像非強調化のための第２処理と、を含む動画像生成システム。
【請求項２】
前記透明度は、前記ユーザ位置と前記撮影位置との距離が小さい前記キーフレーム画像ほど低く設定される
請求項１に記載の動画像生成システム。
【請求項３】
前記第２処理は、明るさ調整処理、コントラスト調整処理、ぼかし処理、エッジ強調処理、解像度調整、減色処理、及び増色処理からなる群から選択される一又は複数の処理を含む
請求項１又は２に記載の動画像生成システム。
【請求項４】
前記選択部は、選択される複数の前記キーフレーム画像の撮影位置間距離が、ユーザの仮想的な移動速度に応じて異なるように、複数の前記キーフレーム画像を選択する
請求項１〜３のいずれか１項に記載の動画像生成システム。
【請求項５】
前記ユーザ位置及び前記撮影位置は、一次元空間における位置、二次元空間における位置、又は三次元空間における位置である
請求項１〜４のいずれか１項に記載の動画像生成システム。
【請求項６】
前記記憶部は、
複数の前記キーフレーム画像と、複数の前記キーフレーム画像それぞれの撮影位置と、を対応付けて記憶する第１記憶装置と、
前記第１記憶装置から複数の前記キーフレーム画像及びそれらの撮影位置を取得して、前記第１記憶装置における数よりも少ない数の複数の前記キーフレーム画像と、複数の前記キーフレーム画像それぞれの撮影位置と、を対応付けて記憶する第２記憶装置と、
を含み、
前記選択部は、前記第２記憶装置に記憶された複数のキーフレーム画像の中から、前記ユーザ位置の近傍である複数の前記キーフレーム画像を選択するよう構成され、
前記第２記憶装置は、前記ユーザ位置及びユーザの仮想的な移動方向に基づいて決定される優先度に従って、前記第１記憶装置に記憶された複数の前記キーフレーム画像及びそれらの撮影位置を取得する
請求項１〜５のいずれか１項に記載の動画像生成システム。
【請求項７】
前記記憶部は、
複数の前記キーフレーム画像と、複数の前記キーフレーム画像それぞれの撮影位置と、を対応付けて記憶する第１記憶装置と、
前記第１記憶装置から複数の前記キーフレーム画像及びそれらの撮影位置を取得して、前記第１記憶装置における数よりも少ない数の複数の前記キーフレーム画像と、複数の前記キーフレーム画像それぞれの撮影位置と、を対応付けて記憶する第２記憶装置と、
を含み、
前記選択部は、前記第２記憶装置に記憶された複数のキーフレーム画像の中から、前記ユーザ位置の近傍である複数の前記キーフレーム画像を選択するよう構成され、
前記第２記憶装置は、前記ユーザ位置及びユーザの仮想的な移動速度に基づいて決定される優先度に従って、前記第１記憶装置に記憶された複数の前記キーフレーム画像及びそれらの撮影位置を取得する
請求項１〜６のいずれか１項に記載の動画像生成システム。
【請求項８】
仮想的に移動するユーザ位置を取得する取得部と、
複数のキーフレーム画像の中から、撮影位置が前記ユーザ位置の近傍である複数の前記キーフレーム画像を選択する選択部と、
前記ユーザ位置と選択された複数の前記キーフレーム画像それぞれの撮影位置との距離に基づく補間処理によって、選択された複数の前記キーフレーム画像の少なくとも一つから前記ユーザ位置における補間フレーム画像を得る補間処理部と、を備え、
前記補間処理は、
前記ユーザ位置と選択された複数の前記キーフレーム画像それぞれの前記撮影位置との距離に基づいて設定された透明度で、選択された複数の前記キーフレーム画像を重ね合わせる第１処理と、
選択された複数の前記キーフレーム画像の少なくとも一つに対して、前記ユーザ位置と前記撮影位置との距離に応じた画像強調化又は画像非強調化のための第２処理と、を含む動画像生成装置。
【請求項９】
仮想的に移動するユーザ位置を取得し、
複数のキーフレーム画像の中から、撮影位置が前記ユーザ位置の近傍である複数の前記キーフレーム画像を選択し、
前記ユーザ位置と選択された複数の前記キーフレーム画像それぞれの撮影位置との距離に基づく補間処理によって、選択された複数の前記キーフレーム画像の少なくとも一つから前記ユーザ位置における補間フレーム画像を得る
ことを含み、
前記補間フレーム画像を得ることは、
前記ユーザ位置と選択された複数の前記キーフレーム画像それぞれの前記撮影位置との距離に基づいて設定された透明度で、選択された複数の前記キーフレーム画像を重ね合わせることと、
選択された複数の前記キーフレーム画像の少なくとも一つに対して、前記ユーザ位置と前記撮影位置との距離に応じた画像強調化又は画像非強調化のための処理を行うことと、をさらに含む動画像生成方法。
【請求項１０】
仮想的に移動するユーザ位置を取得する取得部と、
複数のキーフレーム画像の中から、撮影位置が前記ユーザ位置の近傍である複数の前記キーフレーム画像を選択する選択部と、
前記ユーザ位置と選択された複数の前記キーフレーム画像それぞれの撮影位置との距離に基づく補間処理によって、選択された複数の前記キーフレーム画像の少なくとも一つから前記ユーザ位置における補間フレーム画像を得る補間処理部と、
を備え、
前記補間処理は、
前記ユーザ位置と選択された複数の前記キーフレーム画像それぞれの前記撮影位置との距離に基づいて設定された透明度で、選択された複数の前記キーフレーム画像を重ね合わせる第１処理と、
選択された複数の前記キーフレーム画像の少なくとも一つに対して、前記ユーザ位置と前記撮影位置との距離に応じた画像強調化又は画像非強調化のための第２処理と、を含む動画像生成装置として、コンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像生成に関する。
【背景技術】
【０００２】
非特許文献１に示すように、世界中の様々な場所について撮影された静止画像を提供するサービスが知られている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ＧｏｏｇｌｅＳｔｒｅｅｔＶｉｅｗ，ｈｔｔｐｓ：／／ｗｗｗ．ｇｏｏｇｌｅ．ｃｏｍ／ｍａｐｓ／ｖｉｅｗｓ／ｓｔｒｅｅｔｖｉｅｗ？ｇｌ＝ｊｐ＆ｈｌ＝ｊａ
【非特許文献２】Ｈｙｐｅｒｌａｐｓｅ，ｈｔｔｐ：／／ｌａｂｓ．ｔｅｅｎａｎｌａｘ．ｃｏｍ／ｐｒｏｊｅｃｔ／ｈｙｐｅｒｌａｐｓｅ
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、ユーザに対して、仮想的な移動感覚を提示するために、移動に応じて変化する風景画像の動画をユーザに提示することが求められている。これを実現するためには、自動車に搭載されたカメラによって、自動車の移動中に撮影された動画像をユーザに提示することが考えられる。運転動作やトレッドミル走行などのユーザの行動に合わせて又は連動して予め撮影された動画像がユーザに提示されることで、ユーザは、撮影された場所を実際に訪れなくても、撮影された場所を移動しているような仮想的な移動感覚を得ることができる。
【０００５】
様々な場所における仮想的な移動感覚を提供するには、それらの場所を結ぶ全ての経路に沿って予め撮影された動画像が必要となる。しかし、動画像は静止画像に比べてデータ量が大きいため、全ての経路で予め撮影された動画像を準備し提供するのは、必ずしも容易ではない。
【０００６】
前述のＳｔｒｅｅｔＶｉｅｗように、世界中の様々な場所について撮影された静止画像を提供するサービスは既に存在している。また、Ｈｙｐｅｒｌａｐｓｅ（非特許文献２参照）は、ＳｔｒｅｅｔＶｉｅｗにて提供されている各地の静止画を動画像のフレーム画像として用いることを提案している。近接する地点の静止画を連続的に提示することで、動画像となり、移動感覚を提示することができる。
【０００７】
ＳｔｒｅｅｔＶｉｅｗでは、各地の静止画像が比較的広い撮影間隔で撮影されており、撮影間隔は、およそ１１．５ｍ間隔であるといわれている。比較的広い撮影間隔で撮影された静止画であっても、非常に高速に切り替えて表示すると、風景がスムーズに変化する動画の提示が可能となる。しかし、広い撮影間隔で撮影された静止画像を高速に切り替えると、非常に高速な移動感覚しか得られない。
【０００８】
一方、人の歩行や走行程度の低速での移動感覚を提供しようとすると、断片的な移動風景となる。つまり、人の歩行スピード程度の移動速度にあわせて、広い撮影間隔で撮影された静止画像を低速で切り替えて表示すると、一つの静止画像が数秒にわたって表示されることになる。このため、移動速度が低速であると、ユーザには断片的に静止画像が提示されるだけであり、ユーザが得られる移動感覚の質が低下する。
【０００９】
低速時における自然な移動感覚の提示には、動画像を構成するフレームとなる静止画像の撮影間隔を十分に狭くすることが考えられるが、自然な移動感覚が得られる程度に撮影間隔を狭くすると、撮影される静止画像の数が増加し、データ量が増加する。
【００１０】
したがって、データ量の増加を抑制しつつ、提示される移動感覚を向上させることが望まれる。
【課題を解決するための手段】
【００１１】
本発明のある態様は、複数の位置で撮影された複数のキーフレーム画像と、複数の前記キーフレーム画像それぞれの撮影位置と、を対応付けて記憶する記憶部と、仮想的に移動するユーザ位置を取得する取得部と、前記記憶部に記憶された複数のキーフレーム画像の中から、前記撮影位置が前記ユーザ位置の近傍である複数の前記キーフレーム画像を選択する選択部と、前記ユーザ位置と選択された複数の前記キーフレーム画像それぞれの前記撮影位置との距離に基づく補間処理によって、選択された複数の前記キーフレーム画像の少なくとも一つから前記ユーザ位置における補間フレーム画像を得る補間処理部と、を備える動画像生成システムである。上記のキーフレーム画像は、全方位画像であるのが好ましい。
【００１２】
上記の態様において、前記動画像生成システムのうち記憶部を除く部分は、動画像生成装置を構成することができる。本発明の他の態様は、動画像生成装置として、コンピュータを機能させるためのコンピュータプログラムである。本発明の他の態様は、動画像生成システムとして、コンピュータを機能させるためのコンピュータプログラムであってもよい。本発明の他の態様は、前記コンピュータプログラムを記録した記録媒体である。
【００１３】
本発明の更に他の態様は、仮想的に移動するユーザ位置を取得し、複数のキーフレーム画像の中から、撮影位置が前記ユーザ位置の近傍である複数の前記キーフレーム画像を選択し、前記ユーザ位置と選択された複数の前記キーフレーム画像それぞれの撮影位置との距離に基づく補間処理によって、選択された複数の前記キーフレーム画像の少なくとも一つから前記ユーザ位置における補間フレーム画像を得ることを含む動画像生成方法である。
【発明の効果】
【００１４】
本発明によれば、データ量の増加を抑制しつつ、提示される移動感覚を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】動画像生成システムの構成図である。
【図２】動画像生成処理を示すフローチャートである。
【図３】アルファブレンディングによる補間フレーム画像生成の説明図である。
【図４】α値の設定例である。
【図５】キーフレーム画像データベースの例である。
【図６】補間フレーム画像生成の他の例を示す説明図である。
【図７】動画像生成処理を示すフローチャートである。
【図８】画像変形による補間フレーム画像生成の説明図である。
【図９】２次元移動空間を示す図である。
【図１０】キーフレーム画像データベースの例である。
【図１１】３次元移動空間を示す図である。
【図１２】キーフレーム画像データベースの例である。
【図１３】画像取得手順を示すフローチャートである。
【図１４】キーフレーム画像取得の優先度の設定例である。
【発明を実施するための形態】
【００１６】
以下、本発明の好ましい実施形態を、添付図面を参照しながら説明する。
【００１７】
［１．動画像生成システム］
図１に示すように、動画像生成システム１０は、サーバ２０と、動画像生成装置３０と、を備えている。サーバ２０（記憶部；第１記憶装置）は、インターネットなどのネットワーク上に設けられており、動画像を構成するキーフレーム画像を記憶するキーフレーム画像データベース２２を備えている。本実施形態において、サーバ２０と動画像生成装置３０とは分離した装置として設けられているが、両者を一体的な装置として設けても良い。つまり、動画像生成システム１０は、図１に示す動画像生成装置３０にキーフレーム画像データベース２０を設けることで構成されていてもよい。また、動画像生成システム１０は、図１に示すサーバ２０に、処理装置４０の機能を設けることで構成されていてもよい。図１に示す処理装置４０の一部の機能がサーバ２０に設けられていても良い。
【００１８】
キーフレーム画像は、仮想的な走行環境を実現するための空間映像（動画像）を生成するために用いられる。本実施形態のキーフレーム画像は、実世界の各地点をカメラによって撮影した静止画像である。静止画像としては、通常のカメラで撮影した標準的な縦横比の画像であってもよし、パノラマ画像であってもよい。パノラマ画像としては全方位パノラマ画像（全天球画像）が好ましい。以下では、キーフレーム画像は、全方位パノラマ画像であるとして説明する。
【００１９】
キーフレーム画像データベース２２は、複数のキーフレーム画像と、複数のキーフレーム画像それぞれの撮影位置と、を対応付けて記憶している。キーフレーム画像データベース２２は、動画像生成装置３０によって検索キーとして位置（仮想的なユーザ位置）が指定されると、撮影位置が指定された位置の近傍である複数のキーフレーム画像を抽出する。キーフレーム画像データベース２２は、抽出された複数のキーフレーム画像及びそれらの撮影位置を動画像生成装置３０に与える。
【００２０】
複数のキーフレーム画像の撮影間隔は、例えば、８０ｃｍから２０ｍ程度とすることができる。隣接する撮影位置における複数のキーフレーム画像には、少なくとも一部において同じ被写体が撮影されているのが好ましい。上記の程度の撮影間隔であると、人の歩行又は走行速度に合わせて、キーフレーム画像だけを切替表示すると、スムーズに変化する映像に見えないが、撮影間隔が比較的広いため、キーフレーム画像の数の増加を抑えて、サーバ２０に蓄積されるデータ量を抑えることができる。また、サーバ２０から処理装置４０に与えられるキーフレーム画像数を抑えることができるため、サーバ２０と処理装置４０との間の通信トラフィックの増大も防止できる。
【００２１】
画像生成装置３０は、サーバ２０に記憶されたキーフレーム画像を取得し、取得したキーフレーム画像から、ユーザ位置に応じた補間フレーム画像を生成する。画像生成装置３０は、キーフレーム画像と補間フレーム画像を、動画像を構成するフレーム画像として用いる。本実施形態の動画像は、仮想的なユーザの移動に応じてユーザに提示される風景が変化する画像であり、実際の場所を訪れることなく、その場所を移動している移動感覚をユーザに提示する。
【００２２】
仮想的なユーザ位置が、キーフレーム画像の撮影位置に一致する場合には、キーフレーム画像がユーザに提示される。一方、仮想的なユーザ位置が、複数のキーフレーム画像それぞれの撮影位置の間に位置する場合には、補間フレーム画像がユーザに提示される。補間フレーム画像は、複数のキーフレーム画像それぞれの撮影位置と、現在のユーザ位置と、の位置関係の変化に応じて変化する。ユーザが複数のキーフレーム画像それぞれの撮影位置の間を移動する場合には、ユーザ位置に応じて変化する補間フレーム画像がユーザに提示される。これにより、ユーザは自然な移動感覚が得られる。
【００２３】
画像生成装置３０は、例えば、トレッドミル又はフィットネスバイク等のような運動器具に設けられる。この場合、画像生成装置３０は、ユーザがトレッドミル上を走行する速度又はフィットネスバイクによって走行する速度に合わせて風景が変化する動画像を表示する。これにより、運動中のユーザに対して仮想的な移動感覚を提示することができ、運動に楽しさを付与することができる。
【００２４】
画像生成装置３０は、処理装置４０と、表示装置５０と、速度検出器５２と、方向検出器５４と、を備える。画像生成装置３０では動画を生成するだけで動画像表示を行わない場合は、表示装置５０を省略してもよい。また、不要であれば、速度検出器５２及び方向検出器５４の少なくともいずれか一方を省略してもよい。
【００２５】
処理装置４０は、プロセッサ４１及びメモリ４２を有するコンピュータによって構成されている。プロセッサ４１は、ユーザ位置取得処理４３、キーフレーム画像選択処理４４、キーフレーム画像取得処理４５、及び補間処理４６などの処理を行う。メモリ４２（記憶部；第２記憶装置）は、サーバ２０から取得した複数のキーフレーム画像データベース２２と、それらの撮影装置と、を対応付けたままで記憶する。
【００２６】
ユーザ位置取得処理４３は、仮想的に移動するユーザ位置取得のための取得部としてプロセッサ４１を機能させる処理である。キーフレーム画像選択処理４４は、撮影位置が仮想的なユーザ位置の近傍であるキーフレーム画像を選択するための選択部としてプロセッサ４１を機能させる処理である。キーフレーム画像取得処理４５は、選択されたキーフレーム画像とその撮影位置をサーバ２０から取得しメモリ４２に記憶させるための画像取得部としてプロセッサ４１を機能させる処理である。補間処理４６は、選択された複数のキーフレーム画像の少なくとも一つからユーザ位置における補間フレーム画像を得る補間処理部としてプロセッサ４１を機能させる処理である。
【００２７】
プロセッサ４１は、処理装置４０が有するコンピュータプログラムが実行されることにより、上記処理４３，４４，４５，４６を実行し、プロセッサ４１（コンピュータ）を、上記の取得部、選択部、画像取得部、及び補間処理部として機能させる。
【００２８】
表示装置５０は、生成された動画像を表示する。表示装置５０は、例えば、平面ディスプレイ、複数のディスプレイを組み合わせてユーザの全周囲を覆う没入型ディスプレイ、ユーザの周囲を覆うドーム型ディスプレイ、及びユーザの頭部に装着されるヘッドマウントディスプレイなどのいずれかによって構成される。ヘッドマウントディスプレイのように、一度に表示可能な範囲が、全方位パノラマ画像の全範囲に比べて狭い表示装置５０の場合、ユーザ頭部又は体の向きを仮想的な移動方向として検出するものであってもよい。表示装置５０がヘッドマウントディスプレイである場合、ヘッドマウントディスプレイが検出する頭部の向きや動きに応じて表示装置５０に表示される画像が生成される。
【００２９】
速度検出器５２は、ユーザの仮想的な移動速度を検出する。トレッドミル又はフィットネスバイク等のように、ユーザの歩行又は走行を模した運動を行う運動器具に動画生成装置３０が設けられている場合、運動器具が速度検出機能を有している。この場合、運動器具の速度検出機能を、本実施形態の速度検出器５２として用いることができる。ユーザの移動速度が変化せず一定であることを前提とする場合又は処理装置４０が移動速度を設定する場合、速度検出器５２は不要である。また、ユーザの仮想的な移動に関し、ユーザが実際に歩行又は走行のような運動を行っている必要はなく、単に、ユーザが操作する操作器によって、ユーザの位置及び／又は移動速度が操作されるものであってもよい。この場合、ユーザが操作する操作器が、本実施形態の速度検出器５２として機能する。
【００３０】
方向検出器５４は、仮想空間におけるユーザの仮想的な移動方向を検出する。方向検出器５４は、例えば、ユーザの移動方向を手動で操作する操作器として構成することができる。また、方向検出器５４は、移動方向選択のためにユーザ頭部又は体の向きを検出し、ユーザ頭部又は体の向きを仮想的な移動方向として検出するものであってもよい。表示装置５０がヘッドマウントディスプレイである場合、ヘッドマウントディスプレイに設けられた姿勢センサを方向検出器５４として用いることができる。トレッドミル又はフィットネスバイクのように一次元移動を前提とした運動器具の場合、方向検出器５４は省略することができる。
【００３１】
［２．動画像生成処理］
［２．１  動画像生成処理の第１例］
図２は、処理装置４０のプロセッサ４１が実行する動画像生成処理の第１例を示している。この第１例では、仮想的な移動空間として１次元空間を想定する。第１例では、ユーザの移動方向は考慮しない。後述するように移動空間は２次元空間又は３次元空間であってもよい。
【００３２】
処理装置４０は、ユーザの速度ｖとユーザ位置Ｐｘを取得する（ステップＳ１１）。ユーザ速度ｖは、例えば、速度検出器５２から与えられる。処理装置４０は、ユーザ位置取得処理４３を行って、ユーザ速度ｖからユーザ位置Ｐｘを取得する。具体的には、処理装置４０は、動画像生成処理の開始時点でのユーザの仮想的な初期位置（現在位置）と、取得した速度ｖと、に基づいて、初期位置からの移動量を算出し、ユーザの仮想的な移動後の現在位置（ユーザ位置）Ｐｘを求める。ユーザ位置Ｐｘは、処理装置４０自体が設定するものであってもよい。
【００３３】
処理装置４０は、キーフレーム画像選択処理４４及びキーフレーム画像取得処理４５を実行する（ステップＳ１２）。つまり、処理装置４０は、キーフレーム画像選択処理４４を行うことで、速度ｖ及びユーザ位置Ｐｘに基づき、サーバ２０に記憶された複数のキーフレーム画像から、取得すべき複数のキーフレーム画像Ａ，Ｂを選択する。取得すべき複数のキーフレーム画像は、撮影位置ＰＡ，ＰＢが、ユーザ位置Ｐｘの近傍である複数の（２つの）キーフレーム画像Ａ，Ｂである。図３に示すように、移動空間が１次元である場合、例えば、ユーザ位置Ｐｘに最も近接する２つのキーフレーム画像Ａ，Ｂが選択される。複数のキーフレーム画像の選択は、選択される画像Ａ，Ｂの撮影位置ＰＡ，ＰＢの中間に、ユーザ位置Ｐｘが位置するように行われる。
【００３４】
本実施形態では、ユーザ位置Ｐｘが同一であっても、ユーザの仮想的な移動速度ｖに応じて、異なるキーフレーム画像が選択される。この点ついては後述する。
【００３５】
処理装置４０は、キーフレーム画像取得処理４５を行うことで、選択された複数のキーフレーム画像Ａ，Ｂ及びそれらの撮影位置ＰＡ，ＰＢをサーバ２０から取得する。取得した複数のキーフレーム画像Ａ，Ｂ及びそれらの撮影位置ＰＡ，ＰＢは、メモリ４２に記憶される。処理装置４０は、メモリ４２に記憶された複数のキーフレーム画像Ａ，Ｂ及びそれらの撮影位置ＰＡ，ＰＢに基づいて、その後の処理を行う。
【００３６】
処理装置４０は、ユーザ位置Ｐｘと、取得した複数のキーフレーム画像Ａ，Ｂの撮影位置ＰＡ，ＰＢそれぞれとの距離ｄ１，ｄ２を算出する。距離ｄ１（第１距離ｄ１）は、ユーザ位置Ｐｘと選択された第１キーフレーム画像Ａとの距離であり、距離ｄ２（第２距離ｄ２）は、ユーザ位置Ｐｘと選択された第２キーフレーム画像Ｂとの距離である。距離ｄ１，ｄ２は、サーバ２０によって算出され、処理装置４０に提供されてもよい。
【００３７】
処理装置４０は、距離ｄ１，ｄ２に基づく補間処理４６を行うことで、取得した複数のキーフレーム画像Ａ，Ｂから、ユーザ位置Ｐｘが仮想的な撮影位置（視点位置）となる補間フレーム画像Ｘを得る。第１例において、補間フレーム画像Ｘは、複数のキーフレーム画像Ａ，Ｂのアルファブレンディング（第１処理）によって得られる。処理装置４０は、ステップＳ１３において、距離ｄ１，ｄ２に基づいて、アルファブレンディングに用いられるα値（透明度）を設定する。α値は、サーバ２０によって設定されて、処理装置４０に提供されても良い。また、アルファブレンディングも、サーバ２０によって行われ、アルファブレンディングによって得られた補間フレーム画像Ｘが処理装置４０に提供されても良い。
【００３８】
本実施形態では、第１キーフレーム画像Ａに乗じられるα値としてα１と、第２キーフレーム画像Ｂに乗じられるα値としてα２と、が設定される。なお、本実施形態では、後述の式から明らかなように、α２＝１−α１であるため、α１を算出すればα２が得られる。
【００３９】
各画像Ａ，Ｂに乗じられるα値（α１，α２）それぞれは、０から１の値をとり、０のときに透明であり、１のときに不透明である。α１は、ユーザ位置Ｐｘと第１キーフレーム画像Ａの撮影位置ＰＡとの距離ｄ１が小さいほど、大きな値に設定される（透明度が低く設定される）。α２も、ユーザ位置Ｐｘと第２キーフレーム画像Ｂの撮影位置ＰＢとの距離ｄ２が小さいほど、大きな値に設定される（透明度が低く設定される）。
【００４０】
本実施形態において、α値（α１，α２）は、距離ｄ１，ｄ２の関数で表される。α１，α２は、例えば、以下の式で算出される。
【数１】
0006544719.tif 000002
【００４１】
図４（ａ）は、上記式によって設定されるα１，α２の値（縦軸）を示している。横軸は、仮想的なユーザ位置であり、位置ＰＡから位置ＰＢまでの位置範囲を示している。図４（ａ）において、α１は、位置ＰＡで最大（１）であり、位置ＰＢに向かうにしたがって小さくなり、位置ＰＢで最小（０）となる。α２は、位置ＰＡで最小（０）であり、位置ＰＢに向かうにしたがって大きくなり、位置ＰＢで最大（１）となる。
【００４２】
ユーザ位置Ｐｘのための補間フレーム画像Ｘは、以下の式のように、複数のキーフレーム画像Ａ，Ｂそれぞれにα値（α１，α２）を乗じることで得られる。
【数２】
0006544719.tif 000003
【００４３】
図３に示すように、撮影位置の異なる複数のキーフレーム画像Ａ，Ｂに、位置ＰＤ付近にある建物が写っている場合、両キーフレーム画像Ａ，Ｂの撮影位置ＰＡ，ＰＢが異なるため、両キーフレーム画像Ａ，Ｂに写っている建物の大きさ及び位置は、多少異なる。このような複数のキーフレーム画像Ａ，Ｂをアルファブレンディングによって重ね合わせることで、画像Ａ，Ｂ中の建物（被写体）が二重にみえる画像となる。
【００４４】
仮想的なユーザ位置Ｐｘが位置ＰＡから位置ＰＢまで変化する場合において、ユーザ位置Ｐｘが位置ＰＡであれば、α１＝１，α２＝０となり、補間フレーム画像Ｘは第１キーフレーム画像Ａと等しくなるため、ユーザには、画像Ａに写っている建物の像だけが提示される。
【００４５】
図４（ａ）に示すように、ユーザ位置Ｐｘが、位置ＰＡと位置ＰＢとの間であるが位置ＰＡにより近い位置である場合、画像Ａの透明度が相対的に低く画像Ｂの透明度が相対的に高くなるため（α１＞α２）、画像Ａに写っている建物の像が濃く、画像Ｂに写っている建物の像が薄い状態で、建物が二重にみえる。
【００４６】
ユーザ位置Ｐｘが、位置ＰＡと位置ＰＢとの間であるが位置ＰＢにより近い位置である場合、画像Ａの透明度が相対的に高く画像Ｂの透明度が相対的に低くなるため（α１＜α２）、画像Ａに写っている建物の像が薄く、画像Ｂに写っている建物の像が濃い状態で、建物が二重にみえる。
【００４７】
ユーザ位置Ｐｘが、位置ＰＢであれば、α１＝０，α２＝１となり、補間フレーム画像Ｘは第２キーフレーム画像Ｂと等しくなるため、ユーザには、画像Ｂに写っている建物の像だけが提示される。
【００４８】
図４（ａ）に示すようにα１，α２が、ユーザ位置Ｐｘの変化応じて連続的に変化することで、ユーザの移動に応じて補間フレーム画像Ｘも連続的に変化する。ユーザが位置ＰＡと位置ＰＢとの間を移動中は、ユーザの移動じて変化する補間フレーム画像Ｘが表示装置５０に表示される。補間フレーム画像Ｘは、静止画像としてみると被写体が二重にみえることもある画像であるが、ユーザの移動に応じて被写体の二重化状態が変化するため、人の目には移動に伴う自然な風景の変化として写る。したがって、ユーザに対してスムーズな連続動画像として提示できる。
【００４９】
ユーザ位置Ｐｘの変化応じたα１，α２の変化の仕方は、図４（ａ）に示す例に限られない。図４（ａ）のようにα１，α２が直線的に変化するのではなく、図４（ａ）に示すように曲線的に変化してもよい。図４（ｃ）に示すように、ユーザ位置Ｐｘが、位置ＰＡから離れても、位置ＰＡ近傍であれば、α１＝１，α２＝０を維持して、キーフレーム画像Ａが表示されるようにし、同様に、ユーザ位置Ｐｘが、位置ＰＢから離れても、位置ＰＢ近傍であれば、α１＝０，α２＝１を維持して、キーフレーム画像Ｂが表示されるようにしてもよい。キーフレーム画像Ａ，Ｂに対してアルファブレンディング以外の画像処理（例えば、第２例及び／又は第３例に示す処理）も施される場合には、α１，α２を図４（ｄ）のように変化させてもよい。
【００５０】
図４（ｃ）のようにα値を設定すると、ユーザ位置Ｐｘが、キーフレーム画像Ａ，Ｂの撮影位置ＰＡ，ＰＢでなくてもそれらの近傍位置である場合には、キーフレーム画像Ａ，Ｂを表示し、撮影位置ＰＡ，ＰＢからある程度離れてから補間フレーム画像を表示することができる。これにより、ユーザ位置が、撮影位置ＰＡ，ＰＢからわずかに離れただけでは、補間フレーム画像Ｘを生成する必要がなく、補間フレーム画像Ｘの生成のための時間的余裕が確保できる。
【００５１】
図５は、ユーザの仮想的な移動速度ｖが低速である場合（例えば、歩いている場合）及び高速である場合（例えば、走っている場合）において、キーフレーム画像選択処理４４によって、選択されるキーフレーム画像を示している。ユーザ位置Ｐｘが、図３に示す位置（位置ＰＡと位置ＰＢの間の位置）である場合において、低速であれば、キーフレーム画像Ａ，Ｂが選択され、高速であれば、キーフレーム画像Ａ，Ｃが選択される。
【００５２】
移動速度ｖが低速であると比較的狭い撮影間隔で撮影された複数のキーフレーム画像から補間フレーム画像を生成したほうが、自然な移動感覚が得られる。一方、移動速度ｖが高速であると、比較的広い撮影間隔で撮影された複数のキーフレーム画像を用いても、自然な移動感覚を維持できる。例えば、図３において隣接する撮影位置同士の撮影間隔（キーフレーム間隔）を１とすると、移動速度ｖが所定の閾値よりも小さい場合、選択される複数のキーフレーム画像のキーフレーム間隔が１になるように、位置ＰＡ，ＰＢで撮影されたキーフレーム画像Ａ，Ｂが選択される。また、移動速度が所定の閾値よりも大きい場合、選択される複数のキーフレーム画像のキーフレーム間隔が２になるように、位置ＰＡ，Ｐｃで撮影されたキーフレーム画像Ａ，Ｃが選択される。
【００５３】
［２．２  動画像生成の第２例］
補間フレーム画像Ｘを生成する際には、キーフレーム画像Ａ，Ｂそのものに対してアルファブレンディングするのではなく、距離ｄ１，ｄ２に応じた画像処理（第２処理）が行われたキーフレーム画像（補正後キーフレーム画像）に対してアルファブレンディングを行っても良い。距離ｄ１，ｄ２に応じた画像処理（第２処理）は、アルファブレンディング以外の画像処理によって、ユーザ位置Ｐｘと撮影位置ＰＡ，ＰＢとの位置関係に応じて、キーフレーム画像Ａ，Ｂを強調化したり、非強調化（ぼかしなど）をしたりする処理である。
【００５４】
例えば、図６に示すように、ユーザ位置Ｐｘが、二つの撮影位置ＰＡ，ＰＢのうち、撮影位置ＰＡの方に近く、撮影位置ＰＢからは遠い場合、処理装置４０は、キーフレーム画像Ａに対して強調化処理を行って人の目により強く提示されるようにした補正後キーフレーム画像Ａ１を生成し、キーフレーム画像Ｂに対して非強調化処理を行って人の目により弱く提示されるようにした補正後キーフレーム画像Ｂ１を生成する。図６には、人の目に被写体である建物をより強く提示する補正後キーフレーム画像Ａ１と、建物をより弱く提示する補正後キーフレーム画像Ｂ１を示している。補正後キーフレーム画像Ａ１，Ｂ１がアルファブレンディングされることで、両画像Ａ１，Ｂ１に設定される透明度の違いに加えて、被写体自体の強調・非強調によって、距離ｄ１，ｄ２の違いに応じた良好な移動感覚をユーザに提示できる。
【００５５】
強調化処理及び非強調化処理は、例えば、画像の明るさ調整処理、コントラスト調整、解像度調整、増減色処理などから選択される一又は複数の処理によって行われる。増減色処理とは、白黒画像をカラー画像にするなどの画像中の色を増加させる増色処理と、カラー画像を白黒画像にするなどの画像中の色を減少させる減色処理と、の総称である。増色処理によって画像を強調化でき、減色処理によって画像を非強調化できる。強調化処理は、エッジ強調処理によっても行うことができ、非強調化処理はぼかし処理によっても行うことができる。
【００５６】
図６に示す補正後キーフレーム画像Ａ１は、キーフレーム画像Ａに対して、明るさを高くし、コントラストを強調し、解像度を高くすることで得たものであり、補正後キーフレーム画像Ｂ１は、キーフレーム画像Ｂに対して、明るさを低くし、コントラストを弱め、解像度を低くすることで得たものである。強調化処理及び非強調化処理は、双方が行われる必要はなく、一方だけが行われても良い。
【００５７】
第２例において、特に説明をしなかった点については、第１例と同様である。
【００５８】
［２．３  動画像生成の第３例］
補間フレーム画像Ｘを生成する補間処理は、アルファブレンディングに限られない。補間フレーム画像Ｘは、距離ｄ１，ｄ２に基づいて、選択された複数のキーフレーム画像の一つに対する画像処理（画像変形）を行うことで、生成されてもよい。
【００５９】
図７は、第３例に係る動画像生成処理を示している。図７において、ステップＳ２１及びＳ２２は、図２のステップＳ１１及びＳ１２と同様である。処理装置４０は、ステップＳ２３において、選択された複数のキーフレーム画像Ａ，Ｂ中の個々の被写体を認識する画像認識処理を行う。処理装置４０は、ステップＳ２４において、ユーザ位置Ｐｘに最も近いキーフレーム画像中の個々の被写体を、距離ｄ１，ｄ２に基づいて変形させて、補間フレーム画像Ｐｘを生成する。
【００６０】
図８に示すように、キーフレーム画像Ａ中の建物が比較的小さく映り、キーフレーム画像Ｂ中の建物が比較的大きく映っており、ユーザ位置Ｐｘは、キーフレーム画像Ａの撮影位置ＰＡに近い位置にあるものとする。この場合、処理装置４０は、キーフレーム画像Ａにおける建物の大きさ（及び位置）と、キーフレーム画像Ｂにおける建物の大きさ（及び位置）と、距離ｄ１，ｄ２と、から、ユーザ位置Ｐｘにおける建物の大きさ（及び位置）を求める。この処理を、キーフレーム画像において認識される全ての被写体について行う。これに基づいて、処理装置４０は、ユーザ位置Ｐｘにより近い撮影位置ＰＡで撮影されたキーフレーム画像Ａをユーザ位置Ｐｘにおける風景に変換するための変換パラメータを得て、その変換パラメータに基づいて、キーフレーム画像Ａを画像変換することで、補間フレーム画像Ｘを得る。
【００６１】
［２．４  ２次元空間におけるキーフレーム画像の選択］
これまでの説明では、仮想的な移動空間が１次元空間であるものとして説明したが、仮想的な移動空間は、図９に示すように２次元であってもよい。サーバ２０のキーフレーム画像データベース２２には、２次元空間の各地点ＰＡ〜ＰＨにて撮影されたキーフレーム画像Ａ〜Ｈが、それらの撮影位置ＰＡ〜ＰＨと対応付けられて記憶されている。
【００６２】
図９では、ユーザ位置Ｐｘが、位置ＰＡ，ＰＢ，ＰＣ，ＰＤに囲まれた位置にあるものとする。図９において、縦方向及び横方向において隣接する撮影位置同士の撮影間隔（キーフレーム間隔）を１とする。キーフレーム画像選択処理４４では、例えば、ユーザ位置Ｐｘからの距離が１以下である複数のキーフレーム画像ＰＡ，ＰＢ，ＰＣが選択される。選択されるキーフレーム画像の数は、４以上でもよいし、場合によっては２でもよい。
【００６３】
３つのキーフレーム画像Ａ，Ｂ，Ｃが選択された場合、それぞれの画像Ａ、Ｂ，Ｃに乗じられるα値（α１，α２，α３）は、ユーザ位置Ｐｘから各画像Ａ，Ｂ，Ｃの撮影位置ＰＡ，ＰＢ，ＰＣまでの距離ｄ１，ｄ２，ｄ３の関数で表される。α１，α２，α３は、例えば、以下の式で算出される。
【数３】
0006544719.tif 000004
【００６４】
ユーザ位置Ｐｘのための補間フレーム画像Ｘは、以下の式のように、複数のキーフレーム画像Ａ，Ｂ，Ｃそれぞれにα値（α１，α２，α３）を乗じることで得られる。
【数４】
0006544719.tif 000005
【００６５】
移動空間が２次元である場合においても、移動速度ｖが所定の閾値よりも小さい場合、選択される複数のキーフレーム画像のキーフレーム間隔が１になるように、位置ＰＡ，ＰＢ，ＰＣで撮影されたキーフレーム画像Ａ，Ｂ，Ｃが選択される。また、移動速度が所定の閾値よりも大きい場合、選択される複数のキーフレーム画像のキーフレーム間隔が２になるように、位置ＰＡ，ＰＥ，ＰＦ，ＰＧ撮影されたキーフレーム画像Ａ，Ｅ，Ｆ，Ｇが選択される（図１０参照）。
【００６６】
［２．５  ３次元空間におけるキーフレーム画像の選択］
仮想的な移動空間は、図１１に示すように３次元であってもよい。サーバ２０のキーフレーム画像データベース２２には、３次元空間の各地点ＰＡ〜ＰＨにて撮影されたキーフレーム画像Ａ〜Ｈが、それらの撮影位置ＰＡ〜ＰＨと対応付けられて記憶されている。
【００６７】
図１１では、ユーザ位置Ｐｘが、位置ＰＡ〜ＰＨに囲まれた位置にあるものとする。図１３において、３次元の各方向において隣接する撮影位置同士の撮影間隔（キーフレーム間隔）を１とする。キーフレーム画像選択処理４４では、例えば、ユーザ位置Ｐｘからの距離が１以下である複数のキーフレーム画像ＰＡ，ＰＢ，ＰＣ，ＰＦ選択される。選択されるキーフレーム画像の数は、５以上でもよいし、場合によっては２又は３でもよい。
【００６８】
３つのキーフレーム画像Ａ，Ｂ，Ｃ，Ｆが選択された場合、それぞれの画像Ａ、Ｂ，Ｃ，Ｆに乗じられるα値（α１，α２，α３，α４）は、ユーザ位置Ｐｘから各画像Ａ，Ｂ，Ｃ、Ｆの撮影位置ＰＡ，ＰＢ，ＰＣ，ＰＦまでの距離ｄ１，ｄ２，ｄ３，α４の関数で表される。α１，α２，α３，α４は、例えば、以下の式で算出される。
【数５】
0006544719.tif 000006
【００６９】
ユーザ位置Ｐｘのための補間フレーム画像Ｘは、以下の式のように、複数のキーフレーム画像Ａ，Ｂ，Ｃ，Ｆそれぞれにα値（α１，α２，α３，α４）を乗じることで得られる。
【数６】
0006544719.tif 000007
【００７０】
移動空間が３次元である場合においても、移動速度ｖに応じて、選択されるキーフレーム画像を異ならせることができる。
【００７１】
［３．サーバからの画像取得処理］
処理装置４０は、ユーザの移動に応じて、補間フレーム画像Ｘを高速に生成する必要がある。このため、処理装置４０は、ユーザ位置Ｐｘが得られてから補間フレーム画像Ｘの生成に用いられるキーフレーム画像をサーバ２０から取得するのではなく、現在のユーザ位置Ｐｘ等に基づいて、将来必要となるキーフレーム画像を先取り的に取得しても良い。
【００７２】
図１３は、キーフレーム画像の先取り的な取得のための処理手順を示している。処理装置３１は、動画生成処理の開始に伴って、ユーザの初期位置Ｐ０を取得すると（ステップＳ３１）、その位置Ｐ０周辺が撮影位置である複数のキーフレーム画像の取得を開始する（ステップＳ３２）。
【００７３】
その後、処理装置４０は、移動するユーザの移動速度、ユーザ位置Ｐｘ、移動方向を取得すると（ステップＳ３３）、移動速度、ユーザ位置Ｐｘ、移動方向に基づいて、キーフレーム画像取得のための優先度を設定する（ステップＳ３４）。処理装置４０は、設定された優先度に従って順序で、現在のユーザ位置Ｐｘの周辺が撮影位置である複数のキーフレーム画像をサーバ２０から取得する。
【００７４】
図１４は、優先度の設定例を示している。図１４において、ユーザ位置Ｐｘは、位置ＰＢと位置ＰＣの間にあり、位置ＰＢの方が近い。ユーザの移動方向は、図の左から右に向かう方向である。この場合、処理装置４０がサーバ２０から最も有線して取得すべきキーフレーム画像は、ユーザ位置Ｐｘに最も近い撮影位置ＰＢのキーフレーム画像Ｂである。ユーザの移動速度が低速の場合、ユーザ移動方向にみてユーザ位置Ｐｘから遠ざかるにつれて、優先度が低下する。ユーザ位置Ｐｘに最も近い撮影位置ＰＢからみてユーザ移動方向とは逆方向にある撮影位置ＰＡのキーフレーム画像Ａの優先度は相対的に低くなる。
【００７５】
ユーザの移動速度が高速の場合は、ユーザ移動方向にみてユーザ位置Ｐｘから遠ざかるにつれて、優先度が低下するが、撮影位置ＰＢからみて、キーフレーム間隔が２の倍数である撮影位置ＰＤ，ＰＦのキーフレーム画像Ｄ，Ｆの優先度は、それ以外のキーフレーム画像Ｃ，Ｅ，Ｇよりも相対的に高くなる。
【００７６】
優先度を決定する際には、移動速度及び移動方向の少なくともいずれか一方を省略してもよい。
【００７７】
［４．動画像生成システムの応用例］
動画像生成システム１０は、トレッドミルなどの運動器具とともに用いられるほか、場所案内などに用いることもできる。
【００７８】
［５．付記］
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
【符号の説明】
【００７９】
１０  動画像生成システム
２０  サーバ（記憶部；第１記憶装置）
３０  動画像生成装置
４０  処理装置
４１  プロセッサ
４２  メモリ（記憶部；第２記憶装置）
４３  ユーザ位置取得処理（取得部）
４４  キーフレーム画像選択処理（選択部）
４５  キーフレーム画像取得処理（画像取得部）
４６  補間処理（補間処理部）
５０  表示装置
５２  速度検出器
５４  方向検出器
Ｘ    補間フレーム画像
Ａ，Ｂ  キーフレーム画像
Ｐｘ  ユーザ位置
ＰＡ，ＰＢ  撮影位置
【図１】
0006544719.tif 000008
【図２】
0006544719.tif 000009
【図３】
0006544719.tif 000010
【図４】
0006544719.tif 000011
【図５】
0006544719.tif 000012
【図６】
0006544719.tif 000013
【図７】
0006544719.tif 000014
【図８】
0006544719.tif 000015
【図９】
0006544719.tif 000016
【図１０】
0006544719.tif 000017
【図１１】
0006544719.tif 000018
【図１２】
0006544719.tif 000019
【図１３】
0006544719.tif 000020
【図１４】
0006544719.tif 000021