(57)【要約】  時間的又は空間的な制約なしにコンテンツを視聴することができる、優れた情報処理装置及び情報処理方法、並びに情報処理システムを提供する。  演算装置１２０は、再生側の情報機器１４１から位置姿勢情報並びに時刻情報を受け取ると、当該機器の位置情報周辺及び当該時刻周辺の画像、音声の情報を、データベース１１１からロードすると、その視聴希望視点での視聴希望時刻から再生する画像、音声を再構成する。再構成された画像、音声は、ネットワーク１５０を通じて再生側の情報機器１４１内の主記憶部２０２にロードされつつ再生される。
2016038964.tif 000002
【特許請求の範囲】
【請求項１】
画像又は音声の情報を取得する情報取得部と、
画像又は音声の情報を取得したときの位置・姿勢情報又はその他のセンサー情報を取得するセンサー情報取得部と、
取得した画像又は音声の情報をセンサー情報とともにデータベースに保存する保存部と、
を具備する情報処理装置。
【請求項２】
前記保存部は、ネットワーク上の専用のデータベース又は動画共有サイトのデータベースに画像又は音声の情報を保存する、
請求項１に記載の情報処理装置。
【請求項３】
前記保存部は、画像や音声の記録に際して、ブレ補正を行なう、
請求項１に記載の情報処理装置。
【請求項４】
データベースに保存されている画像又は音声の情報を取得する情報取得部と、
異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での情報を再現する演算処理部と、
を具備する情報処理装置。
【請求項５】
前記データベースは、画像又は音声の情報を置・姿勢情報又はその他のセンサー情報とともに保存しており、
前記演算処理部は、視聴希望視点の位置・姿勢情報及び時間における画像又は音声の情報を再現する、
請求項４に記載の情報処理装置。
【請求項６】
前記演算処理部は、視聴希望の時間と現在との時間差分に応じた画像又は音声の再現処理を行なう、
請求項５に記載の情報処理装置。
【請求項７】
前記演算処理部は、視聴希望の時間と現在との時間差分が所定の閾値未満のときには、リアルタイム画像を生成する、
請求項６に記載の情報処理装置。
【請求項８】
前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点でのリアルタイム画像を生成する、
請求項７に記載の情報処理装置。
【請求項９】
前記演算処理部は、視聴希望の時間が現在との時間差分が所定の閾値以上となる未来の場合には、未来像を生成する、
請求項６に記載の情報処理装置。
【請求項１０】
前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点で任意時間の未来像を生成し、所定の閾値未満のときには一定場所で任意視点及び任意時間の未来像を生成する、
請求項９に記載の情報処理装置。
【請求項１１】
前記演算処理部は、視聴希望の時間が現在との時間差分が所定の閾値以上となる過去の場合には、プレイバック像を生成する、
請求項６に記載の情報処理装置。
【請求項１２】
前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点で任意時間のプレイバック像を生成し、所定の閾値未満のときには一定場所で任意視点及び任意時間のプレイバック像を生成する、
請求項１１に記載の情報処理装置。
【請求項１３】
画像又は音声の情報を取得する情報取得ステップと、
画像又は音声の情報を取得したときの位置・姿勢情報又はその他のセンサー情報を取得するセンサー情報取得ステップと、
取得した画像又は音声の情報をセンサー情報とともにデータベースに保存する保存ステップと、
を有する情報処理方法。
【請求項１４】
データベースに保存されている画像又は音声の情報を取得する情報取得ステップと、
異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での情報を再現する演算処理ステップと、
を有する情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、動画像や音声を始めとする情報をユーザー間で共有する情報処理装置及び情報処理方法に係り、特に、時間的又は空間的な制約なしに画像や音声などの情報を再生する情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
映像コンテンツや音響コンテンツなど情報の再生機能を装備した情報機器が既に広く普及している。例えば、スマートフォンなどの携帯電話やタブレット端末、電子書籍、携帯型音楽プレイヤーなどである。また、ヘッド・マウント・ディスプレイや、リストバンド型デバイスなどのように、頭部や腕部といったユーザーの身体の一部に装着して用いられる情報機器も存在する。【０００３】
これらの情報機器は、あらかじめダウンロードしたコンテンツや、その場で記録（撮影、録音）したコンテンツ、ネットワーク経由で再生される（リアルタイム・ストリーミングを含む）、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術を用いて現実拡張をリアルタイムに付与したコンテンツなど、各種コンテンツを視聴することができる。【０００４】
また、コンテンツの再生機能を備えた情報機器の中には、録画中の動画ファイルに対して任意の再生位置から再生する追いかけ再生機能（例えば、特許文献１を参照のこと）や、所望の画面を迅速に見つけるための高速再生機能（例えば、特許文献２を参照のこと）を持つものもある。これらの機能を用いれば、ユーザーは、任意の時点からコンテンツを視聴することが容易になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２２９０６４号公報
【特許文献２】特開２０１３−５０５４号公報
【特許文献３】特許第４６９５５８３号公報
【特許文献４】特開２０１２−４４３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本明細書で開示する技術の目的は、時間的又は空間的な制約なしにコンテンツを視聴することができる、優れた情報処理装置及び情報処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
画像又は音声の情報を取得する情報取得部と、
画像又は音声の情報を取得したときの位置・姿勢情報又はその他のセンサー情報を取得するセンサー情報取得部と、
取得した画像又は音声の情報をセンサー情報とともにデータベースに保存する保存部と、
を具備する情報処理装置である。【０００８】
本明細書で開示する技術の第２の側面によれば、第１の側面に係る情報処理装置の前記保存部は、ネットワーク上の専用のデータベース又は動画共有サイトのデータベースに画像又は音声の情報を保存するように構成されている。【０００９】
本明細書で開示する技術の第３の側面によれば、第１の側面に係る情報処理装置の前記保存部は、画像や音声の記録に際して、ブレ補正を行なうように構成されている。【００１０】
また、本明細書で開示する技術の第４の側面は、
データベースに保存されている画像又は音声の情報を取得する情報取得部と、
異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での情報を再現する演算処理部と、
を具備する情報処理装置である。【００１１】
本明細書で開示する技術の第５の側面によれば、前記データベースは、画像又は音声の情報を位置・姿勢情報又はその他のセンサー情報とともに保存している。そして、第４の側面に係る情報処理装置の前記演算処理部は、視聴希望視点の位置・姿勢情報及び時間における画像又は音声の情報を再現するように構成されている。【００１２】
本明細書で開示する技術の第６の側面によれば、第５の側面に係る情報処理装置の前記演算処理部は、視聴希望の時間と現在との時間差分に応じた画像又は音声の再現処理を行なうように構成されている。【００１３】
本明細書で開示する技術の第７の側面によれば、第６の側面に係る情報処理装置の前記演算処理部は、視聴希望の時間と現在との時間差分が所定の閾値未満のときには、リアルタイム画像を生成するように構成されている。【００１４】
本明細書で開示する技術の第８の側面によれば、第７の側面に係る情報処理装置の前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点でのリアルタイム画像を生成するように構成されている。【００１５】
本明細書で開示する技術の第９の側面によれば、第６の側面に係る情報処理装置の前記演算処理部は、視聴希望の時間が現在との時間差分が所定の閾値以上となる未来の場合には、未来像を生成するように構成されている。【００１６】
本明細書で開示する技術の第１０の側面によれば、第９の側面に係る情報処理装置の前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点で任意時間の未来像を生成し、所定の閾値未満のときには一定場所で任意視点及び任意時間の未来像を生成するように構成されている。【００１７】
本明細書で開示する技術の第１１の側面によれば、第６の側面に係る情報処理装置の前記演算処理部は、視聴希望の時間が現在との時間差分が所定の閾値以上となる過去の場合には、プレイバック像を生成するように構成されている。【００１８】
本明細書で開示する技術の第１２の側面によれば、第１１の側面に係る情報処理装置の前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点で任意時間のプレイバック像を生成し、所定の閾値未満のときには一定場所で任意視点及び任意時間のプレイバック像を生成する、ように構成されている。【００１９】
また、本明細書で開示する技術の第１３の側面は、
画像又は音声の情報を取得する情報取得ステップと、
画像又は音声の情報を取得したときの位置・姿勢情報又はその他のセンサー情報を取得するセンサー情報取得ステップと、
取得した画像又は音声の情報をセンサー情報とともにデータベースに保存する保存ステップと、
を有する情報処理方法である。【００２０】
また、本明細書で開示する技術の第１４の側面は、
データベースに保存されている画像又は音声の情報を取得する情報取得ステップと、
異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での情報を再現する演算処理ステップと、
を有する情報処理方法である。
【発明の効果】
【００２１】
本明細書で開示する技術によれば、時間的又は空間的な制約なしに、任意の時点での任意の場所の情報を再生することができる、優れた情報処理装置及び情報処理方法を提供することができる。【００２２】
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。【００２３】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２４】
【図１】図１は、本明細書で開示する技術の一実施形態に係る情報再生システム１００の構成を模式的に示した図である。
【図２】図２は、ユーザーに提示する情報を記録する情報機器１０１の内部構成例を示した図である。
【図３】図３は、記録する情報を入力する情報入力部２０４の内部構成例を示した図である。
【図４】図４は、記録された情報をユーザーに提示する情報機器１４１の内部構成例を示した図である。
【図５】図５は、記録された情報を再生出力してユーザーに提示する情報出力部２０５の内部構成例を示した図である。
【図６】図６は、記録する情報の入力、情報の記録、並びに、記録された情報の再生出力をすべてスタンドアロンで行なう情報機器の内部構成例を示した図である。
【図７】図７は、記録側の情報機器１０１、１０２、…、１０ｎが実行する基本処理例を示したフローチャートである。
【図８】図８は、記録側の情報機器１０１、１０２、…、１０ｎが実行する基本処理例を示したフローチャートである。
【図９】図９は、記録側の情報機器１０１、１０２、…、１０ｎが実行する基本処理例を示したフローチャートである。
【図１０】図１０は、記録側の情報機器１０１、１０２、…、１０ｎが実行する基本処理例を示したフローチャートである。
【図１１】図１１は、視聴側の情報機器１４１、１４２、…、１４ｍが実行する基本処理例を示したフローチャートである。
【図１２】図１２は、視聴側の情報機器１４１、１４２、…、１４ｍが実行する基本処理例を示したフローチャートである。
【図１３】図１３は、合成画像を生成する処理手順を示したフローチャートである。
【図１４】図１４は、合成画像を生成する処理手順を示したフローチャートである。
【図１５】図１５は、合成画像を生成する処理手順を示したフローチャートである。
【図１６】図１６は、仮想空間画像の合成処理の詳細な手順を示したフローチャートである。
【図１７】図１７は、仮想空間画像の合成処理の詳細な手順を示したフローチャートである。
【図１８】図１８は、任意場所・視点で且つ任意時間の推定未来画像の合成処理の詳細な手順を示したフローチャートである。
【図１９】図１９は、任意場所・視点で且つ任意時間の推定未来画像の合成処理の詳細な手順を示したフローチャートである。
【図２０】図２０は、一定場所・視点で且つ任意時間の推定未来画像の合成処理の詳細な手順を示したフローチャートである。
【図２１】図２１は、一定場所・視点で且つ任意時間の推定未来画像の合成処理の詳細な手順を示したフローチャートである。
【図２２】図２２は、任意場所・視点で且つ任意時間のプレイバック画像の合成処理の詳細な手順を示したフローチャートである。
【図２３】図２３は、任意場所・視点で且つ任意時間のプレイバック画像の合成処理の詳細な手順を示したフローチャートである。
【図２４】図２４は、一定場所・視点で且つ任意時間のプレイバック画像の合成処理の詳細な手順を示したフローチャートである。
【図２５】図２５は、一定場所・視点で且つ任意時間のプレイバック画像の合成処理の詳細な手順を示したフローチャートである。
【図２６】図２６は、任意場所・視点で且つ任意時間のリアルタイム画像の合成処理の詳細な手順を示したフローチャートである。
【図２７】図２７は、任意場所・視点で且つ任意時間のリアルタイム画像の合成処理の詳細な手順を示したフローチャートである。
【発明を実施するための形態】
【００２５】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００２６】
スマートフォンなどの携帯電話やタブレット端末、電子書籍、携帯型音楽プレイヤーといった、ユーザーが外出先に持ち運んで使用できる小型の情報機器が広く浸透している。また最近では、頭部や腕部など、ユーザーの身体の一部に装着して用いられる情報機器も増えてきている。例えば、ヘッド・マウント・ディスプレイや、リストバンド型デバイスなどである。
【００２７】
この種の情報機器は、基本的に、映像コンテンツや音響コンテンツなど情報の再生機能を装備しており、あらかじめ保存しておいた動画やその場で撮影した動画を撮影した動画の再生や、ネットワーク経由での動画再生（リアルタイム、ストリーミングを含む）を行なうことができる。さらに、これらの再生動画に対して、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）情報を付与することもできる。
【００２８】
また、この種の情報機器では、既製コンテンツや任意ではない場所で撮影された動画を視聴することが想定される。例えば、情報機器を携えたユーザーがある場所を訪ねて、そこでの過去の様子を見たいとする。しかしながら、視聴が可能な場所やコンテンツはごく限られたものとなる。また、高速再生してみたい画面を迅速に見つけるには、パーソナル・コンピューター（ＰＣ）によりコンテンツを加工することが必要であったり、専用再生機が必要であったりする。さらに、推測された未来についての提示も、限られた情報からあらかじめ生成されたコンテンツに限られる。要するに、コンテンツの視聴は時間的及び空間的な制約がある。従来、任意の視点で任意の時間に対する推測はほぼなされていない。
【００２９】
これに対し、本明細書で開示する技術は、ヘッド・マウント・ディスプレイ、あるいはディスプレイを備えた携帯型情報機器を利用したコンテンツ視聴システムにおいて、時間的又は空間的な制約のない、すなわち、任意の場所での任意の時点の画像、音声、環境情報のうち１つ又は２以上の組み合わせを再現するものである。したがって、ユーザーは、疑似的に、時間的又は空間的、若しくは、時間的及び空間的な移動を体験することができる。
【００３０】
また、本明細書で開示する技術を利用したコンテンツ視聴システムは、必要に応じて所望の時刻まで追いかけ再生を行なう機能を提供する。これにより、ユーザーは、ある時点における情報の見逃しをなくすことができる。さらに、本明細書で開示する技術は、必要に応じて現状復帰を実現したり、複数情報を組み合わせた情報を提示したりすることにより、ユーザーに情報を効果的に提示することができる。ユーザーは、状況への理解を深めたり、任意の時点及び任意の位置・姿勢を体験したりすることができることにより、その場、その時刻に居合わせていなくても、その場の様子を知ることが可能である。また、本明細書で開示する技術によれば、任意の時点又は任意の場所における現実の情報と仮想の情報とをシームレスに接続することで、仮想空間と現実空間を、没入感を阻害することなく提示することができる。
【００３１】
図１には、本明細書で開示する技術の一実施形態に係る情報再生システム１００の構成を模式的に示している。図示の情報再生システム１００は、ユーザー間で共有しユーザーに提示する情報の記録機能を有する１以上の情報機器１０１、１０２、…、１０ｎと、情報機器１０１、１０２、…、１０ｎで記録された情報を保存する１以上のデータベース１１１、１１２、…、１１ｊと、情報機器１０１、１０２、…、１０ｎで記録された情報に対して演算処理を行なう演算装置１２０と、演算装置１２０で演算処理した後の情報を保存する１以上のデータベース１３１、１３２、…、１３ｋと、記録された画像や音、又は環境情報を再生してユーザーに提示する１以上の情報機器１４１、１４２、…、１４ｍで構成される。
【００３２】
情報機器１０１、１０２、…、１０ｎと、データベース１１１、１１２、…、１１ｊと、演算装置１２０と、データベース１３１、１３２、…、１３ｋと、情報機器１４１、１４２、…、１４ｍは、無線又は有線のネットワーク１５０を介して相互接続されているものとする。
【００３３】
ユーザー間で共有しユーザーに提示する情報の記録を行なう情報機器１０１、１０２、…、１０ｎは、例えば、ユーザーが頭部又は顔部に装着する画像表示装置（ヘッド・マウント・ディスプレイ）や、監視カメラ、携帯電話、タブレット端末、電子書籍、携帯撮像機器などであり、ヘッド・マウント・ディスプレイを装着したユーザーが移動した場所や、監視カメラの設置場所、ユーザーが居る場所などで、さまざまな時間又はさまざまな場所で録画や録音など情報の記録を行なう。
【００３４】
ユーザー間で共有しユーザーに提示する情報の記録を行なう情報機器１０１、１０２、…、１０ｎは、さまざまな時間又はさまざまな場所で録画や録音した、ユーザーに提示する情報の記録を行なう。また、情報機器１０１、１０２、…、１０ｎは、位置・姿勢情報や時刻、環境情報などを取得するための各種センサーを装備している。そして、情報機器１０１、１０２、…、１０ｎは、録画や録音した記録情報を、記録時における当該機器の位置姿勢情報（例えば、撮影する視線の情報など）や時刻、記録時における当該機器の環境情報などのセンサー情報とともに、ネットワーク１５０経由で送出し、データベース１１１、１１２、…、１１ｊのいずれかに保存する。
【００３５】
データベース１１１、１１２、…、１１ｊに保存された画像又は音声の情報は、ネットワーク１５０上で共有される。画像や音声の記録情報に付与されるセンサー情報は、情報機器１０１、１０２、…、１０ｎが記録するときの位置・姿勢情報と時刻情報を基本とする。これら以外のセンサー情報として、記録時における照度、温度、湿度、加速度、紫外線強度、化学物質（濃度・種類・状態など）などの環境情報を記録情報に付与してもよい。
【００３６】
なお、画像や音声などの記録情報に対して位置・姿勢情報、時刻、環境情報の付与を処理するタイミングは、情報機器１０１、１０２、…、１０ｎからデータベース１１１、１１２、…、１１ｊに送信する際であっても、データベース１１１、１１２、…、１１ｊに送信した後であってもよい。
【００３７】
また、情報機器１０１、１０２、…、１０ｎは、画像や音声の記録に際して、ブレ補正を行なうことで、後続の視聴時における画像、音声の再生精度（すなわち、画像再現性、音再現性、位置・姿勢再現性）を高めることができる。ブレ補正機能として、以下を適用することができる。
【００３８】
（１）記録を行なう情報機器１０１、１０２、…、１０ｎ自身における録画、録音機能周辺の機械的振動補正機構
（２）記録を行なう情報機器１０１、１０２、…、１０ｎ自身のセンサー又は画像や音の周期的な変化の検出に基づく自動ブレ補正
（３）記録を行なう他の情報機器でとらえた補正対象の画像又は音の周期的な変化の検出による自動ブレ補正
【００３９】
演算装置１２０は、各情報機器１０１、１０２、…、１０ｎで録画や録音された記録情報を、記録時におけるセンサー情報に基づいて加工する。例えば、演算装置１２０は、各情報機器１０１、１０２、…、１０ｎで、異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での現実の情報を再現するための演算処理を行なう。演算処理後の情報は、データベース１３１、１３２、…、１３ｋのいずれかに保存される。また、演算装置１２０は、データベース１１１、１１２、…、１１ｊのいずれかに保存されている任意の時点又は任意の場所での現実の情報から架空の情報へシームレスに接続するための演算処理や、逆に架空の情報から現実の情報へシームレスに接続するための演算処理を行なう。演算処理後の情報は、データベース１３１、１３２、…、１３ｋのいずれかに保存する。
【００４０】
記録された画像や音、又は環境情報を再生してユーザーに提示する情報機器１４１、１４２、…、１４ｍは、例えば、ユーザーが頭部又は顔部に装着する画像表示装置（ヘッド・マウント・ディスプレイ）や、スマートフォンなどの携帯電話やタブレット端末、電子書籍、携帯型音楽プレイヤー、携帯撮像機器といった、パーソナルユースの情報機器である。情報機器１４１、１４２、…、１４ｍは、ユーザーが携行して用いて、演算装置１２０で再現された情報の再生を行なう。
【００４１】
データベース１１１、１１２、…、１１ｊ、並びに、データベース１３１、１３２、…、１３ｋに保存された情報は、ユーザー間で共有される。情報機器１４１、１４２、…、１４ｍは、データベース１１１、１１２、…、１１ｊ、又は、データベース１３１、１３２、…、１３ｋに保存された情報を読み込むと、再生出力して、ユーザーに提示する。情報機器１４１、１４２、…、１４ｍがデータベース１３１、１３２、…から読み出した情報を再生出力する場合、任意の時点又は任意の場所で再現された情報としてユーザーに提示することができる。例えば、情報機器１４１、１４２、…、１４ｍは、ユーザーの現在の位置や姿勢、環境情報などのセンサー情報とともに情報の再生を要求すると、センサー情報に基づいて再現された情報（例えば、ユーザーの現在位置における現在の視線方向で眺める画像に再構成された情報）、あるいは、センサー情報に基づいて現実の情報からシームレスに接続された架空の情報を、データベース１３１、１３２、…、１３ｋのいずれかから取得して、ユーザーに提示する。
【００４２】
なお、情報機器１０１、１０２、…、１０ｎと、データベース１１１、１１２、…と、演算装置１２０と、データベース１３１、１３２、…と、情報機器１４１、１４２、…のうち２以上の機能を、物理的に１台の装置上に搭載することも想定される。
【００４３】
図１に示した情報再生システム１００では、演算装置１２０は、視聴側である情報機器１４１、１４２、…、１４ｍがいる場所からの視点における任意の時点の画像、音声、又は環境情報を生成する。任意の時点とは、現在からさかのぼる時間と、先に進む時間の双方を含む。したがって、情報機器１４１、１４２、…、１４ｍ側では、任意の時刻におけるその場の様子を再生することが可能である。
【００４４】
演算装置１２０が生成する画像や音声などの情報は、視聴希望視点の位置・姿勢情報及び時間（いつの時刻あるいはどの程度の時間をさかのぼるか、あるいは先に進むかを示す量）を基本とするが、これ以外にも、画像や音についての希望再生品質の設定情報、他には、照度、温度、湿度、加速度、紫外線強度、化学物質（濃度・種類・状態など）などの、情報機器本体に搭載されたセンサーや情報機器の外部に設置されたセンサーにより測定された環境情報に基づいて生成されるシステム制御情報であってもよい。
【００４５】
現在、又は現在に近いタイミングの位置・姿勢、時刻について、情報機器１４１、１４２、…、１４ｍ側で視聴するために演算装置１２０で生成する情報を、情報機器１０１、１０２、…、１０ｎで録画・録音するのと同じ方法で生成することも可能である。すなわち、機器に装備され又は外付けされたセンサー部によるセンサー情報（ＧＰＳ、地磁気、加速度センサー、画像、音声）からパターン認識などにより生成することも可能である。
【００４６】
情報機器１４１、１４２、…、１４ｍ側で視聴を希望する視点位置・姿勢、時間については、ユーザーが任意に設定してもよいし、あらかじめ決められた条件に従って自動設定を行なうようにしてもよい。例えば、ある設定をしておけば、ユーザーはその都度設定する必要はなく、ユーザーが向けた視線に応じて、その位置、姿勢且つあらかじめ設定された戻り時間又は進み時間に合わせた画像と音が再生されるように処理する。
【００４７】
録画、録音された過去の画像及び過去の音声の再構成は、ネットワーク１５０上の演算装置１２０で行なう以外に、録画、録音を行なった情報機器１０１、１０２、…、１０ｎで行なうようにしてもよいし、あるいは再生すなわちユーザーが視聴を行なう情報機器１４１、１４２、…、１４ｍで行なうようにしてもよい。いずれの機器で画像や音を再構成するにせよ、画像と音、位置・姿勢情報をストアする領域を機器が直接備えているか、又はデータベースを利用してもよい。
【００４８】
既に述べたように、データベース１１１、１１２、…、１１ｊに保存された画像又は音声の情報には、位置・姿勢情報と時刻情報を付与しておく。一方、視聴側の情報機器１４１、１４２、…、１４ｍは、一定間隔で、あるいは、視聴というイベントが発生した際若しくは視聴というイベントが発生することを予測した上で事前に、自身の（すなわち、ユーザーが視聴する）位置・姿勢情報を、ネットワーク１５０上の演算装置１２０に送信する。そして、演算装置１２０は、データベース１１１、１１２、…、１１ｊに保存された画像又は音声の情報を利用して、受信した位置・姿勢情報に対応する画像や音声を再構成して、視聴側の情報機器１４１、１４２、…、１４ｍに送信する。
【００４９】
また、過去の画像や音をプレイバックするのではなく、未来の画像や音を提示する場合には、演算装置１２０は、データベース１１１、１１２、…、１１ｊに保存された画像又は音声の情報を利用して、例えば、ある時点とある時点間の差分より未来の画像や音声を推測して、視聴側の情報機器１４１、１４２、…、１４ｍに送信する。
【００５０】
視聴側の情報機器１４１、１４２、…、１４ｍは、時刻の過去へのさかのぼり量又は未来への進み量を、あらかじめ設定し、又は視聴時に任意に設定すると、このような時刻の情報をネットワーク１５０上の演算装置１２０に送信する。この時刻については、例えば、視聴側の情報機器１４１、１４２、…、１４ｍ又は記録側の情報機器１０１、１０２、…、１０ｎで、記録されている画像や音のあらかじめある１つの時点又は複数の時点についてマークを付けることを許容し、マークされた時点を再生ポイントとすることが可能であるとする。このマークについても、任意の時点に設定できるようにしてもよいし、あるいは視聴側の情報機器１４１、１４２、…、１４ｍ又は記録側の情報機器１０１、１０２、…、１０ｎであらかじめ設定し又は設定そのものを自動化し、その設定に合ったポイントの時刻に自動的にマークを付けるようにしてもよい。
【００５１】
自動的にマークを付ける時刻の生成方法としては、録画・録音された画像、音声を解析して、目的に合わせてリスト化することが考えられる。例えば、録画・録音された画像、音声を解析して変化点を検出すると、変化点を示す情報として録画・録音情報より最も画像、音場内構成要素に状態遷移が見られたポイントを抽出する方法が挙げられる。重要なポイントとして、最も構成音源が多いとき、又は、音源の強度が強いとき、音源の音域が高音側に多いとき、などのような時刻リストを作成しておき、目的に応じて自動的にマークを行なう。なお、リスト化せずに、あらかじめ目的を絞って、特定の状態を抽出のみを行なうようにしてもよい。
【００５２】
演算装置１２０は、視聴側の情報機器１４１、１４２、…、１４ｍから送られてきた位置情報周辺及び当該時刻周辺の画像、音声のデータを、視聴側の情報機器１４１、１４２、…、１４ｍからロードする。そして、演算装置１２０内では、位置情報、姿勢情報に基づいて、視聴視点での画像、音声を再構築する。そして、視聴側の情報機器１４１、１４２、…、１４ｍは、再構成された画像、音声を、ネットワーク１５０を通じて内部メモリーにロードしつつ再生する。このようにして、視聴側の情報機器１４１、１４２、…、１４ｍでは、その場における任意の時点における画像、音声を視聴することが可能となる。
【００５３】
なお、図１に示した情報再生システム１００の構成例では、情報機器１４１、１４２、…、１４ｍで視聴する画像、音声の再構成は、単一の演算装置１２０で実施されるように構成されているが、再構成のための一連の処理を複数の装置に分散して行なうようにしても構わない。
【００５４】
上述したように、本実施形態に係る情報再生システム１００では、録画・録音機能を持つ情報機器１０１、１０２、…、１０ｎを携行するユーザーがいる場所又は情報機器１０１、１０２、…、１０ｎの設置場所であれば、過去の画像、音声の情報にアクセスすることが可能となる。したがって、視聴側の情報機器１４１、１４２、…、１４ｍでは、多視聴点の画像、音声を視聴できることに加え、広範囲の場所でのその場の視聴点での過去の様子を視聴することが可能となる。さらに、撮影された動画について高速再生技術（例えば、特許文献２を参照のこと）を適用することにより、過去のその場の様子を確認しながら、現時点の状況へと復帰することが可能である。
【００５５】
時間的又は空間的な制約なしに任意の時点での任意の場所の情報を再生する情報再生システム１００の変形例として、記録側の情報機器１０１、１０２、…、１０ｎで実際に記録した現実の画像、音声の情報ではなく、実際の記録情報を基にして生成した架空の情報を提示することも考えられる。この場合、演算装置１２０は、現実のある時点、ある位置・姿勢における現実の画像から演算を経て、架空の構成を生成し、架空の光景と現実の光景を違和感なく組み合わせるようにする。具体的には、時間的又は空間的、あるいは、時間的及び空間的に架空の光景から徐々に現実の光景にするなどの処理により、現実空間と仮想空間の間の移動を、ユーザーに違和感なく行ない、より深い没入感を与えることが可能になる。
【００５６】
視聴側の情報機器１４１、１４２、…、１４ｍでは、時間別、位置・姿勢別の視点の表示を全画面で表示してもよい。あるいは、現在ビューを、過去、未来、別の位置・姿勢の視点からのビューのいずれか１つ又は２以上と組み合わせて、並列に表示してもよい。また、現在ビューを、過去、未来、別の位置・姿勢の視点からのビューのいずれか１つ又は２以上の組み合わせを重畳して表示してもよい。
【００５７】
また、視聴側の情報機器１４１、１４２、…、１４ｍでは、画像の提示に限らず、音やその他のセンサー情報を提示する際にも、同様に、現在の情報を過去、未来、別の位置・姿勢における１又は２以上の情報と組み合わせて提示するようにしてもよい。例えば、ある視点で見える画像に、その視点で録音されたのではない音像を敢えて組み合わせてもよい。逆に、その視点で録音された音像に、別の視点で見える画像を組み合わせてもよい。また、ある時点に対して、その前後に録音された音像を敢えて組み合わせて提示してもよい。
【００５８】
情報機器１０１、１０２、…、１０ｎで記録された情報を保存する１以上のデータベース１１１、１１２、…や、演算装置１２０で演算処理した後の情報を保存する１以上のデータベース１３１、１３２、…は、専用のデータベース・サーバーでもよいし、動画共有サイトのサーバーを活用してもよい。例えば、記録側の情報機器１０１、１０２、…、１０ｎは、記録した画像や音の情報を、位置・姿勢、時間やその他のセンサー情報とともに、動画共有サイトのサーバーにアップロードする。また、演算装置１２０は、動画共有サイトのサーバーから、位置・姿勢、時間情報などに基づいて動画共有サイトのサーバーから所望する画像や音の情報を取得すると、演算処理を行ない、生成した画像や音の情報を視聴側の情報機器１４１、１４２、…、１４ｍにローディングしたり動画共有サイトのサーバーにアップロードしたりする。
【００５９】
本実施形態では、位置・姿勢、時間情報がセットされていない画像や音の情報であっても、位置・姿勢、時間情報の生成タイミングを限っていない。演算装置１２０は、画像、音場内の画像と音から画像認識技術を用いてその位置、姿勢、時間を推定し、記録時における位置、姿勢、時間情報として抽出し、データベース１１１、１１２、…、１１ｊに記録されている画像、音声に付与してもよい。この方法によれば、記録側の情報機器１０１、１０２、…、１０ｎで記録したのではない、以前から動画共有サイトのサーバーに蓄積されていた既存の画像や音の情報であっても、位置、姿勢、時間情報を推定して付与することで、情報再生システム１００で利用することが可能となる。
【００６０】
なお、動画共有サイトの中には、他のユーザーが入力し又は自動入力されたコメントや、その他の入力情報を画像中に書き込むサービスを提供するものもある（例えば、特許文献３を参照のこと）。画像中に書き込まれるコメントは、主に注釈や解説、論評、批評、意見などである。上述したように、動画共有サイトのサーバーにアップロードされている既存の画像を情報再生システム１００で利用する場合、演算装置１２０で画像や音の情報を演算し、あるいは視聴側の情報機器１４１、１４２、…、１４ｍにローディングする際に、これらの入力情報を画像や音に反映してもよい。例えば、演算装置１２０は、動画中でユーザーからのコメントの書き込みが多い視聴点を推奨再生視聴点として抽出して、再生側の情報機器１４１、１４２、…、１４ｍにフィードバックするような、推薦機能を実現することができる。
【００６１】
また、記録側の情報機器１０１、１０２、…、１０ｎから録画、録音した画像、音声を動画共有サイトにアップロードする際に、コメントやその他の情報を入力するようにしてもよい。この入力情報も、動画共有サイトでユーザー入力又は自動入力により入力されたコメントやその他の入力情報と同様の処理対象としてよい。
【００６２】
図２には、ユーザーに提示する情報を記録する情報機器１０１の内部構成例を示している。情報を記録する他の情報機器１０２、１０３、…、１０ｎも同様の構成であると理解されたい。同図では、情報機器１０１に必須の構成要素を実線で、任意の構成要素を点線で、少なくとも１つを備えるべき構成要素を一点鎖線で、それぞれ描いている。
【００６３】
情報機器１０１は、演算部２０１、主記憶部２０２、ユーザー入力部２０３というコンピューターの基本構成要素の他に、記録する情報を入力する情報入力部２０４を必須の構成要素として備えている。また、情報機器１０１は、任意の構成要素として、記録された情報を再生出力してユーザーに提示する情報出力部２０５を備えていてもよい。情報入力部２０４並びに情報出力部２０５の詳細については後述に譲る。
【００６４】
さらに、情報機器１０１は、コンピューターの任意の構成要素として、外部記憶装置２０６又は通信部２０７を備えている。外部記憶装置２０６は、ハード・ディスク・ドライブのような大容量の記憶装置で構成され、例えばデータベース１１１又は１３１として、記録した情報を保存するために使用することができる。また、通信部２０７は、例えば有線又は無線のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）インターフェースで構成され、ネットワーク１５０経由で外部機器と接続するために使用される。ここで言う外部機器には、データベース１１１、１１２、…、１１ｊや、演算装置１２０、データベース１３１、１３２、…、１３ｋ、情報機器１４１、１４２、…、１４ｍが挙げられる。情報入力部２０４で入力した情報を記録してユーザーに提示するために、情報機器１０１は、外部記憶装置２０６又は通信部２０７のうち少なくとも一方を備えている必要がある。情報入力部２０４や情報出力部２０５は、バッファー２０８を介して外部記憶装置２０６又は通信部２０７に接続されている。
【００６５】
図３には、記録する情報を入力する情報入力部２０４の内部構成例を示している。図示の例では、情報入力部２０４は、ユーザーに提示する情報を入力する提示情報入力部３０１と、記録時における当該機器の位置姿勢情報を検出する位置姿勢検出部３０２と、記録時における当該機器が置かれた環境を検出する環境検出部３０３を備えている。情報入力部２０４は、提示情報入力部３０１、位置姿勢検出部３０２、環境検出部３０３のうち少なくとも１つを装備しており、図３では、これらの構成要素３０１〜３０３を一点鎖線で描いている。
【００６６】
提示情報入力部３０１は、録画する画像を入力するための撮像素子３１１、録音する音声を入力するためのマイクロフォン３１２、文字列を入力するためのテキスト入力部３１３、ジェスチャーなどのモーションを入力するためのモーション入力部３１４、匂い入力部３１５、触覚入力部３１６、味覚入力部３１７のうち少なくとも１つを装備しており、画像、音声、文字情報、モーション、匂い、触覚、味覚のうち少なくとも１つを他のユーザーに提示し又は共有する提示情報として入力する。図３では、これらの構成要素３１１〜３１６を一点鎖線で描いている。
【００６７】
位置姿勢検出部３０２は、当該情報機器１０１の位置や姿勢を検出すべく、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）３２１、地磁気センサー３２２、加速度センサー３２３、ドップラー・センサー３２４、電波強度センサー３２５のうち少なくとも１つを備えている。図３では、これらの構成要素３２１〜３２５を一点鎖線で描いている。
【００６８】
なお、位置姿勢検出部３０２を構成するセンサーのうち少なくとも一部は、情報入力部２０４内（すなわち情報機器内）ではなく、外部に設置されることも想定される。また、上記のセンサーの検出結果からではなく、提示情報入力部３０１で入力された画像又は音声のパターン認識などにより、位置や姿勢などの情報を生成することもできる。
【００６９】
環境検出部３０３は、当該情報機器１０１を取り巻く環境を検出すべく、温度センサー３３１、湿度センサー３３２、赤外線センサー３３３、紫外線センサー３３４、照度センサー３３５、電波強度センサー３３６、化学物質（濃度・種類・状態）センサー３３７などの環境センサーのうち少なくとも１つを備えている。図３では、これらの構成要素３３１〜３３７を一点鎖線で描いている。
【００７０】
なお、環境検出部３０３を構成する環境センサーのうち少なくとも一部は、情報入力部２０４内（すなわち情報機器内）ではなく、外部に設置されることも想定される。
【００７１】
図４には、記録された情報をユーザーに提示する情報機器１４１の内部構成例を示している。情報を提示する他の情報機器１４２、１４３、…、１４３ｍも同様の構成であると理解されたい。同図では、図２に示したものと同じ構成要素には同じ参照番号を付している。また、情報機器１４１の必須の構成要素を実線で、任意の構成要素を点線で、少なくとも１つを備えるべき構成要素を一点鎖線で、それぞれ描いている。
【００７２】
情報機器１４１は、演算部２０１、主記憶部２０２、ユーザー入力部２０３というコンピューターの基本構成要素の他に、記録された情報を再生出力してユーザーに提示する情報出力部２０５を必須の構成要素として備えている。また、情報機器１４１は、任意の構成要素として、記録する情報を入力する情報入力部２０４を備えていてもよい。情報入力部２０４は、図３を参照しながら説明した通りである。また、情報出力部２０５の詳細については後述に譲る。
【００７３】
さらに、情報機器１４１は、コンピューターの任意の構成要素として、外部記憶装置２０６又は通信部２０７を備えている。外部記憶装置２０６は、ハード・ディスク・ドライブのような大容量の記憶装置で構成され、例えばデータベース１１１又は１３１として、記録した情報を読み出すために使用することができる。また、通信部２０７は、例えば有線又は無線のＬＡＮインターフェースで構成され、ネットワーク１５０経由で外部機器と接続するために使用される。ここで言う外部機器には、情報機器１０１、１０２、…、１０ｎや、データベース１１１、１１２、…、１１ｊ、演算装置１２０、データベース１３１、１３２、…、１３ｋが挙げられる。記録された情報を再生してユーザーに提示するために、情報機器１４１は、外部記憶装置２０６又は通信部２０７のうち少なくとも一方を備えている必要がある。情報入力部２０４や情報出力部２０５は、バッファー２０８を介して外部記憶装置２０６又は通信部２０７に接続されている。
【００７４】
図５には、記録された情報を再生出力してユーザーに提示する情報出力部２０５の内部構成例を示している。図示の例では、情報出力部２０５は、提示情報を表示する液晶ディスプレイ５０１、有機ＥＬディスプレイ５０２、網膜直描ディスプレイ５０３、提示情報を音声出力するスピーカー５０４、提示情報を触覚出力する触覚ディスプレイ５０５、提示情報の匂い成分を出力する匂いディスプレイ５０６、提示情報の温度成分を出力する温度ディスプレイ５０７、味覚を提示する味覚ディスプレイ５０８、又は各感覚器及び脳への電気・物理刺激による（電気・物理刺激）ディスプレイ５０９のうち少なくとも１つを装備している。図５では、これらの構成要素５０１〜５０９を一点鎖線で描いている。
【００７５】
また、図６には、記録する情報の入力、情報の記録、並びに、記録された情報の再生出力をすべてスタンドアロンで行なう情報機器６００の内部構成例を示している。情報機器６００は、情報機器１０１と情報機器１４１の機能をともに備えている。同図では、図２に示したものと同じ構成要素には同じ参照番号を付している。また、必須の構成要素を実線で、任意の構成要素を点線で、少なくとも１つを備えるべき構成要素を一点鎖線で、それぞれ描いている。
【００７６】
情報機器１４１は、演算部２０１、主記憶部２０２、ユーザー入力部２０３というコンピューターの基本構成要素の他に、記録する情報を入力する情報入力部２０４と、記録された情報を再生出力してユーザーに提示する情報出力部２０５を、必須の構成要素として備えている。情報入力部２０４は、図３を参照しながら説明した通りである。また、情報出力部２０５は、図５を参照しながら説明した通りである。
【００７７】
演算部２０１は、例えば所定のアプリケーションを実行して、演算装置１２０と同様の処理を実施する。すなわち、情報入力部２０４内の提示情報入力部３０１に入力された情報を、入力時における位置姿勢検出部３０２や環境検出部３０３などのセンサー情報に基づいて加工する。
【００７８】
例えば、演算部２０１は、任意の時間又は任意の場所で録画又は録音された情報から、時間又は場所が異なる現実の情報を再現するための演算処理を行なう。演算処理後の情報は、情報機器６００内の外部記憶装置２０６で保存されるか、又は、通信部２０７を介してネットワーク１５０上のデータベース１３１、１３２、…、１３ｋのいずれかに保存される。また、演算部２０１は、外部記憶装置２０６（又は、データベース１１１、１１２、…、１１ｊのいずれか）に保存されている任意の時点又は任意の場所での現実の情報から架空の情報へシームレスに接続するための演算処理や、逆に架空の情報から現実の情報へシームレスに接続するための演算処理を行なう。
【００７９】
さらに、情報機器６００は、コンピューターの任意の構成要素として、外部記憶装置２０６又は通信部２０７を備えている。外部記憶装置２０６は、ハード・ディスク・ドライブのような大容量の記憶装置で構成され、例えばデータベース１１１又は１３１として、記録した情報を読み出すために使用することができる。また、通信部２０７は、例えば有線又は無線のＬＡＮインターフェースで構成され、ネットワーク１５０経由で外部機器と接続するために使用される。ここで言う外部機器には、情報機器１０１、１０２、…、１０ｎや、データベース１１１、１１２、…、１１ｊ、演算装置１２０、データベース１３１、１３２、…、１３ｋが挙げられる。記録された情報を再生してユーザーに提示するために、情報機器１０１は、外部記憶装置２０６又は通信部２０７のうち少なくとも一方を備えている必要がある。情報入力部２０４や情報出力部２０５は、バッファー２０８を介して外部記憶装置２０６又は通信部２０７に接続されている。
【００８０】
図７乃至図１０には、記録側の情報機器１０１、１０２、…、１０ｎが実行する基本処理例をフローチャートの形式で示している。
【００８１】
情報機器１０１は、記録処理を行なうと、まず、画像の録画又は音声の録音の任意視点・時間機能への利用を許可するかどうかをチェックする（Ｓ７０１）。
【００８２】
画像の録画又は音声の録音の任意視点・時間機能への利用を許可しない場合には（ステップＳ７０１のＮｏ）、情報機器１０１は、画像又は音声を、例えば画像機器内のプライベート用データ・フォルダーに保存して（ステップＳ７０２）、本処理ルーチンを終了する。
【００８３】
一方、画像の録画又は音声の録音の任意視点・時間機能への利用を許可する場合には（ステップＳ７０１のＹｅｓ）、情報機器１０１は、続いて、手動によるタグ付けを行なうかどうかをチェックする（ステップＳ７０３）。
【００８４】
手動によるタグ付けを行なう場合（ステップＳ７０３のＹｅｓ）、ユーザーによる設定を行なう（ステップＳ７０４）。
【００８５】
手動によるタグ付けを行なわない場合（ステップＳ７０３のＮｏ）、タグの抽出を行なうかどうかをチェックする（ステップＳ７０５）。そして、タグの抽出を行なわない場合は（ステップＳ７０５のＮｏ）、固定値をロードする（ステップＳ７０６）。また、タグの抽出を行なう場合は（ステップＳ７０５のＹｅｓ）、自動設定して（ステップＳ７０７）、タグ付け条件を設定する（ステップＳ７０８）。
【００８６】
次いで、情報機器１０１は、画像、音声の記録モードを確認する（ステップＳ７０９）。例えば、以下に挙げる条件に従って、記録モードを判定する。
【００８７】
（１）●●に聞いておいて欲しい。
（２）構成物のエッジがある閾値以上。
（３）車のタイヤが磨り減っている。
（４）ブレーキを踏んだ。
（５）ハーフタイム（決められたタイミング：アジェンダ・プログラム）
（６）パワポが使われている。
（７）ある特定のキーワードが連呼されている。
（８）時計を見た。
（９）最頻キーワード。
【００８８】
第１の記録モードのとき、終了タイミング又は割り込みが発生すると（ステップＳ７１０のＹｅｓ）、記録対象状態並びに外部入力状態がステップＳ７０８で設定したタグ付け条件にほぼ等しくなると（ステップＳ７１１のＹｅｓ）、情報機器１０１は、画像、音声の記録とタグ付けを行なった後（ステップＳ７１２）、次のデータへ移動する（ステップＳ７１３）。
【００８９】
また、第２の記録モードのとき、終了タイミング又は割り込みが発生すると（ステップＳ７１４のＹｅｓ）、情報機器１０１は、画像、音声の記録を行なう（ステップＳ７１５）。そして、記録データのＥＯＦ（Ｅｎｄ  Ｏｆ  Ｆｉｌｅ）に到達すると（ステップＳ７１６のＹｅｓ）、記録対象状態並びに外部入力状態がステップＳ７０８で設定したタグ付け条件にほぼ等しくなると（ステップＳ７１７のＹｅｓ）、情報機器１０１は、画像、音声の記録とタグ付けを行なった後（ステップＳ７１８）、次のデータへ移動する（ステップＳ７２０）。
【００９０】
また、第３の記録モードのとき、終了タイミング又は割り込みが発生すると（ステップＳ７２１のＹｅｓ）、情報機器１０１は、画像、音声の記録を行なう（ステップＳ７２２）。そして、終了タイミング又は割り込みが発生すると（ステップＳ７２３のＹｅｓ）、記録対象状態並びに外部入力状態がステップＳ７０８で設定したタグ付け条件にほぼ等しくなると（ステップＳ７２４のＹｅｓ）、情報機器１０１は、画像、音声の記録とタグ付けを行なった後（ステップＳ７２５）、次のデータへ移動する（ステップＳ７２６）。
【００９１】
そして、情報機器１０１は、記録したデータを、データベース１１１、１１２、…、１１ｊに送信して、保存する（ステップＳ７１９）。
【００９２】
図１１乃至図１２には、演算装置１２０が視聴側の情報機器１４１、１４２、…、１４ｍで画像、音声を視聴するために実行する基本処理例をフローチャートの形式で示している。但し、この処理手順は、視聴側の各情報機器１４１、１４２、…、１４ｍで直接実行するようにしてもよい。
【００９３】
情報機器１４１は、再生処理を行なうと、まず、画像の録画又は音声の録音の任意視点・時間機能を使用するかどうかをチェックする（Ｓ１１０１）。
【００９４】
画像の録画又は音声の録音の任意視点・時間機能を使用しない場合（ステップＳ１１０１のＮｏ）、情報機器１４１は、リアルタイム像を表示する（ステップＳ１１０６）。そして、続いて処理がある場合は（ステップＳ１１１０のＹｅｓ）、ステップＳ１１０１に戻り、続いて処理がない場合は（ステップＳ１１１０のＮｏ）、本処理ルーチンを終了する。
【００９５】
一方、画像の録画又は音声の録音の任意視点・時間機能を使用する場合（ステップＳ１１０１のＹｅｓ）、情報機器１４１は、画像、音声を自動生成するかどうかをチェックする（ステップＳ１１０２）。
【００９６】
画像、音声を自動生成する場合（ステップＳ１１０２のＹｅｓ）、情報機器１４１は、視聴者趣向・意図、録画者趣向・意図、環境情報より目的生成像を自動決定する（ステップＳ１１０３）。すなわち再生内容を決定する。次いで、視聴者趣向・意図、録画者趣向・意図、環境情報より再生開始終了点タイミングを決定して、アイテムを抽出する（ステップＳ１１０４）。
【００９７】
また、画像、音声を自動生成しない場合（ステップＳ１１０２のＮｏ）、情報機器１４１は、視聴覚を希望する目的再生像を選択する（ステップＳ１１０７）。すなわち、再生内容を決定する。そして、再生開始終了点タイミングを決定して、アイテムを設定する（ステップＳ１１０８）。
【００９８】
次いで、関連ライブラリーがあるかどうかをチェックする（ステップＳ１１０５）。関連ライブラリーがない場合は、情報機器１４１は、新規ライブラリーを生成する（ステップＳ１１０９）。
【００９９】
次いで、ライブラリー内のタグ種類がタイミング決定アイテムの種類にほぼ等しいかどうかをチェックする（ステップＳ１１１１）。
【０１００】
ライブラリー内のタグ種類がタイミング決定アイテムの種類に等しくない場合（ステップＳ１１１１のＮｏ）、情報機器１４１は、新規タグの種類を生成する（ステップＳ１１１６）。また、ライブラリー内のタグ種類がタイミング決定アイテムの種類にほぼ等しい場合（ステップＳ１１１１のＹｅｓ）、情報機器１４１は、再生タグとライブラリー中のデータの一致性が所定閾値内であるかどうかをさらにチェックする（ステップＳ１１１２）。再生タグとライブラリー中のデータの一致性が所定閾値内でない場合（ステップＳ１１１２のＮｏ）、情報機器１４１は、合成画像を生成する（ステップＳ１１１７）。
【０１０１】
次いで、情報機器１４１は、再生及び表示表現の内容をバッファーへトスする（ステップＳ１１１３）。次いで、所望の生成画像を出力する（ステップＳ１１１４）。そして、続いて処理がある場合は（ステップＳ１１１５のＹｅｓ）、ステップＳ１１０１に戻って、情報機器１４１は、上述した処理を繰り返し実行する。また、続いて処理がない場合は（ステップＳ１１１５のＮｏ）、本処理ルーチンを終了する。
【０１０２】
タグは、記録時において、誰かに聞いてもらいたいときに、ステップＳ７１２、Ｓ７１８、Ｓ７２８などにおいてタグ付けされる。タグ付け時には、キーワード登録、自動判定を行なう。タグには、脳波タグ、連呼されるキーワード・タグなどがある。映像から必要な場所にタグが付けられる。出発点をどこにするか、終着点をどこにするか、それぞれの決め方を検討する必要がある。また、タグ付けされた時点まで画像を再生（合成）する際、捏造を防止する機能が必要である。但し、合成処理の詳細については後述に譲る。また、タグには、ハイライト再生、標準速再生、倍速再生など、画像の再生方法などに関するメタ情報を付けることができる。その他のメタ情報を、以下に例示しておく。
【０１０３】
（１）音量変化
（２）音源変化
（３）手入力
（４）機器操作
（５）脳波レベル変化
（６）心理状態変化
（７）入退室
（８）登録キーワード出現
（９）視線注視
（１０）メガネを基点
（１１）視聴者／撮影者
【０１０４】
再生時に、再生タグとライブラリー中のデータの一致性が所定閾値内でない場合には（ステップＳ１１１２のＮｏ）、ステップＳ１１１７で合成画像を生成することで、再生タグの時点まで高速に追いつく。再生画像の合成処理は、捏造防止機能を備えており、単なる追いかけ再生とは異なる。
【０１０５】
画像の合成処理には、モーフィングやクロスセンシングなどの画像処理技術を利用して、ある人から別の人に変形していく、アニメ内のキャラクターから別のキャラクターに変更していくといった画像を合成する。仕様を異にする複数の画像、音声をどのように合成するかという課題もある。
【０１０６】
ＵＰ／Ｄｏｗｎ  ＣＯＮＶＥＲＴなど、再生の仕方も制御の対象である。例えば、流し見モードではＤＯＷＮにし、ズームではＵＰにする。警察の注目ポイントとして、詳細ならＵＰ、外観ならＤＯＷＮにする。また、再生物の視聴者毎に再生の仕方を制御する。
【０１０７】
再生画像、音声の生成方法のその他の留意点を以下に挙げておく。
【０１０８】
（１）動画共有サイトの表示方法を活用する。
（２）時計を見ている人が多い場面は、発表の面白さ、つまらなさを表す。
（３）地図サイトのように、縮尺に応じて提示する情報の粒度を制御する。
（４）視野角、解像度、車はこう来てこう動く。
（５）ある程度離れた未来を予測する。例えば、精度に対する要求があまり高くない天気のような情報を予測して、画像、音声の再生に利用する。
（６）時間的な多視点画像の表示の仕方（小窓、重ね合わせなど）
（７）実写した画像を利用して仮想表示する。例えば、車載端末やウェアラブル端末など、端末の種類に応じて画像の合成方法を変更する。
【０１０９】
図１３乃至図１５には、図１１乃至図１２で示したフローチャートのステップＳ１１１７で実行される、合成画像を生成する処理手順をフローチャートの形式で示している。
【０１１０】
再生像の生成に必要な情報がある場合には（ステップＳ１３０１のＹｅｓ）、情報機器１４１は、このような情報を取得する（ステップＳ１３０４）。
【０１１１】
次いで、情報機器１４１は、視聴側の情報機器のユーザーが視聴を希望する生成像が現実の画像のみかどうかをチェックする（ステップＳ１３０２）。
【０１１２】
ここで、ユーザーが視聴を希望する生成像が現実の画像のみでない場合には（ステップＳ１３０２のＮｏ）、情報機器１４１は、仮想空間画像の合成処理を実行する（ステップＳ１３０５）。仮想空間画像の合成処理の詳細については、後述に譲る。そして、合成した空間画像を他の合成方法と組み合わせない場合には（ステップＳ１３０６のＮｏ）、ステップＳ１３１７に進んで、情報機器１４１は、生成像の出力を行なう。
【０１１３】
ユーザーが視聴覚を希望する生成像が現実の画像のみである場合には（ステップＳ１３０２のＹｅｓ）、並びに、仮想空間画像を他の合成方法と組み合わせる場合には（ステップＳ１３０６のＹｅｓ）、情報機器１４１は、続いて、生成像と現実像の時間差分が閾値以上かどうかをチェックする（ステップＳ１３０３）。
【０１１４】
生成像と現実像の時間差分が閾値以上である場合には（ステップＳ１３０３のＹｅｓ）、情報機器１４１は、続いて、ユーザーが視聴覚を希望する生成像が過去のものかどうかをチェックする（ステップｓ１３０７）。
【０１１５】
ユーザーが視聴覚を希望する生成像が過去のものでない場合には（ステップｓ１３０７のＮｏ）、情報機器１４１は、生成像と現実の空間差分が閾値以上かどうかをさらにチェックする（ステップＳ１３０８）。
【０１１６】
生成像と現実の空間差分が閾値以上である場合には（ステップＳ１３０８のＹｅｓ）、情報機器１４１は、任意場所・視点で且つ任意時間の推定未来画像の生成処理を行なう（ステップＳ１３１１）。任意場所・視点で且つ任意時間の推定未来画像の生成処理の詳細については、後述に譲る。
【０１１７】
また、生成像と現実の空間差分が閾値未満である場合には（ステップＳ１３０８のＮｏ）、情報機器１４１は、一定場所・視点で且つ任意時間の推定未来画像の生成処理を行なう（ステップＳ１３１２）。一定任意場所・視点で且つ任意時間の推定未来画像の生成処理の詳細については、後述に譲る。
【０１１８】
ユーザーが視聴覚を希望する生成像が過去のものである場合には（ステップｓ１３０７のＹｅｓ）、情報機器１４１は、生成像と現実の空間差分が閾値以上かどうかをさらにチェックする（ステップＳ１３０９）。
【０１１９】
生成像と現実の空間差分が閾値以上である場合には（ステップＳ１３０９のＹｅｓ）、情報機器１４１は、任意場所・視点で且つ任意時間のプレイバック画像の生成処理を行なう（ステップＳ１３１３）。任意場所・視点で且つ任意時間の画像のプレイバック生成処理の詳細については、後述に譲る。
【０１２０】
また、生成像と現実の空間差分が閾値未満である場合には（ステップＳ１３０９のＮｏ）、情報機器１４１は、一定場所・視点で且つ任意時間のプレイバック画像の生成処理を行なう（ステップＳ１３１４）。一定任意場所・視点で且つ任意時間のプレイバック画像の生成処理の詳細については、後述に譲る。
【０１２１】
一方、生成像と現実像の時間差分が閾値未満である場合には（ステップＳ１３０３のＮｏ）、情報機器１４１は、生成像と現実の空間差分が閾値以上かどうかをさらにチェックする（ステップＳ１３１０）。
【０１２２】
生成像と現実の空間差分が閾値以上である場合には（ステップＳ１３１０のＹｅｓ）、情報機器１４１は、任意場所・視点で且つ任意時間のリアルタイム画像の生成処理を行なう（ステップＳ１３１５）。任意場所・視点で且つ任意時間の画像のリアルタイム生成処理の詳細については、後述に譲る。
【０１２３】
また、生成像と現実の空間差分が閾値未満である場合には（ステップＳ１３１０のＮｏ）、情報機器１４１は、リアルタイム画像の生成処理を行なう（ステップＳ１３１６）。
【０１２４】
図１６乃至図１７には、図１３乃至図１５に示したフローチャート中のステップＳ１３０５で実行される仮想空間画像の合成処理の詳細な手順をフローチャートの形式で示している。
【０１２５】
情報機器１４１は、まず、再生の基点位置、視点、時間、ユーザーの趣向情報を設定する（ステップＳ１６０１）。
【０１２６】
次いで、情報機器１４１は、位置、視点、時間の変更速度を検出する（ステップＳ１６０２）。
【０１２７】
次いで、情報機器１４１は、位置、視点の移動に対応可能な演算速度を算出する（ステップＳ１６０３）。
【０１２８】
次いで、情報機器１４１は、再生の空間・時間精細度、並びに趣向許容範囲を設定する（ステップＳ１６０４）。
【０１２９】
次いで、情報機器１４１は、一演算単位空間又は時間、若しくは、空間及び時間の基点座標の像を単純化する（ステップＳ１６０５）。
【０１３０】
次いで、情報機器１４１は、遷移状態と特徴量を抽出する（ステップＳ１６０６）。
【０１３１】
そして、情報機器１４１は、推薦再生像を生成するのに十分なデータがあるかどうかをチェックする（ステップＳ１６０７）。
【０１３２】
推薦再生像を生成するのに十分なデータがない場合には（ステップＳ１６０７のＮｏ）、情報機器１４１は、単位ステップ分だけ空間及び時間の基点を移動して（ステップｓ１６１１）、ステップＳ１６０５に戻って、同様の処理を繰り返す。
【０１３３】
また、推薦再生像を生成するのに十分なデータがある場合には（ステップＳ１６０７のＹｅｓ）、情報機器１４１は、遷移状態、特徴量、趣向より、推薦再生像を生成する（ステップＳ１６０８）。
【０１３４】
次いで、情報機器１４１は、復帰点となる過去、現在、又は未来の再生像を合成する（ステップＳ１６０９）。但し、ステップＳ１６０９での合成処理は、ステップＳ１６１１〜Ｓ１６１５における合成処理よりも制度を下げて、演算負荷を低減した合成方法を適用するものとする。
【０１３５】
次いで、情報機器１４１は、位置・視点変更速度の変化が閾値以内かどうかをチェックする（ステップＳ１６１０）。
【０１３６】
位置・視点変更速度の変化が閾値を超える場合には（ステップＳ１６１０のＮｏ）、ステップＳ１６０３に戻って、上記と同様の処理を繰り返し実行する。
【０１３７】
また、位置・視点変更速度の変化が閾値以内である場合には（ステップＳ１６１０のＹｅｓ）、情報機器１４１は、仮想現実合成像の位置、視点、時間変更範囲の推定像の生成を完了したかどうかをチェックする（ステップＳ１６１２）。
【０１３８】
仮想現実合成像の位置、視点、時間変更範囲の推定像の生成を完了していない場合には（ステップＳ１６１２のＮｏ）、情報機器１４１は、精細度に合わせて空間又は時間、又はその両方のステップ分だけ基点を移動して（ステップＳ１６１３）、ステップＳ１６０４に戻って、上記と同様の処理を繰り返し実行する。
【０１３９】
一方、仮想現実合成像の位置、視点、時間変更範囲の推定像の生成を完了した場合には（ステップＳ１６１２のＹｅｓ）、情報機器１４１は、本処理ルーチンを終了する。
【０１４０】
図１８乃至図１９には、図１３乃至図１５に示したフローチャート中のステップＳ１３１１で実行される、任意場所・視点で且つ任意時間の推定未来画像の合成処理の詳細な手順をフローチャートの形式で示している。
【０１４１】
情報機器１４１は、まず、再生の基点位置、視点情報を設定する（ステップＳ１８０１）。
【０１４２】
次いで、情報機器１４１は、位置、視点の変更速度を検出する（ステップＳ１８０２）。
【０１４３】
次いで、情報機器１４１は、位置、視点の移動に対応可能な演算速度を算出する（ステップＳ１８０３）。
【０１４４】
次いで、情報機器１４１は、再生の空間・時間精細度を設定する（ステップＳ１８０４）。
【０１４５】
次いで、情報機器１４１は、一演算単位空間又は時間、若しくは、空間及び時間の基点座標に近い精細度の近しい過去記録像を検索する（ステップＳ１８０５）。
【０１４６】
そして、情報機器１４１は、検索された該当データの数が閾値以上かどうかをチェックする（ステップＳ１８０６）。ここで、該当データの数が閾値未満の場合には（ステップＳ１８０６のＮｏ）、情報機器１４１は、基点座標空間又は時間、又は空間及び時間、又は閾値を変更して（ステップＳ１８１１）、ステップＳ１８０５に戻って、過去記録画像の検索処理を繰り返し実行する。
【０１４７】
該当データの数が閾値以上の場合には（ステップＳ１８０６のＹｅｓ）、情報機器１４１は、単純化処理を行なう（ステップＳ１８０７）。
【０１４８】
次いで、情報機器１４１は、差分計算と遷移状態の抽出を行なう（ステップＳ１８０８）。
【０１４９】
次いで、情報機器１４１は、空間又は時間、又は空間時間精細度に合わせた未来像の状態遷移量を推定する（ステップＳ１８０９）。
【０１５０】
次いで、情報機器１４１は、単位処理における推定未来空間又は時間、又は空間及び時間再生像、又は再生像を生成し、又はポスト処理で再生像を生成でき得る遷移情報のみを生成する（ステップＳ１８１０）。
【０１５１】
次いで、情報機器１４１は、位置・視点変更速度の変化が閾値以内かどうかをチェックする（ステップＳ１８１２）。
【０１５２】
位置・視点変更速度の変化が閾値を超える場合には（ステップＳ１８１２のＮｏ）、ステップＳ１８０３に戻って、上記と同様の処理を繰り返し実行する。
【０１５３】
また、位置・視点変更速度の変化が閾値以内である場合には（ステップＳ１８１２のＹｅｓ）、情報機器１４１は、位置・視点変更範囲の推定像の生成が完了したかどうかをさらにチェックする（ステップＳ１８１３）。
【０１５４】
位置・視点変更範囲の推定像の生成が完了していない場合には（ステップＳ１８１３のＮｏ）、情報機器１４１は、精細度に合わせて空間又は時間、又はその両方のステップ分だけ基点を移動して（ステップＳ１８１４）、ステップＳ１８０４に戻って、上記と同様の処理を繰り返し実行する。
【０１５５】
また、位置・視点変更範囲の推定像の生成が完了した場合には（ステップＳ１８１３のＹｅｓ）、本処理ルーチンを終了する。
【０１５６】
図２０乃至図２１には、図１３乃至図１５に示したフローチャート中のステップＳ１３１２で実行される、一定場所・視点で且つ任意時間の推定未来画像の合成処理の詳細な手順をフローチャートの形式で示している。
【０１５７】
情報機器１４１は、まず、再生の位置、基点視点情報を設定する（ステップＳ２００１）。
【０１５８】
次いで、情報機器１４１は、視点の変更速度を検出する（ステップＳ２００２）。
【０１５９】
次いで、情報機器１４１は、視点の移動に対応可能な演算速度を算出する（ステップＳ２００３）。
【０１６０】
次いで、情報機器１４１は、再生の空間・時間精細度を設定する（ステップＳ２００４）。
【０１６１】
次いで、情報機器１４１は、一演算単位空間又は時間、若しくは、空間及び時間の基点座標に近い精細度の近しい過去記録像を検索する（ステップＳ２００５）。
【０１６２】
そして、情報機器１４１は、検索された該当データの数が閾値以上かどうかをチェックする（ステップＳ２００６）。ここで、該当データの数が閾値未満の場合には（ステップＳ２００６のＮｏ）、情報機器１４１は、基点座標空間又は時間、又は空間及び時間、又は閾値を変更して（ステップＳ２０１１）、ステップＳ２００５に戻って、過去記録画像の検索処理を繰り返し実行する。
【０１６３】
該当データの数が閾値以上の場合には（ステップＳ２００６のＹｅｓ）、情報機器１４１は、単純化処理を行なう（ステップＳ２００７）。
【０１６４】
次いで情報機器１４１は、差分計算と遷移状態の抽出を行なう（ステップＳ２００８）。
【０１６５】
次いで、情報機器１４１は、空間又は時間、又は空間時間精細度に合わせた未来像の状態遷移量を推定する（ステップＳ２００９）。
【０１６６】
次いで、情報機器１４１は、単位処理における推定未来空間又は時間、又は空間及び時間再生像、又は再生像を生成し、又はポスト処理で再生像を生成でき得る遷移情報のみを生成する（ステップＳ２０１０）。
【０１６７】
次いで、情報機器１４１は、視点変更速度の変化が閾値以内かどうかをチェックする（ステップＳ２０１２）。
【０１６８】
視点変更速度の変化が閾値を超える場合には（ステップＳ２０１２のＮｏ）、ステップＳ２００３に戻って、上記と同様の処理を繰り返し実行する。
【０１６９】
また、位置・視点変更速度の変化が閾値以内である場合には（ステップＳ２０１２のＹｅｓ）、情報機器１４１は、位置・視点変更範囲の推定像の生成が完了したかどうかをさらにチェックする（ステップＳ２０１３）。
【０１７０】
位置・視点変更範囲の推定像の生成が完了していない場合には（ステップＳ２０１３のＮｏ）、情報機器１４１は、精細度に合わせて空間又は時間、又はその両方のステップ分だけ基点を移動して（ステップＳ２０１４）、ステップＳ２００４に戻って、上記と同様の処理を繰り返し実行する。
【０１７１】
また、位置・視点変更範囲の推定像の生成が完了した場合には（ステップＳ２０１３のＹｅｓ）、本処理ルーチンを終了する。
【０１７２】
図２２乃至図２３には、図１３乃至図１５に示したフローチャート中のステップＳ１３１３で実行される、任意場所・視点で且つ任意時間のプレイバック画像の合成処理の詳細な手順をフローチャートの形式で示している。
【０１７３】
情報機器１４１は、まず、再生の基点位置、視点情報を設定する（ステップＳ２２０１）。
【０１７４】
次いで、情報機器１４１は、位置、視点の変更速度を検出する（ステップＳ２２０２）。
【０１７５】
次いで、情報機器１４１は、位置、視点の移動に対応可能な演算速度を算出する（ステップＳ２２０３）。
【０１７６】
次いで、情報機器１４１は、再生の空間・時間精細度を設定する（ステップＳ２２０４）。
【０１７７】
次いで、情報機器１４１は、一演算単位空間又は時間、若しくは、空間及び時間の基点座標に近い精細度の近しい過去記録像を検索する（ステップＳ２２０５）。
【０１７８】
そして、情報機器１４１は、検索された該当データの数が閾値以上かどうかをチェックする（ステップＳ２２０６）。ここで、該当データの数が閾値未満の場合には（ステップＳ２２０６のＮｏ）、情報機器１４１は、基点座標空間又は時間、又は空間及び時間、又は閾値を変更して（ステップＳ２２１１）、ステップＳ２２０５に戻って、過去記録画像の検索処理を繰り返し実行する。
【０１７９】
該当データの数が閾値以上の場合には（ステップＳ２２０６のＹｅｓ）、情報機器１４１は、単純化処理を行なう（ステップＳ２２０７）。
【０１８０】
次いで、情報機器１４１は、差分計算と遷移状態の抽出を行なう（ステップＳ２２０８）。
【０１８１】
次いで、情報機器１４１は、空間又は時間、又は空間時間精細度に合わせた状態遷移量を推定する（ステップＳ２２０９）。
【０１８２】
次いで、情報機器１４１は、単位処理における推定未来空間又は時間、又は空間及び時間再生像、又は再生像を再構成するためにポスト処理で再生像を生成でき得る遷移情報のみを生成する（ステップＳ２２１０）。
【０１８３】
次いで、情報機器１４１は、位置・視点変更速度の変化が閾値以内かどうかをチェックする（ステップＳ２２１２）。
【０１８４】
位置・視点変更速度の変化が閾値を超える場合には（ステップＳ２２１２のＮｏ）、ステップＳ２２０３に戻って、上記と同様の処理を繰り返し実行する。
【０１８５】
また、位置・視点変更速度の変化が閾値以内である場合には（ステップＳ２２１２のＹｅｓ）、情報機器１４１は、位置・視点変更範囲の推定像の生成が完了したかどうかをさらにチェックする（ステップＳ２２１３）。
【０１８６】
位置・視点変更範囲の推定像の生成が完了していない場合には（ステップＳ２２１３のＮｏ）、情報機器１４１は、精細度に合わせて空間又は時間、又はその両方のステップ分だけ基点を移動して（ステップＳ２２１４）、ステップＳ２２０４に戻って、上記と同様の処理を繰り返し実行する。
【０１８７】
また、位置・視点変更範囲の推定像の生成が完了した場合には（ステップＳ２２１３のＹｅｓ）、本処理ルーチンを終了する。
【０１８８】
図２４乃至図２５には、図１３乃至図１５に示したフローチャート中のステップＳ１３１４で実行される、一定場所・視点で且つ任意時間のプレイバック画像の合成処理の詳細な手順をフローチャートの形式で示している。
【０１８９】
情報機器１４１は、まず、再生の位置、基点視点情報を設定する（ステップＳ２４０１）。
【０１９０】
次いで、情報機器１４１は、視点の変更速度を検出する（ステップＳ２４０２）。
【０１９１】
次いで、情報機器１４１は、視点の移動に対応可能な演算速度を算出する（ステップＳ２４０３）。
【０１９２】
次いで、情報機器１４１は、再生の空間・時間精細度を設定する（ステップＳ２４０４）。
【０１９３】
次いで、情報機器１４１は、一演算単位空間又は時間、若しくは、空間及び時間の基点座標に近い精細度の近しい過去記録像を検索する（ステップＳ２４０５）。
【０１９４】
そして、情報機器１４１は、検索された該当データの数が閾値以上かどうかをチェックする（ステップＳ２４０６）。ここで、該当データの数が閾値未満の場合には（ステップＳ２４０６のＮｏ）、情報機器１４１は、基点座標空間又は時間、又は空間及び時間、又は閾値を変更して（ステップＳ２４１１）、ステップＳ２４０５に戻って、過去記録画像の検索処理を繰り返し実行する。
【０１９５】
該当データの数が閾値以上の場合には（ステップＳ２４０６のＹｅｓ）、情報機器１４１は、単純化処理を行なう（ステップＳ２４０７）。
【０１９６】
次いで、情報機器１４１は、差分計算と遷移状態の抽出を行なう（ステップＳ２４０８）。
【０１９７】
次いで、情報機器１４１は、空間又は時間、又は空間時間精細度に合わせた状態遷移量を推定する（ステップＳ２４０９）。
【０１９８】
次いで、情報機器１４１は、単位処理における推定未来空間又は時間、又は空間及び時間再生像、又は再生像を再構成するためにポスト処理で再生像を生成でき得る遷移情報のみを生成する（ステップＳ２４１０）。
【０１９９】
次いで、情報機器１４１は、視点変更速度の変化が閾値以内かどうかをチェックする（ステップＳ２４１２）。
【０２００】
視点変更速度の変化が閾値を超える場合には（ステップＳ２４１２のＮｏ）、ステップＳ２４０３に戻って、上記と同様の処理を繰り返し実行する。
【０２０１】
また、位置・視点変更速度の変化が閾値以内である場合には（ステップＳ２４１２のＹｅｓ）、情報機器１４１は、位置・視点変更範囲の推定像の生成が完了したかどうかをさらにチェックする（ステップＳ２４１３）。
【０２０２】
位置・視点変更範囲の推定像の生成が完了していない場合には（ステップＳ２４１３のＮｏ）、情報機器１４１は、精細度に合わせて空間又は時間、又はその両方のステップ分だけ基点を移動して（ステップＳ２４１４）、ステップＳ２４０４に戻って、上記と同様の処理を繰り返し実行する。
【０２０３】
また、位置・視点変更範囲の推定像の生成が完了した場合には（ステップＳ２４１３のＹｅｓ）、本処理ルーチンを終了する。
【０２０４】
図２６乃至図２７には、図１３乃至図１５に示したフローチャート中のステップＳ１３１５で実行される、任意場所・視点で且つ任意時間のリアルタイム画像の合成処理の詳細な手順をフローチャートの形式で示している。
【０２０５】
情報機器１４１は、まず、再生の基点位置、視点情報を設定する（ステップＳ２６０１）。
【０２０６】
次いで、情報機器１４１は、位置、視点の変更速度を検出する（ステップＳ２６０２）。
【０２０７】
次いで、情報機器１４１は、位置、視点の移動に対応可能な演算速度を算出する（ステップＳ２６０３）。
【０２０８】
次いで、情報機器１４１は、再生の空間・時間精細度を設定する（ステップＳ２６０４）。
【０２０９】
次いで、情報機器１４１は、一演算単位空間基点座標に近い精細度の記録像を減時刻から時間精細度以内の範囲で検索する（ステップＳ２６０５）。
【０２１０】
そして、情報機器１４１は、検索された該当データの数が閾値以上かどうかをチェックする（ステップＳ２６０６）。ここで、該当データの数が閾値未満の場合には（ステップＳ２６０６のＮｏ）、情報機器１４１は、基点座標空間、又は閾値を変更して（ステップＳ２６１１）、ステップＳ２６０５に戻って、過去記録画像の検索処理を繰り返し実行する。
【０２１１】
次いで、情報機器１４１は、該当データ群と所望位置・姿勢ズレが閾値以上かどうかをチェックする（ステップＳ２６０７）。
【０２１２】
該当データ群と所望位置・姿勢ズレが閾値以上である場合には（ステップＳ２６０７のＹｅｓ）、情報機器１４１は、単純化処理を行なう（ステップＳ２６０８）。
【０２１３】
次いで、情報機器１４１は、差分計算と遷移状態の抽出を行なう（ステップＳ２６０９）。
【０２１４】
次いで、情報機器１４１は、空間又は時間、又は空間時間精細度に合わせた現実像状態遷移量を推測する（ステップＳ２６１０）。
【０２１５】
次いで、情報機器１４１は、単位処理における視点変更可能エリアの空間像を合成する（ステップＳ２６１２）。
【０２１６】
また、該当データ群と所望位置・姿勢ズレが閾値未満の場合には（ステップＳ２６０７のＮｏ）、情報機器１４１は、該当データを記録している機器又は機器が記録している記憶装置の特定と再生機器の記憶領域を接続する（ステップＳ２６１３）。次いで、情報機器１４１は、該当データを再生機器にコピーする（ステップＳ２６１４）。
【０２１７】
そして、情報機器１４１は、位置・視点変更速度の変化が閾値以内かどうかをチェックする（ステップＳ２６１５）。
【０２１８】
位置・視点変更速度の変化が閾値を超える場合には（ステップＳ２６１５のＮｏ）、ステップＳ２６０３に戻って、上記と同様の処理を繰り返し実行する。
【０２１９】
また、位置・視点変更速度の変化が閾値以内である場合には（ステップＳ２６１５のＹｅｓ）、情報機器１４１は、位置・視点変更範囲の像の生成が完了したかどうかをさらにチェックする（ステップＳ２６１７）。
【０２２０】
位置・視点変更範囲の像の生成が完了していない場合には（ステップＳ２６１７のＮｏ）、情報機器１４１は、精細度に合わせて空間又は時間、又はその両方のステップ分だけ基点を移動して（ステップＳ２６１６）、ステップＳ２６０４に戻って、上記と同様の処理を繰り返し実行する。
【０２２１】
また、位置・視点変更範囲の像の生成が完了した場合には（ステップＳ２６１７のＹｅｓ）、本処理ルーチンを終了する。
【０２２２】
再び図１を参照しながら、情報再生システム１００における動作について説明する。
【０２２３】
情報機器１０１、１０２、…、１０ｎは、録画機能又は録音機能のうち少なくとも一方を備え、現実世界のさまざまな場所に散在して、多地点で録画又は録音などをし続けている。情報機器１０１、１０２、…、１０ｎは、例えば、ヘッド・マウント・ディスプレイや、リストバンド型デバイス、監視カメラ、携帯電話、タブレット端末、電子書籍、携帯撮像機器などである。
【０２２４】
情報機器１０１、１０２、…、１０ｎは、ＧＰＳ３２１、地磁気センサー３２２、加速度センサー３２３、ドップラー・センサー３２４、電波強度センサー３２５などからなる位置姿勢検出部３０２から得られる録画又は録音時の位置姿勢情報や時間情報を加えて、録画又は録音された情報をデータベース１１１、１１２、…、１１ｊに保存して、ネットワーク１５０上での共有を可能にする。
【０２２５】
また、情報機器１０１、１０２、…、１０ｎは、温度センサー３３１、湿度センサー３３２、赤外線センサー３３３、紫外線センサー３３４、照度センサー３３５、電波強度センサー３３６、化学物質（濃度・種類・状態）センサー３３７などからなる環境検出部３０３を備えていてもよい。情報機器１０１、１０２、…、１０ｎは、位置姿勢情報や時間情報ではなく（あるいは、位置姿勢情報や時間情報とともに）、環境検出部３０３で検出された録画又は録音時における環境情報を加えて、録画又は録音された情報をデータベース１１１、１１２、…、１１ｊに保存するようにしてもよい。
【０２２６】
なお、録画又は録音された情報に対して、位置姿勢情報や時間情報、環境情報の付与を処理するタイミングは、情報機器１０１、１０２、…、１０ｎがネットワーク１５０に送信する際であってもよいし、送信した後の例えばデータベース１１１、１１２、…、１１ｊに保存する際であってもよい。
【０２２７】
また、図２などでは省略したが、録画又は録音する際におけるブレ補正を行なうブレ補正機能をさらに備えていてもよい。録画又は録音される情報に事前にブレ補正を行なうことで、後の画像再生又は音声再生時の精度（画像再現、音再現、位置又は姿勢再現性）を高めることができる（前述）。ここで言うブレ補正機能として、情報機器１０１、１０２、…、１０ｎ自身が備える、録画又は録音機能周辺の機械的振動補正機構と、センサーの検出結果や画像・音声信号の周期的な変化の検出に基づく電気的な自動補正を挙げることができる。後者の電気的な自動補正は、情報機器１０１、１０２、…、１０ｎ内で行なう他、別の情報機器や演算装置１２０で行なうこともできる。
【０２２８】
一方、再生すなわち画像、音声の視聴側の情報機器１４１、１４２、…、１４ｍでは、当該機器の位置並びに姿勢に対応した視点の画像や音声を再生して、その場からの様子を画像並びに音声で視聴できるようにする。また、画像や音声を現在時刻よりもさかのぼって再生したり、あるいは、現在時刻よりも進む時間における画像や音声を生成したりして、任意の時刻でのその場の様子を視聴できるようにする。
【０２２９】
視聴すなわち情報機器１４１、１４２、…、１４ｍで再生する画像や音声の情報については、位置姿勢検出部３０２で検出された位置並びに姿勢に基づく視聴希望視点からの画像、音声、現在時刻として再構成されたものを基本とする。但し、視聴希望視点は、位置姿勢検出部３０２で検出される情報機器１４１、１４２、…、１４ｍの現在の位置並び姿勢ではなく、ユーザー入力部２０３などを通じてユーザーが任意に指定する視点であってもよい。また、ユーザーが任意の時間（過去のいつの時刻、あるいは、現在時刻からどの程度さかのぼるか、あるいは、どの程度先に進むか）を、ユーザー入力部２０３などを通じて指定することができる。ここで、ユーザーは、画像や音声を視聴する度に視聴希望視点や視聴希望時刻を都度設定する必要はなく、ユーザーが向けた視線に応じて視聴希望視点を自動設定し、且つ、あらかじめ設定した戻り又は進み時間に合わせて画像や音声を再生するように処理してもよい。
【０２３０】
また、情報機器１４１、１４２、…、１４ｍの位置姿勢情報、時間情報以外にも、照度、温度、加速度、紫外線強度、化学物質（濃度・種類・状態など）などの環境検出部３０３で検出された環境情報（又は、これらの環境情報を利用して生成されたシステム情報）に基づいて画像や音声を再構成するようにしてもよい。例えば、情報機器１４１、１４２、…、１４ｍの現在の位置並びに姿勢に基づく視聴希望視点からの画像、音声とし、さらに現在の環境情報（時間帯や季節、天候、移動しているか）に適合する画像、音声を再構成する。
【０２３１】
情報機器１０１、１０２、…、１０ｎで録画又は録音された過去の画像、音声情報は、録画又は録音を行なった情報機器１０１、１０２、…、１０ｎ自体の演算部２０１、ネットワーク１５０上の演算装置１２０、あるいは、画像、音声を再生する側の情報機器１４１、１４２、…、１４ｍ内の演算部２０１で、視聴希望視点からの画像、音声に再構成が行なわれる。
【０２３２】
演算装置１２０は、視聴希望視点で再構成された画像、音声などの情報を、ローカルの記憶領域（図示しない）に保存してもよいし、ネットワーク１５０経由で外部のデータベース１３１、１３２、…、１３ｋに保存するようにしてもよい。
【０２３３】
記録側の情報機器１０１、１０２、…、１０ｎで録画又は録音を行なう際、上述したように、位置姿勢検出部３０２から得られる録画又は録音時の位置姿勢情報や時間情報を、記録する画像や音声の情報に付与して、ネットワーク１５０上のデータベース１１１、１１２、…、１１ｊに保存する。一方、再生側の情報機器１４１、１４２、…、１４ｍは、一定間隔毎に、あるいは、視聴というイベントが発生した際又は発生することを予測して、当該機器における位置姿勢情報を、ネットワーク１５０上の演算装置１２０に送信する。演算装置１２０側では、受信した位置姿勢情報に基づいて、データベース１１１、１１２、…、１１ｊに保存された情報から視聴希望視点からの画像、音声を再構成して、情報機器１４１、１４２、…、１４ｍに供給する。
【０２３４】
情報機器１４１、１４２、…、１４ｍにおける視聴は、過去の画像、音声のプレイバックに限らず、未来の画像、音声を提示することもあり得る。すなわち、視聴希望時刻として未来を指定することもできる。このような場合、データベース１１１、１１２、…、１１ｊに保存された過去の画像、音声を利用して未来の画像、音声を再構築するという処理を、演算装置１２０、又は、情報機器１４１、１４２、…、１４ｍ自身で行なう。未来の画像、音声の再構築は、例えばある時点間の情報の差分より、未来の画像、音声を推測するといった処理で行なわれる。
【０２３５】
また、再生側の情報機器１４１、１４２、…、１４ｍは、視聴希望時刻として、視聴時に任意に設定される時刻さかのぼり量又は未来への時刻進み量を、ネットワーク１５０上の演算装置１２０に送信する。再生側の情報機器１４１、１４２、…、１４ｍ、又は、記録側の情報機器１０１、１０２、…、１０ｎがあらかじめ画像、音声の時点にマークを設定することが許され、マークされた時点を再生ポイントとすることが可能である。複数の時点にマークを設定することも許容される。
【０２３６】
画像、音声にマークを設定することは任意である。記録側の情報機器１０１、１０２、…、１０ｎ、又は、再生側の情報機器１４１、１４２、…、１４ｍがあらかじめマークを設定してもよいし、設定そのものを自動化して、設定にあったポイントの時刻を自動的にマークするようにしてもよい。マークする時刻を自動的に生成する方法として、録画又は録音された画像、音声を解析して、目的に合わせてリスト化することが挙げられる。例えば、録画、録音された情報を解析して、画像や音場内の構成要素に状態遷移が顕著にみられたポイントを、画像、音声の変化点を示す情報として抽出する。より具体的に言えば、構成音源が最も多いポイント、音源の強度が強いポイント、音源の音域が高温側に多いときポイントなど、各種別のポイントを音声解析により抽出して、時刻リストを作成しておく。そして、再生時などにおいて、目的に応じた種別のポイントに自動的にマークを行なう。なお、リスト化せず、あらかじめ目的を絞って、特定の状態のみ抽出を行なうようにしてもよい。
【０２３７】
演算装置１２０は、再生側の情報機器１４１、１４２、…、１４ｍから位置姿勢情報並びに時刻情報（視聴希望視点、視聴希望時刻）を受け取ると、当該機器の位置情報周辺及び当該時刻周辺の画像、音声の情報を、データベース１１１、１１２、…、１１ｊからロードすると、その視聴希望視点での視聴希望時刻から再生する画像、音声を再構成する。再構成された画像、音声は、ネットワーク１５０を通じて再生側の情報機器１４１、１４２、…、１４ｍ内の主記憶部２０２にロードされつつ再生（ストリーミング再生）される。このようにして、再生側の情報機器１４１、１４２、…、１４ｍでは、その場におけるある時点からの画像、音声を視聴することが可能となる。
【０２３８】
なお、ここでは、視聴希望視点における視聴希望時刻からの画像、音声を演算装置１２０で再構成して視聴する例について説明したが、一連の処理の一部を、記録側の情報機器１０１、１０２、…、１０ｎや、再生側の情報機器１４１、１４２、…、１４ｍの演算処理に分散して行なうようにすることもできる。
【０２３９】
図１に示した情報再生システム１００では、画像、音声を録画、録音する情報機器１０１、１０２、…、１０ｎを有するユーザー又は設置場所であれば、過去に録画、録音した画像、音声にアクセスすることが可能である。よって、複数の情報機器１０１、１０２、…、１０ｎで録画、録音された視点の画像、音声から、任意視点の画像、音声を再構成することで、広範囲の場所で過去の様子を動画として視聴することが可能となる。さらに、再構成された画像、音声について高速再生技術（例えば、特許文献２を参照のこと）を利用することにより、過去のその場の様子を目視で確認しながら、現時点のその場の様子へとシームレスに復帰することができる。過去の画像から現時点又は未来の時点の画像へのシームレスな接続は、従来の記録機器や再生機器にはない機能である、という点を十分理解されたい。
【０２４０】
また、情報再生システム１００では、情報機器１０１、１０２、…、１０ｎで実際に録画、実際した過去の情報から、架空の情報を再構成して、これを情報機器１４１、１４２、…、１４ｍで提示するようにしてもよい。情報機器１０１、１０２、…、１０ｎが設置された位置並びに姿勢である時点から記録した現実の光景から、演算処理を経て、架空の光景を生成し、架空の光景と現実の光景をシームレスに組み合わせることが可能である。すなわち、架空の光景は、現実の光景とは、時間的又は空間的に現実の光景とは隔たりがあるが、現実の光景から架空の光景へ（あるいは逆に、架空の光景から現実の光景へ）徐々に近づけるなどの処理を行なう。このような光景を視聴するユーザーは、現実の光景が提示する現実空間と架空の光景が提示する仮想空間の間を違和感なく移動することができ、仮想空間に没入することができる。
【０２４１】
情報機器１４１、１４２、…、１４ｍでは、時間別、位置又は姿勢別の多視点の画像を再構成して表示することができる。ある時間の特定の視点の画像を全画面で表示するようにしてもよいし、時間別の特定の１視点の画像、ある時間の複数視点の画像、あるいは、時間別の多視点の画像を組み合わせて表示するようにしてもよい。例えば、情報機器１４１、１４２、…、１４ｍの現在の位置並びに姿勢からなる視点における現在ビューを、過去及び未来のビューと組み合わせて表示してもよいし、さらに別の位置又は姿勢の視点からのビューと組み合わせて表示してもよい。複数の画像を組み合わせて表示する方法として、一部又は全部を重畳表示することや、すべてを並列して表示することが挙げられる。
【０２４２】
また、情報機器１４１、１４２、…、１４ｍでは、画像だけでなく、時間別、あるいは位置又は姿勢別に再構成された複数の音声や環境情報を組み合わせて出力するようにしてもよい。例えば、ある視点で見える画像に、その視点で録音されたものではない音像を組み合わせてもよいし、その逆に、ある視点以外で見える画像に、その視点で録音された音像を組み合わせてもよい。同様に、ある時点に対して、その前後に録音された音像を敢えて組み合わせて提示するようにしてもよい。
【０２４３】
記録側の情報機器１０１、１０２、…、１０ｎで録画又は録音された画像、音声、並びにこれらに付与される位置姿勢情報、環境情報を共有するデータベース１１１、１１２、…、１１ｊや、位置姿勢や環境を変えて再構成した画像、音声を共有するデータベース１３１、１３２、…、１３ｋは、専用のデータ・サーバーでもよい。また、当業界では、インターネット上で動画を投稿し閲覧することを専門とする動画共有サイトが知られている。動画共有サイトのサーバーをデータベース１１１、１１２、…、１１ｊやデータベース１３１、１３２、…、１３ｋとして利用してもよい。
【０２４４】
動画共有サイトにアップロードされた情報を情報再生システム１００で利用する際、あらかじめ位置、姿勢、時間情報をセットされた画像、音声であれば、演算装置１２０は、その位置、姿勢、時間情報と画像、音声を利用して、前述したように視聴時に適当な画像、音声を再構成して、ネットワーク１５０経由で再生側の情報機器１４１、１４２、…、１４ｍにローディングする。
【０２４５】
また、本実施形態では、画像や音声に位置、姿勢、時間情報をセットするタイミングを特に限定していない。動画共有サイトにアップロードされた画像、音声に位置、姿勢、時間情報がセットされていない場合であっても、例えば演算装置１２０が画像や音声の認識技術により適当な位置、姿勢、時間情報を推定したり抽出したりして、画像、音声に付与するようにしてもよい。この方法によれば、記録側の情報機器１０１、１０２、…、１０ｎで録画、録音された画像、音声に限らず、動画共有サイト内に既存の画像、音声も、情報再生システム１００への利用が可能となる。
【０２４６】
また、動画共有サイトの中には、注釈や解説、論評、批評、意見などのコメントを画像中に書き込むサービスを提供するものもある（例えば、特許文献３を参照のこと）。上記のように動画共有サイトにアップされた画像、音声を再生側の情報機器１４１、１４２、…、１４ｍにローディングする際、動画共有サイトでユーザー入力又は自動入力により入力されたコメントやその他の入力情報を併せてローディングして、視聴する画像や音声にコメントを反映させるようにしてもよい。なお、画像に対する書き込みは、画像自体ではなく、電子掲示板など他のメディアであってもよい。
【０２４７】
動画共有サイトで書き込まれたコメントやその他の入力情報を、例えば演算装置１２０がデータベース１３１、１３２、…、１３ｋなどに収集して、その情報から新たな制御情報を生成して、情報機器１４１、１４２、…、１４ｍ側で画像や音声を再生する際に反映させるようにしてもよい。例えば、演算装置１２０は、動画中でユーザーからのコメントの書き込みが多い視聴点を推奨再生視聴点として抽出して、再生側の情報機器１４１、１４２、…、１４にフィードバックするような、推薦機能を実現することができる。
【０２４８】
なお、記録側の情報機器１０１、１０２、…、１０ｎから録画、録音した画像、音声を動画共有サイトにアップロードする際に、コメントやその他の情報を入力するようにしてもよい。この入力情報も、動画共有サイトでユーザー入力又は自動入力により入力されたコメントやその他の入力情報と同様の処理対象としてよい。
【実施例１】
【０２４９】
本明細書で開示する技術に係る情報再生システム１００を会議、講義、講演の視聴に適用すると、途中から参加する際のスムーズで且つ違和感のない復帰機能や、他視点による理解促進機能を提供することができる。【０２５０】
例えば、会議や講義、講演が行なわれている場所で、カメラ会議システムのカメラを設置したり、各参加者が装着しているヘッド・マウント・ディスプレイで撮影を行なったりする。この場合の会場に設置されたカメラや、参加者が装着するヘッド・マウント・ディスプレイは、記録側の情報機器１０１、１０２、…、１０ｎに相当する。撮影された動画は、データベース１３１、１３２、…、１３ｋなどに格納される。【０２５１】
参加者が装着するヘッド・マウント・ディスプレイは、再生側の情報機器１４１、１４２、…、１４ｍでもある。例えば途中参加者は、会議や講義、講演などで撮影された過去の動画を、自分が身に付けているヘッド・マウント・ディスプレイで視聴することができる。【０２５２】
復帰機能：
途中参加者のヘッド・マウント・ディスプレイで過去の動画を再生する際、その途中参加者の位置情報や姿勢情報と、撮影を行なったカメラやヘッド・マウント・ディスプレイの位置情報や姿勢情報との差分を利用して、過去の動画を途中参加者の視点からの画像、音声に再構成してヘッド・マウント・ディスプレイから出力することで、空間的違和感なく、最初からその場で会議に参加していたような臨場感を与えることができる。【０２５３】
過去の動画を標準速度で再生していると、途中参加者が視聴している過去の動画は、現在時刻までの時間差が縮まらないので、いつまでも会議、講義、講演の進行に追いつくことができない。そこで、例えば高速再生技術を用いて過去の動画を再生することで、途中参加者がスムーズに現在の会議、講義、講演にキャッチアップできるようにしてもよい。高速再生技術は、単純にｎ倍速（但し、ｎ＞１）の一定速度で動画を再生するのではなく、再生区間を重要度に応じて分類して、重要度の低い区間を実時間よりも短縮して情報を圧縮する一方、重要度の高い区間は実時間若しくは実時間に近い再生速度で再生する（例えば、特許文献４を参照のこと）。高速再生技術によれば、途中参加者は、これまでの会議、講義、講演の内容をより理解し易くなり、現在時刻に効率的に復帰することが可能となり、最初から会議に参加しているような臨場感を得ることができる。【０２５４】
なお、途中参加者などのユーザーは、会議、講義、講演の最初から動画を再生するだけでなく、再生開始時刻も任意に指定することができる。例えば、アジェンダなどを見て、最初の方は視聴する必要がないと判断したときには、ユーザーは途中（すなわち、自分が参加した時刻により近い時点）からの再生開始を指示すればよい。【０２５５】
理解促進機能：
ユーザーは、例えば他者や別の場所からの視点で、会議、講義、講演などに参加したり、様子を眺めたりしたいことがある。例えば、ユーザーが現在いる場所からは、発言者や講演者など特定の人物がよく見えない、ホワイトボードやスライドがよく見えない場合である。【０２５６】
このような場合、ユーザーは、自分自身の現在の位置情報や姿勢情報に代えて、所望する視点を指定して、動画の再生を要求する。例えば、他の参加者の視点を指定した場合には、その場所から撮影された動画（その参加者が装着するヘッド・マウント・ディスプレイで撮影された動画）をデータベース１１１、１１２、…、１１ｊから読み出して、要求元のユーザーのヘッド・マウント・ディスプレイで再生すればよい。この場合、演算装置１２０などによる動画の再構成処理を必要としないので、低負荷で、よりリアルタイムに視聴が可能である。【０２５７】
また、ユーザーが指定した視点では撮影が行なわれていない場合には、演算装置１２０は、その視点に近い場所で撮影された動画をデータベース１１１、１１２、…、１１ｊから読み出し、位置情報や姿勢情報の差分を利用して、所望する視点からの動画を再構成すればよい。【０２５８】
また、会議、講義、講演などに遅れて参加する各ユーザーは、撮影された動画をヘッド・マウント・ディスプレイなどで再生して追体験する際に、過去のある時点の議論に対する意見や注釈、解説、論評、批評などのコメントを、その動画や電子掲示板に書き込むことができる。ここで、ユーザーがコメントを書き込む具体的な手段として、キーボードやそれに類するポインティング・デバイス、音声入力システムやそれに類する入力システムなど、文字ベースで入力する手段や、音声入力や手話を含むジェスチャー入力を行なう手段などが挙げられる。さらに後から来た参加者は、動画や電子掲示板に書き込まれたコメントを手掛かりにして、会議の議論や講義の内容をより深く理解しながら、より効率的に追体験することができる。【０２５９】
上述したような情報再生システム１００の復帰機能並びに理解促進機能によれば、会議、講義、講演に途中参加するユーザーが、スムーズ且つ違和感なく復帰することが可能となる。さらに、ユーザーは、他者や別の（ユーザー本人とは異なる）視点からの画像を視聴することにより、会議、講義、講演における理解（内容理解、他者理解）を促進することができる。
【実施例２】
【０２６０】
本明細書で開示する技術に係る情報再生システム１００をイベント会場に適用すると、途中から参加する際のスムーズで且つ違和感のない復帰機能、他視点による理解促進機能、開催日時に間に合わなかったときの追体験機能を提供することができる。【０２６１】
例えば、イベント会場に設置されているカメラ会議システムのカメラや監視カメラ、記録撮影用カメラ、イベント参加者が装着しているヘッド・マウント・ディスプレイで、イベントの撮影を行なう。この場合の会場に設置されたカメラや、参加者が装着するヘッド・マウント・ディスプレイは、記録側の情報機器１０１、１０２、…、１０ｎに相当する。撮影された動画は、データベース１３１、１３２、…、１３ｋなどに格納される。【０２６２】
参加者が装着するヘッド・マウント・ディスプレイは、再生側の情報機器１４１、１４２、…、１４ｍに相当する。例えば途中参加者や、振り返り過去を確認したいユーザーは、過去の動画を、自分が身に付けているヘッド・マウント・ディスプレイで視聴することができる。【０２６３】
ユーザーがヘッド・マウント・ディスプレイで過去の動画を再生する際、例えば演算装置１２０が、そのユーザーの位置情報や姿勢情報と、撮影を行なったカメラやヘッド・マウント・ディスプレイの位置情報や姿勢情報との差分を利用して、過去の動画を途中参加者の視点からの画像、音声に再構成する。ユーザーは、再構成された動画をヘッド・マウント・ディスプレイで視聴することで、空間的違和感なく、最初からその場でイベントに参加していたような臨場感を得ることができる。【０２６４】
また、過去の動画を視聴する際に、上述した高速再生技術（例えば、特許文献２を参照のこと）を利用して、重要度の低い区間を実時間よりも短縮して情報を圧縮することで、イベントが終了するまでに、現在時刻に効率的に復帰することが可能となり、最初からイベントに参加しているような臨場感を得ることができる。【０２６５】
また、ユーザーは、自分の場所からは見え難いので、他者や別の場所からの視点で、イベントに参加したり、様子を眺めたりしたいことがある。このような場合、ユーザーは、自分自身の現在の位置情報や姿勢情報に代えて、所望する視点を指定して、動画の再生を要求する。例えば、他の参加者の視点を指定した場合には、その場所から撮影された動画をデータベース１１１、１１２、…、１１Ｊから読み出して、要求元のユーザーのヘッド・マウント・ディスプレイで再生すればよい。この場合、演算装置１２０などによる動画の再構成処理を必要としないので、低負荷で、よりリアルタイムに視聴が可能である。【０２６６】
また、イベントに参加するユーザーは、ヘッド・マウント・ディスプレイなどにより自分の視点から撮影される動画を、直接又はデータベース１１１、１１２、…、１１ｊを通じて、動画共有サイトにアップロードすることができる。演算装置１２０は、動画共有サイトにアップロードされた動画から、イベントに参加しているユーザーが装着しているヘッド・マウント・ディスプレイで視聴する動画を再構成するようにしてもよい。動画共有サイトで公開される動画には、コメントが書き込まれることがある。動画共有サイト中の動画から再構成した動画に、他者が書き込んだコメントを反映させることで、ヘッド・マウント・ディスプレイを装着してイベントに参加するユーザーにより多くの情報を提供し、現実よりも臨場感、没入感を促進することが可能となる。【０２６７】
また、イベントに参加する各ユーザーは、撮影された動画をヘッド・マウント・ディスプレイなどで再生して追体験する際に、過去のある時点のイベントに対する意見や注釈、解説、論評、批評などのコメントを、そのキーボードなどのポインティング・デバイス、音声入力、ジェスチャー入力などを通じて、その動画や電子掲示板に書き込むことができる。さらに後から来た参加者は、動画や電子掲示板に書き込まれたコメントを手掛かりにして、イベントでこれまでに催された内容をより深く理解しながら、より効率的に追体験することができる。【０２６８】
上述したような情報再生システム１００によれば、イベントに途中参加するユーザーが、スムーズ且つ違和感なく復帰することが可能となる。さらに、ユーザーは、他者や別の（ユーザー本人とは異なる）視点からの画像を視聴することにより、イベントにおける理解（内容理解、他者理解）を促進することができる。
【実施例３】
【０２６９】
本明細書で開示する技術に係る情報再生システム１００を、交通事故などの事故現場に適用すると、そのような場所で過去に起きた事象を任意の視点で再生したり、過去と現在との差分を強調して表示したりすることで、ユーザーは過去の事象をスムーズで且つ違和感なく理解し、追体験することができる。【０２７０】
例えば、公共スペースや街角などの場所に設置されているカメラ会議システムのカメラや監視カメラ、その場所を通り過ぎる人や動物が装着しているヘッド・マウント・ディスプレイ、モニタリング・システムに類する電子機器や撮像機器により撮影を行なう。この場合のカメラやヘッド・マウント・ディスプレイ、モニタリング・システムは、記録側の情報機器１０１、１０２、…、１０ｎに相当する。撮影された動画は、データベース１３１、１３２、…、１３ｋなどに格納される。【０２７１】
ある地点での過去の動画を視聴したいユーザーが装着するヘッド・マウント・ディスプレイは、視聴側の情報機器１４１、１４２、…、１４ｍでもある。ユーザーがある地点での過去の動画を視聴したいとき、例えば演算装置１２０が、そのユーザーの位置情報や姿勢情報と、撮影を行なったカメラやヘッド・マウント・ディスプレイの位置情報や姿勢情報との差分を利用して、過去の動画をユーザーの視点からの画像、音声に再構成して、ユーザーが装着するヘッド・マウント・ディスプレイ越しに過去にその場で起きた光景を与える。ユーザーは、再構成された動画をヘッド・マウント・ディスプレイで視聴することで、最初からその場所に居合わせていたような錯覚を覚え、過去のその事故現場で起きた出来事を確認することができる。例えば、ユーザーは、事故の現場検証で、どのような状況で事故が発生したかということを、他視点で確認することが可能となり、検証の精度を高めることができる。【０２７２】
本明細書で開示する技術に係る情報再生システム１００を適用した現場検証によれば、事故被害者や被疑者などの当事者、周囲の監視カメラ、周囲の撮像機器などの任意視点での過去から現在に至る検証が可能であり、監視カメラで撮影した動画や自己レコーダーの記録確認や現場検証などの検証する時間帯や視点が限定された検証方法よりも優位性がある。【０２７３】
本明細書で開示する技術に係る情報再生システム１００を適用した現場検証によれば、その場所を過去に撮影した画像と現在の光景との差分を強調して表示することで、時間の経過に伴う変化を視認し易くなるので、通常の目視では確認し難い検証作業を容易にすることができる。【０２７４】
本明細書で開示する技術に係る情報再生システム１００では、事故現場を検証するユーザーの位置及び姿勢から見える画像や聞こえる音声を再構成するだけでなく、その位置では通常聞こえない音についても同時に再生することが可能である。また、通常聞き知れないある時点の前後の音を聞きながらある時点での状況を確認することで、前後のつながりへの理解を深めることが可能である。
【実施例４】
【０２７５】
本明細書で開示する技術に係る情報再生システム１００を、タイムトラベル・システムに適用して、ある場所でのある時点の情景を表示することができる。【０２７６】
例えば、ある地点におけるカメラ会議システムや監視カメラで記録した画像や音声、ある地点を通過する人や動物が身に付けるヘッド・マウント・ディスプレイにより記録された画像や音声、モニタリング・システムに類する電子機器や撮像機器で記録された画像や音声、物体に装備されたモニタリング・システムに類する電子機器や撮像機器で記録された画像や音声を、記録したときの位置・姿勢情報とともにデータベース１１１、１１２、…、１１ｊに保存しておく。【０２７７】
ユーザーがある時点の光景を眺めたくなったとき、ヘッド・マウント・ディスプレイやスマートフォンなどの携帯電話やタブレット端末、電子書籍などの身に付けた情報機器から、演算装置１２０に位置情報、姿勢情報を送信して、眺めたい画像を要求する。【０２７８】
演算装置１２０は、要求されている画像をいずれかのデータベース１１１、１１２、…、１１ｊから取得すると、位置情報、姿勢情報の差分を利用して、ユーザーの視点からの画像を再構成して、ユーザーが身に付ける情報機器にローディングすることで、ある時点のその場の光景をユーザーに与える。これにより、ユーザーは、ある時点のある地点にいる錯覚を覚える。【０２７９】
本実施例に係る情報再生システム１００では、ユーザーがリアルタイムで眺めている任意視点をある時点の情景に切り替えて表示することが可能な点に特徴がある。このようなシステムを利用すれば、ユーザーは、興味を持つ時間帯ではなくても、ある時間帯ではその場所がどのような雰囲気であるかなど、興味のある時間帯のその場の様子を確認することができる。また、ユーザーは、その場が過去にどのような経緯で発展を遂げたかなど、歴史文化についてその場で没入感を感じながら知覚することが可能となる。さらに過去の画像から推測された未来を表示して、ユーザーは、予測された未来を体験することが可能になる。【０２８０】
本実施例に係る情報再生システム１００は、ある時点の３Ｄの地球地図の中に入るということを仮想的に行なうことにより、疑似的にタイムトラベルを可能とする。例えば、土地建物物件などの評価、旅行ガイドなどへの適用が考えられる。それ自体をアトラクションと捉えてもよい。また、このような現実のある時点、ある位置・姿勢における画像から演算を経て、架空の光景を生成し、これをゲームなどに用いてもよい。この際には、例えば架空の光景と現実の光景を違和感なく組み合わせることにより（時間又は空間、若しくは時間的及び空間的に徐々に現実の光景にするなどの処理により）、現実空間と仮想空間の移動を、ユーザーの没入感を阻害することなく行なわせることが可能となる。
【産業上の利用可能性】
【０２８１】
以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。【０２８２】
記録側の情報機器１０１、１０２、…、１０ｎ、並びに視聴側の情報機器１４１、１４２、…、１４ｍとして、ユーザーが頭部又は顔部に装着する画像表示装置（ヘッド・マウント・ディスプレイ）や、網膜直描ディスプレイ、電子コンタクト・レンズ、各感覚器及び脳への電気・物理刺激によるディスプレイ、監視カメラ、スマートフォンなどの携帯電話やタブレット端末、電子書籍、携帯型音楽プレイヤー、携帯撮像機器を利用することができる。【０２８３】
また、記録側の情報機器１０１、１０２、…、１０ｎで記録した画像、音声などの情報を保存するデータベース１１１、１１２、…、１１ｊ、並びに、演算装置１２０で処理した画像、音声などの情報を保存するデータベース１３１、１３２、…、１３ｋとして、専用のサーバーを設置する他、動画共有サイトのサーバーを利用することもできる。【０２８４】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。【０２８５】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）画像又は音声の情報を取得する情報取得部と、
画像又は音声の情報を取得したときの位置・姿勢情報又はその他のセンサー情報を取得するセンサー情報取得部と、
取得した画像又は音声の情報をセンサー情報とともにデータベースに保存する保存部と、
を具備する情報処理装置。
（２）前記保存部は、ネットワーク上の専用のデータベース又は動画共有サイトのデータベースに画像又は音声の情報を保存する、
上記（１）に記載の情報処理装置。
（３）前記保存部は、画像や音声の記録に際して、ブレ補正を行なう、
上記（１）に記載の情報処理装置。
（４）データベースに保存されている画像又は音声の情報を取得する情報取得部と、
異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での情報を再現する演算処理部と、
を具備する情報処理装置。
（５）前記データベースは、画像又は音声の情報を置・姿勢情報又はその他のセンサー情報とともに保存しており、
前記演算処理部は、視聴希望視点の位置・姿勢情報及び時間における画像又は音声の情報を再現する、
上記（４）に記載の情報処理装置。
（６）前記演算処理部は、視聴希望の時間と現在との時間差分に応じた画像又は音声の再現処理を行なう、
上記（５）に記載の情報処理装置。
（７）前記演算処理部は、視聴希望の時間と現在との時間差分が所定の閾値未満のときには、リアルタイム画像を生成する、
上記（６）に記載の情報処理装置。
（８）前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点でのリアルタイム画像を生成する、
上記（７）に記載の情報処理装置。
（９）前記演算処理部は、視聴希望の時間が現在との時間差分が所定の閾値以上となる未来の場合には、未来像を生成する、
上記（６）に記載の情報処理装置。
（１０）前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点で任意時間の未来像を生成し、所定の閾値未満のときには一定場所で任意視点及び任意時間の未来像を生成する、
上記（９）に記載の情報処理装置。
（１１）前記演算処理部は、視聴希望の時間が現在との時間差分が所定の閾値以上となる過去の場合には、プレイバック像を生成する、
上記（６）に記載の情報処理装置。
（１２）前記演算処理部は、生成像と現実像の空間差分が所定の閾値以上のときには、任意の場所・視点で任意時間のプレイバック像を生成し、所定の閾値未満のときには一定場所で任意視点及び任意時間のプレイバック像を生成する、
上記（１１）に記載の情報処理装置。
（１３）画像又は音声の情報を取得する情報取得ステップと、
画像又は音声の情報を取得したときの位置・姿勢情報又はその他のセンサー情報を取得するセンサー情報取得ステップと、
取得した画像又は音声の情報をセンサー情報とともにデータベースに保存する保存ステップと、
を有する情報処理方法。
（１４）データベースに保存されている画像又は音声の情報を取得する情報取得ステップと、
異なる時間又は異なる場所で録画又は録音された情報から、任意の時点又は任意の場所での情報を再現する演算処理ステップと、
を有する情報処理方法。
【符号の説明】
【０２８６】
１００…情報再生システム
１０１、１０２、…、１０ｎ…情報機器（記録側）
１１１、１１２、…、１１ｊ…データベース
１２０…演算装置
１３１、１３２、…、１３ｋ…データベース
１４１、１４２、…、１４ｍ…情報機器（再生側）
１５０…ネットワーク
２０１…演算部、２０２…主記憶部、２０３…ユーザー入力部
２０４…情報入力部、２０５…情報出力部
２０６…外部記憶装置、２０７…通信部、２０８…バッファー
３０１…提示情報入力部、３０２…位置姿勢検出部
３０３…環境検出部、３１１…撮像素子
３１２…マイクロフォン、３１３…テキスト入力部
３１４…モーション入力部、３１５…匂い入力部
３１６…触覚入力部、３１７…味覚入力部
３２１…ＧＰＳセンサー、３２２…地磁気センサー
３２３…加速度センサー、３２４…ドップラー・センサー
３２５…電波強度センサー、３３１…温度センサー
３３２…湿度センサー、３３３…赤外線センサー
３３４…紫外線センサー、３３５…照度センサー
３３６…電波強度センサー
３３７…化学物質（濃度・種類・状態など）センサー
５０１…液晶ディスプレイ、５０２…有機ＥＬディスプレイ
５０３…網膜直描ディスプレイ、５０４…スピーカー
５０５…触覚ディスプレイ、５０６…匂いディスプレイ
５０７…温度ディスプレイ、５０８…味覚ディスプレイ、
５０９…各感覚器及び脳への電気・物理刺激によるディスプレイ
【図１】
2016038964.tif 000003
【図２】
2016038964.tif 000004
【図３】
2016038964.tif 000005
【図４】
2016038964.tif 000006
【図５】
2016038964.tif 000007
【図６】
2016038964.tif 000008
【図７】
2016038964.tif 000009
【図８】
2016038964.tif 000010
【図９】
2016038964.tif 000011
【図１０】
2016038964.tif 000012
【図１１】
2016038964.tif 000013
【図１２】
2016038964.tif 000014
【図１３】
2016038964.tif 000015
【図１４】
2016038964.tif 000016
【図１５】
2016038964.tif 000017
【図１６】
2016038964.tif 000018
【図１７】
2016038964.tif 000019
【図１８】
2016038964.tif 000020
【図１９】
2016038964.tif 000021
【図２０】
2016038964.tif 000022
【図２１】
2016038964.tif 000023
【図２２】
2016038964.tif 000024
【図２３】
2016038964.tif 000025
【図２４】
2016038964.tif 000026
【図２５】
2016038964.tif 000027
【図２６】
2016038964.tif 000028
【図２７】
2016038964.tif 000029
【国際調査報告】
2016038964.tif 000030
2016038964.tif 000031
2016038964.tif 000032