(57)【要約】【課題】音声再生装置において、例えば仮想空間において、より自然な音声を再生することを可能とする。【解決手段】音声再生装置（１００）は、実在空間を収録した仮想空間において、ユーザが存在する位置、及びユーザに近接する少なくとも一つの音源の位置に基づいて音声の強度を決定する強度決定手段（１０６、Ｓ４０９）と、少なくとも一つの音源から発声される音声素材を加工することにより、再生開始時と再生終了時とにおいて連続性を保持する時間的にシームレスな音声データである音源データを生成する音源データ生成手段（１０６、Ｓ１０４）と、仮想空間中において、決定された強度、生成された音源データ、及び絶対的な時間軸上の時刻に基づいて、シームレスな合成音声データを生成する合成手段（１０６、Ｓ４１２）とを備える。【選択図】図２
2014127967.tif 000002
【特許請求の範囲】
【請求項１】
実在空間を収録した仮想空間において、ユーザが存在する位置、及び前記ユーザに近接する少なくとも一つの音源の位置に基づいて音声の強度を決定する強度決定手段と、
前記少なくとも一つの音源から発声される音声素材を加工することにより、再生開始時と再生終了時とにおいて連続性を保持する時間的にシームレスな音声データである音源データを生成する音源データ生成手段と、
前記仮想空間中において、前記決定された強度、前記生成された音源データ、及び絶対的な時間軸上の時刻に基づいて、シームレスな合成音声データを生成する合成手段と
を備えることを特徴とする仮想空間中の音声再生装置。
【請求項２】
前記音源データ生成手段は、前記加工として、前記仮想空間中において、前記音源から発声される一種類のコンテンツを有する音声素材の音波の波形を少なくとも２つの異なる相対的な時間軸上に形成し、前記形成された少なくとも２つの音声データの波形を合成することにより、前記時間的にシームレスな音声データである音源データを生成することを特徴とする請求項１に記載の仮想空間中の音声再生装置。
【請求項３】
前記音源データ生成手段は、前記加工として、前記仮想空間中において、前記音源から発声される少なくとも２種類のコンテンツを夫々有する少なくとも２つの音声素材の音波の波形を少なくとも２つの異なる相対的な時間軸上に夫々形成し、前記形成された少なくとも２つの音声データの波形を合成することにより、前記時間的にシームレスな音声データである音源データを生成することを特徴とする請求項１に記載の仮想空間中の音声再生装置。
【請求項４】
前記音源データ生成手段は、前記加工として、前記仮想空間中において、前記音源から発声される少なくとも２種類のコンテンツを夫々有する少なくとも２つの音声素材の長さが異なる場合、長さの大きい方を長さの小さい方へ合わせることを特徴とする請求項３に記載の仮想空間中の音声再生装置。
【請求項５】
前記実在空間中の複数の地点にて音声素材を録音し、前記複数の地点を、前記録音された複数の音声素材に夫々対応した複数の音源の地点とする音声素材録音手段と
を更に備えることを特徴とする請求項１乃至請求項４のうちいずれか一項に記載の仮想空間中の音声再生装置。
【請求項６】
前記強度決定手段は、前記ユーザの視線の方向と、前記ユーザの位置と前記音源とを結ぶ方向との差である差分角度がゼロに近づくに従って大きくなる重み付け係数を前記強度に積算することを特徴とする請求項１乃至請求項５のうちいずれか一項に記載の仮想空間中の音声再生装置。
【請求項７】
前記再生可能な音声データを再生する再生手段を更に備え、
前記合成手段は、前記ユーザの視線の方向に対して、左側及び右側に所定角度だけ変位させた方向に応じた指向性により合成し、
前記再生手段は、前記左側用のチャンネル、及び前記右側用のチャンネルとして、前記音声データを再生することを特徴とする請求項５に記載の仮想空間中の音声再生装置。
【請求項８】
前記音源データ生成手段は、いずれの時刻においても２つの音声素材の振幅の和を１にすると共に、各音声素材の振幅は時間的に連続して変化し、各音声素材の少なくとも開始時刻と終了時刻においてはゼロとなるように、前記シームレスな音源データを生成することを特徴とする請求項１乃至請求項７のうちいずれか一項に記載の仮想空間中の音声再生装置。
【請求項９】
前記音源データ生成手段は、いずれの時刻においても２つの音声素材の振幅の和を１にすると共に、各音声素材の振幅は時間的に連続して変化し、各音声素材の少なくとも開始時刻と終了時刻においては同一の振幅となるように、前記シームレスな音源データを生成することを特徴とする請求項１乃至請求項７のうちいずれか一項に記載の仮想空間中の音声再生装置。
【請求項１０】
実在空間を収録した仮想空間において、ユーザが存在する位置、及び前記ユーザに近接する少なくとも一つの音源の位置に基づいて音声の強度を決定する強度決定ステップと、
前記少なくとも一つの音源から発声される音声素材を加工することにより、再生開始時と再生終了時とにおいて連続性を保持する時間的にシームレスな音声データである音源データを生成する音源データ生成ステップと、
前記仮想空間中において、前記決定された強度、前記生成された音源データ、及び絶対的な時間軸上の時刻に基づいて、シームレスな合成音声データを生成する合成ステップと
を含むことを特徴とする仮想空間中の音声再生方法。
【請求項１１】
コンピュータを、
実在空間を収録した仮想空間において、ユーザが存在する位置、及び前記ユーザに近接する少なくとも一つの音源の位置に基づいて音声の強度を決定する強度決定手段、
前記少なくとも一つの音源から発声される音声素材を加工することにより、再生開始時と再生終了時とにおいて連続性を保持する時間的にシームレスな音声データである音源データを生成する音源データ生成手段、
前記仮想空間中において、前記決定された強度、前記生成された音源データ、及び絶対的な時間軸上の時刻に基づいて、シームレスな合成音声データを生成する合成手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば博物館等の現実空間を実際に撮影することにより生成された仮想空間における音声再生装置の技術分野に関する。
【背景技術】
【０００２】
この種の音声再生装置として、例えば特許文献１等では、受聴エリアに所望の音場を合成し、その受聴エリア内の受聴者が仮想現実感を体験することができる音場再生装置および音場空間再生システムに関する技術について開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１６７６１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１等には、仮想空間中に複数の地点に設置された音源を定義し、ユーザの位置に合わせて各音源のデータを合成して提示する方法が開示されている。音源としては一定時間の尺のものが準備され、これが繰り返し再生されることとなるが、音源の時間的な開始位置と終了位置において、波形が不連続となり途切れた不自然な印象となってしまうという技術的な問題点が生じる。
【０００５】
本発明は、例えば上述した問題点に鑑みなされたものであり、例えば仮想空間において、連続性を有するより自然な音声を再生することが可能な音声再生装置及び方法、並びにプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前述した課題を解決するために第１の発明は、実在空間を収録した仮想空間において、ユーザが存在する位置、及び前記ユーザに近接する少なくとも一つの音源の位置に基づいて音声の強度を決定する強度決定手段と、前記少なくとも一つの音源から発声される音声素材を加工することにより、再生開始時と再生終了時とにおいて連続性を保持する時間的にシームレスな音声データである音源データを生成する音源データ生成手段と、前記仮想空間中において、前記決定された強度、前記生成された音源データ、及び絶対的な時間軸上の時刻に基づいて、シームレスな合成音声データを生成する合成手段とを備えることを特徴とする仮想空間中の音声再生装置である。
【０００７】
本発明に係る仮想空間中の音声再生装置によれば、強度決定手段によって、実在空間を収録した仮想空間において、ユーザが存在する位置、及び前記ユーザに近接する少なくとも一つの音源の位置に基づいて音声の強度が決定される。次に、音源データ生成手段によって、少なくとも一つの音源から発声される音声素材が加工されることにより、再生開始時と再生終了時とにおいて連続性を保持する時間的にシームレスな音声データである音源データが生成される。ここに、本発明に係るシームレスな音声データとは、時間的に継ぎ目のない音声データを意味し、再生開始時と再生終了時とにおいて連続性を保持する音声データを意味する。また、本発明に係る加工とは、音声素材からシームレスな音声データを生成、作成することを意味する。合成手段によって、仮想空間中において、決定された強度、生成された音源データ、及び絶対的な時間軸上の時刻に基づいて、シームレスな合成音声データが生成される。ここに、本発明に係る合成とは、例えば積算や加算等の所定の演算処理を実行して得られることばかりでなく、生成されたり、作成されたりすること等の、広い意味での合成を意味する。
【０００８】
これにより、仮想空間中、シームレスな合成音声データの時間的な開始位置と終了位置において、音波の波形が連続となり継ぎ目のない自然な印象を利用者に実感させることができる。
【０００９】
仮に、本発明に係るシームレスな音声データである音源データを用いない場合、例えば、ある場所において収録した有限長の音源が用意されている例を挙げることができる。この用意された音源では、音源の時間的な開始位置と終了位置において、音声データの波形が不連続となり途切れた不自然な印象となってしまう。
【００１０】
これに対して、本発明によれば、例えば美術館や博物館、複合商業施設、又は工場見学などを対象とした仮想空間中に、利用者が滞在する場合においても、シームレスな合成音声データが繰り返し再生されることにより、音声が途切れる不自然さを伴うことなく、利用者が長時間、仮想空間中を移動しながら滞在することができる。また、実在空間において音声素材が録音されるので、機械の稼働音や来場者による喧騒などの環境音を音声素材として提供できるので、臨場感を高くすることが可能である。
以上の結果、本発明に係る音声再生装置によれば、仮想空間において、例えば実在空間にて録音した音声素材が再生されることで、従来と比較して臨場感の高く、没入感の大きな音響効果を、音声を途切れさせることなくより自然に実現することができる。
【００１１】
上述の第１の発明に係る前記音源データ生成手段は、前記加工として、前記仮想空間中において、前記音源から発声される一種類のコンテンツを有する音声素材の音波の波形を少なくとも２つの異なる相対的な時間軸上に形成し、前記形成された少なくとも２つの音声データの波形を合成することにより、前記時間的にシームレスな音声データである音源データを生成する。これにより、時間軸に多様性を持たせた音声素材を用いることを実現できる。
【００１２】
上述の第１の発明に係る前記音源データ生成手段は、前記加工として、前記仮想空間中において、前記音源から発声される少なくとも２種類のコンテンツを夫々有する少なくとも２つの音声素材の音波の波形を少なくとも２つの異なる相対的な時間軸上に夫々形成し、前記形成された少なくとも２つの音声データの波形を合成することにより、前記時間的にシームレスな音声データである音源データを生成する。これにより、コンテンツ、及び時間軸に多様性を持たせた音声素材を用いることを実現できる。
【００１３】
上述の第１の発明に係る前記音源データ生成手段は、前記加工として、前記仮想空間中において、前記音源から発声される少なくとも２種類のコンテンツを夫々有する少なくとも２つの音声素材の長さが異なる場合、長さの大きい方を長さの小さい方へ合わせる。これにより、音声素材の長さに多様性を持たせることを実現できる。
【００１４】
上述の第１の発明に係る前記実在空間中の複数の地点にて音声素材を録音し、前記複数の地点を、前記録音された複数の音声素材に夫々対応した複数の音源の地点とする音声素材録音手段とを更に備える。これにより、仮想空間において、実在空間にて録音した音声素材が再生されることで、従来と比較して臨場感の高く、没入感の大きな音響効果を、音声を途切れさせることなくより自然に実現することができる。
【００１５】
上述の第１の発明に係る前記強度決定手段は、前記ユーザの視線の方向と、前記ユーザの位置と前記音源とを結ぶ方向との差である差分角度がゼロに近づくに従って大きくなる重み付け係数を前記強度に積算する。これにより、ユーザの向いている視線の方向に応じた指向性を適切に実現可能である。
【００１６】
上述の第１の発明に係る音声再生装置において、前記再生可能な音声データを再生する再生手段を更に備え、前記合成手段は、前記ユーザの視線の方向に対して、左側及び右側に所定角度だけ変位させた方向に応じた指向性により合成し、前記再生手段は、前記左側用のチャンネル、及び前記右側用のチャンネルとして、前記音声データを再生する。これにより、ユーザにステレオ効果の増大を実感させることが可能である。
【００１７】
上述の第１の発明に係る前記音源データ生成手段は、いずれの時刻においても２つの音声素材の振幅の和を１にすると共に、各音声素材の振幅は時間的に連続して変化し、各音声素材の少なくとも開始時刻と終了時刻においてはゼロとなるように、前記シームレスな音源データを生成する。これにより、仮想空間中、シームレスな音源データの時間的な開始位置と終了位置において、音波の波形が連続となり継ぎ目のない自然な印象を利用者に実感させることができる。
【００１８】
上述の第１の発明に係る前記音源データ生成手段は、いずれの時刻においても２つの音声素材の振幅の和を１にすると共に、各音声素材の振幅は時間的に連続して変化し、各音声素材の少なくとも開始時刻と終了時刻においては同一の振幅となるように、前記シームレスな音源データを生成する。これにより、仮想空間中、シームレスな音源データの時間的な開始位置と終了位置において、音波の波形が連続となり継ぎ目のない自然な印象を利用者に実感させることができる。
【００１９】
前述した課題を解決するために第２の発明は、実在空間を収録した仮想空間において、ユーザが存在する位置、及び前記ユーザに近接する少なくとも一つの音源の位置に基づいて音声の強度を決定する強度決定ステップと、前記少なくとも一つの音源から発声される音声素材を加工することにより、再生開始時と再生終了時とにおいて連続性を保持する時間的にシームレスな音声データである音源データを生成する音源データ生成ステップと、前記仮想空間中において、前記決定された強度、前記生成された音源データ、及び絶対的な時間軸上の時刻に基づいて、シームレスな合成音声データを生成する合成ステップとを含むことを特徴とする仮想空間中の音声再生方法である。
以上の結果、第２の発明に係る音声再生方法によれば、仮想空間において、例えば実在空間にて録音した音声素材が再生されることで、従来と比較して臨場感の高く、没入感の大きな音響効果を、音声を途切れさせることなくより自然に実現することができる。
【００２０】
前述した課題を解決するために第３の発明は、コンピュータを、実在空間を収録した仮想空間において、ユーザが存在する位置、及び前記ユーザに近接する少なくとも一つの音源の位置に基づいて音声の強度を決定する強度決定手段、前記少なくとも一つの音源から発声される音声素材を加工することにより、再生開始時と再生終了時とにおいて連続性を保持する時間的にシームレスな音声データである音源データを生成する音源データ生成手段、前記仮想空間中において、前記決定された強度、前記生成された音源データ、及び絶対的な時間軸上の時刻に基づいて、シームレスな合成音声データを生成する合成手段、として機能させることを特徴とするプログラムである。これにより、第３の発明のプログラムを汎用のコンピュータにインストールすることによって、第１の発明の音声再生装置を得ることができる。
本発明のこのような作用及び他の利得は次に説明する実施形態から明らかにされる。
【発明の効果】
【００２１】
仮想空間において、実在空間において録音した音声を再生することで、従来と比較して臨場感の高く、没入感の大きな音響効果を、音声を途切れさせることなくより自然に実現可能な音声再生装置をユーザに提供することができる。
【図面の簡単な説明】
【００２２】
【図１】第１実施形態に係る仮想空間用の映像再生装置及びシームレスな音源データを作成する音源データ作成装置のハードウェア構成を示したブロック図
【図２】第１実施形態に係る仮想空間用の映像再生装置の機能構成を示したブロック図
【図３】本実施形態に係る仮想空間用の映像再生装置の動作の全体の流れを示したフローチャート
【図４】本実施形態に係るシームレスな音源データを作成する音源データ作成装置による前処理の動作の流れを示したフローチャート
【図５】本実施形態に係るシームレスな音源データの作成処理の流れを示したフローチャート
【図６】本実施形態に係るシームレスな音源データの一例を示したグラフ
【図７】本実施形態に係る音声合成処理の流れを示したフローチャート
【図８】本実施形態に係る仮想空間における強度を算出する際の音源位置とユーザの位置とのユークリッド距離を概念的に示した模式図
【図９】第２実施形態に係る音声合成処理の流れを示したフローチャート
【図１０】第２実施形態に係る仮想空間における重み付け強度を算出する際の音源位置とユーザの位置との方向を概念的に示した模式図
【図１１】第２実施形態に係る仮想空間における重み付け強度を算出する際の音源位置とユーザの位置との方向（図１１（ａ））、及び、ステレオ効果を得る方向（図１１（ｂ）及び図１１（ｃ））を概念的に示した模式図
【図１２】第３実施形態に係るシームレスな音源データの作成処理の流れを示したフローチャート
【図１３】第３実施形態に係るシームレスな音源データの一例を示したグラフ
【図１４】第４実施形態に係るシームレスな音源データの一例を示したグラフ
【図１５】第５実施形態に係るシームレスな音源データの一例を示したグラフ
【図１６】第５実施形態の変形例に係るシームレスな音源データの一例を示したグラフ
【図１７】第６実施形態に係る音声合成処理の流れを示したフローチャート
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の好適な実施形態について説明する。
（第１実施形態）
【００２４】
（基本構成）
第１実施形態に係る仮想空間中の映像再生装置の基本構成について、図１及び図２を参照して説明する。ここに、図１は、第１実施形態に係る仮想空間用の映像再生装置及びシームレスな音源データを作成する音源データ作成装置のハードウェア構成を示したブロック図である。図２は、第１実施形態に係る仮想空間用の映像再生装置の機能構成を示したブロック図である。
【００２５】
（仮想空間用の映像再生装置のハードウェア構成）
図１は、仮想空間用の映像再生装置１００及びシームレスな音源データを作成する音源データ作成装置２００のハードウェア構成図である。なお、図１のハードウェア構成は一例であり、用途、目的に応じて様々な構成をとることが可能である。
【００２６】
映像再生装置１００を実現するコンピュータは、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００２７】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、映像再生装置１００が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００２８】
記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、各種の手段として実行される。
【００２９】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００３０】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。なお、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていても良い。
【００３１】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器（例えば、距離画像センサなど）を接続させるためのポートであり、コンピュータは周辺機器（イメージスキャナ、複合機等）、マイクロフォン装置、及びスピーカ装置等を備え、これらの装置とデータの送受信を周辺機器Ｉ／Ｆ部１７を介して行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３２】
（仮想空間用の映像再生装置の基本構成）
図２は、第１実施形態に係る仮想空間用の映像再生装置１００の機能構成を示したブロック図である。
図２において、本実施形態に係る仮想空間用の映像再生装置１００は、動作入力装置１０１、状態管理装置１０２、データベース１０３、画像生成装置１０４、画像表示装置１０５、音声合成装置１０６、時刻生成装置１０７、音声出力装置１０８、及び制御部１１を備えて構成されている。尚、この仮想空間用の映像再生装置１００によって、本発明に係る仮想空間用の音声再生装置の一例が構成されている。
【００３３】
動作入力装置１０１は、ユーザから動作を入力する。少なくとも位置の変更（前進若しくは後退又は加速度等で動作を入力）や、向きの変更を含み、経路の分岐点付近では、次の進行方向も指定する。通常、画像表示装置に表示された画像を見ながら、対話的に操作を行う。
状態管理装置１０２は、仮想空間中の現在のユーザの状態（位置、向き）に対して、動作入力装置１０１から入力された指示に基づいて状態を変更する。その際、データベースから経路等の情報を参照する。その後、ユーザの状態を保持して、画像生成装置１０４、及び音声合成装置１０６（モジュール）にユーザの状態に関する情報を提供する。
【００３４】
データベース１０３は、コンテンツ用のデータベースであり、対象としている仮想空間全体の、分岐を含む経路の情報、経路中の各地点に対応したパノラマ画像データ、音源位置における音源データ（所謂、シームレスな音源データ）などが格納されている。
画像生成装置１０４は、状態管理装置１０２から、現在のユーザの状態（位置、向き）を取得した後、データベース１０３から現在位置に対応したパノラマ画像を取得、これを現在の向きに応じてトリミング、歪み補正する。
【００３５】
画像表示装置１０５は、画像生成装置１０４により生成された画像を、ディスプレイ等の表示装置に表示する。
音声合成装置１０６は、ユーザの位置及び時間に基づいて、音声を合成して、合成された音声データを音声出力装置１０８に出力する。音声合成処理の詳細については後述される。
【００３６】
時刻生成装置１０７は、仮想空間中で一貫して経過する時刻を管理し、音声合成装置１０６等の必要なモジュールに提供する。
音声出力装置１０８は、音声合成装置１０６により合成された音声データを、スピーカ装置などで再生する。
制御部１１は、例えば記憶部やプロセッサ等を備えたＣＰＵやＭＰＵ等であり、仮想空間用の映像再生装置１００を構成する全ての構成要素を総括的に制御する。
【００３７】
なお、このような仮想空間用の映像再生装置においては、映像表示は所定のフレームレートで画像を切り替えながら表示することで、残像により動画として知覚されるため、状態の変更から画像の出力までのステップはある程度（ほぼ一定）の間隔（周期）の繰り返し処理となるが、音声の再生では断続的ではなく出力を連続させる必要がある。そのため、音声合成装置１０６では、現在時刻を起点に標準的な周期に対して充分な長さの音声シーケンスをあらかじめ生成しておき、音声合成装置１０６、及び音声出力装置１０８では次のタイミングで新しい音声シーケンスを取得するまで、直前に取得した音声シーケンスの再生を続ける。
【００３８】
（仮想空間用の映像再生装置の動作原理）
次に、図３乃至図８を参照して、本実施形態に係る仮想空間用の映像再生装置の動作原理について説明する。
【００３９】
（全体の流れ）
先ず図３を参照して、本実施形態に係る映像再生装置の動作の全体の流れを説明する。ここに、図３は、本実施形態に係る仮想空間用の映像再生装置の動作の全体の流れを示したフローチャートである。
図３に示されるように、映像再生装置１００の制御部１１が、画像生成処理によって、画像を生成する（ステップＳ１０１）。詳細には、上述した状態管理装置から、現在のユーザの状態（即ち、位置、向き）を取得した後、データベースから現在位置に対応したパノラマ画像を取得、これを現在の向きに応じてトリミング、歪み補正が行われる。
【００４０】
次に、映像再生装置１００の制御部１１が、画像表示処理を行う（ステップＳ１０２）。詳細には、画像生成処理により生成された画像が、ディスプレイ等の表示装置によって表示される。
上述したステップＳ１０１と同時に又は相前後して、映像再生装置１００の制御部１１が、音声合成装置１０６によって、音声合成処理を行う（ステップＳ１０３）。音声合成処理の詳細については、後述の図７及び図８において説明される。
次に、映像再生装置１００の制御部１１が、音声出力装置１０８によって、合成された音声データを、スピーカ装置などで再生する音声出力処理を行う（ステップＳ１０４）。
（前処理）
次に、事前に別途用意される「再生開始時と再生終了時において連続性を保持した（時間的にシームレスな）音声データである音源データ」の作成処理、所謂、前処理について、図４を参照して説明する。尚、この音源データを、適宜「シームレスな音源データ」又は「継ぎ目のない音源データ」と称す。図４は、本実施形態に係るシームレスな音源データを作成する音源データ作成装置による前処理の動作の流れを示したフローチャートである。
先ず、音源データ作成装置２００の制御部１１が、音源位置P1〜PNを設定する（ステップＳ２０１）。具体的には、仮想空間の範囲で（対象となる実在空間に対して設計された分岐を含むルート上で）、音源を設置するN個の音源位置（P1〜PN）が設定される。k番目の音源位置をPkと表現する。
【００４１】
次に、音源データ作成装置２００の制御部１１によって、音声素材の録音が行われる（ステップＳ２０２）。具体的には、実在空間に設定された各音源位置において、N個の音声素材R1〜RNを録音する。音声素材の録音時間はLRとする。音声素材の録音時間は音源位置ごとに異なっても良い。この場合、各音声素材の録音時間をLR1〜LRNと表現する。また、k番目の音源位置での録音時間をLRkと表現する。尚、このステップＳ２０２によって、音声素材録音手段の一例が構成されている。
一つの音源位置について、別の時刻に複数回、音声を録音して複数個の音声素材を取得してもよい。k番目の音源位置でのl番目に録音した音声素材をRklと表現する。
【００４２】
次に、音源データ作成装置２００の制御部１１が、音源データの作成処理を行う（ステップＳ２０３）。尚、このステップＳ２０３によって、本発明に係る音源データ生成手段の一例が構成されている。
各音源位置において録音した音声素材を加工して、その再生開始時と再生終了時において連続性を保持した（時間的にシームレスな）音声データである音源データ（「シームレスな音源データ」又は「継ぎ目のない音源データ」）が作成される。
【００４３】
（音源データの作成処理）
ここで、図５及び図６を参照して、本実施形態に係る音源データの作成処理について、説明する。この音源データの作成処理、所謂、前処理は、上述したように、予め事前に行われ、作成されたシームレスな音源データは、データベース１０３に格納される。データベース１０３に格納されたシームレスな音源データは、映像再生装置１００によって、取り出され、音声合成処理が行われ、出力される。ここに、図５は、本実施形態に係るシームレスな音源データの作成処理の流れを示したフローチャートである。但し、音声素材が一つの場合について説明する。
【００４４】
先ず音源データ作成装置２００の制御部１１が、音源位置Pk（１≦k≦N）を設定する（ステップＳ３０１）。
次に音源データ作成装置２００の制御部１１が、音声素材Rkの録音時間LRkを取得する（ステップＳ３０２）。
次に音源データ作成装置２００の制御部１１が、音波の波形を時刻t（0≦t＜LRk）における関数としてRk（t）と表現する（ステップＳ３０３）。
【００４５】
次に音源データ作成装置２００の制御部１１が、時刻tが（0≦t＜LRk/2）であるのか否かを判定する（ステップＳ３０４）。ここで、時刻tが（0≦t＜LRk/2）である場合（ステップＳ３０４：Ｙｅｓ）、次の式（１）とする（ステップＳ３０５）。
α（t）＝t／（LRk/2）    （0≦t＜LRk/2）        ………  （１）  
【００４６】
続いて、次の式（２）とする（ステップＳ３０７）。
β（t）＝1  −  α（t）                            ………  （２）  
【００４７】
続いて、次の式（３）とする（ステップＳ３０８）。
Sk（t）＝α（t）×Rk（t）＋β（t）×Rk（（t+  LRk/2）mod  LRk）  ………  （３）  
【００４８】
他方、音源データ作成装置２００の制御部１１による、上述したステップＳ３０４の判定の結果、時刻tが（0≦t＜LRk/2）でない場合、即ち、時刻tが（LRk/2≦t＜LRk）である場合（ステップＳ３０４：Ｎｏ）、次の式（４）とする（ステップＳ３０６）。
α（t）＝  1  −（  t  −  LRk/2）／（LRk/2）    （LRk/2≦t＜LRk）    ………  （４）  
【００４９】
（シームレスな音源データ：その１）
ここで、図６を参照して、本実施形態に係るシームレスな音源データの一例について、詳細に説明する。ここに、図６は、本実施形態に係るシームレスな音源データの一例を示したグラフである。尚、図６中の横軸は時間軸を示し、図６中の濃淡は、後述される原音声素材の相対的な時間軸を示し、縦軸は音声データの振幅を示す。
【００５０】
シームレスな音源データは、時間軸の異なる３種類の音声素材、第１乃至第３の音声素材により構成されている。尚、３種類の音声素材は、もともと１つの原音声素材であり、第１の音声素材は原音声素材そのもの（０≦ｔ＜LRk）であり、第２の音声素材は原音声素材の後半部（LRk/2≦t＜LRk）を時間軸上、前側に持ってきて、第３の音声素材は原音声素材の前半部（0≦t＜LRk/2）を時間軸上、後ろ側に持ってくるように、それぞれ切り出したものである。すなわち、第３の音声素材の終了時と、第２の音声素材の開始時には、それらの波形は連続性を維持している。
【００５１】
第１の音声素材は、原音声素材そのものであり、第１時間軸に沿って、振幅が０（ゼロ）である時刻Ｔ１０から開始され（所謂、フェードインされ）、漸増され、振幅が最大値１である時刻Ｔ１１を経て、漸減され、振幅が０（ゼロ）である時刻Ｔ１２にて終了される（所謂、フェードアウトされる）。
【００５２】
第２の音声素材は、原音声素材の後半部を時間軸上、前側に持ってきたものであり、第２時間軸に沿って、振幅が１である時刻Ｔ２０から開始され、漸減され、振幅が０（ゼロ）である時刻Ｔ２１にて終了される（所謂、フェードアウトされる）。
【００５３】
第３の音声素材は、原音声素材の前半部を時間軸上、後ろ側に持ってきたものであり、第３時間軸に沿って、振幅が０（ゼロ）である時刻Ｔ３０から開始され（所謂、フェードインされ）、漸増され、振幅が１である時刻Ｔ３１にて終了される。
【００５４】
特に、第１の音声素材の振幅と第２の音声素材の振幅との和（所謂、合成強度）は常に１であると共に、第１の音声素材の振幅と第３の音声素材の振幅との和（所謂、合成強度）は常に１である。
加えて、特に、第２の音声素材の開始時の振幅が１である状態と、第３の音声素材の終了時の振幅が１である状態とは、連続性を有するので、シームレスな音源データを作成することができる。
尚、時刻Ｔ１０と時刻Ｔ２０とは同一時刻を示し、時刻Ｔ１１と時刻Ｔ２１と時刻Ｔ３０とは同一時刻を示し、時刻Ｔ１２と時刻Ｔ３１とは同一時刻を示す。
【００５５】
（音源データの作成処理：続き）
より具体的には、時刻tが、t＝LRk/4の場合について考察する。この場合、次の式（１ａ）、式（２ａ）、及び式（３ａ）が成立する。
α（LRk/4）＝1/2        ………  （１ａ）      
β（LRk/4）＝1/2        ………  （２ａ）      
Sk（LRk/4）＝1/2×Rk（LRk/4）＋1/2×Rk（（LRk/4+LRk/2）mod  LRk）
Sk（LRk/4）＝1/2×Rk（LRk/4）＋1/2×Rk（（3LRk/4）mod  LRk）
………（３ａ）    
【００５６】
以上より、次の式（３ｂ）が成立する。
Sk（LRk/4）＝1/2×Rk（LRk/4）＋1/2×Rk（3LRk/4）        ………（３ｂ）  
更に具体的には、時刻tが、t＝3LRk/4の場合について考察する。この場合、次の式（１ｂ）、式（２ｂ）、及び式（３ｃ）が成立する。
α（3LRk/4）＝1/2        ………  （１ｂ）      
β（3LRk/4）＝1/2        ………  （２ｂ）      
Sk（3LRk/4）＝1/2×Rk（3LRk/4）＋1/2×Rk（（3LRk/4+LRk/2）mod  LRk）
Sk（3LRk/4）＝1/2×Rk（3LRk/4）＋1/2×Rk（（5LRk/4）mod  LRk）
………（３ｃ）  
【００５７】
以上より、次の式（３ｄ）が成立する。
Sk（3LRk/4）＝1/2×Rk（3LRk/4）＋1/2×Rk（LRk/4）        ………（３ｄ）  
式（３ｂ）、及び図６に示されるように、t＝LRk/4である場合において、第１の音声素材の振幅と第２の音声素材の振幅との和（所謂、合成強度）は１である。
【００５８】
式（３ｄ）、及び図６に示されるように、t＝3LRk/4である場合においても、第１の音声素材の振幅と第３の音声素材の振幅との和（所謂、合成強度）は１である。
【００５９】
以上の結果、次の条件を満たせば、音声素材を制約なく合成すればよい。１番目の条件としては、いずれの時刻においても各音声素材の合成強度（即ち、振幅）の和が1になる点である。２番目の条件としては、各音声素材の合成強度は時間的に連続して変化し、少なくとも音声素材の開始時刻と終了時刻においては0となる点である。
【００６０】
（音声合成処理）
次に、図７及び図８を参照して、本実施形態に係る音声合成処理について説明する。ここに、図７は、本実施形態に係る音声合成処理の流れを示したフローチャートである。図８は、本実施形態に係る仮想空間における強度を算出する際の音源位置とユーザの位置とのユークリッド距離を概念的に示した模式図である。特に、音声合成装置１０６によって、下記の各処理が行われる。
【００６１】
上述した音源データの作成処理を経て、全音源位置P1〜PNにおける音源データS1〜SNができる。それぞれの音源データの録音時間は同一でなくてもよく、LS1〜LSNと表現する。
仮想空間において一貫して経過する時刻tに対応するN個の音源Sの時刻tにおける音波の波形S1（t）〜SN（t）を、仮想空間中のユーザの時刻tにおける現在位置X（x（t）、y（t））と各音源位置P1〜PNの位置関係に応じた強度で加算した合成音Cを再生する。
【００６２】
詳細には、図７に示されるように、映像再生装置１００の制御部１１が、先ず、現在時刻t0を求める（ステップＳ４０１）。詳細には、次の式（４）によって得られる。
t0:=  t0  +  Δt        ………  （４）
【００６３】
次に、映像再生装置１００の制御部１１が、仮想空間中の現在位置X（x（t0）、y（t0））を求める。現在位置X（x（t0）、y（t0））はユーザからの指示により時々刻々と変化する（ステップＳ４０２）。
次に、映像再生装置１００の制御部１１が、変数kに「１」を代入する（ステップＳ４０３）。
k:=  1        ………  （５）
次に、映像再生装置１００の制御部１１が、k番目の音源の仮強度を計算する（ステップＳ４０４）。
音源位置をPk（Pkx、Pky）とし、
dk  :  =  √｛(Pkx  −  x)2+(Pky  −  y)2｝        ………  （６）
Uk  =  1/dk2        ………  （７）
即ち、音声の仮強度Ukが距離dkの2乗に反比例する
【００６４】
より具体的には、図８に示されるように、音源位置Pkのxy座標（Pkx、Pky）とユーザ位置（x（t0）、y（t0））とに対して、ユークリッド距離が求められる。
続いて、制御部１１が、次の式（８）が成立するか否かを判定する（ステップＳ４０５）。
k  =  N        ………  （８）  
【００６５】
ここで、映像再生装置１００の制御部１１が、k  =  Nと判定しない場合（ステップＳ４０５：Ｎｏ）、次の式（９）に示されるように変数kが「１」だけ増加される（ステップＳ４０６）と共に上述したk番目の音源の仮強度が計算される（ステップＳ４０４）。
k:=  k  +  1    ………  （９）  
【００６６】
他方、映像再生装置１００の制御部１１が、k  =  Nと判定する場合（ステップＳ４０５：Ｙｅｓ）、次の式（１０）に示されるように、Ukの合計が算出される（ステップＳ４０７）。
U  =  U1  +  U2  +  U3  +  …  +  Uk  +  …  +  UN    ………  （１０）  
【００６７】
次に、映像再生装置１００の制御部１１が、変数kに「１」を代入する（ステップＳ４０８）。
k:=  1        ………  （１１）  
続いて、映像再生装置１００の制御部１１が、音声合成装置１０６によって、次の式（１２）に示されるように、k番目の音源の確定的な強度を計算する（ステップＳ４０９）。尚、このステップＳ４０９によって、本発明に係る強度決定手段の一例が構成されている。
Uk  ＝  Uk/U        ………  （１２）  
【００６８】
続いて、映像再生装置１００の制御部１１が、次の式（１３）が成立するか否かを判定する（ステップＳ４１０）。
k  =  N        ………  （１３）  
【００６９】
ここで、映像再生装置１００の制御部１１が、k  =  Nと判定しない場合（ステップＳ４１０：Ｎｏ）、映像再生装置１００の制御部１１が、次の式（１４）に示されるように変数kを「１」だけ増加させる（ステップＳ４１１）と共に上述したk番目の音源の確定的な強度が計算される（ステップＳ４０９）。
k:=  k  +  1    ………  （１４）  
【００７０】
他方、映像再生装置１００の制御部１１が、ステップＳ４１０の判定の結果、k  =  Nと判定する場合（ステップＳ４１０：Ｙｅｓ）、映像再生装置１００の制御部１１が、音声合成装置１０６、時刻生成装置１０７、及び音声出力装置１０８によって、t＝t0  〜  t0+Δtの期間、次の式（１５）に示される音波C（t）の波形を再生する（ステップＳ４１２）。尚、このステップＳ４１２によって、本発明に係る合成手段の一例が構成されている。
【数１】
2014127967.tif 000003
この結果、合成音のシーケンスが作成される。
【００７１】
更に他方、映像再生装置１００の制御部１１が、ステップＳ４１０の判定の結果、k  =  Nと判定する場合（ステップＳ４１０：Ｙｅｓ）、合成音のシーケンスの作成と同時に又は相前後して、ステップＳ４０１に戻る。
【００７２】
（第２実施形態）
次に図９乃至図１１を参照して、第２実施形態について説明する。第２実施形態は、ユーザの目線方向の向きにおける指向性及びステレオ効果を考慮した実施形態である。
ここに、図９は、第２実施形態に係る音声合成処理の流れを示したフローチャートである。図１０は、第２実施形態に係る仮想空間における重み付け強度を算出する際の音源位置とユーザの位置との方向を概念的に示した模式図である。図１１は、第２実施形態に係る仮想空間における重み付け強度を算出する際の音源位置とユーザの位置との方向（図１１（ａ））、及び、ステレオ効果を得る方向（図１１（ｂ）及び図１１（ｃ））を概念的に示した模式図である。
【００７３】
尚、第２実施形態において、上述した第１実施形態と概ね同様な構成については、同様の符号番号を付しそれらの説明は適宜省略する。加えて、第２実施形態において、上述した第１実施形態と概ね同様の処理については、同一のステップ番号を付しそれらの説明は適宜省略する。
【００７４】
（音声合成処理）
図９に示されるように、先ず、上述したステップＳ４０１乃至ステップＳ４０４を経て、音声合成装置１０６がステレオ効果を付与する（ステップＳ５０１）。詳細には、図１１（ｂ）及び図１１（ｃ）に示されるように、ユーザの向きに対して左右に所定の角度±αだけ変位させた角度φL（t）およびφR（t）を設定して指向性の集音を行うことで、これらを左右の耳に入力される音像と見立て、仮想空間を利用中のユーザの左右の音声データとして与えることで、ステレオ効果のある音声を実現することができる。
【００７５】
より詳細には、ステレオ音声を合成するために、さらに上記指向性を計算するにあたり、ユーザの向きから左右に一定間隔を持った向きを、それぞれ左耳と右耳の指向性の方向とすることにより、LR（Left  and  Right）チャネルそれぞれの合成音を作り、ステレオスピーカ装置などで再生することで、立体感のある音場を再現することができる。詳細には、図１０、図１１（ｂ）及び図１１（ｃ）に示されるように、θakに対して、±αを加算すればよい。
【００７６】
次に、指向性を考慮した音声合成として、仮強度に対してユーザの向きφ（t）とユーザの位置から各音源位置を見た方向θk（t）とに応じて重み付け強度が加算される（ステップＳ５０２）。尚、全ての方向や向きは、例えば北向き等の所定の方向を基準として、定義される。
【００７７】
詳細には、図１０及び図１１（ａ）に示されるように、ユーザの現在位置X（t）に加え、ユーザの向きφ（t）を考慮し、ユーザの位置から各音源位置を見た方向θk（t）に応じた重み付け強度を積算することで、集音の指向性を表現することができる。この場合、加算される重み付け強度は、ユーザの向きと音源の方向の差（φ（t）−θk（t））の絶対値に対して単調減少する。尚、この方向の差を差分角度θakとすると次の式が成り立つ。この差分角度θakによって、本発明に係る差分角度の一例が構成されている。
θak＝｜φ（t）−θk（t）｜      ………  （２０）    
【００７８】
より詳細には、耳の位置や耳介の形状などから、人間の聴覚に前方に指向性を持たせて音声を合成することが妥当である。また、仮想空間の提示の仕方としても、眼に見えている方向の音源を強調して提示することは妥当である。
【００７９】
この考え方に基づいて、ユーザの向き（視線方向）と、ユーザからの音源位置とのなす角度θakに応じて、第１実施形態に係る仮強度の計算式に重みを付ける。
Uk＝wk×Uk      ………  （２１）    
ここで、wkは上記の差分角度θakに応じた重み係数であり、少なくとも差分角度θak＝0の場合に最大となり、θakの絶対値の増加に対して単調減少する必要がある。この設計は任意であるが、例えば、
wk=cos（a×θak）      ………  （２２）
などとすれば良い。この場合aは2以上である必要があり、例えば4などとする。これにより、０≦θak≦πの範囲について、wkが負の値にならないようにすることができる。
【００８０】
（第３実施形態）
次に図１２及び図１３を参照して、第３実施形態について説明する。ここに、図１２は、第３実施形態に係るシームレスな音源データの作成処理の流れを示したフローチャートである。但し、音声素材が２つの異なるコンテンツの場合について説明する。特に、本ルーチンは、音源データ作成装置２００が予め事前に前処理として実行され、実行の結果、作成されたシームレスな音源データが、パノラマ画像データと共にデータベース１０３に格納される。また、第３実施形態において、上述した第１又は第２実施形態と概ね同様な構成については、同様の符号番号を付しそれらの説明は適宜省略する。加えて、第３実施形態において、上述した第１又は第２実施形態と概ね同様の処理については、同一のステップ番号を付しそれらの説明は適宜省略する。
【００８１】
図１２に示されるように、先ず音源データ作成装置２００の制御部１１が、音源位置Pkを設定する（ステップＳ６０１）。
次に音源データ作成装置２００の制御部１１が、音声素材Rk1の録音時間LRk1、及び音声素材Rk2の録音時間LRk2、を取得する（ステップＳ６０２）。但し、前処理を行い、録音時間LRk1と録音時間LRk2とは予め等しくさせる。例えば録音時間の長い方を適当なところで切り取ってよい。本実施形態によれば、長さの異なる音声素材においても、前処理として、長さを同じにするため、適切にシームレスな音源データを生成することができる。例えば３０秒等の美術館における作品の説明（キュレータによる作品の説明）などは、比較的に短時間で簡潔なものが発話されるが、説明のない時間のざわつきなどの環境音は例えば約２分の長時間録音が可能である。この場合、例えば約２分の環境音を３０秒にしてよい。この結果、時間の長さが等しくなった、録音時間LRkである音声素材Rk1、及び音声素材Rk2が取得される。
【００８２】
次に音源データ作成装置２００の制御部１１が、音波の波形を時刻t（0≦t＜LRk）における関数としてRk1（t）及びRk2（t）と表現する（ステップＳ６０３）。
【００８３】
次に音源データ作成装置２００の制御部１１が、時刻tが（0≦t＜LRk/2）であるのか否かを判定する（ステップＳ６０４）。ここで、時刻tが（0≦t＜LRk/2）である場合（ステップＳ６０４：Ｙｅｓ）、次の式（３０）とする（ステップＳ６０５）。
α（t）＝t／（LRk/2）（0≦t＜LRk/2）        ………  （３０）  
【００８４】
続いて、次の式（３１）とする（ステップＳ６０７）。
β（t）＝1−α（t）                            ………  （３１）  
続いて、次の式（３２）とする（ステップＳ６０８）。
Sk（t）＝α（t）×Rk1（t）＋β（t）×Rk2（（t+LRk/2）mod  LRk）……（３２）
【００８５】
他方、上述したステップＳ６０４の判定の結果、時刻tが（0≦t＜LRk/2）でない場合、即ち、時刻tが（LRk/2  ≦t＜LRk）である場合（ステップＳ６０４：Ｎｏ）、次の式（３３）とする（ステップＳ６０６）。
α（t）＝  １  −（  t  −  LRk/2）／（LRk/2）  
（LRk/2  ≦t＜LRk）          ………（３３）  
【００８６】
（シームレスな音源データ：その２）
ここで、図１３を参照して、本実施形態に係るシームレスな音源データの一例について、詳細に説明する。ここに、図１３は、第３実施形態に係るシームレスな音源データの一例を示したグラフである。尚、図１３中の横軸は時間軸を示し、図１３中の濃淡は、音声素材中の相対的な時間軸を示し、縦軸は音声データの振幅を示す。
【００８７】
シームレスな音源データは、時間軸の異なる３種類の音声素材、第４乃至第６の音声素材により構成されている。尚、３種類の音声素材は、もともと２種類のコンテンツの音声素材であり、第４の音声素材は、第１のコンテンツの原音声素材そのもの（０≦ｔ＜LRk）、第５の音声素材は、第２のコンテンツの原音声素材の後半部（LRk/2≦t＜LRk）、第６の音声素材は、第２のコンテンツの原音声素材の前半部（0≦t＜LRk/2）をそれぞれ切り出したものである。すなわち、第６の音声素材の終了時と、第５の音声素材の開始時には、それらの波形は連続性を維持している。
【００８８】
第４の音声素材は、第１のコンテンツである原音声素材そのものであり、第１時間軸に沿って、振幅が０（ゼロ）である時刻Ｔ５０から開始され（所謂、フェードインされ）、漸増され、振幅が最大値１である時刻Ｔ５１を経て、漸減され、振幅が０（ゼロ）である時刻Ｔ５２にて終了される（所謂、フェードアウトされる）。
第５の音声素材は、第２のコンテンツである原音声素材の後半部を時間軸上、前側に持ってきたものであり、第２時間軸に沿って、振幅が１である時刻Ｔ６０から開始され、漸減され、振幅が０（ゼロ）である時刻Ｔ６１にて終了される（所謂、フェードアウトされる）。
第６の音声素材は、第２のコンテンツである原音声素材の前半部を時間軸上、後ろ側に持ってきたものであり、第３時間軸に沿って、振幅が０（ゼロ）である時刻Ｔ７０から開始され（所謂、フェードインされ）、漸増され、振幅が１である時刻Ｔ７１にて終了される。
【００８９】
特に、第４の音声素材の振幅と第５の音声素材の振幅との和（所謂、合成強度）は常に１であると共に、第４の音声素材の振幅と第６の音声素材の振幅との和（所謂、合成強度）は常に１である。
加えて、特に、第５の音声素材の開始時の振幅が１である状態と、第６の音声素材の終了時の振幅が１である状態とは、連続性を有するので、シームレスな音源データを作成することができる。
尚、時刻Ｔ５０と時刻Ｔ６０とは同一時刻を示し、時刻Ｔ５１と時刻Ｔ６１と時刻Ｔ７０とは同一時刻を示し、時刻Ｔ５２と時刻Ｔ７１とは同一時刻を示す。
【００９０】
（第４実施形態）
（シームレスな音源データ：その３）
次に図１４を参照して、第４実施形態について説明する。ここに、図１４は、第４実施形態に係るシームレスな音源データの一例を示したグラフである。尚、図１４中の横軸は時間軸を示し、図１４中の濃淡は、音声素材中の相対的な時間軸を示し、縦軸は音声データの振幅を示す。また、第４実施形態において、上述した第１乃至第３実施形態と概ね同様な構成については、同様の符号番号を付しそれらの説明は適宜省略する。加えて、第４実施形態において、上述した第１乃至第３実施形態と概ね同様の処理については、同一のステップ番号を付しそれらの説明は適宜省略する。
【００９１】
シームレスな音源データは、時間軸の異なる２種類の音声素材、第７及び第８の音声素材により構成されている。尚、音声素材は１つの音声データであり、１つの音声データを再生する際の時間軸（即ち、再生開始位置又は再生開始時刻）を異ならせることにより、２種類の音声素材が用いられてよい。第７の音声素材は原音声素材の前半部であり、第８の音声素材は原音声素材の後半部であり、原音声素材の録音時間LRkをｔ＝LRk/2において分割し、前半部と後半部とを重ね合わせて合成したものである。
【００９２】
第７の音声素材は、第１時間軸に沿って、振幅が０（ゼロ）である時刻Ｔ１０から開始され（所謂、フェードインされ）、漸増され、振幅が最大値１である時刻Ｔ１１にて終了される。
第８の音声素材は、第２時間軸に沿って、振幅が１である時刻Ｔ２０から開始され、漸減され、振幅が０（ゼロ）である時刻Ｔ２１にて終了される（所謂、フェードアウトされる）。
【００９３】
特に、第７の音声素材の振幅と第８の音声素材の振幅との和（所謂、合成強度）は常に１である。
加えて、特に、第８の音声素材の開始時の振幅が１である状態と、第７の音声素材の終了時の振幅が１である状態とは、連続性を有するので、シームレスな音源データを作成することができる。
尚、時刻Ｔ１０と時刻Ｔ２０とは同一時刻を示し、時刻Ｔ１１と時刻Ｔ２１とは同一時刻を示す。
これにより、上述した第１乃至第３、後述される第５及び第６実施形態と比較して、全体の長さをより短くしたシームレスな音源データを作成することができる。
【００９４】
（第５実施形態）
（シームレスな音源データ：その４）
ここで、図１５及び図１６を参照して、本実施形態に係るシームレスな音源データの一例について、詳細に説明する。ここに、図１５は、第５実施形態に係るシームレスな音源データの一例を示したグラフである。図１６は、第５実施形態の変形例に係るシームレスな音源データの一例を示したグラフである。尚、図１５及び図１６中の横軸は時間軸を示し、縦軸は音声データの振幅を示す。また、第５実施形態において、上述した第１乃至第４実施形態と概ね同様な構成については、同様の符号番号を付しそれらの説明は適宜省略する。加えて、第５実施形態において、上述した第１乃至第４実施形態と概ね同様の処理については、同一のステップ番号を付しそれらの説明は適宜省略する。
【００９５】
シームレスな音源データは、時間軸及びコンテンツの異なる４種類の音声素材、第１１乃至第１４音声素材により構成されている。
尚、第１１乃至第１４音声素材は４つの異なるコンテンツの音声データであると共に時間軸（即ち、再生開始位置又は再生開始時刻）も異ならせることにより、４種類の音声素材として用いられてよい。
【００９６】
第１１乃至第１４音声素材は全て同じ長さ（即ち、LRk）であり、４つの音声素材を合成して2×LRkの長さの音源データとなってよい。
第１１音声素材は、第１１のコンテンツであり、第１１時間軸に沿って、振幅が０（ゼロ）である時刻Ｐ０から開始され（所謂、フェードインされ）、漸増され、振幅が最大値１である時刻Ｐ１を超えると、漸減され、振幅が０（ゼロ）である時刻Ｐ２にて終了される（所謂、フェードアウトされる）。
第１２音声素材は、第１２のコンテンツであり、第１２時間軸に沿って、振幅が０（ゼロ）である時刻Ｐ１から開始され（所謂、フェードインされ）、漸増され、振幅が最大値１である時刻Ｐ２を超えると、漸減され、振幅が０（ゼロ）である時刻Ｐ３にて終了される（所謂、フェードアウトされる）。
第１３音声素材は、第１３のコンテンツであり、第１３時間軸に沿って、振幅が０（ゼロ）である時刻Ｐ２から開始され（所謂、フェードインされ）、漸増され、振幅が最大値１である時刻Ｐ３を超えると、漸減され、振幅が０（ゼロ）である時刻Ｐ４にて終了される（所謂、フェードアウトされる）。
第１４音声素材は、第１４のコンテンツであり、第１４時間軸に沿って、振幅が０（ゼロ）である時刻Ｐ３から開始され（所謂、フェードインされ）、漸増され、振幅が最大値１である時刻Ｐ４を超えると、Ｐ０に戻って漸減され、振幅が０（ゼロ）である時刻Ｐ１にて終了される（所謂、フェードアウトされる）。
【００９７】
特に、第１４音声素材の開始時の振幅が１である時刻Ｐ４と、第１４音声素材の開始時の振幅が１である時刻Ｐ０とは、連続性を有するので、シームレスな音源データを作成することができる。
【００９８】
加えて、特に、時刻Ｐ１から時刻Ｐ２における、第１１音声素材の振幅と第１２の音声素材の振幅との和（所謂、合成強度）は常に１である。時刻Ｐ２から時刻Ｐ３における、第１２音声素材の振幅と第１３の音声素材の振幅との和（所謂、合成強度）は常に１である。時刻Ｐ３から時刻Ｐ４における、第１３音声素材の振幅と第１４の音声素材の振幅との和（所謂、合成強度）は常に１である。時刻Ｐ０から時刻Ｐ１における、第１４音声素材の振幅と第１１の音声素材の振幅との和（所謂、合成強度）は常に１である。
【００９９】
尚、時刻Ｐ０から時刻Ｐ１の長さは、LRk/2であり、時刻Ｐ０から時刻Ｐ２の長さは、LRkであり、時刻Ｐ０から時刻Ｐ３の長さは、3×LRk/2であり、時刻Ｐ０から時刻Ｐ４の長さは、2×LRkである。
【０１００】
以上の結果、次の条件を満たせば、音声素材を制約なく合成すればよい。１番目の条件としては、いずれの時刻においても各音声素材の合成強度の和が1になる点である。２番目の条件としては、各音声素材の合成強度（振幅）は時間的に連続して変化し、少なくとも音声素材の開始時刻と終了時刻においては0となる点である。或いは、２番目の条件としては、図１６に示された第５実施形態の変形例に示されるように、音声素材の終了時刻において、音声強度が0でない音声素材は、音源データの開始時刻においても同じ（または微小量だけ変化した）音声強度となってよい点である。
【０１０１】
（第６実施形態）
（音声合成処理）
次に、図１７を参照して、第６実施形態に係る音声合成処理について説明する。
ここに、図１７は、第６実施形態に係る音声合成処理の流れを示したフローチャートである。尚、第６実施形態において、上述した第１乃至第５実施形態と概ね同様な構成については、同様の符号番号を付しそれらの説明は適宜省略する。加えて、第６実施形態において、上述した第１乃至第５実施形態と概ね同様の処理については、同一のステップ番号を付しそれらの説明は適宜省略する。第６実施形態は、現実的に実践する上で充分な方法を示す。
【０１０２】
図１７に示されるように、上述したステップＳ４０１及びステップＳ４０２を経て、映像再生装置１００の制御部１１によって、ユーザに隣接する音源が２つ取得され、音源位置PA、PBとされる（ステップＳ１００１）。
【０１０３】
次に、映像再生装置１００の制御部１１が、A番目の音源の仮強度、及びB番目の音源の仮強度を計算する（ステップＳ１００２）。より具体的には、音源位置PAのxy座標（PAx、PAy）とユーザ位置（x（t0）、y（t0））とに対して、ユークリッド距離が求められる。概ね同様にして、音源位置PBのxy座標（PBx、PBy）とユーザ位置（x（t0）、y（t0））とに対して、ユークリッド距離が求められる。
音源位置をPA（PAx、PAy）とし、
dA  :  =  √｛(PAx  −  x（t0）)2+(PAy  −  y（t0）)2｝  ………  （６Ａ）
UA  =  1/dA2        ………  （７Ａ）
即ち、音声の仮強度UAが距離dAの2乗に反比例する。
概ね同様にして、
音源位置をPB（PBx、PBy）とし、
dB  :  =  √｛(PBx  −  x（t0）)2+(PBy  −  y（t0）)2｝  ………  （６Ｂ）
UB  =  1/dB2        ………  （７Ｂ）
【０１０４】
次の式（８０）に示されるように、UAとUBとの合計Uが算出される（ステップＳ１００３）。
U  =  UA  +  UB    ………  （８０）  
【０１０５】
続いて、映像再生装置１００の制御部１１が、次の式（９０Ａ）及び式（９０Ｂ）に示されるように、Ａ番目の音源位置PA及びＢ番目の音源位置PBにおける確定的な強度を計算する（ステップＳ１００４）。尚、このステップＳ１００４によって、本発明に係る強度決定手段の一例が構成されている。
UA  ＝  UA/U        ………  （９０Ａ）  
UB  ＝  UB/U        ………  （９０Ｂ）  
映像再生装置１００の制御部１１が、音声合成装置１０６、時刻生成装置１０７、及び音声出力装置１０８によって、t＝t0  〜  t0+Δtの期間、次の式（１６）に示される音波C（t）の波形を再生する（ステップＳ１００５）。尚、このステップＳ１００５によって、本発明に係る合成手段の一例が構成されている。
【数２】
2014127967.tif 000004
但し、音源位置PAにおける音源データの録音時間LSAと表現し、音源位置PBにおける音源データの録音時間LSBと表現する。
【０１０６】
式（１６）が適用される理由としては、既定の経路上を移動するという制約下での仮想空間であれば（分岐点には必ず音源を配置するという前提で）、経路上に離散的に配置した音源位置とユーザの現在位置との関係は、ユーザに隣接する音源が２つとなる。さらに各音源は実際には完全に独立したものではなく、近接する音源の影響が含まれている。これらの点を前提とすれば、現在位置に隣接する2つの音源、SAとSBの和によって、音声合成処理の充分な精度が得られるからである。
【産業上の利用可能性】
【０１０７】
本発明は、例えば現実空間を実際に撮影することにより生成された仮想空間に利用可能である。特に、博物館若しくは美術館やテーマパーク、アミューズメント施設、観光地、複合商業施設等などの現実に存在する空間を対象として、現実空間を実際に撮影することにより生成された仮想空間に利用可能である。
【符号の説明】
【０１０８】
１１        制御部
１２        記憶部
１３        メディア入出力部
１４        通信制御部
１５        入力部
１６        表示部
１７        周辺機器Ｉ／Ｆ部
１００      映像再生装置
１０１      動作入力装置
１０２      状態管理装置
１０３      データベース
１０４      画像生成装置
１０５      画像表示装置
１０６      音声合成装置
１０７      時刻生成装置
１０８      音声出力装置
２００      音源データ作成装置
【図１】
2014127967.tif 000005
【図２】
2014127967.tif 000006
【図３】
2014127967.tif 000007
【図４】
2014127967.tif 000008
【図５】
2014127967.tif 000009
【図６】
2014127967.tif 000010
【図７】
2014127967.tif 000011
【図８】
2014127967.tif 000012
【図９】
2014127967.tif 000013
【図１０】
2014127967.tif 000014
【図１１】
2014127967.tif 000015
【図１２】
2014127967.tif 000016
【図１３】
2014127967.tif 000017
【図１４】
2014127967.tif 000018
【図１５】
2014127967.tif 000019
【図１６】
2014127967.tif 000020
【図１７】
2014127967.tif 000021