(57)【要約】【課題】本発明は、仮想実演者と実演とを有機的に関連付けて、現実感のある拡張現実をユーザーに感知させる拡張現実提示プログラムを提供すること。【解決手段】被選択実演データのパフォーマンスデータを個人データのパフォーマンス特徴データに基づいて加工することによって加工パフォーマンスデータを作成する実演データ加工ステップ（Ｓ２４０）を備え、実演者照合ステップ（Ｓ２２０）において、仮想実演者識別情報と被選択実演者識別情報とが一致しなかった場合に、撮像データおよび加工パフォーマンスデータを合成して得た拡張現実を出力手段から出力する。【選択図】図５
2019133304.tif 000002
【特許請求の範囲】
【請求項１】
現実空間を撮像するカメラと、ユーザーの指示を受け付ける入力手段と、音声および画像を出力する出力手段とを用いて前記ユーザーに拡張現実を提示する拡張現実提示プログラムであって、
前記カメラによる撮像データから仮想実演者特定マーカーを検出するマーカー検出ステップと、
前記仮想実演者特定マーカーから仮想実演者識別情報を読み取る仮想実演者識別情報読取ステップと、
前記仮想実演者特定マーカーの仮想実演者識別情報に基づいて特定された仮想実演者の個人データを実演者情報サーバーから取得する個人データ取得ステップと、
前記入力手段に入力された実演選択指示に基づいて被選択実演データを実演データサーバーから取得する実演データ取得ステップと、
前記仮想実演者の仮想実演者識別情報と前記被選択実演データの被選択実演者識別情報とを照合する実演者照合ステップと、
前記被選択実演データのパフォーマンスデータを前記個人データのパフォーマンス特徴データに基づいて加工することによって加工パフォーマンスデータを作成する実演データ加工ステップとを備え、
前記実演者照合ステップにおいて、前記仮想実演者識別情報と前記被選択実演者識別情報とが一致した場合に、前記撮像データおよび前記パフォーマンスデータを合成して得た拡張現実を前記出力手段から出力し、
前記実演者照合ステップにおいて、前記仮想実演者識別情報と前記被選択実演者識別情報とが一致しなかった場合に、前記撮像データおよび前記加工パフォーマンスデータを合成して得た拡張現実を前記出力手段から出力することを特徴とする拡張現実提示プログラム。
【請求項２】
前記パフォーマンス特徴データが、音声に関する特徴である音声特徴データであり、
前記パフォーマンスデータが、音声データであり、
前記加工パフォーマンスデータが、前記実演データ加工ステップにおいて、前記音声データを前記音声特徴データに基づいて加工した加工音声データであることを特徴とする請求項１に記載の拡張現実提示プログラム。
【請求項３】
前記パフォーマンス特徴データが、演奏に関する特徴である演奏特徴データであり、
前記パフォーマンスデータが、演奏データであり、
前記加工パフォーマンスデータが、前記実演データ加工ステップにおいて、前記演奏データを前記演奏特徴データに基づいて加工した加工演奏データであることを特徴とする請求項１または請求項２に記載の拡張現実提示プログラム。
【請求項４】
前記仮想実演者識別情報に基づいて特定された仮想実演者のフィギュアデータをフィギュアデータサーバーから取得するフィギュアデータ取得ステップをさらに備え、
前記被選択実演データが、前記フィギュアデータを動かすモーションデータを有し、
前記個人データが、動作特徴データを有し、
前記実演データ加工ステップにおいて、前記モーションデータを前記動作特徴データに基づいて加工することによって加工モーションデータが作成され、
前記実演者照合ステップにおいて、前記仮想実演者識別情報と前記被選択実演者識別情報とが一致して得た場合に、前記撮像データ、前記パフォーマンスデータおよび前記モーションデータを合成した拡張現実を前記出力手段から出力し、
前記実演者照合ステップにおいて、前記仮想実演者識別情報と前記被選択実演者識別情報とが一致しなかった場合に、前記撮像データ、前記加工パフォーマンスデータおよび前記加工モーションデータを合成して得た拡張現実を前記出力手段から出力することを特徴とする請求項１乃至請求項３のいずれか１項に記載の拡張現実提示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーに拡張現実を提示する拡張現実提示プログラムに関するものであって、特に、現実空間を撮像するカメラと、ユーザーからの要求を受け付ける入力手段と、音声および画像を出力する出力手段とを用いる拡張現実提示プログラムに関する。
【背景技術】
【０００２】
従来、紙面に印刷された印影を読み取り、文字・キャラクター・画像・映像・音・３Ｄ等の出現による演出などを実現する携帯端末装置が知られている（例えば、特許文献１）。
この携帯端末装置では、使用者が表示部の映像を見ながらヒーローの絵柄の印影にピントを合わせる操作を行うことにより、戦闘ポーズをとったヒーローを演出画像として表示部に出現させることができる。
さらに、上述の携帯端末装置では、各印影に楽器が対応付けられており、携帯端末装置を操作して印影を読み取り操作することで、各印影に対応する楽器の音による演出が可能になっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５４６８１５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した携帯端末装置では、表示部に演出画像として表示される人物（ヒーロー）と、演出で用いられる音との間には有機的な関連が定められていない。
これにより、携帯端末装置の使用者は演出画像として表示部に表示される人物（仮想実演者）と演出で用いられている音（実演）との間の関係を感じにくく、より現実感のある拡張現実を使用者に感知させるためには更なる改善の余地があった。
【０００５】
そこで、本発明は、前述したような従来技術の問題を解決するものであって、すなわち、本発明の目的は、仮想実演者と実演とを有機的に関連付けて、現実感のある拡張現実をユーザーに感知させる拡張現実提示プログラムを提供することである。
【課題を解決するための手段】
【０００６】
請求項１に係る発明は、現実空間を撮像するカメラと、ユーザーの指示を受け付ける入力手段と、音声および画像を出力する出力手段とを用いて前記ユーザーに拡張現実を提示する拡張現実提示プログラムであって、前記カメラによる撮像データから仮想実演者特定マーカーを検出するマーカー検出ステップと、前記仮想実演者特定マーカーから仮想実演者識別情報を読み取る仮想実演者識別情報読取ステップと、前記仮想実演者特定マーカーの仮想実演者識別情報に基づいて特定された仮想実演者の個人データを実演者情報サーバーから取得する個人データ取得ステップと、前記入力手段に入力された実演選択指示に基づいて被選択実演データを実演データサーバーから取得する実演データ取得ステップと、前記仮想実演者の仮想実演者識別情報と前記被選択実演データの被選択実演者識別情報とを照合する実演者照合ステップと、前記被選択実演データのパフォーマンスデータを前記個人データのパフォーマンス特徴データに基づいて加工することによって加工パフォーマンスデータを作成する実演データ加工ステップとを備え、前記実演者照合ステップにおいて、前記仮想実演者識別情報と前記被選択実演者識別情報とが一致した場合に、前記撮像データおよび前記パフォーマンスデータを合成して得た拡張現実を前記出力手段から出力し、前記実演者照合ステップにおいて、前記仮想実演者識別情報と前記被選択実演者識別情報とが一致しなかった場合に、前記撮像データおよび前記加工パフォーマンスデータを合成して得た拡張現実を前記出力手段から出力することにより、前述した課題を解決するものである。
【０００７】
請求項２に係る発明は、請求項１に記載された拡張現実提示プログラムの構成に加えて、前記パフォーマンス特徴データが、音声に関する特徴である音声特徴データであり、前記パフォーマンスデータが、音声データであり、前記加工パフォーマンスデータが、前記実演データ加工ステップにおいて、前記音声データを前記音声特徴データに基づいて加工した加工音声データであることにより、前述した課題をさらに解決するものである。
【０００８】
請求項３に係る発明は、請求項１または請求項２に記載された拡張現実提示プログラムの構成に加えて、前記パフォーマンス特徴データが、演奏に関する特徴である演奏特徴データであり、前記パフォーマンスデータが、演奏データであり、前記加工パフォーマンスデータが、前記実演データ加工ステップにおいて、前記演奏データを前記演奏特徴データに基づいて加工した加工演奏データであることにより、前述した課題をさらに解決するものである。
【０００９】
請求項４に係る発明は、請求項１乃至請求項３のいずれか１項に記載された拡張現実提示プログラムの構成に加えて、前記仮想実演者識別情報に基づいて特定された仮想実演者のフィギュアデータをフィギュアデータサーバーから取得するフィギュアデータ取得ステップをさらに備え、前記被選択実演データが、前記フィギュアデータを動かすモーションデータを有し、前記個人データが、動作特徴データを有し、前記実演データ加工ステップにおいて、前記モーションデータを前記動作特徴データに基づいて加工することによって加工モーションデータが作成され、前記実演者照合ステップにおいて、前記仮想実演者識別情報と前記被選択実演者識別情報とが一致した場合に、前記撮像データ、前記パフォーマンスデータおよび前記モーションデータを合成して得た拡張現実を前記出力手段から出力し、前記実演者照合ステップにおいて、前記仮想実演者識別情報と前記被選択実演者識別情報とが一致しなかった場合に、前記撮像データ、前記加工パフォーマンスデータおよび前記加工モーションデータを合成して得た拡張現実を前記出力手段から出力することにより、前述した課題をさらに解決するものである。
【発明の効果】
【００１０】
本発明の拡張現実提示プログラムによれば、ユーザーに拡張現実を提示できるとともに、以下のような本発明に特有の効果を奏することができる。
【００１１】
請求項１に係る発明の拡張現実提示プログラムによれば、実演者照合ステップにおいて、仮想実演者識別情報と被選択実演者識別情報とが一致しなかった場合に、撮像データおよび前記加工パフォーマンスデータを合成して得た拡張現実を出力手段から出力することにより、仮想実演者特定マーカーに対応する仮想実演者とは異なる実演者（被選択実演者）の実演データ（被選択実演データ）を実演データサーバーから取得した場合に、撮像データおよびパフォーマンスデータに仮想実演者の特徴を加味した加工パフォーマンスデータが出力手段から出力されるため、例えば、ユーザーの選択した仮想実演者Ａに、この仮想実演者Ａとは異なる他の実演者Ｂの実演を行わせた拡張現実をユーザーに提示した際に、ユーザーに「実演者Ｂを装った実演者Ａによる実演」という、より現実的な拡張現実を感知させることができる。
【００１２】
請求項２に係る発明の拡張現実提示プログラムによれば、請求項１に係る発明が奏する効果に加えて、パフォーマンス特徴データが、音声に関する特徴である音声特徴データであり、パフォーマンスデータが、音声データであり、加工パフォーマンスデータが、実演データ加工ステップにおいて、音声データを音声特徴データに基づいて加工した加工音声データであることにより、仮想実演者特定マーカーに対応する仮想実演者とは異なる実演者（被選択実演者）の実演データを実演データサーバーから取得した場合に、撮像データおよび被選択実演者の音声データ（パフォーマンスデータ）に仮想実演者の特徴を加味した加工音声データが出力手段から出力されるため、例えば、ユーザーの選択した仮想実演者である歌手Ａに、この歌手Ａとは異なる他の歌手Ｂの曲を歌唱させた拡張現実をユーザーに提示した際に、ユーザーに「歌手Ｂを装った歌手Ａによる歌唱」という、より現実的な拡張現実を感知させることができる。
または、ユーザーの選択した仮想実演者である話者Ａに、この話者Ａとは異なる他の話者Ｂのスピーチを発話させた拡張現実をユーザーに提示した際に、ユーザーに「話者Ｂを装った話者Ａによる発話」という、より現実的な拡張現実を感知させることができる。
【００１３】
請求項３に係る発明の拡張現実提示プログラムによれば、請求項１または請求項２に係る発明が奏する効果に加えて、パフォーマンス特徴データが、演奏に関する特徴である演奏特徴データであり、パフォーマンスデータが、演奏データであり、加工パフォーマンスデータが、実演データ加工ステップにおいて、演奏データを演奏特徴データに基づいて加工した加工演奏データであることにより、仮想実演者特定マーカーに対応する仮想実演者とは異なる実演者（被選択実演者）の実演データを実演データサーバーから取得した場合に、撮像データおよび被選択実演者の演奏データ（パフォーマンスデータ）に仮想実演者の特徴を加味した加工演奏データが出力手段から出力されるため、例えば、ユーザーの選択した仮想実演者である演奏者Ａに、この演奏者Ａとは異なる他の演奏者Ｂの曲を演奏させた拡張現実をユーザーに提示した際に、ユーザーに「演奏者Ｂを装った演奏者Ａによる演奏」という、より現実的な拡張現実を感知させることができる。
【００１４】
請求項４に係る発明の拡張現実提示プログラムによれば、請求項１乃至請求項３のいずれか１項に係る発明が奏する効果に加えて、実演者照合ステップにおいて、仮想実演者識別情報と被選択実演者識別情報とが一致しなかった場合に、撮像データ、加工パフォーマンスデータおよび加工モーションデータを合成して得た拡張現実を出力手段から出力することにより、仮想実演者特定マーカーに対応する仮想実演者とは異なる実演者（被選択実演者）の実演データを実演データサーバーから取得した場合に、撮像データ、パフォーマンスデータに仮想実演者の特徴を加味した加工パフォーマンスデータおよびモーションデータに仮想実演者の特徴を加味した加工モーションデータが出力手段から出力されるため、例えば、ユーザーの選択した仮想実演者であるアーティストＡの演奏者に、そのアーティストＡとは異なる他のアーティストＢの曲を演奏させた拡張現実をユーザーに提示し、ユーザーに「見た目の動きまでアーティストＢを装った、アーティストＡの実演によるアーティストＢの曲のように見える」という、より現実的な拡張現実を感知させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施例である拡張現実提示システムによって実現される拡張現実のイメージ図。
【図２】本発明の実施例である拡張現実提示システムの構成を示す概略図。
【図３】本発明の実施例である各サーバーに保存されているデータ構造の説明図。
【図４】本発明の実施例である携帯情報端末の動作を示すフローチャート。
【図５】本発明の実施例である携帯情報端末の動作を示すフローチャート。
【発明を実施するための形態】
【００１６】
本発明は、現実空間を撮像するカメラと、ユーザーの指示を受け付ける入力手段と、音声および画像を出力する出力手段とを用いてユーザーに拡張現実を提示する拡張現実提示プログラムであって、カメラによる撮像データから仮想実演者特定マーカーを検出するマーカー検出ステップと、仮想実演者特定マーカーから仮想実演者識別情報を読み取る仮想実演者識別情報読取ステップと、仮想実演者特定マーカーの仮想実演者識別情報に基づいて特定された仮想実演者の個人データを実演者情報サーバーから取得する個人データ取得ステップと、入力手段に入力された実演選択指示に基づいて被選択実演データを実演データサーバーから取得する実演データ取得ステップと、仮想実演者の仮想実演者識別情報と被選択実演データの被選択実演者識別情報とを照合する実演者照合ステップと、被選択実演データのパフォーマンスデータを個人データのパフォーマンス特徴データに基づいて加工することによって加工パフォーマンスデータを作成する実演データ加工ステップとを備え、実演者照合ステップにおいて、仮想実演者識別情報と被選択実演者識別情報とが一致した場合に、撮像データおよびパフォーマンスデータを合成して得た拡張現実を出力手段から出力し、実演者照合ステップにおいて、仮想実演者識別情報と被選択実演者識別情報とが一致しなかった場合に、撮像データおよび加工パフォーマンスデータを合成して得た拡張現実を出力手段から出力し、仮想実演者と実演とを有機的に関連付けて、現実感のある拡張現実をユーザーに感知させるものであれば、その具体的な実施態様は、如何なるものであっても構わない。
【００１７】
例えば、本発明において意味する「実演」および「パフォーマンス」は、歌唱、発話あるいは演奏に限らず、舞踊、動作や芝居などであっても良い。
【００１８】
例えば、仮想実演者は、何らかの実演を行う者であれば、歌手や楽器を演奏するミュージシャンに限らず、ダンサー、ＤＪ、落語家、政治家、スポーツ選手、著名人、歴史上の人物あるいはアニメのキャラクターであっても良い。
【００１９】
例えば、アーティストは、バンドやソロ歌手等の音楽活動をする者に限らず、芸術活動を行う者であれば、如何なる者であってもよい。
【００２０】
例えば、入力手段は、ユーザーからの指示を受け付けられるものであれば、タッチパネルに限らず、専用コントローラー、キーボードやマウス等の物理的な入力手段や音声認識であってもよい。
【００２１】
例えば、出力手段は、音声および画像を出力できるものであれば、如何なるものであってもよい。
音声を出力するものとして、例えば、ヘッドフォン、スピーカーの音波による音声出力や、骨伝導のような音声出力であってもよい。
画像を出力するものとして、例えば、テレビ、液晶ディスプレイ、有機ＥＬディスプレイ、網膜投影型のヘッドマウントディスプレイあるいはプロジェクターであってもよい。
【００２２】
＜１．実施例＞
図１乃至図５に基づいて、本発明の実施例である拡張現実提示システムおよび拡張現実提示プログラムを説明する。
【００２３】
＜１．１．拡張現実提示システムによって実現される拡張現実のイメージ＞
まず、図１により、本発明の実施例である拡張現実提示システムによって実現される拡張現実のイメージを説明する。
図１は、本発明の実施例である拡張現実提示システムによって実現される拡張現実のイメージ図である。
【００２４】
本発明の実施例である拡張現実提示システムでは、机Ｔの上に識別体となる円板状のコースターＣ、Ｃａ、Ｃｂを予め載置させておく。
このコースターＣ、Ｃａ、Ｃｂは、アナログレコードのレーベルをイメージしたものであり、これらのコースターには仮想実演者ＡＲＰに対応する仮想実演者識別情報が記録された仮想実演者特定マーカーＣ１と、この仮想実演者特定マーカーＣ１の読取開始位置を定める位置決めシンボルＣ２とが記載されている。
【００２５】
この状態で、携帯情報端末（例えば、スマートフォン、タブレット端末や拡張現実専用端末）１００に予めインストールされている拡張現実提示プログラムを起動し、携帯情報端末１００のカメラ１３０（図示せず）で机上を撮像する。
すると、携帯情報端末１００のディスプレイ１１１に表示されたコースターＣの上に仮想実演者ＡＲＰのＣＧモデルＡＲＭが表示される。
ここで、本実施例において、仮想実演者ＡＲＰは、歌手あるいは楽器を演奏するミュージシャンである。
なお、図１においては、仮想実演者ＡＲＰの数は３名になっているが、仮想実演者ＡＲＰの人数（すなわち、コースターＣの枚数）はこれに限定されるものではない。
【００２６】
この状態で、ユーザーが特定の仮想実演者ＡＲＰを選択し、ディスプレイ１１１上に表示されたメニューボタンＭから、選択した仮想実演者ＡＲＰ（例えば、歌手）に実演（例えば、歌唱）をさせることを指示すると、スピーカー１１２から音声が出力される。
このとき、仮想実演者ＡＲＰに歌唱させる曲が、仮想実演者ＡＲＰと異なる他の実演者の曲である場合、スピーカー１１２から「仮想実演者ＡＲＰが、他の実演者の曲を歌っているかのような音声」または「他の実演者の曲を、他の実演者を装って仮想実演者ＡＲＰが歌っているかのような音声」が出力される。
【００２７】
上記について、固有名詞を用いて、より具体的に説明する。
例えば、図１に示されるコースターのうち、中央にあるコースターＣａには日本を代表する女性歌手の一人である安室奈美恵に対応づけられた仮想実演者特定マーカーＣ１ａが記載されている。
これにより、ユーザーが携帯情報端末１００に予めインストールされている拡張現実提示プログラムで机上を撮像すると、拡張現実提示プログラムが「仮想実演者ＡＲＰは安室奈美恵である」と特定し、ディスプレイ１１１に安室奈美恵のＣＧモデルＡＲＭａを表示する。
この状態で、ユーザーがメニューボタンＭから安室奈美恵の代表曲の一つである「Ｄｏｎ’ｔ  ｗａｎｎａ  ｃｒｙ」を選択すると、スピーカー１１２から「Ｄｏｎ’ｔ  ｗａｎｎａ  ｃｒｙ」が流れると共にディスプレイ１１１上で安室奈美恵のＣＧモデルＡＲＭａが「Ｄｏｎ’ｔ  ｗａｎｎａ  ｃｒｙ」のメロディに合わせて動く。
【００２８】
また、ユーザーがメニューボタンＭから日本を代表するロックバンドの一つであるＢＯＯＷＹ（ボウイ）の代表曲の一つである「ＯＮＬＹ  ＹＯＵ」を選択すると、スピーカー１１２から「ＯＮＬＹ  ＹＯＵ」が流れると共にディスプレイ１１１上で安室奈美恵のＣＧモデルＡＲＭａが「ＯＮＬＹ  ＹＯＵ」のメロディに合わせて動く。
このとき、スピーカー１１２から出力される「ＯＮＬＹ  ＹＯＵ」の歌声は、ＢＯＯＷＹ（のボーカリストである氷室京介）の歌声ではなく、「安室奈美恵の特徴的な歌い方が加わった氷室京介の歌声」となっている。
同様に、安室奈美恵のＣＧモデルＡＲＭａの動きも、氷室京介の動きではなく、「安室奈美恵の特徴的な動き方が加わった氷室京介の動き」となっている。
これにより、ディスプレイ１１１を見ているユーザーに、「安室奈美恵がＢＯＯＷＹのＯＮＬＹ  ＹＯＵを歌っている」ように感知させたり、「安室奈美恵がＢＯＯＷＹを装って、ＯＮＬＹ  ＹＯＵを歌っている」ように感知させたりすることができる。
【００２９】
二つ目の例として、演奏者の固有名詞を用いて、具体的に説明する。
例えば、図１のコースターのうち、もっとも右側にあるコースターＣｂには日本を代表するアーティストの一つであるＢ’ｚのギタリストである松本孝弘に対応づけられた仮想実演者特定マーカーＣ１ｂが記載されている。
これにより、ユーザーが携帯情報端末１００に予めインストールされている拡張現実提示プログラムで机上を撮像すると、拡張現実提示プログラムが「仮想実演者ＡＲＰは松本孝弘である」と特定し、ディスプレイ１１１に松本孝弘のＣＧモデルＡＲＭｂを表示する。
この状態で、ユーザーがメニューボタンＭからＢ’ｚの代表曲の一つである「ＬＯＶＥ  ＰＨＡＮＴＯＭ」を選択すると、スピーカー１１２から「ＬＯＶＥ  ＰＨＡＮＴＯＭ」が流れると共にディスプレイ１１１上で松本孝弘のＣＧモデルＡＲＭｂが「ＬＯＶＥ  ＰＨＡＮＴＯＭ」を演奏しているかのように動く。
【００３０】
また、ユーザーがメニューボタンＭから日本を代表するロックバンドの一つであるＭｒ．Ｃｈｉｌｄｒｅｎの代表曲の一つである「ｉｎｎｏｃｅｎｔ  ｗｏｒｌｄ」を選択すると、スピーカー１１２から「ｉｎｎｏｃｅｎｔ  ｗｏｒｌｄ」が流れると共にディスプレイ１１１上で松本孝弘のＣＧモデルＡＲＭｂが「ｉｎｎｏｃｅｎｔ  ｗｏｒｌｄ」のメロディに合わせて動く。
このとき、スピーカー１１２から出力される「ｉｎｎｏｃｅｎｔ  ｗｏｒｌｄ」のギターパートは、Ｍｒ．Ｃｈｉｌｄｒｅｎ（のギタリストである田原健一）のギター音ではなく、「松本孝弘の演奏上の特徴的が加わったギター音」となっている。
同様に、松本孝弘のＣＧモデルＡＲＭｂの動きも、田原健一の動きではなく、「松本孝弘の特徴的な動き方が加わった田原健一の動き」となっている。
これにより、ディスプレイ１１１を見ているユーザーに、「Ｂ’ｚの松本孝弘があたかもＭｒ．Ｃｈｉｌｄｒｅｎの一員としてギターを弾いている」ように感知させることができる。
【００３１】
本発明の実施例である拡張現実提示システムによれば、上記のような拡張現実をユーザーに提示できるため、ユーザーは拡張現実空間内でバンドのメンバー同士で楽器のパートを変えてみたり、亡くなったアーティストや自分の好きなアーティストを集めたドリームバンドを作ったりすることなどが可能となる。
【００３２】
＜１．２．拡張現実提示システムの構成＞
続いて、図２により、上述した拡張現実をユーザーに提示するための拡張現実提示システムの構成を説明する。
図２は、本発明の実施例である拡張現実提示システムの構成を示す概略図である。
【００３３】
図２に示すように、拡張現実提示システムＳは、ユーザーに拡張現実を提示するための拡張現実提示プログラムがインストールされた携帯情報端末１００と、識別体となるコースターＣ、実演者ごとの個人データを保存している実演者情報サーバーＳｐと、実演者ごとのフィギュアデータを保存しているフィギュアデータサーバーＳｆと、実演データを保存している実演データサーバーＳｄとから少なくとも構成されている。
そして、携帯情報端末１００と、実演者情報サーバーＳｐと、フィギュアデータサーバーＳｆと、実演データサーバーＳｄとはネットワークＮを介して接続されている。
なお、各サーバーが保存しているデータの構造や定義については後述する。
【００３４】
＜１．２．１．携帯情報端末＞
まず、携帯情報端末１００の装置構成について説明する。
図２に示すように、携帯情報端末１００は、音声および画像を出力する出力手段１１０と、ユーザーの入力および指示を受け付けるタッチパネル（入力手段）１２０と、現実空間を撮像するカメラ１３０と、外部との通信を行う通信部１４０と、種々のデータを保存する記憶部１５０と、これらに対して電気的に接続されると共にこれらを制御する制御部１６０とを備えている。
【００３５】
出力手段１１０は、画像を出力するディスプレイ１１１と、音声を出力するスピーカー１１２とから構成されている。
タッチパネル１２０はディスプレイ１１１と一体化されており、ユーザーはディスプレイ１１１をタッチすることでタッチパネル１２０が反応する。
カメラ１３０は、撮影対象を撮像することにより、撮像データを連続的に生成する。
【００３６】
＜１．２．２．コースター＞
コースターＣは、前述のように、仮想実演者ＡＲＰに対応する仮想実演者識別情報が記録された仮想実演者特定マーカーＣ１と、この仮想実演者特定マーカーＣ１の読取開始位置を定める位置決めシンボルＣ２とを有している。
仮想実演者特定マーカーＣ１は、情報を格納するための情報格納コードであって、図１に示すように、中心から所定長の半径を有する円環領域Ａにおいて、中心Ｏを通る基準線Ｌを基準として時計回りに所定角毎に、内径側から外径側に向かって複数の異なるデータ格納セルＫが配置されている。
そして、データ格納セルＫのそれぞれには、白色かそれ以外の色が着色されている。
位置決めシンボルＣ２は、図１に示すように、基準線Ｌに対して線対称な図形である。
【００３７】
＜１．３．各データの構造＞
続いて、図３により、上述した各サーバーに保存されているデータの構造や定義について説明する。
図３は本発明の実施例における各サーバーに保存されているデータ構造を説明する図である。
【００３８】
＜１．３．１．実演者情報サーバーに保存されるデータ＞
まず、実演者情報サーバーＳｐに保存されるデータについて説明する。
実演者情報サーバーＳｐには、実演者ごとの個人データＩが保存される。
個人データＩは、実演者識別情報ＰＩＤと、パフォーマンス特徴データＰＦＤと、動作特徴データＭＦＤとから構成されている。
【００３９】
実演者識別情報ＰＩＤは実演者ごとに定められた情報であり、１実演者に対して１つの実演者識別情報ＰＩＤが割り当てられている。
【００４０】
パフォーマンス特徴データＰＦＤは、各実演者のパフォーマンスの特徴に関するデータであり、例えば、音声（歌唱・発話など）の特徴に関するデータの場合も、演奏の特徴に関するデータの場合もある。
パフォーマンス特徴データＰＦＤの例として、実演者が歌手の場合であれば、「こぶしをきかせる」、「はっきり発音をしない」、「ビブラートのかけ方」などの特徴を指定するデータであり、実演者がギタリストの場合であれば、「低音域をカットしている」、「Ｂ社のエフェクターで音を歪ませている」、「テンポから若干外れて演奏する」などの特徴を指定するデータである。
なお、パフォーマンス特徴データＰＦＤは、実演者によるパフォーマンス（音声、演奏など）をコンピュータに機械学習させることで生成される。
【００４１】
動作特徴データＭＦＤは、後述のフィギュアデータを動かす際に用いる、実演者の動作の特徴に関するデータである。
動作特徴データＭＦＤの例として、実演者が歌手の場合であれば、「足でリズムをとりながら歌う」、「高音を出す際に首が右に振れる」、「息継ぎをする際に顔を左に向ける」などの特徴を指定するデータであり、実演者がギタリストの場合であれば、「ギターを持つ姿勢」といったものから、「ブリッジ側ではなくネック側をストロークする」、「リフを演奏する時は天を見上げる」などの特徴を指定するデータである。
なお、動作特徴データＭＦＤは、実演者の映像をコンピュータに機械学習させることで生成される。
【００４２】
以下、説明の都合上、実演者Ｘの個人データＩを「個人データＩｘ」とし、個人データＩが有する実演者識別情報ＰＩＤ、パフォーマンス特徴データＰＦＤ、動作特徴データＭＦＤについても同様とする。
すなわち、実演者Ａに対して、個人データＩａが定められており、この実演者Ａの個人データＩａが、実演者Ａに対応する実演者識別情報ＰＩＤａと、実演者Ａのパフォーマンス特徴データＰＦＤａと、実演者Ａの動作特徴データＭＦＤａとによって構成されている。
なお、固有名詞を用いて、より具体的に例示すると、実演者情報サーバーＳｐには氷室京介（実演者Ａ）に対応する個人データＩａが保存されており、この氷室京介の個人データＩａは、氷室京介に対応する実演者識別情報（ＩＤａ）と、氷室京介の音声（歌唱）の特徴に関するデータであるパフォーマンス特徴データＰＦＤａと、氷室京介の歌唱時の動作の特徴に関するデータである動作特徴データＭＦＤａとによって構成されている。
【００４３】
＜１．３．２．フィギュアデータサーバーに保存されるデータ＞
次に、フィギュアデータサーバーＳｆに保存されるデータについて説明する。
フィギュアデータサーバーＳｆには、実演者ごとの３Ｄスキャンデータをベースに作成されたＣＧモデルであるフィギュアデータＦが保存される。
このフィギュアデータＦには、実演者識別情報ＰＩＤも記録されている。
【００４４】
以下、説明の都合上、実演者ＸのフィギュアデータＦを「フィギュアデータＦｘ」とし、フィギュアデータＦが有する実演者識別情報についても同様とする。
すなわち、実演者Ａに対してフィギュアデータＦａが定められており、このフィギュアデータＦａには、実演者Ａに対応する実演者識別情報ＰＩＤａも記録されている。
なお、固有名詞を用いて、より具体的に例示すると、フィギュアデータサーバーＳｆには氷室京介（実演者Ａ）に対応するフィギュアデータＦａが保存されており、この氷室京介のフィギュアデータＦａには、氷室京介に対応する実演者識別情報ＰＩＤａも記録されている。
【００４５】
＜１．３．３．実演データサーバーに保存されるデータ＞
次に、実演データサーバーＳｄに保存されるデータについて説明する。
実演データサーバーＳｄには、実演データＤが実演（歌唱、発話、演奏等）の数だけ保存されている。
この実演データＤは、実演データ識別情報ＤＩＤと、この実演を行っている実演者の実演者識別情報ＰＩＤと、パフォーマンスデータＰと、モーションデータＭとによって構成されている。
【００４６】
実演データ識別情報ＤＩＤは実演ごとに定められた情報であり、１実演に対して１つの実演データ識別情報ＤＩＤが割り当てられている。
【００４７】
パフォーマンスデータＰは実演自体のデータであり、本実施例では、音声データや演奏データといった音のデータである。
【００４８】
モーションデータＭは、実演における実演者の動きが保存されている。
なお、モーションデータＭの長さは、実演の長さと同一である。
【００４９】
以下、説明の都合上、実演Ｓの実演データＤを「実演データＤｓ」とし、実演データＤが有する実演データ識別情報ＤＩＤと、実演者識別情報ＰＩＤと、パフォーマンスデータＰと、モーションデータＭについても同様とする。
すなわち、実演Ｓに対して実演データＤｓが定められており、この実演Ｓの実演データＤｓが、実演Ｓに対応する実演データ識別情報ＤＩＤｓと、この実演Ｓを行った実演者ｓの実演者識別情報ＰＩＤｓと、実演者ｓによるパフォーマンスデータＰｓと、実演Ｓにおける実演者ｓのモーションデータＭｓとによって構成されている
なお、固有名詞を用いて、より具体的に例示すると、実演データサーバーＳｄには「ＯＮＬＹ  ＹＯＵ」のボーカル（実演Ｓ）に関する実演データＤｓが保存されており、この実演データＤｓは、「ＯＮＬＹ  ＹＯＵ」のボーカルに関する実演データに対応する実演データ識別情報ＤＩＤｓと、「ＯＮＬＹ  ＹＯＵ」を歌唱した氷室京介の実演者識別情報ＰＩＤｓと、氷室京介によるパフォーマンスデータ（音声データ）Ｐｓと、氷室京介が「ＯＮＬＹ  ＹＯＵ」を歌唱している際の氷室京介の動きであるモーションデータＭｓとで構成されている。
また、当然、実演データサーバーＳｄには「ＯＮＬＹ  ＹＯＵ」のリードギター（実演Ｔ）に関する実演データＤｔも保存されており、この実演データＤｔは、「ＯＮＬＹ  ＹＯＵ」のリードギターに関する実演データに対応する実演データ識別情報ＤＩＤｔと、「ＯＮＬＹ  ＹＯＵ」のリードギターを担当した布袋寅泰の実演者識別情報ＰＩＤｔと、布袋寅泰によるパフォーマンスデータ（演奏データ）Ｐｔと、布袋寅泰が「ＯＮＬＹ  ＹＯＵ」を演奏している際の布袋寅泰の動きであるモーションデータＭｔとで構成されていることになる。
【００５０】
＜１．４．拡張現実提示プログラム＞
続いて、図４および図５により、携帯情報端末１００にインストールされた拡張現実提示プログラムについて説明する。
図４および図５は、本発明の実施例である携帯情報端末の動作を示すフローチャートである。
【００５１】
＜１．４．１．ディスプレイ上に仮想実演者を表示させる＞
はじめに、図４により、ディスプレイ１１１上に仮想実演者を表示させるフローを説明する。
まず、ユーザーが携帯情報端末１００にインストールされている拡張現実提示プログラムを起動させる（Ｓ１００）。
次に、カメラ１３０によって撮像を行い、撮像データを取得する（Ｓ１１０）。
次に、制御部１６０で、撮像データに対して画像解析を行い、コースターＣを探索し、コースターＣに記載された仮想実演者特定マーカーＣ１を検出する（Ｓ１２０；マーカー検出ステップ）。
【００５２】
次に、位置決めシンボルＣ２を検出し、この位置決めシンボルＣ２から基準線Ｌを決定し、この基準線Ｌを基準として時計回りに所定角度（例えば、２２．５度）ごとに、内径側から外径側に向かって複数の異なるデータ格納セルＫの色（白色かそれ以外の色か）を読み取る。
そして、各データ格納セルＫの情報を復号化して、コースターＣに対応づけられた仮想実演者の識別情報（仮想実演者識別情報）を取得して、記憶部１５０に保存する（Ｓ１３０）。
すなわち、ステップＳ１３０は、コースターＣに記載された仮想実演者特定マーカーＣ１から仮想実演者識別情報を読み取るステップであり、「仮想実演者識別情報読取ステップ」になる。
【００５３】
次に、実演者情報サーバーＳｐにアクセスし、仮想実演者識別情報に対応する実演者識別情報ＰＩＤを探索し、この実演者識別情報ＰＩＤに対応する個人データＩを実演者情報サーバーＳｐから取得して、記憶部１５０に保存する（Ｓ１４０）。
このとき、実演者情報サーバーＳｐから取得したデータが、「仮想実演者の個人データ」である。
すなわち、ステップＳ１４０は、実演者情報サーバーＳｐから仮想実演者の個人データ（実演者識別情報、パフォーマンス特徴データ、動作特徴データ）を取得するステップであり、「個人データ取得ステップ」になる。
【００５４】
次に、フィギュアデータサーバーＳｆにアクセスし、仮想実演者識別情報に対応する実演者のフィギュアデータをフィギュアデータサーバーＳｆから取得して、記憶部１５０に保存する（Ｓ１５０）。
このとき、フィギュアデータサーバーＳｆから取得したデータが、「仮想実演者のフィギュアデータ」である。
すなわち、ステップＳ１５０は、フィギュアデータサーバーＳｆから仮想実演者のフィギュアデータを取得するステップであり、「フィギュアデータ取得ステップ」になる。
なお、ステップＳ１４０およびステップＳ１５０の実行順序は逆であってもよい。
【００５５】
次に、図１のようにディスプレイ１１１上に、フィギュアデータサーバーＳｆから取得した「仮想実演者のフィギュアデータ」を表示させる（Ｓ１６０）。
【００５６】
＜１．４．２．ディスプレイ上に表示した仮想実演者に実演させる＞
続いて、図５により、ディスプレイ上に表示した仮想実演者に実演させるフローを説明する。
まず、ユーザーが実演させたい仮想実演者を選択した上で、ディスプレイ１１１に表示されたメニューボタンＭ（図１参照）をタッチして、メニュー画面を呼び出す。
そして、このメニュー画面を操作することで、ユーザーはディスプレイ１１１上に表示されている仮想実演者に実演させたい実演データを選択可能となる。
この状態でユーザーがディスプレイ１１１（タッチパネル１２０）をタッチすることで、仮想実演者に実演させたい実演が特定され、制御部１６０に実演選択指示が入力される（Ｓ２００）。
【００５７】
次に、実演データサーバーＳｄにアクセスし、実演選択指示に対応する実演データ識別情報ＤＩＤを探索し、この実演データ識別情報ＤＩＤに対応する実演データＤを実演データサーバーＳｄから取得して、記憶部１５０に保存する（Ｓ２１０）。
このとき、実演データサーバーＳｄから取得したデータが、「被選択実演データ」である。
すなわち、ステップＳ２１０は、実演データサーバーＳｄから実演選択指示に対応する被選択実演データを取得するステップであり、「実演データ取得ステップ」になる。
【００５８】
次に、被選択実演データの実演者識別情報（被選択実演者識別情報）と、すでにディスプレイ１１１上に表示させている仮想実演者の実演者識別情報（仮想実演者識別情報）とを照合する（Ｓ２２０；実演者照合ステップ）。
【００５９】
被選択実演者識別情報と仮想実演者識別情報とが一致した場合、ディスプレイ１１１から撮像データとフィギュアデータとモーションデータとを出力すると共に、ディスプレイ１１１およびスピーカー１１２の少なくとも一方から被選択実演データのパフォーマンスデータを出力する（Ｓ２３０）。
すなわち、ステップＳ２３０では、撮像データ、パフォーマンスデータおよびモーションデータを合成して得た拡張現実を出力手段１１０（ディスプレイ１１１、スピーカー１１２）から出力している。
【００６０】
被選択実演者識別情報と仮想実演者識別情報とが一致しなかった場合、被選択実演データのパフォーマンスデータを仮想実演者の個人データが有するパフォーマンス特徴データに基づいて加工パフォーマンスデータとして加工する（Ｓ２４０）。
次に、被選択実演データのモーションデータを仮想実演者の個人データが有する動作特徴データに基づいて加工モーションデータとして加工する（Ｓ２５０）。
すなわち、ステップＳ４０およびステップＳ２５０は、被選択実演データを加工するステップであり、「実演データ加工ステップ」になる。
なお、ステップＳ２４０およびステップＳ２５０の実行順序は逆であってもよい。
【００６１】
次に、ディスプレイ１１１から撮像データとフィギュアデータと加工モーションデータとを出力すると共に、ディスプレイ１１１およびスピーカー１１２の少なくとも一方から被選択実演データの加工パフォーマンスデータを出力する（Ｓ２６０）。
すなわち、ステップＳ２６０では、撮像データ、加工パフォーマンスデータおよび加工モーションデータを合成して得た拡張現実を出力手段１１０（ディスプレイ１１１、スピーカー１１２）から出力している。
【００６２】
＜２．変形例＞
以上、本発明の拡張現実提示システムおよび拡張現実提示プログラムを具体的について説明したが、本発明の拡張現実提示システムおよび拡張現実提示プログラムは、上述した実施例の拡張現実提示システムおよび拡張現実提示プログラムに限定されるものではなく、その趣旨を逸脱しない範囲でその具体的な形態の変形が可能である。
【００６３】
例えば、本実施例ではコースターＣを机の上に置いていたが、コースターが所定の領域に配置されていれば、いずれの場所に配置されていてもよい。
【００６４】
例えば、本実施例では円板状のコースター（識別体）Ｃによって仮想実演者を特定したが、仮想実演者特定マーカーを拡張現実提示プログラムが読み取ることができれば、識別体の形状は如何なるものであってもよく、さらには机自体に仮想実演者特定マーカーを印刷してもよい。
【００６５】
例えば、本実施例ではカメラと入力手段（タッチパネル）と出力手段（ディスプレイ、スピーカー）とが一体となった携帯情報端末（スマートフォン、タブレット端末、拡張現実専用端末）を使用してユーザーに拡張現実を提示していたが、カメラと入力手段と出力手段とが一体でなくてもよい。
具体的には、携帯情報端末のうちカメラとタッチパネルとスピーカーとだけを用い、ディスプレイは外部のものを利用してもよい。
ほかにも、携帯情報端末のうちカメラとタッチパネルとだけを用い、出力手段（ディスプレイとスピーカー等）は外部のものを利用してもよい。
また、キーボード等の入力手段を有するパソコンにカメラを取り付けて、ユーザーに拡張現実を提示してもよい。
このパソコンはノートパソコンのようなディスプレイ一体型であってもよいし、ディスプレイが別体のデスクトップ型パソコンであってもよい。
【００６６】
例えば、本実施例では実演者情報サーバーＳｐとフィギュアデータサーバーＳｆと実演データサーバーＳｄとは別々のサーバーであったが、１つのサーバーが前述した３つのサーバーの役割を果たしてもよい。
【００６７】
例えば、本実施例では個人データがパフォーマンス特徴データと動作特徴データとを有していたが、個人データがパフォーマンス特徴データと動作特徴データのいずれか一方のみであってもよい。
【００６８】
例えば、本実施例ではディスプレイ上に仮想実演者を表示させたが、個人データを実演者情報サーバーから携帯情報端末に取得さえすればよく、フィギュアデータをフィギュアデータサーバーから取得しなくてもよく、あるいはディスプレイ上に仮想実演者を表示させなくてもよい。
【００６９】
例えば、本実施例では個人データ取得ステップにおいて、実演者情報サーバーＳｐにアクセスし、仮想実演者識別情報に対応する実演者識別情報ＰＩＤを探索し、この実演者識別情報ＰＩＤに対応する個人データＩを実演者情報サーバーＳｐから取得していたが、携帯情報端末１００側で予め仮想実演者識別情報に対応する個人データＩのアドレスを生成し、このアドレスに直接アクセスして仮想実演者の個人データを取得してもよい。
この場合、仮想実演者の個人データを実演者情報サーバーＳｐから直接取得できるため、実演者情報サーバーＳｐにアクセスして、仮想実演者識別情報に対応する実演者識別情報ＰＩＤを探索することが不要になる。
【００７０】
例えば、本実施例では実演データサーバーＳｄから被選択実演データを取得した上で、仮想実演者の仮想実演者識別情報と被選択実演データの有する被選択実演者識別情報とを照合していたが、所謂「ストリーミング」のように実演データサーバーＳｄから被選択実演データの取得完了を待たずに、仮想実演者の仮想実演者識別情報と被選択実演データの有する被選択実演者識別情報とを照合して次のステップに進んでもよい。
【００７１】
例えば、本実施例ではメニュー画面を操作して、ディスプレイ１１１上に表示されている仮想実演者に実演させたい実演データを選択していたが、ユーザーが仮想実演者に実演させたい実演データの候補を選択できればよく、ディスプレイ１１１上に仮想実演者に実演させたい実演データの候補を表示させて、ユーザーに仮想実演者に実演させたい実演データを選択させてもよい。
【００７２】
＜３．拡張現実提示プログラムの効果＞
上述した本発明の実施例である拡張現実提示システムＳにおける拡張現実提示プログラムによれば、例えば、ユーザーの選択した仮想実演者であるアーティストＡの演奏者に、そのアーティストＡとは異なる他のアーティストＢの曲を演奏させた拡張現実をユーザーに提示し、ユーザーに「見た目の動きまでアーティストＢを装った、アーティストＡの実演によるアーティストＢの曲のように見える」という、より現実的な拡張現実を感知させることができるなど、その効果は甚大である。
【符号の説明】
【００７３】
１００                  ・・・  携帯情報端末
１１０                  ・・・  出力手段
１１１                  ・・・  ディスプレイ
１１２                  ・・・  スピーカー
１２０                  ・・・  タッチパネル（入力手段）
１３０                  ・・・  カメラ
１４０                  ・・・  通信部
１５０                  ・・・  記憶部
１６０                  ・・・  制御部
Ｔ                    ・・・  机
ＡＲＰ                ・・・  仮想実演者
ＡＲＭ                ・・・  ＣＧモデル
Ｍ                    ・・・  メニューボタン
Ｃ、Ｃａ、Ｃｂ        ・・・  コースター（識別体）
Ｃ１、Ｃ１ａ、Ｃ２ａ  ・・・  仮想実演者特定マーカー
Ｃ２                  ・・・  位置決めシンボル
Ａ                    ・・・  円環領域
Ｏ                    ・・・  中心
Ｌ                    ・・・  基準線
Ｋ                    ・・・  データ格納セル
Ｓ                    ・・・  拡張現実提示システム
Ｎ                    ・・・  ネットワーク
Ｓｐ                  ・・・  実演者情報サーバー
Ｓｆ                  ・・・  フィギュアデータサーバー
Ｓｄ                  ・・・  実演データサーバー
Ｉ                    ・・・  個人データ
ＰＩＤ                ・・・  実演者識別情報
ＰＦＤ                ・・・  パフォーマンス特徴データ
ＭＦＤ                ・・・  動作特徴データ
Ｆ                    ・・・  フィギュアデータ
Ｄ                    ・・・  実演データ
ＤＩＤ                ・・・  実演データ識別情報
Ｐ                    ・・・  パフォーマンスデータ
Ｍ                    ・・・  モーションデータ
【図１】
2019133304.tif 000003
【図２】
2019133304.tif 000004
【図３】
2019133304.tif 000005
【図４】
2019133304.tif 000006
【図５】
2019133304.tif 000007