(57)【要約】【課題】コンテンツの内容に合わせた画像を生成する画像データ生成装置、コンテンツ再生装置およびデータ構造を提供する。【解決手段】画像データ生成装置は、コンテンツデータを取得するコンテンツデータ取得部と、画像データを生成する画像データ生成部と、を備えている。画像データ生成部は、前記コンテンツデータに対応する素材指定データに基づいて素材画像を生成するとともに、前記コンテンツデータに同期した視点位置データに基づいて、各視点位置から前記素材画像を見た画像データを生成することを特徴とする。【選択図】図４
2017004353.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツデータを取得するコンテンツデータ取得部と、
画像データを生成する画像データ生成部と、
を備えた画像データ生成装置であって、
前記画像データ生成部は、前記コンテンツデータに対応する素材指定データに基づいて素材画像を生成するとともに、前記コンテンツデータに同期した視点位置データに基づいて、各視点位置から前記素材画像を見た画像データを生成することを特徴とする画像データ生成装置。
【請求項２】
前記素材指定データは、前記素材画像を指定する情報と、当該素材画像の動きを制御する情報と、が含まれていて、
前記画像データ生成部は、前記再生部による前記コンテンツデータの再生に同期して、前記素材画像を移動させることを特徴とする請求項１に記載の画像データ生成装置。
【請求項３】
前記視点位置データは、各視点位置の座標および方位を示す情報が含まれている請求項１または請求項２に記載の画像データ生成装置。
【請求項４】
前記素材指定データおよび前記視点位置データは、前記コンテンツデータに含まれている請求項１乃至請求項３のいずれかに記載の画像データ生成装置。
【請求項５】
請求項１乃至請求項４のいずれかに記載の画像データ生成装置と、
コンテンツデータを再生する再生部と、
前記画像データを出力する出力部と、
を備えたコンテンツ再生装置であって、
前記再生部は、各素材画像に対応する効果音を再生するコンテンツ再生装置。
【請求項６】
前記再生部は、前記視点位置データと各素材画像の位置とに基づいて仮想音像定位処理を行う請求項５に記載のコンテンツ再生装置。
【請求項７】
コンテンツデータと、
前記コンテンツデータに対応する素材画像を指定する素材指定データと、
前記コンテンツデータに同期して視点位置を変化させるための視点位置データと、
を有するデータ構造であって、
画像データ生成装置に、各視点位置から前記素材画像を見た画像データを生成させることを特徴とするデータ構造。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを生成する画像データ生成装置に関する。
【背景技術】
【０００２】
画像データ生成装置の一例として、例えばカラオケ装置がある。カラオケ装置は、カラオケ曲の再生を行うとともに、ＬＣＤ等の表示装置に背景映像を表示することが一般的である。
【０００３】
特許文献１のカラオケ装置は、３次元画像データと、視点（カメラ）と、に関する情報を用意し、仮想空間映像を背景映像として表示する。また、特許文献１のカラオケ装置は、ジョイスティックを用いてカメラの位置を変更することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０９−１１４４７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１で開示されているカメラ位置の変更は、ユーザが手動で行うものであり、各コンテンツの内容に合わせて変更されるものではない。また、３次元画像データについても、各コンテンツに合わせたものにはなっていない。
【０００６】
そこで、本発明は、コンテンツの内容に合わせた画像を生成する画像データ生成装置、当該画像データ生成装置を備えたコンテンツ再生装置およびデータ構造を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像データ生成装置は、コンテンツデータを取得するコンテンツデータ取得部と、画像データを生成する画像データ生成部と、を備えた画像データ生成装置であって、前記画像データ生成部は、前記コンテンツデータに対応する素材指定データに基づいて素材画像を生成するとともに、前記コンテンツデータに同期した視点位置データに基づいて、各視点位置から前記素材画像を見た画像データを生成することを特徴とする。
【０００８】
画像データ生成装置は、指定された素材画像を仮想空間上に配置し、当該仮想空間内の所定の視点位置から当該素材画像を見た映像を生成する。素材画像は、コンテンツ毎に指定されたものであり、視点位置は、コンテンツデータに同期しているため、コンテンツの内容に合わせた画像の表示を行うことができる。
【０００９】
前記素材指定データは、前記素材画像を指定する情報と、当該素材画像の動きを制御する情報と、が含まれていて、画像データ生成部は、前記再生部による前記コンテンツデータの再生に同期して、前記素材画像を移動させる態様としてもよい。これにより、視点位置だけでなく、素材画像もコンテンツに同期させることができる。
【００１０】
また、素材指定データおよび視点位置データは、コンテンツデータとは別のデータとする態様も可能であるし、コンテンツデータに含まれている態様とすることも可能である。
【００１１】
また、画像データ生成装置を備えたコンテンツ再生装置は、各素材画像に対応する効果音を再生してもよい。特に、再生部は、前記視点位置と各素材画像の位置とに基づいて仮想音像定位処理を行うことが好ましい。
【発明の効果】
【００１２】
本発明の画像データ生成装置は、コンテンツの内容に合わせた画像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】カラオケ装置の構成を示したブロック図である。
【図２】楽曲データの構造を示す図である。
【図３】図３（Ａ）は仮想空間を平面視した図であり、図３（Ｂ）は、斜視図である。
【図４】可動部がある場合の素材データの例を示す図である。
【図５】背景画像の一例を示す図である。
【図６】カラオケ装置の動作を示すフローチャートである。
【図７】各シーケンサの動作を示すフローチャートである。
【図８】コンテンツ再生装置の最小構成を示したブロック図である。
【図９】データ構造の変形例を示す図である。
【図１０】応用例を示す概略図である。
【図１１】背景映像の一例を示す図である。
【発明を実施するための形態】
【００１４】
図１は、コンテンツ再生装置の構成を示すブロック図である。コンテンツ再生装置は、コンテンツデータを再生し、コンテンツの内容に合った画像データを生成する装置である。コンテンツデータは、文字、音または画像を含むデータである。コンテンツ再生装置は、例えば電子書籍、オーディオ、カラオケ楽曲、または動画等のコンテンツを再生する。図１においては、一例としてカラオケ装置を示し、コンテンツデータの一例として楽曲データを示す。
【００１５】
カラオケ装置１は、ＣＰＵ１１、ＲＡＭ１２、ＨＤＤ１３、ネットワークインタフェース（Ｉ／Ｆ）１４、ＬＣＤ（タッチパネル）１５、マイク１６、Ａ／Ｄコンバータ１７、音源１８、ミキサ（エフェクタ）１９、サウンドシステム（ＳＳ）２０、スピーカ２１、出力部２２、モニタ２３、操作部２４、および送受信部２５を備えている。
【００１６】
ＣＰＵ１１は、カラオケ装置１の動作を統括的に制御する。ＣＰＵ１１には、ＲＡＭ１２、ＨＤＤ１３、ネットワークインタフェース（Ｉ／Ｆ）１４、ＬＣＤ（タッチパネル）１５、Ａ／Ｄコンバータ１７、音源１８、ミキサ（エフェクタ）１９、出力部２２、操作部２４、および送受信部２５が接続されている。
【００１７】
ＣＰＵ１１は、ＨＤＤ１３に記憶されている動作用プログラムを読み出し、ワークメモリであるＲＡＭ１２に読み出して種々の動作を行う。例えば、ＣＰＵ１１は、楽曲データに応じてカラオケ曲を演奏する曲シーケンサ１０１の機能を実現する（本発明の再生部として機能する）。また、ＣＰＵ１１は、モニタ２３に背景映像として表示するための画像データを生成する画像シーケンサ１０３の機能を実現する（本発明の画像データ生成部として機能する）。
【００１８】
ＣＰＵ１１は、楽曲データに含まれている素材指定データおよび視点位置データに基づいて、ＨＤＤ１３から素材データを読み出し、画像データを生成する。画像データ生成処理については後に詳しく述べる。
【００１９】
なお、楽曲データは、ネットワークＩ／Ｆ１４を介して、定期的に配信センタ等から受信する。
【００２０】
タッチパネル１５および操作部２４は、カラオケ装置の前面に設けられている。ＣＰＵ１１は、タッチパネル１５から入力される操作情報に基づいて、操作情報に応じた画像をタッチパネル１５上に表示し、ＧＵＩを実現する。また、リモコン９も同様のＧＵＩを実現するものである。ＣＰＵ１１は、タッチパネル１５、操作部２４、または送受信部２５を介してリモコン９から入力される操作情報に基づいて、各種の動作を行う。ＣＰＵ１１は、例えば音量の変更、テンポの変更、またはキーの変更等の動作を行う。
【００２１】
次に、カラオケ演奏について説明する。上述したように、ＣＰＵ１１は、機能的に曲シーケンサ１０１を内蔵している。ＣＰＵ１１は、ＲＡＭ１２の予約リストに登録された予約曲の曲番号に対応する楽曲データをＨＤＤ１３から読み出し、曲シーケンサ１０１でカラオケ演奏を開始する。
【００２２】
図２は、楽曲データの構造を示す図である。楽曲データは、図２に示すように、曲番号等が書き込まれているヘッダ、演奏用ＭＩＤＩデータが書き込まれている楽音トラック、ガイドメロディ用ＭＩＤＩデータが書き込まれているガイドメロディトラック、歌詞用ＭＩＤＩデータが書き込まれている歌詞トラック、バックコーラス再生タイミングおよび再生すべき音声データが書き込まれているコーラストラック、および背景映像を生成するための各種データ（ステージ選択データ、素材指定データ、カメラ位置を示す視点位置データ、および光源データ）、等からなっている。
【００２３】
楽音トラックは、楽音を発生させる楽器の種類、タイミング、音程（キー）、強さ、長さ、定位（パン）、および音響効果（エフェクト）等を示す情報が記録されている。ガイドメロディトラックは、お手本の歌唱に対応する各音の発音開始タイミング、および発音の長さ等の情報が記録されている。
【００２４】
曲シーケンサ１０１は、楽音トラックのデータに基づいて音源１８を制御し、カラオケ曲の楽音を発生する。音源１８は、曲シーケンサ１０１の処理によってＣＰＵ１１から入力されたデータ（ノートイベントデータ）に応じて楽音信号（デジタル音声信号）を生成する。生成された楽音信号は、ミキサ１９に入力される。
【００２５】
また、曲シーケンサ１０１は、曲の進行に従ってコーラストラックの音声データ（楽曲データに付随しているＭＰ３等の圧縮音声データ）を再生する。再生されたコーラス音は、デジタル音声信号としてミキサ１９に入力される。
【００２６】
ミキサ１９は、音源１８が発生した楽音信号、コーラス音、およびマイク（歌唱音声入力手段）１６からＡ／Ｄコンバータ１７を介して入力された歌唱者の歌唱音声信号に対してエコー等の音響効果を付与するとともに、これらの信号をミキシングする。なお、エコー等の音響効果のパラメータは、画像シーケンサ１０３により生成される背景映像の内容に応じて変更してもよい。例えば反射音が大きい空間（例えば洞窟等）の背景映像が生成される場合には、反射音が大きくなるパラメータを設定する。
【００２７】
ミキシングされた信号は、サウンドシステム２０に入力される。サウンドシステム２０は、Ｄ／Ａコンバータおよびパワーアンプを内蔵しており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ２１から放音する。ミキサ１９が各音声信号に付与する効果およびミキシングのバランスは、ＣＰＵ１１によって制御される。このようにして、カラオケ楽曲がスピーカ２１から出力される。
【００２８】
ＣＰＵ１１の画像シーケンサ１０３は、曲シーケンサ１０１による楽音の発生と同期して、ＨＤＤ１３から素材データを読み出し、背景映像となる画像データを生成する。なお、画像シーケンサ１０３が生成する画像データは、静止画または動画である。
【００２９】
画像シーケンサ１０３は、まずステージ選択データに対応するステージ画像、および素材指定データで指定される素材データをＨＤＤ１３から読み出す。そして、画像シーケンサ１０３は、素材指定データおよび視点位置データに基づいて、各素材画像（３ＤＣＧ）を仮想空間内に配置するとともに、視点位置を移動させる動作を行う。これにより、仮想空間内に３ＤＣＧを配置し、所定の位置からカメラで撮影したような背景映像を生成する。
【００３０】
素材指定データは、楽音トラックと同様に、ＭＩＤＩ規格に準じたデータであり、使用する素材データを指定する情報と、当該素材データの配置および動きを示すモーションデータ等が含まれている。
【００３１】
モーションデータは、各処理タイミングにおける素材の位置を示す情報が含まれている。また、各素材が可動部を有する場合には、各可動部の動きを制御するための情報が含まれている。
【００３２】
素材データは、３ＤＣＧを構成するためのデータであり、各素材データを識別するための識別情報と、形状を表すための頂点の情報および面の情報と、が含まれている。また、各面に色彩等を付与するためのテクスチャデータも含まれている。
【００３３】
例えば、図３（Ａ）の平面図および図３（Ｂ）の斜視図に示す例では、山画像５１、紙飛行機画像５２、滝画像５３および池画像５４の素材データが指定される。また、ステージ画像としては空（青い色）の背景画像が指定される。山画像５１、滝画像５３、および池画像５４は、背景映像を構成するための基本となる素材データであり、カラオケ曲の演奏中に変化しない画像になる。山画像５１、滝画像５３、および池画像５４の素材データを指定する素材指定データには、各素材データの配置を示す情報（頂点の座標等）が含まれている。ＣＰＵ１１は、素材指定データに基づいて、これら素材データを仮想空間上に配置する。
【００３４】
紙飛行機画像５２を指定する素材指定データには、当該素材データの配置を示す情報と、動きを示すモーションデータが含まれている。ＣＰＵ１１は、当該モーションデータに応じて、当該紙飛行機画像５２を仮想空間内で移動させる（図中の太い実線矢印で示す）。これにより、紙飛行機画像５２は、カラオケ曲の演奏に同期して、仮想空間内を移動することになる。
【００３５】
また、図４に示すように、素材データが人等の可動部を有するものである場合には、ボーン２０１、剛体２０２、およびジョイント２０３等の情報が含まれている。ボーン２０１は、可動部に相当するものである。剛体２０２は、腕や服、髪の毛等の画像同士がすり抜けたりしないように、各画像に物理的な存在を示す情報を付加するものである。また、剛体２０２は、ボーン２０１の動きに追随して移動するものと、ボーン２０１を移動させるためのもの（剛体２０２が移動するとボーン２０１が追随して移動する場合）と、がある。ジョイント２０３は、ボーン２０１または剛体２０２同士の連結を示す情報が含まれている。素材指定データには、これらボーン２０１、剛体２０２、およびジョイント２０３の動きを示すモーションデータが含まれている。したがって、ＣＰＵ１１は、当該モーションデータに応じて、人等の素材データの可動部を移動させる。
【００３６】
視点位置データは、楽音トラックおよび素材指定データと同様に、ＭＩＤＩ規格に準じたデータである。視点位置データは、視点（カメラ）の座標と方位を示す情報が含まれている。ただし、方位を示す情報は必須ではなく、座標の情報だけであってもよい。例えば、図３（Ａ）および図３（Ｂ）では、カメラ５５が、山画像５１の方向を見ながら平行移動する例を示している。この例では、カメラの位置は変化するが、方位は変化しない。
【００３７】
光源データは、光源の座標、色、光度、および照射角等を示すデータであり、各素材に影を付与したり、色彩を変化させたりする情報が含まれている。ＣＰＵ１１は、各素材データの座標と光源データの座標とに基づいて、各素材データのうち光源が存在する側の色彩を指定された色彩に変化させるとともに、光源が存在する側と反対側に影の画像を付与する。
【００３８】
なお、光源データは、光源の座標、色、光度、および照射角等を示す素材データとしてＨＤＤ１３に記憶されていてもよい。図３（Ａ）および図３（Ｂ）に示す例では、太陽画像５６が光源に相当する。ＣＰＵ１１は、例えば太陽画像５６側に配置されている各素材画像の光度を明るくする。
【００３９】
また、図３（Ａ）および図３（Ｂ）では、太陽画像５６は固定されている例を示しているが、光源データは、カラオケ曲の演奏に同期して位置等が変化するように構成されていてもよい。
【００４０】
ＣＰＵ１１は、素材指定データに基づいて、各素材データを仮想空間上に配置し、色彩および影の画像を付与する。そして、ＣＰＵ１１は、視点位置データに基づいて投影変換を行い、２次元画像を生成する。
【００４１】
ＣＰＵ１１の歌詞シーケンサ１０２は、歌詞トラックに基づいて曲の進行に同期して歌詞の文字パターンを生成する。ＣＰＵ１１の画像シーケンサ１０３は、歌詞シーケンサ１０２の動作により生成された文字パターンを背景映像に重畳させる。ＣＰＵ１１は、当該文字パターンが重畳された２次元画像を出力部２２に出力する。
【００４２】
以上のようにして、モニタ２３には、図５に示すような背景映像および歌詞画像が表示される。上述したように、素材データは、カラオケ楽曲毎に指定され、カメラ位置および方位は、コンテンツデータに同期して変化するため、コンテンツの内容に合わせた背景映像が表示されることになる。
【００４３】
また、素材データは、予めＨＤＤ１３に記憶されている場合、各楽曲データの容量が大きくなることはなく、新曲等の定期的な配信時にダウンロード量が大きくなることはない。ただし、楽曲データ内に素材データが含まれていてもよい。
【００４４】
なお、各素材には、効果音が対応付けられていてもよい。例えば図３（Ａ）および図３（Ｂ）の例では、滝画像５３を示す素材指定データに、滝の音（水しぶきの効果音）を指定する情報が含まれている。池画像５４を示す素材指定データに、せせらぎの効果音を指定する情報が含まれている。
【００４５】
画像シーケンサ１０３は、カメラ５５と、滝画像５３の素材指定データが示す素材の位置と、が所定距離内になった場合に、曲シーケンサ１０１に対して、水しぶきの効果音の再生指示を行う。曲シーケンサ１０１は、当該再生指示に応じて水しぶきの効果音の再生を行う。
【００４６】
また、ＣＰＵ１１は、歌唱の採点結果に応じて画像を変化させる態様としてもよい。採点は、歌唱者の歌唱音声をガイドメロディトラックと比較することによって行われる。採点は、ガイドメロディトラックのノート毎に、歌唱音声とガイドメロディの音程（ピッチ）を比較することによって行われる。すなわち、歌唱音声の音程が、所定時間以上、ガイドメロディトラックの音程に合っていた（許容範囲に入っていた）場合には、高い得点を付与する。また、音程変化のタイミングも得点に考慮される。さらに、ビブラート、抑揚、またはしゃくり（低い音程からなだらかに移行すること）等の歌唱技法の有無に基づいて加点も行われる。
【００４７】
ＣＰＵ１１は、所定時間（例えば１０秒）経過毎に得点を集計し、集計得点が所定値以上であった場合、あるいは歌唱技巧が検出された場合に、例えば花吹雪等の画像を表示させる演出を行う。これにより、歌唱者は、自身の歌唱に応じて画像が変化するため、楽しんでカラオケを行うことができる。
【００４８】
次に、カラオケ装置１の動作についてフローチャートを参照して説明する。図６は、カラオケ装置１の動作を示すフローチャートである。
【００４９】
まず、ＣＰＵ１１は、歌唱者から楽曲のリクエストを受け付ける（ｓ１１）。次に、カラオケ装置１のＣＰＵ１１は、リクエストされた楽曲データを読み出し（ｓ１２）、シーケンス動作を行う（ｓ１３）。
【００５０】
図７は、シーケンス動作を示すフローチャートである。シーケンス動作は、曲シーケンサ１０１、歌詞シーケンサ１０２、および画像シーケンサ１０３がそれぞれ行うが、所定のクロック（指定されたテンポ）単位で、楽曲データにおける各トラックが示す処理を行うことにより同期される。
【００５１】
まず、曲シーケンサ１０１、歌詞シーケンサ１０２、および画像シーケンサ１０３は、初期化処理を行う（ｓ１０１）。次に、曲シーケンサ１０１は、楽音トラックのシーケンスを行う。楽音トラックがノートイベントを指し示す場合には、当該ノートイベントに従って音源１８を制御し、カラオケ曲の楽音の生成を行う（ｓ４２）。また、曲シーケンサ１０１は、コーラストラックのシーケンスも行い、バックコーラスの音声データを再生する。なお、ここでは、曲シーケンサ１０１は、音源１８を制御して楽音の生成を行う例を示しているが、ＭＰ３等のオーディオデータを再生することも可能である。
【００５２】
画像シーケンサ１０３は、素材指定データが示す素材データをＨＤＤ１３から読み出し（ｓ２２）、仮想空間上に配置する（ｓ２３）。この時、画像シーケンサ１０３は、楽曲データに光源データが含まれている場合には、当該光源データに基づいて、色彩および影の画像を付与する。そして、画像シーケンサ１０３は、視点位置データに基づいて投影変換を行い、２次元画像を生成する（ｓ２４）。これにより、背景映像が生成される。
【００５３】
なお、画像シーケンサ１０３は、カメラ位置と効果音が設定された素材の位置が所定距離内になった場合に、曲シーケンサ１０１に対して設定された効果音の再生指示を行う。曲シーケンサ１０１は、当該再生指示に応じて効果音の再生を行う。
【００５４】
歌詞シーケンサ１０２は、歌詞トラックのシーケンスを行う。歌詞シーケンサ１０２は、歌詞トラックがノートイベントを指し示す場合、当該ノートイベントに従って文字パターンを生成する（ｓ３２）。歌詞シーケンサ１０２により生成された文字パターンは、画像シーケンサ１０３により背景映像に合成される（ｓ２５）。このようにして生成された背景映像が出力部２２に出力され（ｓ２６）、モニタ２３に表示される。
【００５５】
以上のような処理が終了すると、次のクロックに移行する（ｓ１０２）。ＣＰＵ１１は、カラオケ曲の演奏が曲の終了まで進行したか否かを判断し（ｓ１４）、曲が終了するまで楽音の生成、背景映像の生成、および歌詞画像の生成を行う。また、フローチャートには示していないが、採点処理および採点結果に応じた点数を表示する処理も行う。
【００５６】
以上のようにして、楽音の生成、背景映像の生成、および歌詞画像の生成が同期して進行される。
【００５７】
なお、本実施形態では、画像データ生成装置を備えたコンテンツ再生装置として、カラオケ装置１を用いてカラオケ演奏および背景映像の表示を行う態様を示したが、例えばユーザの所有するＰＣやスマートフォン、ゲーム機等の情報処理装置を用いることでも、本発明の画像データ生成装置を実現することが可能である。
【００５８】
画像データ生成装置は、図８に示すように、ＲＯＭ６３に記憶されているプログラムをＲＡＭ６２に読み出し、コンテンツデータを取得するコンテンツ取得処理と、画像データ生成処理と、を行うＣＰＵ６１を備えていればよい。図８に示すハードウェア以外の構成は、本発明において必須の要素ではない。また、楽曲データおよび素材データは、画像データ生成装置のＲＯＭ６３に記憶されて、当該ＲＯＭ６３から取得する必要はなく、都度サーバ等からダウンロード（ストリーミング）して取得すればよい。
【００５９】
また、素材指定データおよび視点位置データは、コンテンツデータに含まれている必要はない。例えば、図９（Ａ）は、電子書籍のコンテンツデータの構造を示す図である。当該電子書籍のコンテンツデータは、シーケンサの動作により、所定量の文章を順次表示するためのデータである。このような電子書籍のコンテンツデータに対して、コンテンツの提供者は、図９（Ｂ）に示すような素材指定データおよび視点位置データを含むデータを別途用意する。この場合、既存のコンテンツデータと同じヘッダ（書籍識別情報）を有した素材指定データおよび視点位置データを別途配信することで、既存のコンテンツデータを拡充する付加サービスを実現することができる。
【００６０】
次に、図１０は、カラオケ装置の応用例を示す図である。この応用例では、ユーザが、ヘッドフォン７１およびヘッドマウントディスプレイ（以下、ＨＭＤと称する。）７２を装着する。
【００６１】
ＨＭＤ７２は、モーションセンサを備え、ユーザの位置（Ｘ，Ｙ，Ｚ座標）およびユーザが向いている方位（ヨーθおよびピッチφ）を検出する。ユーザの位置は、室内に設置されたカメラでＨＭＤ７２を撮影することで検出してもよい。
【００６２】
ヘッドフォン７１は、カラオケ装置１に接続されていて、ＳＳ２０から出力されるカラオケ楽曲のオーディオ信号が入力される。
【００６３】
ＨＭＤ７２は、カラオケ装置１に接続されていて、モーションセンサで検出したユーザの位置および方位をカラオケ装置１のＣＰＵ１１に出力する。また、ＨＭＤ７２は、出力部２２から出力される背景映像を入力し、ディスプレイに表示する。
【００６４】
ＨＭＤ７２は、右目用のディスプレイと左目用のディスプレイとを備えている。したがって、ＣＰＵ１１は、図１１に示すように、右目用の背景映像（Ｒ）と、左目用の背景映像（Ｌ）と、を生成する。右目用の背景映像（Ｒ）および左目用の背景映像（Ｌ）は、視差を考慮して左右に所定距離だけずれた映像となっている。すなわち、ＣＰＵ１１は、視点位置データに示されるカメラ位置をオフセットして、右目用カメラ位置および左目用カメラ位置を設定し、右目用カメラ位置から見た２次元画像と、左目用カメラ位置から見た２次元画像と、をそれぞれ生成する。これにより、ユーザは、奥行きのある３Ｄ映像を見ることができ、より臨場感を得られる。
【００６５】
また、ＣＰＵ１１は、ＨＭＤ７２から得られたユーザの位置および方位を用いて、カメラ位置および方位をオフセットしてもよい。ＣＰＵ１１は、例えばカラオケ曲の演奏開始時点のユーザの位置および方位を初期値として、ユーザが右に９０度向いた場合に、仮想空間内におけるカメラ５５の方位も右に９０度回転させた映像を生成する。
【００６６】
また、ＣＰＵ１１は、効果音が設定された素材がある場合、ＨＭＤ７２から得られたユーザの位置と、素材の位置と、に基づいて頭部伝達関数（ＨＲＴＦ）に基づく仮想音像定位処理を行う。これにより、ユーザは、仮想空間内の各素材の位置から音が到達したように感じることができ、より臨場感を得られる。
【符号の説明】
【００６７】
１…カラオケ装置
９…リモコン
１１…ＣＰＵ
１２…ＲＡＭ
１３…ＨＤＤ
１５…タッチパネル
１６…マイク
１７…Ａ／Ｄコンバータ
１８…音源
１９…ミキサ
２０…サウンドシステム
２１…スピーカ
２２…出力部
２３…モニタ
２４…操作部
２５…送受信部
５１…山画像
５２…紙飛行機画像
５３…滝画像
５４…池画像
５５…カメラ
５６…太陽画像
６１…ＣＰＵ
６２…ＲＡＭ
６３…ＲＯＭ
６４…出力部
７１…ヘッドフォン
７２…ＨＭＤ
１０１…曲シーケンサ
１０２…歌詞シーケンサ
１０３…画像シーケンサ
２０１…ボーン
２０２…剛体
２０３…ジョイント
【図１】
2017004353.tif 000003
【図２】
2017004353.tif 000004
【図３】
2017004353.tif 000005
【図４】
2017004353.tif 000006
【図５】
2017004353.tif 000007
【図６】
2017004353.tif 000008
【図７】
2017004353.tif 000009
【図８】
2017004353.tif 000010
【図９】
2017004353.tif 000011
【図１０】
2017004353.tif 000012
【図１１】
2017004353.tif 000013