(57)【要約】【課題】カラオケ装置を複数人数で利用する場合において、歌唱者のみならず、歌唱していない利用者をも楽しませることのできる技術を提供する。【解決手段】歌唱者はカラオケ装置１を用いてカラオケ歌唱を行う。歌唱者が歌唱を行っている間、歌唱していない他の利用者は、タッチスクリーン１７１を用いて歌唱映像をデコレーションすることができる。タッチスクリーン１７１のプレビュー画面には、歌唱映像と歌詞テロップとが表示される。利用者によってデコレーション操作が行われると、ＣＰＵ１１は、タッチスクリーン１７１から出力される信号とタッチスクリーン１７１の表示内容とに応じて、歌唱映像にデコレーション画像を合成表示する。このとき、ＣＰＵ１１は、デコレーション画像をカラオケ伴奏のリズムに同期させてアニメーションさせる。【選択図】図１
2012198380.tif 000002
【特許請求の範囲】
【請求項１】
楽曲を示す楽曲データを記憶する楽曲データ記憶手段と、
映像を示す映像データを取得する映像データ取得手段と、
前記映像を装飾するための画像を示す画像データを記憶する画像データ記憶手段と、
操作画面を表示するとともに利用者によって操作される操作表示手段から出力される信号及び当該操作表示手段の表示内容に応じた楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、
前記操作表示手段から出力される信号及び当該操作表示手段の表示内容に応じた画像データを前記画像データ記憶手段から読み出し、読み出した画像データの示す画像と前記映像データ取得手段によって取得された映像データの示す映像と合成して表示手段に表示する表示制御手段であって、前記再生手段によって再生される楽曲データのテンポを特定し、特定したテンポに応じたタイミングで当該画像の表示態様を変更する表示制御手段と
を具備することを特徴とする表示制御装置。
【請求項２】
前記映像データは、撮影手段によって撮影された映像を示すデータである
ことを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記表示制御手段は、前記読み出した画像データの示す画像が動画像である場合に、当該画像を前記再生手段によって再生される楽曲データのテンポに応じた再生速度で表示する
ことを特徴とする請求項１又は２に記載の表示制御装置。
【請求項４】
前記表示制御手段は、前記画像の表示態様を変更する旨を示す信号が前記操作表示手段から出力された場合に、当該信号に従って当該画像の表示態様を変更するとともに、
前記画像データの示す画像の表示開始タイミング及び表示態様の変更タイミングの少なくともいずれか一方を示すシーケンスデータを生成して出力する
ことを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
【請求項５】
前記楽曲データは、前記楽曲の特定の区間を示す区間データを含み、
前記表示制御手段は、前記再生手段によって再生される楽曲データに含まれる区間データを参照し、当該区間データの示す区間とそれ以外の区間とで前記画像の表示態様を異ならせる
ことを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
【請求項６】
前記画像データは、前記画像の表示位置、表示サイズ、表示色、透過度及び前記楽曲データの再生速度に対する相対的な切替速度のうちの少なくともいずれかひとつを示す表示態様データを複数含み、
前記表示制御手段は、前記読み出した画像データの示す画像の表示態様を、当該画像データに含まれる表示態様データに従って切り替える
ことを特徴とする請求項１乃至５のいずれか１項に記載の表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケ伴奏の際に映像を表示する技術に関する。
【背景技術】
【０００２】
近年、カラオケ伴奏のみならず、利用者をより楽しませるための種々の機能を備えたカラオケ装置が普及している。例えば、特許文献１には、歌唱する姿をビデオカメラで撮影して記録する機能を備えたカラオケ装置が開示されている。この装置によれば、利用者は撮影された映像を後で再生して楽しむことができる。
【０００３】
また、近年、動画に文字や画像を合成して楽しむサービスが提案されている。具体的には、例えば、サーバにアップロードされた動画に、他の利用者が文字や記号を用いたコメントを付加して楽しむサービスが提供されている。また、例えば、動画がアップロードされると、アップロードされた動画にサーバが文字や画像を合成して配信するサービスが提供されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２８２４７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、カラオケにおいて歌唱者を撮影する場合に、歌唱者だけでなく他の利用者をも楽しませることができれば好適である。特許文献１に記載の装置では、歌唱する姿を撮影することによってその歌唱者本人を楽しませることができるものの、他の利用者がその映像を楽しめない場合もあった。
【０００６】
本発明は上述した背景の下になされたものであり、カラオケ装置を複数人数で利用する場合において、歌唱者のみならず、歌唱していない利用者をも楽しませることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するため、本発明は、楽曲を示す楽曲データを記憶する楽曲データ記憶手段と、映像を示す映像データを取得する映像データ取得手段と、前記映像を装飾するための画像を示す画像データを記憶する画像データ記憶手段と、操作画面を表示するとともに利用者によって操作される操作表示手段から出力される信号及び当該操作表示手段の表示内容に応じた楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、前記操作表示手段から出力される信号及び当該操作表示手段の表示内容に応じた画像データを前記画像データ記憶手段から読み出し、読み出した画像データの示す画像と前記映像データ取得手段によって取得された映像データの示す映像と合成して表示手段に表示する表示制御手段であって、前記再生手段によって再生される楽曲データのテンポを特定し、特定したテンポに応じたタイミングで当該画像の表示態様を変更する表示制御手段とを具備することを特徴とする表示制御装置を提供する。
【０００８】
本発明の好ましい態様において、前記映像データは、撮影手段によって撮影された映像を示すデータであってもよい。
【０００９】
また、本発明の更に好ましい態様において、前記表示制御手段は、前記読み出した画像データの示す画像が動画像である場合に、当該画像を前記再生手段によって再生される楽曲データのテンポに応じた再生速度で表示してもよい。
【００１０】
本発明の更に好適な態様において、前記表示制御手段は、前記画像の表示態様を変更する旨を示す信号が前記操作表示手段から出力された場合に、当該信号に従って当該画像の表示態様を変更するとともに、前記画像データの示す画像の表示開始タイミング及び表示態様の変更タイミングの少なくともいずれか一方を示すシーケンスデータを生成して出力してもよい。
【００１１】
また、本発明の更に好適な態様において、前記楽曲データは、前記楽曲の特定の区間を示す区間データを含み、前記表示制御手段は、前記再生手段によって再生される楽曲データに含まれる区間データを参照し、当該区間データの示す区間とそれ以外の区間とで前記画像の表示態様を異ならせてもよい。
【００１２】
また、本発明の好適な態様において、前記画像データは、前記画像の表示位置、表示サイズ、表示色、透過度及び前記楽曲データの再生速度に対する相対的な切替速度のうちの少なくともいずれかひとつを示す表示態様データを複数含み、前記表示制御手段は、前記読み出した画像データの示す画像の表示態様を、当該画像データに含まれる表示態様データに従って切り替えてもよい。
【００１３】
また、本発明の更に好適な態様において、前記表示制御手段は、前記生成したシーケンスデータを、前記映像データに付与して記憶してもよい。
【００１４】
また、本発明の別の好適な態様において、前記画像データは、前記楽曲データの再生速度に対する相対的な再生速度を示す表示態様データを含み、前記表示制御手段は、前記読み出した画像データの示す動画像を、当該画像データに含まれる表示態様データの示す再生速度で表示してもよい。
【００１５】
また、本発明の更に好適な態様において、前記表示制御手段は、歌唱者の歌唱音声を収音する収音手段から出力される音声信号の出力ゲインに応じて前記画像の表示態様を変更してもよい。
【００１６】
また、本発明の更に好適な態様において、前記表示制御手段は、前記画像を第２の表示手段に表示する旨を示す信号が前記操作表示手段から出力された場合に、当該画像を当該第２の表示手段に表示してもよい。
【発明の効果】
【００１７】
本発明によれば、カラオケ装置を複数人数で利用する場合において、歌唱者のみならず、歌唱していない利用者をも楽しませることができる。
【図面の簡単な説明】
【００１８】
【図１】カラオケ装置のハードウェア構成の一例を示すブロック図である。
【図２】タッチスクリーンの画面の一例を示す図である。
【図３】タッチスクリーンの画面の一例を示す図である。
【図４】タッチスクリーンの画面の一例を示す図である。
【図５】カラオケ装置が実行するデコレーション処理の内容を説明するための図である。
【図６】デコレーション情報の内容の一例を示す図である。
【図７】カラオケ装置が実行するデコレーション処理の内容を説明するための図である。
【発明を実施するための形態】
【００１９】
＜カラオケ装置の構成＞
図１は、この発明の一実施形態であるカラオケ装置１のハードウェア構成の一例を示すブロック図である。図において、ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２に記憶されているコンピュータプログラムを読み出してＲＡＭ（Random Access Memory）１３にロードし、これを実行することにより、カラオケ装置１の各部を制御する。記憶装置１４は、ハードディスクや光ディスク等の大容量の記憶手段である。通信Ｉ／Ｆ１５は、通信回線で結ばれた他の装置（例えば、カラオケ装置の管理室のサーバ、等）との間でデータの授受を行うインタフェースである。
【００２０】
表示回路１６は、液晶ディスプレイ等のメイン表示装置２２に画像を表示するための回路である。入力装置１７は、操作された内容に応じた操作信号を出力する操作入力装置である。入力装置１７は、装置本体付属の操作子（図示略）や、タッチスクリーン１７１を含んでいる。タッチスクリーン１７１は操作画面を表示する表示パネルを備えており、利用者は表示パネルに表示される画面を視認しつつこの表示パネルに触れることで操作を行う。ここでは、タッチスクリーン１７１はマルチタッチで操作可能なものである。利用者は、タッチスクリーン１７１を用いて楽曲の選択等の各種の操作を行うことができる。
【００２１】
歌唱マイク１８は、歌唱者の歌唱音声を収音する収音機器である。歌唱マイク１８は、歌唱音声の時間軸上における波形を表すアナログの電気信号を出力する。音声処理部１９は、歌唱マイク１８から出力される電気信号をデジタル信号に変換する。また、音声処理部１９は、ＣＰＵ１１の制御の下、デジタル信号をアナログ信号に変換して増幅器（図示略）を介してスピーカ２０に出力する。スピーカ２０は、供給される音声信号に応じた強度で放音する放音手段である。ビデオカメラ２１は、撮影し、撮影した映像を表す映像信号を出力する撮影手段である。
【００２２】
カラオケ装置１は、カラオケ伴奏を再生する際に、ビデオカメラ２１によって歌唱者の歌唱映像を撮影し、撮影した映像と歌詞テロップとを合成してメイン表示装置２２に表示するとともに、タッチスクリーン１７１に表示する。歌唱者以外の利用者は、タッチスクリーン１７１を用いて、歌唱映像に対して文字や画像を付加して歌唱映像を装飾する（以下、「デコレーションする」という）ことができる。
【００２３】
記憶装置１４には、歌詞テロップデータ記憶領域１４１と、伴奏音データ記憶領域１４２と、素材データ記憶領域１４３と、デコレーション済映像ファイル記憶領域１４４とが設けられている。歌詞テロップデータ記憶領域１４１には、歌詞テロップとして表示される楽曲の歌詞を表す歌詞データが複数記憶されている。伴奏音データ記憶領域１４２には、楽曲の伴奏音を表す伴奏音データが複数記憶されている。
【００２４】
素材データ記憶領域１４３には、利用者がタッチスクリーン１７１を用いてデコレーション操作を行う際にデコレーションの素材として用いられる画像（以下「素材画像」）を表すデータ（以下「素材データ」という）が複数記憶されている。素材データには素材識別子が付与されており、利用者がタッチスクリーン１７１を用いて素材を選択する操作を行うと、ＣＰＵ１１は、タッチスクリーン１７１から出力される信号とタッチスクリーン１７１の表示内容とに応じた素材識別子を検索し、検索された素材データを素材データ記憶領域１４３から読み出す。素材データの具体的な内容としては、例えば、「桜吹雪」や「シャボン玉」といった歌唱映像のフレームとして用いられるフレーム素材や、「星」や「ハート」といったスタンプ素材、利用者が自由に描画するためのペン素材などがある。素材データは、ひとつの静止画像を表すデータであってもよく、また、例えば複数の静止画像を順に表示するといった動画像を表すデータであってもよい。また、素材データは、画像データ（静止画像データや動画像データ）が複数組み合わされて構成されたデータであってもよい。
【００２５】
素材データが複数の画像データで構成されている場合には、各画像データに利用者の操作内容がそれぞれ対応付けられていてもよい。具体的には、例えば、「星」の素材データに星の静止画像データと星がキラキラするような動画像を表す動画像データとが含まれており、この動画像データとダブルクリック操作が対応付けられた構成であってもよい。また、素材データは、画像の表示位置や表示サイズ、表示色、透過度、再生速度等の、画像の表示態様に係る各種のデフォルト値（表示態様データ）を含んでいてもよい。再生速度としては、例えば、楽曲の１拍毎に画像を切り替える旨を示すものであってもよく、また、例えば、２拍毎に画像を切り替える旨を示すものであってもよい。
【００２６】
デコレーション済映像ファイル記憶領域１４４には、ＣＰＵ１１が後述するデコレーション処理を実行することによって生成されるデコレーション済映像ファイルが記憶される。なお、このデコレーション処理の内容は後述するため、ここではその詳細な説明を省略する。
【００２７】
＜カラオケ装置の動作例１＞
次に、カラオケ装置１の動作の一例について説明する。この動作例では、歌唱者が歌唱しているときに、他の利用者が歌唱映像に対してリアルタイムにデコレーション操作を行う場合の動作について説明する。まず、歌唱者はタッチスクリーン１７１を操作して歌唱する楽曲を選択する。タッチスクリーン１７１は歌唱者の操作内容に応じた信号を出力する。ＣＰＵ１１は、タッチスクリーン１７１から出力される信号とタッチスクリーン１７１の表示内容とに基づいて、選択された楽曲に対応する伴奏音データを伴奏音データ記憶領域１４２から読み出し、カラオケ伴奏を再生する。これによりカラオケ伴奏が開始される。ビデオカメラ２１は、カラオケ伴奏が再生されている期間にわたって、歌唱者を撮影し、撮影した映像を表す映像信号を出力する。また、ＣＰＵ１１は、歌唱者によって選択された楽曲に対応する歌詞テロップデータを歌詞テロップデータ記憶領域１４１から読み出し、読み出した歌詞テロップデータの示す歌詞テロップとビデオカメラ２１によって撮影された映像とを合成し、メイン表示装置２２とタッチスクリーン１７１に合成画像を表示する。すなわち、メイン表示装置２２とタッチスクリーン１７１には、歌唱者の歌唱映像と歌詞テロップとがリアルタイムに表示される。
【００２８】
歌唱者は、メイン表示装置２２に表示される歌詞テロップを参照しつつ、再生されるカラオケ伴奏にあわせて歌唱を行う。利用者が歌唱を開始すると、歌唱者の歌唱音声が歌唱マイク１８によって収音され、音声信号として音声処理部１９へ供給される。音声処理部１９は、入力される音声信号をスピーカ２０に供給し、伴奏音とともにスピーカ２０から音として出力する。
【００２９】
歌唱者が歌唱を行っている間、歌唱していない他の利用者は、タッチスクリーン１７１を用いて歌唱映像をデコレーションすることができる。図２乃至図４は、タッチスクリーン１７１に表示される画面の一例を示す図である。ＣＰＵ１１は、カラオケ伴奏を再生している間、図２乃至図４に例示するような画面をタッチスクリーン１７１に表示する。図において、プレビュー画面Ｐ１には、上述したように、ビデオカメラ２１によって撮影されている歌唱映像と歌詞テロップとが合成されて表示される。フレームタブＴ１は、フレーム素材を選択するためのものであり、フレームタブＴ１が選択されると、図２に示すように、「なし」、「桜吹雪」、「シャボン玉」、…といった、フレーム素材が複数表示される。スタンプタブＴ２は、スタンプ素材を選択するためのものであり、スタンプタブＴ２が選択されると、図３に示すように、「星」、「流れ星」、「ハート」、…といった、スタンプ素材が複数表示される。ペンタブＴ３は、ペン素材を選択するためのものであり、ペンタブＴ３が選択されると、図４に示すように、ペン素材が複数表示される。決定ボタンＢ１、キャンセルボタンＢ２及びシンクロボタンＢ３は、メイン表示装置２２の表示を変更するためのものである。速度変更ボタンＢ４は、素材画像のアニメーションの速度を変更するためのものである。
【００３０】
利用者によってタッチスクリーン１７１が操作されると、ＣＰＵ１１は、タッチスクリーン１７１から出力される信号とタッチスクリーン１７１の表示内容とに基づいて、歌唱映像のデコレーション処理を実行する。ここで、図面を参照しつつ、ＣＰＵ１１が実行するデコレーション処理の内容について説明する。図５は、カラオケ装置１が実行するデコレーション処理の内容を説明するための図である。図５において、デコレーション編集部１１１及びエンコーダ１１２は、ＣＰＵ１１がＲＯＭ１２又は記憶装置１４に記憶されているコンピュータプログラムを読み出して実行することによって実現される。なお、図５においては、図面が煩雑になるのを防ぐため、デコレーション処理に係る構成について主に図示することとし、音声処理部１９や表示回路１６はその図示を省略している。
【００３１】
図５において、デコレーション編集部１１１は、タッチスクリーン１７１から出力される信号とタッチスクリーン１７１の表示内容とに応じて、素材画像の表示や消去、表示態様の変更といった、素材画像に係る各種の処理を実行する。また、デコレーション編集部１１１は、素材画像に係る処理を実行する毎に、その処理の内容を示すデコレーション情報（シーケンスデータ）を生成し、生成したデコレーション情報をエンコーダ１１２に出力する。エンコーダ１１２には、ビデオカメラ２１から出力される映像データと、歌詞テロップデータ記憶領域１４１に記憶された歌詞テロップデータと、伴奏音データ記憶領域１４２に記憶された伴奏音データと歌唱マイク１８から出力されて音声処理部１９でＡ／Ｄ変換された歌唱音声データとが加算器１１４で合成された音声データとが供給される。エンコーダ１１２は、映像データ、歌詞テロップデータ、音声データ及びデコレーション編集部１１１から供給されるデコレーション情報を同期するようにエンコードし、ひとつのファイル（以下「デコレーション済映像ファイル」）とする。その際、エンコーダ１１２は、映像データと音声データとを既知の技術でエンコードしてもよい。
【００３２】
図６は、デコレーション編集部１１１が生成するデコレーション情報の内容の一例を示す図である。図示のように、デコレーション情報は、「タイムスタンプ」と、「素材識別子」と、「イベント」と、「引数」との項目を含む。「タイムスタンプ」の項目にはカラオケ伴奏の時間軸を基準とした場合の時刻（タイミング）を示す情報が格納される。「素材識別子」の項目には、素材データを識別する識別子が格納される。「イベント」の項目には、デコレーション画像の表示や動作に関する情報（以下「イベント識別子」）が格納される。「引数」の項目には、イベントの種別に応じた引数が格納される。引数の数は１であってもよく、図６に示すように複数であってもよく、また、ゼロであってもよい（すなわち、引数が設定されていなくてもよい）。
【００３３】
この実施形態では、イベント識別子として、「オブジェクトの生成」、「オブジェクトの削除」、「オブジェクトの適用」、「オブジェクトの取消」、「オブジェクトの移動」、「オブジェクトの伸縮」、「オブジェクトの強調」、「オブジェクトの速度変更」を用いる。なお、イベント識別子はこれらに限らず、他のものを用いてもよい。「オブジェクトの生成」は、デコレーション画像の表示に係るオブジェクトを生成する旨を示す。「オブジェクトの削除」はオブジェクトを削除する旨を示す。「オブジェクトの適用」はデコレーション画像をメイン表示装置２２に表示する旨を示す。この場合、表示座標や表示サイズが引数として設定される。「オブジェクトの取消」はデコレーション画像をタッチスクリーン１７１から消去する旨を示す。「オブジェクトの移動」はデコレーション画像の表示位置を変更する旨を示す。この場合、表示座標が引数として設定される。「オブジェクトの伸縮」はデコレーション画像の表示サイズを変更する旨を示す。この場合、表示サイズが引数として設定される。「オブジェクトの強調」は、各デコレーション画像に予め設定された強調動作を行わせる旨を示す。「オブジェクトの速度変更」はデコレーション画像の再生速度を変更する旨を示す。この場合、再生速度が引数として設定される。
【００３４】
デコレーション編集部１１１は、利用者によってデコレーション画像の表示に係る操作が行われる毎に（すなわちタッチスクリーン１７１からデコレーション画像の表示に係る信号が出力される毎に）、その操作が行われたタイミングを示すタイムスタンプとその操作に対応するイベントを示すイベント識別子とを含むデコレーション情報を生成し、生成したデコレーション情報をエンコーダ１１２に出力する。
【００３５】
次に、デコレーション編集部１１１が行うデコレーション処理の具体的な内容の一例について説明する。利用者がタッチスクリーン１７１を用いて素材画像のいずれかを選択する操作を行うと、デコレーション編集部１１１は、タッチスクリーン１７１から出力される信号とタッチスクリーン１７１の表示内容とに対応する素材データを素材データ記憶領域１４３から読み出し、読み出した素材データの示す素材画像を、歌唱映像や歌詞テロップと合成してタッチスクリーン１７１に表示する。具体的には、例えば、利用者によってフレーム素材のいずれかが選択された場合は、デコレーション編集部１１１は、選択されたフレーム素材の画像を、歌唱映像と歌詞テロップとに合成してプレビュー画面Ｐ１に表示する。例えば、「桜吹雪」のフレームが選択された場合には、デコレーション編集部１１１は、素材データ記憶領域１４３から、「桜吹雪」を表す素材データを読み出し、読み出した素材データの示す素材画像を、歌唱映像や歌詞テロップと合成してプレビュー画面Ｐ１に表示する。また、利用者によってスタンプ素材のいずれかが選択された場合は、デコレーション編集部１１１は、図３に例示するように、選択されたスタンプ素材の画像Ａ１を歌唱映像と歌詞テロップとに合成してプレビュー画面Ｐ１に表示する。また、例えば、利用者によってペン素材のいずれかが選択され、プレビュー画面Ｐ１上でドラッグ操作が行われると、デコレーション編集部１１１は、プレビュー画面Ｐ１上に描画された線を表示する。以下の説明では、説明の便宜上、タッチスクリーン１７１上に表示された素材画像や、ペン素材を用いて描画された線を、「デコレーション画像」と称して説明する。また、このとき、デコレーション編集部１１１は、「オブジェクトの生成」を示すデコレーション情報を生成して出力する。
【００３６】
このとき、デコレーション編集部１１１は、再生されているカラオケ伴奏のテンポを特定し、特定したテンポに応じたタイミングでデコレーション画像の表示態様を変更する。具体的には、デコレーション画像が複数の静止画像からなる動画像である場合には、デコレーション編集部１１１は、再生されているカラオケ伴奏のテンポに応じた再生速度でデコレーション画像を再生表示する。すなわち、デコレーション編集部１１１は、伴奏データを参照してカラオケ伴奏のテンポを示す情報を取得し、その情報に従って、デコレーション画像をカラオケ伴奏のリズムに同期させてアニメーションさせる。このとき、デコレーション画像に再生速度のデフォルト値が予め設定されている場合には、デコレーション編集部１１１はその再生速度でデコレーション画像を再生表示する。具体的には、例えば、１拍毎に画像を切り替える旨が設定されている場合には、デコレーション編集部１１１は、カラオケ伴奏のテンポにあわせて、１拍毎に画像を切り替えて表示する。このようにカラオケ伴奏と画像表示とを同期させることによって、デコレーション画像の表示をより自然なものにすることができる。
【００３７】
また、デコレーション編集部１１１は、そのデコレーション画像に表示態様（表示位置、表示サイズ、透過度、色、再生速度、等）の変更の態様が予め設定されている場合には、設定された変更の態様に従って、そのデコレーション画像の表示態様を、カラオケ伴奏のテンポに応じたタイミングで（カラオケ伴奏に同期させて）変更する。具体的には、例えば、デコレーション編集部１１１が、デコレーション画像の表示位置を、画面上で左、右、左、右、…といったように、カラオケ伴奏のリズムに合わせて所時間間隔毎（例えば、１拍毎）に移動させるようにしてもよい。また、例えば、画像の表示サイズを、大、小、大、小、…といったように、カラオケ伴奏のリズムに合わせて所定時間間隔毎に（例えば、１拍毎）に切り替えるようにしてもよい。
【００３８】
一方、デコレーション画像がひとつの静止画像で構成されており、かつ、表示態様の変更の態様を示す情報が含まれていない場合は、デコレーション編集部１１１は表示態様の変更を行わず、静止画像をそのまま表示する。
【００３９】
決定ボタンＢ１が選択されるまでは、デコレーション画像はタッチスクリーン１７１に表示されるのみであり、メイン表示装置２２には表示されない。すなわち、決定ボタンＢ１が選択されるまでは、メイン表示装置２２には、歌唱映像と歌詞テロップのみが表示される。ただし、シンクロボタンＢ３が利用者によって予め選択されている場合は、デコレーション編集部１１１は、プレビュー画面Ｐ１と同様の画面をメイン表示装置２２に表示する。一方、シンクロボタンＢ３が選択されていない場合には、デコレーション編集部１１１は、決定ボタンＢ１が選択されるまで、プレビュー画面Ｐ１の表示内容をメイン表示装置２２の画面に反映しない。
【００４０】
デコレーション画像がタッチスクリーン１７１に表示されている状態において、決定ボタンＢ１が利用者によって選択されると、デコレーション編集部１１１は、プレビュー画面Ｐ１の表示内容をメイン表示装置２２に反映する。すなわち、利用者が決定ボタンＢ１をタッチすると、デコレーション編集部１１１は、プレビュー画面Ｐ１に表示したデコレーション画像をメイン表示装置２２にも表示する。このとき、デコレーション編集部１１１は、「オブジェクトの適用」を示すデコレーション情報を生成し出力する。
【００４１】
また、利用者がプレビュー画面Ｐ１上でデコレーション画像を触りながらキャンセルボタンＢ２をタッチすると、デコレーション編集部１１１は、そのデコレーション画像をプレビュー画面Ｐ１及びメイン表示装置２２の表示画面から消去する。このとき、デコレーション編集部１１１は「オブジェクトの削除」を示すデコレーション情報を生成し出力する。
【００４２】
また、利用者がプレビュー画面Ｐ１上でデコレーション画像を触りながら速度変更ボタンＢ４をタッチすると、デコレーション編集部１１１は、そのデコレーション画像のアニメーションの速度を変更する。具体的には、速度を遅くする旨を指示する操作がなされた場合には、デコレーション編集部１１１は、デコレーション画像の再生速度を遅くする。一方、速度を速くする旨を示す操作がなされた場合には、デコレーション編集部１１１は、デコレーション画像の再生速度を速くする。このとき、デコレーション編集部１１１は「オブジェクトの速度変更」を示すデコレーション情報を生成し出力する。
【００４３】
デコレーション画像がプレビュー画面Ｐ１に表示されている状態において、利用者がプレビュー画面Ｐ１上でデコレーション画像をダブルクリックすると、デコレーション編集部１１１は、そのデコレーション画像に特有の強調動作をする。例えば、素材画像が星の場合は、星がキラキラしているようなアニメーション表示を行ってもよい。この場合、デコレーション編集部１１１は、タッチスクリーン１７１から出力される信号とタッチスクリーン１７１の表示内容とに応じて、ダブルクリック操作に対応付けられた画像を表示する。このとき、デコレーション編集部１１１は、「オブジェクトの強調」を示すデコレーション情報を生成し出力する。
【００４４】
また、利用者がプレビュー画面Ｐ１上でスタンプをドラッグすると、デコレーション編集部１１１は、スタンプの表示位置を変更する。このとき、デコレーション編集部１１１は、「オブジェクトの移動」を示すデコレーション情報を生成し出力する。
【００４５】
また、利用者がプレビュー画面Ｐ１上でスタンプを２本の指で広げる操作を行うと、デコレーション編集部１１１は、スタンプの表示サイズを大きくする。逆に、利用者がプレビュー画面上でスタンプを２本の指で狭める操作を行うと、デコレーション編集部１１１は、操作された内容に応じて、スタンプの表示サイズを小さくする。このとき、デコレーション編集部１１１は「オブジェクトの伸縮」を示すデコレーション情報を生成し出力する。
【００４６】
以上のように、カラオケ装置１の利用者は、タッチスクリーン１７１を用いてデコレーション画像を表示させたり、編集したりすることができる。デコレーション処理が施された歌唱映像は、デコレーション済映像ファイルとして保存される。
【００４７】
カラオケ装置１の利用者は、保存されたデコレーション済映像ファイルを後で再生することによって、録画された歌唱映像を再度楽しむことができる。このとき、再生される歌唱映像には、利用者がデコレーション動作を行ったことによるデコレーション画像が合成されているから、これにより、歌唱映像をより娯楽性の高いものとすることができ、かつ、歌唱者のみならず他の利用者もその歌唱映像を楽しむことができる。
【００４８】
＜カラオケ装置の動作例２＞
カラオケ装置１の利用者は、歌唱者が歌唱を行っている最中においてデコレーション動作を行うことができる（カラオケ装置の動作例１を参照）とともに、歌唱が終了した後であっても、歌唱映像に対してデコレーション動作を行うことができる。ここで、歌唱後にデコレーション動作を行う場合の動作例について、図７を参照しつつ説明する。図７は、歌唱後にデコレーション動作を行う場合の処理の内容を説明するための図である。図７において、図５に示した構成要素と同様のものについては同じ符号を付してその説明を省略する。図７において、デコーダ１１３は、デコレーション済映像ファイル記憶領域１４４からデコレーション済映像ファイルを読み出し、読み出したデコレーション済映像ファイルを、映像データ、歌詞テロップデータ、音声データ及びデコレーション情報にデコードする。デコーダ１１３は、映像データと歌詞テロップデータとを、デコレーション編集部１１１及びエンコーダ１１２に出力するとともに、デコレーション情報をデコレーション編集部１１１へ出力する。また、デコーダ１１３は、音声データをエンコーダ１１２に出力するとともに、音声処理部１９を介してスピーカ２０へ供給する。
【００４９】
デコレーション編集部１１１は、デコーダ１１３から供給されるデコレーション情報に従って、デコレーション画像についての処理内容を特定する。デコレーション情報がデコレーション画像の表示を行う旨を示すものである場合には、デコレーション編集部１１１は、デコレーション画像をデコーダ１１３から供給される映像データ及び歌詞テロップデータと合成してタッチスクリーン１７１に表示する。具体的には、例えば、デコレーション情報に含まれるイベント識別子が「オブジェクトの生成」を示す場合には、デコレーション編集部１１１は、素材データ記憶領域１４３から素材データを読み出し、読み出した素材データの示す画像をタッチスクリーン１７１上に表示する。また、イベント識別子が「オブジェクトの削除」である場合には、デコレーション編集部１１１は、オブジェクトを削除する。イベント識別子が「オブジェクトの適用」を示す場合には、デコレーション編集部１１１は、タッチスクリーン１７１に表示されたデコレーション画像をメイン表示装置２２に表示する。イベント識別子が「オブジェクトの取消」である場合には、デコレーション編集部１１１は、オブジェクトをプレビュー画面から消去する。イベント識別子が「オブジェクトの移動」を示す場合には、デコレーション編集部１１１は、プレビュー画面におけるデコレーション画像の表示位置をデコレーション情報に従って変更する。イベント識別子が「オブジェクトの伸縮」を示す場合には、デコレーション編集部１１１は、プレビュー画面におけるデコレーション画像の表示サイズをデコレーション情報に従って変更する。イベント識別子が「オブジェクトの強調」を示す場合には、デコレーション編集部１１１は、プレビュー画面においてオブジェクトに特有の強調動作を行う。このようにしてデコレーション済の映像がタッチスクリーン１７１及びメイン表示装置２２に表示される。
【００５０】
利用者は、デコレーション済の映像を見ながら、この映像に対して更にデコレーション動作を行うことができる。なお、このデコレーション動作の詳細については上述した（カラオケ装置の動作例１）と同様であるため、ここではその詳細な説明を省略する。すなわち、利用者は、デコレーション済の映像を見ながら、更にデコレーション画像を追加したり、既に付加されているデコレーション画像の表示位置や表示サイズを変更したり、また、付加されているデコレーション画像を消去したり、といった各種の操作を行うことができる。
【００５１】
このように、歌唱者が歌唱している最中のみならず、歌唱後においてもデコレーションの編集を行うことができる。これにより、デコレーションされた映像を利用者の所望する映像に近づけることができる。
【００５２】
以上説明したように本実施形態によれば、カラオケ装置１を複数人数で利用する場合において、歌唱者が歌唱している最中に、他の利用者が歌唱映像にリアルタイムでデコレーションすることができるから、これにより、歌唱者のみならず、歌唱していない利用者をも楽しませることができる。このとき、カラオケ伴奏のテンポに応じてデコレーション画像が再生されるから、これにより、より楽曲に合った自然なアニメーションを行わせることができ、歌唱映像をより娯楽性の高いものにすることができる。また、本実施形態によれば、歌唱する姿が録画された映像を再生しながらデコレーションすることも可能である。
【００５３】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述の実施形態では、本発明である表示制御装置が、カラオケ伴奏を再生するカラオケ装置として適用される場合の実施形態について説明したが、本発明に係る表示制御装置はカラオケ装置に限らず、例えば、パーソナルコンピュータ等の汎用コンピュータであってもよい。表示制御装置が汎用コンピュータである場合には、ビデオカードが表示回路１６に相当し、キーボードやマウスが入力装置１７に相当する。
【００５４】
（２）上述の実施形態では、カラオケ装置１は、デコレーション情報を、歌唱映像データ、歌詞テロップデータ、歌唱音声データ及び伴奏音データとあわせてエンコードしてデコレーション済映像ファイルを生成し、生成したデコレーション映像ファイルを記憶装置１４に記憶したが、デコレーション済映像ファイルを生成する構成とせず、デコレーション情報のみを記憶装置１４に記憶するようにしてもよい。また、上述の実施形態では、素材データはデコレーション済ファイルに含めない構成としたが、これに限らず、素材データをデコレーション済ファイルに含める構成としてもよい。
【００５５】
（３）上述の実施形態では、図３に示すデコレーション編集部１１１及びエンコーダ１１２は、ＣＰＵ１１がＲＯＭ１２又は記憶装置１４に記憶されたコンピュータプログラムを読み出して実行することによってソフトウェアとして実現される構成としたが、これに限らず、デコレーション編集部１１１及びエンコーダ１１２がハードウェアとして構成されていてもよい。
【００５６】
（４）上述の実施形態では、ビデオカメラ２１で撮影した映像を示す映像データに対してデコレーション処理を施すようにしたが、デコレーション処理の対象となる映像データは、ビデオカメラ２１で撮影された映像を示すデータに限らず、他のデータであってもよい。例えば、アバタやＣＧ映像を示すデータであってもよく、また、例えば、利用者が所定のサーバ装置等からダウンロードした映像データや画像データであってもよい。
また、上述の実施形態では、フレーム素材やスタンプ素材、ペン素材によって描画された線をデコレーション画像として用いたが、デコレーション画像はこれに限らず、例えば文字（テキスト）を描画するようにしてもよい。
【００５７】
（５）上述の実施形態では、入力装置１７、歌唱マイク１８、スピーカ２０、ビデオカメラ２１及びメイン表示装置２２がカラオケ装置１に外付けされる構成について説明したが、これに限らず、スピーカやマイク等がカラオケ装置１に内蔵される構成であってもよい。
【００５８】
（６）上述の実施形態において、伴奏データが楽曲の特定の区間（例えば、サビの区間）を示す区間データを含む構成とし、カラオケ装置１のＣＰＵ１１が、区間データを参照し、区間データの示す区間とそれ以外の区間とでデコレーション画像の表示態様を異ならせるようにしてもよい。具体的には、例えば、「桜吹雪」のフレーム画像を表示する場合に、サビの区間においては桜吹雪がたくさん舞うような表示を行うようにしてもよい。この場合は、素材データが複数の画像データ（例えば、サビ区間以外に表示される動画像データと、サビ区間で表示される動画像データ）を含めるとともに、動画像データとサビ区間との対応関係を示すデータを素材データに含めておけばよい。ＣＰＵ１１は、素材データに含まれるデータの示す対応関係に基づいて、サビの区間に対応する画像データを表示する。
【００５９】
（７）上述の実施形態において、カラオケ装置１のＣＰＵ１１が、歌唱マイク１８によって収音される歌唱音声の出力ゲインに応じてデコレーション画像の表示態様を異ならせるようにしてもよい。具体的には、例えば、出力ゲインが大きいほどデコレーション画像の表示サイズを大きくするようにしてもよい。
【００６０】
（８）上述の実施形態では、楽曲を示す楽曲データとしてカラオケ伴奏を表す伴奏音データを用いたが、楽曲データは伴奏音データに限らず、例えば、楽曲の旋律を示すガイドメロディデータであってもよく、そのデータによって楽曲のテンポが特定され得るデータであればどのようなものであってもよい。
【００６１】
（９）上述の実施形態において、ＣＰＵ１１が、デコレーション画像の表示態様を、楽曲のガイドメロディの音程に応じて変更するようにしてもよい。具体的には、例えば、ＣＰＵ１１が、音高が高いほどデコレーション画像の表示サイズを大きくするようにしてもよい。また、上述の実施形態において、ＣＰＵ１１が、デコレーション画像の表示態様を、楽曲の歌詞の内容に応じて変更するようにしてもよい。具体的には、例えば、ＣＰＵ１１が、歌詞テロップデータの表す歌詞を解析し、特定の単語（例えば、「星」、「ハート」）が検索された場合に、その単語の再生タイミングにおいて、アニメーション画像の表示サイズを大きくするようにしてもよい。また、上述の実施形態において、ＣＰＵ１１が、歌唱者の動きを画像解析し、解析された動きとデコレーション画像のアニメーション動作とを同期させてもよい。
【００６２】
（１０）上述の実施形態において、利用者がタッチスクリーン１７１を操作してデコレーション画像の表示態様を変更した場合に、カラオケ装置１のＣＰＵ１１が、カラオケ伴奏の再生とデコレーション画像の再生とが同期するようにデコレーション情報のタイムスタンプを補正するようにしてもよい。この場合の具体例を以下に説明する。例えば、カラオケ装置１の利用者がタッチスクリーン１７１を用いて、「星」を表すデコレーション画像を、カラオケ伴奏のリズムに合わせて、右、左、右、左、…といったようにプレビュー画面上で移動させたとする。この場合、利用者の操作のリズムとカラオケ伴奏のリズムとの間に若干のずれが生じる場合がある。このような場合に、カラオケ装置１のＣＰＵ１１が、このずれを是正するようにデコレーション情報のタイムスタンプを修正するようにしてもよい。この場合、より具体的には、ＣＰＵ１１は、伴奏データを参照してリズムを特定し、拍の開始タイミングとデコレーション情報のタイムスタンプとの差分が予め定められた閾値以内である場合に、タイムスタンプを拍の開始タイミングと同じ値に変更するようにしてもよい。このようにすることで、デコレーション画像のアニメーション動作を、よりカラオケ伴奏のリズムにあったものにすることができる。
【００６３】
（１１）上述の実施形態におけるカラオケ装置１のＣＰＵ１１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。
【符号の説明】
【００６４】
１…カラオケ装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶装置、１５…通信Ｉ／Ｆ、１７…入力装置、１８…歌唱マイク、１９…音声処理部、２０…スピーカ、２１…ビデオカメラ、２２…メイン表示装置、１１１…デコレーション編集部、１１２…エンコーダ、１１３…デコーダ、１１４…加算器、１４１…歌詞テロップデータ記憶領域、１４２…伴奏音データ記憶領域、１４３…素材データ記憶領域、１４４…デコレーション済映像ファイル記憶領域、１７１…タッチスクリーン。
【図１】
2012198380.tif 000003
【図２】
2012198380.tif 000004
【図３】
2012198380.tif 000005
【図５】
2012198380.tif 000006
【図６】
2012198380.tif 000007
【図７】
2012198380.tif 000008
【図４】
2012198380.tif 000009