(57)【特許請求の範囲】
【請求項１】
演奏情報に基づいて演奏を行う演奏処理と、
前記演奏処理に同期して、映像効果付与処理を実行可能とし、
前記映像効果付与処理は、
カメラで撮影された入力映像信号を取り込む取り込み処理と、
取り込み処理で取り込んだ入力映像信号から人体のパーツ位置を検出する検出処理と、
前記入力映像信号中、前記検出処理で検出した人体の前記パーツ位置に対応する位置にグラフィックを合成した映像を表示するグラフィック合成処理と、を実行し、
前記グラフィック合成処理を行う場合に前記入力映像信号を所定の遅延時間遅延させる第１モードと、前記グラフィック合成処理を行わない場合に前記入力映像信号を前記所定の遅延時間遅延させない第２モードを有し、
前記第１モードと前記第２モード間の変更時、遅延時間を徐々に変更する切替処理を実行可能とすることを特徴とする
カラオケ装置。
【請求項２】
前記切替処理は、前記グラフィック合成処理の実行の有無の変更に基づいて実行されることを特徴とする
請求項１に記載のカラオケ装置。
【請求項３】
前記切替処理は、前記検出処理で人体の前記パーツ位置が検出されている場合とされていない場合において、前記遅延時間の変更量を異ならせることを特徴とする
請求項１または請求項２に記載のカラオケ装置。
【請求項４】
前記切替処理は、前記演奏処理において歌唱区間と非歌唱区間において、前記遅延時間の変更量を異ならせることを特徴とする
請求項１から請求項３の何れか１項に記載のカラオケ装置。
【請求項５】
カメラで撮影された入力映像信号を取り込む取り込み処理と、
取り込み処理で取り込んだ入力映像信号から人体のパーツ位置を検出する検出処理と、
前記入力映像信号中、前記検出処理で検出した人体の前記パーツ位置に対応する位置にグラフィックを合成した映像を表示するグラフィック合成処理と、を実行し、
前記グラフィック合成処理を行う場合に前記入力映像信号を所定の遅延時間遅延させる第１モードと、前記グラフィック合成処理を行わない場合に前記入力映像信号を前記所定の遅延時間遅延させない第２モードを有し、
前記第１モードと前記第２モード間の変更時、遅延時間を徐々に変更する切替処理を実行可能とすることを特徴とする
映像効果付与装置。
【請求項６】
カメラで撮影された入力映像信号を取り込む取り込み処理と、
取り込み処理で取り込んだ入力映像信号から人体のパーツ位置を検出する検出処理と、
前記入力映像信号中、前記検出処理で検出した人体の前記パーツ位置に対応する位置にグラフィックを合成した映像を表示するグラフィック合成処理と、を情報処理装置に実行させ、
前記グラフィック合成処理を行う場合に前記入力映像信号を所定の遅延時間遅延させる第１モードと、前記グラフィック合成処理を行わない場合に前記入力映像信号を前記所定の遅延時間遅延させない第２モードを有し、
前記第１モードと前記第２モード間の変更時、遅延時間を徐々に変更する切替処理を前記情報処理装置に実行可能とさせることを特徴とする
映像効果付与プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏に合わせて歌唱を行うことのできるカラオケ装置に関する。特に、ユーザーの様子をカメラで撮影し、映像効果を付与することのできるカラオケ装置に関する。また、ユーザーの様子をカメラで撮影し、映像効果を付与することのできる映像効果付与装置並びに映像効果付与プログラムに関する。
【背景技術】
【０００２】
従来、楽曲の演奏に合わせて歌唱を楽しむ行うカラオケが行われている。カラオケを行うカラオケ装置では、楽曲の演奏のみならず、様々な付加機能を設けることでユーザーの利便性を高めることが行われている。特許文献１には、商品購入機会を設けることのできるカラオケ装置が開示されている。このカラオケ装置では、カメラで撮像したユーザーの映像上に商品に関連する商品関連情報を表示し、ユーザーによる商品指定操作に基づいて、商品関連情報に対応する商品を購入可能としている。特に、商品関連情報は、カメラで撮像された映像中、商品を身に付ける位置を検出し、当該位置に表示させることで、仮想的な試着を可能としている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１８６２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のように、カメラで撮像されたユーザーの映像に商品関連情報等のグラフィックを重畳して表示させる場合、ユーザーの頭、顔、手等と行った人体のパーツ位置を検出し、検出したパーツ位置にグラフィックを合成する必要がある。このような処理は、カラオケ装置において負荷のかかる処理となる場合がある。そのため、画面内でのユーザーの移動が大きい場合には、パーツ位置にグラフィックを合成することが間に合わなくなることが考えられる。そのため、カメラで撮影された映像に遅延を施すことで、ユーザーのパーツ位置に的確にグラフィックを合成することが考えられる。しかしながら、出力される映像に遅延が生じることになるため違和感が生じることになる。特に、カラオケのように歌唱を行う場合、画面に表示される口の動きと実際の歌唱との間にずれが生じることになり、カラオケの場に同席するユーザーは違和感を感じると共に、歌唱しているユーザーは歌い辛くなることが考えられる。
【課題を解決するための手段】
【０００５】
そのため本発明に係るカラオケ装置は、以下の構成を採用したことを特徴としている。
演奏情報に基づいて演奏を行う演奏処理と、
前記演奏処理に同期して、映像効果付与処理を実行可能とし、
前記映像効果付与処理は、
カメラで撮影された入力映像信号を取り込む取り込み処理と、
取り込み処理で取り込んだ入力映像信号から人体のパーツ位置を検出する検出処理と、
前記入力映像信号中、前記検出処理で検出した人体の前記パーツ位置に対応する位置にグラフィックを合成した映像を表示するグラフィック合成処理と、を実行し、
前記グラフィック合成処理を行う場合に前記入力映像信号を所定の遅延時間遅延させる第１モードと、前記グラフィック合成処理を行わない場合に前記入力映像信号を前記所定の遅延時間遅延させない第２モードを有し、
前記第１モードと前記第２モード間の変更時、遅延時間を徐々に変更する切替処理を実行可能とすることを特徴とする。
【０００６】
さらに本発明に係るカラオケ装置において、
前記切替処理は、前記グラフィック合成処理の実行の有無の変更に基づいて実行されることを特徴とする。
【０００７】
さらに本発明に係るカラオケ装置において、
前記切替処理は、前記検出処理で人体の前記パーツ位置が検出されている場合とされていない場合において、前記遅延時間の変更量を異ならせることを特徴とする。
【０００８】
さらに本発明に係るカラオケ装置において、
前記切替処理は、前記演奏処理において歌唱区間と非歌唱区間において、前記遅延時間の変更量を異ならせることを特徴とする。
【０００９】
また本発明に係る映像効果付与装置は、
カメラで撮影された入力映像信号を取り込む取り込み処理と、
取り込み処理で取り込んだ入力映像信号から人体のパーツ位置を検出する検出処理と、
前記入力映像信号中、前記検出処理で検出した人体の前記パーツ位置に対応する位置にグラフィックを合成した映像を表示するグラフィック合成処理と、を実行し、
前記グラフィック合成処理を行う場合に前記入力映像信号を所定の遅延時間遅延させる第１モードと、前記グラフィック合成処理を行わない場合に前記入力映像信号を前記所定の遅延時間遅延させない第２モードを有し、
前記第１モードと前記第２モード間の変更時、遅延時間を徐々に変更する切替処理を実行可能とすることを特徴とする。
【００１０】
また本発明に係る映像効果付与プログラムは、
カメラで撮影された入力映像信号を取り込む取り込み処理と、
取り込み処理で取り込んだ入力映像信号から人体のパーツ位置を検出する検出処理と、
前記入力映像信号中、前記検出処理で検出した人体の前記パーツ位置に対応する位置にグラフィックを合成した映像を表示するグラフィック合成処理と、を情報処理装置に実行させ、
前記グラフィック合成処理を行う場合に前記入力映像信号を所定の遅延時間遅延させる第１モードと、前記グラフィック合成処理を行わない場合に前記入力映像信号を前記所定の遅延時間遅延させない第２モードを有し、
前記第１モードと前記第２モード間の変更時、遅延時間を徐々に変更する切替処理を前記情報処理装置に実行可能とさせることを特徴とする。
【発明の効果】
【００１１】
本発明に係るカラオケ装置、映像効果付与装置及び映像効果付与プログラムによれば、入力映像信号を所定の遅延時間遅延させる第１モードと、入力映像信号を所定の遅延時間遅延させない第２モードを変更可能とすることで、遅延することによる違和感の抑制と、グラフィックの不同期による違和感の抑制の両立を図り、ユーザーに視認しやすい映像を提供することが可能となる。さらに、第１モードと第２モード間の変更時、遅延時間を徐々に変更させることで、モード変更時に遅延時間が一度に変更することで発生する映像飛びを抑制し、モード変更時におけるユーザーへの違和感を抑制することが可能となる。
【００１２】
さらに本発明に係るカラオケ装置、映像効果付与装置及び映像効果付与プログラムによれば、前記グラフィック合成処理の実行の有無の変更に基づいて実行され、グラフィック合成処理実行時には第１モードを使用することでグラフィックの不同期による違和感を抑制し、グラフィック合成処理の非実行時には第２モードを使用することで、遅延することによる違和感の抑制を図ることが可能となり、グラフィック合成の状況に適切に対応することが可能となる。
【００１３】
さらに本発明に係るカラオケ装置、映像効果付与装置及び映像効果付与プログラムによれば、検出処理で人体のパーツ位置が検出されている場合とされていない場合において、遅延時間の変更量を異ならせることとしている。このような構成により、人体のパーツが検出されていない場合には素早く遅延時間を変更し、人体のパーツが検出されている場合には緩やかに遅延時間を変更することで、視認するユーザーへの違和感を抑えることを可能としている。
【００１４】
さらに本発明に係るカラオケ装置によれば、演奏情処理において歌唱区間と非歌唱区間において、遅延時間の変更量を異ならせることとしている。このような構成により、歌唱区間では緩やかに遅延時間を変更する、あるいは、非歌唱区間では素早く遅延時間を変更する等、歌唱の状況に応じた対応を取り、視認するユーザーへの違和感を抑えることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】カラオケシステムの構成を示す図
【図２】映像制御部の構成を示す図
【図３】グラフィック合成処理を説明するための図
【図４】グラフィック合成処理を説明するための図（人の移動時）
【図５】グラフィック合成処理を説明するための図（遅延時）
【図６】遅延時における実際の動きと映像出力を示す図
【図７】楽曲の予約確認画面を示す図
【図８】（Ａ）予約情報、（Ｂ）楽曲情報のデータ構成を示す図
【図９】楽曲再生処理を示すフロー図
【図１０】遅延切替処理を示すフロー図
【図１１】グラフィック合成なし→合成ありにおける遅延時間の変化を説明するための図（歌唱区間）
【図１２】グラフィック合成なし→合成ありにおける遅延時間の変化を説明するための図（非歌唱区間）
【図１３】グラフィック合成あり→合成なしにおける遅延時間の変化を説明するための図（歌唱区間）
【図１４】グラフィック合成あり→合成なしにおける遅延時間の変化を説明するための図（非歌唱区間）
【発明を実施するための形態】
【００１６】
図１は、本発明の実施形態に係るカラオケシステムの構成を示す図である。カラオケシステムには、楽曲を演奏するカラオケ装置（別称「コマンダ」）２の他、カラオケ装置２を遠隔制御するためのリモコン装置１が設けられている。カラオケ装置２とリモコン装置１は、ＬＡＮ１００及びアクセスポイント１１０を利用してネットワークを形成するように接続されている。
【００１７】
カラオケ装置２は、楽曲を演奏するための演奏手段として音響制御部２５を備えている。音響制御部２５は、歌唱用マイク４３ａ、４３ｂ（マイクロホン）から入力されるユーザーの歌唱音声を取り込み、演奏音とミキシングしてスピーカー４２から放音させる。
【００１８】
また、カラオケ装置２は、ユーザーからの各種入力を受け付けるスイッチなどで構成される入力手段としての操作部２１を備える。カラオケ装置２は、操作部２１からの入力を解釈してＣＰＵ３０に伝達する操作処理部２２を備える。また、カラオケ装置２は、各種情報を記憶するカラオケ装置側記憶手段としてのハードディスク３２を備える。カラオケ装置２は、ＬＡＮ１００に通信接続してネットワークに加入するためのＬＡＮ通信部２４を備えている。
【００１９】
また、カラオケ装置２は、モニター４１に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部２９、再生する映像を一時的に蓄積するビデオＲＡＭ２８、再生された映像に対する歌詞テロップの重畳、映像効果の付与等、各種映像処理を実行可能な映像制御部３１を備えて構成される。本実施形態の映像制御部３１は、カメラ４４で撮像された映像中、頭、顔、手、体躯、足等の人体のパーツにグラフィックを合成するグラフィック合成処理を行うことを可能としている。
【００２０】
図２は、映像制御部３１の構成を示す図である。本実施形態の映像制御部３１は、グラフィック合成処理を行うための構成として、遅延部３１１、遅延時間設定部３１２、画像認識部３１３、グラフィック合成部３１４を有している。これら各構成は、ハードウェア構成あるいはソフトウェア構成のどちらで構成することが可能である。画像認識部３１３は、カメラ４４で撮影されたカメラ映像から、人体のパーツ位置を検出する。グラフィック合成部３１４は、遅延部３１１を介して入力されたカメラ映像上、画像認識部３１３で認識されたパーツ位置に合成アイテム映像を合成することで、あたかもユーザーが合成アイテムを身につけているかのような映像を形成する。なお、本実施形態のグラフィック合成部３１４では、グラフィック合成処理における合成アイテム映像の他、歌唱のための歌詞再生映像も合成することが可能となっている。合成された後のカメラ映像は、モニター４１に出力される。なお、録画を行う際には、グラフィック合成部３１４の出力映像が録画の対象となる。
【００２１】
ところで、画像認識部３１３で実行される画像認識処理は、負荷のかかる処理であるため、人体のパーツ位置を検出するための処理時間が必要となる場合がある。例えば、カメラ映像を遅延させずにグラフィック合成部３１４に入力させた場合、画像認識部３１３での処理時間による遅延によって、適切なパーツ位置に合成アイテムを配置することができないことが考えられる。本実施形態では、このような画像認識部３１３等での処理時間を考慮し、カメラ映像を遅延させてグラフィック合成部３１４に出力する遅延部３１１を設けている。カメラ映像を遅延させることで、画像認識した時のカメラ映像に対して合成アイテムを配置し、合成アイテムをパーツ位置に適切に配置することを可能としている。
【００２２】
図３〜図６は、本実施形態のグラフィック合成処理を説明するための図である。図３は、グラフィック合成処理の工程を説明するための図である。カラオケ装置２は、カメラ４４で撮影したカメラ映像を取り込む（図３（ａ））。取り込まれたカメラ映像に対して画像認識処理が実行され、カメラ映像中のユーザー６１のパーツ位置６２が判定される（図３（ｂ））。グラフィック描画処理では、判定されたパーツ位置６２に合成アイテム映像６３の描画を行う（図３（ｄ））。パーツ位置６２に描画された合成アイテム映像６３と、カメラ映像の合成結果がモニター４１に出力される出力映像となる。図３の例では、合成アイテムとして帽子を例とした場合であり、パーツ位置６２としては、カメラ映像中のユーザー６１の頭部位置を判定し、頭部位置に帽子の合成アイテム映像６３を表示している。合成アイテムとしては、帽子に限らず、眼鏡、マスク、化粧、ユーザーの手の位置に持たせるアイテム、靴、衣装など各種形態を採用することができる。その際、合成アイテムには、検出対象となるパーツ位置が対応付けられ、画像認識処理では、合成アイテムに対応したユーザー６１のパーツ位置を検出することとなる。
【００２３】
このようなグラフィック合成処理では、画像認識処理、グラフィック描画処理等の各処理において処理時間が必要となるため、合成対象となるカメラ映像は、画像認識時のカメラ映像（図３（ｂ））ではなく、それから時間経過を伴ったカメラ映像（図３（ｃ））となる。したがって、各種処理に時間を必要とするため、合成アイテム映像６３と合成対象となるパーツ位置６２にずれが生じる場合がある。図４は、画像認識処理、グラフィック描画処理といった各種処理間にユーザー６１が移動した場合であって、図４（ｃ）に示すように各種処理時に破線で示す図４（ｂ）の位置から実線で示す位置に移動した場合を示している。この場合、画像認識処理で判定したパーツ位置６２は、図４（ｂ）の状態であるのに対し、合成対象となるカメラ映像は図４（ｃ）の状態であるため、合成結果としての映像は図４（ｅ）のようにユーザー６１と合成アイテム映像６３間でずれが生じてしまう。
【００２４】
図２の遅延部３１１は、このようなずれの発生を抑制するために設けられた構成であって、カメラ４４から入力されたカメラ映像に対して遅延させることで、ユーザー６１と合成アイテム間のずれの発生を抑制している。図５は、遅延部３１１を使用してカメラ映像を遅延させたときのグラフィック合成処理を説明するための図である。図５に示すように遅延させたカメラ映像を合成対象とする（この場合、図５（ｂ））ことで、映像出力時におけるユーザー６１と合成アイテム間のずれを抑制することが可能となっている。
【００２５】
このようにカメラ映像を遅延させることで、ユーザー６１と合成アイテム間のずれを解消することは可能であるが、一方、遅延させることで、撮影されている実際のユーザーとモニター４１に表示されるユーザーとの間にずれが生じることになる。図６は、遅延時における実際の動きと映像出力を示す図である。図６は、時刻Ｔ１、Ｔ２、Ｔ３、Ｔ４時のモニター４１に表示される映像（映像出力）と実際のユーザーの動きの対応を示した図である。遅延部３１１において遅延を設けけたことを理由として、モニター４１には実際の動きから遅れた映像が表示される。このような映像の遅れは、カラオケ装置２を使用した歌唱時の支障となることが考えられる。歌唱しているユーザーがモニター４１で撮影される自己の姿を観察した場合、モニター４１に表示される口の動きが実際の口の動きと合わないため、歌唱しにくくなることが考えられる。
【００２６】
本実施形態では、このようなグラフィック合成処理でのずれ抑制と、歌唱時における映像の遅延とを両立を図ることとしている。具体的には、グラフィック合成を行う際には、カメラ映像を遅延させるモード（本発明における「第１モード」）と、グラフィック合成を行わない際にはカメラ映像を遅延部３１１で遅延させないモード（本発明における「第２モード」）を切り替えることとしている。さらに、切替時において、遅延時間を徐々に切り替えることで、瞬時に切り替えたときに発生する映像の飛びを抑制し、切替時における違和感の抑制を図っている。
【００２７】
また、本実施形態では、この遅延部３１１において遅延時間を設定するための遅延時間設定部３１２が設けられている。この遅延時間設定部３１２は、グラフィック合成を行うか否かを示すモード情報、画像認識部３１３での認識結果、また、現在の楽曲再生が歌唱区間か、曲間等の非歌唱区間かといった情報に基づいて遅延部３１１の遅延時間を設定する。遅延部３１１における遅延時間の設定については後で詳細に説明を行う。
【００２８】
また、このカラオケ装置２では、外部に接続されたモニター４１以外に、タッチパネルモニター３３に対しても各種情報を表示することを可能としている。タッチパネルモニター３３は、映像制御部３１から入力された映像情報を表示する表示部３５と、タッチ入力された位置を操作処理部２２に出力するタッチパネル３４が重畳されて構成されている。また、カラオケ装置２に対する各種操作は、カラオケ装置２のフロントパネル等に設けられた操作部２１を介して行うことも可能となっている。
【００２９】
本実施形態のタッチパネルモニター３３は、リモコン装置１の操作手段であるタッチパネルモニター１１と同様の操作手段として機能することも可能としている。ユーザーはタッチパネルモニター３３から楽曲を選択して、直接カラオケ装置２に予約をさせるなど、リモコン装置１と同等の操作手段機能を利用することが可能である。
【００３０】
さらに、カラオケ装置２は、各構成を統括して制御するための制御手段として、各種プログラムを実行するＣＰＵ３０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ２７を有して構成される。
【００３１】
また、カラオケ装置２には、歌唱の様子を撮影するための撮像手段としてカメラ４４が接続されている。カメラ４４で撮像されたカメラ映像は、映像入出力を担う映像制御部３１を介して記録手段としてのハードディスク３２に記録することが可能である。なお、カメラ４４での撮像されている映像は、モニター４１に表示することで確認することが可能となっている。
【００３２】
このような構成にてカラオケ装置２は、各種処理を実行することとなるが、カラオケ装置２の主な機能として、楽曲予約処理、楽曲再生処理などを実行可能としている。楽曲予約処理は、ユーザーからの指示に基づいて楽曲を予約するための処理であってリモコン装置１と連携して実行される。リモコン装置１等から送信された予約情報（図８（Ａ））を、メモリ２７内の予約テーブルに登録する。再生処理は、予約された楽曲を再生させる処理であって、演奏処理と歌詞再生処理が同期して実行される処理である。
【００３３】
演奏処理は、楽曲データに含まれる演奏情報を音響制御部２５にて演奏させる処理である。音響制御部２５にて演奏された楽曲は、歌唱用マイク４３ａ、４３ｂから入力される歌唱音声と一緒にスピーカー４２から放音される。歌詞再生処理は、楽曲データに含まれる歌詞情報をモニター４１に表示させることで歌唱補助を行う処理である。この歌詞再生処理で表示される歌詞に、背景映像を重畳させて表示させる背景映像表示処理を実行することとしてもよい。
【００３４】
一方、リモコン装置１は、予約情報などカラオケ装置２に対して各種指示を送信するとともに、カラオケ装置２あるいはインターネット上に接続されたサーバー装置５から各種情報を受信する。本実施形態では、ユーザーインターフェイスとしてボタンなどの操作部１７と、タッチパネルモニター１１を備えている。タッチパネルモニター１１は、表示部１１ａとタッチパネル１１ｂを有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザーからのタッチ入力を受付可能としている。
【００３５】
さらにリモコン装置１は、楽曲検索に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶するリモコン側記憶手段としてメモリ１４、そして、これら構成を統括して制御するためのリモコン側制御手段を備えて構成される。リモコン側制御手段には、ＣＰＵで構成された制御部１５、表示部１１ａに対して表示する映像を形成する映像制御部１３、表示する映像情報を一時的に蓄えるビデオＲＡＭ１２、操作部１７からの入力を解釈して制御部１５に伝達する操作処理部１８が含まれている。
【００３６】
また、リモコン装置１は、無線ＬＡＮ通信部１６によって、アクセスポイント１１０と無線接続されることで、ＬＡＮ１００によって構成されるネットワークに接続される。なお、各リモコン装置１は、特定のカラオケ装置２に対して事前に対応付けされている。リモコン装置１から出力される各種命令は、対応付けされたカラオケ装置２にて受信されることとなる。
【００３７】
このようなリモコン装置１の構成により、ユーザーからの各種入力をタッチパネルモニター１１、あるいは、操作部１７から受付けるとともに、映像情報をタッチパネルモニター１１の表示により各種情報を提供することで、カラオケ装置２に対して楽曲予約などの各種指示を行うことが可能である。
【００３８】
図７には、本実施形態の楽曲確認画面が示されている。本実施形態のカラオケシステムは、複数のユーザーが同時にログインして使用することが可能である。ユーザーはログインすることで、自己のユーザー情報を使用した各種サービスを受けることが可能である。ユーザーが受けることのできるサービスとしては、ユーザーが登録したお気に入り楽曲、履歴、お気に入りアーティスト（歌手）を使用した楽曲検索、あるいは、カメラ４４を使用した歌唱の様子の録画、カメラ４４で撮影された人体のパーツ位置にグラフィックを合成する機能等がある。
【００３９】
図７に示す楽曲確認画面の上方には、カラオケシステムにログインしているユーザーに関する情報が表示されている。ログインユーザー欄１０３には、カラオケシステムにログインしているユーザーの分身像１０３ａ〜１０３ｅ（本実施形態では顔部分）が表示される。またログインユーザー欄１０３中、右端に背景がハイライト（白色）で示されるユーザーは、アクティブユーザー１０３ｅ（この例ではＡさん）であって、アクティブユーザー１０３ｅに対するサービス、すなわち、アクティブユーザー１０３ｅのユーザー情報を利用したサービスが実行されている状態となっている。アクティブユーザーの切り替えは、ユーザー切り替えボタン１０１を操作することで行うことが可能である。また、ユーザー登録していないユーザーは、ゲストボタン１０２を操作することで、ゲストユーザーとしてカラオケシステムを使用することが可能である。
【００４０】
アクティブユーザーとして楽曲を選択した場合、この楽曲確認画面にて、予約を行う楽曲に間違いがないか、楽曲名、歌手名、歌い出し等の詳細を表示してユーザーに確認させる。
【００４１】
また、本実施形態の楽曲確認画面には、２つのオプション欄１０５ａ、１０５ｂが設けられており、楽曲を再生する際の機能を選択することが可能となっている。オプション欄１０５ａは、録画モードを選択する欄であり、楽曲再生中、カメラ４４で撮影された歌唱の様子の録画の有無を指定可能としている。図７の状態は、録画行うことが指定された状態である。ユーザーは、オプション欄１０５ａの右下に表示された「変更」ボタンを操作することで、録画モード（録画の有無）を切り替えることが可能である。
【００４２】
オプション欄１０５ｂは、グラフィック合成処理について指定するための欄である。本実施形態のカラオケ装置２は、カメラ４４で撮影された映像中、人体のパーツ位置（パーツの位置のみならず、向いている方向を含んでもよい）を検出し、検出したパーツ位置に各種合成アイテムを合成することを可能としている。オプション欄１０５では、このグラフィック合成処理を行うか否か、また、グラフィック合成処理を行う場合には、合成する合成アイテムの指定を可能としている。ユーザーは、オプション欄１０５ｂの右下に表示された「変更」ボタンを操作することで、グラフィック合成処理に関する設定を行うことが可能である。なお、グラフィック合成処理では、ユーザー自身が合成アイテムを選択することに代え、楽曲、あるいは、歌手（アーティスト）に予め対応付けられた合成アイテムを使用することとしてもよい。このような形態では、ユーザーは合成アイテムを選択する必要が無く、また、歌唱対象となる楽曲や歌手にちなんだアイテムを合成して楽しむことが可能である。あるいは、グラフィ行く合成処理において使用する合成アイテムは、ランダムとする、あるいは、楽曲再生中にリモコン装置１等の入力手段を介して選択可能とすることとしてもよい。
【００４３】
楽曲確認画面において、歌唱する楽曲であることを確認するとともに各種設定を終えたユーザーは、予約ボタン１０６を操作することで、楽曲の予約を確定させる。リモコン装置１を使用して楽曲を予約した場合、リモコン装置１からカラオケ装置２に予約情報が送信される。図８（Ａ）は、予約情報のデータ構成を示した図である。予約情報は、予約した楽曲を識別するための楽曲ＩＤ、予約を行ったユーザー（アクティブユーザー）に対応するユーザーＩＤが含まれている。また本実施形態では、オプション欄１０５ａにて行われた録画に関する録画指定情報（０：録画なし、１：録画あり）が含まれている。また、オプション欄１０５ｂにて行われたグラフィック合成処理に関するグラフィック合成情報が含まれている。グラフィック合成情報には、グラフィック合成処理を行うか否かを示すグラフィック合成指定（０：合成なし、１：合成あり）と、合成アイテムＩＤ（例えば、図７のオプション欄１０５ｂの指定時は、Ａの帽子に対応するＩＤとなる）が含まれている。カラオケ装置２は、カラオケ装置２のメモリ２７で管理する予約テーブルに、受信した予約情報を順次記憶して楽曲再生処理を実行する。
【００４４】
図８（Ｂ）は、楽曲再生処理の対象となる楽曲情報のデータ構成を示す図である。楽曲情報は、楽曲情報に関連する各種情報であるメタ情報と、演奏や歌詞の表示といった各種処理を実行するための実情報を有している。メタ情報には、楽曲情報を識別するための楽曲ＩＤ、楽曲名、歌手名、作詞者名、作曲者名を有している。
【００４５】
楽曲情報の実情報には、演奏情報、歌詞情報が含まれている。演奏情報は、ＭＩＤＩ規格に基づいて電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等を含んで構成された、カラオケの伴奏を行うための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成してもよい。
【００４６】
図９は、カラオケ装置２で実行する楽曲再生処理を示すフロー図である。楽曲再生処理では、予約テーブルをチェック（Ｓ１０１）して、次に再生する楽曲の有無を判定する（Ｓ１０２）。次に再生する楽曲があると判定された場合（Ｓ１０２：Ｙｅｓ）、予約情報中の録画指定情報を参照して、録画指定の有無を確認する。録画の指定がある場合（Ｓ１０３：Ｙｅｓ）は、カメラ４４から入力される入力映像を録画開始（Ｓ１０４）した後、演奏処理を開始する（Ｓ１０５）。なお、グラフィック合成が指定されている場合、録画処理では、グラフィック合成処理においてカメラ４４の入力映像に合成アイテムが合成された映像を録画する。一方、録画指定されていない場合（Ｓ１０３：Ｎｏ）、録画処理を開始すること無く、演奏処理を開始する（Ｓ１０５）。
【００４７】
次に、予約情報中のグラフィック合成情報を参照し、グラフィック合成の指定があるか無いかを判定する（Ｓ１０６）。グラフィック合成の指定がある場合、グラフィック合成処理を開始する（Ｓ１０７）。本実施形態のグラフィック合成処理では、グラフィック合成情報中に記述された合成アイテムＩＤに基づいて合成アイテム映像を形成し、カメラ映像に重畳しモニター４１に出力する。また、グラフィック合成処理の実行中には、グラフィック合成処理の切り替え（モード変更）の監視（Ｓ１０８）を行い、切り替えられた場合（Ｓ１０８：Ｙｅｓ）、遅延時間設定部３１２における遅延切替処理を実行する（Ｓ１０９）。なお、グラフィック合成処理の有無の切替は、リモコン装置１等、各種入力手段を使用したユーザーの手動操作が考えられる。また、グラフィック合成処理を楽曲の演奏に同期して行うことも考えられる。この場合、楽曲情報にグラフィック合成処理の実行に関する情報が規定される。あるいは、ユーザーの歌唱に同期して行うこととしてもよい。この場合、ユーザーの歌唱音声の有無に応じてグラフィック合成処理の有無が切り替えられる。
【００４８】
本実施形態では、グラフィック合成処理を行う場合には、遅延部３１１にて画像認識処理等を考慮した遅延時間で遅延させ、また、グラフィック合成を行わない場合は、遅延部３１１にて遅延させない（あるいは、グラフィック合成処理時よりも少ない遅延時時間とする）こととしている。グラフィック合成処理の切替に対応させて、遅延時間を瞬時に切り替えることも可能であるが、その場合、モニター４１に表示される映像が時間的に飛ぶこととなり、モニター４１を見ているユーザーは違和感を有することになる。本実施形態では、グラフィック合成処理の切替時、遅延時間を徐々に変更することで、映像飛びを緩和し、ユーザーの違和感を抑制することとしている。さらに、本実施形態では、遅延時間の変更について、現在、再生している楽曲の状況（歌唱区間／非歌唱区間）、また、映像中の画像認識状況（人を検出しているか否か）といった各種状況に基づいて、遅延時間の変更量（変更速度）を異ならせ、違和感の削減向上を図っている。なお、楽曲の状況については、ＣＰＵ３０で楽曲の再生進行状況を監視することで、歌唱区間か非歌唱区間かを示す再生進行情報が遅延時間設定部３１２に出力される。また、画像認識状況については、画像認識部３１３の認識結果が遅延時間設定部３１２に出力される。遅延時間設定部３１２では、これら情報を使用して状況を判定することが可能である。
【００４９】
図１０は、本実施形態の遅延切替処理を示すフロー図である。遅延時間切替処理は、図９の楽曲再生処理中、グラフィック合成処理の切り替えが判定された場合（Ｓ１０８：Ｙｅ）に実行開始される。遅延切替処理では、まず、グラフィック合成中であるか否かが判定される（Ｓ２０１）。遅延切替処理を実行する遅延時間設定部３１２では、ＣＰＵ３０から出力されるモード情報を参照して切替の判定を行う。グラフィック合成中（Ｓ２０１：Ｙｅｓ）、すなわち、グラフィック合成なしの状態からグラフィック合成処理ありの状態に切り替えられた場合（本発明における「第２モード」から「第１モード」への変更時）、グラフィック合成無しの遅延時間（この例では０秒）からグラフィック合成時の規定遅延時間（この例では２秒）まで徐々に切り替える処理（Ｓ２０３〜Ｓ２０６）を実行する。本実施形態では、再生されている楽曲が歌唱区間か非歌唱区間か、また、映像中に人を検出しているか否かといった状況に応じて、遅延時間の変更量（変更速度）を異ならせている。
【００５０】
楽曲が非歌唱区間（Ｓ２０３：Ｎｏ）の場合、あるいは、歌唱区間であって映像中に人を検出していない場合（Ｓ２０４：Ｎｏ）には、所定時間あたりの遅延時間変更量を大きくする（Ｓ２０６）ことで、遅延時間の変更速度を大きくしている。楽曲が歌唱区間（Ｓ２０３：Ｙｅｓ）の場合、かつ、歌唱区間であって映像中に人を検出している場合（Ｓ２０４：Ｙｅｓ）には、所定時間あたりの遅延時間変更量を小さくする（Ｓ２０５）ことで、遅延時間の変更速度を小さくしている。
【００５１】
図１１は、歌唱区間時について、グラフィック合成していない状態から合成している状態に変更したときの、遅延時間の変化を説明する模式図である。図１１（Ａ）に示されるように、変更直後は、グラフィック合成していないときの規定遅延時間（この場合、０秒）となっている。遅延時間設定部３１２は、この状態から図１１（Ｄ）に示すグラフィック合成時の規定遅延時間（この場合、２秒）まで徐々に遅延部３１１で使用する遅延時間を変更していく。この例では、単位時間（この場合、１秒）あたり０．２秒ずつ遅延時間を変更していくこととしている。したがって、変更してからグラフィック合成時の規定遅延時間（２秒）に達するまで１０秒間を要することになる。
【００５２】
図１２は、間奏等の非歌唱区間時について、グラフィック合成していない状態から合成している状態に変更したときの、遅延時間の変化を説明する模式図である。図１２（Ａ）に示されるように、変更直後は、グラフィック合成していないときの規定遅延時間（この場合、０秒）となっている。この例では、単位時間（この場合、１秒）あたり０．５秒ずつ遅延時間を変更していくこととしている。したがって、変更してからグラフィック合成時の規定遅延時間（２秒）に達するまで４秒間で済むことになる。
【００５３】
グラフィック合成の切替に伴う遅延時間の変更は、変更している遅延時間が規定遅延時間（この場合、２秒）に達することで終了する（Ｓ２０２：Ｙｅｓ）。
【００５４】
このように本実施形態では、グラフィック合成なしから有りの状態に切り替える際、遅延部３１１で使用する遅延時間を徐々に変更することで、遅延時間変更による映像の飛びを原因として発生する視認時の違和感を抑制している。さらに、再生されている楽曲が歌唱区間か非歌唱区間か、あるいは、映像中に人を検出しているか否かといった状況に応じて、遅延時間の変更量を異ならせている。歌唱時に歌唱者がモニター４１を見た場合、遅延時間の変更速度が大きいと映像飛びが目立つこととなり、歌唱者は歌唱し難くなることが考えられる。一方、非歌唱区間では遅延時間を大きく変更しても歌唱に対する少なく、より早くグラフィック合成ありの遅延時間、あるいは、合成なしの遅延時間とすることが好ましい。本実施形態では、このように楽曲の再生状況、人の検出の有無を条件として遅延時間の変更量を異ならせることで、状況に即した形態でモニター４１に映像を表示することを可能としている。なお、このような状況による遅延時間の変更量の相違は、本発明をより好ましくする上での付加条件であって、楽曲の再生状況、人の検出の有無の何れかの条件、あるいは、両方の条件を使用しない形態であってもよい。
【００５５】
グラフィック合成していないとき（Ｓ２０１：Ｎｏ）、すなわち、グラフィック合成ありの状態からグラフィック合成処理なしの状態に切り替えられた場合（本発明における「第１モード」から「第２モード」への変更時）、グラフィック合成ありの遅延時間（この例では２秒）からグラフィック合成なしの規定遅延時間（この例では０秒）まで徐々に切り替える処理（Ｓ２０７〜Ｓ２１１）を実行する。
【００５６】
楽曲が非歌唱区間（Ｓ２０８：Ｎｏ）の場合、あるいは、歌唱区間であって映像中に人を検出していない場合（Ｓ２０９：Ｎｏ）には、所定時間あたりの遅延時間変更量を大きく戻す（Ｓ２１１）ことで、遅延時間の変更速度を大きくしている。楽曲が歌唱区間（Ｓ２０８：Ｙｅｓ）の場合、かつ、歌唱区間であって映像中に人を検出している場合（Ｓ２０９：Ｙｅｓ）には、所定時間あたりの遅延時間変更量を小さく戻す（Ｓ２１０）ことで、遅延時間の変更速度を小さくしている。
【００５７】
図１３は、歌唱区間時について、グラフィック合成している状態から合成していない状態に変更したときの、遅延時間の変化を説明する模式図である。図１３（Ａ）に示されるように、変更直後は、グラフィック合成しているときの規定遅延時間（この場合、２秒）となっている。遅延時間設定部３１２は、この状態から図１３（Ｄ）に示すグラフィックを合成していない時の規定遅延時間（この場合、０秒）まで、徐々に遅延部３１１で使用する遅延時間を変更していく。この例では、単位時間（この場合、１秒）あたり０．２秒ずつ遅延時間を変更していくこととしている。したがって、変更してからグラフィック合成していない時の規定遅延時間（０秒）に達するまで１０秒間を要することになる。
【００５８】
図１４は、間奏等の非歌唱区間時について、グラフィック合成している状態から合成していない状態に変更したときの、遅延時間の変化を説明する模式図である。図１４（Ａ）に示されるように、変更直後は、グラフィック合成していた時の規定遅延時間（この場合、２秒）となっている。この例では、単位時間（この場合、１秒）あたり０．５秒ずつ遅延時間を変更していくこととしている。したがって、遅延時間の変更は、グラフィック合成の変更を行ってから４秒間で完了する。
【００５９】
以上、本発明についてカラオケ装置２を用いて説明したが、本発明はカラオケ装置２に限られるものではなく、カラオケ装置２で使用されるカラオケ用プログラムにも採用することができる。あるいは、カメラで撮影さえた映像にグラフィックを合成する映像効果付与装置、あるいは、コンピュータ等の各種情報処理装置で使用可能な映像効果付与プログラムにも採用することが可能である。
【符号の説明】
【００６０】
１：リモコン装置                       ３２：ハードディスク
２：カラオケ装置                       ３３：タッチパネルモニター
５：サーバー装置                       ３４：タッチパネル
１１：タッチパネルモニター             ３５：表示部
１１ａ：表示部                         ４１：モニター
１１ｂ：タッチパネル                   ４２：スピーカー
１２：ビデオＲＡＭ                     ４３ａ：歌唱用マイク
１３：映像制御部                       ４３ｂ：歌唱用マイク
１４：メモリ                           ４４：カメラ
１５：制御部                           ６１：ユーザー
１６：無線ＬＡＮ通信部                 ６２：パーツ位置
１７：操作部                           ６３：合成アイテム映像
１８：操作処理部                       １０１：ユーザー切り替えボタン
２１：操作部                           １０２：ゲストボタン
２２：操作処理部                       １０３：ログインユーザー欄
２４：ＬＡＮ通信部                     １０５ａ、１０５ｂ：オプション欄
２５：音響制御部                       １０６：予約ボタン
２７：メモリ                           １１０：アクセスポイント
２８：ビデオＲＡＭ                     ３１１：遅延部
２９：映像再生部                       ３１２：遅延時間設定部
３０：ＣＰＵ                           ３１３：画像認識部
３１：映像制御部                       ３１４：グラフィック合成部
【図１】
0006631205.tif 000002
【図２】
0006631205.tif 000003
【図３】
0006631205.tif 000004
【図４】
0006631205.tif 000005
【図５】
0006631205.tif 000006
【図６】
0006631205.tif 000007
【図７】
0006631205.tif 000008
【図８】
0006631205.tif 000009
【図９】
0006631205.tif 000010
【図１０】
0006631205.tif 000011
【図１１】
0006631205.tif 000012
【図１２】
0006631205.tif 000013
【図１３】
0006631205.tif 000014
【図１４】
0006631205.tif 000015