(57)【特許請求の範囲】
【請求項１】
複数の楽曲データから選択された１の楽曲データを再生して楽音を出力させるとともに、当該楽音の出力に伴って前記選択された楽曲データの歌詞を表示手段に表示するカラオケシステムあって、
通信端末装置を介して指示入力を受け付ける受付手段と、
前記受け付けた指示入力に基づき、前記選択された楽曲データを再生する再生手段と、
前記再生された楽曲データの楽音と、入力手段によって入力された音と、を出力する出力手段と、
前記楽曲データの再生に合わせて歌唱する歌唱者及び当該歌唱者に関連する撮像対象の少なくともいずれか一方を撮像する撮像手段より出力された当該歌唱者に関連する歌唱者関連画像を示す歌唱者関連画像データを取得する第１取得手段と、
前記受け付けた指示入力に基づき、
（１）前記選択された楽曲データの再生に合わせて形成され、かつ、当該楽曲に関連する楽曲関連画像を示す楽曲関連画像データと、
（２）前記楽曲関連画像データに合成された効果画像を示す効果画像データと、
（３）前記楽曲関連画像に前記効果画像が合成されたタイミングを示すタイミングデータと、
を含む楽曲画像データを取得する第２取得手段と、
前記楽曲データの再生中に、前記楽曲の出力タイミングと同期させつつ、楽曲画像データに含まれる楽曲関連画像を前記表示手段の第１の表示領域に表示させるとともに、前記第１の表示領域とは異なる第２の表示領域に前記歌唱者関連画像を表示させる表示制御手段と、
前記楽曲データの再生中に、楽曲画像データに含まれる前記効果画像データに関連する効果画像データを、楽曲画像データに含まれる前記タイミングデータの示すタイミング又はタイミングデータに関連するタイミングに前記通信端末装置に提供する提供手段と、
を備えることを特徴とするカラオケシステム。
【請求項２】
請求項１に記載のカラオケシステムにおいて、
前記効果画像データの属性を示す属性データ及び当該効果画像データを識別する効果画像識別データを対応付けた効果画像データを複数記憶する記憶手段を管理する管理手段を更に備え、
前記提供手段が、
前記楽曲データの再生中に、楽曲画像データに含まれる前記効果画像データに対応付けられた属性データと同一の属性データを有する効果画像データを、楽曲画像データに含まれる前記タイミングデータの示すタイミング又はタイミングデータに関連するタイミングに前記通信端末装置に提供する、カラオケシステム。
【請求項３】
請求項１又は２に記載のカラオケシステムにおいて、
前記通信端末装置に提供された効果画像データに基づき前記選択した効果画像の画像データを選択効果画像データとして受信する受信手段と、
前記楽曲画像データに含まれる前記タイミングデータと、前記取得された選択効果画像データと、に基づき、前記歌唱者関連画像データを編集する編集手段と、
を更に備え、
前記編集手段が、
前記タイミングデータにより示されるタイミングにて、前記歌唱者関連画像に前記通信端末装置を介して取得された選択効果画像を合成させて編集するとともに、
前記表示制御手段が、
前記第２の表示領域に当該編集された歌唱者関連画像を表示させる、カラオケシステム。
【請求項４】
請求項３に記載のカラオケシステムにおいて、
前記タイミングデータには、該当する楽曲上の所与の区切りの切り替わりタイミングを示すデータが含まれ、
前記提供手段が、
前記タイミングデータにて、前記通信端末装置に提供する効果画像データを切り替える、カラオケシステム。
【請求項５】
請求項４に記載のカラオケシステムにおいて、
前記提供手段が、
前記楽曲データの再生中に、前記タイミングデータに基づき、次の前記区切りの切り替わりタイミングまでの時間を特定し、当該時間を示すデータを前記通信端末装置に供給する、カラオケシステム。
【請求項６】
複数の楽曲データから選択された１の楽曲データを再生して楽音を出力させるとともに、当該楽音の出力に伴って前記選択された楽曲データの歌詞を表示手段に表示するカラオケ装置用のコンピュータを、
通信端末装置を介して指示入力を受け付ける受付手段、
前記受け付けた指示入力に基づき、前記選択された楽曲データを再生する再生手段と、
前記再生された楽曲データの楽音と、入力手段によって入力された音と、を出力する出力手段、
前記楽曲データの再生に合わせて歌唱する歌唱者及び当該歌唱者に関連する撮像対象の少なくともいずれか一方を撮像する撮像手段より出力された当該歌唱者に関連する歌唱者関連画像を示す歌唱者関連画像データを取得する第１取得手段、
前記受け付けた指示入力に基づき、
（１）前記選択された楽曲データの再生に合わせて形成され、かつ、当該楽曲に関連する楽曲関連画像を示す楽曲関連画像データと、
（２）前記楽曲関連画像データに合成された効果画像を示す効果画像データと、
（３）前記楽曲関連画像に前記効果画像が合成されたタイミングを示すタイミングデータと、
を含む楽曲画像データを取得する第２取得手段、
前記楽曲データの再生中に、前記楽曲の出力タイミングと同期させつつ、楽曲画像データに含まれる楽曲関連画像を前記表示手段の第１の表示領域に表示させるとともに、前記第１の表示領域とは異なる第２の表示領域に前記歌唱者関連画像を表示させる表示制御手段、及び、
前記楽曲データの再生中に、楽曲画像データに含まれる前記効果画像データに関連する効果画像データを、楽曲画像データに含まれる前記タイミングデータの示すタイミング又はタイミングデータに関連するタイミングに前記通信端末装置に提供する提供手段、
として機能させることを特徴とするプログラム。
【請求項７】
通信端末装置と、
複数の楽曲データから選択された１の楽曲データを再生して楽音を出力させるとともに、当該楽音の出力に伴って前記選択された楽曲の歌詞を表示手段に表示するカラオケ装置と、
を備えるカラオケ通信システムであって、
前記カラオケ装置が、
前記通信端末装置を介して指示入力を受け付ける受付手段と、
前記受け付けた指示入力に基づき、前記選択された楽曲データを再生する再生手段と、
前記再生された楽曲データの楽音と、入力手段によって入力された音と、を出力する出力手段と、
前記楽曲データの再生に合わせて歌唱する歌唱者及び当該歌唱者に関連する撮像対象の少なくともいずれか一方を撮像する撮像手段より出力された当該歌唱者に関連する歌唱者関連画像を示す歌唱者関連画像データを取得する第１取得手段と、
前記受け付けた指示入力に基づき、
（１）前記選択された楽曲データの再生に合わせて形成され、かつ、当該楽曲に関連する楽曲関連画像を示す楽曲関連画像データと、
（２）前記楽曲関連画像データに合成された効果画像を示す効果画像データと、
（３）前記楽曲関連画像に前記効果画像が合成されたタイミングを示すタイミングデータと、
を含む楽曲画像データを取得する第２取得手段と、
前記楽曲データの再生中に、前記楽曲の出力タイミングと同期させつつ、楽曲画像データに含まれる楽曲関連画像を前記表示手段の第１の表示領域に表示させるとともに、前記第１の表示領域とは異なる第２の表示領域に前記歌唱者関連画像を表示させる表示制御手段と、
前記楽曲データの再生中に、楽曲画像データに含まれる前記効果画像データに関連する効果画像データを、楽曲画像データに含まれる前記タイミングデータの示すタイミング又はタイミングデータに関連するタイミングに前記通信端末装置に提供する提供手段と、
を備えることを特徴とするカラオケ通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケ用の楽音を再生し、ユーザにカラオケを実施させるカラオケシステム、プログラム及びカラオケ通信システムに関する。
【背景技術】
【０００２】
近年、伴奏のみからなる楽曲データ（いわゆる、カラオケ用楽曲データ）を再生し、当該再生された楽曲データに併せてユーザが歌うカラオケは、娯楽や趣味として認知されている。
【０００３】
また、最近では、カラオケの新たな楽しみ方として、カラオケの歌唱中に歌唱者（すなわち、ユーザ）及び当該歌唱者に関連する撮像対象（例えば、歌唱者とともにカラオケに興じるグループメンバー等）の少なくとも一方を含む歌唱者をカメラにより撮像するサービスも登場している。
【０００４】
特に、このようなサービスを実現するシステムとしては、歌唱音声をマイクロホン（以下、「マイク」という。）により集音して得た音声と、当該撮像された歌唱者の画像と、再生された楽曲データとを組み合わせる構成を有している。これにより、当該システムは、歌唱音声及び伴奏等が歌唱者の画像とともに再生される画像データを生成することができるようになっており、ネットワーク上のサーバ装置に当該画像データを投稿（すなわち、アップロード）することができるようになっている。
【０００５】
また、このカラオケ通信システムにおいては、サーバ装置に投稿された歌唱者の画像を、他のユーザと共有化し、必要に応じて、投稿された歌唱者の画像データをユーザによって閲覧可能及びダウンロード可能に構成されているものもある。
【０００６】
一方、このようなサービスを発展させて、ユーザの満足度をさらに向上させるため、他のユーザによってサーバに投稿された歌唱者の画像を用いて当該他のユーザとデュエット（コラボレーション）するカラオケ通信システムも実現されている。
【０００７】
特に、このようなカラオケ通信システムは、他の歌唱者の画像とコラボレーションを希望するユーザの撮像中の歌唱者の画像とを組み合わせて、異なるタイミングにて歌唱している少なくとも２人以上のユーザを、あたかも一緒に歌い、共演しているかのように見えるコラボレーション画像を生成して表示する構成を有している。
【０００８】
また、このようなカラオケ通信システムにおいては、過去に投稿された他の歌唱者の画像に合成された効果画像と同一、又は、異なる効果画像を撮像中の歌唱者の画像に合成しつつ、コラボレーション画像を生成することにより、コラボレーション画像の全体の視覚的な統一感を向上させる構成が採用されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１２−２０９８５６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に記載のシステムにあっては、他のユーザによって過去に投稿された歌唱者の画像を閲覧しながら、歌唱時の周囲状況（例えば、グループメンバー全員が盛り上がっている状況、グループメンバーの全員が歌に聴き入っている状況等）を反映させつつ、リアルタイムに、かつ、自由に、撮像中の歌唱者の画像に効果画像を合成することが難しい。
【００１１】
また、特許文献１に記載のシステムにあっては、ユーザによって撮像中の歌唱者の画像に対して合成する効果画像の選択付与及び切り替えを自由に行わせてしまうと、コラボレーション画像における他の歌唱者の画像に既に何らかの効果画像が合成されている場合には、当該コラボレーション画像中の各画像の視覚的な統一感を確保することが難しくなる。
【００１２】
本発明は、上記課題を解決するためになされたものであり、その目的は、コラボレーション画像を生成する際に、コラボレーション画像全体の視覚的な統一感を確保可能な効果画像を、ユーザに対して確実に提供することが可能なカラオケシステムを提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明は、複数の楽曲データから選択された１の楽曲データを再生して楽音を出力させるとともに、当該楽音の出力に伴って前記選択された楽曲データの歌詞を表示手段に表示するカラオケシステムあって、通信端末装置を介して指示入力を受け付ける受付手段と、前記受け付けた指示入力に基づき、前記選択された楽曲データを再生する再生手段と、前記再生された楽曲データの楽音と、入力手段によって入力された音と、を出力する出力手段と、前記楽曲データの再生に合わせて歌唱する歌唱者及び当該歌唱者に関連する撮像対象の少なくともいずれか一方を撮像する撮像手段より出力された当該歌唱者に関連する歌唱者関連画像を示す歌唱者関連画像データを取得する第１取得手段と、前記受け付けた指示入力に基づき、（１）前記選択された楽曲データの再生に合わせて形成され、かつ、当該楽曲に関連する楽曲関連画像を示す楽曲関連画像データと、（２）前記楽曲関連画像データに合成された効果画像を示す効果画像データと、（３）前記楽曲関連画像に前記効果画像が合成されたタイミングを示すタイミングデータと、を含む楽曲画像データを取得する第２取得手段と、前記楽曲データの再生中に、前記楽曲の出力タイミングと同期させつつ、楽曲画像データに含まれる楽曲関連画像を前記表示手段の第１の表示領域に表示させるとともに、前記第１の表示領域とは異なる第２の表示領域に前記歌唱者関連画像を表示させる表示制御手段と、前記楽曲データの再生中に、楽曲画像データに含まれる前記効果画像データに関連する効果画像データを、楽曲画像データに含まれる前記タイミングデータの示すタイミング又はタイミングデータに関連するタイミングに前記通信端末装置に提供する提供手段と、を備える構成を有している。
【発明の効果】
【００１４】
本発明は、撮像により生成された歌唱者関連画像と取得した楽曲関連画像とを異なる表示領域に同時に表示し、ユーザが歌唱対象として選択した楽曲データを再生しているときに、当該取得した楽曲関連画像に合成されている効果画像に関連する効果画像を、当該効果画像が当該楽曲関連画像に合成されているタイミングに、歌唱者関連画像に合成可能に通信端末装置に提供することができる。
【００１５】
例えば、本発明は、楽曲関連画像に所定の色及び大きさの「星マーク」の効果画像が合成されている場合に、当該効果画像の「星マーク」又は形状、大きさ、色等の違う複数種類の関連する「星マーク」の効果画像を、歌唱対象となる楽曲の楽曲データ再生中であって当該楽曲関連画像の表示中に歌唱者関連画像に合成するための効果画像の候補として通信端末装置に提供することができる。
【００１６】
従って、本発明は、カラオケ中に歌唱者関連画像と楽曲関連画像を同時に表示するコラボレーション画像を生成する際に、コラボレーション画像全体の視覚的な統一感を確保可能な効果画像をユーザに対して確実に提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係るカラオケ通信システムにおける一実施形態の構成を示すシステム構成図である。
【図２】一実施形態の記憶装置に設けられるユーザ管理データベースに記憶されるデータの一例を示す図である。
【図３】一実施形態の記憶装置に設けられる投稿画像データベースに記憶されるデータの一例を示す図である。
【図４】一実施形態のカラオケシステムの構成を示すブロック図である。
【図５】一実施形態のカラオケシステムに設けられるシステム用データベースに記憶されるデータの一例を示す図である。
【図６】一実施形態の効果画像データの一例を示す図である。
【図７】一実施形態の通信端末装置において実行される処理を示すフローチャートである。
【図８】一実施形態のカラオケシステムにおいて実行される処理を示すフローチャート（その１）である。
【図９】一実施形態のカラオケシステムにおいて実行される処理を示すフローチャート（その２）である。
【図１０】一実施形態のカラオケシステムにおいて実行される処理を示すフローチャート（その３）である
【図１１】一実施形態の管理サーバ装置において実行される処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
次に、本発明に好適な実施の形態について、図面に基づいて説明する。なお、以下に説明する実施の形態は、歌唱者を撮像しつつ、カラオケ用の楽曲データや歌詞データなどを含むカラオケデータを再生するカラオケシステムに対して本願のカラオケシステムなどを適用した場合の実施形態である。
【００１９】
［１］カラオケ通信システムの概要
まず、図１〜図３を用いて本実施形態のカラオケ通信システム１の概要について説明する。なお、図１は、本実施形態におけるカラオケ通信システム１の構成を示すシステム構成図であり、図２及び図３は、それぞれ、ユーザ管理データベース４０１又は投稿画像データベース４０３に記憶されるデータの一例を示す図である。
【００２０】
本実施形態のカラオケ通信システム１は、各種の遊興施設（例えばカラオケボックスＢ）に設置されるカラオケシステム１０と、通信端末装置２０と、ネットワークＮに接続される管理サーバ装置３０と、ネットワークＮに接続された記憶装置４０と、を有している。
【００２１】
なお、図１においては、記憶装置４０内の各データベース（以下、データベースを「ＤＢ」という。）に対して、カラオケシステム１０が、直接アクセスできるようにするため、記憶装置４０をネットワークＮに直接接続する構成例について示しているが、記憶装置４０は、管理サーバ装置３０内に搭載するようにしてもよい。
【００２２】
また、記憶装置４０の管理運営主体は、専用のコンピュータを設けるようにしてもよいが、本実施形態においては、説明を具体化するため、管理サーバ装置３０によって管理運用されるものとして説明を行う。
【００２３】
［１．１］カラオケ通信システムの各機能
本実施形態のカラオケ通信システム１は、上記の構成を有し、かつ、各種の処理を実行することにより、大別して以下の機能を実現する。
【００２４】
［カラオケ機能］
本機能は、カラオケシステム１０によって実現する機能であって、リモコン装置やスマートフォン等の通信端末装置２０を用いて行った指示入力に基づいて、カラオケボックスＢ等の店舗内に設置されたカラオケシステム１０を用いて、単独のユーザ又は複数人のユーザからなるグループによってカラオケを興ずるための機能である。
【００２５】
特に、本機能では、
（１）インターネット上において提供されるＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）システムなどのネットワークＮ上の記憶装置４０内のカラオケデータ用ＤＢ４０２からユーザが選曲した楽曲のカラオケデータを取得（すなわち、ダウンロード）する機能、
（２）ユーザが歌唱可能に当該カラオケデータを再生する機能、及び
（３）当該再生したカラオケデータに合わせて歌唱する歌唱ユーザの歌唱音声をマイクＭにより集音して拡声する機能、
が実現される。
【００２６】
［歌唱者関連画像生成機能］
本機能は、カラオケシステム１０及びカラオケボックスＢ内に設置されたカメラＣによって実現する機能であって、カラオケデータの再生時に、当該再生に合わせて歌唱する歌唱ユーザ、グループメンバー、及びカラオケボック内の少なくともいずれか１をリアルタイムに撮像して画像化し、歌唱者関連画像のデータ（すなわち、歌唱者関連画像データ）を生成する機能である。
【００２７】
なお、カメラＣにより撮像されて生成された歌唱者関連画像データは、静止画に対応するものであってもよいし、動画であってもよい。ただし、以下の説明においては、複数のフレーム画像により構成される動画像に対応するデータを歌唱者関連画像データとするものとして説明を行う。
【００２８】
［楽曲画像データ取得機能］
本機能は、カラオケシステム１０の機能であって、記憶装置４０に構築された投稿画像ＤＢ４０３から、ユーザが選曲した楽曲に関連する楽曲関連画像を含む楽曲画像データを取得する機能である。
【００２９】
例えば、楽曲関連画像データは、選曲した楽曲と同一の楽曲を過去に歌唱したことのある他のユーザによって前記歌唱者関連画像生成機能を用いて画像化された歌唱者関連画像データである。
【００３０】
［コラボ画像生成機能］
本機能は、カラオケシステム１０、管理サーバ装置３０と記憶装置４０とを連動することによって実現される機能であって、楽曲関連画像と、歌唱者関連画像と、を組み合わせたコラボレーション画像データ（以下、「コラボ画像データ」という。）を生成する機能である。また、後述する表示部１１５は、コラボ画像データに基づいてコラボレーション画像（以下、「コラボ画像」という。）を表示させる。
【００３１】
具体的には、本機能では、カラオケデータの再生中に、前記楽曲関連画像データと、前記歌唱者関連画像生成機能によって画像化された歌唱中の歌唱者関連画像データとを同期させつつ、カラオケシステム１０に表示させる機能である。
【００３２】
そして、本機能は、歌唱しているユーザ（以下、「歌唱者ユーザ」という。）と、前記楽曲関連画像データに画像化されているユーザ（以下、「コラボ対象ユーザ」という。）と、があたかも同時に歌っているかのように見えるコラボ画像を生成及び表示する機能である。
【００３３】
また、本機能には、前記楽曲画像データと前記歌唱関連画像データとを対応付け記憶する機能を有している。
【００３４】
［１．２］本実施形態におけるコラボ画像生成機能の原理
本実施形態のカラオケ通信システム１は、コラボ画像生成機能を実行する際に、コラボ画像に、所与の画像効果を実現するため、効果画像を付加することが可能な編集機能を備えており、歌唱者や聴取者に対して画像編集によってその興趣性を向上させている。
【００３５】
このため、投稿画像ＤＢ４０３に記憶されている楽曲画像データには、楽曲関連画像データの所定のフレームに対して合成された効果画像のデータ（すなわち、効果画像データ）も含まれる。
【００３６】
具体的には、楽曲画像データには、
（１）楽曲関連画像データと、
（２）楽曲関連画像データに合成されている効果画像データ（例えば、「星マーク」）と、
（３）楽曲関連画像データに効果画像データを合成するフレームの画像（以下、「フレーム画像」という。）を規定するタイミングデータであって、データの先頭からの経過時間によって規定するタイミングデータと、
が含まれる。
【００３７】
また、このような楽曲画像データを用いてコラボ画像を生成する際に、生成されるコラボ画像全体としての視覚的な統一感を確保する必要がある。
【００３８】
そして、このような視覚的な統一感を確保するためには、
（１）楽曲画像データに含まれる効果画像データと同一、又は、関連性のある効果画像データの効果画像を撮像中の歌唱者関連画像に合成すること、
（２）楽曲関連画像に効果画像を合成するタイミングと同期して（すなわち、同一タイミング、又は、ユーザが同一タイミングと認識する程度の時間的なズレの範囲内において）、撮像中の歌唱者関連画像に効果画像を合成すること、
（３）楽曲関連画像に合成される効果画像が、２以上存在し、カラオケデータの再生に従って、楽曲関連画像に合成される効果画像が切り替わる場合には、当該切り替えタイミングにて、撮像中の歌唱者関連画像に合成する効果画像を、当該切り替え後の効果画像と同一、又は、当該効果画像に関連する効果画像に切り替えること、
の３つの条件を満たすことが必要となる。
【００３９】
そこで、本実施形態のカラオケ通信システム１においては、カラオケシステム１０内に撮像中の歌唱者関連画像データに合成可能な複数の効果画像データと、当該効果画像データの属性を示す属性情報を規定する属性データと、を対応付けて記憶したＤＢを設ける。そして、カラオケ通信システム１は、コラボ画像を生成する際に用いる楽曲画像データに含まれる効果画像データの属性と同一の属性を有する効果画像データ（取得した効果画像データと同一の効果画像データも含む。）を取得して通信端末装置２０に提供する構成を有している。
【００４０】
すなわち、投稿画像ＤＢ４０３から取得した楽曲関連画像データに合成された効果画像データが示す効果画像が、所定の色、形状、大きさの「星マーク」である場合には、カラオケシステム１０は、「同一の星マーク」、「色、大きさ、形状の異なる他の星マーク」又は「銀河マーク」等の同一属性の効果画像データを検索して取得し、通信端末装置２０に提供する構成を有している。
【００４１】
そして、通信端末装置２０は、提供された効果画像データに基づいて効果画像を表示し、表示された効果画像に基づき、ユーザによって、いずれかの効果画像（例えば、「銀河マーク」）が選択されると、カラオケシステム１０は、当該選択された効果画像が示す効果画像データ（以下、「選択効果画像データ」ともいう。）を撮像中の歌唱者関連画像に合成し、当該合成後の歌唱者関連画像を用いてコラボ画像データを生成及び表示するための処理を実行する構成になっている。
【００４２】
特に、カラオケシステム１０は、ユーザによって選択された効果画像データに対応するタイミングデータに基づいて、楽曲関連画像に効果画像が合成されるタイミングと同期させつつ、撮像中の歌唱者関連画像にユーザの選択した効果画像を合成する構成を有している。
【００４３】
すなわち、楽曲関連画像に合成される効果画像が、所定のタイミング又はフレームにて切り替わる構成（例えば、「星マーク」から「猫マーク」に切り替わる等）となっている場合に、カラオケシステム１０は、効果画像データが「星マーク」から「猫マーク」に切り替わるタイミング（具体的には少し前（数十秒前）のタイミング）にて、新たに合成する効果画像データ（猫マーク）と同一の属性を有する効果画像データ（例えば、犬、ゾウ、キリン、ライオン等のマーク）を検索し、通信端末装置２０に提供する供給する構成となっている。
【００４４】
そして、通信端末装置２０は、供給された切り替え対象の効果画像データに基づいて効果画像を表示し、表示された効果画像に基づき、ユーザによって、いずれかの効果画像（例えば、犬マーク）が選択されると、カラオケシステム１０は、撮像中の歌唱者関連画像データに合成する効果画像を、「銀河マーク」からユーザよって新たに選択された効果画像（犬マーク）に切り替える構成を有している。
【００４５】
この構成により、本実施形態のカラオケ通信システム１は、コラボ画像を生成する際に、当該コラボ画像の生成に用いる楽曲関連画像に効果画像が合成されている場合であっても、当該効果画像と関連性の高い効果画像を選択候補としてユーザに提示できるとともに、ユーザにより選択された効果画像データを適切なタイミングで撮像中の歌唱者関連画像データに合成することができるようになっている。
【００４６】
また、本実施形態のカラオケ通信システム１は、楽曲関連画像に合成される効果画像が順次切り替わる場合に、当該切り替え後の効果画像と同一の属性を有する効果画像を新たな選択候補として、リアルタイムに通信端末装置２０に提供し、ユーザが選択した効果画像を撮像中の歌唱者関連画像に合成することができるようになっている。
【００４７】
従って、本実施形態のカラオケ通信システム１は、楽曲関連画像に合成された効果画像の切り替えタイミングに同期させつつ、撮像中の歌唱者関連画像に合成する効果画像を順次切り替えることができるようになっている。
【００４８】
［１．３］カラオケ通信システムの各部の概略構成
本実施形態のカラオケシステム１０は、上記コラボ画像生成機能を実現するため、
（１）カラオケデータの再生と同期させつつ、投稿画像ＤＢ４０３から取得した楽曲画像データに含まれる楽曲関連画像データによってカラオケシステム１０の表示部における右半分の表示領域に楽曲関連画像を表示させるとともに、
（２）カメラＣにより撮像された歌唱者関連画像にユーザによって選択された効果画像を合成しつつ、表示部における左半分の表示領域に歌唱者関連画像を表示させる、
ためのコラボ画像を生成する構成を有している。
【００４９】
また、カラオケシステム１０は、カラオケデータの再生終了後（すなわち、楽曲の歌唱終了後）、歌唱者関連画像に効果画像が合成された歌唱者関連画像データなどの所定のデータを管理サーバ装置３０に投稿（アップロード）して、投稿画像ＤＢ４０３を更新（記憶）させる構成になっている。
【００５０】
通信端末装置２０は、カラオケシステム１０の一部を構成するリモコン装置、又は、スマートフォン、携帯用電話機、タブレット型情報通信端末等の装置である。
【００５１】
具体的には、通信端末装置２０は、
（１）液晶素子等により構成される表示部と、
（２）当該表示部上に設けられたタッチパネル、又は、表示部外に設けられたテンキー、ＱＷＥＲＴＹキー等からなる入力操作部と、
（３）赤外線ポート、無線ＬＡＮ（ローカルエリアネットワーク）、ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｅｎｇｉｎｅｅｒｓ）８０２．１５．４、等の近距離無線通信インターフェースと、
を有している。
【００５２】
そして、通信端末装置２０は、楽曲の選曲を行うための選曲番号、効果画像データ、及び当該効果画像データを識別する効果画像識別データ（以下、「効果画像ＩＤ」という。）などを、カラオケシステム１０と直接的に、又は、ネットワークＮを介して間接的に管理サーバ装置３０及びカラオケシステム１０と、データの授受を行う。
【００５３】
なお、通信端末装置２０は、カラオケシステム１０により歌唱可能な複数のカラオケデータを識別するための選曲番号、楽曲ジャンル、アーティスト名（歌手名）、及び楽曲タイトル、を対応付けた状態にて、ネットワークＮを介して管理サーバ装置３０からダウンロード、又は、当該カラオケデータを有するアプリケーションをダウンロードする構成を有していてもよい。
【００５４】
この構成により、ユーザは、カラオケデータを選曲する際に、自身が利用している通信端末装置２０を用いることによって、楽曲タイトルなどを指定しつつ、容易に１の楽曲を選曲させることができるようになっている。
【００５５】
通信端末装置２０は、カラオケシステム１０から提供された選択候補の効果画像データに基づき効果画像をユーザに選択可能に表示し、ユーザによって選択された効果画像に基づく効果画像データの効果画像ＩＤをカラオケシステム１０に送信するようになっている。
【００５６】
なお、通信端末装置２０は、ＵＲＬに基づいてＷｅｂページデータを閲覧可能に表示するブラウザを搭載しており、ネットワークＮ、又は、カラオケシステム１０を介して後述するユーザＩＤの専用Ｗｅｂページにアクセスし、かつ、ＵＲＬアドレスに基づいて、楽曲画像データを特定すると、楽曲画像データに含まれる楽曲関連画像の閲覧及び楽曲関連画像データをダウンロードすることができるようになっている。
【００５７】
記憶装置４０は、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）、等により構成され、その記憶領域内に、図２に例示するユーザ管理ＤＢ４０１と、カラオケデータ用ＤＢ４０２と、図３に例示する投稿画像ＤＢ４０３と、が構築され、管理サーバ装置３０により管理運用されるようになっている。
【００５８】
ユーザ管理ＤＢ４０１は、各ユーザを管理するための情報（以下、「ユーザ情報」という。）がデータとして記憶されるＤＢである。具体的には、ユーザ管理ＤＢ４０１に記憶される複数のユーザ情報は、図２に示すように、各ユーザを識別するためのユーザＩＤ、氏名、住所、アカウント名、パスワード、性別、年齢、メールアドレス及びお気に入り画像が対応付けて記憶される。
【００５９】
なお、前記各ユーザ情報は、ユーザが投稿した自身の楽曲画像データ、又は、他のユーザが投稿した楽曲画像データを通信端末装置２０により閲覧する際のユーザ認証等に利用される。
【００６０】
カラオケデータ用ＤＢ４０２は、「邦楽」、「ＪＰＯＰ」、「ロック」等、カラオケデータの階層的な楽曲ジャンルを示すジャンルデータと、各カラオケデータを識別するための選曲番号と、楽曲タイトルと、が対応付けされた複数のカラオケデータが記憶される。
【００６１】
また、カラオケデータには、カラオケ用の楽曲データと、カラオケデータの再生中に楽曲データの再生に同期して表示させる歌詞データと、当該歌詞データの表示制御を行う制御データと、などが含まれる。
【００６２】
さらに、カラオケ用の楽曲データには、複数の楽器の演奏音を再生制御するためのＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）データ、Ａメロ、Ｂメロ、サビなど楽曲の構成を示す楽曲構成データ、歌パートの基準音（キー）の音高を示す音高データ、及びメロディをガイドするためのガイドメロディデータなどが含まれる。
【００６３】
投稿画像ＤＢ４０３は、楽曲画像データを管理するためのＤＢである。具体的には、投稿画像ＤＢ４０３には、図３に示すように、
（１）選曲番号と
（２）楽曲関連画像データを識別するための投稿識別データ（以下、「投稿ＩＤという。」）と、
（３）楽曲関連画像データを投稿したユーザのユーザＩＤと、
（４）楽曲関連画像データ本体と、
（５）楽曲関連画像に効果画像を合成するための効果画像を示す効果画像データと、当該効果画像データの効果画像ＩＤと、
（６）タイミングデータと、
が対応付けて楽曲画像データとして記憶される。
【００６４】
なお、例えば、本実施形態の楽曲画像データは、本発明の「楽曲画像データ」に対応する。
【００６５】
例えば、図３には、選曲番号「Ｍ００１」に対応する楽曲を歌唱した際に撮像された楽曲関連画像データとして、「ＭＰ００１」及び「ＭＰ００２」に対応する楽曲関連データが投稿済みとなっており、「ＭＰ００１」及び「ＭＰ００２」が示す各楽曲関連画像データに、効果画像ＩＤとともに「効果画像データ１、２、３、４」及び「効果画像データ２、４、５、１」が合成された場合のデータの構成例が示されている。
【００６６】
特に、図３には、ＭＰ００１の楽曲関連画像データには、各効果画像データ１〜４の合成タイミングを示すタイミングデータとして、
（１）効果画像データ１を、楽曲関連画像データに対応する楽曲のスタート〜Ａメロ完了（０：００〜００：３０）まで、
（２）効果画像データ２を、Ｂメロ〜サビ（００：３０〜０２：３０）まで、
（３）効果画像データ３を、サビ開始〜サビ完了（０２：３０〜０３：５０）まで、及び、
（４）効果画像データ４を、サビ完了〜楽曲終了（０３：５０〜０４：３５）まで、
に合成させるタイミングを示すデータが記憶されていることを示す。
【００６７】
なお、タイミングデータの形式は、これに限定されず、他の形式にて構成するようにしてもよく、例えば、楽曲データに含まれる楽曲の構成を示す楽曲構成データを用いるようにしてもよい。
【００６８】
この場合には、タイミングデータに時間を規定するための情報を含ませる必要はなく、楽曲構成データにより示される楽曲データの各パートのタイミング（例えば、Ａメロ、Ｂメロ及びサビ）が含まれていれば、当該タイミングを、タイミングデータに規定すればよい。
【００６９】
管理サーバ装置３０は、記憶装置４０を管理し、カラオケ通信システム１にてユーザに提供される各種サービスを管理する構成を有している。
【００７０】
特に、管理サーバ装置３０は、ＵＲＬに基づいて、記憶装置４０に記憶された各種データを管理する。また、カラオケシステム１０及び通信端末装置２０からの要求に従って、要求された各種データを記憶装置４０から読み出し及び配信を行う構成を有している。
【００７１】
また、管理サーバ装置３０は、カラオケシステム１０から、楽曲画像データ、選曲番号及びユーザＩＤがアップロードされると、当該楽曲画像データに投稿ＩＤを割り当て、当該投稿ＩＤ、選曲番号、ユーザＩＤ、楽曲関連画像データ、効果画像データ及びタイミングデータを対応付け、投稿画像ＤＢ４０３に楽曲画像データとして記憶する。
【００７２】
［２］カラオケシステム
次に、図４〜図６を用いて本実施形態のカラオケシステム１０の構成及びその動作について説明する。なお、図４は、本実施形態におけるカラオケシステム１０の構成を示す構成図であり、図５は、システム用ＤＢ１１９に記憶される属性データの一例を示す図である。また、図６は、システム用ＤＢ１１９に記憶される効果画像データが示す効果画像の一例を示す図である。
【００７３】
本実施形態のカラオケシステム１０は、図４に示すように、ネットワークＮを介して管理サーバ装置３０からカラオケデータ及び楽曲画像データ等を取得するための通信を行う通信制御部１１１と、マイクＭから出力された音声信号に対して所定の処理を行う音声入力処理部１１２と、カラオケデータに含まれる楽曲データを再生するカラオケ再生部１１３と、再生された楽曲データに対応する楽音をスピーカＳＰに拡声させる拡声処理部１１４と、を備えている。
【００７４】
また、カラオケシステム１０は、表示部１１５と、表示部１１５を制御する表示制御部１１６と、通信端末装置２０と近距離無線通信を行う近距離無線通信部１１７と、各部を統合的に制御するシステム制御部１１８と、効果画像データ、属性データ及び効果画像ＩＤが、対応付けて記憶されるシステム用ＤＢ１１９と、歌唱者や聴取者を撮像するためのカメラＣと、コラボ画像データの生成に必要な処理を実行するデータ処理部１２０と、を備えている。
【００７５】
そして、カラオケシステム１０は、システム制御部１１８を中心にバスや所定の伝送ラインによって接続されている。
【００７６】
なお、例えば、本実施形態のカラオケ再生部１１３は、本発明の「再生手段」を、拡声処理部１１４及びスピーカＳＰは、本発明の「出力手段」を構成する。また、例えば、本実施形態の表示制御部１１６は、データ処理部１２０と連動して、本発明の「表示制御手段」を構成し、近距離無線通信部１１７は、本発明の「受付手段」を構成する。さらに、例えば、本実施形態のシステム用ＤＢ１１９は、本発明の「記憶手段」を構成するとともに、カメラＣは、本発明の「撮像手段」を構成する。
【００７７】
通信制御部１１１は、システム制御部１１８の制御の下、ネットワークＮを介して管理サーバ装置３０と通信回線を構築し、各種データの授受を行う。
【００７８】
特に、通信制御部１１１は、近距離無線通信部１１７を介して通信端末装置２０からのユーザによる選曲指示を受け付けると、当該受け付けた指示により示される選曲番号に基づき、管理サーバ装置３０からカラオケデータを取得する。
【００７９】
そして、通信制御部１１１は、カラオケ再生部１１３にカラオケデータに含まれる楽曲データを供給し、当該楽曲データの再生と同期させつつ、表示部１１５に背景画像データとともに歌詞データを出力する。
【００８０】
また、通信制御部１１１は、システム制御部１１８の制御の下、管理サーバ装置３０を介して記憶装置４０からユーザの選択した選曲番号に対応付けられている楽曲関連画像データと、効果画像データと、タイミングデータと、含む楽曲画像データを取得するとともに、楽曲画像データを管理サーバ装置３０を介して記憶装置４０に投稿するための通信を行う。
【００８１】
カラオケ再生部１１３は、ＭＩＤＩ音源を有し、システム制御部１１８の制御の下、管理サーバ装置３０を介して記憶装置４０から取得（ダウンロード）されたカラオケデータに含まれる楽曲データに基づいてＭＩＤＩ音源を制御する再生処理を行うようになっている。
【００８２】
そして、カラオケ再生部１１３は、再生処理によって生成された楽音データを拡声処理部１１４に出力する。
【００８３】
また、カラオケ再生部１１３は、カラオケデータに含まれるジャンルデータを抽出し、抽出したジャンルデータに基づいて、ジャンルデータに対応付けて記憶されている背景画像データをシステム用ＤＢ１１９から取得する。
【００８４】
そして、カラオケ再生部１１３は、取得した背景画像データに基づく背景画像を楽曲データの再生に同期させて表示部１１５に表示するための画像信号を表示制御部１１６に出力する。
【００８５】
拡声処理部１１４は、システム制御部１１８の制御の下、カラオケ再生部１１３から出力された楽音データをアナログ形式のオーディオ信号に変換する処理及び変換されたオーディオ信号を所定のレベルに増幅してスピーカＳＰに出力する処理を行う。
【００８６】
なお、スピーカＳＰは、カラオケシステム１０が設けられた設置場所によって適したシステムによって構成されている。また、拡声処理部１１４にて、残響処理等の各種信号処理を施し、当該信号処理後のオーディオ信号をスピーカＳＰから出力させる構成としてもよい。
【００８７】
表示部１１５は、例えば、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子、液晶表示素子またはＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）によって構成され、表示制御部１１６の制御に従って所定の画像を表示する。
【００８８】
具体的には、表示部１１５は、背景画像データ及び歌詞データに基づいて歌詞が重畳された画像を表示する。すなわち、表示部１１５は、再生される楽曲データに併せて歌詞及び背景画像を表示する。また、表示部１１５は、背景画像に代えて、コラボ画像データに基づいてコラボ画像を表示する。
【００８９】
表示制御部１１６は、システム制御部１１８の制御の下、コラボ画像データ又は背景データに基づく表示処理を実行し、コラボ画像又は背景画像を表示するための表示用データを生成して表示部１１５に出力する。
【００９０】
特に、表示制御部１１６は、コラボ画像の表示する際には、データ処理部１２０と連携しつつ、表示部１１５の右半分の表示領域に楽曲関連画像データを表示させるとともに、撮像中の歌唱者関連画像データを左半分の表示領域に表示させる。
【００９１】
近距離無線通信部１１７は、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）等の赤外線通信、又は、ｂｌｕｅｔｏｏｔｈ，ＩＥＥＥ８０２．１５．４、無線ＬＡＮ等の近距離無線通信規格に従い、通信端末装置２０とデータの授受を行う。
【００９２】
例えば、近距離無線通信部１１７は、通信端末装置２０を用いたユーザの指示入力を受け付け、受け付けた指示に対応する命令コマンドをバスに出力するとともに、データ処理部１２０による制御の下、選択候補となる効果画像データ等を通信端末装置２０に供給する。
【００９３】
なお、通信端末装置２０とカラオケシステム１０との間の通信は、ネットワークＮや管理サーバ装置３０を介して実行してもよい。
【００９４】
システム制御部１１８は、主に図示せぬ中央演算処理装置（ＣＰＵ）、キャッシュメモリ、及びＲＡＭによって構成され各部を統合的に制御する。また、システム制御部１１８は、各部と連動しつつ、前記各機能を実現するための処理を実行する。
【００９５】
カメラＣは、光電変換する撮像素子（以下、「ＣＣＤ」という）と、当該ＣＣＤを格納する筐体及び撮像レンズなどのカメラ機構と、を備え、カラオケ中にＣＣＤに形成された対象物の影像をフレーム毎に所定の画像データに変換し、データ処理部１２０に出力するようになっている。また、カメラＣは、システム制御部１１８によって撮像開始、終了などの各種の動作が制御される。
【００９６】
なお、カメラＣは、カラオケシステム１０内に組み込むようにしてもよく、対象物を最も好適に撮像可能な場所に設置された別体のカメラＣをＨＤＭＩ（登録商標：Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）等のインターフェースを介して接続するようにしてもよい。
【００９７】
システム用ＤＢ１１９には、図５及び図６に示すように、
（１）効果画像ＩＤと、
（２）効果画像データの本体データ（以下、「画像本体データ」ともいう。）と、
（３）属性情報が規定された属性データと、
が対応付けて記憶される。
【００９８】
具体的には、属性データには、図５に示すように、
（３Ａ）大カテゴリと、
（３Ｂ）中カテゴリと、
（３Ｃ）デザイン名と、
（３Ｄ）テーマイメージと、
が含まれている。
【００９９】
なお、図６には、大カテゴリ「かっこいい」、中カテゴリ「海賊」、及び「兜」に対応する効果画像データに基づく効果画像が示されている。また、システム用ＤＢ１１９は、カラオケデータ用ＤＢ４０２に記憶されているカラオケデータ、又は、カラオケデータの一部が記憶されていてもよい。
【０１００】
また、システム用ＤＢ１１９には、各機能を実現するための処理を実行する際に利用されるプログラムと、ジャンルデータに対応付けられた背景画像データと、が記憶されている。
【０１０１】
データ処理部１２０は、システム制御部１１８と同一、又は、独立したＣＰＵ及びワークエリアとしてのＲＯＭ／ＲＡＭ１２２により構成され、アプリケーションを実行することにより、データ取得部１２１と、効果画像特定取得部１２３と、コラボ画像合成処理部１２４と、を実行する。
【０１０２】
なお、例えば、本実施形態のデータ取得部１２１は、本発明の「受付手段」及び「取得手段」を構成し、効果画像特定取得部１２３は、「管理手段」及び「受信手段」を構成する。また、例えば、本実施形態のコラボ画像合成処理部１２４は、システム制御部１１８と連動して、「編集手段」及び「提供手段」を構成する。
【０１０３】
データ取得部１２１は、カメラＣによって生成された撮像中の歌唱者関連画像データを取得するとともに、通信制御部１１１と連動しつつ、管理サーバ装置３０を介して記憶装置４０から楽曲関連画像データと、効果画像データと、タイミングデータと、を含む楽曲画像データを取得する。
【０１０４】
効果画像特定取得部１２３は、図示しないタイマを有しており、カラオケデータの再生時であってコラボ画像データを生成する場合に、コラボ画像合成処理部１２４によって再生されている楽曲関連画像データに連動しつつ、楽曲関連画像データに対応するタイミングデータ及び効果画像データに基づいて、歌唱者関連画像に合成する効果画像を特定して取得する。
【０１０５】
具体的には、効果画像特定取得部１２３は、楽曲関連画像データの再生中に、楽曲関連画像データに対応するタイミングデータに基づいて、楽曲関連画像データの再生時間に対応付けて合成されている効果画像データを特定しつつ、当該効果画像データに対応付けられた属性データを特定する。
【０１０６】
そして、効果画像特定取得部１２３は、効果画像データの属性データが特定される毎に、当該特定した属性データに基づいて、システム用ＤＢ１１９を検索し、特定した効果画像データと属性が同一の効果画像データを選択候補として特定する。
【０１０７】
例えば、図５に示すように、任意の再生タイミングにおいて合成されている効果画像データが示す効果画像が「海賊Ａ（帽子と片目隠し）」である場合に、効果画像特定取得部１２３は、当該効果画像データの大カテゴリ「かっこいい」の属性に属するとともに、当該効果画像データの中カテゴリ「海賊」に属する効果画像データ「海賊Ｂ」及び効果画像データ「海賊Ｃ」を選択候補として特定する。
【０１０８】
また、効果画像特定取得部１２３は、システム用ＤＢ１１９から特定した選択候補の効果画像データの画像本体データと、当該画像本体データに対応する効果画像ＩＤと、を読み出し、近距離無線通信部１１７を介して、通信端末装置２０に提供する。
【０１０９】
具体的には、効果画像特定取得部１２３は、複数の効果画像が切り替わりつつ楽曲関連画像に合成してある場合には、タイミングデータにより示されるタイミングにて効果画像を切り替えつつ、タイミングデータにより示されるタイミングが切り替わる毎に、楽曲関連画像に合成されている効果画像と同一の属性を有する効果画像を特定し、特定した効果画像の効果画像データと、当該効果画像データの効果画像ＩＤとをシステム用ＤＢ１１９から読み出し、効果画像とともに、切り替え候補の効果画像データとして、通信端末装置２０に提供する。
【０１１０】
さらに、効果画像特定取得部１２３は、提供した切り替え候補の効果画像データの中から、ユーザによって選択された効果画像の効果画像ＩＤを通信端末装置２０から受信した効果画像ＩＤに基づいて撮像中の歌唱者関連画像に合成するための効果画像データをシステム用ＤＢ１１９から取得する。
【０１１１】
特に、効果画像特定取得部１２３は、楽曲関連画像データにおいて効果画像が切り替わるタイミングの所定時間前のタイミング（例えば、１５秒前や歌詞の数フレーズ前）に、通信端末装置２０に切り替え候補の効果画像データを提供し、当該切り替えタイミングの所定期間前後（例えば、５秒前や１フレーズ前）までにユーザによって選択された効果画像ＩＤを受信すると、受信した効果画像ＩＤに基づいて効果画像データをシステム用ＤＢ１１９から取得する。
【０１１２】
コラボ画像合成処理部１２４は、表示制御部１１６と連動して、カラオケデータの再生中に、表示部１１５の右半分の表示領域に楽曲関連画像を表示しつつ、表示部１１５の左半分の表示領域にカメラＣによって撮像された歌唱者関連画像を表示するためのコラボ画像を生成し、生成したコラボ画像をコラボ画像データとして表示制御部１１６に供給する。
【０１１３】
特に、コラボ画像合成処理部１２４は、カラオケデータの再生に伴って楽曲関連画像データを再生しつつ、カメラＣにより撮像されている歌唱者関連画像に、効果画像特定取得部１２３において取得された効果画像（すなわち、通信端末装置２０を介してユーザによって選択された効果画像）を合成する。
【０１１４】
また、コラボ画像合成処理部１２４は、楽曲関連画像に効果画像を合成中にタイミングデータにて示される切り替えタイミングが到来した場合に、効果画像特定取得部１２３において取得された効果画像データがある場合には、撮像中の歌唱者関連画像データに合成する効果画像を、ユーザによって選択された効果画像に切り替える。
【０１１５】
なお、コラボ画像合成処理部１２４は、カラオケデータの再生終了時、すなわち、楽曲の歌唱終了時に、歌唱者関連画像データを、歌唱楽曲の選曲番号、当該歌唱ユーザのユーザＩＤ、当該歌唱者関連画像に合成された効果画像の効果画像データ、及び効果画像の合成のタイミングを示すタイミングデータを対応付け楽曲画像データとして、管理サーバ装置３０にアップロードし、投稿画像ＤＢ４０３に記憶させる。
【０１１６】
ただし、コラボ画像合成処理部１２４は、コラボ画像の生成中にタイミングデータを生成してもよいし、カラオケデータの再生終了後に、楽曲画像データに含まれるタイミングデータを、歌唱者関連画像データに合成に用いた効果画像データのタイミングデータとして生成してもよい。
【０１１７】
また、コラボ画像合成処理部１２４は、効果画像の選択とともに、ユーザの指示に基づいて、撮像中で表示されている歌唱者関連画像の所定の位置に選択された効果画像を合成してもよいし、歌唱者関連画像データに対し顔認識処理を実行し、表示されている歌唱者関連画像の中から歌唱者の顔の領域を自動的に判別し、所定の位置に効果画像を合成してもよい。
【０１１８】
［３］カラオケ通信システムの動作
次に、図７〜図１１を参照しつつ、本実施形態のカラオケ通信システム１の動作について説明する。
【０１１９】
なお、図７は、本実施形態の通信端末装置２０において実行される処理を示すフローチャートであり、図８〜図１０は、それぞれ、本実施形態のカラオケシステム１０において実行される処理を示すフローチャートである。また、図１１は、本実施形態の管理サーバ装置３０において実行される処理を示すフローチャートである。
【０１２０】
本動作においては、以下の処理に先立って、記憶装置４０内の各ＤＢ４０１〜ＤＢ４０３には、それぞれ、図２及び図３に例示する各データが既に記憶されているとともに、カラオケシステム１０のシステム用ＤＢ１１９には、図５に例示する各データが既に記憶されているものとする。
【０１２１】
また、歌唱ユーザとともにカラオケに興じるグループメンバーは、既に、カラオケボックスＢに入場して、カラオケ通信システム１のサービスにログイン済みの状態（すなわち、カラオケを実施可能であって、かつ、楽曲画像データの共有が可能な状態）になっているものとする。
【０１２２】
さらに、通信端末装置２０には、選曲番号、楽曲ジャンル及び楽曲タイトルに対応するカラオケデータの一部、又は、当該カラオケデータの一部を有するアプリケーションが、ダウンロード済みの状態になっている。
【０１２３】
なお、本動作においては、楽曲画像データの一覧が受信されない場合には、本動作を終了させるものとする。
【０１２４】
また、本動作においては、受け付けた選曲番号に基づいてカラオケデータの再生を行うようになっているが、再生リストに予約され、所定のタイミングで予約されていた選曲番号のカラオケデータの再生が行われてもよい。
【０１２５】
［３．１］通信端末装置における処理
まず、通信端末装置２０は、カラオケの開始を希望するユーザ（すなわち、歌唱ユーザ又はそれを聴取するユーザ）の入力操作であって、選曲するための入力操作を検出すると（ステップＳａ１）、ユーザによって選曲されたカラオケデータの選曲番号を特定する（ステップＳａ２）。
【０１２６】
次いで、通信端末装置２０は、当該特定した選曲番号とユーザＩＤとを、近距離無線、赤外線等により直接、又は、ネットワークＮを介してカラオケシステム１０に送信し、楽曲画像データの一覧データの受信を待機する（ステップＳａ２）。
【０１２７】
なお、通信端末装置２０は、アプリケーションに従って歌唱可能なカラオケデータを楽曲のジャンル、アーティスト名又は楽曲名などの楽曲を特定するための情報を、階層的に提示しつつ、ユーザによって選曲されたカラオケデータの選曲番号を抽出する。
【０１２８】
また、楽曲画像データの一覧データとは、受信した選曲番号に対応付けて投稿画像ＤＢ４０３に記憶された楽曲画像データの一覧を示すデータであり、管理サーバ装置３０において生成されるデータである。
【０１２９】
次いで、通信端末装置２０は、所定期間内（例えば、１分）に楽曲画像データの一覧データを受信したか否かを判定する（ステップＳａ３）。
【０１３０】
このとき、通信端末装置２０は、所定期間内に楽曲画像データの一覧データを受信しなかったと判定した場合には、本動作を終了させる。
【０１３１】
一方、通信端末装置２０は、所定期間内に楽曲画像データの一覧データを受信したと判定した場合には、受信した楽曲画像データの一覧データのサムネイル画像を表示し、ユーザにおける選択指示の入力を待機する（ステップＳａ４）。
【０１３２】
次いで、通信端末装置２０は、楽曲画像データの一覧データの中から、ユーザによって選択された１の楽曲画像データを検出すると（ステップＳｂ６）、当該検出した楽曲画像データの投稿ＩＤ、楽曲再生指示、及び選曲番号をカラオケシステム１０に送信する（ステップＳａ６）。
【０１３３】
なお、カラオケシステム１０は、楽曲再生指示を受信すると楽曲データの再生を開始させるので、歌唱ユーザは、歌唱をスタートすることができる。
【０１３４】
次いで、通信端末装置２０は、ユーザによって入力されたカラオケの終了指示を検出いたか否かを判定し（ステップＳａ７）、当該終了指示を検出している場合には、本動作を終了させる。
【０１３５】
また、通信端末装置２０は、カラオケ終了指示を検出していないと判定した場合には、カラオケシステム１０より受信した効果画像データに基づいて効果画像を表示部１１５に表示し、所定の時間内において効果画像データの選択入力を待機する（ステップＳａ９）。
【０１３６】
次いで、通信端末装置２０は、所定期間内にユーザの選択指示の有無を判定する（ステップＳａ１０）。このとき、通信端末装置２０は、所定期間内（例えば、１５秒）にユーザの選択指示を検出しなかったと判定した場合には、ステップＳａ７の処理に移行し、所定期間内にユーザの選択指示を検出したと判定した場合には、選択指示された効果画像の効果画像ＩＤを特定（ステップＳａ１１）し、特定された効果画像ＩＤをカラオケシステム１０に送信してステップＳａ７の処理に移行する。
【０１３７】
なお、通信端末装置２０は、楽曲データの再生終了までステップＳａ７〜ステップＳａ１２の処理を繰り返し、投稿ＩＤに対応付けられている楽曲画像データに含まれるにおけるタイミングデータに従って、楽曲関連画像に合成された効果画像が切り替わる毎に、当該切り替わる前に効果画像をユーザに提示させて選択させることができるようになっている。
【０１３８】
［３．２］カラオケシステムの処理
まず、データ取得部１２１は、通信端末装置２０から送信された選曲番号を受信すると（ステップＳｂ１）、当該受信した選曲番号をＲＯＭ／ＲＡＭ１２２に記憶させつつ、選曲番号を管理サーバ装置３０に送信し、所定期間内に管理サーバ装置３０から送信された楽曲画像データの一覧データの受信を待機する（ステップＳｂ２）。
【０１３９】
次いで、データ取得部１２１は、選曲番号を送信してから所定期間内（例えば、４５秒以内）に楽曲画像データの一覧データを受信したか否かを判定する（ステップＳｂ３）。
【０１４０】
このとき、データ取得部１２１は、所定期間内に楽曲画像データの一覧データを受信しなかったと判定した場合には、本動作を終了させる。
【０１４１】
データ取得部１２１は、所定期間内に楽曲画像データの一覧データを受信したと判定した場合には、表示制御部１１６と連動しつつ、表示部１１５に楽曲画像データの一覧データを表示させる（ステップＳｂ４）。
【０１４２】
次いで、データ取得部１２１は、通信端末装置２０に楽曲画像データの一覧データを送信し、通信端末装置２０からの投稿ＩＤの受信を待機する（ステップＳｂ５）。
【０１４３】
次いで、データ取得部１２１が、通信端末装置２０から送信された投稿ＩＤ、選曲番号、ユーザＩＤを受信すると（ステップＳｂ６）、システム制御部１１８は、データ取得部１２１と連動しつつ、受信した選曲番号とユーザＩＤとを対応付けて、ＲＯＭ＼ＲＡＭ１２２に記憶しつつ、管理サーバ装置３０に、投稿ＩＤを送信し、データ受信待機状態に移行する（ステップＳｂ７）。
【０１４４】
次いで、データ取得部１２１が、管理サーバ装置３０より投稿ＩＤに基づく楽曲画像データを受信すると（ステップＳｂ８）、システム制御部１１８は、ＲＯＭ＼ＲＡＭ１２２に記憶された選曲番号に基づいて、システム用ＤＢ１１９よりカラオケデータを読み出し、読み出されたカラオケデータに含まれる楽曲データに基づく再生開始を、カラオケ再生部１１３に指示するとともに、表示制御部１１６にカラオケデータに含まれる歌詞データの表示部１１５への表示開始を指示する（ステップＳｂ９）。
【０１４５】
次いで、システム制御部１１８は、カメラＣによる撮像を開始させる（ステップＳｂ１０）。
【０１４６】
次いで、データ取得部１２１は、ステップＳｂ８において受信した楽曲画像データに効果画像データが含まれているか否かを判定する（ステップＳｂ１１）。
【０１４７】
このとき、データ取得部１２１が、受信した楽曲画像データに効果画像データが含まれていないと判定した場合（すなわち、楽曲関連画像に効果画像が付与されていない場合）には、コラボ画像合成処理部１２４は、通常のコラボ画像表示処理の実行を開始して楽曲の再生終了処理を待機する状態に移行し（ステップＳｂ３１）、楽曲の再生終了を検出すると（ステップＳｂ３２）、本動作を終了させる。
【０１４８】
なお、コラボ画像合成処理部１２４は、通常のコラボ画像表示処理としては、表示部１１５の右半分の表示領域に管理サーバ装置３０から楽曲画像データに含まれる楽曲関連画像データを表示させるとともに、表示部１１５の左半分の表示領域に撮像中の歌唱者関連画像データを表示させるためのコラボ画像を生成し、生成したコラボ画像を表示制御部１１６に供給する。
【０１４９】
また、通常のコラボ画像表示処理中は、コラボ画像合成処理部１２４は、ユーザから指定された効果画像に基づいて撮像中の歌唱者関連画像に効果画像を合成する。
【０１５０】
一方、データ取得部１２１が、取得した楽曲関連データに効果画像データが含まれていると判定した場合（すなわち、楽曲関連画像に効果画像が付与されている場合）には、効果画像特定取得部１２３は、楽曲画像データに含まれるタイミングデータに基づき、効果画像の切り替えタイミングが到来するのを待機しつつ、切り替えタイミングの到来を検出すると(ステップＳｂ１２)、タイミングデータにより楽曲関連画像に合成する効果画像の属性をシステム用ＤＢ１１９に記憶された属性データに基づき特定する(ステップＳｂ１３)。
【０１５１】
次いで、効果画像特定取得部１２３は、楽曲画像データに含まれる効果画像データに対応付けられた属性データによって定まる属性と同一の属性を示す属性データを有する効果画像データ及び効果画像データの効果画像を選択候補としてシステム用ＤＢ１１９から取得する（ステップＳｂ１４）。
【０１５２】
例えば、効果画像特定取得部１２３は、楽曲画像データに含まれる効果画像データ対応付けられた属性データの大カテゴリと中カテゴリとの属性を特定し、特定された大カテゴリ及び中カテゴリが同一の属性を有する効果画像データ及び効果画像ＩＤを選択候補としてシステム用ＤＢ１１９から取得する
【０１５３】
次いで、効果画像特定取得部１２３は、取得した効果画像データと効果画像ＩＤとを通信端末装置２０に送信し、所定期間内において通信端末装置２０から送信された効果画像ＩＤの受信を待機する（ステップＳｂ１５）。
【０１５４】
次いで、効果画像特定取得部１２３は、所定期間内に通信端末装置２０から送信された効果画像ＩＤを受信したか否かを判定する（ステップＳｂ１６）。このとき、効果画像特定取得部１２３は、所定期間内に通信端末装置２０から送信された効果画像ＩＤを受信したと判定した場合には、ステップＳｂ２０の処理に移行し、所定期間内に通信端末装置２０から送信された効果画像ＩＤを受信しなかったと判定した場合には、ステップＳｂ１７の処理に移行する。
【０１５５】
次いで、効果画像特定取得部１２３は、所定期間内に通信端末装置２０から送信された効果画像ＩＤを受信したと判定した場合には、当該効果画像ＩＤと対応付けられている効果画像データをシステム用ＤＢ１１９から取得する（ステップＳｂ２０）。
【０１５６】
次いで、コラボ画像合成処理部１２４は、システム用ＤＢ１１９より取得した効果画像と撮像された歌唱者関連画像との合成を開始する（ステップＳｂ２１）。
【０１５７】
次いで、コラボ画像合成処理部１２４は、効果画像データを用いて効果画像が合成された歌唱者関連画像データを用いたコラボ画像データを生成し、表示制御部１１６と連動しつつ、生成したコラボ画像データに基づいて表示部１１５にコラボ画像を表示させて（ステップＳｂ２２）、ステップＳｂ１７の処理に移行する。
【０１５８】
具体的には、コラボ画像合成処理部１２４は、このステップＳｂ２２の処理においては、
（１）表示部１１５の右半分の領域に、楽曲画像データに含まれる楽曲関連画像データと、
（２）表示部１１５の左半分の領域に、効果画像が合成された撮像中の歌唱者関連画像と、
を表示する、コラボ画像データを生成する。
【０１５９】
なお、コラボ画像合成処理部１２４は、次の切り替えタイミングが到来するまで、又は、カラオケデータの再生が終了するまで、生成したコラボ画像の表示を継続させる。
【０１６０】
次いで、システム制御部１１８は、カラオケ再生部１１３と連動し、カラオケデータの再生終了を検出すると（ステップＳｂ１７）、生成したコラボ画像データの終了処理（ユーザＩＤの付与やタイミングデータの生成など）を実行してアップロード可能状態にし、所定のデータを管理サーバ装置３０にアップロード（投稿）して（ステップＳｂ１８）本動作を終了させる。
【０１６１】
なお、本動作においては、上述のように、効果画像特定取得部１２３は、楽曲関連画像に合成されている効果画像の切り替えタイミングが到来する毎に、当該切り替え後の効果画像に対応付けられた属性によって定まる属性と同一の属性を有する効果画像を特定して新たな選択候補として通信端末装置２０に提供することができるようになっている。
【０１６２】
そして、効果画像特定取得部１２３は、楽曲関連画像に合成されている効果画像の切り替えタイミングにて、通信端末装置２０から適切なタイミングで効果画像ＩＤを取得することができれば、コラボ画像合成処理部１２４は、順次、撮像中の歌唱者関連画像データに合成される効果画像データを切り替えつつ、コラボ画像データを生成することができるようになっている。
【０１６３】
［３．３］管理サーバ装置の処理
まず、管理サーバ装置３０は、カラオケシステム１０から選曲番号を受信すると（ステップＳｃ１）、記憶装置４０内の投稿画像ＤＢ４０３に記憶された楽曲画像データに基づき、選曲番号に対応する楽曲画像データが存在するか否かを判定する（ステップＳｃ２）。
【０１６４】
このとき、管理サーバ装置３０は、選曲番号に対応する楽曲画像データが存在すると判定した場合には、ステップＳｃ３の処理に移行させ、選曲番号に対応する楽曲画像データが存在しないと判定した場合には、本動作を終了させる。
【０１６５】
次いで、管理サーバ装置３０は、選曲番号に対応する楽曲画像データが存在すると判定した場合には、当該選曲番号に対応する楽曲画像データの一覧を示す一覧データであって、楽曲画像データの投稿ＩＤを含む楽曲画像データの一覧データを生成する（ステップＳｃ３）。
【０１６６】
次いで、管理サーバ装置３０は、生成した楽曲画像データの一覧データを該当するカラオケシステム１０に送信して投稿ＩＤなどの受信を待機する（ステップＳｃ４）。
【０１６７】
次いで、管理サーバ装置３０は、カラオケシステム１０より投稿ＩＤを受信すると（ステップＳｃ５）、受信した選曲番号に基づき、対応する楽曲のカラオケデータをカラオケデータ用ＤＢ４０２から取得し、取得した各データをカラオケシステム１０に送信する（ステップＳｃ６）。
【０１６８】
このとき、管理サーバ装置３０は、カラオケの終了後に、アップロードされる歌唱者関連画像データなどの所定のデータの受信を待機する。
【０１６９】
次いで、管理サーバ装置３０は、所定のデータを受信すると（ステップＳｃ７）、受信した歌唱者関連画像データなどの所定のデータを投稿画像ＤＢ４０３などに記憶して（ステップＳｃ８）、本動作を終了させる。
【０１７０】
以上説明したように、本実施形態のカラオケ通信システム１においては、撮像により生成された歌唱者関連画像と取得した楽曲関連画像を異なる表示領域に同時に表示しつつ、ユーザが歌唱対象として選択したカラオケデータと同期させて再生するとともに、楽曲画像データに含まれる（すなわち、楽曲関画像に合成された）効果画像又は当該効果画像と属性が同一の効果画像を、タイミングデータによって楽曲関連画像に効果画像が合成されているタイミングに、歌唱者関連画像に合成可能にユーザに提示することができる。
【０１７１】
従って、本実施形態のカラオケ通信システム１においては、カラオケ中に歌唱者関連画像と楽曲関連画像を同時に表示するコラボ画像を生成する際に、コラボ画像全体の視覚的な統一感を確保可能な効果画像をユーザに対して確実に提供することができる。
【０１７２】
［４］変形例
［４．１］変形例１
上記実施形態においては、効果画像特定取得部１２３は、楽曲関連画像に合成される効果画像と同一の大カテゴリに属し、かつ、中カテゴリも一致する効果画像を特定しているが、例えば、特定した大カテゴリに属する全ての中カテゴリの効果画像を選択可能に、通信端末装置２０に提供してもよい。
【０１７３】
［４．２］変形例２
上記実施形態においては、ユーザの選曲した楽曲と同一の楽曲を過去に歌唱したことのある他のユーザにより投稿された楽曲画像データを一つのみダウンロードし、楽曲画像データに含まれる楽曲関連画像データを撮像中の歌唱者関連画像データと組み合わせてコラボ画像を生成する場合を例に説明を行ったが、複数（例えば４個）の楽曲画像データをダウンロードして、楽曲画像データに含まれる各楽曲関連画像データを組み合わせつつ、撮像中の歌唱者関連画像データと組み合わせて、最大５人のユーザが並んで歌っているように見えるコラボ画像データ生成するようにすることも可能である。
【０１７４】
この場合には、ダウンロードした複数の楽曲画像データの中から、１の楽曲関連画像データをユ−ザに選択させ、楽曲関連画像に合成される効果画像に対応付けられた属性データと同一の属性データを有する効果画像データを選択候補として、通信端末装置２０に提供し、対応するタイミングデータに基づいて、効果画像を撮像中の歌唱者関連画像に合成しつつ、コラボ画像データを生成するようにすればよい。
【０１７５】
［４．３］変形例３
上記実施形態においてはユーザの選曲した楽曲と同一の楽曲を過去に歌唱したことのある他のユーザにより投稿された楽曲画像データを１のみダウンロードする構成としたが、ユーザ管理ＤＢ４０１に記憶済みのお気に入り楽曲画像データを用いてコラボ画像データを生成するようにしてもよい。
【０１７６】
［４．４］変形例４
上記実施形態において、効果画像データの切り替わりタイミングをユーザに提示する構成とすることも可能である。
【０１７７】
この場合には、効果画像特定取得部１２３に設けたタイマの進行時間と、タイミングデータにより示される切り替えタイミングとを比較し、切り替わりタイミングまでの時間数を通信端末装置２０又は表示部１１５に提供し、ストップウォッチ形式にて表示するようにすればよい。
【０１７８】
また、切り替わりまでの時間数を「切り替わりまで残り○秒」というような文字列を通信端末装置２０にて表示して、切り替わりタイミングをユーザに提示するようにしてもよい。
【０１７９】
さらに、通信端末装置２０又は表示部１１５にて、メータ形式にて表示し、切り替わりまでの時間数をユーザに提示することも可能である。
【０１８０】
［４．５］変形例５
上記実施形態においては、カラオケボックス等に設置されたカラオケシステム１０によってコラボ画像データの生成を行っているが、家庭用のゲーム機器、又は、スマートフォンやタブレット型情報端末装置などの通信機器によっても実現可能である。
【０１８１】
また、カラオケシステム１０のデータ処理部１２０の機能を管理サーバ装置３０に設けて、コラボ画像データの生成を当該管理サーバ装置３０によって実現してもよい。
【０１８２】
さらに、本実施形態の各装置においては、配信されたプログラムによって実行されるものであってもよい。
【０１８３】
［４．６］変形例６
上記実施形態においては、歌唱者の歌唱音に基づくカラオケシステム１０について説明したが、ギターやドラムなどの楽器音に基づくカラオケシステム１０又はカラオケ通信システム１に適用することも可能である。この場合には、カラオケシステム１０は、マイクＭや他の入力装置によって楽器音や楽器信号を取得すればよい。
【０１８４】
［４．７］変形例７
上記実施形態においては、歌唱者関連画像データが動画像であるとして説明したが、歌唱者等を撮像した静止画像であっても適用することは可能である。
【０１８５】
［４．８］変形例８
上記実施形態において、楽曲画像データは、効果画像データ又はタイミングデータなどの一部のデータが含まれないデータであってもよいし、楽曲関連画像データの一部であってもよいし、楽曲画像データ、選曲番号、ユーザＩＤ、音信号、及び、ユーザが入力したコメントを含むものであってもよい。特に、楽曲画像データが生成される際に、他の楽曲画像データとともにコラボ画像の生成に用いられた場合には、当該他の楽曲画像データに属するユーザＩＤ、投稿ＩＤなどの各種のデータが記憶されてもよい。
【０１８６】
また、楽曲画像データは、直接、記憶装置４０の投稿画像ＤＢにカラオケシステム１０より送信されるものであってもよい。なお、効果画像データは、静止画像、動画像のどちらであってもよい。
【０１８７】
［４．９］変形例９
上記実施形態において、楽曲関連画像データ又は歌唱者関連画像データは、通信端末装置２０に備えられているカメラによって撮像されて画像化された画像データであってもよいし、カラオケルームの一部が撮像されたユーザが撮像されていない画像データであってもよい。
【０１８８】
また、楽曲関連画像データ又は歌唱者関連画像データは、ユーザが所有しているスマートフォンなどの携帯型端末装置を利用して撮影された画像データであってもよい。
【０１８９】
［４．１０］変形例１０
上記実施形態において、効果画像データは、通信端末装置２０に表示される形態で説明したが、カラオケシステム１０に備えられたモニタに表示されるものであってもよい。この場合には、カラオケシステム１０に備えられた表示部１１５にタッチパネルを設け、ユーザからの効果画像データの選択を受付けることができる構成を有している。
【０１９０】
［４．１１］変形例１１
上記実施形態において、カラオケシステム１０は、タイミングデータに基づいて、楽曲関連画像に効果画像を合成しているが、ユーザの指示したタイミングによって、楽曲関連画像に効果画像を合成してもよい。
【符号の説明】
【０１９１】
１  …  カラオケ通信システム
１０  …  カラオケシステム
２０  …  通信端末装置
３０  …  管理サーバ装置
４０  …  記憶装置
４０１  …  ユーザ管理ＤＢ
４０２  …  カラオケデータ用ＤＢ
４０３  …  投稿画像ＤＢ
１１１  …  通信制御部
１１２  …  音声入出力部
１１３  …  カラオケ再生部
１１４  …  音声拡声部
１１５  …  表示部
１１６  …  表示制御部
１１７  …  近距離無線通信部
１１８  …  システム制御部
１１９  …  システム用ＤＢ
１１１  …  通信制御部
１２０  …  データ処理部
１２１  …  データ取得部
１２２  …  ＲＯＭ／ＲＡＭ
１２３  …  効果画像特定取得部
１２４  …  コラボ画像合成処理部
１１１  …  通信制御部
【図１】
0006453696.tif 000002
【図２】
0006453696.tif 000003
【図３】
0006453696.tif 000004
【図４】
0006453696.tif 000005
【図５】
0006453696.tif 000006
【図６】
0006453696.tif 000007
【図７】
0006453696.tif 000008
【図８】
0006453696.tif 000009
【図９】
0006453696.tif 000010
【図１０】
0006453696.tif 000011
【図１１】
0006453696.tif 000012