(57)【特許請求の範囲】
【請求項１】
楽曲指定処理と、楽曲演奏処理と、を実行する制御手段を備えるカラオケ装置であって、
前記楽曲指定処理は、入力手段にて指定された楽曲識別情報と、ユーザー識別情報を対応付けて記憶し、
前記楽曲演奏処理は、前記楽曲識別情報に対応する演奏情報を演奏手段に演奏させるとともに、映像表示処理を実行し、
前記映像表示処理は、マイクロホンから入力される歌唱音声信号に基づいて歌唱状態を判断し、前記歌唱状態が所定条件を満足するときに、サーバ装置から受信した、前記ユーザー識別情報に対応付けられている映像情報を表示手段に表示させ、
前記映像情報は、楽曲演奏時に録音、録画され、ユーザー識別情報と対応付けて、サーバ装置に送信された投稿情報に含まれる映像であることを特徴とする
カラオケ装置。
【請求項２】
前記歌唱状態は、前記歌唱音声信号と演奏される演奏情報に含まれる歌唱模範情報とを対比して得られる採点情報、前記歌唱音声信号の音量情報、前記歌唱音声信号の音高情報の少なくとも１つであることを特徴とする
請求項１に記載のカラオケ装置。
【請求項３】
前記サーバ装置は、前記投稿情報を通信回線を介して情報処理装置に公開するとともに、前記情報処理装置における再生状況を記録し、
前記映像表示処理において、前記表示手段に表示させる映像情報は、前記投稿情報の再生状況に基づいて選択されることを特徴とする
請求項１に記載のカラオケ装置。
【請求項４】
前記サーバ装置は、前記投稿情報を通信回線を介して情報処理装置に公開するとともに、前記情報処理装置から受信した評価情報を記録し、
前記映像表示処理において、前記表示手段に表示させる映像情報は、前記投稿情報の評価情報に基づいて選択されることを特徴とする
請求項１または請求項３に記載のカラオケ装置。
【請求項５】
前記映像表示処理において、前記表示手段に表示させる映像情報は、前記投稿情報について、所定条件に基づいて選択された部分映像情報であることを特徴とする
請求項１、３、４の何れか１項に記載のカラオケ装置。
【請求項６】
前記部分映像情報は、前記投稿情報に含まれる映像、前記投稿情報に含まれる音声、前記投稿情報に対応する楽曲の少なくとも１つに基づいて選択されることを特徴とする
請求項５に記載のカラオケ装置。
【請求項７】
前記映像表示処理は、前記歌唱状態に基づいて、前記映像情報または前記部分映像情報の再生時間、もしくは、表示形態の少なくとも１つを変化させることを特徴とする
請求項１から請求項６の何れか１項に記載のカラオケ装置。
【請求項８】
楽曲指定処理と、楽曲演奏処理と、を制御手段に実行させるカラオケプログラムであって、
前記楽曲指定処理は、入力手段にて指定された楽曲識別情報と、楽曲識別情報を指定したユーザーのユーザー識別情報を対応付けて記憶し、
前記楽曲演奏処理は、前記楽曲識別情報に対応する演奏情報を演奏手段に演奏させるとともに、映像表示処理を実行し、
前記映像表示処理は、マイクロホンから入力される歌唱音声信号に基づいて歌唱状態を判断し、前記歌唱状態が所定条件を満足するときに、サーバ装置から受信した、前記ユーザー識別情報に対応付けられた映像情報を表示手段に表示させ、
前記映像情報は、楽曲演奏時に録音、録画され、ユーザー識別情報と対応付けて、サーバ装置に送信された投稿情報に含まれる映像であることを特徴とする
カラオケプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は演奏に合わせて歌唱を楽しむカラオケ装置、カラオケプログラムに関するものであり、特に演奏に合わせて表示手段に映像を表示することで、歌唱の場を盛り上げるカラオケ装置、カラオケプログラムに関するものである。
【背景技術】
【０００２】
従来、自動演奏装置の演奏にあわせて歌唱を楽しむカラオケ装置では、ディスプレイなどの表示装置に演奏に同期した歌詞表示を行うことで歌唱を補助する機能が設けられている。また、ディスプレイにはこの歌詞表示以外に演奏する楽曲にふさわしい背景映像を表示することで、歌唱の雰囲気を盛り上げる機能も備えたものがある。このカラオケ装置における背景映像表示機能には、演奏する楽曲のジャンルに応じた背景映像を表示するものや、楽曲に一対一で対応した背景映像を表示するものが知られている。さらに、背景映像表示機能の発展型として、特許文献１〜特許文献３に開示されるものが提案されている。
【０００３】
特許文献１には、カラオケ映像作品と楽曲識別子を映像サーバに登録しておき、カラオケ演奏端末にて楽曲識別子に対応するカラオケ楽曲を演奏するとき、当該楽曲識別子に対応付けられたカラオケ映像作品を映像サーバから取り寄せて再生するカラオケシステムが開示されている。
【０００４】
特許文献２には、パーソナルコンピュータからセンタに対して、予め歌いたい楽曲と背景映像を選択して登録しておき、カラオケ装置に自己のＩＤを入力して楽曲を選曲することで、当該楽曲に対して登録されていた背景映像を表示するカラオケ装置が開示されている。
【０００５】
特許文献３には、利用者ＩＤ毎に歌唱採点履歴を記録し、任意の利用者が所定のアーティストの楽曲を予め設定された所定採点以上を所定回数以上歌唱した場合に限り、当該利用者による当該アーティストのカラオケ楽曲の演奏時に、汎用性のある通常の背景映像データとは別に、特別に用意した当該アーティスト専用の背景映像データを抽出して表示させるカラオケシステムが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１０８１５７号公報
【特許文献２】特開平１０−２０７４７６号公報
【特許文献３】特開２００６−１５４２７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら特許文献１、特許文献２に開示されるカラオケシステム、カラオケ装置では、予め選択したカラオケ映像作品や背景映像を表示させるものであって、楽曲再生時には常に対応した映像が表示され歌唱時の遊興性には乏しいものである。また、特許文献３に開示されるカラオケシステムでは、特別に用意したアーティスト専用の背景映像データが表示されるものの、この背景映像データも特定の歌唱の回に表示されるものであって、歌唱期間内における変化はみられない。また、背景映像データを表示させるためには該当するアーティストの楽曲を少なくとも所定回数以上歌唱する必要があり、報償としての映像見るためには時間がかかってしまう。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係るカラオケ装置は、楽曲指定処理と、楽曲演奏処理と、を実行する制御手段を備えるカラオケ装置であって、前記楽曲指定処理は、入力手段にて指定された楽曲識別情報と、ユーザー識別情報を対応付けて記憶し、前記楽曲演奏処理は、前記楽曲識別情報に対応する演奏情報を演奏手段に演奏させるとともに、映像表示処理を実行し、前記映像表示処理は、マイクロホンから入力される歌唱音声信号に基づいて歌唱状態を判断し、前記歌唱状態が所定条件を満足するときに、サーバ装置から受信した、前記ユーザー識別情報に対応付けられている映像情報を表示手段に表示させ、前記映像情報は、楽曲演奏時に録音、録画され、ユーザー識別情報と対応付けて、サーバ装置に送信された投稿情報に含まれる映像であることを特徴とするものである。
【０００９】
さらに、本発明に係るカラオケ装置において、前記歌唱状態は、前記歌唱音声信号と演奏される演奏情報に含まれる歌唱模範情報とを対比して得られる採点情報、前記歌唱音声信号の音量情報、前記歌唱音声信号の音高情報の少なくとも１つであることを特徴とするものである。
【００１１】
さらに、本発明に係るカラオケ装置において、前記サーバ装置は、前記投稿情報を通信回線を介して情報処理装置に公開するとともに、前記情報処理装置における再生状況を記録し、前記映像表示処理において、前記表示手段に表示させる映像情報は、前記投稿情報の再生状況に基づいて選択されることを特徴とするものである。
【００１２】
さらに、本発明に係るカラオケ装置において、前記サーバ装置は、前記投稿情報を通信回線を介して情報処理装置に公開するとともに、前記情報処理装置から受信した評価情報を記録し、前記映像表示処理において、前記表示手段に表示させる映像情報は、前記投稿情報の評価情報に基づいて選択されることを特徴とするものである。
【００１３】
さらに、本発明に係るカラオケ装置は、前記映像表示処理において、前記表示手段に表示させる映像情報は、前記投稿情報について、所定条件に基づいて選択された部分映像情報であることを特徴とするものである。
【００１４】
さらに、本発明に係るカラオケ装置において、前記部分映像情報は、前記投稿情報に含まれる映像、前記投稿情報に含まれる音声、前記投稿情報に対応する楽曲の少なくとも１つに基づいて選択されることを特徴とするものである。
【００１５】
さらに、本発明に係るカラオケ装置において、前記映像表示処理は、前記歌唱状態に基づいて、前記映像情報または前記部分映像情報の再生時間、もしくは、表示形態の少なくとも１つを変化させることを特徴とするものである。
【００１６】
また、本発明に係るカラオケプログラムは、楽曲指定処理と、楽曲演奏処理と、を制御手段に実行させるカラオケプログラムであって、前記楽曲指定処理は、入力手段にて指定された楽曲識別情報と、楽曲識別情報を指定したユーザーのユーザー識別情報を対応付けて記憶し、前記楽曲演奏処理は、前記楽曲識別情報に対応する演奏情報を演奏手段に演奏させるとともに、映像表示処理を実行し、前記映像表示処理は、マイクロホンから入力される歌唱音声信号に基づいて歌唱状態を判断し、前記歌唱状態が所定条件を満足するときに、サーバ装置から受信した、前記ユーザー識別情報に対応付けられた映像情報を表示手段に表示させ、前記映像情報は、楽曲演奏時に録音、録画され、ユーザー識別情報と対応付けて、サーバ装置に送信された投稿情報に含まれる映像であることを特徴とするものである。
【発明の効果】
【００１７】
以上、本発明によれば歌唱状態に応じて、歌唱するユーザーに対応する、すなわち、ユーザー識別情報に対応する映像情報を表示させることで１楽曲の歌唱期間中における遊興性を向上させることが可能となる。
【００１８】
また、歌唱状態の判断として、採点情報、音量情報、音高情報を用いることで歌唱時における盛り上がり時に映像情報を表示させ、歌唱の場を皿に盛り上げることが可能となる。
【００１９】
さらに、本発明では、表示する映像情報として楽曲演奏時に録音、録画された投稿情報における映像を利用することで、歌唱時において以前に歌唱した様子を同席する他者に閲覧させ自己をアピールすることが可能となる。
【００２０】
さらに、本発明では公開された投稿情報の再生状況や評価情報に基づいて複数の投稿情報から人気のある投稿情報を選択し、当該投稿情報に含まれる映像情報を表示させることが可能となる。
【００２１】
さらに、本発明では投稿情報中に含まれる各種情報、あるいは、投稿情報に関連付けられた各種情報を利用した所定条件に基づいて、選択された部分映像情報を利用することで投稿情報中、盛り上がりが推定される箇所についての映像を表示させることが可能となる。
【００２２】
さらに、本発明で歌唱状態に応じて、映像情報の再生時間、あるいは、表示面積、表示させる際の効果付与を変化させることで、歌唱時における遊興性を向上させることが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図。
【図２】本発明の実施形態に係るカラオケシステムを示す図。
【図３】本発明の実施形態に係るトップ画面を示す図。
【図４】本発明の実施形態に係るユーザー情報を示す図。
【図５】本発明の実施形態に係る投稿処理を示すフロー図。
【図６】本発明の実施形態に係る投稿情報、投稿評価情報のデータ構成を示す図。
【図７】本発明の実施形態に係る公開処理のための構成を示す図。
【図８】本発明の実施形態に係る投稿情報を選択する画面を示す図。
【図９】本発明の実施形態に係る投稿情報を視聴する画面を示す図。
【図１０】本発明の実施形態に係る楽曲指定・演奏処理を示す図。
【図１１】本発明の実施形態に係る部分映像情報を検出する様子を説明する図。
【図１２】本発明の実施形態に係る部分映像情報を検出する様子を説明する図。
【図１３】本発明の実施形態に係る部分映像情報を検出する様子を説明する図。
【図１４】本発明の実施形態に係る部分映像情報を検出する様子を説明する図。
【図１５】本発明の実施形態に係る部分映像情報を検出する様子を説明する図。
【図１６】本発明の実施形態に係る歌唱評価値と映像情報の表示期間の関係を示す図。
【図１７】本発明の実施形態に係る映像情報の表示形態を示す図。
【図１８】本発明の他の実施形態に係る楽曲指定・演奏処理を示す図。
【図１９】本発明の他の実施形態に係る映像情報を選択する画面を示す図。
【発明を実施するための形態】
【００２４】
図１は、本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図である
。図中、カラオケシステムとしての主要構成は、カラオケ用ホスト５（サーバ装置）、店舗などに設置されるコマンダ２などにて構成される。コマンダ２は楽曲再生機能を有した、いわゆるカラオケ装置であって、店舗内のＬＡＮ１００に接続されている。コマンダ２とカラオケ用ホストは、インターネットを介して接続され、新しく供給された楽曲情報やユーザー情報など、各種サービスに必要な情報の送受信を行う。本実施形態ではＶＰＮ（Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）を介して接続されており、セキュリティに優れた通信を行うことが可能となっている。
【００２５】
店舗に設置されるコマンダ２は、リモコン装置１によりユーザーからの各種指示を受け付けることが可能となっている。また、リモコン装置１は表示画面を備え、ユーザーに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０ａを介してコマンダ２と無線接続される。例えば、コマンダ２ａにはリモコン装置１ａと１ｂが対応付けられ、ＬＡＮ１００ａを介した操作が可能となっている。また、リモコン装置１とコマンダ２とは赤外線を利用した近距離通信を行うことも可能である。
【００２６】
さらに、本実施形態のカラオケシステムでは、ユーザーに各種サービスを提供するためインターネット用ホスト６が設けられている。このインターネット用ホスト６は、ユーザーのパーソナルコンピュータ、携帯情報端末（携帯電話やＰＤＡなど）と接続され、これら機器を利用するユーザーに各種サービスを提供することができる。また、インターネット用ホスト６は、カラオケ用ホスト５とデータ共有する、例えば、カラオケ用ホスト５の第１データベース５１と、インターネット用ホスト６の第２データベース６１とが同期することで連携を取ったサービスを提供することができる。
【００２７】
図２は、本発明の実施形態に係る店舗Ａに設置されたカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、コマンダ２（カラオケ装置）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００にて、無線、有線で互いに接続されている。
【００２８】
コマンダ２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、楽曲演奏処理、映像表示処理、楽曲指定処理などを実行可能としている。楽曲演奏処理は、入力部２１やリモコン装置１にて、ユーザーにより指定された楽曲に対応する演奏情報をＭＩＤＩ音源２６などの音源部にて演奏させ、スピーカー４２から放音させる処理である。このとき、スピーカー４２からは歌唱用マイク４４から入力される音声も合わせて放音される。映像再生処理は、映像再生部２９にて各種映像情報、歌詞情報などを再生させ、モニタ４１を介した視覚情報をユーザーに提供する処理である。
【００２９】
楽曲指定処理は、ユーザーからの指定に基づいて楽曲を選択、予約するための処理である。本実施形態ではリモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザーの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してコマンダ２に伝達される。コマンダ２での処理結果は、リモコン装置１側の表示部１１に表示され、ユーザーは選曲のための各種情報を視認することが可能である。コマンダ２とリモコン装置１は、この楽曲指定処理に限らず、ユーザー個別のサービスを提供するためのログイン処理など各種処理を実行することが可能である。
【００３０】
本実施形態のコマンダ２には、カメラ４３が接続可能となっており、接続されたカメラ４３から歌唱者や同伴客の様子を撮影することが可能となっている。カメラ４１の映像を表示手段（例えば、モニタ４１）にてモニタする場合には、カメラ４３は、当該表示手段の上部など、表示手段の近傍に配置することが好ましい。ユーザーは、モニタ画像を鏡のように利用することが可能となる。なお、カメラ４３を複数設け、同時に、あるいは、切
り換えて撮影することで映像情報を取得することとしても構わない。
【００３１】
図３は、本発明の実施形態に係るトップメニューを示す図である。本実施形態では、リモコン装置１の表示部１１に表示させ、リモコン装置１を操作するユーザーに対して各種情報を提供する。なお、リモコン装置１の操作部１７としては、カーソルキーなどの各種スイッチの他、表示部１１に表示されたアイコンを直接タッチして操作を行うタッチパネル等を採用することができる。
【００３２】
トップメニューには、楽曲選択のための各種方法（歌手名検索、曲名検索、他の演奏モード）を指定可能の他、ユーザーのログインに関する情報が表示されている。
【００３３】
本実施形態のカラオケシステムは、複数のユーザーがログインすることが可能となっている。ユーザーのログインに関する情報は、画面上方に常時表示される。ログイン中のユーザーを示すアバターが表示される。図ではＡさん、Ｅさん、Ｃさん、３人のアバターが表示されているが、更なるユーザーをログインさせることも可能である。表示されている３人のアバター中、背景が褐色で表示されているユーザー（Ａさん）は操作ユーザーであることを示している。本実施形態では、操作ユーザーのユーザー名、並びに、操作ユーザーに対する各種メッセージも表示される。
【００３４】
操作ユーザーに対しては、当該ユーザーのユーザー情報に基づいて各種サービスを行うことが可能となっており、ユーザー情報に含まれる個人情報や操作履歴などを参照することで、それに基づくサービスを提供することが可能である。
【００３５】
操作ユーザーは、画面上方左側に表示されているユーザー切替を操作することで切り換えることができる。また、画面上方右側には、新たにユーザーをログインさせる新規ログイン、操作ユーザーをログアウトさせるログアウトが表示されており、これらを操作することで、ユーザーの追加、ログアウトを行うことができる。
【００３６】
図４は、各ユーザー毎に記憶されたユーザー情報を説明するための図である。本実施形態では、ユーザー情報として、個人情報、十八番テーブル、履歴テーブル、投稿テーブルなどを含んで構成される。そしてユーザー情報には、ユーザーがログインしてこれら情報を利用するためのユーザーＩＤ、パスワードが対応付けられている。個人情報には、ユーザー名、性別、年齢等を含んで構成されている。これらの設定は、リモコン装置１、あるいは、ネットワークに接続されたパーソナルコンピュータ、携帯情報端末などにてログインして設定することができる。
【００３７】
十八番テーブルは、ユーザーによって事前に登録された楽曲を示すテーブルであって、少なくとも楽曲を識別するための楽曲識別子を含んで構成されている。この他にも各楽曲識別子に、歌唱した際に採点された最高点（採点情報）や、自分の歌唱音域に合わせるための音程情報を合わせて登録しておいてもよい。ユーザーは、この十八番テーブルを呼び出すことで、事前に登録した楽曲を容易に呼び出して選曲を行うことが可能となる。
【００３８】
履歴テーブルは、ユーザーがこれまでに選曲した履歴が記載されたテーブルであって、楽曲識別子、歌唱日時、歌唱店舗、採点情報、音程情報などを含んで構成されている。採点情報は、歌唱したときの採点手段による結果を示す情報であり、音程情報は歌唱したときのピッチ変更を示す情報である。
【００３９】
投稿テーブルは、投稿処理にて投稿した投稿情報（その作成処理については後で詳しく説明する。）に関する情報を記録したテーブルである。投稿情報は、楽曲演奏時にユーザーが歌唱したときの映像情報、音声情報を記録した情報であって、カラオケ用ホスト５に
て記録管理される。この投稿テーブルは、その投稿情報にアクセスするための情報であって、投稿情報に付与された投稿ＩＤ（識別情報）、投稿情報作成にあたって使用した楽曲の楽曲識別子、投稿日時、投稿情報を作成した店舗ＩＤ、コマンダＩＤなどを示す投稿位置、また、投稿情報に含まれる映像情報の１シーンを静止画として切り出したサムネイル画像などを含んで構成される。
【００４０】
本実施形態では、このようなユーザー情報を利用することで、ユーザーに対し様々なサービスを提供することができる。
【００４１】
まず、本発明の映像情報として投稿情報を使用する実施形態について説明する。図５は、本発明の実施形態に係る投稿処理を示すフロー図である。まず、コマンダ２に対し、投稿モードが指定された（Ｓ１０２）上で、歌唱したい楽曲指定が行われる（Ｓ１０３）と、指定された楽曲の楽曲識別子（楽曲識別情報）と、指定したユーザー（操作ユーザー）のユーザーＩＤ（ユーザー識別情報）を対応付け、予約情報として予約テーブルに記憶する。この投稿モードの指定は、図３のトップメニューにおいて、他の演奏モードを指定し、更に下層のメニュー（図示せず）から指定される。なお、他のモードの演奏予約と併存させるため、予約情報にはどのモードで予約されたかを示すモード識別子を付与しておくことが考えられる。モード識別子が投稿モードである場合、以下の処理が実行される。
【００４２】
コマンダ２は、この予約テーブルに記憶された予約情報を、基本的にはその予約順に従って読み出し、それに含まれる楽曲識別子に対応する演奏情報を演奏手段としてのＭＩＤＩ音源２６などに演奏させる。このとき本投稿モードでは、カメラ４３にて歌唱者の歌唱の様子を撮影するとともに、歌唱用マイク４４から入力される歌唱音声を録音することで、投稿情報に必要な録音・録画情報の取得を開始する（Ｓ１０５）。この録音・録画情報の取得は演奏が終了するまで継続される。
【００４３】
演奏終了後、すなわち、録音、録画終了した（Ｓ１０７）後、ユーザーに対して録音・録画情報の公開の可否、すなわち、インターネットなどの通信網を介し広く一般に公開するか否かが問われる。これはコマンダ２側でモニタ４１などにメッセージを表示させ、リモコン装置１の操作部１７、あるいは、コマンダ２の操作部２１にて公開の可否についての指定を受け付けることで実行される。なお、公開の可否に際して録音・録画情報を試聴させる機能を設けてもよい。ユーザーは試聴することで当該録音・録画情報を公開するか否かを決めることが可能となる。
【００４４】
ユーザーが公開しないことを指定した場合には投稿処理を終了し（Ｓ１１１）、コマンダ２は、予約テーブルに基づいて次の楽曲の演奏準備を開始する。一方、公開承諾の指定がされた場合には、録音・録画情報を含む投稿情報をカラオケ用ホスト５に送信する。
【００４５】
図６には、本発明の実施形態に係る投稿情報のデータ構成が示されている。この投稿情報には、録音・録画情報に各種関連情報が付与されて構成される。関連情報としては、歌唱したユーザー、すなわち、演奏した楽曲に対応付けて指定されたユーザーのユーザーＩＤ、演奏した楽曲の楽曲識別情報、投稿日時、投稿に使用した店舗もしくはコマンダのＩＤなどが含まれて構成される。投稿情報を識別するための投稿ＩＤは、複数の投稿情報に異なるものが付与されるのであれば、コマンダ２側で付与しても、あるいは、投稿情報を受信したカラオケ用ホスト５側で付与してもよい。
【００４６】
図５に戻り、投稿情報を受信したカラオケ用ホスト５では、公開前に受信した投稿情報に含まれる録音・録画情報が公開可能か否かを確認する検閲処理を実行する。この検閲処理は人手による作業、あるいは、画像認識処理による自動作業にて実行される。録音・録画情報が公序良俗に違反、あるいは、著作権侵害で無い場合には、当該投稿情報は第１デ
ータベース５１に登録され、インターネットなどの通信網を介した公開に備える。一方、公開可能でないと判断された場合には、投稿したユーザーに対して公開できない旨のメッセージが通知される（Ｓ１３４）。このメッセージは、コマンダ２にログインしたユーザーに対して通知することとしてもよいし、個人情報としてメールアドレスが登録されている場合には、当該メールアドレスに通知することとしてもよい。
【００４７】
図７は、本実施形態において投稿情報を公開する公開処理のための構成を示す図である。図５の投稿処理で説明したように検閲処理を通過した投稿情報はカラオケ用ホスト５の第１データベース５１に登録される。本実施形態ではパーソナルコンピュータ、携帯情報端末など、カラオケシステム外の情報処理装置に対する公開には、別途用意されたインターネット用ホスト６が利用される。そのため、カラオケ用ホストの第１データベース５１とインターネット用ホスト６の第２データベース６１とはデータを共有しており、第１データベース５１に登録された投稿情報は、第２データベース６１に対しても登録される。
【００４８】
第１データベースに登録された投稿情報は、コマンダ２からのリクエストに基づいて、投稿情報を送信する。投稿情報を受信したコマンダ２は、投稿情報に含まれる楽曲識別子と録音・録画情報に基づいて歌唱を再現する。具体的には、楽曲識別子に対応する演奏情報をＭＩＤＩ音源２６等の演奏手段に演奏させるとともに、音声制御部２５にて録音・録画情報中の音声情報を、また、映像再生部２９にて録音・録画情報中の映像情報を再生させる。このように投稿情報中には演奏音が含まれていないため、コマンダ２の演奏機能を利用することとしている。
【００４９】
一方、パーソナルコンピュータや携帯情報端末などの情報処理装置に対する公開は、データベース２に登録されている投稿情報が利用される。コマンダ２に対する公開と異なり、パーソナルコンピュータ携帯情報端末には、投稿処理で使用した演奏手段を有していないため、また、各情報処理装置に搭載された汎用の映像再生ソフトウェアを使用した再生を実現するため、インターネット用ホスト６側の編集手段６３で演奏音を付与し、各情報処理装置に送信し再生させる。送信の形態はダウンロード型、ストリーミング型のどちらであってもよい。
【００５０】
このように公開された投稿情報は、コマンダ２、あるいは、パーソナルコンピュータや携帯情報端末などの情報処理装置にて視聴可能となる。本実施形態ではさらに、投稿情報の視聴に際し、それに対する評価を行うことを可能としている。コマンダ２あるいは情報処理装置にて視聴したユーザーは、各種入力手段を介して視聴した投稿情報に対して投票することが可能であって、カラオケ用ホスト５では投票に基づく評価情報を集計することとしている。
【００５１】
図８は、本発明の実施形態に係る投稿情報を選択する画面を示す図であって、図９は、本発明の実施形態に係る投稿情報を視聴する画面を示す図となっている。これらの図は、パーソナルコンピュータを利用して投稿情報を視聴、投票する際の表示ウィンドウの様子を示した図である。視聴ソフトには一般的なインターネット閲覧ソフト（ブラウザ）が利用される。
【００５２】
図８に示されるように投稿動画サイトにアクセスしたユーザーは、トップ画面に表示されるオススメ動画の中から視聴したい投稿情報を選択することができる。投稿情報を選択するため、投稿したユーザーのユーザー名、使用した楽曲のタイトル、録音・録画情報の映像情報中の１シーンの静止画像であるサムネイル画像が表示される。ユーザーは、マウスなどの入力手段を用い、視聴したい投稿情報を選択する。投稿情報は、このようなオススメ動画メニュー以外に、自分で楽曲タイトル、ユーザー名、歌手名などを指定して検索することも可能である。
【００５３】
図９は、投稿情報を指定して視聴するウィンドウ画面が示されている。図８にて投稿情報を選択すると、この画面に移動し投稿情報の再生が開始される。ユーザーは、投稿映像の表示領域下方に表示された再生ツールを利用して一時停止、早送り、巻き戻し、音量調整を行うことが可能である。再生ツール下方には投票用ツールが表示されている。投票用ツールは、「かわいい」、「かっこいい」などの項目表記がされた複数のボタンで構成されており、ユーザーは投稿情報を視聴しながら、これらボタンを操作することで各項目に対して投票を行うことが可能とされている。また、各ボタンの表記項目下方には、当該投稿情報に対するこれまでの投票数が表示されている。そして、画面左下には各項目の投票数の合計が表示されている。ユーザーが投票を実行すると投票した項目の投票数が「投票中！」へと変化し、２重投票が行われることを防止している。
【００５４】
パーソナルコンピュータでの投票の結果は、図７に破線で示されるように第２データベース６１に返信される。携帯情報端末を使用した投票、コマンダを使用した投票も同様に実行され、各投票結果は、それぞれ第１データベース５１、第２データベース６１に返信される。
【００５５】
図６には、この投票結果に基づいて作成される投稿評価情報のデータ構成が示されている。第１データベース５１、第２データベース６１に返信された投票結果が集計されることでこの投稿評価情報が作成される。投稿情報に対応した投稿ＩＤに対応付けて管理されており、本実施形態では再生回数と投票情報を含んだものとなっている。再生回数は、コマンダ２、あるいは、各種情報処理装置で投稿情報が再生された回数であって、投稿情報が選択された回数をカウントすることで作成される。また、不正カウントを防ぐため投稿情報を所定割合以上再生したことを条件としてもよい。
【００５６】
各投票情報は、投票種別と投票タイミングの組み合わせで形成されている。図９で説明したように本実施形態では、投稿情報を視聴する際にも投票を行うことが可能である。そのため、投票情報は「かわいい」などの投票種別と、視聴中どのタイミングで投票が実行されたか、例えば、投稿情報の再生経過時間を投票タイミングとして有している。総投票数は投票情報数をカウントすることで容易に計算できる。
【００５７】
以上、コマンダ２からの投稿処理、投稿された投稿情報の視聴、並びに投票について説明したが、本実施形態ではこのような処理で投稿された投稿情報を楽曲演奏時に利用することとしている。図１０は、本発明の実施形態に係る楽曲指定・演奏処理を示す図である。このように本実施形態は、コマンダ２における処理に特徴を有するものであって、処理を実行するコマンダ２（カラオケ装置）、あるいは、コマンダ２の制御部３０にて実行されるプログラムにて特定されるものである。
【００５８】
コマンダ２に対し映像挿入モードが指定された（Ｓ２０２）上で、歌唱したい楽曲指定が行われる（Ｓ２０３）と、指定された楽曲の楽曲識別子（楽曲識別情報）と、指定したユーザー（操作ユーザー）のユーザーＩＤ（ユーザー識別情報）を対応付け、予約情報として予約テーブルに記憶する。この映像挿入モードの指定は、図３のトップメニューにおいて、他の演奏モードを指定し、更に下層のメニュー（図示せず）から指定される。そして、投稿モードの場合と同様、モード識別子を利用して予約情報のモードが判断され、映像挿入モードである場合、以下の処理が実行される。
【００５９】
コマンダ２は、予約情報中に含まれるユーザーＩＤをカラオケ用ホストに対して送信する。カラオケ用ホスト５では、受信したユーザーＩＤを有する投稿情報を第１データベース５１から抽出することで、楽曲を指定したユーザーの投稿による投稿情報を抽出する（Ｓ２２２）。投稿情報が複数ある場合には、その中から１以上の投稿情報が選択される（
Ｓ２２２）。選択の条件としては、公開することで作成された投稿評価情報中の再生回数、総投票数、投票種別毎の投票数を利用することが考えられる。これらを利用することで公開時人気を集めた投稿映像を選択することができる。選択には投稿評価情報以外に、投稿日時や採点結果の何れか、あるいは、それらの組み合わせを利用することとしてもよい。さらに、予約情報に含まれる楽曲識別子をカラオケ用ホストに送信し、当該楽曲識別子と同じ楽曲、あるいは、同じジャンルの楽曲の投稿情報を選択することも考えられる。
【００６０】
本実施形態では、選択された投稿情報の録音・録画情報中から更にその部分を選択することとしている（Ｓ２２３）。投稿情報中、録音・録画情報の時間長は楽曲の再生時間と等しくなる。録音・録画情報をそのまま再生させた場合には、楽曲開始時から再生することとなり、盛り上がりに欠けた映像表示となることが多い。そのため、本実施形態では、選択された投稿情報中の録音・録画情報中から盛り上がっていると推定される部分を部分映像情報として選択し、再生に利用することとしている。
【００６１】
この部分映像情報の選択は、該当する録音・録画情報自身を利用して選択することとしてもよいし、関連する情報を利用して選択することとしてもよい。録音・録画情報自身を利用して選択する場合には、録音・録画情報中に含まれる映像情報中、動きの激しい部分、あるいは、録音・録画情報中に含まれる音声情報中、音量の大きい部分、音高の高い部分などを選択することが考えられる。
【００６２】
部分映像情報の選択は、図１１〜図１５に示されるような録音・録画情報の映像を解析し、特徴検出することで行うこともできる。図１１は、録音・録画情報として撮像された映像情報を示した図であって、本実施形態では、顔認識技術を利用することで、映像情報中に何人が映り込んでいるかを判定し、特徴検出に用いることとしている。通常、人が多く映り込むほど、盛り上がっている箇所として推定され、部分映像情報に適した箇所として判定される。
【００６３】
図１２は、映像情報中に映り込む顔の大きさにて特徴検出を行う場合である。これは、カメラ４３に近づくほど盛り上がっているという仮定に基づいたものであり、基準となる大きさＡよりも大きいか小さいかにて判定される。基準となる大きさを複数設け、多段階で判定するものとしてもよい。
【００６４】
図１３は、画面に映り込んでいる顔の方向で特徴検出を行う場合を示したものである。図１３（ａ）のように、眼、口、鼻が所定の位置で映り込んでいる場合、正面を向いて歌唱の場に参加しているものと判定し、部分映像情報として適した箇所として判定している。また、図１３（ｂ）、図１３（ｃ）のように横を向いている場合や、下を向いていると判定された場合には、歌唱の場に参加していないと判定し、部分映像情報に適していない箇所として判定してもよい。また、顔の方向に限らず、映り込んだ人の視線を検出し、特徴検出に考慮することとしてもよい。
【００６５】
図１４は、画面に映り込んだ手の位置を判定することで特徴検出を行う場合を示したものである。ここでは、顔の基準位置Ｂに対する手の位置を判定することで、手を上げているか否かを判定している。手の位置が基準位置Ｂよりも上にあると判定することで、映っている人が手を上げて盛り上がっている状況を判定することが可能となる。手の位置による判定では、この他、手の上げ下げの振幅、周期を検出して判定に用いてもよいし、左右の動きを判定することで拍手していることを検出してもよい。また、手の検出以外に足など手以外の体躯の位置、動きを特徴検出に用いてもよい。
【００６６】
図１５は、画面に映り込んだ顔の位置の動きを判定することで特徴検出を行う場合を示したものである。左右の動きを検出することでリズムに乗っているか否かを判定すること
が可能となる。また、縦の動きを検出することで、ジャンプしている、あるいは、椅子に乗っているなどの各種状況を判定し、部分映像情報の選択に使用することもできる。
【００６７】
一方、録音・録画情報に関連する情報を利用する場合としては、投稿情報中の採点結果を利用することが考えられる。この場合、採点結果は時系列の情報となっていることが必要とされる。演奏期間において採点結果の高いところを利用することで盛り上がり箇所を推定することができる。また、投稿処理で使用した楽曲（投稿情報中の楽曲識別子で識別可能）のサビ部分を利用することも考えられる。各演奏情報中で示されるサビ部分に対応する箇所を選択することで投稿情報中の盛り上がり箇所を選択することができる。さらに、投稿評価情報を利用することも考えられる。本実施形態では、投票情報に投票タイミングが含まれているため、この投票タイミングの多い箇所を選択することで他者の評価を反映した部分選択が可能となる。
【００６８】
以上、本実施形態では、カラオケ用ホスト５において、ユーザーＩＤに対応する複数の投稿情報から選択し、さらに、投稿情報から部分映像情報を選択することとしたが、これらの選択、あるいは、選択の位置部分を、コマンダ２側にて実行することとしてもよい。例えば、ユーザーＩＤに対応する複数の投稿情報をコマンダ２に送信し、コマンダ２側にて投稿情報の選択、そして、部分映像情報の選択を実行することなどが考えられる。
【００６９】
Ｓ２２３にて録音・録画情報中、時系列期間での部分が選択されると、当該選択部分の部分映像情報がコマンダ２に送信される。録音・録画情報中には音声情報も含まれているが、音声情報を同時に再生すると歌唱の妨げになることが考えられるため、本実施形態では映像情報のみを送信することとしている。なお、部分映像情報は複数送信することとしてもよい。そしてこれら複数の部分映像情報は、異なる録音・録画情報中から選択されることも想定される。
【００７０】
コマンダ２はＳ２０４にて受信した部分映像情報をハードディスク３２などに蓄積しておく。予約リスト上、演奏順が回ってきたときには予約情報中の楽曲識別子に対応する演奏情報をＭＩＤＩ音源２６等で構成された演奏手段に演奏させる（Ｓ２０６）。その際、歌唱用マイク４４（マイクロホン）から入力される歌唱音声信号を監視し、当該歌唱音声信号に対する判断が実行される（Ｓ２０７）。この判断は、例えば、一般の採点処理と同様、演奏情報に付帯する模範歌唱情報（主旋律）などとの比較、あるいは、音量、音高を監視することで実行される。そして歌唱音声信号が所定の条件を満たすと判断した場合には、受信した部分映像情報をモニタ４１に表示させる。
【００７１】
図１６は、本発明の実施形態に係る歌唱評価値と部分映像情報の表示期間の関係を示す図である。本実施形態では演奏開始から時間Ｔ毎に歌唱評価値が算出される。歌唱評価値としては、模範歌唱情報との一致度、あるいは、音量、音高などの指標に基づいて判断され、値が大きいほど歌唱が盛り上がっている箇所として推定される。本実施形態においてＳ２０８にて実行される判断は、歌唱評価値に設定された所定の閾値と比較することで行われる。すなわち、歌唱評価値が閾値より大きくなったときに歌唱が盛り上がっていると判断し、受信した部分映像情報をモニタ４１に表示させる。
【００７２】
さらに、本実施形態では、歌唱評価値が閾値を超えた時間、もしくは、歌唱評価値が閾値を超えた量、あるいは、両者の組み合わせで部分映像情報の表示期間を変化させている。具体的には閾値を超えた時間が長いほど、もしくは、歌唱評価値が閾値を超えた量が大きいほど部分映像情報の表示期間を長くすることで、歌唱状態に応じて部分映像情報の表示期間を変化させている。
【００７３】
また、部分映像情報の表示期間のみならず、部分映像情報の表示形態を変化させること
も考えられる。図１７は、本発明の実施形態に係る映像情報の表示形態を示す図であって、表示形態として部分映像情報の表示面積を変化させた実施形態となっている。モニタ４１の表示画面には、背景映像に重畳させて歌詞映像が表示される。部分映像情報はこの表示画面左上にインポーズ表示される。図１７（Ａ）の部分映像情報を標準状態とした場合、歌唱評価値が閾値を超えた継続時間、歌唱評価値が閾値を超えた量、またはこれらの組み合わせに応じて表示面積を図１７（Ｂ）、図１７（Ｃ）のように変化させる。好ましくは、継続時間が長いほど、また、超えた量が大きいほど部分映像情報を大きく表示させることとなる。ユーザーは所定条件を満たすようにうまく歌うことで、自分の投稿した映像を同席する他者に閲覧させることができる。
【００７４】
このように本実施形態では、部分映像情報の表示形態として表示面積を変化させることとしているが、表示形態には表示面積に限らず、例えば、モザイクなどの効果の度合いを変化させることや、色調を変化させるなど各種映像効果を採用することができる。好ましくは、歌唱評価値を超えた期間、量が大きいほど映像効果の度合いを少なくすることで、録画時と同様の映像に近づけていく。
【００７５】
図１０におけるＳ２０７〜Ｓ２０９の処理は、演奏終了が判断される（Ｓ２０６）まで継続する。演奏終了が判断されると本実施形態に係る楽曲指定・演奏処理を終了する。
【００７６】
以上、本実施形態では、カラオケ用ホストにて選択された部分映像情報を表示させることで、同席者に対して歌唱するユーザーがこれまでに行った歌唱をアピールする機会が設けられる。さらに、部分映像情報の表示は、歌唱音声信号が所定条件を満たしたときに実行されることで歌唱者に対する遊興性を向上させることが可能となる。映像情報の選択は、このように自動処理で行うことに限らず、歌唱するユーザー自身に選択させることとしてもよい。
【００７７】
図１８は、本発明の他の実施形態に係る楽曲指定・演奏処理を示すフロー図、図１９は、本発明の他の実施形態に係る投稿情報を選択する画面を示す図である。図１８のフロー図において、コマンダ２側での処理は、Ｓ３０４、Ｓ３０５において、図１０で説明した処理と異なっている。また、カラオケ用ホストでの処理は、図１０におけるＳ２２２における投稿情報の選択を必要としない点で異なっている。
【００７８】
図１８にて歌唱する楽曲が指定されると、投稿情報指定画面をリモコン装置１の表示部１１に表示させる。この投稿情報指定画面は、ユーザーのログイン時にコマンダ２にダウンロードされたユーザー情報中の投稿テーブルによって表示される。図１９に示されるように選曲中のユーザーがこれまでに投稿した投稿情報に関する情報が表示される。ここでは、投稿テーブル中のサムネイル画像と、楽曲識別子に対応する楽曲タイトル（楽曲名）を表示させて選択させている。なお、選択する投稿情報は複数選択することとしてもよい。ユーザーにより投稿情報が指定される（Ｓ３０５）と、投稿テーブルを参照し当該投稿情報に対応する投稿ＩＤがカラオケ用ホストに送信される。カラオケ用ホスト５では、受信した投稿ＩＤを有する投稿情報を抽出（Ｓ３２１）し、当該投稿情報に含まれる録音・録画情報から、前述の実施形態と同様の手法で部分映像情報を選択する（Ｓ３２２、Ｓ３２３）。他の処理については前実施形態と同様であるため説明は省略する。
【００７９】
このように、本実施形態では使用する投稿情報を歌唱するユーザーに選択させることで、ユーザーが利用したい、すなわち、同席する他者に見せたい投稿情報を選択することが可能となる。なお、本実施形態では部分映像情報は、前実施形態と同様、カラオケ用ホスト５にて自動選択することとしているが、録音・録画情報中に使用する部分についてもユーザーに選択させることとしてもよい。
【００８０】
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００８１】
１…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…コマンダ（カラオケ装置）、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２５…音声制御部、２６…ＭＩＤＩ音源、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ、４２…スピーカー、４３…カメラ、４４ａ、４４ｂ…歌唱用マイク、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ、５…カラオケ用ホスト、５１…第１データベース、５２…Ｗｅｂサーバ、６…インターネット用ホスト、６１…第２データベース、６２…Ｗｅｂサーバ、６３…編集手段
【図１】
0005615190.tif 000002
【図２】
0005615190.tif 000003
【図３】
0005615190.tif 000004
【図４】
0005615190.tif 000005
【図５】
0005615190.tif 000006
【図６】
0005615190.tif 000007
【図７】
0005615190.tif 000008
【図８】
0005615190.tif 000009
【図９】
0005615190.tif 000010
【図１０】
0005615190.tif 000011
【図１１】
0005615190.tif 000012
【図１２】
0005615190.tif 000013
【図１３】
0005615190.tif 000014
【図１４】
0005615190.tif 000015
【図１５】
0005615190.tif 000016
【図１６】
0005615190.tif 000017
【図１７】
0005615190.tif 000018
【図１８】
0005615190.tif 000019
【図１９】
0005615190.tif 000020