(57)【要約】【課題】カラオケ歌唱を行う利用者と母国語が異なる利用者であっても、カラオケ演奏に合わせて歌を楽しむことが可能なカラオケシステムを提供する。【解決手段】ある楽曲のカラオケ演奏に合わせて利用者が第１の言語でカラオケ歌唱を行った際に得られる歌唱音声から歌唱音声データを抽出する抽出部、抽出した歌唱音声データ、カラオケ演奏に合わせて読み出したある楽曲の第２の歌詞データ、及びカラオケ歌唱を行う利用者の利用者識別情報に応じて取得した声質パラメータに基づいて、合成歌唱音声信号を作成する作成部、聴衆が所有する携帯端末に対し、作成した合成歌唱音声信号を送信する送信処理部を有するカラオケシステム。【選択図】図５
2020086113.tif 000002
【特許請求の範囲】
【請求項１】
サーバ装置とカラオケ装置とが通信可能に接続されたカラオケシステムであって、
前記サーバ装置は、
利用者の声質を示す声質パラメータを、当該利用者を識別するための利用者識別情報と関連付けて記憶する利用者情報記憶部を有し、
前記カラオケ装置は、
カラオケ演奏を行うための演奏データ、第１の言語による第１の歌詞データ、及び当該第１の言語とは異なる第２の言語による第２の歌詞データを、楽曲毎に記憶する楽曲データ記憶部と、
前記カラオケ装置の利用者が所有する携帯端末を介して行われたログイン操作に応じて、当該利用者の利用者識別情報を取得するログイン処理部と、
ある楽曲の前記演奏データに基づくカラオケ演奏に合わせて利用者が前記第１の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部と、
抽出した前記歌唱音声データ、前記カラオケ演奏に合わせて読み出した前記ある楽曲の第２の歌詞データ、及び前記カラオケ歌唱を行う利用者の利用者識別情報に応じて前記サーバ装置から取得した前記声質パラメータに基づいて、合成歌唱音声信号を作成する作成部と、
前記ログイン操作を行った複数の利用者のうち、前記カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した前記合成歌唱音声信号を送信する送信処理部と、
を有するカラオケシステム。
【請求項２】
前記送信処理部は、前記合成歌唱音声信号と併せて前記第２の歌詞データを送信することを特徴とする請求項１記載のカラオケシステム。
【請求項３】
前記楽曲データ記憶部は、楽曲毎に、前記第２の言語によるカラオケ歌唱を評価するためのリファレンスデータを記憶し、
前記抽出部は、抽出した前記歌唱音声データを、前記リファレンスデータに基づいて補正して出力することを特徴とする請求項１または２記載のカラオケシステム。
【請求項４】
前記利用者情報記憶部は、前記利用者の母国語を示す母国語情報を、前記利用者識別情報と関連付けて記憶し、
前記送信処理部は、前記聴衆の母国語情報に基づいて、前記第２の言語を母国語とする聴衆のみに前記合成歌唱音声信号を送信することを特徴とする請求項１〜３のいずれか一つに記載のカラオケシステム。
【請求項５】
カラオケ演奏を行うための演奏データ、第１の言語による第１の歌詞データ、及び当該第１の言語とは異なる第２の言語による第２の歌詞データを、楽曲毎に記憶する楽曲データ記憶部と、
カラオケ装置の利用者が所有する携帯端末を介して行われたログイン操作に応じて、当該利用者の利用者識別情報を取得するログイン処理部と、
ある楽曲の前記演奏データに基づくカラオケ演奏に合わせて利用者が前記第１の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部と、
抽出した前記歌唱音声データ、前記カラオケ演奏に合わせて読み出した前記第２の歌詞データ、及び前記カラオケ歌唱を行う利用者の声質を示す声質パラメータに基づいて、合成歌唱音声信号を作成する作成部と、
前記ログイン操作を行った複数の利用者のうち、前記カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した前記合成歌唱音声信号を送信する送信処理部と、
を有するカラオケ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカラオケシステム、及びカラオケ装置に関する。
【背景技術】
【０００２】
母国語が異なる利用者同士でカラオケ装置を利用することがある。このような場合に、たとえば、日本人の利用者が日本語でカラオケ歌唱を行うと、母国語が異なる外国人は歌詞の内容を理解することができない。
【０００３】
そこで、特許文献１には、利用者の母国語に応じた翻訳歌詞をサブモニタに表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１２１５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１のように翻訳歌詞（たとえば英語）をサブモニタに表示したとしても、実際のカラオケ歌唱は翻訳前の歌詞（たとえば日本語）に基づいて行われる。従って、母国語が異なる利用者は、カラオケ演奏に合わせて翻訳歌詞を参照したとしても、歌を楽しむことができない。
【０００６】
本発明の目的は、カラオケ歌唱を行う利用者と母国語が異なる利用者であっても、カラオケ演奏に合わせて歌を楽しむことが可能なカラオケステムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するための一の発明は、サーバ装置とカラオケ装置とが通信可能に接続されたカラオケシステムであって、前記サーバ装置は、利用者の声質を示す声質パラメータを、当該利用者を識別するための利用者識別情報と関連付けて記憶する利用者情報記憶部を有し、前記カラオケ装置は、カラオケ演奏を行うための演奏データ、第１の言語による第１の歌詞データ、及び当該第１の言語とは異なる第２の言語による第２の歌詞データを、楽曲毎に記憶する楽曲データ記憶部と、前記カラオケ装置の利用者が所有する携帯端末を介して行われたログイン操作に応じて、当該利用者の利用者識別情報を取得するログイン処理部と、ある楽曲の前記演奏データに基づくカラオケ演奏に合わせて利用者が前記第１の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部と、抽出した前記歌唱音声データ、前記カラオケ演奏に合わせて読み出した前記ある楽曲の第２の歌詞データ、及び前記カラオケ歌唱を行う利用者の利用者識別情報に応じて前記サーバ装置から取得した前記声質パラメータに基づいて、合成歌唱音声信号を作成する作成部と、前記ログイン操作を行った複数の利用者のうち、前記カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した前記合成歌唱音声信号を送信する送信処理部と、を有するカラオケシステムである。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
【発明の効果】
【０００８】
本発明によれば、カラオケ歌唱を行う利用者と母国語が異なる利用者であっても、カラオケ演奏に合わせて歌を楽しむことができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係るカラオケシステムの概略を示す図である。
【図２】第１実施形態に係るサーバ装置のハードウェア構成例を示す図である。
【図３】第１実施形態に係るカラオケ装置のハードウェア構成例を示す図である。
【図４】第１実施形態に係るカラオケ装置のソフトウェア構成例を示す図である。
【図５】第１実施形態に係るカラオケシステムの処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
＜第１実施形態＞
図１〜図５を参照して、第１実施形態に係るカラオケシステムについて説明する。
【００１１】
＝＝カラオケシステム＝＝
図１に示すように、本実施形態に係るカラオケシステム１は、サーバ装置Ｓ及びカラオケ装置Ｋを備える。サーバ装置Ｓとカラオケ装置Ｋとは、ネットワークＮを介して通信可能となっている。ネットワークＮは、たとえば公衆電話回線網やインターネット回線等の伝送路である。また、カラオケ装置Ｋは、利用者が所有する携帯端末と通信可能となっている。
【００１２】
利用者Ｕ１〜利用者Ｕ３は、カラオケ装置Ｋを一緒に利用する利用者である。以下、利用者Ｕ１及び利用者Ｕ２は日本人（母国語：日本語）であり、利用者Ｕ３は米国人（母国語：英語）であるとして説明する。
【００１３】
各利用者は、携帯端末（携帯端末Ｍ１〜携帯端末Ｍ３）を所有している。携帯端末は、一般的なスマートフォンやタブレット端末である。携帯端末には、カラオケ装置Ｋを利用する際に使用する専用アプリケーションソフトウェア（以下、「カラオケアプリ」）がインストールされている。カラオケアプリは、サーバ装置Ｓや、サーバ装置Ｓが提供するＷｅｂサイトからダウンロードすることで入手できる。
【００１４】
携帯端末とカラオケ装置Ｋは、ペアリングされることで互いに通信可能となる。ペアリングは公知の手法を利用することができる。ペアリングは、たとえば、カラオケ装置Ｋが設置されたカラオケルームへの入室後、カラオケアプリを起動させた場合に実行される。ペアリングされた後、利用者は、カラオケアプリを利用して、たとえばカラオケ装置Ｋに対してログイン操作を行ったり、カラオケ装置Ｋに付属するリモコン装置と同様の操作（楽曲の予約等）を行うことができる。
【００１５】
＝＝サーバ装置＝＝
サーバ装置Ｓは、カラオケ装置Ｋに関する各種情報を管理するコンピュータである。図２はサーバ装置Ｓのハードウェア構成例を示す図である。サーバ装置Ｓは、記憶部１０、通信部２０、及び制御部３０を備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。
【００１６】
記憶部１０は、各種のデータを記憶する大容量の記憶装置である。本実施形態に係る記憶部１０の記憶領域の一部は、利用者情報記憶部１０ａとして機能する。
【００１７】
利用者情報記憶部１０ａは、声質パラメータを利用者識別情報と関連付けて記憶する。
【００１８】
声質パラメータは、利用者の声質を示すパラメータである。利用者の声質は、声の周波数特性に基づいて決定される。声質パラメータは、たとえば利用者の歌唱音声から公知の技術（特開２０１４−０４８４７２号公報等）を用いて抽出することができる。利用者識別情報は、利用者を識別するための利用者ＩＤのような、各利用者に固有の情報である。
【００１９】
声質パラメータは、カラオケ装置Ｋを利用する前に予め取得しておくことができる。たとえば、過去にあるカラオケ装置を利用して利用者Ｕ１がカラオケ歌唱を行った場合、当該あるカラオケ装置は、利用者Ｕ１の歌唱音声から声質パラメータを抽出し、利用者Ｕ１の利用者識別情報（利用者ＩＤ）と関連付けてサーバ装置Ｓに送信する。利用者情報記憶部１０ａは、利用者Ｕ１の声質パラメータを利用者ＩＤと関連付けて記憶する。
【００２０】
なお、声質パラメータには、年齢や性別に関する属性情報が含まれていてもよい。
【００２１】
通信部２０は、サーバ装置Ｓとカラオケ装置Ｋとを接続するためのインターフェースを提供する。制御部３０は、サーバ装置Ｓにおける各種の制御を行う。制御部３０は、ＣＰＵおよびメモリ（いずれも図示なし）を備える。ＣＰＵは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
【００２２】
＝＝カラオケ装置＝＝
［ハードウェア構成］
カラオケ装置Ｋは、楽曲のカラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。
【００２３】
図３に示すように、カラオケ装置Ｋは、カラオケ本体４０、スピーカ５０、表示装置６０、マイク７０、及びリモコン装置８０を備える。
【００２４】
スピーカ５０はカラオケ本体４０からの放音信号に基づいて放音するための構成である。表示装置６０はカラオケ本体４０からの信号に基づいて映像や画像を画面に表示するための構成である。マイク７０は利用者の歌唱音声（マイク７０への入力音声）をアナログの音声信号に変換してカラオケ本体４０に入力するための構成である。リモコン装置８０は、カラオケ本体４０に対する各種操作をおこなうための装置である。利用者はリモコン装置８０を用いてカラオケ歌唱を希望する楽曲の検索や選曲（予約）等を行うことができる。リモコン装置８０の表示画面には各種操作の指示入力を行うためのアイコン等が表示される。
【００２５】
カラオケ本体４０は、選曲された楽曲のカラオケ演奏制御、歌詞等の表示制御、マイク７０を通じて入力された音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う。図３に示すように、カラオケ本体４０は、制御部４１、通信部４２、記憶部４３、音響処理部４４、表示処理部４５、及び操作部４６を備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。
【００２６】
制御部４１は、ＣＰＵおよびメモリ（いずれも図示なし）を備える。ＣＰＵは、メモリに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリは、ＣＰＵに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。
【００２７】
通信部４２は、ルーター（図示なし）を介してカラオケ本体４０を通信回線に接続するためのインターフェースを提供する。
【００２８】
記憶部４３は、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。
【００２９】
音響処理部４４は、制御部４１の制御に基づき、楽曲に対するカラオケ演奏の制御およびマイク７０を通じて入力された歌唱音声信号の処理を行う。表示処理部４５は、制御部４１の制御に基づき、表示装置６０やリモコン装置８０における各種表示に関する処理を行う。たとえば、表示処理部４５は、カラオケ演奏時における背景映像に歌詞テロップや各種アイコンが重ねられた映像を表示装置６０に表示させる。或いは、表示処理部４５は、リモコン装置８０の表示画面に操作入力用の各種アイコンを表示させる。
【００３０】
操作部４６は、パネルスイッチおよびリモコン受信回路などからなり、利用者によるカラオケ装置Ｋのパネルスイッチあるいはリモコン装置８０の操作に応じて選曲信号、演奏中止信号などの操作信号を制御部４１に対して出力する。制御部４１は、操作部４６からの操作信号を検出し、対応する処理を実行する。
【００３１】
［ソフトウェア構成］
図４はカラオケ本体４０のソフトウェア構成例を示す図である。カラオケ本体４０は、楽曲データ記憶部１００、ログイン処理部２００、抽出部３００、作成部４００、及び送信処理部５００を備える。楽曲データ記憶部１００は、記憶部４３の記憶領域の一部として構成される。ログイン処理部２００、抽出部３００、作成部４００、及び送信処理部５００は、制御部４１のＣＰＵがメモリに記憶されるプログラムを実行することにより実現される。
【００３２】
（楽曲データ記憶部）
楽曲データ記憶部１００は、カラオケ演奏を行うための演奏データ、第１の言語による第１の歌詞データ、及び当該第１の言語とは異なる第２の言語による第２の歌詞データを、楽曲毎に記憶する。各楽曲には、個々の楽曲を特定するための楽曲ＩＤが付与されている。
【００３３】
演奏データはカラオケ演奏音の元となるデータである。音響処理部４４は、演奏データに基づいてカラオケ演奏を行う。
【００３４】
第１の歌詞データ及び第２の歌詞データは、楽曲に対応する歌詞テロップを表示装置６０等に表示させるためのデータである。第１の歌詞データは、第１の言語により構成されている。第２の歌詞データは、第１の言語とは異なる第２の言語により構成されている。たとえば、第１の言語が「日本語」の場合、第２の言語は日本語以外の言語（たとえば「英語」）である。第１の歌詞データ及び第２の歌詞データが示す歌詞は、それぞれの言語に応じて、カラオケ演奏と合うように分節されている。
【００３５】
（ログイン処理部）
ログイン処理部２００は、カラオケ装置Ｋを利用する利用者が所有する携帯端末からのログイン操作に応じて、当該利用者の利用者識別情報を取得する。
【００３６】
利用者は、カラオケ装置Ｋの利用にあたって、最初にログイン操作（自己の利用者ＩＤやパスワードの入力）を行なう。具体的に、利用者は、自己の携帯端末でカラオケアプリを起動させてペアリングが完了した後、利用者ＩＤ及びパスワードを入力する。携帯端末は、入力された利用者ＩＤ及びパスワードを、携帯端末を識別するための情報（端末ＩＤ）と併せてカラオケ装置Ｋに送信する。ログイン処理部２００は、利用者ＩＤ等を取得し、当該利用者ＩＤ等に基づいて利用者がカラオケ装置Ｋにログインする処理を行う。ログイン処理を行うことにより、カラオケ装置Ｋは、現在の利用者（及び利用者が所有する携帯端末）を特定することができる。複数の利用者でカラオケ装置Ｋを利用する場合、利用者毎にログイン操作を行う。
【００３７】
ここで、図１の例において、利用者Ｕ１〜利用者Ｕ３が自己の携帯端末を介してカラオケ装置Ｋにログインした後、利用者Ｕ１が携帯端末Ｍ１を介して楽曲Ｘの予約を行うとする。また、楽曲Ｘには、日本人アーティストが歌唱するオリジナルバージョン（日本語）と、米国人アーティストが歌唱するカバーバージョン（英語）があるとする。この場合、楽曲データ記憶部１００には、楽曲Ｘの演奏データ、日本語による歌詞データ、及び英語による歌詞データが記憶されている。
【００３８】
利用者Ｕ１は、楽曲Ｘの予約にあたり、オリジナルバージョンとカバーバージョンのいずれのカラオケ歌唱を行うかを選択する。利用者Ｕ１は日本人であるため、オリジナルバージョンを選択したとする。この場合、第１の言語は「日本語」であり、第２の言語は「英語」となる。携帯端末Ｍ１は、楽曲Ｘの楽曲ＩＤ、利用者が選択したバージョンを示すバージョン情報、及び利用者Ｕ１の利用者ＩＤをカラオケ装置Ｋに送信する。
【００３９】
制御部４１は、受信した楽曲ＩＤに基づいて楽曲データ記憶部１００から楽曲Ｘの演奏データを読み出し、音響処理部４４を制御して、楽曲Ｘのカラオケ演奏を行う。また、制御部４１は、受信したバージョン情報に基づいて楽曲データ記憶部１００から楽曲Ｘの日本語による歌詞データを読み出し、表示処理部４５を制御して、当該歌詞データに基づく歌詞テロップ（日本語の歌詞テロップ）を表示装置６０やリモコン装置８０に表示する。この例において、日本語による歌詞データは「第１の歌詞データ」に相当する。
【００４０】
（抽出部）
抽出部３００は、ある楽曲の演奏データに基づくカラオケ演奏に合わせて利用者が第１の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する。
【００４１】
音高データや音量データの抽出は、公知の手法（たとえば、特開２０１１−２１５２９２号公報）を用いることができる。
【００４２】
上記例において楽曲Ｘの予約を行った利用者Ｕ１は、楽曲Ｘのカラオケ演奏に合わせて、日本語の歌詞テロップを参照しながら楽曲Ｘのカラオケ歌唱を行う。
【００４３】
抽出部３００は、楽曲Ｘのカラオケ演奏に合わせて利用者Ｕ１が日本語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する。
【００４４】
（作成部）
作成部４００は、抽出した歌唱音声データ、カラオケ演奏に合わせて読み出したある楽曲の第２の歌詞データ、及びカラオケ歌唱を行う利用者の利用者識別情報に応じてサーバ装置Ｓから取得した声質パラメータに基づいて、合成歌唱音声信号を作成する。
【００４５】
合成歌唱音声信号の作成は、公知の手法（たとえば、特開２００７−２４０５６４号公報）を用いて行うことができる。たとえば、作成部４００は、第２の歌詞データに基づいて歌唱音声信号の元となる音声波形を合成し、歌唱音声データに含まれる音高データ及び音量データを、合成した音声波形に適用して音高変化及び音量変化を付与した歌唱音声信号を生成する。作成部４００は、生成した歌唱音声信号に、声質パラメータに基づいたイコライジング処理やフォルマント・フィルタ処理などを施すことにより、合成歌唱音声信号を作成する。
【００４６】
声質パラメータは利用者の声そのものを規定し、歌唱音声データは利用者の歌い方を規定する。従って、これらに基づいて作成した合成歌唱音声信号に基づく音声は、利用者がある楽曲を第２の言語でカラオケ歌唱した場合の音声と類似する。
【００４７】
上述のように利用者Ｕ１が楽曲Ｘのカラオケ歌唱を日本語で行った場合、作成部４００は、抽出部３００により抽出された歌唱音声データを取得する。また、作成部４００は、楽曲Ｘのカラオケ演奏に合わせて楽曲データ記憶部１００から楽曲Ｘの英語の歌詞データを取得する。この例において、英語の歌詞データは「第２の歌詞データ」に相当する。更に、作成部４００は、利用者Ｕ１の利用者ＩＤに基づいて、サーバ装置Ｓから利用者Ｕ１の声質パラメータを取得する。作成部４００は、取得した各データ及びパラメータに基づいて、合成歌唱音声信号を作成する。
【００４８】
（送信処理部）
送信処理部５００は、ログイン操作を行った複数の利用者のうち、カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した合成歌唱音声信号を送信する。
【００４９】
上述のように利用者Ｕ１〜利用者Ｕ３がログイン操作を行った後、利用者Ｕ１が楽曲Ｘのカラオケ歌唱を行う場合、利用者Ｕ２及び利用者Ｕ３は聴衆にあたる。送信処理部５００は、利用者Ｕ２が所有する携帯端末Ｍ２、及び利用者Ｕ３が所有する携帯端末Ｍ３に対し、作成した合成歌唱音声信号を送信する。
【００５０】
合成歌唱音声信号を受信した携帯端末は、当該携帯端末が備えるスピーカを介して、合成歌唱音声信号に基づく音声を放音する。
【００５１】
＝＝カラオケシステムにおける処理について＝＝
次に、図５を参照して本実施形態に係るカラオケシステム１における処理の具体例について述べる。図５は、カラオケシステム１における処理例を示すフローチャートである。この例では、利用者Ｕ１〜利用者Ｕ３がカラオケ装置Ｋを利用する。また、サーバ装置Ｓの利用者情報記憶部１０ａは、利用者の声質を示す声質パラメータを、当該利用者を識別するための利用者識別情報と関連付けて記憶しているとする。また、楽曲Ｘは、日本語のバージョンと英語のバージョンがあるとする。更に、カラオケ装置Ｋの楽曲データ記憶部１００は、楽曲Ｘについて、カラオケ演奏を行うための演奏データ、日本語による歌詞データ、及び英語による歌詞データを記憶しているとする。
【００５２】
各利用者は、自己の携帯端末においてカラオケアプリを起動させ、カラオケ装置Ｋに対してログイン操作を行う。
【００５３】
ログイン処理部２００は、各携帯端末を介して行われたログイン操作に応じて、各利用者の利用者ＩＤを取得する（ログイン処理。ステップ１０）。
【００５４】
その後、利用者Ｕ１が、楽曲Ｘについて日本語のバージョンでの歌唱予約を行ったとする。カラオケ装置Ｋは、楽曲Ｘの演奏データを楽曲データ記憶部１００から読み出し、楽曲Ｘのカラオケ演奏を開始する（カラオケ演奏の開始。ステップ１１）。
【００５５】
利用者Ｕ１がカラオケ歌唱を開始する前（楽曲Ｘの前奏中）に、作成部４００は、利用者Ｕ１の利用者ＩＤをサーバ装置Ｓに送信する（利用者ＩＤの送信。ステップ１２）。
【００５６】
サーバ装置Ｓは、ステップ１２で送信された利用者ＩＤに関連付けられた声質パラメータを利用者情報記憶部１０ａから読み出し、カラオケ装置Ｋに送信する（声質パラメータの送信。ステップ１３）。
【００５７】
その後、楽曲Ｘの前奏が終了し、歌唱区間（カラオケ歌唱を行うための歌詞が付与されている区間）のカラオケ演奏が開始される。カラオケ装置Ｋは、表示装置６０に、日本語による歌詞データに基づく歌詞テロップを表示させる。利用者Ｕ１は、歌詞テロップを参照しながら、楽曲Ｘのカラオケ演奏に合わせて、日本語でカラオケ歌唱を行う（カラオケ歌唱の開始。ステップ１４）。
【００５８】
抽出部３００は、利用者Ｕ１の歌唱音声から、歌唱音声データを抽出する（歌唱音声データの抽出。ステップ１５）。
【００５９】
作成部４００は、ステップ１５で抽出した歌唱音声データ、カラオケ演奏に合わせて読み出した楽曲Ｘの英語による歌詞データ、及びステップ１３で送信された利用者Ｕ１の声質パラメータに基づいて、合成歌唱音声信号を作成する（合成歌唱音声信号の作成。ステップ１６）。
【００６０】
送信処理部５００は、ステップ１０でログイン操作を行った複数の利用者のうち、利用者Ｕ１のカラオケ歌唱を聴いている利用者Ｕ２及び利用者Ｕ３が所有する携帯端末それぞれに対し、ステップ１６で作成した合成歌唱音声信号を送信する（合成歌唱音声信号の送信。ステップ１７）。各携帯端末は、合成歌唱音声信号に基づく音声（利用者Ｕ１が楽曲Ｘを英語でカラオケ歌唱した場合の音声と類似する音声）を放音する。各利用者は、楽曲Ｘのカラオケ演奏に合わせて、合成歌唱音声信号に基づく音声を聴くことができる。
【００６１】
カラオケ装置Ｋは、楽曲Ｘのカラオケ歌唱が終了するまで（ステップ１８でＹの場合）、ステップ１５〜ステップ１７の処理を繰り返し行う。
【００６２】
このように、本実施形態に係るカラオケシステム１は、サーバ装置Ｓとカラオケ装置Ｋとが通信可能に接続されている。サーバ装置Ｓは、利用者の声質を示す声質パラメータを、当該利用者を識別するための利用者ＩＤと関連付けて記憶する利用者情報記憶部１０ａを有する。カラオケ装置Ｋは、カラオケ演奏を行うための演奏データ、第１の言語による第１の歌詞データ、及び当該第１の言語とは異なる第２の言語による第２の歌詞データを、楽曲毎に記憶する楽曲データ記憶部１００と、カラオケ装置Ｋを利用する利用者が所有する携帯端末からのログイン操作に応じて、当該利用者の利用者ＩＤを取得するログイン処理部２００と、ある楽曲の演奏データに基づくカラオケ演奏に合わせて利用者が第１の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部３００と、抽出した歌唱音声データ、カラオケ演奏に合わせて読み出したある楽曲の第２の歌詞データ、及びカラオケ歌唱を行う利用者の利用者ＩＤに応じてサーバ装置Ｓから取得した声質パラメータに基づいて、合成歌唱音声信号を作成する作成部４００と、ログイン操作を行った複数の利用者のうち、カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した合成歌唱音声信号を送信する送信処理部５００と、を有する。
【００６３】
このようなカラオケシステム１によれば、たとえば利用者Ｕ１が楽曲Ｘについて第１の言語によりカラオケ歌唱を行う際に、利用者Ｕ２及び利用者Ｕ３は、自己の携帯端末を介して、利用者Ｕ１が楽曲Ｘについて第２の言語によりカラオケ歌唱を行った場合と類似する音声を聴くことができる。従って、第２の言語を母国語とする利用者は、楽曲Ｘのカラオケ演奏と当該音声を合わせて歌として聴くことができる。また、第２の言語による歌詞が音声として放音されるため、第２の言語を母国語とする利用者は、聴覚的に歌詞の内容を理解できる。すなわち、本実施形態に係るカラオケシステム１によれば、カラオケ歌唱を行う利用者と母国語が異なる利用者であっても、カラオケ演奏に合わせて歌を楽しむことができる。
【００６４】
なお、上記実施形態において、送信処理部５００は、合成歌唱音声信号と併せて第２の歌詞データを送信してもよい。この場合、携帯端末は、当該携帯端末が備える表示画面に、第２の歌詞データに基づく歌詞テロップを表示できる。従って、聴衆はカラオケ歌唱を視覚的にも楽しむことができる。
【００６５】
また、楽曲データ記憶部１００は、楽曲毎に、第２の言語によるカラオケ歌唱を評価するためのリファレンスデータを記憶することができる。この場合、抽出部３００は、抽出した歌唱音声データを、リファレンスデータに基づいて補正して出力することができる。
【００６６】
リファレンスデータは、楽曲の主旋律等を示す音高データである。リファレンスデータは、利用者によるカラオケ歌唱を採点する際の基準として用いられる。
【００６７】
たとえば、上記実施形態の例において、利用者Ｕ１の歌唱音声から抽出された音高データは、日本語でカラオケ歌唱を行った場合の音高に基づく。ところで、ある歌詞を日本語で歌唱した場合の音高と英語で歌唱した場合の音高を比べたときに、先頭の音高が一致している場合であっても音節としてみると音高のずれが生じている場合もありうる。
【００６８】
そこで、抽出部３００は、抽出した音高データのうち、第１の言語と第２の言語で音高が異なる部分については、第２の言語のリファレンスデータが示す音高で置き換える。
【００６９】
作成部４００は、補正された歌唱音声データを用いて合成歌唱音声信号を作成する。このような合成歌唱音声信号に基づく音声は、第２の言語を母国語とする利用者がカラオケ歌唱した場合に近い音声である。従って、たとえば第２の言語が英語の場合、聴衆は、英語としてより自然な音声として聴くことができる。
【００７０】
＜第２実施形態＞
次に、第２実施形態に係るカラオケシステムについて説明する。本実施形態では、カラオケ歌唱を行っている利用者と母国語が異なる利用者に対してのみ合成歌唱音声信号を送信する例について述べる。第１実施形態と同様の構成については詳細な説明を省略する。
【００７１】
本実施形態に係る利用者情報記憶部１０ａは、利用者の母国語を示す母国語情報を、利用者識別情報と関連付けて記憶する。
【００７２】
たとえば、図１に示した利用者Ｕ１及び利用者Ｕ２の母国語情報は「日本語」である。一方、利用者Ｕ３の母国語情報は「英語」である。母国語情報の記憶は、たとえば声質データを記憶する際に併せて行うことができる。
【００７３】
本実施形態に係る送信処理部５００は、聴衆の母国語情報に基づいて、第２の言語を母国語とする聴衆のみに合成歌唱音声信号を送信する。
【００７４】
たとえば、第１実施形態と同様、利用者Ｕ１が楽曲Ｘのカラオケ歌唱を日本語で行ったとする。
【００７５】
この場合、カラオケ装置Ｋは、サーバ装置Ｓに対して聴衆である利用者Ｕ２及び利用者Ｕ３の利用者ＩＤを送信する。サーバ装置Ｓは、利用者Ｕ２及び利用者Ｕ３の利用者ＩＤに基づいて、各利用者の母国語情報を利用者情報記憶部１０ａから読み出し、カラオケ装置Ｋに送信する。
【００７６】
その後、作成部４００は、利用者Ｕ１のカラオケ歌唱に伴って合成歌唱音声信号を作成する。
【００７７】
送信処理部５００は、作成された合成歌唱音声信号を送信する際に、当該信号の作成に用いた第２の歌詞データに対応する第２の言語を特定する。送信処理部５００は、特定した第２の言語と、サーバ装置Ｓから受信した母国語情報に対応する言語とを比較する。送信処理部５００は、第２の言語と母国語情報に対応する言語が一致する利用者に対してのみ合成歌唱音声信号を送信する。
【００７８】
上述の通り、利用者Ｕ１は楽曲Ｘのカラオケ歌唱を日本語で行っている。よって、送信処理部５００は、楽曲Ｘの第２の言語（英語）と、母国語情報に対応する言語が一致する利用者Ｕ３（母国語が英語）について合成歌唱音声信号を送信する。一方、送信処理部５００は、楽曲Ｘの第２の言語（英語）と、母国語情報に対応する言語が一致しない利用者Ｕ２（母国語が日本語）については合成歌唱音声信号を送信しない。
【００７９】
このように、本実施形態に係るカラオケシステム１における利用者情報記憶部１０ａは、利用者の母国語を示す母国語情報を、利用者識別情報と関連付けて記憶する。また、送信処理部５００は、聴衆の母国語情報に基づいて、第２の言語を母国語とする聴衆のみに前記合成歌唱音声信号を送信する。
【００８０】
このように、第２の言語と同じ母国語である利用者に対してのみ合成歌唱音声信号を送信することにより、当該利用者はカラオケ演奏に合わせて歌を楽しむことができる。一方、カラオケシステム１は、第２の言語を母国語としない利用者（たとえば、カラオケ歌唱されている第１の言語を母国語とする利用者）の携帯端末に対して、合成歌唱音声信号を送信する処理を省略できる。
【００８１】
＜その他＞
上記実施形態におけるカラオケシステム１をカラオケ装置Ｋのみで構成することも可能である。
【００８２】
このようなカラオケ装置Ｋは、カラオケ演奏を行うための演奏データ、第１の言語による第１の歌詞データ、及び当該第１の言語とは異なる第２の言語による第２の歌詞データを、楽曲毎に記憶する楽曲データ記憶部１００と、カラオケ装置Ｋの利用者が所有する携帯端末を介して行われたログイン操作に応じて、当該利用者の利用者識別情報を取得するログイン処理部２００と、ある楽曲の演奏データに基づくカラオケ演奏に合わせて利用者が第１の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部３００と、抽出した歌唱音声データ、カラオケ演奏に合わせて読み出した第２の歌詞データ、及びカラオケ歌唱を行う利用者の声質を示す声質パラメータに基づいて、合成歌唱音声信号を作成する作成部４００と、ログイン操作を行った複数の利用者のうち、カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した合成歌唱音声信号を送信する送信処理部５００と、を有する。
【００８３】
この例において、声質パラメータは、たとえばサーバ装置Ｓから取得することができる。また、サーバ装置Ｓが備える利用者情報記憶部１０ａに相当する構成をカラオケ装置Ｋ側に設けてもよい。この場合、カラオケ装置Ｋが備える記憶部４３の記憶領域の一部が利用者情報記憶部１０ａとして機能する。或いは、声質パラメータは、カラオケ装置Ｋを利用する際に都度、取得してもよい。
【００８４】
上記実施形態では、一の楽曲について異なる言語による歌詞データが２つ（第１の歌詞データ及び第２の歌詞データ）記憶されていた。一方、一の楽曲について、異なる言語による歌詞データが３つ以上（たとえば、日本語による歌詞データ、英語による歌詞データ、及び中国語による歌詞データ）が記憶されていてもよい。
【００８５】
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８６】
１  カラオケシステム
１０ａ  利用者情報記憶部
１００  楽曲データ記憶部
２００  ログイン処理部
３００  抽出部
４００  作成部
５００  送信処理部
Ｋ  カラオケ装置
Ｓ  サーバ装置
【図１】
2020086113.tif 000003
【図２】
2020086113.tif 000004
【図３】
2020086113.tif 000005
【図４】
2020086113.tif 000006
【図５】
2020086113.tif 000007