(57)【要約】【課題】音声合成に必要となるデータの収集において作業感の抑制を図る。【解決手段】本発明に係るカラオケ装置は、指定された楽曲に対応する演奏情報を演奏部に演奏させる演奏処理と、演奏処理の実行中に入力される歌唱音声情報から音声合成用データを収集し、収集した音声合成用データを演奏中の楽曲に対応する歌詞情報の発音名に対応付けて、ユーザ別の音声合成用データベースに格納する収集処理と、ユーザ別の音声合成用データベース中、不足する音声合成用データを不足音声合成用データとして抽出し、不足音声合成用データに対応する発音名を歌詞情報に含んでいる楽曲を演奏対象として推奨する推奨処理と、を実行可能とする。【選択図】図１０
2015125268.tif 000002
【特許請求の範囲】
【請求項１】
演奏部と、制御部と、を備えたカラオケ装置であって、
前記演奏部は、演奏情報に基づく演奏を可能とし、
前記制御部は、演奏処理と、収集処理と、推奨処理とを実行可能とし、
前記演奏処理は、指定された楽曲に対応する演奏情報を前記演奏部に演奏させ、
前記収集処理は、前記演奏処理の実行中に入力される歌唱音声情報から音声合成用データを収集し、収集した音声合成用データを演奏中の楽曲に対応する歌詞情報の発音名に対応付けて、ユーザ別の音声合成用データベースに格納し、
前記推奨処理は、ユーザ別の音声合成用データベース中、不足する音声合成用データを不足音声合成用データとして抽出し、不足音声合成用データに対応する発音名を歌詞情報に含んでいる楽曲を演奏対象として推奨する
カラオケ装置。
【請求項２】
前記推奨処理は、不足音声合成用データに対応する発音名を歌詞情報に含むとともに、ユーザ情報に対応する楽曲を推奨する
請求項１に記載のカラオケ装置。
【請求項３】
前記推奨処理は、推奨対象となる楽曲中、不足音声合成用データを多く含んでいる楽曲を優先して推奨する
請求項１または請求項２に記載のカラオケ装置。
【請求項４】
音声合成用データベースに格納した音声合成用データに基づいて音声合成処理を実行する
請求項１から請求項３の何れか１項に記載のカラオケ装置。
【請求項５】
前記音声合成処理は、前記演奏処理に同期して実行される
請求項４に記載のカラオケ装置。
【請求項６】
前記収集処理は、歌唱音声情報中、歌詞情報の発音名の歌唱タイミングに対応する時間領域から、当該発音名に対応する音声合成用データを収集する
請求項１から請求項５の何れか１項に記載のカラオケ装置。
【請求項７】
前記収集処理は、歌唱音声情報を分析して、歌詞情報の発音名に対応する音声合成用データを収集する
請求項１から請求項６の何れか１項に記載のカラオケ装置。
【請求項８】
演奏処理と、収集処理と、推奨処理とをコンピュータに実行させるカラオケ用プログラムであって、
前記演奏処理は、指定された楽曲に対応する演奏情報を演奏させ、
前記収集処理は、前記演奏処理の実行中に入力される歌唱音声情報から音声合成用データを収集し、収集した音声合成用データを演奏中の楽曲に対応する歌詞情報の発音名に対応付けて、ユーザ別の音声合成用データベースに格納し、
前記推奨処理は、ユーザ別の音声合成用データベース中、不足する音声合成用データを不足音声合成用データとして抽出し、不足音声合成用データに対応する発音名を歌詞情報に含んでいる楽曲を演奏対象として推奨する
カラオケ用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏にあわせて歌唱を楽しむことのできるカラオケ装置、並びに、パーソナルコンピュータ等の各種情報処理装置で実行可能なカラオケ用プログラムに関する。
【背景技術】
【０００２】
音声合成技術の分野では、その技術進歩により、文章の読み上げにおいて音声合成を行うのみならず、楽曲の歌唱を音声合成することが行われている。このような音声合成による歌唱は、インターネットによる配信等を媒体として、従来の人による歌唱と同様、人気を集めている。
【０００３】
特許文献１には、このような音声合成技術を使用して歌唱を行う音声合成システムについて、音声合成に必要とするパラメータを抽出することが開示されている。この音声合成システムでは、ユーザの歌唱音声から音声合成に用いる音声パラメータを取得し、曲調から、感情（明るい、暗い）を特定して、音声パラメータと感情とを対応付けて記憶する。このように取得した音声パラメータを使用することで、合成音として出力する音に対する発声者の特徴を多様化することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１１４１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
発声者の特徴を多様化する、歌唱においては歌唱の表現を豊かにするためには、特許文献１において、同じ発音名「あ」であっても、感情毎に音声パラメータを取得しているように多数の音声合成用データが必要となる。特許文献１では、歌唱中に音声合成用データを取得することが可能であるが、どの楽曲を歌唱することで、必要とされる音声合成用データを収集することができるかについては開示されておらず、効率的に音声合成用データを収集することができなかった。
【０００６】
また、従来の音声合成では、ある発声者の音声合成用データを取得するため、対象となる発声者は意味の無い文章を延々と読み上げる必要があり、発声者に対しては負荷の大きい作業となっていた。このように音声合成の品質を向上させるためには、多数の音声パラメータが必要とされるところ、発声者に対する作業量、負荷は大きいものであった。
【課題を解決するための手段】
【０００７】
上述する課題を解決するため、本発明に係るカラオケ装置は、以下の構成を採用するものである。
演奏部と、制御部と、を備えたカラオケ装置であって、
前記演奏部は、演奏情報に基づく演奏を可能とし、
前記制御部は、演奏処理と、収集処理と、推奨処理とを実行可能とし、
前記演奏処理は、指定された楽曲に対応する演奏情報を前記演奏部に演奏させ、
前記収集処理は、前記演奏処理の実行中に入力される歌唱音声情報から音声合成用データを収集し、収集した音声合成用データを演奏中の楽曲に対応する歌詞情報の発音名に対応付けて、ユーザ別の音声合成用データベースに格納し、
前記推奨処理は、ユーザ別の音声合成用データベース中、不足する音声合成用データを不足音声合成用データとして抽出し、不足音声合成用データに対応する発音名を歌詞情報
に含んでいる楽曲を演奏対象として推奨する。
【０００８】
さらに本発明に係るカラオケ装置において、
前記推奨処理は、不足音声合成用データに対応する発音名を歌詞情報に含むとともに、ユーザ情報に対応する楽曲を推奨する。
【０００９】
さらに本発明に係るカラオケ装置において、
前記推奨処理は、推奨対象となる楽曲中、不足音声合成用データを多く含んでいる楽曲を優先して推奨する。
【００１０】
さらに本発明に係るカラオケ装置は、
音声合成用データベースに格納した音声合成用データに基づいて音声合成処理を実行する。
【００１１】
さらに本発明に係るカラオケ装置において、
前記音声合成処理は、前記演奏処理に同期して実行される。
【００１２】
さらに本発明に係るカラオケ装置において、
前記収集処理は、歌唱音声情報中、歌詞情報の発音名の歌唱タイミングに対応する時間領域から、当該発音名に対応する音声合成用データを収集する。
【００１３】
さらに本発明に係るカラオケ装置において、
前記収集処理は、歌唱音声情報を分析して、歌詞情報の発音名に対応する音声合成用データを収集する。
【００１４】
また本発明に係るカラオケ用プログラム装置は、
演奏処理と、収集処理と、推奨処理とをコンピュータに実行させるカラオケ用プログラムであって、
前記演奏処理は、指定された楽曲に対応する演奏情報を演奏させ、
前記収集処理は、前記演奏処理の実行中に入力される歌唱音声情報から音声合成用データを収集し、収集した音声合成用データを演奏中の楽曲に対応する歌詞情報の発音名に対応付けて、ユーザ別の音声合成用データベースに格納し、
前記推奨処理は、ユーザ別の音声合成用データベース中、不足する音声合成用データを不足音声合成用データとして抽出し、不足音声合成用データに対応する発音名を歌詞情報に含んでいる楽曲を演奏対象として推奨する。
【発明の効果】
【００１５】
本発明のカラオケ装置、並びに、カラオケ用プログラムによれば、ユーザ別の音声合成用データベース中、不足する音声合成用データを不足音声合成用データとして抽出し、不足音声合成用データに対応する発音名を歌詞情報に含んでいる楽曲を演奏対象として推奨することで、音声合成処理に必要とされる音声合成用パラメータを効率的に収集することが可能となる。
【００１６】
さらに本発明のカラオケ装置、並びに、カラオケ用プログラムによれば、ユーザ情報に対応する楽曲を推奨することで、ユーザは自分の嗜好する楽曲を歌唱することで必要な音声合成用データを収集することが可能となり、音声合成用データ収集における作業感を軽減することが可能となる。
【００１７】
さらに本発明のカラオケ装置、並びに、カラオケ用プログラムによれば、推奨対象となる楽曲中、不足音声合成用データを多く含んでいる楽曲を優先して推奨することで、音声
合成処理に必要とされる音声合成用パラメータをより効率的に収集することが可能となる。
【００１８】
さらに本発明のカラオケ装置、並びに、カラオケ用プログラムによれば、音声合成用データベースに格納した音声合成用データに基づいて音声合成処理を実行することで、音声合成用データベースに対応するユーザの音声にて、文章の読み上げや歌唱などの音声合成を行うことが可能となる。
【００１９】
さらに本発明のカラオケ装置、並びに、カラオケ用プログラムによれば、音声合成処理を演奏処理に同期して実行することで、通常の歌唱に対して、音声合成によるコーラス、ハーモニー、あるいは、模範歌唱、デュエットなどを付加することが可能となる。
【００２０】
さらに本発明のカラオケ装置、並びに、カラオケ用プログラムによれば、歌唱音声情報中、歌詞情報の発音名の歌唱タイミングに対応する時間領域から、当該発音名に対応する音声合成用データを収集することで、収集処理における処理負担を軽減することが可能となる。
【００２１】
さらに本発明のカラオケ装置、並びに、カラオケ用プログラムによれば、歌唱音声情報を分析して、歌詞情報の発音名に対応する音声合成用データを収集することで、各発音名に対応した精度の高い音声合成用データを収集することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係るカラオケシステムの構成を示す図
【図２】本発明の実施形態に係るトップ画面を示す図
【図３】本発明の実施形態に係るユーザ情報のデータ構成を示す図
【図４】本発明の実施形態に係る音声合成用データベースの構成例を示す図
【図５】本発明の実施形態に係るユーザ情報の送受信を説明する図
【図６】本発明の実施形態に係るアクティブユーザトップ画面を示す図
【図７】本発明の実施形態に係る楽曲情報のデータ構成を示す図
【図８】本発明の実施形態に係る推奨処理を示すフロー図
【図９】本発明の実施形態に係る音声合成用データの収集について説明するための図
【図１０】本発明の実施形態に係る楽曲推奨画面を示す図
【図１１】本発明の実施形態に係る楽曲確認画面を示す図
【図１２】本発明の実施形態に係る楽曲再生処理を示すフロー図
【図１３】本発明の実施形態に係る音声合成用データ収集の形態を説明するための図
【図１４】本発明の実施形態に係る音声合成用データ収集の形態を説明するための図
【図１５】本発明の実施形態に係る収集結果表示画面を示す図
【発明を実施するための形態】
【００２３】
本実施形態のカラオケ装置は、歌唱を楽しむカラオケ装置において、ユーザの音声を使用した音声合成処理を行うために必要とされる音声合成用データの収集を行うことを可能としたものである。
【００２４】
図１は、本発明の実施形態に係る歌唱投稿システムで使用するカラオケシステムの構成を示したものである。本実施形態におけるカラオケシステムは、カラオケ装置２（コマンダ）と、リモコン装置１を含んで構成されている。なお、図１に示す例では、１台のカラオケ装置２に対して、２台のリモコン装置１ａ、１ｂが使用されている例である。これらリモコン装置１ａ、１ｂの構成は同一であるため、リモコン装置１として説明を行う。カラオケ装置２とリモコン装置１は、ＬＡＮ１００及びアクセスポイント１１０を利用してネットワークを形成するように接続されている。
【００２５】
カラオケボックスなどの店舗に設置されるカラオケ装置２は、楽曲を演奏するための演奏部として音響制御部２５を備えている。また、カラオケ装置２は、ユーザからの各種入力を受け付けるスイッチなどで構成されるカラオケ装置２側の入力部としての操作部２１を備える。カラオケ装置２は、操作部２１からの入力を解釈してＣＰＵ３０に伝達する操作処理部２２を備える。また、カラオケ装置２は、各種情報を記憶するカラオケ装置側記憶部としてのＨＤＤ３２（ハードディスク）を備える。カラオケ装置２は、ＬＡＮ１００に接続してネットワークに加入するためのカラオケ装置側通信手段としてのＬＡＮ通信部２４を備えている。
【００２６】
また、カラオケ装置２は、モニタ４１に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部２９、再生する映像を一時的に蓄積するビデオＲＡＭ２８、再生された映像に対する歌詞テロップの重畳、映像効果を付与する映像制御部３１を備えて構成される。
【００２７】
さらに、このカラオケ装置２では、外部に接続されるモニタ４１以外に、タッチパネルモニタ３３に対して各種情報を表示することを可能としている。タッチパネルモニタ３３は、映像制御部３１から入力された映像情報を表示する表示部３５と、タッチ入力された位置を操作処理部２２に出力するタッチパネル３４を重畳して構成されている。このタッチパネルモニタ３３は、カラオケ装置２の操作部２１、あるいは、リモコン装置１のタッチパネルモニタ１１などと同様、入力部として機能する。ユーザは、タッチパネルモニタ３３から楽曲を選択して、直接カラオケ装置２に予約を行うなど、カラオケ装置２に対する各種操作を行うことが可能である。
【００２８】
さらに、カラオケ装置２は、各構成を統括して制御するためのＣＰＵ３０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ２７を備えて構成される。
【００２９】
このような構成にてカラオケ装置２は、各種処理を実行することとなるが、カラオケ装置２の主な機能として、楽曲指定処理、楽曲再生処理などを実行可能としている。楽曲指定処理は、ユーザからの指定に基づいて楽曲を指定、予約するための処理であってリモコン装置１と連携して実行される。ユーザの操作により、リモコン装置１などの入力部で指定された予約情報をメモリ２７中の予約テーブルに登録する。楽曲再生処理は、予約された楽曲を再生させる処理であって、楽曲演奏処理と歌詞再生処理とが同期して実行される処理である。
【００３０】
楽曲演奏処理は、楽曲情報に含まれる演奏情報に基づき、音響制御部２５に演奏を実行させる処理である。音響制御部２５にて演奏された楽曲は、歌唱用マイク４４ａ、４４ｂから入力される歌唱音声と一緒にスピーカ４２から放音される。歌詞再生処理は、楽曲情報に含まれる歌詞情報をモニタ４１に表示させることで歌唱補助を行う処理である。この歌詞再生処理で表示される歌詞に、背景映像を重畳させて表示させる背景映像表示処理を実行することとしてもよい。
【００３１】
一方、リモコン装置１は、予約情報などカラオケ装置２に対して各種指示を送信するとともに、カラオケ装置２あるいはインターネット上に接続されたホスト装置５から各種情報を受信する。本実施形態では、ユーザインターフェイスとしてボタンなどの操作部１７と、タッチパネルモニタ１１を備えている。タッチパネルモニタ１１は、表示部１１ａとタッチパネル１１ｂを有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザからのタッチ入力を受付可能としている。
【００３２】
さらにリモコン装置１は、楽曲検索に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶するリモコン側記憶部として、メモリ１４、そして、これら構成を統括して制御するためのリモコン側制御部を備えて構成される。リモコン側制御部には、ＣＰＵ１５、タッチパネルモニタ１１に対して表示する映像を形成する映像制御部１３、表示する映像情報を一時的に蓄えるビデオＲＡＭ１２、タッチパネルモニタ１１あるいは操作部１７からの入力を解釈してＣＰＵ１５に伝える操作処理部１８が含まれている。
【００３３】
また、リモコン装置１は、無線ＬＡＮ通信部１６によって、アクセスポイント１１０と無線接続されることで、ＬＡＮ１００によって構成されるネットワークに接続される。なお、各リモコン装置１は、特定のカラオケ装置２に対して事前に対応付けされている。リモコン装置１から出力される各種命令は、対応付けされたカラオケ装置２にて受信されることとなる。
【００３４】
このようなリモコン装置１の構成により、ユーザからの各種入力をタッチパネルモニタ１１、あるいは、操作部１７から受付けるとともに、映像情報をタッチパネルモニタ１１に表示することで各種情報を提供することで、カラオケ装置２に対して楽曲予約などの各種指示を行うことが可能とされている。
【００３５】
では、カラオケシステムの動作について説明を行う。図２は、本発明の実施形態に係るトップ画面、すなわち、リモコン装置１を起動した直後の画面を示す図である。本実施形態では、リモコン装置１の表示部１１ａに表示を行うことで、リモコン装置１を操作するユーザに対して各種情報が提供される。
【００３６】
本実施形態のカラオケシステムは、各リモコン装置１のタッチパネルモニタ１１から認証情報（後述するユーザ識別情報やパスワード）を入力することで、ログインすることが可能となっている。特に、本実施形態のカラオケシステムでは、複数のユーザをログインさせることを可能としており、ログインしたユーザ（ログインユーザ）に関する情報は画面上方に常時表示される。ログインしたユーザの分身像（アバター）を表示するためのログインユーザ欄１０３が設けられている。なお、分身像としては、人、キャラクターを模した像の他、図形や記号など各種形態を採用することができる。
【００３７】
また、アカウントを有していないユーザのためのゲストアイコン１０２、ユーザを切り替えるためのユーザ切り替えスイッチ１０１が表示されている。ログインしたユーザは、ログインユーザ欄１０３に表示される分身像を選択、あるいは、ユーザ切り替えスイッチ１０１を操作することで、自分のユーザ情報を利用した各種サービスを受けることが可能となる。また、アカウントを有していないユーザは、ゲストアイコン１０２を操作することで、選曲など一般的なサービスを受けることが可能となっている。なお、ユーザの切り替えの際には、パスワードなどを使用した認証を行うこととしてもよいが、認証を行うことなく簡易に切り替えることとしてもよい。
【００３８】
図３は、ユーザ毎にホスト装置５に記憶されているユーザ情報を説明するための図である。本実施形態では、ユーザ情報として、個人情報、マイうたテーブル、マイアーティストテーブル、履歴テーブル、音声合成用データベースといった、ユーザに関する各種情報を含んで構成される。このユーザ情報は、ホスト装置５の記憶部５１において記憶管理されている。ユーザ情報には、ユーザがログインするための認証情報（ユーザ識別情報とパスワード）が含まれている。個人情報には、ユーザ名（実際の名前に限ったものでなく、ニックネームであってもよい）、性別、年齢、うた年齢などを含んで構成される。これら各種情報は、リモコン装置１、あるいは、インターネットなどのネットワークに接続された図示しないパーソナルコンピュータ、携帯端末などを使用し、ログインして設定するこ
とも可能である。
【００３９】
マイうたテーブルは、ユーザによって登録された楽曲を記憶するテーブルであって、楽曲識別情報、音程調整値、過去の採点情報（最高点、もしくは、過去複数回のもの）などを含んで構成されている。ユーザは、このマイうたテーブルに基づいて、過去に登録したお気に入りの楽曲を呼び出して予約、演奏することが可能となる。その際、登録した音程調整値を利用することで、自分の歌唱にあった音程で演奏（再生）を行うことも可能である。
【００４０】
マイアーティストテーブルは、ユーザによって登録されたアーティスト（歌手）を記憶するテーブルであって、歌手識別情報を含んで構成されている。ユーザは、このマイアーティストテーブルに基づいて、登録したお気に入りのアーティストの楽曲（持ち歌、あるいは、関連楽曲）を呼び出して予約、演奏することが可能となる。
【００４１】
履歴テーブルは、ユーザが過去に演奏した楽曲に関する各種情報を記録した情報であって、本実施形態では、過去に当該ユーザが予約することで演奏された楽曲について、楽曲の楽曲識別情報、演奏した日時を示す歌唱日時、採点情報などを含んで構成されている。ユーザは、この履歴テーブルに基づいて、過去に演奏した楽曲を呼び出して再度歌唱することが可能である。
【００４２】
音声合成用データベースは、ユーザの音声に基づいて形成された音声合成用データを蓄積したものであって、ユーザが楽曲を歌唱する際に収集が行われる。図４には、本発明の実施形態に係る音声合成用データベースの構成例が示されている。音声合成用データは、発音名に対応付けられており、本実施形態では、「あ」、「い」等の発音表記毎に、周波数の変化形態を示す平坦型、上昇型、下降型に分類されている。楽曲の歌唱時において収集された音声合成用データには、収集欄に丸印が記載され、音声合成用データは音声合成用データベース内にファイルとして登録される（図では登録された音声合成用データのファイル名が示されている）。一方、音声合成用データベース中、不足している音声合成用データの収集欄には「−」が記載されている。
【００４３】
音声合成用データとしては、録音した音声情報の波形を切り出した波形情報の他、録音した音声情報を分析した結果であるパラメータ（フォルマント情報、線形予測係数等）を使用することが可能である。波形情報、パラメータ、何れの形態においても発音名と対応付けた形で音声合成用データベースに登録される。音声合成用データを作成するための技術については、特許文献１等に記載されるようにから既知の技術であるため、ここでは詳細には述べない。
【００４４】
本実施形態の発音名は、発音表記をさらに平坦型、上昇型、下降型に分類した形態となっているが、発音名の分類形態は、「あ」、「い」等の発音表記のみと簡素化することや、各発音表記に対して複数の音程、あるいは、複数の音長を加える等、適宜形態を採用することが可能である。音声合成用データベースを使用した音声合成処理を使用して歌唱を行う場合（歌唱音声合成）には、各発音表記に対して複数の音程を加えることが、品質の高い歌唱音声合成を行う上で好適である。
【００４５】
従来、ある人の音声合成用データベースを作成する場合、無意味な文章を長時間にわたって読み上げさせることで、必要となる音声合成用データを取得することが一般的であった。このような取得方法は、取得対象となる人に対して苦痛を与えることが考えられる。本実施形態のカラオケ装置では、従来の取得方法に代え、カラオケ装置２を使用し、楽曲を歌唱する際に、音声合成に必要とされる音声合成用データを取得し、音声合成用データベースを作成することを特徴としている。このように本実施形態のカラオケ装置２では、
ユーザは歌唱を楽しみつつ、音声合成用データベースを作成することが可能となる。
【００４６】
図５は、ユーザ情報の送受信の様子を示した図である。カラオケ店舗に来店したユーザは、自己のユーザ識別情報とパスワードで構成された認証情報を入力、あるいは、リモコン装置１などに設けられたＩＣカードリーダでＩＣカードに記憶されている認証情報を読み取らせることで認証処理Ｓ１０１を実行する。カラオケ装置２あるいはリモコン装置１は、認証情報をホスト装置５に送信し（Ｓ１０２）、認証情報を受信したホスト装置５は記憶部５１に記憶されたデータベースから、該当するユーザのユーザ情報を抽出し（Ｓ１２１）、問い合わせのあったカラオケ装置２あるいはリモコン装置１に対して送信する（Ｓ１２２）。
【００４７】
ユーザ情報を受信したカラオケ装置２側では（Ｓ１０３）、受信したユーザ情報に基づいて、楽曲指定処理、楽曲再生処理など各種サービス処理を提供する（Ｓ１０４）。ユーザによりログアウトが要求される（Ｓ１０５）とサービス処理を中断し、サービス処理中に発生した各種履歴（ログ）、あるいは、ユーザによる設定変更を反映したユーザ情報をホスト装置５に送信する（Ｓ１０６）。ここで、ユーザ情報は、全ての情報を送信することの他、更新された差分だけを送信してもよい。ユーザ情報を受信したホスト装置５では（Ｓ１２３）、受信したユーザ情報に基づいて記憶部５１に記憶されたデータベースの更新を実行する（Ｓ１２４）。
【００４８】
以上、あるユーザが認証処理（ログイン処理）してから、ログアウトするまでの流れを説明したが、本実施形態のカラオケ装置２、リモコン装置１は、認証された複数人（認証ユーザ）が同時にログインした状態で使用することが可能となっている。図２で説明したユーザインターフェイスを用いることで、サービスを提供するユーザ（以下、「アクティブユーザ」という）を切り替えて使用することが可能となっている。
【００４９】
図６は、本発明の実施形態に係るアクティブユーザトップ画面を示す図である。この図に示されるように、複数人がログインした状態ではログインユーザ欄１０３にログインしたユーザの分身像１０３ａ、１０３ｂ、１０３ｅ（本実施形態では顔部分）が表示される。またログインユーザ欄１０３中、右端に背景がハイライト（白色）で示されるユーザは、アクティブユーザ１０３ｅ（Ａさん）であって、図に示す状態では、このアクティブユーザ１０３ｅに対するサービス、すなわち、アクティブユーザ１０３ｅのユーザ情報を利用したサービスが実行されている状態となっている。このアクティブユーザトップ画面では、「曲を探す」を選択することで、歌手名、楽曲名に基づく検索を行うことができる。
【００５０】
図７には、カラオケ装置２において再生対象となる楽曲情報のデータ構成が示されている。本実施形態の楽曲情報は、楽曲を指定するための楽曲識別子（楽曲ＩＤ）、演奏手段としての音響制御部２５において演奏される演奏情報、映像再生部２９にて再生され、モニタ４１に表示される歌詞情報を含んで構成されている。図７には歌詞情報の詳細が示されている。歌詞情報は、通常、漢字表記を含んで構成されているが、本実施形態では、音声合成用データの収集に必要とされる発音名を含んで構成されている。本実施形態で使用する発音名は、図４で説明した音声合成用データベースの発音名に即した形態となっており、発音表記毎に平坦型、上昇型、下降型を含んで構成されている。したがって、楽曲の歌唱を行った場合、当該楽曲の歌詞情報に含まれる発音名に対応した音声合成用データを取得することが可能となる。
【００５１】
本実施形態のカラオケ装置２では、楽曲の歌唱によって音声合成用データを収集することが可能となっている。特に本実施形態のカラオケ装置２では、不足する音声合成用データを収集可能な楽曲を推奨する推奨処理を行うこととしている。このような推奨処理を実行することで、音声合成用データベース中、不足する音声合成用データを効果的に収集す
ることが可能となる。
【００５２】
推奨処理は、図６に示されるアクティブユーザトップ画面に表示されるメニュー「音声合成用ＤＢ作成」を選択することで開始される。図８には、本発明の実施形態に係る推奨処理を示すフロー図が示されている。推奨処理では、まず、ユーザ情報中の音声合成用データベース中、不足している音声合成用データの検出を行う（Ｓ２０１）。図９には、本発明の実施形態に係る音声合成用データの収集について説明するための図が示されている。図９（Ａ）は、必要となる音声合成用データベースである。この音声合成用データベースは、適宜に設定することが可能である。すなわち、図４に示すように音声合成用データ中、「あ」から「ん」の平坦型、上昇型、下降型の全てを収集対象としてもよい。あるいは、ある楽曲の歌唱音声合成を行うために必要な音声合成用データのみを収集対象として設定することも可能である。
【００５３】
図９（Ｂ）は、収集済みの音声合成用データと、音声合成用データベースから、収集済みの音声合成用データを差し引いた分が、不足分の音声合成用データである。本実施形態では、この不足分の音声合成用データを効率的に収集することを目的としている。
【００５４】
推奨処理では、カラオケ装置２において演奏可能な楽曲を判定する（Ｓ２０２）。そして、Ｓ２０２で取得した楽曲中、Ｓ２０１で検出する不足する音声合成用データを含む楽曲を判定する（Ｓ２０３）。本実施形態では、さらに、不足する音声合成用データを含む楽曲に対し、ユーザの楽曲嗜好性に応じたフィルタリングを行うこととしている（Ｓ２０４）。このようなフィルタリングによって、ユーザの嗜好する楽曲を歌唱することで、音声合成用データベース中、必要とされる音声合成用データを収集することが可能となる。
【００５５】
フィルタリングは、ユーザ情報中、マイうたテーブルに登録された楽曲、マイアーティストテーブルに登録された歌手に対応する楽曲、履歴テーブルに登録された過去に歌唱した楽曲等を選択対象とすることが可能である。このようにユーザ情報と直接的に対応する楽曲のみならず、例えば、履歴テーブルに基づいて判定されたユーザの嗜好ジャンルに対応する楽曲など、間接的に対応する楽曲を選択対象としてもよい。Ｓ２０４のフィルタリング結果は、推奨楽曲として楽曲推奨画面に表示される（Ｓ２０５）。
【００５６】
図１０には、本発明の実施形態に係る楽曲推奨画面が示されている。この楽曲推奨画面は、図６に示されるアクティブユーザトップ画面中、「音声合成用ＤＢ作成」を選択した場合に表示される画面である。楽曲推奨画面には、Ｓ２０３においてユーザ情報に基づいてフィルタリングされた推奨楽曲について、その楽曲名、歌手名、音声合成用ＤＢ（データベース）アップ率が表示されている。本実施形態では、音声合成用ＤＢアップ率の高い順で推奨楽曲を表示している。音声合成用ＤＢアップ率とは、その推奨楽曲を歌唱することで、完成すべき音声合成用データベース中、収集済みの音声合成用データの割合の増加率を示す指数である。ユーザは、この音声合成用ＤＢアップ率を参考にして歌唱したい推奨楽曲を選択することが可能である。
【００５７】
楽曲推奨画面中に表示されている楽曲推奨画面中、ユーザの選択により推奨楽曲が選択された場合、図１１に示される楽曲確認画面が表示される。この楽曲確認画面は、楽曲推奨画面中で選択した推奨楽曲の詳細情報を示す画面であり、ユーザは詳細情報を確認して楽曲の予約を行うことが可能である。本実施形態では、推奨楽曲について、楽曲名、歌手名、歌い出しの他、音声合成用ＤＢ状況が表示されている。音声合成用ＤＢ状況には、現在の音声合成用データベースの取得率、音声合成用ＤＢアップ率、歌唱後の音声合成用データベースの取得率が表示されている。
【００５８】
楽曲確認画面において詳細情報を確認したユーザは、「予約」ボタンを操作することで
、当該推奨楽曲の予約を実行する。予約された推奨楽曲は、その楽曲識別情報が予約テーブルに登録され、楽曲再生処理にて順次、演奏が行われる。
【００５９】
図１２には、本発明の実施形態に係る楽曲再生処理を示すフロー図が示されている。カラオケ装置２において楽曲再生処理が開始されると、メモリ２７等の記憶部に記憶されている予約テーブルをチェック（Ｓ３０１）して次に再生すべき楽曲の有無について判定が行われる。次に再生する楽曲がある場合（Ｓ３０２：Ｙｅｓ）、予約テーブルに登録された楽曲識別情報に対応する楽曲情報の演奏処理が開始される（Ｓ３０３）。また、演奏処理の開始に同期して歌唱録音処理も開始される（Ｓ３０４）。歌唱録音処理は、歌唱するユーザの歌声から音声合成用データを抽出するため、演奏中、歌唱用マイク４４に入力される音声情報を録音する処理である。
【００６０】
楽曲の再生終了が判定された場合（Ｓ３０５：Ｙｅｓ）、歌唱録音処理を終了（Ｓ３０６）し、楽曲の演奏期間中を通じて歌唱音声情報を録音した録音情報に基づいて、音声合成用データベース中、不足する音声合成用データを収集する収集処理を実行する。図１３には、本発明の実施形態に係る音声合成用データ収集の形態を説明するための図が示されている。この図は、歌詞情報の発音名（図１３（Ａ））と演奏期間中に録音した録音情報（図１３（Ｂ））の時間軸上での関係を示したものである。例えば、音声合成用データベース中、不足する音声合成用データが、「く（平坦型）」、「の（平坦型）」の場合、図１３（Ａ）に示す、発音名に対応する演奏期間Ｔ１、Ｔ２が、録音情報の切り出し期間となる。音声合成用データを波形情報とする場合、切り出された録音情報が音声合成用データとなる。また、音声合成用データをパラメータとする場合、切り出された録音情報を分析して得られた結果が音声合成用データとなる。
【００６１】
図１３に示すように発音名に対応する演奏期間を切り出して、そのまま音声合成用データに使用することとしてもよいが、カラオケにおける歌唱では、歌唱者の歌唱タイミングが早かったり、遅かったりする場合がある。そのため、図１４に示すような他の音声合成用データ収集の形態を採用することとしてもよい。
【００６２】
図１４は、図１３と同様、歌詞情報の発音名（図１４（Ａ））と演奏期間中に録音した録音情報（図１４（Ｂ））の時間軸上での関係を示したものである。この形態においても不足する音声合成用データが、「く（平坦型）」、「の（平坦型）」としている。この収集形態では、図１３（Ａ）に示す、発音名に対応する演奏期間Ｔ１、Ｔ２に対して前後に余裕を持った期間を録音情報の切り出し期間としている。したがって、歌唱者の歌唱が、本来の歌唱タイミングよりも早い、あるいは、遅い場合であっても、必要とする発音名の録音情報を切り出すことが可能となる。ただし、この場合、本来必要としない前後の発音名の録音情報が切り出されてしまう。そのため、このような収集形態では、切り出された録音情報を分析して、必要とする発音名の音声合成用データを収集することが必要となる。
【００６３】
図１３、図１４の収集形態では、何れも発音名に対応する演奏タイミングを使用して、録音情報を切り出し、音声合成用データを収集することとしているが、録音情報の切り出しを行うこと無く、録音情報全体を分析することで必要とする発音名の音声合成用データを収集することも考えられる。分析手法としては、発音名に対応する音声合成用データのテンプレートを用意しておき、録音情報中、テンプレートにマッチングした期間を音声合成用データ取得の対象とすることなどが考えられる。
【００６４】
収集処理（Ｓ３０７）で収集された音声合成用データは、対応するユーザのユーザ情報中の音声合成用データベースに格納される。カラオケ装置２では、収集結果をモニタ４１に表示する（Ｓ３０８）。図１５には、本発明の実施形態に係る収集結果表示画面が示さ
れている。本実施形態では、歌唱を終えたユーザの音声合成用データベースの完成度と、今回の歌唱による音声合成用データベースアップ率が示されている。さらに、本実施形態では、歌唱終了後、次に何を歌唱すべきかを推奨する推奨処理（Ｓ２００）を実行することとしている。この推奨処理は、図６のアクティブユーザトップ画面において「音声合成用ＤＢ作成」を選択した場合と同様、音声合成用データベースを完成に近づけるための楽曲を推奨する処理であり、この場合、歌唱者が確認できるようにモニタ４１に推奨楽曲が表示される。この推奨処理（Ｓ２００）では、モニタ４１に表示されている推奨楽曲の中から予約指定できるようにしてもよい。
【００６５】
以上、説明を行った楽曲再生処理中の収集処理を利用することで、ユーザは歌唱を通じて作業感を伴うこと無く、音声合成用データを収集することが可能となる。さらに音声合成用データを収集するための楽曲は、ユーザ情報に基づいたユーザの嗜好に応じて推奨することで、さらに音声合成用データの収集に対する作業感を軽減することが可能となる。音声合成用データベースに格納された音声合成用データは、各種音声合成処理に使用することが可能である。取得した音声合成用データによる音声合成処理は、カラオケ装置２において、通常の歌唱に対して、コーラス、ハーモニー、あるいは、模範歌唱、デュエットなどを付加する歌唱音声合成に使用することが考えられる。あるいは、カラオケ装置２において、文章の読み上げなど、音声によるアナウンスに使用してもよい。
【００６６】
また、本実施例において、図３に示すユーザ情報は、インターネットを介したホスト装置５の記憶５１に記憶しているが、複数のカラオケ装置２が稼動するカラオケボックスなどにおいては、ＬＡＮ１００を介して接続された任意の１台のカラオケ装置２が記憶部５１を備えていてもよい。またナイト市場などにおける小規模な店舗においては、１台のカラオケ装置が記憶部５１を備えていてもよい。
【００６７】
また、カラオケ装置２での使用に限ったものでは無く、パーソナルコンピュータや携帯端末等の各種情報処理装置に、音声合成用データベースを提供することで、各種情報処理装置においてユーザの声に基づく音声合成処理を行うことが可能である。
【００６８】
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００６９】
１ａ、１ｂ…リモコン装置          ２４…ＬＡＮ通信部
１１…タッチパネルモニタ          ２５…音響制御部
１１ａ…表示部                    ２７…メモリ
１１ｂ…タッチパネル              ２８…ビデオＲＡＭ
１２…ビデオＲＡＭ                ２９…映像再生部
１３…映像制御部                  ３０…ＣＰＵ
１４…メモリ                      ３１…映像制御部
１５…ＣＰＵ                      ３２…ＨＤＤ（ハードディスク）
１６…無線ＬＡＮ通信部            ４１…モニタ
１７…操作部                      ４２…スピーカ
１８…操作処理部                  ４４ａ、４４ｂ…歌唱用マイク（マイクロホン）
１９…赤外線通信部                １００…ＬＡＮ
２…カラオケ装置（コマンダ）      １１０…アクセスポイント
２１…操作部                      １２０…ルータ
２２…操作処理部                  ５…ホスト装置
２３…赤外線通信部                ５１…記憶部
【図１】
2015125268.tif 000003
【図２】
2015125268.tif 000004
【図３】
2015125268.tif 000005
【図４】
2015125268.tif 000006
【図５】
2015125268.tif 000007
【図６】
2015125268.tif 000008
【図７】
2015125268.tif 000009
【図８】
2015125268.tif 000010
【図９】
2015125268.tif 000011
【図１０】
2015125268.tif 000012
【図１１】
2015125268.tif 000013
【図１２】
2015125268.tif 000014
【図１３】
2015125268.tif 000015
【図１４】
2015125268.tif 000016
【図１５】
2015125268.tif 000017