(57)【特許請求の範囲】
【請求項１】
音声入力手段と、旋律データベースと、制御手段を備え、利用者の希望曲を旋律検索してカラオケ装置に演奏予約するシステムであって、
旋律データベースは、多数のカラオケ楽曲の主旋律データを楽曲ＩＤに対応付けて記憶し、
制御手段は、第１〜４処理を行い、
第１処理は、音声入力手段より入力された音声信号の音楽的時系列変化に基づいて旋律片データを生成し、
第２処理は、旋律片データと旋律データベースの主旋律データを、音高を相対化して絶対音高を無視した比較検索を行い、類似度の高い主旋律データを選出するとともに、当該選出した主旋律データ毎に、旋律片データとのキーの差分に基づく演奏キー指定情報を生成し、
第３処理は、第２処理で選出した主旋律データに対応するカラオケ楽曲を利用者に提示し、
第４処理は、第３処理で提示した中から利用者により選択されたカラオケ楽曲の楽曲ＩＤと演奏キー指定情報とを含む演奏予約信号をカラオケ装置に出力する
旋律検索式カラオケ演奏予約システム。
【請求項２】
旋律データベースと、制御手段とを備え、カラオケ付属コンピュータと通信可能な旋律検索サーバーであって、
旋律データベースは、多数のカラオケ楽曲の主旋律データを楽曲ＩＤに対応付けして記憶し、
制御手段は、カラオケ付属コンピュータから受信した旋律片データと、旋律データベースの主旋律データを、音高を相対化して絶対音高を無視した比較検索を行い、類似度の高い主旋律データを選出するとともに、当該選出した主旋律データ毎に旋律片データとのキーの差分に基づくキー情報を生成し、当該選出した主旋律データに対応するカラオケ楽曲の楽曲ＩＤと当該キー情報の組みをレポートとしてカラオケ付属コンピュータに送信する
旋律検索サーバー。
【請求項３】
ユーザインタフェースと、制御手段を備え、旋律検索サーバーと通信可能なカラオケ付属コンピュータであって、
ユーザインタフェースは、音声入力手段を含み、利用者の入力を受け付けるとともに利用者に情報を提示し、
制御手段は、クエリー処理と、レポート処理と、予約処理とを行い、
クエリー処理は、音声入力手段より入力された音声信号の音楽的時系列変化に基づいて旋律片データを生成して検索サーバーに送信し、
レポート処理は、検索サーバーからレポートを受信し、レポートにある楽曲ＩＤのカラオケ楽曲を利用者に提示して予約入力を受け付け、
予約処理は、予約入力のあったカラオケ楽曲の楽曲ＩＤと、レポートにて当該楽曲ＩＤと組みになっているキー情報に基づく演奏キー指定情報とを含む演奏予約信号をカラオケ装置に出力する
カラオケ付属コンピュータ。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
この発明は、カラオケ装置にカラオケ楽曲の演奏を予約する方法に関し、とくに、利用者のハミングやスキャットの音声入力に基づき演奏予約する楽曲を旋律検索するとともに演奏キーを設定する方法に関する。
【０００２】
【従来の技術】
一般に、カラオケ装置に歌いたい楽曲の演奏予約をするには、タイトルや歌手名、楽曲ＩＤなどが対応づけられて一覧表記されたカラオケ目次本と呼ばれる冊子を用いて選曲番号を調べる。２万曲もの楽曲を掲載した目次本はかなり分厚くなり、これを手めくりして曲を検索するのは面倒である。そこでノート型パソコンのようなコンピュータを用い、▲１▼文字入力に基づいて楽曲データベースを検索する電子目次本システム（例えば特開２０００？２００７７号公報）や、▲２▼曲名や歌手名や歌詞の一部を音声入力して楽曲データベースを検索するシステム（例えば特開２０００−２１４８４９号公報）や、▲３▼ハミングやスキャットで楽曲の一部のフレーズを音声入力して楽曲データベースを検索する旋律検索システム（例えば特開２０００−１７２６９３号公報）などが開発されている。
【０００３】
よく知られているように、一般的なカラオケ装置はキーコントロール機構を備えている。リモコンやカラオケ装置本体の操作パネルを操作することで、デフォルトのキー設定に対して実演奏のキーを半音単位で上げたり下げたりすることができる。半音上げると「＋１」と表示され、さらに半音上げると「＋２」と表示される。同様に半音下げると「−１」と表示される。これを使って歌唱者は自分の好みに合わせて伴奏音楽の音域をスライドさせることができる。
【０００４】
一般的には、デフォルトのキー設定で演奏した場合、元歌作品と異なるキーで演奏されるように制作されているカラオケ楽曲が多い。これは、歌唱力に優れたプロ歌手と同じキーで素人が歌うことは難しいことが多いためで、平均的な歌唱力を持つ人が気持ちよく歌える音域になるように、元歌作品より音域を上げたり下げたりして標準演奏するように制作されている。
【０００５】
前述のカラオケ目次本には、各楽曲欄に「原曲キー設定」という項目があり、この欄には「＋３」「＋２」「＋１」「０」「−１」などの数値が印刷表記されている。これは、各カラオケ楽曲のデフォルト設定のキーと元歌作品（原曲）のキーとの差分を示す半音単位の数値であり、そのカラオケ楽曲を元歌作品と同じ音域で歌うために、キーコントロール機構の設定をどのようにすればよいのかを表している。「原曲キー設定」が「０」の楽曲はデフォルト設定のままで元歌作品と同じ音域で演奏される。また「＋１」は元歌作品のキーがカラオケ楽曲のキーより半音高いことを示しており、これを演奏するときにキーコントロール機構で「＋１」にキー変更すると、元歌作品と同じ音域で歌える。同様に「−１」と表記された楽曲は、キー設定を半音下げることで元歌作品と同じ音域になる。
【０００６】
【発明が解決しようとする課題】
前述した音声入力式の旋律検索システムにおいて、カラオケ装置で歌いたい曲のサビ部分などの旋律をハミングやスキャットで音声入力して該当の曲を検索する、より優れた実用的な方法について、本発明者らは開発と試験を繰り返した。その過程で、ハミングやスキャットで音声入力した旋律片（フレーズ）のキー（旋律の音高）が人によって異なることに気が付いた。これはごく当然のことではあるが、各人は覚えている旋律を自分が自然に発声できる音域で口ずさむのである。
【０００７】
このことに着目した本発明者らは、音声入力式の旋律検索システムによってカラオケ装置に予約する楽曲を選定する際に、演奏時のキー設定も歌唱者にあわせて自動化しようと考えた。つまり、旋律検索時に音声入力されたフレーズと同じ高さに（あるいは少し高めに）カラオケ伴奏音楽の演奏キーを自動設定すれば、その音声を検索入力した歌唱者自身にとってちょうど歌いやすいキーとなるはずである。この着想に基づいて本発明は、カラオケ装置に演奏予約しようとする楽曲を音声入力式の旋律検索システムで探し出す処理と並行して、音声入力した旋律片の音高情報に基づいて、検索結果である楽曲をカラオケ装置で演奏する際のキー変更値データを自動的に生成するようにした。
【０００８】
【課題を解決するための手段】
この発明に係る旋律検索式カラオケ演奏予約システムは、つぎの事項（11）〜（17）により特定されるものである。
（11）音声入力手段と、旋律データベースと、制御手段を備え、利用者の希望曲を旋律検索してカラオケ装置に演奏予約するシステムであること
（12）旋律データベースは、多数のカラオケ楽曲の主旋律データを楽曲ＩＤに対応付けて記憶すること
（13）制御手段は、第１〜４処理を行うこと
（14）第１処理は、音声入力手段より入力された音声信号の音楽的時系列変化に基づいて旋律片データを生成すること
（15）第２処理は、旋律片データと旋律データベースの主旋律データを、音高を相対化して絶対音高を無視した比較検索を行い、類似度の高い主旋律データを選出するとともに、当該選出した主旋律データ毎に、旋律片データとのキーの差分に基づく演奏キー指定情報を生成すること
（16）第３処理は、第２処理で選出した主旋律データに対応するカラオケ楽曲を利用者に提示すること
（17）第４処理は、第３処理で提示した中から利用者により選択されたカラオケ楽曲の楽曲ＩＤと演奏キー指定情報とを含む演奏予約信号をカラオケ装置に出力すること
【０００９】
この発明に係る旋律検索サーバーは、つぎの事項（21）〜（23）により特定されるものである。
（21）旋律データベースと、制御手段とを備え、カラオケ付属コンピュータと通信可能な旋律検索サーバーであること
（22）旋律データベースは、多数のカラオケ楽曲の主旋律データを楽曲ＩＤに対応付けして記憶すること
（23）制御手段は、カラオケ付属コンピュータから受信した旋律片データと、旋律データベースの主旋律データを、音高を相対化して絶対音高を無視した比較検索を行い、類似度の高い主旋律データを選出するとともに、当該選出した主旋律データ毎に旋律片データとのキーの差分に基づくキー情報を生成し、当該選出した主旋律データに対応するカラオケ楽曲の楽曲ＩＤと当該キー情報の組みをレポートとしてカラオケ付属コンピュータに送信すること
また、この発明に係るカラオケ付属コンピュータは、つぎの事項（31）〜（36）により特定されるものである。
（31）ユーザインタフェースと、制御手段を備え、旋律検索サーバーと通信可能なカラオケ付属コンピュータであること
（32）ユーザインタフェースは、音声入力手段を含み、利用者の入力を受け付けるとともに利用者に情報を提示すること
（33）制御手段は、クエリー処理と、レポート処理と、予約処理とを行うこと
（34）クエリー処理は、音声入力手段より入力された音声信号の音楽的時系列変化に基づいて旋律片データを生成して検索サーバーに送信すること
（35）レポート処理は、検索サーバーからレポートを受信し、レポートにある楽曲ＩＤのカラオケ楽曲を利用者に提示して予約入力を受け付けること
（36）予約処理は、予約入力のあったカラオケ楽曲の楽曲ＩＤと、レポートにて当該楽曲ＩＤと組みになっているキー情報に基づく演奏キー指定情報とを含む演奏予約信号をカラオケ装置に出力すること
【００１０】
【発明の実施の形態】
＝＝＝システム構成例＝＝＝
多数の客室があるカラオケ店舗に装備されるカラオケ集合システムに本発明を適用したシステム構成例を図１に示している。各客室にそれぞれ設置されたカラオケ演奏端末１および客室多用途端末２と、店舗に設置された１台の店舗サーバー３とを備え、これらがＬＡＮ８により接続されてクライアントサーバーシステムが構成されている。
【００１１】
各カラオケ演奏端末１は、直接または宅内交換機を介して公衆電話回線４に接続され、公衆電話回線４に接続されている外部のカラオケホスト装置５と通信するホスト間通信制御手段と、このホスト間通信制御手段によりカラオケホスト装置５から取得したカラオケデータ（伴奏音楽を生成するデータと歌詞を表示するためのデータを含んでいる）を記憶装置に保存してカラオケ楽曲データベースとして管理する情報処理手段と、リクエスト曲を受け付けて待ち行列管理するユーザインタフェースと、待ち行列に従ってリクエスト曲のカラオケデータをカラオケ楽曲データベースから取り出して伴奏音楽と歌詞とを同期して音響映像出力する演奏制御手段とを備えている。
【００１２】
店舗サーバー３はインターネットなどの外部ネットワーク６に接続していてプロキシーサーバーとして機能し、前記ＬＡＮ接続された各カラオケ演奏端末１および各客室多用途端末２と外部ネットワーク６上で運用されている外部サーバー７との間のＴＣＰ／ＩＰ通信を中継する。
【００１３】
各客室多用途端末２は、タッチパネル付きディスプレイを用いた対話型ＧＵＩ（グラフィカル・ユーザ・インターフェース）と、電話機の送受話器（ハンドセット）のような形態の音声入出力手段と、客室多用途端末２において利用可能なコンテンツ（外部サーバー７が提供する情報サービス）を対話型ＧＵＩにより利用者に提示する手段と、利用者が選択したコンテンツを提供する外部サーバー７に店舗サーバー３を介してアクセスする手段とを備える。各客室多用途端末２にて利用した有料コンテンツの課金情報などを店舗サーバー３が記録して管理者に適時に提示する。
【００１４】
＝＝＝旋律検索処理の概要＝＝＝
この実施例においては、図１のシステム構成例の各客室多用途端末２が前記旋律検索システムのクライアントコンピュータであり、外部ネットワーク６上で運用されている特定の外部サーバー７が前記旋律検索システムのサーバーコンピュータに相当する（これを検索サーバー７とする）。各客室多用途端末２が店舗内ＬＡＮ８・店舗サーバー３・外部ネットワーク６を介して検索サーバー７とＴＣＰ／ＩＰ通信を行い、楽曲検索クエリーと検索レポートをやり取りする。
【００１５】
検索サーバー７は、ＭＩＤＩなどの電子楽譜形式でデータ表現された多数の楽曲の歌唱パートの旋律データを楽曲ＩＤをキーとして集約した旋律データベースを備えている。旋律データベースには、カラオケ演奏端末１において各楽曲を標準演奏する際のデフォルト設定キーの情報（元歌作品からのキー変更値）も含まれている。各客室多用途端末２は、検索対象となるカラオケ楽曲に関する各種の情報（曲名・作曲者・作詞者・ジャンル・使用された映画やテレビドラマやＣＭの名前・カラオケ演奏端末１に対する選曲番号など）が楽曲ＩＤをキーとして集約された楽曲索引データベースを備えている。
【００１６】
利用者は、客室多用途端末２の対話型ＧＵＩによる操作ガイドに従って前記ハンドセットを用いてハミングやスキャットで旋律を発声して入力する。客室多用途端末２は、入力された音声信号をＤＳＰに取り込んでデジタルデータ化してメモリに一時記憶するとともに分析処理し、その音楽的時系列変化を抽出して電子楽譜形式でデータ表現した旋律片データを生成し、これを含んだ楽曲検索クエリーを検索サーバー７に送達する。
【００１７】
楽曲検索クエリーを受け取った検索サーバー７は、前記の旋律片データを手掛かりとして前記旋律データベースを検索し、その旋律片データとの類似度の高い旋律パターンを含んだ楽曲を類似度順にリストアップし、それら楽曲ＩＤのリストを含んだ検索レポートを作成してクエリー起源の客室多用途端末２に送達する。このレポートには各楽曲について後述するキー変更値も含まれている。
【００１８】
検索レポートを受け取った客室多用途端末２では、レポートに報告された楽曲ＩＤのリストに基づいて前記楽曲索引データベースから必要な情報（曲名・作曲者・作詞者・選曲番号など）を取り出し、対話型ＧＵＩの画面に適宜なレイアウトで該当楽曲のリストを表示する。この検索結果報告画面では検索レポートで報告された各楽曲の類似度順に列記する。
【００１９】
利用者は検索結果報告画面に列記された曲名中に意図した楽曲を見つけたら、その曲名にカーソルを合わせて予約コマンドを入力すると、客室多用途端末２から同室のカラオケ演奏端末１にその楽曲の選曲番号とキー変更値データとともに予約コマンドが伝送され、演奏予約がなされる。
【００２０】
＝＝＝音声入力受付プロセス＝＝＝
客室多用途端末２において実行される音声入力受付プロセスの処理手順を図２のフローチャートに示している。旋律検索メニューが選択されると、対話型ＧＵＩの画面に図３に例示するようなメトロノーム映像が表示される。このメトロノームは初期設定テンポで動作し、前記ハンドセットのスピーカーからピッピッという電子メトロノーム音が映像と同期して発生している。対話型ＧＵＩ上のメトロノームの画面にはそのテンポを可変するための操作ガイドも表示されており、利用者が画面にタッチ入力することでメトロノームのテンポを任意に変えることができる。つまり端末２のコンピュータが利用者のタッチ入力に従ってメトロノーム映像のテンポを変化させる（図２のステップ１００、１０１、１０８）。
【００２１】
利用者はメトロノームのテンポを適当に合わせてから、メトロノームが刻むタイミングに合わせて、検索しようとする楽曲の旋律をハミングやスキャットで発声して前記ハンドセットのマイクロホンに入力する。端末２のコンピュータがこれを認知し、メトロノームが刻んでいるテンポで１６拍分の時間だけ入力音声をデジタル録音しながら分析処理を開始する。同時に録音の進行に伴って、利用者に録音がどこまで進んでいるのかを示すためのバーグラフ画像などを対話型ＧＵＩの画面に表示する。利用者は、旋律発声が間違ったと思ったら、やり直しコマンドを入力して、プロセス先頭に戻る。（この部分の動作は図２のステップ１０２、１０３、１０４に相当する）。
【００２２】
端末２のコンピュータは、１６拍分の音声信号を分析してその音楽的時系列変化を抽出し、電子楽譜形式で表現された旋律片データを生成する処理において、リズム音痴判定とピッチ音痴判定を行う（ステップ１０５、１０６）。
【００２３】
リズム音痴判定処理では、音声入力受付プロセスにおいて前記メトロノームにより刻んだタイミングを基準として前記音声信号を解析し、その音声信号の音楽的時系列変化の区切りと前記メトロノーム・タイミングとの同期度合いを算出し、同期度合いが基準に達しているか否かを判定する。もちろん、ある程度までのタイミング差は許容するが、１音符相当の発声タイミングごとのずれや、ずれの合計値が基準を上回るとリズム音痴と判定し、前記対話型ＧＵＩにより利用者に音声入力のやり直しを指示する（ステップ１０９）。
【００２４】
ピッチ音痴判定処理では、音声入力受付プロセスで利用者から取得した音声信号の音高（ピッチ）変化が音楽的な音階に適合しているかどうかを所定の基準で判定する。周知のように、楽譜で表現される音楽の音高は所定の規則性をもった離散値である。そのような音階のもつ離散値に正規化できない大きく外れた音高が入力音声に含まれている場合、これをピッチ音痴と判定し、前記対話型ＧＵＩにより利用者に音声入力のやり直しを指示する（ステップ１１０）。
【００２５】
リズム音痴ともピッチ音痴とも判定されなかった場合は処理を先に進め、利用者からの検索コマンドの入力を待って、音声信号の音楽的時系列変化に基づいて生成した旋律片データを含む楽曲検索クエリーを検索サーバー７に送達することになる（ステップ１０７、１１２）。なお、利用者は検索コマンドを入力せずに音声入力のやり直しを選択することもできる（ステップ１０７、１１１）。
【００２６】
＝＝＝検索プロセス＝＝＝
楽曲検索クエリーを受け取った検索サーバー７において実行される検索プロセスの処理手順を図４のフローチャートに示している。検索サーバー７は楽曲検索クエリーを受け取ると（ステップ２０１）、前記の手掛かり旋律片データの音高を相対化して絶対音高を無視し、旋律データベースに含まれる多数のカラオケ楽曲の歌唱パートの旋律データの中にこれと類似する旋律パターンがあるか否かを検索する（ステップ２０２）。このとき所定のアルゴリズムで類似度を算出し、これが所定の基準以上である旋律パターンを含んだ楽曲を類似度が高い順にリストアップする（ステップ２０３）。
【００２７】
この処理と並行して、検索サーバー７は、リストアップした各楽曲の原曲キーと、ハミングやスキャットの音声入力を起源とした手掛かり旋律片データのキー（これを音声入力のキーと称する）との差分を求める。これは、旋律データベース中の各楽曲の旋律データと手掛かり旋律片データとの比較処理において、高い類似度を検出した部分について、両データの絶対音高の差から求めることができる。
【００２８】
また検索サーバー７が管理する旋律データベースには、各楽曲がカラオケ演奏端末１で標準演奏される場合のデフォルト設定キーの情報も持たせている。このデフォルト設定キーと前記の音声入力のキーとを対照することで、カラオケ演奏端末１において、該当の楽曲を音声入力のキーと同じキーで演奏するには、カラオケ演奏端末１におけるキーコントロール機構をデフォルトのキー設定からどれだけ変更すればよいのか（変更しないのか）が分かる。これが前記キー変更値データであり、この実施例においては検索サーバー７が前記のようにリストアップした各楽曲についてキー変更値データも求め（ステップ２０４）、各楽曲ＩＤと各キー変更値データとを対応づけて検索レポートに記述する（ステップ２０５）。
【００２９】
＝＝＝選曲予約と演奏キーの変更＝＝＝
検索サーバー７からの前記検索レポートを受け取った客室多用途端末２においては、端末２が管理している前記楽曲索引データベースを利用して、前記対話型ＧＵＩに見やすく編集された検索結果報告画面が表示される。その画面には、ハミングやスキャットの音声入力に基づいた旋律検索によりリストアップされた楽曲の曲名や歌手名や選曲番号などの属性情報や、その楽曲が使われたドラマやＣＭのタイトルを紹介する情報を含ませるほか、検索レポートで通知されてきた前記キー変更値データも適当な情報形態で提示する。
【００３０】
ハミングやスキャットの音声入力をした利用者が、客室多用途端末２の対話型ＧＵＩに表示された検索結果報告画面を見て、カーソルなどで意中の楽曲を特定すると、「旋律検索のためにあなたが音声入力した音の高さを基準にすると、カラオケのキー設定を＋２にするとちょうど良いでしょう。それで良ければこのまま予約してください。このおすすめキー設定を変えるには＋か−のアイコンで変更してから予約してください。」といった趣旨の案内メッセージが対話型ＧＵＩに提示される。これによって利用者の操作を促す。検索結果報告画面からある楽曲が演奏予約された場合、客室多用途端末２から同室のカラオケ演奏端末１に対して選曲番号とキー変更値データが伝達され、カラオケ演奏端末１の予約テーブルに登録される。この楽曲の演奏順番がくると、予約テーブルに登録されたキー変更値データに従ってカラオケ伴奏音楽が演奏処理される。
【００３１】
また、キー変更値データを前述の音声入力のキーより少し高めになるように生成してもよい。軽く口ずさむ場合には、はりきってカラオケで歌唱する場合より低いキーで歌うのが普通だからである。
【００３２】
＝＝＝その他の実施例＝＝＝
カラオケ標準演奏時のデフォルト設定キーの情報を、客室多用途端末２が管理している楽曲索引データベースに持たせてもよい。この場合には客室多用途端末２が検索レポートで報告された楽曲について楽曲索引データベースから必要な情報を取り出す際に、デフォルト設定キー情報もあわせて取り出す。またこの場合に検索サーバー７から客室多用途端末２に送達されるキー変更値データは、原曲キーと手掛かり旋律片データのキーとの差分をあらわし、受け取った客室多用途端末２がカラオケ標準演奏用のデフォルト設定キーと比較して演奏時のキー設定値を判断することになる。
【００３３】
また、検索サーバー７と客室多用途端末２を一体化して同一のハードウェアに両機能を載せて本発明の方法を実施することも可能である。検索サーバー７と客室多用途端末２とカラオケ演奏端末１を一体化して１つのハードウェアで本発明の方法を実施することもまた可能である。
【００３４】
【発明の効果】
この発明にかかるカラオケ装置によれば、歌いたい楽曲の曲名や歌手名などがわからなくても一部のフレーズがわかるだけで検索し歌い易いキーで歌うことができる。その結果、カラオケに行き慣れておらず曲名や歌手名に詳しくない人も聞いたことがある曲を歌ってみるなど気楽に利用できるようになり、カラオケ利用者層が増大する効果も期待できる。
【図面の簡単な説明】
【図１】多数の客室があるカラオケ店舗に装備されるカラオケ集合システムに本発明を適用したシステム構成例を示す図である。
【図２】この発明の旋律検索システムにおけるクライアントコンピュータが実行する音声入力受付プロセスの制御手順を示すフローチャートである。
【図３】この発明においてクライアントコンピュータの対話型ユーザインタフェースの画面に表示されるメトロノーム映像の一例を示す図である。
【図４】この発明の旋律検索システムにおける検索サーバーが実行する検索プロセスの処理手順を示すフローチャートである。
【符号の説明】
１  カラオケ演奏端末
２  客室多用途端末
３  店舗サーバー
４  公衆電話回線
５  カラオケホスト装置
６  外部ネットワーク
７  外部のサーバー
８  店舗内のＬＡＮ
【図１】
0003602059.tif 000002
【図２】
0003602059.tif 000003
【図３】
0003602059.tif 000004
【図４】
0003602059.tif 000005