(57)【特許請求の範囲】
【請求項１】
第１通信手段と、第２通信手段と、表示手段と、操作入力手段と、音声入出力手段と、楽曲索引データベースと、制御手段を備えたカラオケ付属コンピュータであって、
第１通信手段は、カラオケ演奏端末に予約コマンドを送信可能とし、
第２通信手段は、ネットワーク上の検索サーバーと通信可能とし、
表示手段は、制御手段の制御により利用者に情報を表示し、
操作入力手段は、利用者入力を受け付け可能とし、
音声入出力手段は、利用者に向けて音響を出力しつつ当該利用者が発する音声を検出可能とし、
楽曲索引データベースは、楽曲ＩＤと、曲名と、カラオケ用の選曲番号の対応付けを集約し、
制御手段は、旋律検索要求の利用者入力を受け付けた際、音声入出力手段よりメトロノーム音を出力するとともに音声入出力手段からの入力音声をデジタル録音し、当該録音データに基づいて電子楽譜形式の旋律片データを生成し、当該旋律片データを含んだ楽曲検索クエリーを検索サーバーに送信し、
制御手段は、楽曲検索クエリーに応答する検索サーバーから楽曲ＩＤリストを含む検索レポートを受信した際、楽曲ＩＤリストに基づいて楽曲索引データベースから該当する各楽曲の曲名を抽出して表示手段に曲名リストを表示させ、曲名リストから１曲を特定した演奏予約指示の利用者入力を受け付け可能とし、
制御手段は、表示中の曲目リストから１曲を特定した演奏予約指示の利用者入力を受け付けた際、当該曲名に該当する選曲番号を楽曲索引データベースから抽出し、当該選曲番号と予約コマンドをカラオケ演奏端末に送信する
カラオケ付属コンピュータ。
【請求項２】
音声入出力手段は、電話機の送受話器と同様な形態を備える
請求項１に記載のカラオケ付属コンピュータ。
【請求項３】
制御手段は、音声入出力手段からの入力音声をデジタル録音するプロセスにおいて、録音する期間の全長と録音済みの区間を識別可能なグラフ画像を生成して表示手段に表示させる
請求項１または２に記載のカラオケ付属コンピュータ。
【請求項４】
制御手段は、音声入出力手段からの入力音声をデジタル録音するプロセスにおいて、やり直しコマンドの利用者入力を受け付け可能とし、やり直しコマンドの利用者入力を受け付けた際、音声入出力手段からの入力音声をデジタル録音するプロセスを最初からやり直す
請求項１〜３のいずれかに記載のカラオケ付属コンピュータ。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
この発明は、カラオケ店舗においてカラオケ演奏端末とともに利用されるカラオケ付属コンピュータに関し、とくに、音声入力式の旋律検索により選曲してカラオケ演奏端末に予約する機能を備えたカラオケ付属コンピュータに関するものである。
【０００２】
【従来の技術】
たとえば特開平２０００−１７２６９３号公報に詳しく解説されているように、音声入力された旋律に基づいて楽曲を検索するつぎのようなシステムが最近開発された。このシステムでは、多数の楽曲の旋律データをデータベース化しておき、利用者がマイクロホンに向けて発声したハミングやスキャットの音声信号をコンピュータで解析し、その音声信号の音楽的時系列変化から旋律を抽出し、その旋律を手掛かりとしてデータベースを検索し、類似した旋律を含んだ楽曲を見つけだす。この旋律検索システムをカラオケ装置と組み合せると、特徴のある旋律を覚えているけれども曲名の分からない楽曲を音声入力でリクエストできるようになる。
【０００３】
【発明が解決しようとする課題】
通信カラオケシステムでは、現状でも２万曲もの楽曲を演奏することができる。このような膨大な曲数の旋律データベースを備えて音声入力による旋律検索を高精度かつ高速に実現するコンピュータシステムはかなり高度なシステムであり、ハードウェアおよびソフトウェアの両面で高価格になる。そのため、この種の旋律検索システムを１台１台のカラオケ装置に付設することは難しく、高度なコンピュータシステムを多数の端末機器で共用するクライアントサーバーシステムが適していると言える。
【０００４】
ハミングやスキャットの音声入力を分析し、その音楽的時系列変化を抽出して旋律片データを作成し、それを手掛かりとして膨大なデータ量の旋律データベースを検索するという処理は非常に複雑であるため、クライアントサーバーシステムを採用しても、一般的なデータベース検索システムと同様な負荷分散の設計手法では、サーバーに負荷が集中してしまい、多数のクライアントからの検索要求に高速に応答できなくなる。
【０００５】
プロの音楽家と違って素人が正確に旋律を口ずさむことは難しい。もともと正確に旋律を覚えていないことも多い。また、音痴気味の人のスキャットは音程やリズムが相当に狂うであろう。そのような不正確な旋律の音声入力がたくさん行われるであろうから、旋律データベースを検索した結果、旋律類似度の高い楽曲が見つからないことも多くなる。そのような結果として無駄になる処理もすべてサーバーに実行させたのでは、有意義な処理を高能率にさばくことは困難である。
【０００６】
この発明は以上のような問題点に鑑みなされたもので、その目的は、利用者にできるだけ正確な旋律を音声入力してもらえるようにガイドするとともに、旋律データベース検索処理手段に対して無駄な検索指示をできるだけ与えないようにし、システムの機能を最大限に有意義に活用できるようにしたクライアントサーバーシステムによる音声入力式の旋律検索技術を提供することにある。
【０００７】
【課題を解決するための手段】
この発明は、音声入力式の旋律検索により選曲してカラオケ演奏端末に予約するカラオケ付属コンピュータに関し、つぎの事項（１）〜（10）のように分説される構成を備えたものである。
（１）第１通信手段と、第２通信手段と、表示手段と、操作入力手段と、音声入出力手段と、楽曲索引データベースと、制御手段を備えたカラオケ付属コンピュータであること
（２）第１通信手段は、カラオケ演奏端末に予約コマンドを送信可能とすること
（３）第２通信手段は、ネットワーク上の検索サーバーと通信可能とすること
（４）表示手段は、制御手段の制御により利用者に情報を表示すること
（５）操作入力手段は、利用者入力を受け付け可能とすること
（６）音声入出力手段は、利用者に向けて音響を出力しつつ当該利用者が発する音声を検出可能とすること
（７）楽曲索引データベースは、楽曲ＩＤと、曲名と、カラオケ用の選曲番号の対応付けを集約すること
（８）制御手段は、旋律検索要求の利用者入力を受け付けた際、音声入出力手段よりメトロノーム音を出力するとともに音声入出力手段からの入力音声をデジタル録音し、当該録音データに基づいて電子楽譜形式の旋律片データを生成し、当該旋律片データを含んだ楽曲検索クエリーを検索サーバーに送信すること
（９）制御手段は、楽曲検索クエリーに応答する検索サーバーから楽曲ＩＤリストを含む検索レポートを受信した際、楽曲ＩＤリストに基づいて楽曲索引データベースから該当する各楽曲の曲名を抽出して表示手段に曲名リストを表示させ、曲名リストから１曲を特定した演奏予約指示の利用者入力を受け付け可能とすること
（10）制御手段は、表示中の曲目リストから１曲を特定した演奏予約指示の利用者入力を受け付けた際、当該曲名に該当する選曲番号を楽曲索引データベースから抽出し、当該選曲番号と予約コマンドをカラオケ演奏端末に送信すること
【０００８】
この発明において、望ましくは、音声入出力手段は、電話機の送受話器と同様な形態を備えるものとする。
【０００９】
この発明において、望ましくは、制御手段は、音声入出力手段からの入力音声をデジタル録音するプロセスにおいて、録音する期間の全長と録音済みの区間を識別可能なグラフ画像を生成して表示手段に表示させることとする。
【００１０】
この発明において、望ましくは、制御手段は、音声入出力手段からの入力音声をデジタル録音するプロセスにおいて、やり直しコマンドの利用者入力を受け付け可能とし、やり直しコマンドの利用者入力を受け付けた際、音声入出力手段からの入力音声をデジタル録音するプロセスを最初からやり直すこととする。
【００１１】
【発明の実施の形態】
＝＝＝システム構成例＝＝＝
多数の客室があるカラオケ店舗に装備されるカラオケ集合システムに本発明を適用したシステム構成例を図１に示している。各客室にそれぞれ設置されたカラオケ演奏端末１および客室多用途端末２と、店舗に設置された１台の店舗サーバー３とを備え、これらがＬＡＮ８により接続されてクライアントサーバーシステムが構成されている。
【００１２】
各カラオケ演奏端末１は、直接または宅内交換機を介して公衆電話回線４に接続し、公衆電話回線４に接続されている外部のカラオケホスト装置５と通信するホスト間通信制御手段と、このホスト間通信制御手段によりカラオケホスト装置５から取得したカラオケデータ（伴奏音楽を生成するデータと歌詞を表示するためのデータを含んでいる）を記憶装置に保存してカラオケ楽曲データベースとして管理する情報処理手段と、リクエスト曲を受け付けて待ち行列管理するユーザインタフェースと、待ち行列に従ってリクエスト曲のカラオケデータをカラオケ楽曲データベースから取り出して伴奏音楽と歌詞とを同期して音響映像出力する演奏制御手段とを備えている。
【００１３】
店舗サーバー３はインターネットなどの外部ネットワーク６に接続していてプロキシーサーバーとして機能し、前記ＬＡＮ接続された各カラオケ演奏端末１および各客室多用途端末２と外部ネットワーク６上で運用されている外部サーバー７との間のＴＣＰ／ＩＰ通信を中継する。
【００１４】
各客室多用途端末２は、タッチパネル付きディスプレイを用いた対話型ＧＵＩ（グラフィカル・ユーザ・インターフェース）と、電話機の送受話器（ハンドセット）のような形態の音声入出力手段と、客室多用途端末２において利用可能なコンテンツ（外部サーバー７が提供する情報サービス）を対話型ＧＵＩにより利用者に提示する手段と、利用者が選択したコンテンツを提供する外部サーバー７に店舗サーバー３を介してアクセスする手段とを備える。各客室多用途端末２にて利用した有料コンテンツの課金情報などを店舗サーバー３が記録して管理者に適時に提示する。
【００１５】
＝＝＝旋律検索処理の概要＝＝＝
この実施例の「音声入力された旋律に基づいて楽曲を検索するクライアントサーバーシステム」においては、図１のシステム構成例の各客室多用途端末２が前記のクライアントコンピュータであり、外部ネットワーク６上で運用されている特定の外部サーバー７が前記のサーバーコンピュータに相当する（これを検索サーバー７とする）。各客室多用途端末２が店舗内ＬＡＮ８・店舗サーバー３・外部ネットワーク６を介して検索サーバー７とＴＣＰ／ＩＰ通信を行い、楽曲検索クエリーと検索レポートをやり取りする。
【００１６】
検索サーバー７は、ＭＩＤＩなどの電子楽譜形式でデータ表現された多数の楽曲の歌唱パートの旋律データを楽曲ＩＤをキーとして集約した旋律データベースを備えている。各客室多用途端末２は、検索対象となるカラオケ楽曲に関する各種の情報（曲名・作曲者・作詞者・ジャンル・使用された映画やテレビドラマやＣＭの名前・カラオケ演奏端末１に対する選曲番号など）が楽曲ＩＤをキーとして集約した楽曲索引データベースを備えている。
【００１７】
利用者は、客室多用途端末２の対話型ＧＵＩによる操作ガイドに従って前記ハンドセットを用いてハミングやスキャットで旋律を発声して入力する。客室多用途端末２は、入力された音声信号をＤＳＰに取り込んでデジタルデータ化してメモリに一時記憶するとともに分析処理し、その音楽的時系列変化を抽出して電子楽譜形式でデータ表現した旋律片データを生成し、これを含んだ楽曲検索クエリーを検索サーバー７に送達する。
【００１８】
楽曲旋律クエリーを受け取った検索サーバー７は、前記の旋律片データを手掛かりとして前記旋律データベースを検索し、その旋律片データとの類似度の高い旋律パターンを含んだ楽曲を類似度順にリストアップし、それら楽曲ＩＤのリストを含んだ検索レポートを作成してクエリー起源の客室多用途端末２に送達する。
【００１９】
検索レポートを受け取った客室多用途端末２では、レポートに報告された楽曲ＩＤのリストに基づいて前記楽曲索引データベースから必要な情報（曲名・作曲者・作詞者・選曲番号など）を取り出し、対話型ＧＵＩの画面に適宜なレイアウトで該当楽曲のリストを表示する。この検索結果報告画面では検索レポートで報告された各楽曲の類似度順に列記する。
【００２０】
利用者は検索結果報告画面に列記された曲名中に意図した楽曲を見つけたら、その曲名にカーソルを合わせて予約コマンドを入力すると、客室多用途端末２から同室のカラオケ演奏端末１にその楽曲の選曲番号と予約コマンドが伝送され、演奏予約がなされる。
【００２１】
＝＝＝音声入力受付プロセス＝＝＝
客室多用途端末２において実行される音声入力受付プロセスの処理手順を図２のフローチャートに示している。旋律検索メニューが選択されると、対話型ＧＵＩの画面に図３に例示するようなメトロノーム映像が表示される。このメトロノームは初期設定テンポで動作し、前記ハンドセットのスピーカーからピッピッという電子メトロノーム音が映像と同期して発生している。対話型ＧＵＩ上のメトロノームの画面にはそのテンポを可変するための操作ガイドも表示されており、利用者が画面にタッチ入力することでメトロノームのテンポを任意に変えることができる。つまり端末２のコンピュータが利用者のタッチ入力に従ってメトロノーム映像のテンポを変化させる（図２のステップ１００、１０１、１０８）。
【００２２】
利用者はメトロノームのテンポを適当に合わせてから、メトロノームが刻むタイミングに合わせて、検索しようとする楽曲の旋律をハミングやスキャットで発声して前記ハンドセットのマイクロホンに入力する。端末２のコンピュータがこれを認知し、メトロノームが刻んでいるテンポで１６拍分の時間だけ入力音声をデジタル録音しながら分析処理を開始する。同時に録音の進行に伴って、利用者に録音がどこまで進んでいるのかを示すためのバーグラフ画像などを対話型ＧＵＩの画面に表示する。利用者は、旋律発声が間違ったと思ったら、やり直しコマンドを入力して、プロセス先頭に戻る。（この部分の動作は図２のステップ１０２、１０３、１０４に相当する）。
【００２３】
端末２のコンピュータは、１６拍分の音声信号を分析してその音楽的時系列変化を抽出し、電子楽譜形式で表現された旋律片データを生成する処理において、リズム音痴判定とピッチ音痴判定を行う（ステップ１０５、１０６）。
【００２４】
リズム音痴判定処理では、音声入力受付プロセスにおいて前記メトロノームにより刻んだタイミングを基準として前記音声信号を解析し、その音声信号の音楽的時系列変化の区切りと前記メトロノーム・タイミングとの同期度合いを算出し、同期度合いが基準に満たしているか否かを判定する。もちろん、ある程度までのタイミング差は許容するが、１音符相当の発声タイミングごとのずれや、ずれの合計値が基準を上回るとリズム音痴と判定し、前記対話型ＧＵＩにより利用者に音声入力のやり直しを指示する（ステップ１０９）。
【００２５】
ピッチ音痴判定処理では、音声入力受付プロセスで利用者から取得した音声信号の音高（ピッチ）変化が音楽的な音階に適合しているかどうかを所定の基準で判定する。周知のように、楽譜で表現される音楽の音高は所定の規則性をもった離散値である。そのような音階のもつ離散値に正規化できない大きく外れた音高が入力音声に含まれている場合、これをピッチ音痴と判定し、前記対話型ＧＵＩにより利用者に音声入力のやり直しを指示する（ステップ１１０）。
【００２６】
リズム音痴ともピッチ音痴とも判定されなかった場合は処理を先に進め、利用者からの検索コマンドの入力を待って、音声信号の音楽的時系列変化に基づいて生成した旋律片データを含む楽曲検索クエリーを検索サーバー７に送達することになる（ステップ１０７、１１２）。なお、利用者は検索コマンドを入力せずに音声入力のやり直しを選択することもできる（ステップ１０７、１１１）。
【００２７】
【発明の効果】
（Ａ）利用者が発声した音声信号（デジタル録音データ）をサーバーコンピュータに渡すのではなく、その音声信号の音楽的時系列変化に基づいてクライアントコンピュータにて生成した旋律片データをサーバーコンピュータに渡すので、サーバーコンピュータの負担が大いに軽減され、クライアントからサーバーに伝送するデータ量も著しく小さくなり、システム全体としての高能率化に著効を奏する。
【００２８】
（Ｂ）検索しようとする旋律を利用者がハミングやスキャットで発声する際に、ガイドとなるメトロノームの映像を提示し、しかもそのテンポを利用者が自由に変えられるので、音声入力がきわめてやりやすくなり、意図した旋律を正しく入力できる確率が高くなる。したがって、サーバーに無駄な検索を依頼する確率が低減する。
【００２９】
（Ｃ）クライアントコンピュータの処理段階で、前記メトロノームの刻むタイミングを基準にして入力音声がリズム音痴と判断されると、その入力音声に基づくクエリーをサーバーに発行することなく、利用者に音声入力をやり直させる。したがってサーバーに無駄な検索を依頼する確率が低減し、サーバーは結果として有意義な検索を実行する確率が高まる。
【００３０】
（Ｄ）クライアントコンピュータの処理段階で、利用者の入力音声の音高変化が音楽的な音階の特徴から著しく外れている場合、その入力音声に基づくクエリーをサーバーに発行することなく、利用者に音声入力をやり直させる。したがってサーバーに無駄な検索を依頼する確率が低減し、サーバーは結果として有意義な検索を実行する確率が高まる。
【図面の簡単な説明】
【図１】多数の客室があるカラオケ店舗に装備されるカラオケ集合システムに本発明を適用したシステム構成例を示す図である。
【図２】この発明の旋律検索システムにおけるクライアントコンピュータが実行する音声入力受付プロセスの制御手順を示すフローチャートである。
【図３】この発明においてクライアントコンピュータの対話型ユーザインタフェースの画面に表示されるメトロノーム映像の一例を示す図である。
【符号の説明】
１  カラオケ演奏端末
２  客室多用途端末（本発明のクライアントコンピュータ）
３  店舗サーバー
４  公衆電話回線
５  カラオケホスト装置
６  外部ネットワーク
７  外部のサーバー（その中の１台が本発明のサーバーコンピュータである）
８  店舗内のＬＡＮ
【図１】
0004286446.tif 000002
【図２】
0004286446.tif 000003
【図３】
0004286446.tif 000004