(57)【要約】 【課題】  カラオケが行われている環境を適切に推測して、当該環境に合わせてカラオケを行うのに好適なカラオケ装置等を提供する。【解決手段】  カラオケ装置２０１の入力受付部２０２は、第１の音声データの入力を受け付け、記憶部２０３は、第２の音声データをあらかじめ記憶し、混合部２０４は、入力を受け付けられた第１の音声データと、あらかじめ記憶された第２の音声データと、を混合し、出力部２０５は、混合された結果の音声データを出力し、制御部２０６は、入力を受け付けられた第１の音声データに含まれるあらかじめ記憶された第２の音声データの成分の強度にしたがって、混合される当該第１の音声データの混合比を制御する。【選択図】  図２
2005141122.tif 000002
【特許請求の範囲】
【請求項１】
第１の音声データの入力を受け付ける入力受付部、
第２の音声データをあらかじめ記憶する記憶部、
前記入力を受け付けられた第１の音声データと、前記あらかじめ記憶された第２の音声データと、を混合する混合部、
前記混合された結果の音声データを出力する出力部、および、
前記入力を受け付けられた第１の音声データに含まれる前記あらかじめ記憶された第２の音声データの成分の強度にしたがって、前記混合される当該第１の音声データの混合比を制御する制御部
を備えることを特徴とするカラオケ装置。
【請求項２】
請求項１に記載のカラオケ装置であって、
前記制御部は、前記混合される当該第１の音声データの強度が、当該第２の音声データの成分の強度にあらかじめ対応付けられた強度となるように、当該第１の音声データの混合比を制御する
ことを特徴とするもの。
【請求項３】
請求項１に記載のカラオケ装置であって、
前記制御部は、前記混合される当該第１の音声データの混合比が当該第２の音声データの成分の強度に対して単調増加するように、当該第１の音声データの混合比を制御する
ことを特徴とするもの。
【請求項４】
請求項１から３のいずれか１項に記載のカラオケ装置であって、
前記制御部は、当該入力受付部の感度を変更することによって、前記混合される当該第１の音声データの混合比を制御する
ことを特徴とするもの。
【請求項５】
請求項１から３のいずれか１項に記載のカラオケ装置であって、
前記制御部は、前記混合される当該第１の音声データの増幅率を変更することによって、前記混合される当該第１の音声データの混合比を制御する
ことを特徴とするもの。
【請求項６】
請求項１から５のいずれか１項に記載のカラオケ装置であって、
前記制御部は、当該第２の音声データ内の所定の検査用音声データが、混合され、出力されるごとに、当該第１の音声データに含まれる当該所定の検査用音声データの成分の強度を取得して、当該取得された成分の強度によって、以降の当該第１の音声データの混合比を制御する
ことを特徴とするもの。
【請求項７】
請求項６に記載のカラオケ装置であって、
前記記憶部は、当該所定の検査用音声データとして、人間の可聴領域外の音声データをあらかじめ記憶する
ことを特徴とするもの。
【請求項８】
請求項１から６のいずれか１項に記載のカラオケ装置であって、
前記記憶部にかえて、当該第２の音声データをコンピュータ通信網を介して取得する取得部
を備え、
「あらかじめ記憶された第２の音声データ」にかえて「前記コンピュータ通信網を介して取得された第２の音声データ」を用いる
ことを特徴とするもの。
【請求項９】
第１の音声データの入力を受け付ける入力受付工程、
前記入力を受け付けられた第１の音声データと、あらかじめ記憶された第２の音声データと、を混合する混合工程、
前記混合された結果の音声データを出力する出力工程、および、
前記入力を受け付けられた第１の音声データに含まれる前記あらかじめ記憶された第２の音声データの成分の強度にしたがって、前記混合される第１の音声データの混合比を制御する制御工程
を備えることを特徴とするカラオケ方法。
【請求項１０】
コンピュータを、
第１の音声データの入力を受け付ける入力受付部、
第２の音声データをあらかじめ記憶する記憶部、
前記入力を受け付けられた第１の音声データと、前記あらかじめ記憶された第２の音声データと、を混合する混合部、
前記混合された結果の音声データを出力する出力部、および、
前記入力を受け付けられた第１の音声データに含まれる前記あらかじめ記憶された第２の音声データの成分の強度にしたがって、前記混合される第１の音声データの混合比を制御する制御部
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケ装置、カラオケ方法、ならびに、これらをコンピュータにて実現するプログラムに関する。
【背景技術】
【０００２】
従来から、種々のカラオケ装置が提供されている。カラオケ装置では、ＭＩＤＩ（Musical Instrument Digital Interface）データ等で用意された楽曲データや、ＰＣＭ（Pulse Code Modulation）データ等で用意された音声波形データをあらかじめ用意しており、これを伴奏データとして音声出力するとともに、音声出力のタイミングに合わせてテレビジョン装置等の画面に歌詞を表示する。また、カラオケ装置に接続されたマイクから歌い手の音声波形データの入力を受け付け、これと、上記の伴奏データとを適宜混合（mixing；ミキシング）して、スピーカから音声出力する。伴奏データは、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disk ROM）などの情報記録媒体に記録されている場合もあるし、コンピュータ通信網を介して、他の記憶装置から取得可能に構成されている場合もある。このようなカラオケ装置の技術については、たとえば、以下の文献に開示されている。
【特許文献１】特許第２９２５７５９号公報
【０００３】
[特許文献１]では、このようなカラオケ装置において、歌い手の歌唱力を採点する技術が開示されている。
【０００４】
従来、このようなカラオケ装置は、カラオケボックスと呼ばれるカラオケ専用の施設や、各種の飲食店にて利用され、これらの施設においては、スピーカから大きな音量で、伴奏と歌唱とを出力するのが一般的であった。
【０００５】
さらに、コンピュータ技術の発展に伴い、各家庭にあるゲーム装置を利用して、カラオケを楽しむことができる環境が整いつつある。このようなゲーム装置を利用したカラオケでは、ビデオ出力はテレビジョン装置などに接続され、歌詞等を表示するのに用いられる。マイクはゲーム装置に直結され、マイクから入力された音声は、ゲーム装置用のＤＶＤ−ＲＯＭに記憶された伴奏データやコンピュータ通信網を介してダウンロードされた伴奏データとミキシングされて、テレビジョン装置やステレオ装置の音声入力を介してスピーカから出力される。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、音声を出力するのは、スピーカだけとは限らない。たとえば、深夜にカラオケを楽しみたい場合や、１人で練習をしたい場合などは、ヘッドホンやイヤフォンを利用して、ゲーム装置から出力される音声を聞くこともある。このような環境下では、大きな声で発声するのではなく、小さい声で発声して歌を歌いたい場合も多い。
【０００７】
一方で、スピーカから音声を出力するか、ヘッドフォンやイヤフォンから音声を出力するか、を、歌い手が適宜ゲーム装置を操作して設定するのでは煩雑にすぎる。
【０００８】
そこで、どのような環境下でカラオケが行われているかを適切に推測して、選択する技術が強く求められている。
本発明は、このような課題を解決するためになされたもので、カラオケが行われている環境を適切に推測して、当該環境に合わせてカラオケを行うのに好適なカラオケ装置、カラオケ方法、ならびに、これらをコンピュータによって実現するプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する。
本発明の第１の観点に係るカラオケ装置は、入力受付部、記憶部、混合部、出力部、および、制御部を備え、以下のように構成する。
【００１０】
すなわち、入力受付部は、第１の音声データの入力を受け付ける。たとえば、マイクなどが入力受付部として機能し、歌い手が歌う歌の音声データ（歌唱データ）が第１の音声データとなるが、当該第１の音声データには、カラオケが行われている環境下の各種の雑音や、カラオケに直接関係のない音声情報も含まれている。このような、歌唱データ以外にマイクから入力される音声を「環境音」と呼ぶ。
【００１１】
一方、記憶部は、第２の音声データをあらかじめ記憶する。典型的には、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの情報記録媒体に、当該第２の音声データが記録されており、これは、カラオケの伴奏データとなる。なお、ネットワークを介して一時的にゲーム装置のハードディスク等に伴奏データがダウンロードされた場合には、当該ハードディスク等が記憶部に相当することとなる。
【００１２】
さらに、混合部は、入力を受け付けられた第１の音声データと、あらかじめ記憶された第２の音声データと、を混合する。第２の音声データ（伴奏データ）がＭＩＤＩデータである場合には、別途用意された音源データを参照してＭＩＤＩデータを音声波形データであるＰＣＭデータに変換し、これと、第１の音声データ（歌唱データ）であるＰＣＭデータと加算もしくは重み付き加算を行い、必要に応じて飽和演算を採用することとして、ミキシングを行うのである。
【００１３】
そして、出力部は、混合された結果の音声データを出力する。すなわち、ゲーム装置に接続されたステレオ装置やテレビジョン装置のスピーカのほか、ヘッドホンやイヤフォンなどから、伴奏データと歌唱データが出力され、伴奏と歌とが一緒に聞こえることとなる。
【００１４】
一方、制御部は、入力を受け付けられた第１の音声データに含まれるあらかじめ記憶された第２の音声データの成分の強度にしたがって、混合される当該第１の音声データの混合比を制御する。スピーカから音声出力がされている場合には、通常のカラオケの楽しみ方をしていると予想され、ヘッドホンやイヤフォンから音声出力がされている場合には、たとえば深夜にカラオケをしていたり、１人で練習をしていると予想される。
【００１５】
そして、スピーカから音声出力がされている場合は、伴奏データの音声が環境音として入力されることとなる。一方、ヘッドホン等を利用している場合には、伴奏データの音声は環境音となることは（ヘッドホンからの音漏れがない限り）ない。そこで、マイクから入力された第１の音声データ（歌唱データと環境音の和）に、第２の音声データ（伴奏データ）の成分がどの程度含まれているかを調べ、その強度が大きければ、スピーカを用いてカラオケを行っており、小さければ、ヘッドホン等を利用していると推測する。そして、ヘッドホン等を利用している場合には、大きな声で歌う必要がないようにするため、マイクからの音声入力の割合が大きくなるように、入力受付部や混合部を制御するのである。
【００１６】
本発明によれば、カラオケの音声出力をスピーカで楽しんでいるか、それとも、ヘッドフォン等で楽しんでいるかを適切に推測し、それに合わせて、歌唱データをミキシングするときの歌唱データの強度を調整するカラオケ装置を提供することができる。
【００１７】
また、本発明のカラオケ装置において、制御部は、混合される当該第１の音声データの強度が、当該第２の音声データの成分の強度にあらかじめ対応付けられた強度となるように、当該第１の音声データの混合比を制御するように構成することができる。たとえば、あらかじめ、歌唱データの強度を数段階に区分けしておき、それぞれの段階に、歌唱データの出力強度をどの程度とするか、を対応付け、これに応じた混合比を定めておく。そして、対応付けられた出力強度で歌唱データを混合して出力するのである。
本発明は、上記発明の好適実施形態の一つであり、典型的な環境下でのカラオケの行われ方を実験等で調べ、その結果に基づいて適切にマイクからの歌唱データの音量を制御したい場合等に適用することができる。
【００１８】
また、本発明のカラオケ装置において、制御部は、混合される当該第１の音声データの強度が当該第２の音声データの成分の強度に対して単調増加するように、当該第１の音声データの混合比を制御するように構成することができる。
すなわち、マイクに入る伴奏の音声が大きくなればなるほど、歌唱の音声も大きくするように混合比を制御するのである。
本発明は、上記発明の好適実施形態の一つであり、本発明によれば、伴奏の音量と歌唱の音量とを自動的に適切に調整して混合するカラオケ装置を提供することができる。
【００１９】
また、本発明のカラオケ装置において、制御部は、当該入力受付部の感度を変更することによって、混合される当該第１の音声データの混合比を制御する。
ゲーム装置で利用されるマイクに限らず、一般的なマイクであっても、指向性を調整したり、感度を調整できるようになっているものは多い。そこで、本発明では、スピーカを用いた場合にはマイクの感度を低くし、ヘッドフォン等を用いた場合にはマイクの感度を高くすることによって、歌唱データの出力強度を調整する。
本発明は、上記発明の好適実施形態の一つであり、本発明によれば、マイクの感度を自動的に適切に調整して伴奏と歌唱とを混合するカラオケ装置を提供することができる。
【００２０】
また、本発明のカラオケ装置において、制御部は、混合される当該第１の音声データの増幅率を変更することによって、混合される当該第１の音声データの混合比を制御するように構成することができる。
上記のように、ミキシングの際には、重み付き加算を行い、その重みを変更することによって、伴奏と歌唱との出力音量の割合を調整することができる。そこで、本発明では、スピーカを用いた場合にはマイク側の入力の増幅率を低くし、ヘッドフォン等を用いた場合にはマイク側の入力の増幅率を高くすることによって、歌唱データの出力強度を調整する。
本発明は、上記発明の好適実施形態の一つであり、本発明によれば、ミキシングの際のマイク入力の重みを自動的に適切に調整して伴奏と歌唱とを混合するカラオケ装置を提供することができる。
【００２１】
また、本発明のカラオケ装置において、制御部は、当該第２の音声データ内の所定の検査用音声データが、混合され、出力されるごとに、当該第１の音声データに含まれる当該所定の検査用音声データの成分の強度を取得して、当該取得された成分の強度によって、以降の当該第１の音声データの混合比を制御するように構成することができる。
【００２２】
すなわち、伴奏そのものの音声を用いてスピーカかヘッドホン等かを判別するのではなく、カラオケ演奏の始まる前や、カラオケ演奏の途中などの所定のタイミングで、検査用音声データという特別なデータを出力し、このデータがどの程度マイクから入ってくるかによって歌唱データの出力強度を決めるものである。
本発明では、専用の検査用音声データを採用することによって、より正確にスピーカを用いているか、ヘッドホン等を用いているか、を判別することができるようになる。
【００２３】
また、本発明のカラオケ装置において、記憶部は、当該所定の検査用音声データとして、人間の可聴領域外の音声データをあらかじめ記憶するように構成することができる。
すなわち、人間には聞こえない音声を利用して、スピーカを用いているか、ヘッドホン等を用いているか、を判別するのである。
本発明では、たとえばカラオケ演奏の曲の途中であっても、歌い手の歌唱の邪魔にならないように、かつ正確にスピーカを用いているか、ヘッドホン等を用いているか、を判別することができるようになる。
【００２４】
また、本発明のカラオケ装置は、記憶部にかえて、当該第２の音声データをコンピュータ通信網を介して取得する取得部を備え、「あらかじめ記憶された第２の音声データ」にかえて「コンピュータ通信網を介して取得された第２の音声データ」を用いるように構成することができる。
【００２５】
本発明は、上記発明を変形した実施形態に係るものであり、コンピュータ通信網を介して伴奏データがストリーミング配信され、配信と音声出力とがパイプライン的に行われて、ゲーム装置のハードディスク等に伴奏データがダウンロードされない場合に適用されるものである。
本発明によれば、ストリーミング配信によってカラオケの伴奏データが提供される場合であっても、スピーカを用いているか、ヘッドホン等を用いているか、を判別して、適切にマイクからの入力の強度を調整することができるようになる。
【００２６】
本発明の第２の観点に係るカラオケ方法は、入力受付工程、混合工程、出力工程、および、制御工程を備え、以下のように構成する。
すなわち、入力受付工程では、第１の音声データの入力を受け付ける。
一方、混合工程では、入力を受け付けられた第１の音声データと、あらかじめ記憶された第２の音声データと、を混合する。
さらに、出力工程では、混合された結果の音声データを出力する。
【００２７】
そして、制御工程では、入力を受け付けられた第１の音声データに含まれるあらかじめ記憶された第２の音声データの成分の強度にしたがって、混合される第１の音声データの混合比を制御する。
本発明の他の観点に係るプログラムは、コンピュータを、上記のカラオケ装置の各部として機能させ、もしくは、コンピュータに、上記のカラオケ方法の各工程を実行させるように構成する。
【００２８】
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。上記プログラムは、当該プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記録媒体は、当該コンピュータとは独立して配布・販売することができる。
【発明の効果】
【００２９】
本発明によれば、カラオケが行われている環境を適切に推測して、当該環境に合わせてカラオケを行うのに好適なカラオケ装置、カラオケ方法、ならびに、これらをコンピュータによって実現するプログラムを提供することができる。
【発明を実施するための最良の形態】
【００３０】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム装置に本発明が適用される実施形態を説明するが、各種のコンピュータ、ＰＤＡ、携帯電話などの情報処理装置においても同様に本発明を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【実施例１】
【００３１】
図１は、本発明の実施形態の１つに係るカラオケ装置が実現される典型的なゲーム装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【００３２】
ゲーム装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェース１０４と、コントローラ１０５と、外部メモリ１０６と、画像処理部１０７と、ＤＶＤ（Digital Versatile Disk）−ＲＯＭドライブ１０８と、ＮＩＣ（Network Interface Card）１０９と、を備える。
【００３３】
ゲーム用のプログラムおよびデータを記憶したＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、ゲーム装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態のカラオケ装置が実現される。
【００３４】
ＣＰＵ  １０１は、ゲーム装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。
【００３５】
ＲＯＭ  １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ  １０３に読み出してＣＰＵ  １０１による実行が開始される。また、ＲＯＭ  １０２には、ゲーム装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
【００３６】
ＲＡＭ  １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。
【００３７】
インターフェース１０４を介して接続されたコントローラ１０５は、ユーザがカラオケなどのゲーム実行の際に行う操作入力を受け付ける。
【００３８】
インターフェース１０４を介して脱自在に接続された外部メモリ１０６には、カラオケのプレイ状況（過去に歌った楽曲や採点結果等）を示すデータ、ゲームの進行状態を示すデータ、チャット通信のログ（記録）のデータなどが書き換え可能に記憶される。ユーザは、コントローラ１０５を介して指示入力を行うことにより、これらのデータを適宜外部メモリ１０６に記録することができる。
【００３９】
ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ  １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ  １０３等に一時的に記憶される。
【００４０】
画像処理部１０７は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ  １０１や画像処理部１０７が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０７が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０７に接続されるモニタ（図示せず）へ出力される。これにより、各種の画像表示が可能となる。
【００４１】
画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
また、仮想３次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から仮想３次元空間に配置されたポリゴンを俯瞰したレンダリング画像を得る演算の高速実行も可能である。
【００４２】
さらに、ＣＰＵ  １０１と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画することが可能である。フォント情報は、ＲＯＭ  １０３に記録されているが、ＤＶＤ−ＲＯＭに記録された専用のフォント情報を利用することも可能である。
【００４３】
ＮＩＣ  １０９は、ゲーム装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ  １０１との仲立ちを行うインターフェース（図示せず）により構成される。
【００４４】
音声処理部１１０は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず）から出力させる。また、ＣＰＵ  １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。
【００４５】
音声処理部１１０は、ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカに出力することにより、音声出力が可能となる。
【００４６】
さらに、ゲーム装置１００には、インターフェース１０４を介してマイク１１１を接続することができる。この場合、マイク１１１からのアナログ信号に対しては、適当なサンプリング周波数でＡ／Ｄ変換を行い、ＰＣＭ形式のディジタル信号として、音声処理部１１０でのミキシング等の処理ができるようにする。
【００４７】
ゲーム装置１００をカラオケ装置として利用する場合には、ＤＶＤ−ＲＯＭから読み出した音声データ、もしくは、ＮＩＣ  １０９を介してコンピュータ通信網から取得した音声データを伴奏データとし、マイクから入力された音声データを歌唱データとして、伴奏データと歌唱データを音声処理部１１０がミキシングし、スピーカから出力する。また、スピーカにかえて、ヘッドホン（図示せず）やイヤフォン（図示せず）を用いて、音声を出力させることもできる。
【００４８】
このほか、ゲーム装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ  １０２、ＲＡＭ  １０３、外部メモリ１０６、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。
【００４９】
（カラオケ装置の構成）  図２は、上記ゲーム装置１００等の上に実現されるカラオケ装置の概要構成を示す説明図である。図３は、当該カラオケ装置にて実行されるカラオケ方法の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
【００５０】
本実施形態に係るカラオケ装置２０１は、入力受付部２０２、記憶部２０３、混合部２０４、出力部２０５、および、制御部２０６を備える。
【００５１】
ここで、記憶部２０３は、第２の音声データをあらかじめ記憶する。本実施形態では、ＤＶＤ−ＲＯＭドライブ１０８に装着されたＤＶＤ−ＲＯＭや、ＮＩＣ  １０９を介して接続された他のコンピュータのハードディスク等、また、ダウンロードされた楽曲データを一時的に記憶するＲＡＭ  １０３等が、記憶部２０３として機能する。第２の音声データは、カラオケの伴奏データに相当するものである。
【００５２】
なお、コンピュータ通信網を介したストリーム配信により伴奏データを取得する場合には、ストリーム配信を受け付ける取得部（図示せず。）を、当該記憶部２０３のかわりに設けることとし、当該取得部が、ストリーム配信された伴奏データを、第２の音声データとして、随時混合部２０４に与えるような形態を採用することもできる。
【００５３】
まず、入力受付部２０２は、所定時間長の第１の音声データの入力を受け付ける（ステップＳ３０１）。本実施形態では、マイク１１１が入力受付部２０２として機能する。第１の音声データには、歌唱データ（歌い手が歌う歌の音声データ）と、環境音（各種の雑音、カラオケに関係のない外部の音等）とが含まれることとなる。
【００５４】
なお、カラオケ用のマイク１１１としては、指向性が強いものを用いることが多く、また、ヘッドセットなどを用いて歌い手の口の前方にマイク１１１を配置した場合には、歌唱データの平均的な強度と、環境音の平均的な強度とを比較すると、前者は後者よりも遥かに大きいのが一般的である。
【００５５】
入力受付部２０２は、ＲＡＭ  １０３内等に用意された所定のサイズのバッファに、マイク１１１から入力された第１の音声データをＡ／Ｄ変換したデータを記憶する。したがって、以降の処理は、当該所定のサイズのバッファに相当する時間単位で繰り返されることとなる。
【００５６】
なお、マイク１１１からの入力が、当該バッファ長だけ溜まるまでは、以降の処理は開始されない。一方で、マイク１１１からの入力は、上記のように適当なサンプリングレートでＡ／Ｄ変換されて、蓄積されるため、典型的には割り込みや並行処理の技術を用いて行われる。
【００５７】
したがって、ステップＳ３０１においては、第１の音声データについて、バッファ長の断片が蓄積されるまでは、ＣＰＵ  １０１は本処理については待機状態となり、他の処理を並行して実行することができる。
【００５８】
ついで、混合部２０４は、ＲＡＭ  １０３等にあらかじめ用意された変数領域a，bに記憶される重みを取得する（ステップＳ３０２）。
【００５９】
ついで、第２の音声データ（伴奏データ）を先頭から順に、上記所定の時間長の断片を取得する（ステップＳ３０３）。上記のように、マイク１１１から入力された音声データは、適宜Ａ／Ｄ変換を行ってＰＣＭデータとされているので、当該ＰＣＭデータ長と同じだけの伴奏データを順次取得するのである。
【００６０】
そして、これらの重みの混合比a:bで、入力を受け付けられた第１の音声データ（歌唱データ＋環境音）と、あらかじめ記憶された第２の音声データ（伴奏データ）のうち、当該第１の音声データに対応する音声データの断片と、を混合する（ステップＳ３０４）。すなわち、ＣＰＵ  １０１は、音声処理部１１０と共働して、混合部２０４として機能する。
【００６１】
具体的には、伴奏データがＭＩＤＩデータである場合には、別途用意された音源データを参照してＭＩＤＩデータを音声波形データであるＰＣＭデータに変換し、圧縮されたデータである場合には、これを展開してＰＣＭデータに変換する。
【００６２】
そして、第１の音声データに対応するＰＣＭデータと、第２の音声データに対応するＰＣＭデータと、を、重み付き飽和加算する。重み付き飽和加算は、音声データのミキシングに用いられる技術である。
【００６３】
ＰＣＭデータは、適当なサンプリング周波数でサンプリングされたアナログ信号を所定の精度でディジタル化したデータの列であり、典型的には、サンプリング周波数として、４４１００Ｈｚ，４８０００Ｈｚやこれを整数で割ったものが用いられ、精度としては１６ビットや２４ビット、３２ビットなどが用いられる。
【００６４】
そこで、理解を容易にするため、第１の音声データに対応するＰＣＭデータの列を、先頭から順に
v[0]，v[1]，v[2]，…
とし、第２の音声データに対応するＰＣＭデータの列を同様に
s[0]，s[1]，s[2]，…
とおく。
【００６５】
最も単純なミキシングの手法においては、ミキシング結果として、
v[0]+s[0]，v[1]+s[1]，v[2]+s[2]，…
を出力する。
【００６６】
また、重み付きミキシングの場合には、第１の音声データに対する重みがa、第２の音声データに対する重みがbであるから、ミキシング結果として、
a・v[0]+b・s[0]，a・v[1]+b・s[1]，a・v[2]+b・s[2]，…
を出力する。重み付きミキシングを行う場合、カラオケでは、aを大きくすれば人間の声が大きく再生され、bを大きくすれば伴奏が大きく再生されることになる。
【００６７】
飽和演算とは、サンプリングの精度を考慮した演算である。たとえば、サンプリング精度が１６ビット符号付き整数である場合には、ＰＣＭデータの列に含まれる値は、−３２７６８〜３２７６７の範囲に含まれる。そして、１６ビット符号付き整数でＡ／Ｄ変換やＤ／Ａ変換が行われるので、ミキシングの結果も、この範囲に含まれるようにしなければならない。
【００６８】
そこで、
f(x) = 32767 (x > 32767)；
= -32768 (x < -32768)；
= x (上記以外)
という関数f(・)を考え、飽和演算においては、ミキシングの結果を、
f(v[0]+s[0])，f(v[1]+s[1])，f(v[2]+s[2])，…
もしくは
f(a・v[0]+b・s[0])，f(a・v[1]+b・s[1])，f(a・v[2]+b・s[2])，…
とする。
【００６９】
そして、出力部２０５は、混合された結果の音声データを出力する（ステップＳ３０５）。本実施形態では、音声処理部１１０がこれに接続されたスピーカ、ヘッドホン、イヤフォン等と共働して、出力部２０５として機能する。
【００７０】
具体的には、上記のようにミキシングされた結果のＰＣＭデータを、当該サンプリング周波数でＤ／Ａ変換してアナログ信号とし、これをスピーカ等に印加して、音声を出力させる。
【００７１】
なお、一般には、音声処理部１１０はＲＡＭ  １０３内に混合された音声データが存在する場合には、割り込み等を利用して当該混合された音声データを順次処理してスピーカ等から出力する。この場合、ステップＳ３０５における処理は、直ちに終了し、音声処理部１１０における上記の処理が以降の処理と並行して行われることになる。
【００７２】
さて、本実施形態では、制御部２０６は、入力を受け付けられた第１の音声データ
v[0]，v[1]，v[2]，…
と、第２の音声データ
s[0]，s[1]，s[2]，…
と、を対比して、その結果により、重みa，bを調整する（ステップＳ３０６）。したがって、ＣＰＵ  １０１は、音声処理部１１０と共働して、制御部２０６として機能する。
【００７３】
以下、具体的な対比の手法と、それによる重みの変更の手法の一例について説明する。
【００７４】
まず、第２の音声データが、音声処理部１１０を経てスピーカ等から出力され、その音が環境音としてマイク１１１に入力される状況を考える。このような場合には、遅延が生じるので、その最大遅延時間をTc（秒）と置く。
【００７５】
一方、各種の音声データのサンプリング周波数をf（Ｈｚ）とすると、第１の音声データ中に、第２の音声データの成分が現れる場合の最大遅延オフセットTは、T = Tc・fのように表現できる。
【００７６】
そして、第２の音声データの成分が表われる程度を調べる幅をWとする。これは、無線通信の同期技術の分野などで、「窓」と呼ばれるものである。本実施形態では、この「窓」をスライドさせて、第２の音声データの成分の強度がどの程度であるかを推測する。
【００７７】
まず、第２の音声データのうちある時点で処理しようとしているデータの添字をiと置く。対比するための第２の音声データは、
s[i]，s[i+1]，…，s[i+W-1]
というW個の数列である。
【００７８】
これに対して、t (0<t≦T)の範囲で、第１の音声データ
v[i+t]，v[i+t+1]，…，v[i+t+W-1]
との対比を行う。
【００７９】
ここで、これらのW個の要素からなる数列をそれぞれベクトルとして考える。すなわち、
S(i) = (s[i]，s[i+1]，…，s[i+W-1])；
V(i,t) = (v[i+t]，v[i+t+1]，…，v[i+t+W-1])
として、これらについて、以下の評価値eを計算する。
e(i,t) = (S(i)・V(i,t))/(|S(i)| |V(i,t)|)
【００８０】
評価値e(t)は、ベクトルS(i)とベクトルV(i,t)との内積をそれぞれのベクトルの大きさで割ったものである。これらのベクトルがなす角をθとすると、e(i,t)は、cos θに相当する値である。したがって、評価値e(t)は-1〜1の間の値をとり、1の場合は、ベクトルS(i)とベクトルV(i,t)は同じ方向を向いていることとなる。
【００８１】
音声データとして考えると、e(i,t) = 1の場合は、二つの音声データの位相が同じであって一方は他方を増幅したものであることに相当し、e(i,t) = -1の場合は、逆位相に相当する。
【００８２】
そこで、tを0<t≦Tの範囲で変化させて、上記の評価値e(i,t)が最も大きくなるものを考える。このときのtの値をτ(i)とおく。
【００８３】
τ(i)は、伴奏データが音声出力されてからマイク１１１を介してまた戻ってくるまでにかかる遅延時間に対応するものと推測することができる。
【００８４】
さて、時点t = τ(i)において、第２の音声データ（伴奏データ）の成分が、第１の音声データ（歌唱データ＋環境音）の中に含まれている割合は、e(i,τ(i))である。e(i,τ(i))は、両者の「相関」を示す数値である。
【００８５】
そこで、この値の大きさによって、第１の音声データと第２の音声データとのミキシングの重みを変更するのである。
【００８６】
もっとも単純な手法は、典型的な環境でスピーカを使った場合とヘッドホン等を使った場合とで、e(i,τ(i))がどの程度違うかを実験によりあらかじめ調べて閾値を得て、e(i,τ(i))当該閾値以上であれば、スピーカ出力であり、当該閾値未満であれば、ヘッドホン等出力である、と推測するものである。
【００８７】
そして、重みa，bについては、スピーカ出力の際の値と、ヘッドフォン等出力の際と、をそれぞれあらかじめ用意しておき、上記e(i,τ(i))の値によってこれを切り替える。
【００８８】
このほか、適当な正定数A，Cを用いて、重みaの値を
a = A - C e(i,τ(i))
のように変化させる、という手法もある。ヘッドホン等出力の場合には、評価値e(i,τ(i))はほぼ０になると考えられるから、重みa = Aとなる。一方、スピーカ出力の場合は、評価値e(i,τ(i))は一定の正の値をとるから、ヘッドホン等出力の場合よりも重みが小さくなる。
【００８９】
結果として、歌い手が発する声の大きさはヘッドホン等出力の場合は、スピーカ出力の場合よりも小さくてすむこととなる。
【００９０】
そして、これらの定数の値は、本発明が適用される環境によって適宜変更することができる。
【００９１】
なお、一般的なカラオケの環境では、スピーカ出力とヘッドホン等出力とが頻繁に変更される状況は考えにくい。したがって、遅延時間の変化に相当する数列
τ(0)，τ(1)，τ(2)，…
や、伴奏データが再度マイク１１１から入力される程度の表す数列
e(0,τ(0))，e(1，τ(1))，e(2，τ(2))，…
は、いずれも、ほぼ定数列となるべきであり、これが急激に変化するのは、雑音など、何らかの偶然によるものと考えられる。
【００９２】
そこで、
e(0,τ(0))，e(1，τ(1))，e(2，τ(2))，…
をそのまま利用して重みを決定するのではなく、一定の区間の平均を採用するなどの手法をとっても良い。
【００９３】
たとえば、適当な大きさの正整数Nを用いて、
μ(i) = (1/N)Σj=0N-1 τ(i+j)
として遅延時間を平均化し、これによって、
e(0,μ(0))，e(1，μ(1))，e(2，μ(2))，…
あるいは、適当な正整数Mを利用して
e(M,μ(0))，e(M+1，μ(1))，e(M+2，μ(2))，…
のようにして、第２の音声データの成分が第１の音声データに含まれる割合（の時間変化）を求めることができる。
【００９４】
このほか、
E(i) = (1/N)Σj=0N-1 e(i+j,τ(i+j))
とおいて、第２の音声データの成分が第１の音声データに含まれる割合として、
E(0)，E(1)，E(2)，…
を採用しても良い。
【００９５】
これらの手法により、雑音等の影響を排除することができる一方で、カラオケ演奏の途中で、スピーカ出力とヘッドホン等出力とを切り替えた場合にも対応が可能である。
【００９６】
さて、このようにして、所定の時間長の処理が終了したら、カラオケのプレイが終了したか否かを判定し（ステップＳ３０７）、終了している場合（ステップＳ３０７；Ｙｅｓ）、本処理を終了する。一方、終了していない場合（ステップＳ３０７；Ｎｏ）、ステップＳ３０１に戻る。
【００９７】
なお、本実施形態では、ミキシングの混合比を決定する重みa，bを、成分割合に応じて変化させる手法を採用したが、マイク１１１の構成によっては、マイク１１１の感度そのものを変化させたり、マイク１１１に含まれる増幅器の増幅率を変化させることができるものもある。したがって、重みa，bを変化させるのではなく、マイク１１１の感度や増幅器の増幅率を変化させるように制御する態様を採用しても良い。
【００９８】
このように、本実施形態によれば、カラオケを楽しむ際に、音声出力がスピーカからされているか、それともヘッドホン等からされているか、を適切に推測し、これに応じて、歌唱データのミキシング割合を自動的に変化させ、前者の場合は歌い手に大きな声で歌うよう促し、前者の場合は歌い手に小さな声で歌うように促すようなカラオケ装置を実現することができる。
【実施例２】
【００９９】
上記実施形態では、第１の音声データと第２の音声データとの相関を求めることによって、第１の音声データを出力する強度を制御していたが、より単純な手法を採用することも可能である。
【０１００】
すなわち、伴奏データに、「歌い手が曲の一部とは考えない音声データ」すなわち「歌い手が声を発しない区間に出力される音声データ」を入れておく手法である。そして、これを検査用音声データとする。
【０１０１】
検査用音声データの典型例としては、伴奏データの先頭に置かれることが多いリズムを刻む部分の音声データや、いわゆるイントロ部分の音声データを採用する手法が考えられる。
【０１０２】
検査用音声データが出力されている間は、マイク１１１から入ってくる音声データには、歌い手の声の成分はほとんど入っていないと考えられるので、マイク１１１からの入力は、スピーカ出力がされている場合は、スピーカ出力の成分と雑音との和であり、ヘッドホン等出力がされている場合は、雑音のみとなると考えられる。
【０１０３】
そしてまた、当該区間の演奏前（イントロよりも前）であれば、マイク１１１からの入力は、スピーカ出力でもヘッドホン等出力でも、雑音のみとなると考えられる。イントロよりも前であれば、スピーカからも伴奏データの音声出力はされておらず、無音状態となっているはずだからである。
【０１０４】
そこで、検査用音声データ再生以前のマイク１１１からの入力信号の強度と、検査用音声データ再生中のマイク１１１からの入力信号の強度とを比較して、これに顕著な差があれば（所定の閾値以上であれば）、スピーカ出力であると判断し、そうでなければヘッドホン等出力であると判断する手法である。
【０１０５】
本実施形態は、上記実施形態に比べて、判断に要する処理が極めて少なくてすむため、計算能力に劣るゲーム装置１００であっても本発明を適用することができる。
【実施例３】
【０１０６】
本実施形態は、ゲーム装置１００がフーリエ変換等の周波数成分分解の機能をハードウェアで実装している場合に好適な手法である。
【０１０７】
すなわち、伴奏データ中に、あらかじめ定めた周波数のあらかじめ定めた強度の音成分を入れておき、これを検査用音声データとする。
【０１０８】
一方で、マイク１１１からの入力を高速フーリエ変換して、当該あらかじめ定めた周波数成分の強度を求める。
【０１０９】
そして、当該周波数成分の強度を閾値と比較することにより、検査用音声データが、どの程度マイク１１１に戻ってきているか、を、検査し、これと所定の閾値と比較することにより、スピーカ出力か、ヘッドホン等出力か、を判別するのである。
【０１１０】
本実施形態においては、検査用音声データは、一定の音量であることが望ましい。特に、検査用音声データとして、可聴音でない周波数の音を採用した場合には、カラオケを楽しむ邪魔にはならない一方で、より正確に、スピーカを利用しているかヘッドホン等を利用しているか、を判別することができるようになる。
【産業上の利用可能性】
【０１１１】
上記のように、本発明によれば、カラオケが行われている環境を適切に推測して、当該環境に合わせてカラオケを行うのに好適なカラオケ装置２０１、カラオケ方法、ならびに、これらをコンピュータによって実現するプログラムを提供することができ、カラオケボックス等の専用施設に利用されるカラオケ装置２０１の他、汎用ゲーム装置や汎用コンピュータ上に実現されるカラオケ装置２０１においても、本発明を適用することができる。
【図面の簡単な説明】
【０１１２】
【図１】本発明の実施形態に係るカラオケ装置が実現される典型的なゲーム装置の概要構成を示す模式図である。
【図２】本実施形態のカラオケ装置の概要構成を示す説明図である。
【図３】本実施形態のカラオケ装置にて実行されるカラオケ方法の制御の流れを示すフローチャートである。
【符号の説明】
【０１１３】
１００  ゲーム装置
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  インターフェース
１０５  コントローラ
１０６  外部メモリ
１０７  画像処理部
１０８  ＤＶＤ−ＲＯＭドライブ
１０９  ＮＩＣ
１１０  音声処理部
１１１  マイク
２０１  カラオケ装置
２０２  入力受付部
２０３  記憶部
２０４  混合部
２０５  出力部
２０６  制御部
【図１】
2005141122.tif 000003
【図２】
2005141122.tif 000004
【図３】
2005141122.tif 000005