(57)【特許請求の範囲】
【請求項１】
マイクロフォンに収容され、入力される音声に応じて音声信号を出力する信号発生手段と、
前記マイクロフォンに収容され、歌唱者の口の映像を撮像して画像信号を出力する撮像手段と、
前記信号発生手段から出力された音声信号と前記撮像手段によって出力された画像信号との相関性を検出する相関性検出手段と、
前記相関性検出手段によって検出された相関性のデータに応じて前記信号発生手段から出力される音声信号に対してエフェクト処理を施す信号処理手段と、
を備えた音声制御装置。
【請求項２】
前記相関性検出手段は、前記撮像手段から出力された画像信号と前記信号発生手段から出力される音声信号との差分関係を検出する差分検出手段を備え、前記信号処理手段は、前記差分検出手段によって検出された差分関係のデータに基づいて前記信号発生手段から出力される音声信号に対してエフェクト処理を施すことを特徴とする請求項１に記載の音声制御装置。
【請求項３】
前記信号処理手段は、前記マイクロフォン内に収容されていることを特徴とする請求項１又は２に記載の音声制御装置。
【請求項４】
前記信号処理手段は、リバーブ処理のフィードバック成分を制御することを特徴とする請求項１又は２に記載の音声制御装置。
【請求項５】
前記信号処理手段は、リバーブ処理のリバーブタイムを制御することを特徴とする請求項１又は２に記載の音声制御装置。
【請求項６】
前記信号処理手段は、遅延処理のフィードバック成分を制御することを特徴とする請求項１又は２に記載の音声制御装置。
【請求項７】
前記信号処理手段は、遅延処理の遅延時間を制御することを特徴とする請求項１又は２に記載の音声制御装置。
【請求項８】
入力される音声に応じてマイクロフォンから出力される音声信号を検出するステップＡと、
前記マイクロフォンに収容されて歌唱者の口の映像を撮像する撮像手段から出力される画像信号を検出するステップＢと、
前記ステップＡによって検出された音声信号と前記ステップＢによって検出された画像信号との相関性を検出するステップＣと、
前記ステップＣによって検出された相関性のデータに応じて前記マイクロフォンから出力される音声信号に対してエフェクト処理を施すステップＤと、
を実行する音声制御方法。
【請求項９】
前記ステップＣは、前記ステップＡによって検出された音声信号と前記ステップＢによって出力された画像信号との差分関係を検出するステップＥを有し、前記ステップＤは、前記ステップＥによって検出された差分関係のデータに基づいて前記マイクロフォンから出力される音声信号に対してエフェクト処理を施すことを特徴とする請求項８に記載の音声制御方法。
【請求項１０】
前記ステップＤは、前記マイクロフォン内に収容されている信号処理手段によってエフェクト処理を行うことを特徴とする請求項８又は９に記載の音声制御方法。
【請求項１１】
前記ステップＤは、リバーブ処理のフィードバック成分を制御することを特徴とする請求項８又は９に記載の音声制御方法。
【請求項１２】
前記ステップＤは、リバーブ処理のリバーブタイムを制御することを特徴とする請求項８又は９に記載の音声制御方法。
【請求項１３】
前記ステップＤは、遅延処理のフィードバック成分を制御することを特徴とする請求項８又は９に記載の音声制御方法。
【請求項１４】
前記ステップＤは、遅延処理の遅延時間を制御することを特徴とする請求項８又は９に記載の音声制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声制御装置および音声制御方法に関し、特に、マイクロフォンから出力される音声信号に対してエフェクト処理を施す音声制御装置および音声制御方法に関するものである。
【背景技術】
【０００２】
近年、電子楽器とエフェクタなどの装置とを組み合わせて、電子楽器から発生する楽音に対してエコーやリバーブの効果を付加するシステムが広く普及してきている。さらに、電子楽器とビデオカメラとを組み合わせて、電子楽器から発生する楽音に対して様々なバリエーションを持たせる提案もなされている。例えば、演奏者の表情に基づいて、演奏される音楽に表現効果を付与する音楽演奏装置の提案がある。この提案においては、演奏者の顔画像を撮影するための撮影手段からの画像データに基づいて、顔画像の注目部分、例えば、演奏者の口の形状から抽出された形状パラメータに応じて、音データに対する表現効果を制御するための制御信号を生成する。具体的には、演奏者の口の開口部の縦方向の開き度合いに応じて制御信号を生成し、その制御信号に応じて、音が通過するローパスフィルタの遮断周波数を変化させる。例えば、口を大きく開けると、ローパスフィルタの遮断周波数を大きくし、口を閉じるにしたがってローパスフィルタの遮断周波数を小さくする。あるいは、演奏者の口の開口部の幅に応じて制御信号を生成し、その制御信号に応じて、音が通過するアンプの非直線性を制御する。例えば、口の幅が広がると、アンプの非直線性を変化させて、音の振幅をクリップすることでひずみを与える。演奏する楽器としては、実施形態に記載されているエレキギターのほかに、ピアノやシンセサイザなどが想定されている。さらには、演奏者だけでなくＤＪ（ディスクジョッカー）の顔の表情によっても音データに対する表現効果を制御することが記載されている。（特許文献１参照）
【特許文献１】特開平２００２−１４００６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献のように、演奏者の表情に基づいて、演奏される音楽に表現効果を制御することは、却って音楽性を喪失又は破壊するおそれがある。なぜなら、演奏者の表情と発生する楽音と間に相関性があるとは考えられないからである。例えば、演奏者が笑いながら明るい音色で演奏している場合でも、口の幅が広がった画像によって、音にひずみを与えて荒々しい音色にすると、演奏者の意図とは逆の効果になってしまう。また、演奏者の中には、静かでメランコリックな曲を演奏していても、メロディにひたって口を大きく開ける場合もある。このような場合に、その口の動きに応じて音にひずみを与えて荒々しい音色にすると、演奏を台無しにすることになる。
【０００４】
演奏者の口の表情と発生する楽音と間に相関性があるのは、歌唱する場合だけである。口を頻繁にぱくぱく大きく開けて「…は夜露に濡れて……」と静かに歌う人はいないし、逆に口を開けずに「…来たぜ函館……」と歯切れよく大きな声で歌う人もいない。すなわち、歌唱者の口の動きと歌声の音色と間には高い相関性があり、この相関性を利用すれば、歌唱力を高めることが期待できる。
例えば、広く普及しているカラオケは、歌唱力を競い合うというより、会社などの団体における親睦、宴会、接待などのイベントとして利用されている。しかし、歌唱力に自身のない人にとっては皆の前で歌うことは恥ずかしく、苦痛を伴うことになる。したがって、実際よりも高い歌唱力で歌うことができれば、羞恥心や苦痛を和らげることができる上、聴いている回りの人にとっても雰囲気がよくなる。
本発明は、このような従来の課題を解決するためのものであり、歌唱者の口の動きと歌声の音色との相関性を利用して、実際よりも歌唱力を高めることができるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の音声制御装置は、マイクロフォンに収容され、入力される音声に応じて音声信号を出力する信号発生手段（実施形態においては、図２、図３のマイク部５に相当する）と、マイクロフォンに収容され、歌唱者の口の映像を撮像して画像信号を出力する撮像手段（実施形態においては、図２、図３のカメラ部６に相当する）と、信号発生手段から出力された音声信号と前記撮像手段によって出力された画像信号との相関性を検出する相関性検出手段（実施形態においては、図３のＣＰＵ１に相当する）と、相関性検出手段によって検出された相関性のデータに応じて信号発生手段から出力される音声信号に対してエフェクト処理を施す信号処理手段（実施形態においては、図３のＣＰＵ１０およびＤＳＰ制御部１８に相当する）と、を備えた構成になっている。
【０００６】
請求項１の音声制御装置において、請求項２に記載したように、相関性検出手段は、撮像手段から出力された画像信号と信号発生手段から出力される音声信号との差分関係を検出する差分検出手段（実施形態においては、図３のＣＰＵ１０に相当する）を備え、信号処理手段は、差分検出手段によって検出された差分関係のデータに基づいて信号発生手段から出力される音声信号に対してエフェクト処理を施すような構成にしてもよい。
【０００７】
請求項１又は２の音声制御装置において、請求項３に記載したように、信号処理手段は、マイクロフォン内に収容されているような構成にしてもよい。
請求項１又は２の音声制御装置において、請求項４に記載したように、信号処理手段は、リバーブ処理のフィードバック成分を制御するような構成にしてもよい。
請求項１又は２の音声制御装置において、請求項５に記載したように、信号処理手段は、リバーブ処理のリバーブタイムを制御するような構成にしてもよい。
請求項１又は２の音声制御装置において、請求項６に記載したように、信号処理手段は、遅延処理のフィードバック成分を制御するような構成にしてもよい。
請求項１又は２の音声制御装置において、請求項７に記載したように、信号処理手段は、遅延処理の遅延時間を制御するような構成にしてもよい。
【０００８】
請求項８に記載の音声制御方法は、入力される音声に応じてマイクロフォンから出力される音声信号を検出するステップＡと、マイクロフォンに収容されて歌唱者の口の映像を撮像する撮像手段（実施形態においては、図２、図３のカメラ部６に相当する）から出力される画像信号を検出するステップＢと、ステップＡによって検出された音声信号と前記ステップＢによって検出された画像信号との相関性を検出するステップＣと、ステップＣによって検出された相関性のデータに応じてマイクロフォンから出力される音声信号に対してエフェクト処理を施すステップDと、を実行する構成になっている。
ステップＡないしステップＤは、実施形態においては、図３のＣＰＵ１０の処理に相当する。
【０００９】
請求項８の音声制御方法において、請求項９に記載したように、ステップＣは、ステップＡによって検出された音声信号とステップＢによって出力された画像信号との差分関係を検出するステップＥを有し、ステップＤは、ステップＥによって検出された差分関係のデータに基づいてマイクロフォンから出力される音声信号に対してエフェクト処理を施すような構成にしてもよい。
【００１０】
請求項８又は請求項９の音声制御方法において、請求項１０に記載したように、ステップＤは、マイクロフォン内に収容されている信号処理手段によってエフェクト処理を行うような構成にしてもよい。
請求項８又は請求項９の音声制御方法において、請求項１１に記載したように、ステップＤは、リバーブ処理のフィードバック成分を制御するような構成にしてもよい。
請求項８又は請求項９の音声制御方法において、請求項１２に記載したように、ステップＤは、リバーブ処理のリバーブタイムを制御するような構成にしてもよい。
請求項８又は請求項９の音声制御方法において、請求項１３に記載したように、ステップＤは、遅延処理のフィードバック成分を制御するような構成にしてもよい。
請求項８又は請求項９の音声制御方法において、請求項１４に記載したように、ステップＤは、遅延処理の遅延時間を制御するような構成にしてもよい。
【発明の効果】
【００１１】
本発明の音声制御装置および音声制御方法によれば、歌唱者の口の動きと歌声の音色との相関性を利用して、実際よりも歌唱力を高めることができるという効果が得られる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明による音声制御装置およびその音声制御方法の第１実施形態および第２実施形態について、図を参照して詳細に説明する。
図１は、各実施形態に共通するカラオケ用のマイクロフォン１の外観図であり、メッシュ状又は多数の孔が形成されたマイクカバー２が取り付けられている。図２は、マイクロフォン１の内部の構造を示す図である。マイクカバー２にはポリカーボネイトやアクリルなどの樹脂からなる透明保護カバー３が接着やその他の方法で設けられている。また、マイクカバー２の奥のマイクロフォン１の内部には基板４が取り付けられている。その基板４には、マイクカバー２を通して入力される音声を電気信号に変換して音声信号を出力するマイク部５、透明保護カバー３を通して見える歌唱者の口の映像を撮像するカメラ部６が搭載されている。図には示していないが、マイク部５には音声信号を増幅する増幅回路などが含まれている。また、カメラ部６には、ＣＣＤやＣＭＯＳなどの撮像素子、駆動回路、増幅回路、Ａ／Ｄ変換回路などが含まれている。マイク部５からのアナログの音声信号はリード線７によってマイクロフォン１から出力され、カメラ部６からのデジタルの画像信号はリード線８によってマイクロフォン１から出力される。
【００１３】
図３は、本発明による音声制御装置を用いた第１実施形態におけるカラオケシステムの構成を示すブロック図である。図３において、ＣＰＵ１０は、システムバス１１を介して、プログラムＲＯＭ１２、ワークＲＡＭ１３、操作スイッチ１４、表示部１５、音源１６、曲データＲＯＭ１７、ＤＳＰ（Digital Signal Processor）部１８、および図２に示したカメラ部６に接続されている。ＣＰＵ１０は、システムバス１１を介して接続された上記各部との間でデータやコマンドを授受してカラオケシステム全体を制御する。
【００１４】
プログラムＲＯＭ１２は、ＣＰＵ１０によって実行される音声制御処理のプログラムや初期データなどをあらかじめ格納している。また、一般的な口の形状のパターンを記憶している。ワークＲＡＭ１３は、ＣＰＵ１０によって処理されるデータを一時的に記憶するワークエリアであり、各種のレジスタ、フラグが設けられている。スイッチ部１４は、曲選択キー、曲スタートキー、曲停止キーなどのスイッチ群で構成され、操作に応じたコマンドやデータをＣＰＵ１０に入力する。表示部１５は、カラオケ曲のリストや歌詞などを表示する。音源１６は、ＰＣＭ波形データなどを記憶する波形ＲＯＭを内蔵しており、ＣＰＵ１０の発音コマンドに応じて、デジタルの楽音信号を生成する。曲データＲＯＭ１７は、カラオケの伴奏曲の楽音データおよび歌詞データを記憶している。
【００１５】
一方、Ａ／Ｄ変換回路２０は、図２に示したマイク部５からの音声信号を入力して、その音声信号をアナログからデジタルに変換してＤＳＰ部１８に入力する。音源１６は、ＣＰＵ１０によって曲データＲＯＭ１７から読み出されて入力されたカラオケの伴奏曲に応じて、内部の波形ＲＯＭから読み出した波形データに基づいて伴奏曲の楽音信号を生成してＤＳＰ部１８に入力する。ＤＳＰ部１８は、ＣＰＵ１０からの係数に基づいて、Ａ／Ｄ変換回路２０を介してマイク部５から入力される音声信号に対する信号処理を行って、その音声信号と伴奏曲の楽音信号とを合成してＤ／Ａ変換回路２１に入力する。Ｄ／Ａ変換回路２１は、ＤＳＰ部１８から入力された合成信号をデジタルからアナログに変換し、パワーアンプ２２に入力してスピーカ２３から発音させる。
【００１６】
図４は、第１実施形態におけるＤＳＰ部１８の内部構成を示すブロック図である。図４において、エフェクタ１８１は、マイク部５から入力された音声信号に対して、ＣＰＵ１０から入力された係数に基づいて信号処理を施して、信号合成部１８２に入力する。信号合成部１８２は、エフェクタ１８１から入力された音声信号と、図３の音源１６から入力された伴奏曲の楽音信号とを合成して、図３のＤ／Ａ変換回路２１に入力する。エフェクタ１８１は、遅延部１８３および帰還部１８４で構成されている。遅延部１８３はマイク部５から入力された音声信号に対して、ＣＰＵ１０から入力される遅延係数に応じた遅延処理を施して出力する。帰還部１８４は、ＣＰＵ１０から入力されるフィードバック係数に応じて、遅延処理された音声信号を遅延部１８３の入力側にフィードバックする。この場合のエフェクト処理は、最もポピュラーなプレートタイプのリバーブであり、リバーブタイムは標準的に使用される４秒である。また、プリディレイは、自然な感じを演出する１０ｍｓに固定されている。
【００１７】
次に、第１実施形態の音声制御処理方法について、図５ないし図９に示すＣＰＵ１０のフローチャートおよびその他の図に基づいて説明する。
図５は、各実施形態に共通するＣＰＵ１０のメインルーチンのフローチャートである。まず、所定のイニシャライズ（ステップＳＡ１）の後、曲選択の操作に応じて曲選択処理を行い（ステップＳＡ２）、曲スタートキーがオンされたか否かを判別する（ステップＳＡ３）。曲スタートキーがオンされたときは、タイマーをスタートして（ステップＳＡ４）、口の開閉の回数を表す変数Ｎを０にセットする（ステップＳＡ５）。次に、選択された曲データを曲データＲＯＭ１７から読み出し（ステップＳＡ６）、音源１６に送付する（ステップＳＡ７）。次に、カメラ部６からの画像信号に基づいて画像認識処理を実行し（ステップＳＡ８）、ＤＳＰ制御処理を実行する（ステップＳＡ９）。この後は、曲が終了したか又はスイッチ部１４の停止キーがオンされたか否かを判別し（ステップＳＡ１０）、曲の終了でなく、且つ停止キーがオンでない場合には、ステップＳＡ６に移行して曲データの読み出しを繰り返す。ステップＳＡ１０において、曲の終了又は停止キーがオンの場合は、ステップＳＡ２に移行して、スイッチ部１４の操作に応じて次ぎの曲選択を行う。
【００１８】
図６および図７は、メインルーチンにおける画像認識処理のフローチャートである。図６において、曲の開始時刻であるか否か、すなわち、メインルーチンのイニシャライズ（ステップＳＡ１）がされた直後であるか否かを判別し（ステップＳＢ１）、イニシャライズの直後である場合には、最初の口認識処理を実行する（ステップＳＢ２）。図８は、その口認識処理のフローチャートである。カメラ部６から画像を取り込み（ステップＳＣ１）、白黒画像に変換する（ステップＳＣ２）。次に、プログラムＲＯＭ１２に予め記憶されている口の形状のパターンとマッチングをとり（ステップＳＣ３）、歌唱者の口を認識したか否かを判別する（ステップＳＣ４）。認識できない場合には、ステップＳＣ１において、再びカメラ部６からの画像の取り込みを行う。ステップＳＣ４において歌唱者の口を認識したときは、口の両端と上下の４個のポイントの座標ａ１〜ａ４をワークＲＡＭ１３のレジスタ（ａ１〜ａ４）に記憶する（ステップＳＣ５）。図１０は、口の両端の座標ａ１、ａ２および口の上下の座標ａ３、ａ４を示す図である。この座標ａ１〜ａ４によって口の開け度合いを検出することができる。
【００１９】
図８のステップＳＣ５において座標ａ１〜ａ４を記憶した後は、図６のフローチャートに戻って、ステップＳＢ３に移行する。ステップＳＢ３においては、記憶した座標ａ１〜ａ４をレジスタＦａ１〜Ｆａ４に記憶（コピー）する。次に、ａ１〜ａ４に基づき口の大きさＤを演算する（ステップＳＢ４）。すなわち、図１０において、口の両端の幅（ａ２−ａ１）および口の上下の間隔（ａ４−ａ３）に基づいて口の大きさＤを演算する。さらに、その演算したＤをレジスタＦＤ、ＦＦＤにストアする（ステップＳＢ５）。すなわち、イニシャライズの後は、Ｄ、ＦＤ、およびＦＦＤの初期データは同じである。
【００２０】
このように、メインルーチンのイニシャライズの後は、上記ステップＳＢ２ないしステップＳＢ５を実行して、演算したＤをＦＤ、ＦＦＤにストアするが、その後は、ステップＳＢ１において曲の開始時刻（最初の口認識）でないと判別されて、ステップＳＢ１のＮＯからステップＳＢ６に移行して、図８に示した２度目以降の口認識処理を実行する。この口認識処理によって、新たに口の両端の座標ａ１、ａ２および口の上下の座標ａ３、ａ４がワークＲＡＭ１３に記憶される。したがって、前回の口の両端の座標および口の上下の座標がＦａ１〜Ｆａ４に記憶され、今回の口の両端の座標および口の上下の座標がａ１〜ａ４に記憶されることになる。次に、ａ１〜ａ４とＦａ１〜Ｆａ４との差分、すなわち、水平方向のｘ座標および垂直方向のｙ座標の差分を下記のように求める（ステップＳＢ７）。
Δｘ１＝ｘ１−ｘＦ１、Δｙ１＝ｙ１−ｙＦ１
Δｘ２＝ｘ２−ｘＦ２、Δｙ２＝ｙ２−ｙＦ２
Δｘ３＝ｘ３−ｘＦ３、Δｙ３＝ｙ３−ｙＦ３
Δｘ４＝ｘ４−ｘＦ４、Δｙ４＝ｙ４−ｙＦ４
そして、ａ１〜ａ４をＦａ１〜Ｆａ４にストアする（ステップＳＢ８）。
【００２１】
次に、求めた差分に基づき同一方向移動成分を算出する（ステップＳＢ９）。同一方向移動成分は、口の両端の２個のポイントの中心のｘ座標および口の上下の２個のポイントの中心のｙ座標の移動の有無で判断できる。したがって、下記の演算によって同一方向移動成分Δｘ、Δｙを算出する。
Δｘ＝（Δｘ１＋Δｘ２）／２−（ΔＦｘ１＋ΔＦｘ２）／２
Δｙ＝（Δｙ１＋Δｙ２）／２−（ΔＦｙ１＋ΔＦｙ２）／２
次に、ａ１〜ａ４により同一方向の移動成分（Δｘ、Δｙ）を下記のように減算する（ステップＳＢ１０）。
Δｘ１’＝Δｘ１−Δｘ、Δｙ１’＝Δｙ１−Δｙ
Δｘ２’＝Δｘ２−Δｘ、Δｙ２’＝Δｙ２−Δｙ
Δｘ３’＝Δｘ３−Δｘ、Δｙ３’＝Δｙ３−Δｙ
Δｘ４’＝Δｘ４−Δｘ、Δｙ４’＝Δｙ４−Δｙ
なお、口とマイクロフォンとの距離によって画像が拡大又は縮小されるので、４個のポイントの座標が変化する。この場合を考慮して、口認識の後に図１０の点線の面積すなわち口の面積を算出して座標データを正規化する。一般の画像処理の技法において、このような正規化については公知であるので、その演算処理の詳細な説明は省略する。
【００２２】
次に、ａ１〜ａ４により口の大きさＤを演算する（ステップＳＢ１１）。そして、Ｄが所定値より大きいか否かを判別する（ステップＳＢ１２）。所定値とは、口の開け方が歌っていない場合の上限の値である。したがって、Ｄが所定値よりも大きい場合には、歌っている状態であると判断する。この場合には、前回の口の大きさＦＤが前々回の口の大きさＦＦＤ以上であるか否かを判別し（ステップＳＢ１３）、ＦＤがＦＦＤ以上である場合には、ＦＤが今回の口の大きさよりも大きいか否かを判別する（ステップＳＢ１４）。例えば、図１１に示すように、（Ａ）の状態の口の大きさＦＦＤが、（Ｂ）の状態で大きいＦＤに変化し、（Ｃ）の状態で再び小さいＤに変化した場合には、ＦＦＤからＤに推移する過程において、ＦＤの大きさが極大値であることを示している。すなわち、口が大きくなって再び小さくなったことを示している。この場合には、口の開閉数を表す変数Ｎの値をインクリメントする（ステップＳＢ１５）。
【００２３】
Ｎの値をインクリメントした後、又は、ステップＳＢ１４においてＦＤがＤ以下である場合、ステップＳＢ１３においてＦＤがＦＦＤよりも小さい場合、すなわち、ＦＤの大きさが極大値でなく、口が開閉されなかった場合、若しくはステップＳＢ１２においてＤの大きさが所定値以下である場合には、ＦＤの値をＦＦＤにストアし（ステップＳＢ１６）、Ｄの値をＦＤにストアする（ステップＳＢ１７）。そして、図５のメインルーチンに戻る。
【００２４】
なお、ステップＳＢ７からステップＳＢ１１の演算処理の代わり、又は、これらの演算処理と併せて、図１１に示す口の左右の幅ＦＦＨ、ＦＨ、Ｈと、口の上下の距離ＦＦＶ、ＦＶ、Ｖのそれぞれの比であるＦＦＶ／ＦＦＨ、ＦＶ／ＦＨ、Ｖ／Ｈを演算して、口の開閉を判別し、又は、口の平行移動の場合および口とマイクロフォンとの距離によって画像が拡大又は縮小した場合の補正処理を行う構成にしてもよい。
【００２５】
図９は、メインルーチンのステップＳＡ９における第１実施形態のＤＳＰ制御処理のフローチャートである。タイマーがエフェクト処理のインターバルである一定時間をカウントしたか否かを判別し（ステップＳＤ１）、一定時間をカウントしていない場合にはメインルーチンに戻るが、一定時間をカウントしたときは、Ｎの値に基づいてｓｅｎｄ係数を生成する（ステップＳＤ２）。ｓｅｎｄ係数とは、図４のＤＳＰ部１８の帰還部１８４におけるフィードバック成分（量など）を決定するパラメータである。さらに、Ｎの値に基づいてｔｉｍｅ係数を生成する（ステップＳＤ３）。ｔｉｍｅ係数とは、ＤＳＰ部１８の遅延部１８３における遅延時間を決定するパラメータである。次に、生成したｓｅｎｄ係数およびｔｉｍｅ係数をＤＳＰ部１８に供給する（ステップＳＤ４）。この後は、Ｎの値に初期値の０をストアし（ステップＳＤ５）、タイマーをクリアして再びスタートさせる（ステップＳＤ６）。そして、図５のメインルーチンに戻る。
【００２６】
図１２は、口の開閉数Ｎに対するＤＳＰ部１８に対する係数Ｃｄｓｐの特性を示す図である。係数Ｃｄｓｐには、ＤＳＰ部１８の遅延部１８３に対する遅延係数Ｃｄｓｐ（ｄｅｌａｙ  ｔｉｍｅ）および帰還係数Ｃｄｓｐ（ｓｅｎｄ）がある。図１２に示すように、Ｎの値が小さいほど、すなわち、口の開閉頻度が低いほど、どちらの係数も大きくなる。この結果、口をあまり動かさずにムードのある曲を歌っている場合には、リバーブやエコーを深くして発音するので、実際よりも歌唱力を向上することができる。逆に、口を頻繁に開けて歯切れよく歌っている人の場合には、元々歌唱力のある人が多いので、リバーブやエコーをカットしてそのまま音声信号を出力することで、歌唱力を活かした発音を行う。
【００２７】
例えば、プレートタイプのリバーブにおいて、リバーブタイムを４秒、プリディレイタイムを１０ｍｓとした場合に、口の開閉頻度が高くＮの値が大きいときはリバーブをかけない。一方、口の開閉頻度が中程度のＮの値の場合には、ｓｅｎｄ量（変化量）を−１０ｄＢとし、口の開閉頻度が低くＮの値が小さいときは、ｓｅｎｄ量を−３ｄＢにして、口の開閉頻度が低くなるに従ってリバーブを次第に深くする。
あるいは、口の開閉頻度にかかわらずｓｅｎｄ量を一定の−５ｄＢにした状態で、口の開閉頻度が多いときはリバーブタイムを０．５秒、開閉頻度が中程度のときはリバーブタイムを２．８秒、開閉頻度が高いときはリバーブタイムを４．８秒として、開閉頻度が低くなるほどリバーブを次第に深くする。
あるいは、ディレイタイムを１５０ｍｓに固定した状態で、口の開閉頻度が高いときはリバーブをかけず、口の開閉頻度が中程度のＮの値の場合には、ｓｅｎｄ量を−１０ｄＢとし、口の開閉頻度が低くＮの値が小さいときは、ｓｅｎｄ量を−３ｄＢにしてリバーブを次第に深くする。
あるいは、ｓｅｎｄ量を−５ｄＢに固定した状態で、口の開閉頻度が高いときはディレイタイムを５ｍｓとし、口の開閉頻度が中程度のときはディレイタイムを５０ｍｓとし、口の開閉頻度が低いときはディレイタイムを５００ｍｓにして、リバーブを次第に深くする。
また、図１１（Ｂ）のように口が開く極大値から次の極大値までの間隔の平均、すなわち、歌うテンポに応じてディレイタイムを設定する構成にして、音楽業界用語では「プレートタイム」と称するディレイタイムを実現する構成にしてもよい。
【００２８】
このように、第１実施形態のカラオケシステムは、マイクロフォン１に収容されて、入力される音声に応じて音声信号を出力するマイク部５と、マイクロフォン１に収容されて歌唱者の口の映像を撮像して画像信号を出力するカメラ部６とを備えている。ＣＰＵ１０は、マイク部５から出力された音声信号とカメラ部６によって出力された画像信号との差分関係を検出して、その差分関係のデータに応じてＤＳＰ部１８に制御信号を与えて、マイク部５から出力される音声信号に対してエフェクト処理を施す。
したがって、歌唱者の口の動きと歌声の音色との相関性を利用して、実際よりも歌唱力を高めることができる。
【００２９】
次に、本発明の第２実施形態について説明する。
図１３は、本発明による音声制御装置を用いた第２実施形態におけるカラオケシステムの構成を示すブロック図である。図１３において、ＣＰＵ１０は、システムバス１１を介して、プログラムＲＯＭ１２、ワークＲＡＭ１３、スイッチ部１４、表示部１５、音源１６、曲データＲＯＭ１７、Ａ／Ｄ変換回路２０、および図２に示したカメラ部６に接続されている。ＣＰＵ１０は、システムバス１１を介して接続された上記各部との間でデータやコマンドを授受してカラオケシステム全体を制御する。また、図２に示したマイク部５は音声信号をＡ／Ｄ変換回路２０に入力する。Ａ／Ｄ変換回路２０は、その音声信号をアナログからデジタルに変換してＤＳＰ部１８に入力する。ＤＳＰ部１８の内部構成については、図４に示した第１実施形態と同じである。
このように、第２実施形態におけるカラオケシステムは、第１実施形態の構成とほとんど同じであるが、第２実施形態においては、Ａ／Ｄ変換回路２０の出力がシステムバス１１に接続されている。ＣＰＵ１０は、以下に記載するように、Ａ／Ｄ変換回路２０から得られる音声信号を取り込んでＤＳＰ部１８を制御する。
【００３０】
図１４は、第２実施形態におけるＣＰＵ１０のメインルーチンのフローチャートである。まず、所定のイニシャライズ（ステップＳＧ１）の後、曲選択の操作に応じて曲選択処理を行い（ステップＳＧ２）、曲スタートキーがオンされたか否かを判別する（ステップＳＧ３）。曲スタートキーがオンされたときは、タイマーをスタートする（ステップＳＧ４）。次に、音声信号のエンベロープの前々回の値をストアするレジスタＦＦＥ、および前回の値をストアするレジスタＦＥをともに０にクリアする（ステップＳＧ５）。さらに、口の開閉の回数を表す変数Ｎおよび音声信号のエンベロープの山（極大値）の数を表すＭをともに０にセットする（ステップＳＧ６）。次に、選択された曲データを曲データＲＯＭ１７から読み出し（ステップＳＧ７）、音源１６に送付する（ステップＳＧ８）。次に、カメラ部６からの画像信号に基づいて画像認識処理を実行し（ステップＳＧ９）、Ａ／Ｄ変換回路２０を介してマイク部５から得られる音声信号に基づいてマイク入力制御処理を実行し（ステップＳＧ１０）、ＤＳＰ制御処理を実行する（ステップＳＡ１１）。この後は、曲が終了したか又は停止キーがオンされたか否かを判別し（ステップＳＡ１２）、曲の終了でなく、且つ停止キーがオンでない場合には、ステップＳＧ７に移行して曲データの読み出しを繰り返す。ステップＳＧ１２において、曲の終了又は停止キーがオンの場合は、ステップＳＧ２に移行して、スイッチ部１４の操作に応じて次の曲選択を行う。
なお、このメインルーチンにおいて、ステップＳＧ９の画像処理、およびその画像処理における口認識処理は、図６、図７に示した第１実施形態の画像処理、および図８に示した第１実施形態の口認識処理と同じである。
【００３１】
図１５は、ステップＳＧ１０のマイク入力制御処理のフローチャートである。Ａ／Ｄ変換回路２０から出力される音声信号のエンベロープを抽出し（ステップＳＨ１）、そのエンベロープ値をレジスタＥにストアする（ステップＳＨ２）。そして、Ｅにストアしたエンベロープ値が所定値より大きいか否かを判別する（ステップＳＨ３）。所定値とは、歌唱者がマイクロフォン１に向かって歌っていないと判断される上限値である。Ｅのエンベロープ値が所定値より大きい場合、すなわち、歌唱者がマイクロフォン１に向かって歌っていると判断した場合には、ＦＥにストアされている前回のエンベロープ値がＦＦＥにストアされている前々回のエンベロープ値以上であるか否かを判別する（ステップＳＨ４）。ＦＥの値がＦＦＥの値以上である場合には、さらにＦＥの値がＥにストアされている今回のエンベロープ値より大きいか否かを判別する（ステップＳＨ５）。図１４のステップＳＧ１のイニシャライズの直後は、ＦＥおよびＦＦＥの値は、ステップＳＧ５において０に初期化されているので、ステップＳＨ６の処理はスキップしてステップＳＨ７に移行するが、このマイク入力制御処理が２回繰り返された後は、ＦＦＥに前々回のエンベロープ値がストアされ、ＦＥに前回のエンベロープ値がストアされる。
【００３２】
３回目のマイク入力制御処理において、ＦＥの値がＥの値より大きい場合、例えば、図１７に示すエンベロープの推移で、エンベロープ値が所定値より大きい状態で、ＦＦＥの値から上昇してＦＥの値になり、その後Ｅの値に下降した場合には、ＦＥのエンベロープは極大値である。すなわち、歌唱者は口を開けて声を発した状態であると判断できる。したがってこの場合には、エンベロープの山を表すＭの値をインクリメントする（ステップＳＨ６）。この後、又は、ステップＳＨ５においてＦＥの値がＥの値より大きくない場合、ステップＳＨ４においてＦＥの値がＦＦＥの値より小さい場合、若しくは、ステップＳＨ３においてＥの値が所定値以下の場合には、ステップＳＨ７に移行してＦＥの値をＦＦＥにストアし、さらに、Ｅの値をＦＥにストアする（ステップＳＨ８）。そして、図１４のメインルーチンに戻る。
【００３３】
図１６は、メインルーチンにおけるステップＳＧ１１のＤＳＰ制御処理のフローチャートである。タイマーがエフェクト処理のインターバルである一定時間をカウントしたか否かを判別し（ステップＳＪ１）、一定時間をカウントしていない場合にはメインルーチンに戻るが、一定時間をカウントしたときは、Ｍの値とＮの値の差の絶対値を算出してレジスタαにストアする（ステップＳＪ２）。そして、αに基づいてｓｅｎｄ係数を生成する（ステップＳＪ３）。ｓｅｎｄ係数は、第１実施形態と同様に、図４のＤＳＰ部１８の帰還部１８４におけるフィードバック成分（量など）を決定するパラメータである。さらに、αの値に基づいてｔｉｍｅ係数を生成する（ステップＳＪ４）。ｔｉｍｅ係数も、第１実施形態と同様に、ＤＳＰ部１８の遅延部１８３における遅延時間を決定するパラメータである。次に、生成したｓｅｎｄ係数およびｔｉｍｅ係数をＤＳＰ部１８に供給する（ステップＳＪ５）。この後は、Ｍ、Ｎの値に初期値の０をストアし（ステップＳＪ６）、タイマーをクリアして再びスタートさせる（ステップＳＪ７）。そして、図１３のメインルーチンに戻る。
【００３４】
図１８は、音声信号のエンベロープの山の数Ｍと口の開閉数Ｎとの差の絶対値であるαに対するＤＳＰ部１８に対する係数Ｃｄｓｐの特性を示す図である。第１実施形態と同様に、係数Ｃｄｓｐには、ＤＳＰ部１８の遅延部１８３に対する遅延係数Ｃｄｓｐ（ｄｅｌａｙ  ｔｉｍｅ）および帰還係数Ｃｄｓｐ（ｓｅｎｄ）がある。図１８に示すように、αの値が大きいほど、どちらの係数も大きくなる。この結果、口をあまり動かさずにムードのある曲を歌っている場合で、音声信号のエンベロープの山を検出したときには、リバーブやエコーを効かせて発音するので、実際よりも歌唱力を向上することができる。逆に、口を頻繁に開けて歯切れよく歌っている人の場合には、元々歌唱力のある人が多いので、リバーブやエコーをカットして音声信号をそのまま出力することで、歌唱力を活かした発音を行う。また、曲の間の間奏部分で口を閉じた状態でハミングやシャウトのように声を出している場合、あるいは、曲のエンディングにおいて口を大きく開けた状態で声を小さくして余韻に浸っている場合には、リバーブを深くしてムードを盛り上げるようなエフェクト処理を行う。
【００３５】
具体的には、口の開閉頻度が高い状態（頻度高）、口の開閉頻度が中程度の状態（頻度中）、又は口の開閉頻度が低い状態（頻度低）の３つの場合を、さらに、音声信号のエンベロープが所定値より大きい状態（発生有り）又は音声信号のエンベロープが所定値以下の状態（発生無し）で分類すると、これら６通りの歌唱状態のエフェクト処理の制御目的は下記のようになる。
（１）＜頻度高、音声有り：通常テンポの歌声＞適度なエフェクト処理
（２）＜頻度高、音声無し＞声は出ていないので、純粋に伴奏曲だけを聴かせるように、不要部分をカットして聞きやすくするエフェクト処理
（３）＜頻度中、音声有り：スローテンポの歌声＞響きを深くして雰囲気を盛り上げるエフェクト処理
（４）＜頻度中、音声無し＞声は出ていないので、純粋に伴奏曲だけを聴かせるように、不要部分をカットして聞きやすくするエフェクト処理
（５）＜頻度低、音声有り：ハミングやシャウトの歌声＞ゆったりと長く伸ばすようなエフェクト処理
（６）＜頻度低、音声無し＞声は出ていないので、純粋に伴奏曲だけを聴かせるように、不要部分をカットして聞きやすくするエフェクト処理
この６通りの歌唱状態におけるｓｅｎｄ（リバーブ、ディレイ）、リバーブタイム、およびディレイタイムの例を図１９に示す。
【００３６】
このように、第２実施形態のカラオケシステムは、マイクロフォン１に収容されて入力される音声に応じて音声信号を出力するマイク部５と、マイクロフォン１に収容されて歌唱者の口の映像を撮像して画像信号を出力するカメラ部６とを備えている。ＣＰＵ１０は、マイク部５から出力された音声信号のエンベロープとカメラ部６によって出力された画像信号との差分関係を検出して、その差分関係のデータに応じてＤＳＰ部１８に制御信号を与えて、マイク部５から出力される音声信号に対してエフェクト処理を施す。
したがって、歌唱者の歌声と歌唱者の口の動きとの差に応じてエフェクトを制御することにより、歌唱者の口の動きと歌声の音色との相関性を利用して、実際よりも歌唱力を高めることができる。
【００３７】
なお、上記第１および第２実施形態において、マイク部５から出力された音声信号とカメラ部６によって出力された画像信号との相関性を両者の差分関係としたが、相関性は差分関係に限定されるものでない。
図１１に示した口の縦横の比と音声信号の波形データと相関性を検出して、その相関性に対応する制御データをＤＳＰ部１８に与えて、マイク部５から出力される音声信号に対してエフェクト処理を施すような構成にしてもよい。例えば、縦／横の比が小さく音声信号の波形データの周波数が変動している場合には、口をあまり開けずに声を震わせて歌っている状態である考えられるので、ビブラートを強調したエフェクト処理を施す。あるいは、縦／横の比が大きく音声信号の波形データの周波数が高い場合には、高い声を出そうとがんばって歌っている状態である考えられるので、高音を強調したエフェクト処理を施す。
また、音声信号の複数種類の波形データにそれぞれ対応する画像信号の口の形状のパターンと、各パターンに対応する制御信号のデータとをあらかじめ記憶し、カメラ部６によって出力された画像信号に対応する制御信号のデータを読み出して、その制御信号をＤＳＰ部１８に与えてマイク部５から出力される音声信号に対してエフェクト処理を施すような構成にしてもよい。
【図面の簡単な説明】
【００３８】
【図１】本発明の各実施形態におけるマイクロフォンの外観図。
【図２】図１のマイクロフォンの内部構造を示す図。
【図３】第１実施形態のカラオケシステムの構成を示すブロック図。
【図４】図１におけるＤＳＰ部の内部構成を示すブロック図。
【図５】第１実施形態におけるＣＰＵのメインルーチンのフローチャート。
【図６】図５における画像認識処理のフローチャート。
【図７】図６に続く画像認識処理のフローチャート。
【図８】図６における口認識処理のフローチャート。
【図９】図５におけるＤＳＰ制御処理のフローチャート。
【図１０】第１実施形態における口の両端と上下の４個のポイントの座標を示す図。
【図１１】第１実施形態における口の開閉の推移を示す図。
【図１２】第１実施形態における口の開閉数に対するＤＳＰ部に対する係数の特性を示す図。
【図１３】第２実施形態のカラオケシステムの構成を示すブロック図。
【図１４】第２実施形態におけるＣＰＵのメインルーチンのフローチャート。
【図１５】図１４におけるマイク入力制御処理のフローチャート。
【図１６】図１４におけるＤＳＰ制御処理のフローチャート。
【図１７】第２実施形態における音声信号のエンベロープを示す図。
【図１８】第２実施形態における口の開閉数と音声信号のエンベロープとの差に対するＤＳＰ部に対する係数の特性を示す図。
【図１９】第２実施形態における口の状態に対するＤＳＰ部に対する係数の具体例を示す図。
【符号の説明】
【００３９】
１  マイクロフォン
２  マイクカバー
３  透明保護カバー
４  基板
５  マイク部
６  カメラ部
１０  ＣＰＵ
１２  プログラムＲＯＭ
１３  ワークＲＡＭ
１６  音源
１７  曲データＲＯＭ
１８  ＤＳＰ部
２０  Ａ／Ｄ変換回路
１８１  エフェクタ
１８２  信号合成部
１８３  遅延部
１８４  帰還部
【図１】
0004487909.tif 000002
【図２】
0004487909.tif 000003
【図３】
0004487909.tif 000004
【図４】
0004487909.tif 000005
【図５】
0004487909.tif 000006
【図６】
0004487909.tif 000007
【図７】
0004487909.tif 000008
【図８】
0004487909.tif 000009
【図９】
0004487909.tif 000010
【図１０】
0004487909.tif 000011
【図１１】
0004487909.tif 000012
【図１２】
0004487909.tif 000013
【図１３】
0004487909.tif 000014
【図１４】
0004487909.tif 000015
【図１５】
0004487909.tif 000016
【図１６】
0004487909.tif 000017
【図１７】
0004487909.tif 000018
【図１８】
0004487909.tif 000019
【図１９】
0004487909.tif 000020