(57)【要約】【課題】  映像と音の同期が崩れず、音の加工を視覚的に行う。【解決手段】  映像操作入力部１０４は、カラオケ装置１００のユーザにより操作され、その操作に対応した操作内容データを生成し、音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６に与える。音声加工パラメータ生成部１０５は、映像操作入力部１０４から与えられた操作内容データから音声加工パラメータを生成し、音声加工部１０２に与え音声加工の制御に供する。また、映像加工パラメータ生成部１０６は、映像操作入力部１０４から与えられた操作内容データから映像加工パラメータを生成し、映像加工部１０８に与え映像加工の制御に供する。【選択図】  図１
2016080908.tif 000002
【特許請求の範囲】
【請求項１】
表示装置に表示させる映像に対する加工内容を表す映像加工パラメータを入力音信号に応じて生成するパラメータ生成部と、
前記入力音信号の表す音と同期して前記表示装置に表示させる映像を表す映像データに対して前記映像加工パラメータに基づいた加工を施し、加工済の映像データを前記表示装置に与える映像加工部と、
を有することを特徴とする信号加工装置。
【請求項２】
前記映像加工部による加工の対象となる映像データを前記入力音信号に基づいて生成する映像生成部と、
前記表示装置に表示される映像に対する操作が入力される映像操作入力部と、
前記入力音信号に対して音加工パラメータに基づいた加工を施して出力する音加工部と、
を備え、
前記パラメータ生成部は、
前記入力音信号に応じて前記映像加工パラメータを生成する処理に代えて前記映像操作入力部に入力された操作に応じて前記映像加工パラメータを生成する処理、または前記入力音信号と前記映像操作入力部に入力された操作とに応じて前記映像加工パラメータを生成する処理を実行するとともに、前記音加工パラメータを前記映像操作入力部に入力された操作に応じて生成する
ことを特徴とする請求項１に記載の信号加工装置。
【請求項３】
前記入力音信号は、ユーザの歌唱音声を表す音信号を含み、
前記映像データは、前記ユーザを模したアバターの各部位を表すデータであり、
前記アバターの部位毎に異なる音響効果が割り当てられており、
前記パラメータ生成部は、前記映像操作入力部により操作が為されたアバターの部位毎に当該部位に対する加工内容を表す映像加工パラメータを生成するとともに、操作の為された部位に対応する音響効果を調整する音加工パラメータを生成する
ことを特徴とする請求項２に記載の信号加工装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに同期再生される映像と音の各々を表す信号を加工する技術に関する。
【背景技術】
【０００２】
デジタル技術の発達に伴い、互いに同期再生される映像と音よりなるコンテンツを一般ユーザが作成し公開することや、このようなコンテンツを構成する映像と音の一方にさらに加工を施すことが一般的となっている。前者の例として動画投稿サイトに投稿された動画が挙げられ、後者の例としてカラオケ装置が挙げられる。その中でも特に、カラオケ装置に関しては、近年、バリエーション豊かな音加工や映像加工を実現できるものが一般に普及している。
【０００３】
カラオケ装置における音加工の一例としては、伴奏音の音波形を表す音信号に対して、キー変換を具体例とする周波数変換が挙げられる。例えばキー変換機能を備えたカラオケ装置の利用者は、そのカラオケ装置のリモコンのスライダやそのカラオケ装置に付随した表示装置に表示された仮想スライダを上下させて伴奏音のキーを調整することで、自身のキーに即した伴奏音でカラオケ曲を歌唱することができる。
【０００４】
一方、カラオケ装置における映像加工の具体例としては、カラオケ曲の進行に伴って表示装置に表示される様々な映像コンテンツ（例えば、カラオケ曲のイメージに即した背景の映像やこの背景映像に重ね合わせて表示される歌詞の字幕映像など）に加工を施すことが挙げられる。この種の映像加工機能を有するカラオケ装置の具体例としては、特許文献１、２および３の各文献に開示のカラオケ装置が挙げられる。これら各文献に開示のカラオケ装置における映像加工は以下の通りである。
【０００５】
特許文献１には、表示装置に表示される背景映像と歌詞字幕映像に対して歌唱者の映像をリアルタイムに合成する映像加工が開示されている。特許文献２には、デジタルカメラの映像を背景映像として歌詞字幕映像と合成する映像加工が開示されている。
【０００６】
また、特許文献３には、歌唱者を示すアバターに歌唱者の設定した装飾品の画像を重ね合わせるなどの加工を施して背景映像と合成する映像加工が開示されている。アバターとは、人間を模したキャラクターのことである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−０４５３７３号公報
【特許文献２】特開２００９−０２０２３４号公報
【特許文献３】特許５０１８７９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１、２および３に開示されたカラオケ装置では、映像加工に関しては考慮されているが、その映像加工に対応した音加工は考慮されていない。本来、カラオケ装置で再生される映像は音と同期再生されるものであり、映像のみに加工を施すことで音との同期が崩れることは好ましくない。
【０００９】
同期再生される映像と音声のうちの音声のみに加工を施すことで両者の同期が崩れることも同様に好ましくないが、従来の音加工ではこのような配慮は払われていなかった。加えて、従来の音加工では、直接的な操作で音信号の音量の増減といった大まかな加工を施すことは可能であったが、音信号の周波数分布を変更するといったきめ細やかな加工を施すことはできなかった。前者は、音信号の特徴（例えば周波数分布等）を視覚的に把握していなくても行うことができるが、後者は、音信号の特徴を視覚的に把握していないと難しい。さらに、従来の音加工には、加工によって生じる音の細かい変化を視覚的に把握することができない、といった問題もあった。
【００１０】
この発明は以上のような事情に鑑みてなされたものであり、その目的は、同期再生される映像と音の少なくとも一方を加工しても両者の同期が崩れず、さらに、ユーザが音の加工を視覚的に行うことができるようにする技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために本発明は、表示装置に表示させる映像に対する加工内容を表す映像加工パラメータを入力音信号に応じて生成するパラメータ生成部と、前記入力音信号の表す音と同期して前記表示装置に表示させる映像を表す映像データに対して前記映像加工パラメータに基づいた加工を施し、加工済の映像データを前記表示装置に与える映像加工部と、を有することを特徴とする信号加工装置を提供する。この発明によれば、入力音信号に応じて再生される音と同期して表示装置に表示させる映像に加工を施す映像加工パラメータが当該入力音信号に応じて生成される。したがって、映像と音の同期が崩れない。
【００１２】
より好ましい態様においては、上記信号加工装置は、前記映像加工部による加工の対象となる映像データを前記入力音信号に基づいて生成する映像生成部と、前記表示装置に表示される映像に対する操作が入力される映像操作入力部と、前記入力音信号に対して音加工パラメータに基づいた加工を施して出力する音加工部と、を備え、前記パラメータ生成部は、前記入力音信号に応じて前記映像加工パラメータを生成する処理に代えて前記映像操作入力部に入力された操作に応じて前記映像加工パラメータを生成する処理、または前記入力音信号と前記映像操作入力部に入力された操作とに応じて前記映像加工パラメータを生成する処理を実行するとともに、前記音加工パラメータを前記映像操作入力部に入力された操作に応じて生成することを特徴とする。
【００１３】
例えば、映像操作入力部に対する操作に応じて映像加工パラメータをパラメータ生成部に生成させる態様であれば、表示装置に表示される映像に対して当該映像を加工するための操作が行われると、その加工内容を表す映像加工パラメータが当該操作に応じて生成されるとともに、当該映像と同期して出力される音に対する加工内容を表す音加工パラメータが当該操作に応じて生成される。そして、表示装置に表示される映像を表す映像データに対して上記映像加工パラメータに基づく加工が施され、出力される音を表す入力音信号に対して上記音加工パラメータに基づく加工が施される。このため、映像操作入力部に対して為された操作に応じて生成される映像加工パラメータと音加工パラメータの平仄を揃えておけば（例えば、ピンチアウト操作に応じて映像を拡大する映像加工パラメータを生成するとともに音量を引き上げる音加工パラメータを生成する一方、ピンチイン操作に応じて映像を縮小する映像加工パラメータを生成するとともに音量を引き下げる音加工パラメータを生成する当）、映像に加工を施しても映像と音の同期が崩れず、視覚的な音声加工を行うことが可能になる。
【００１４】
好ましい態様としては、前記入力音信号は、ユーザの歌唱音声を表す音信号を含み、前記映像データは、前記ユーザを模したアバターの各部位を表すデータであり、前記アバターの部位毎に異なる音響効果が割り当てられており、前記パラメータ生成部は、前記映像操作入力部により操作が為されたアバターの部位毎に当該部位に対する加工内容を表す映像加工パラメータを生成するとともに、操作の為された部位に対応する音響効果を調整する音加工パラメータを生成する。この態様によれば、音にはユーザの歌唱音声が含まれる。さらに、表示装置に表示される映像はユーザを模したアバターであり、アバターの部位毎に操作を行うと、音に対してアバターの部位毎に割り当てられた異なる音響効果が施される。したがって、アバターの部位の映像に加工を施しても映像と音の同期が崩れず、アバターの部位に対応する音響効果を施す音声加工を視覚的に行うことができる。
【００１５】
また、別の好ましい態様としては、コンピュータに、表示装置に表示させる映像に対する加工内容を表す映像加工パラメータを入力音信号に応じて生成するパラメータ生成処理と、前記入力音信号の表す音と同期して前記表示装置に表示させる映像を表す映像データに対して前記映像加工パラメータに基づいた加工を施し、加工済の映像データを前記表示装置に与える映像加工処理と、を実行させるプログラムを提供する。この態様によっても、入力音信号に応じて再生される音と同期して表示装置に表示させる映像に加工を施す映像加工パラメータが当該入力音信号に応じて生成される。したがって、映像と音の同期が崩れない。
【図面の簡単な説明】
【００１６】
【図１】この発明の信号加工装置の第１実施形態であるカラオケ装置１００の構成を示すブロック図である。
【図２】同カラオケ装置１００に記憶されている音声加工テーブルの概念図である。
【図３】同カラオケ装置１００に記憶されている映像加工テーブルの概念図である。
【図４】同カラオケ装置１００に記憶されているリバーブ変更テーブルを例示した概念図である。
【図５】同カラオケ装置１００に記憶されている背景映像変更テーブルを例示した概念図である。
【図６】音声加工パラメータ生成部１０５が音声加工パラメータを生成する処理の流れを示すフローチャートである。
【図７】映像加工パラメータ生成部１０６が映像加工パラメータを生成する処理の流れを示すフローチャートである。
【図８】同カラオケ装置１００の映像操作入力部１０４に表示される映像を例示した図である。
【図９】同映像操作入力部１０４にピンチアウト操作を行った後に表示される映像を例示した図である。
【図１０】同映像操作入力部１０４にタッチ操作を行った後に表示される映像を例示した図である。
【図１１】音声加工パラメータ生成部１０５が音声加工パラメータを生成する処理の流れを示すフローチャートである。
【図１２】映像加工パラメータ生成部１０６が映像加工パラメータを生成する処理の流れを示すフローチャートである。
【図１３】この発明の第２実施形態であるカラオケ装置に記憶されているアバター部位加工テーブルの概念図である。
【図１４】同カラオケ装置に記憶されているコンプレッサ加工テーブルの概念図である。
【図１５】この発明の第３実施形態であるカラオケ装置２００の構成を示すブロック図である。
【図１６】特徴量解析部２０４が映像加工パラメータを生成する処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ、この発明の実施形態を説明する。
＜第１実施形態＞
（Ａ：構成）
図１は、この発明の信号加工装置の第１実施形態であるカラオケ装置１００の構成を示すブロック図である。カラオケ装置１００は、ユーザの歌唱音声を収音し伴奏音とともにスピーカ等の放音装置に出力させるとともに、当該ユーザを模したキャラクターであるアバターを背景映像と合成して表示装置に表示させる装置である。図１に示すように、カラオケ装置１００は、音声入力部１０１、音声加工部１０２、音声出力部１０３、映像操作入力部１０４、音声加工パラメータ生成部１０５、映像加工パラメータ生成部１０６、映像生成部１０７、映像加工部１０８、背景映像取得部１０９および映像出力部１１０を有している。カラオケ装置１００を構成する各部のうち、音声加工部１０２、音声加工パラメータ生成部１０５、映像加工パラメータ生成部１０６、映像生成部１０７および映像加工部１０８は、カラオケ装置１００のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒоｃｅｓｓｉｎｇ  Ｕｎｉｔ：図１では図示略）が当該カラオケ装置１００に予め記憶されている制御プログラム（図１では図示略）にしたがって実現するソフトウェアモジュールである。
【００１８】
背景映像取得部１０９は、ネットワークを介してホストコンピュータに接続されている。当該ホストコンピュータは、背景映像取得部１０９に対してユーザにより選択されたカラオケ曲の伴奏音を表す伴奏音データと背景映像データとを配信する。背景映像データとは、伴奏音と同期させて表示装置に表示させる映像を表すデータである。本実施形態の背景映像データは、各々異なる映像を表す複数の映像データから構成されている。例えば、音楽ホールを表す映像データと風呂場を表示する映像データとが背景映像データに含まれているといった具合である。背景映像取得部１０９は、ホストコンピュータから配信される背景映像データと伴奏音データを受信し、背景映像データを映像加工部１０８に与え、伴奏音データを音声加工部１０２に与える。図１では、背景映像取得部１０９と音声加工部１０２に接続する信号線の図示を省略している。
【００１９】
音声入力部１０１は例えばマイクロフォンである。図１に示すように、本実施形態のカラオケ装置１００は、複数の音声信号入力部１０１を有している。複数の音声入力部１０１の各々は、それらを各々持って歌唱する複数の歌唱者の音声を収音し、収音された音声の波形を表す音声信号を音声加工部１０２に与える。本実施形態では、カラオケ装置１００が複数の歌唱者によって利用される場合、各歌唱者はそれぞれ異なる音声入力部１０１を持って歌唱する。したがって、音声入力部１０１の数は、歌唱者の人数と同数もしくは歌唱者の人数よりも多くなければならない。歌唱者が使用していない音声入力部１０１は音声を収音せず、音声信号を生成しない。
【００２０】
音声加工部１０２は、音声入力部１０１および背景映像取得部１０９から与えられた音声信号に加工を施し、加工後の音声信号を複数の音声出力部１０３の各々に振り分けて出力する。音声出力部１０３は例えばスピーカである。音声出力部１０３は、音声加工部１０２から与えられた音声信号の表す音を放音する。本実施形態では、音声入力部１０１と音声出力部１０３の数は一致していない（図１に示すＮとＴは等しくない）が、両者の数が一致していてもよい。また、本実施形態では、音声入力部１０１と音声出力部１０３をそれぞれ複数設けたが、各々１つずつであってもよい。
【００２１】
音声加工部１０２が行う音声信号の加工の一例としては、音声入力部１０１から与えられた音声信号の音量の増減や音声信号にリバーブなどの音響効果を付与することや、複数の音声出力部１０３の出力バランスを調整することで音像を定位させることが挙げられる。これらの加工は、音声加工パラメータ生成部１０５が生成する音声加工パラメータに従って行われる。
【００２２】
音声入力部１０１が生成する音声信号は、映像生成部１０７にも与えられる。映像生成部１０７は、図１には図示しない記憶装置に記憶された複数のアバターデータの中から、与えられた各音声信号に対応するアバターデータを読み出し、当該アバターデータを映像加工部１０８に出力する。より詳細に説明すると、複数のアバターデータの各々は、互いに異なる音声信号識別子と対応付けて上記記憶装置に記憶されている。音声信号識別子は、図１に示す各音声入力部１０１に付された番号の１からＮである。つまり、カラオケ装置１００に設けられている音声入力部１０１の数と上記記憶装置に記憶されているアバターデータの数は一致する。映像生成部１０７は、音声信号入力部１０１から音声信号が与えられると、その音声信号入力部１０１を示す音声信号識別子に対応したアバターデータを記憶装置から読み出し、そのアバターデータを映像加工部１０８に与える。
【００２３】
なお、アバターデータと対応付けて記憶装置に記憶させておく音声信号識別子は、音声入力部１０１に付された番号には限定されず、音声信号の波形データや音声信号の特徴を表す特徴量データであっても良い。音声信号識別子として波形データ或いは特徴量データを用いる場合には、映像生成部１０７は、音声入力部１０１から音声信号を受け取ったことを契機として、その音声信号の波形或いは特徴を判別し、その波形或いは特徴を示す音声識別子に対応するアバターデータを記憶装置から読み出す処理を実行する。この態様においては、歌唱者が歌の途中でマイクロフォンを別のマイクロフォンに持ち替えたとしても、その持ち替え後も持ち替え前と同じアバターが表示装置に表示される。
【００２４】
音声信号識別子に対応付けるアバターデータは、予め用意されたアバターデータの中から、その音声信号識別子の示す音声入力部１０１を使用するユーザが自らの好みに応じて選択できるようになっていても良いし、予め用意されたアバターの各部位（例えば、アバターの顔や胴、手足など）を表すデータの中から当該ユーザが自らの好みに応じて選択したものを１つに合成したものであっても良い。また、アバターデータの選択や生成は、カラオケ装置１００において行われても良いし、パソコン等のカラオケ装置１００以外の機器で上記選択或いは生成を行い、その選択や生成の結果をカラオケ装置１００に記憶させたものであっても良い。
【００２５】
映像加工部１０８は、映像生成部１０７から与えられたアバターデータと、背景映像取得部１０９から与えられた背景映像データに含まれる複数の映像データの中から選択した１つの映像データの両者に加工を施し、さらに両者を合成し、出力映像データとして映像出力部１１０に与える。映像出力部１１０は例えばモニタなどの表示装置であり、与えられた出力映像データの表す映像を表示する。映像加工部１０８における選択、加工および合成は、映像加工パラメータ生成部１０６により生成された映像加工パラメータに従って行われる。ここで映像加工パラメータにしたがって行われる加工の一例としては、アバターの拡大或いは縮小、アバターの表示位置の変更、背景映像の変更などが挙げられる。カラオケ装置１００において歌唱者が歌唱する歌を選択し、歌の伴奏音が流れ始め歌唱者がまだ歌い始めていない状況下では、映像出力部１１０はアバターを表示せず、背景映像のみを表示する。歌唱者が歌い始めていなければ、音声入力部１０１から映像生成部１０７に音声信号は与えられず、映像生成部１０７がアバターデータを映像加工部１０８に出力することはないからである。この後、歌唱者が歌唱を開始すると、映像加工部１０８は、映像加工パラメータが与えられるまでは、背景映像の中央に予め定められた大きさでアバターが表示されるようにアバターデータと背景映像データを合成する。
【００２６】
映像操作入力部１０４は映像出力部１１０の表示面全体を覆うように設けられたタッチパネルである。映像操作入力部１０４は、カラオケ装置１００のユーザにより操作され、その操作に対応した操作内容データを生成し、音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６に与える。本実施形態では、映像出力部１１０の表示面全体を映像操作入力１０４としたが上記表示面の一部のみを映像操作入力部１０４としても良い。また、映像操作入力部１０４は、映像出力部１１０とは別の装置（例えば、カラオケ装置１００のリモコン）の一部であっても良い。ただし、映像操作入力部１０４がカラオケ装置１００のリモコンの一部である場合には、映像加工部１０８は、映像出力部１１０だけでなく当該リモコンにも映像を出力する。この場合、映像出力部１１０と映像操作入力部１０４に表示された映像は同じとなる。
【００２７】
映像操作入力部１０４に行われる操作の具体例としては、ピンチイン操作およびピンチアウト操作（以下、ピンチイン／アウト操作と表記）とタッチ操作が挙げられる。ピンチイン操作とは、映像操作入力部１０４に２本の指をタッチし、その２本の指の間隔を狭めるように各指を動かす操作のことである。ピンチアウト操作とは、同様にタッチし、２本の指の間隔を広げるように動かす操作のことである。ピンチイン／アウト操作が為されると、映像操作入力部１０４は、当該ピンチイン／アウト操作を示す操作内容データを生成し、音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６に与える。この操作内容データには、当該操作に関与した２本の指の各々についてのタッチを開始した座標（例えば、映像操作入力部１０４の表示領域の左上隅を原点とする座標、以下、同じ）から指を離した座標までの軌跡を表すデータが含まれている。
【００２８】
タッチ操作とは、ユーザが映像操作入力部１０４に１本の指でタッチし、タッチしたまま映像操作入力部１０４の画面上をなぞり、任意の位置で画面から指を離す操作のことである。このタッチ操作により、映像操作入力部１０４は、タッチ操作を示す操作内容データ（すなわち、タッチを開始した座標から指を離した座標までの軌跡を表すデータ）を生成し、その操作内容データを音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６に与える。なお、本実施形態では、アバターに対して当該タッチ操作が為された場合と背景映像に対して当該タッチ操作が為された場合とを区別し、特に後者を「フリック操作」或いは「スワイプ操作」と呼ぶ。
【００２９】
音声加工パラメータ生成部１０５は、映像操作入力部１０４から与えられた操作内容データから音声加工パラメータを生成し、音声加工部１０２に与える。音声加工パラメータ生成部１０５には、図２に示す音声加工テーブルと、図４に示すリバーブ変更テーブルとが予め記憶されている。図２に示すように、音声加工テーブルには、映像操作入力部１０４に対して為される各種操作の各々に対応付けて、その操作が為されたときに、音声に施す加工内容を表すデータが格納されている。一方、図４に示すように、リバーブ変更テーブルには、音声に施すリバーブの種類を示す識別子（図４では番号）に対応付けて、当該リバーブの内容を示すデータが格納されている。なお、音声加工パラメータ生成部１０５は、現在施されているリバーブの識別子を記憶する。音声加工パラメータ生成部１０５は、映像操作入力部１０４から与えられた操作内容データの示す操作内容と、音声加工テーブルの格納内容とから、その操作内容に応じた加工内容を表す音声加工パラメータを生成する。なお、上記操作内容がフリック操作或いはスワイプ操作であれば、音声加工パラメータ生成部１０５は、さらに、リバーブ変更テーブルを参照して音声加工パラメータを生成する。
【００３０】
映像加工パラメータ生成部１０６は、映像操作入力部１０４から与えられた操作内容データから映像加工パラメータを生成し、映像加工部１０８に与える。映像加工パラメータ生成部１０６には、図３に示す映像加工テーブルと、図５に示す背景映像変更テーブルが予め記憶されている。図３に示すように、映像加工テーブルには、映像操作入力部１０４に対して為される各種操作の各々に対応付けて、その操作が為されたときに、映像に施す加工内容を表すデータが格納されている。一方、図５に示すように、背景映像変更テーブルには、映像に施す背景映像の種類を示す識別子（図５では番号）に対応付けて、当該背景映像の内容を示すデータが格納されている。なお、映像加工パラメータ生成部１０６は、現在表示されている背景映像の識別子を記憶する。また、図４と図５の同じ番号に対応するリバーブと背景映像は互いに対応している。映像加工パラメータ生成部１０６は、映像操作入力部１０４から与えられた操作内容データの示す操作内容と、映像加工テーブルの格納内容とから、その操作内容に応じた加工内容を表す映像加工パラメータを生成する。なお、上記操作内容がフリック操作或いはスワイプ操作であれば、映像加工パラメータ生成部１０６は、さらに、背景映像変更テーブルを参照して映像加工パラメータを生成する。
【００３１】
図６は、音声加工パラメータ生成部１０５が音声加工パラメータを生成する処理の流れを示すフローチャートであり、図７は、映像加工パラメータ生成部１０６が映像加工パラメータを生成する処理の流れを示すフローチャートである。図６と図７を比較すれば明らかなように、ステップＳＡ１０３、ステップＳＡ１０５およびステップＳＡ１０６と、ステップＳＢ１０３、ステップＳＢ１０５およびステップＳＢ１０６とが各々対応し、これらのステップ以外は内容が同じであるため、図６と図７では同じステップ番号を用いる。音声加工パラメータ生成部１０５と映像加工パラメータ１０６は、映像操作入力部１０４から操作内容データを受け取ったことを契機として音声加工パラメータと映像加工パラメータの生成を各々開始する。音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６の各々は、操作内容データの示す操作がピンチイン／アウト操作であるか否かを判定する（ステップＳＡ１０１）。具体的には、音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６の各々は、操作内容データに２本の指の軌跡を表すデータが含まれている場合に、ピンチイン／アウト操作を示す操作内容データであると判定する。ステップＳＡ１０１の判定結果が“Ｙｅｓ”であった場合、音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６は、その操作内容データの示すタッチを開始した２本の指の座標の少なくとも一方が、アバターに対応する領域内にあるか否かを判定する（ステップＳＡ１０２）。ステップＳＡ１０２の判定結果が“Ｙｅｓ”であった場合、音声加工パラメータ生成部１０５は、音声加工テーブルを参照して、ピンチイン／アウト操作後の２本の指の間隔に応じて音声信号の音量を増減させる音声加工パラメータを生成する（ステップＳＡ１０３）。同様に、映像加工パラメータ生成部１０６は、ステップ１０２の判定結果が“Ｙｅｓ”であった場合、映像加工テーブルを参照して、ピンチイン／アウト操作後の２本の指の間隔に応じたサイズに当該アバターを縮小／拡大させ、当該アバターとピンチイン／アウト操作前の背景映像を合成させる映像加工パラメータを生成する（ステップＳＢ１０３）。これに対して、ステップＳＡ１０２の判定結果が“Ｎｏ”であった場合には、音声加工パラメータ生成部１０５と映像加工パラメータ１０６は、音声加工パラメータと映像加工パラメータを生成せずに、ステップＳＡ１０３とステップＳＢ１０３を実行することなく、当該生成処理を終了する。
【００３２】
次いで、音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６が、タッチ操作を示す操作内容データを受け取った場合について説明する。この場合の説明も図６と図７を援用する。音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６の各々は、ステップＳＡ１０１の判定結果が“Ｎｏ”であった場合、その操作内容データの表す操作がアバターに対するタッチ操作であるか否かを判定する（ステップＳＡ１０４）。具体的には、音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６の各々は、受け取った操作内容データの示すタッチ開始位置の座標がアバターに対応する領域内の座標であった場合には、アバターに対するタッチ操作であると判定し、当該領域外の座標であった場合にはフリック操作或いはスワイプ操作であると判定する。
【００３３】
ステップＳＡ１０４の判定結果が“Ｙｅｓ”であった場合、映像加工パラメータ生成部１０６は、映像加工テーブルの格納内容を参照し、アバターの表示位置を移動させて背景映像と合成することを指示する映像加工パラメータを生成する（ステップＳＢ１０５）。具体的には、映像加工パラメータ生成部１０６は、受け取った操作内容データの示すタッチ終了位置に上記アバターを移動させて背景映像と合成することを指示する映像加工パラメータを生成する。一方、音声加工パラメータ生成部１０５は、ステップＳＡ１０４の判定結果が“Ｙｅｓ”であった場合、音声加工テーブルの格納内容を参照し、アバターに対応する音像（当該アバターに対応付けられている音声信号識別子の示す音声信号に対応する音像、すなわち、当該アバターに対応する歌唱者の歌唱音声に対応する音像）の定位位置を移動させることを指示する音声加工パラメータを生成する（ステップＳＡ１０５）。具体的には、音声加工パラメータ生成部１０５は、受け取った操作内容データの示すタッチ終了位置に上記音像が定位するように各音声出力部１０３の出力バランスを調整することを指示する音声加工パラメータを生成する。
【００３４】
これに対して、ステップＳＡ１０４の判定結果が“Ｎｏ”であった場合、映像加工パラメータ生成部１０６は、受け取った操作内容データがフリック操作或いはスワイプ操作であるとして、背景映像を変更してアバターと合成することを指示する映像加工パラメータを生成する（ステップＳＢ１０６）。具体的には、映像加工パラメータ生成部１０６は、まず、映像加工テーブルを参照して背景映像の変更を指示されたと判定し、その時点の背景映像を示す識別子（すなわち、映像加工パラメータ生成部１０６に記憶されている識別子）と映像変更テーブルの格納内容とから、変更先の背景映像の識別子を特定する。そして、映像加工パラメータ生成部１０６は、自身に記憶している識別子を上記の要領で特定した識別子に更新するとともに、当該識別子の示す背景映像とアバターとを合成することを指示する映像加工パラメータを生成する。例えば、背景映像がカラオケ装置１００の製作者またはユーザが任意に設定した映像（すなわち、図５では番号１に対応する初期背景映像）の場合、映像加工パラメータ生成部１０６は、フリック操作或いはスワイプ操作により、背景映像を音楽ホール（すなわち、図５では番号２に対応する背景映像）に選択することを指示する映像加工パラメータを生成する。その後、再度フリック操作或いはスワイプ操作が行われると、映像加工パラメータ生成部１０６は、背景映像を風呂場（すなわち、図５では番号３に対応する背景映像）に選択することを指示する映像加工パラメータを生成する。映像加工パラメータ生成部１０６は、フリック操作或いはスワイプ操作が次々と行われると、次々に背景映像を選択する映像加工パラメータを生成するが、フリック操作或いはスワイプ操作前に図５に示す背景映像変更テーブルの最後の番号に対応する背景映像である場合は、フリック操作或いはスワイプ操作により、次に番号１に対応する初期背景映像を選択する映像加工パラメータを生成する。このようにすることで、映像加工パラメータ生成部１０６は、フリック操作或いはスワイプ操作を繰り返すと、背景映像を次々と選択してゆく映像加工パラメータを生成する。なお、フリック操作或いはスワイプ操作前後でアバターに変化はなく、背景映像に対して合成される位置にも変化はない。
【００３５】
同様に、音声加工パラメータ生成部１０５は、ステップＳＡ１０４の判定結果が“Ｎｏ”であった場合、受け取った操作内容データがフリック操作或いはスワイプ操作であるとして、アバターに対応する音声に付与するリバーブの変更を指示する音声加工パラメータを生成する（ステップＳＡ１０６）。具体的には、音声加工パラメータ生成部１０５は、まず、音声加工テーブルを参照してリバーブの変更を指示されたと判定し、その時点のリバーブを示す識別子（すなわち、音声加工パラメータ生成部１０５に記憶されている識別子）とリバーブ変更テーブルの格納内容とから、変更先のリバーブの識別子を特定する。そして、音声加工パラメータ生成部１０５は、自身に記憶している識別子を上記の要領で特定した識別子に更新するとともに、当該識別子の示すリバーブをアバターに対応する音声に付与することを指示する音声加工パラメータを生成する。例えば、リバーブが施されていない（すなわち、図４では番号１に対応するリバーブを施さない）場合、音声加工パラメータ生成部１０５は、フリック操作或いはスワイプ操作により、音声に音楽ホールで聴いているかのようなリバーブを施す（すなわち、図４では番号２に対応するリバーブを施す）ことを指示する音声加工パラメータを生成する。その後、再度フリック操作或いはスワイプ操作が行われると、音声加工パラメータ生成部１０５は、音声に風呂場で聴いているかのようなリバーブを施す（すなわち、図４では番号３に対応するリバーブを施す）ことを指示する音声加工パラメータを生成する。音声加工パラメータ生成部１０５は、フリック操作或いはスワイプ操作が次々と行われると、次々にリバーブを選択する音声加工パラメータを生成するが、フリック操作或いはスワイプ操作前に図５に示すリバーブ変更テーブルの最後の番号に対応するリバーブである場合は、フリック操作或いはスワイプ操作により、次に番号１に対応するリバーブを施さない音声加工パラメータを生成する。このようにすることで、音声加工パラメータ生成部１０５は、フリック操作或いはスワイプ操作を何度繰り返しても、リバーブを次々と選択してゆく音声加工パラメータを生成する。
以上が、本実施形態のカラオケ装置１００の構成である。
【００３６】
（Ｂ：動作）
以下、カラオケ装置１００のユーザが一人である場合を例にとって、カラオケ装置１００の動作を説明する。上記ユーザがカラオケ装置１００の電源を投入すると、映像出力部１１０にはカラオケ曲の選択を促すメニュー画面が表示される。このメニュー画面を視認したユーザは、リモコン等を操作することで歌唱しようとするカラオケ曲の選択や、演奏開始の指示を入力することができる。カラオケ曲の選択が行われると、背景映像取得部１０９はホストコンピュータから当該カラオケ曲に対応する背景映像データを取得するとともに、当該カラオケ曲の伴奏音データを同ホストコンピュータから取得する。そして、演奏開始の指示が入力されると、背景映像取得部１０９はホストコンピュータから取得した背景映像データの映像加工部１０８への出力を開始するとともに、同ホストコンピュータから取得した伴奏音データの音声加工部１０２への出力（図１では図示略）を開始する。伴奏音の音量の調整は、例えば、カラオケ装置１００のリモコンのスライダを上下させることで行われる。
【００３７】
このようにして背景映像取得部１０９から背景加工部１０８への背景映像データの出力が開始されると、映像出力部１１０では歌唱対象のカラオケ曲に対応した映像の表示が開始され、音声出力部１０３では同カラオケ曲の伴奏音の放音が開始される。上記歌唱者は上記映像および伴奏音から歌唱開始タイミングに至ったことを把握すると、音声入力部１０１を持って歌唱を開始する。このように、上記ユーザは歌唱開始点に到達するまでは歌唱を開始しないため、背景映像取得部１０９から背景加工部１０８への背景映像データの出力開始時点から歌唱開始タイミングまでは、当該ユーザに対応するアバターが映像出力部１１０に表示されることはない。そして、ユーザが歌い始めると、その歌唱音声を表す音声信号が音声加工部１０２に与えられるとともに映像生成部１０７に与えられる。映像生成部１０７は当該ユーザに対応するアバターを表すアバターデータの映像加工部１０８への出力を開始する。映像加工部１０８は、与えられたアバターデータを背景映像データの中央の座標に位置するように合成して映像出力データとして映像出力部１１０に与える。そのため、映像出力部１１０には、図６に示すように背景映像の中央にアバターを配置した映像が表示される。さらに、各音声出力部１０３から出力される上記ユーザの歌声が、映像出力部１１０に表示されたアバターの位置から聞こえるように、出力バランスは調整される。
【００３８】
上記の要領でアバターの表示が開始されると、カラオケ装置１００のユーザはアバターに対する操作、或いは背景映像に対する操作を映像操作入力部１０４に対して行うことができる。なお、アバターに対する操作としては、前述したピンチイン／アウト操作とアバターの位置を移動させるタッチ操作が挙げられる。以下、これらの操作が為された場合にカラオケ装置１００が行う動作について説明する。
【００３９】
（Ｂ−１：アバターに対する操作が為された場合の動作）
前述したようにアバターに対する操作としては、ピンチイン／アウト操作とタッチ操作が挙げられる。
【００４０】
（Ｂ−１−１：アバターに対するピンチイン／アウト操作が為された場合の動作）
まず、アバターに対するピンチイン／アウト操作が為された場合の動作を説明する。
映像出力部１１０に表示されたアバターに対してピンチイン／アウト操作が行われると、上記で説明したように、映像操作入力部１０４は、ピンチイン／アウト操作を示す操作内容データを生成し、音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６に与える。前述したように、音声加工パラメータ生成部１０５は、アバターに対応する音声の音量をピンチイン／アウト操作の操作量に応じて減少／増大させることを指示する音声加工パラメータを生成し、映像加工パラメータ生成部１０６は、アバターの大きさを縮小／拡大することを指示する映像加工パラメータを生成する。
【００４１】
音声加工パラメータは音声加工部１０２に与えられ、音声加工部１０２は、当該音声加工パラメータに従って、ピンチイン／アウト操作の為されたアバターに対応する音声入力部１０１から与えられた音声信号に音量を減少／増大させる加工を施し、加工後の音声信号を音声出力部１０３に与える。音声出力部１０３は、与えられた音声信号を放音する。なお、アバターのピンチイン／アウト操作と音声信号の音量の減少／増大の関係性については、ピンチイン操作により音声信号の音量が増大し、ピンチアウト操作により音声信号の音量が減少するようになっていてもよい。しかし、このような操作内容と加工内容の対応付けはユーザの直感とは合わないため、決して望ましいものではない。ピンチイン操作により音声信号の音量が減少し、ピンチアウト操作により音声信号の音量が増大するという操作内容と加工内容の対応付けが望ましい。
【００４２】
映像加工部１０８は、映像加工パラメータに従い、ピンチイン／アウト操作の為されたアバターのアバターデータに縮小／拡大の加工を施し、背景映像データと加工後のアバターデータを合成し、出力映像データとする。そして、その出力映像データを映像出力部１１０に与える。映像出力部１１０は、与えられた出力映像データをユーザに表示する。そのため、映像出力部１１０および映像操作入力部１０４に表示されるアバターの全体が縮小／拡大する。なお、アバターの全体に対するピンチイン操作により、アバターの全体が拡大し、ピンチアウト操作によりアバターの全体が縮小してもよいが、このような操作内容と加工内容の対応付けはユーザの直感とは合わないため、決して望ましいものではない。
【００４３】
図９は、映像操作入力部１０４にピンチアウト操作を行った後に表示される映像を例示した図である。図８と図９とを比較すれば明らかなように、アバター全体にピンチアウト操作が行われると、アバター全体が拡大されて表示される。さらに、拡大されたアバターに対応した音声は、音量が増大して音声出力部１０３から放音される。このように、本実施形態によれば、映像と音声の同期が崩れることはない。
【００４４】
（Ｂ−１−２：アバターに対するタッチ操作が為された場合の動作）
次に、アバターの位置を移動させるタッチ操作が為された場合の動作について説明する。
アバターの位置を移動させるタッチ操作が為されると、映像加工パラメータ生成部１０６は、タッチ操作終了位置にアバターを移動させる映像加工パラメータを生成する。映像加工パラメータ生成部１０６は、その映像加工パラメータを映像加工部１０８に与え、映像加工部１０８は映像加工パラメータを基にアバターデータと背景映像データを合成し、出力映像データとして映像出力部１１０に与える。映像出力部１１０は、与えられた出力映像データの表す映像を表示する。そのため、映像出力部１１０に表示されたアバターは、当該アバターに対するタッチ操作終了位置に移動する（図１０参照）。なお、映像操作入力部１０４に表示されたアバターを画面外に移動させた場合には、映像加工パラメータ生成部１０６は、アバターを表示しない映像加工パラメータを生成し、音声加工パラメータ生成部１０５は、当該アバターに対応する音声のミュートを指示する音声加工パラメータを生成する。そのため、映像出力部１１０と映像操作入力部１０４にはアバターが表示されず、さらにユーザはそのアバターに対応した音声が聞こえなくなる。
【００４５】
また、アバターの位置を移動させるタッチ操作が行われると、前述したように、音声加工パラメータ生成部１０５は、タッチ操作終了位置に当該アバターに対応する音像（すなわち、ユーザの歌唱音声の音像）が定位するように音声出力部１０３の出力バランスの調整を指示する音声加工パラメータを生成する。音声加工パラメータ生成部１０５は、その音声加工パラメータを音声加工部１０２に与え、音声加工部１０２は、タッチ操作の為されたアバターに対応する音声入力部１０１から与えられた音声信号に上記加工を施し、音声出力部１０３に与える。音声出力部１０３は、与えられた音声信号の表す音を放音する。そのため、ユーザは、アバターに対するタッチ操作におけるタッチ操作終了位置からアタバーが歌っているかのような聴感を得る。この場合も映像と音声の同期が崩れることはない。
【００４６】
（Ｂ−２：背景映像に対する操作が為された場合の動作）
最後に、背景映像に対する操作が為された場合の動作について説明する。
映像操作入力部１０４に表示された背景映像に対してフリック操作或いはスワイプ操作が行われると、前述したように、映像加工パラメータ生成部１０６は、背景映像をフリック操作或いはスワイプ操作前とは異なる背景映像の選択を指示する映像加工パラメータを生成する。映像加工パラメータ生成部１０６は、その映像加工パラメータを映像加工部１０８に与え、映像加工部１０８は、映像加工パラメータを基にその操作前と同じアバターデータとその操作前とは異なる背景映像データを合成し、出力映像データとして映像出力部１１０に与える。出力映像データにおいて、アバターデータの背景映像データに対する位置は、操作前後で同じである。映像出力部１１０は、与えられた出力映像データの表す映像を表示する。そのため、映像出力部１１０では、フリック操作或いはスワイプ操作前とは異なる背景映像が表示されているが、その操作前と同じアバターが背景映像に対して操作前と同じ位置に表示されている。
【００４７】
一方、音声加工パラメータ生成部１０５は、フリック操作或いはスワイプ操作後の背景映像に対応したリバーブを音声信号に施すことを指示する音声加工パラメータを生成する。音声加工パラメータ生成部１０５は、その音声加工パラメータを音声加工部１０２に与え、音声加工パラメータを基に音声信号にリバーブを施し、音声信号として音声出力部１０３に与える。音声出力部１０３は、与えられた音声信号の表す音を放音する。そのため、音声出力部１０３から、フリック操作或いはスワイプ操作後の背景映像に対応したリバーブを施された音声が放音される。この場合も映像と音声の同期が崩れることはない。
以上が、本実施形態のカラオケ装置１００の動作である。
【００４８】
以上説明したように、本実施形態のカラオケ装置１００によれば、映像操作入力部１０４を操作することで、その操作に対応した音声加工パラメータと映像加工パラメータの両者が生成されるので、映像と音声の同期が崩れることはない。さらに、カラオケ装置１００のユーザは、映像操作入力部１０４に表示された映像を操作することで、音声の特徴を視覚的に理解でき、音声加工を視覚的に行うことができる。
【００４９】
（Ｃ：変形例）
本実施形態のカラオケ装置１００には様々な変形例が考えられる。以下にその変形例を示す。
【００５０】
（１）アバターに対するピンチイン／アウト操作やタッチ操作、背景映像に対するフリック操作或いはスワイプ操作は、カラオケ装置１００のリモコンに設けられた操作子（例えば、スライダ）に対する操作であってもよい。映像操作入力部１０４をマウスなどのポインティングデバイスに置き換えてもよい。また、カラオケ装置１００のキーボードやリモコンに付属している特定ボタンを押すのと同時にポインティングデバイスを操作することで、初めてピンチイン／アウト操作等と同じ操作ができるようになっていてもよい。また、アバターに対するピンチイン／アウト操作は、映像操作入力部１０４のアバターに対応する領域内で行われる操作に限定されず、アバターに対応する領域近傍で行われる態様であってもよい。つまり、映像操作入力部１０４のアバターに対応する領域内ではなく、アバターに対応する領域近傍でピンチイン／アウト操作を行っても、アバターに対応する領域内でピンチイン／アウト操作を行ったのと同じように操作内容データが生成される態様をとってもよい。さらに、映像操作入力部１０４として、モーションキャプチャデバイスを用いてもよく、音声識別デバイスであってもよい。また、疑似３Ｄ空間上のアバターをつまんで引き延ばす操作を行うことで、映像操作入力部１０４が操作内容データを生成する態様をとってもよい。
【００５１】
（２）カラオケ装置１００に設けられている音声入力部１０１の数よりも多い人数のユーザの各々が音声入力部１０１を交互に利用して一人ずつ歌唱を行うようにしても良い。この場合、音声信号識別子として音声入力部１０１の番号を用いるようにすれば、音声入力部１０１を利用するユーザが交代したとしても映像出力部１１０に表示されるアバターが切り替わることはない。つまり、この場合は、映像出力部１１０には、カラオケ装置１００に設けられている音声入力部１０１の数分のアバターが表示されることになる。これに対して、音声信号識別子として波形データまたは特徴量データを用いるようにすれば、ユーザ毎に異なるアバターを表示させることが可能になる。また、一つの音声入力部１０１に対して一人のユーザが音声入力を行う場合と複数人が同時に音声入力を行う場合とで異なるアバターを表示させる場合も音声信号識別子として波形データまたは特徴量データを用いるようにすれば良く、同じアバターを表示させる場合には音声信号識別子として音声入力部１０１の番号を用いるようにすれば良い。
【００５２】
（３）背景映像取得部１０９にネットワークを介してホストコンピュータから背景映像データとともに歌詞字幕表示データが配信され、背景映像取得部１０９が当該歌詞字幕表示データと背景映像データを映像加工部１０８に与え、映像加工部１０８が、映像加工パラメータの制御下でアバターデータを加工して、加工後のアバターデータと背景映像データおよび歌詞字幕表示データを合成して映像加工部１０８に与える態様をとってもよい。具体的には、配置位置のアバターの口元の位置を示す相対座標（アバターを表す画像の左上隅を原点とした座標）をアバター毎に予め定めておく。映像加工部１０８は、背景映像に対するアバターの配置位置の座標から、歌詞字幕表示データを合成するアバターの口元の座標（表示面の左上隅を原点とする座標）を算出する。そして、映像加工部１０８は、アバターの口元付近に歌詞字幕表示データを位置させ、アバターの口元に歌詞が噴出し表示された映像出力データとなるように合成を行う。この場合、歌詞が見えるよう、アバターよりも手前に歌詞が表示されるように、映像加工部１０８は、アバターデータ、背景映像データおよび歌詞字幕表示データの合成を行う。
【００５３】
（４）アバターに影や残像が付与されている場合には、影や残像に対する操作に応じて、アバターに対応した音声信号にエコー効果が施されていてもよい。具体的には、映像操作入力部１０４に表示されたアバターにタッチし、タッチした指を移動させずに映像操作入力部１０４から離すという操作内容を表すデータに対応付けて、エコー効果を施すことを表すデータを音声加工テーブルに格納しておく。さらに、同操作を表すデータに対応付けて、アバターの周囲に影を表示させることを表すデータを映像加工テーブルに格納しておく。このような態様においては、アバターにタッチし、タッチした指を移動させずに映像操作入力部１０４から離すと、アバターの周囲に影が表示され、音声にエコー効果が施される。また、映像操作入力部１０４に表示されたアバターの周囲の影に対応する領域に行われたピンチイン／アウト操作を表すデータに対応付けて、エコー効果が弱くもしくは強く施されることを表すデータを音声加工テーブルに格納しておく。さらに、同操作を表すデータに対応付けて、アバターの周囲の影の範囲が縮小／拡大されることを表すデータを映像加工テーブルに格納しておく。映像操作入力部１０４に表示されたアバターの周囲の影にピンチイン／アウト操作を行うと、アバターに対応した音声に施されたエコー効果が弱くもしくは強くなり、アバターの周囲の影の範囲が縮小／拡大する。また、アバターの周囲の影に対してタッチし、タッチした指を移動させずに映像操作入力部１０４から離すという操作内容を表すデータに対応して、施されるエコーの種類が変化することを表すデータを音声加工テーブルに格納し、同操作を表すデータに対応して、アバターの服装が変化することを表すデータを映像加工テーブルに格納しておいてもよい。
【００５４】
（５）映像操作入力部１０４に表示されたアバターにタッチし、タッチした指を移動させずに映像操作入力部１０４から離す操作を２回連続して行うという操作内容を表すデータに対応付けて、アバターの周囲が滲むことを表すデータを映像加工テーブルに格納し、同操作を表すデータに対応付けて、重複歌唱効果を施すことを表すデータを音声加工テーブルに格納しておいてもよい。この態様では、映像操作入力部１０４に表示されたアバターにタッチし、タッチした指を移動させずに映像操作入力部１０４から離す操作を２回連続して行うと、アバターの周囲が滲んで表示され、音声に重複歌唱効果が施される。この連続して２回行う操作は、ピンチイン／アウト操作であってもタッチ操作であってもよい。さらに、映像操作入力部１０４に表示されたアバターの周囲の滲みに対応する領域に行われたピンチイン／アウト操作を表すデータに対応して、重複歌唱効果が弱くもしくは強く施されることを表すデータを音声加工テーブルに格納しておき、同操作を表すデータに対応して、アバターの周囲の滲みの範囲が縮小／拡大することを表すデータを映像加工テーブルに格納しておいてもよい。映像操作入力部１０４に表示されたアバターの周囲の滲みにピンチイン／アウト操作を行うと、アバターに対応した音声に施された重複歌唱効果が弱くもしくは強くなり、アバターの周囲の滲みの範囲が縮小／拡大する。また、アバターの周囲が滲むことを表すデータの代わりに、同一のアバターを位置をずらして重ねて複数表示することを表すデータを映像加工テーブルに格納していてもよい。さらに、映像操作入力部１０４に表示されたアバターの周囲の重なりに対応する領域に行われたピンチイン／アウト操作を表すデータに対応して、重複歌唱効果を弱くもしくは強く施すことを表すデータを音声加工テーブルに格納しておき、同操作を表すデータに対応して、アバターの周囲の重なりの数が減少／増加することを表すデータを映像加工テーブルに格納しておいてもよい。
【００５５】
（６）アバターは人間を模した形状をしているが、アバターが人間を模した形状以外の形状であってもよい。例えば、建造物、車、木、山、楽器といった形状であってもよい。入力される音声とは全く関連性のない形状であってもよい。アバターデータは、図示しないカメラで撮影した歌唱者自身を示す映像データでもよい。また、映像出力部１１０に表示させる映像は、背景映像とアバターとの合成映像には限定されず、アバターのみからなる映像であっても良い。
【００５６】
（７）カラオケ装置１００は、入力した音声を採点する機能を有していてもよい。さらに、その採点結果に応じて映像加工部１０８はアバター全体を変化させる態様をとってもよい。詳述すると、図示しない記憶装置には、同一の音声信号識別子に対応した３種類のアバターデータが格納されている。当該アバターデータは、同じキャラクターの喜び、普通、しょんぼりの様子を表しており、カラオケ装置１００の採点結果の点数に対応付けられている。例えば、採点が１００点満点であり、採点結果が７０点から１００点の間は喜びの様子を表したアバターデータが対応しており、採点結果が３１点から６９点の間は普通の様子を表したアバターデータが対応しており、採点結果が０点から３０点の間はしょんぼりの様子を表したアバターデータが対応している。映像生成部１０７は、採点結果に対応したアバターデータを記憶装置から読み出し、そのアバターデータを映像加工部１０８に与える。映像加工部１０８は、そのアバターデータと背景映像を合成し、映像出力データとして映像出力部１１０に与え、映像出力部１１０は、その映像出力データをユーザに表示する。そのため、映像出力部１１０には、採点結果に対応したアバターが表示される。ただし、カラオケ装置１００が採点を行っていない、もしくは採点中であると、映像生成部１０７は、普通の様子を表したアバターデータを映像加工部１０８に与える。
【００５７】
（８）アバターの顔が、歌唱者の歌う歌のオリジナルのアーティストの顔とのモーフィング表示になっていてもよい。上記のように、カラオケ装置１００が採点機能を有している場合には、採点の点数が高いほど、アバターの顔はオリジナルのアーティストの顔に近づくようになっていてもよい。詳述すると、図示しない記憶装置に歌唱者の歌う歌のオリジナルのアーティストの顔の画像データを記憶させておく。採点後、映像生成部１０７は、その記憶装置からオリジナルのアーティストの顔の画像データを読み出し、アバターの顔の画像データと採点結果に応じて以下の演算を行って、映像加工部１０８に出力する。すなわち、採点の点数が１００点満点中Ｃ点であるとすると、オリジナルのアーティストの顔の画像データにおける画素Ａと、元々のアバターの顔の画像データにおける画素Ａと同じ位置の画素Ｂを用いて、画素ＡにＣ／１００を掛けたものと、画素Ｂに１−Ｃ／１００を掛けたものの合計を、採点後の画素Ａに対応する画素値とするのである。
【００５８】
＜第２実施形態＞
第１実施形態では、映像操作入力部１０４に表示されたアバター全体に対してピンチイン／アウト操作やタッチ操作が行われた。これに対して本実施形態では、アバター全体ではなくアバターの部位を指定してピンチイン／アウト操作等の各操作が行われる。この点が本実施形態と第１実施形態が顕著に異なる点である。なお、本実施形態のカラオケ装置のハードウェア構成は第１実施形態のカラオケ装置１００の構成と同一であるため、前掲図１を援用し、詳細な説明を省略する。
【００５９】
アバターの部位に対する操作は、操作対象の部位を指定する操作（本実施形態では、操作対象の部位に対応する領域内の同じ位置に３回連続してタッチする操作）と、このようにして指定した部位に対する操作（ピンチイン／アウト、およびタッチ操作）とからなる。このため、アバターの部位に対する操作についての操作内容データには、操作対象の部位を指定する操作を表すデータが含まれており、この点がアバター全体に対する操作の操作内容データと異なる。図１１は、音声加工パラメータ生成部１０５が音声加工パラメータを生成する処理の流れを示すフローチャートであり、図１２は、映像加工パラメータ生成部１０６が映像加工パラメータを生成する処理の流れを示すフローチャートである。図１１と図１２を比較すれば明らかなように、ステップＳＡ２０３およびステップＳＡ２０４と、ステップＳＢ２０３およびステップＳＢ２０４とが各々対応し、これらのステップ以外は内容が同じであるため、図１１と図１２では同じステップ番号を用いる。音声加工パラメータ生成部１０５と映像加工パラメータ１０６は、映像操作入力部１０４から操作内容データを受け取ったことを契機として音声加工パラメータと映像加工パラメータの生成を各々開始する。音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６は、映像操作入力部１０４から受け取った操作内容データに操作対象の部位を指定する操作を表すデータが含まれているか否かを判定する（ステップＳＡ２０１）。ステップＳＡ２０１の判定結果が“Ｎｏ”であった場合、音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６は、音声加工パラメータと映像加工パラメータを生成せずに、当該生成処理を終了する。一方、ステップＳＡ２０１の判定結果が“Ｙｅｓ”であった場合、音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６は、その操作内容データにピンチイン／アウト操作を表すデータが含まれているか否かを判定する（ステップＳＡ２０２）。ステップＳＡ２０２の判定結果が“Ｙｅｓ”であった場合、音声加工パラメータ生成部１０５と映像加工パラメータ生成部１０６は、音声加工パラメータおよび映像加工パラメータを各々生成する（ステップＳＡ２０３およびステップＳＢ２０３）。ここで、どのような操作に操作対象の部位を指定する役割を担わせるのかについては種々の態様が考えられる。例えば、アバターの部位に対応する領域内を３回連続してタッチする操作に上記役割を担わせる態様や、アバターの部位に対応する領域内を長押し（すなわち、予め設定した一定時間以上同じ位置でタッチし続ける）する操作に上記客割を担わせる態様が考えられる。本実施形態では、前者の態様が採用されている。
【００６０】
映像加工パラメータ生成部１０６には、アバターの各部位に対する操作の各操作内容を表すデータに対応づけて当該操作が為されたときに当該アバターに施す加工内容を表すデータを格納した映像加工テーブルと、背景映像変更テーブル（図５参照）と、図１３に示すアバター部位加工テーブルとが予め記憶されている。上記映像加工テーブルには、アバターの部位に対する操作内容を表すデータに対応付けて当該部位に加工を施すことを示すデータが格納されており、アバター部位加工テーブルにはアバターの部位に対応付けて当該部位に施す具体的な加工内容を表すデータが格納されている。例えば、上記映像加工テーブルには、アバターの部位に対するピンチイン／アウト操作を示すデータに対応づけてアバターの部位を縮小／拡大することを示すデータが格納されている。上記映像加工テーブルには、アバターのボディ以外の部位に対するタッチ操作を示すデータに対応付けて、ボディ以外の部位を移動させることを示すデータが格納されており、ボディに対するタッチ操作を示すデータに対応付けてアバターの衣装の変更を表すデータが格納されている。映像加工パラメータ生成部１０６は、映像出力部１１０に表示中のアバターの衣装を表す識別子を記憶している。
【００６１】
映像加工パラメータ生成部１０６は、ステップＳＡ２０２の判定結果が“Ｙｅｓ”であった場合、受け取った操作内容データに含まれる操作内容を表すデータに応じて当該部位を縮小／拡大することを指示する映像加工パラメータを生成する（ステップＳＢ２０３）。これに対して、ステップＳＡ２０２の判定結果が“Ｎｏ”であった場合、映像加工パラメータ生成部１０６は、受け取った操作内容データがタッチ操作を示すデータであるとし、タッチ操作に応じた映像加工パラメータを生成する（ステップＳＢ２０４）。より詳細に説明すると、操作内容データの示すタッチ位置がアバターのボディ以外であれば、映像加工パラメータ生成部１０６はアバターのボディ以外に対するタッチ操作であるとし、当該タッチ位置に対応する部位の表示位置の移動を指示する映像加工パラメータを生成する。操作内容データの示すタッチ位置がアバターのボディであれば、映像加工テーブルの格納内容とその時点のアバターの衣装の識別子とから更新先の衣装を特定し、当該衣装に更新することを指示する映像加工パラメータを生成する。
【００６２】
音声加工パラメータ生成部１０５には、アバターの各部位に対する操作の各操作内容を表すデータに対応づけて当該操作が為されたときに当該アバターに対応する音声に施す加工内容を表すデータを格納した音声加工テーブルと、リバーブ変更テーブル（図４参照）と、図１４に示すコンプレッサ加工テーブルとが予め記憶されている。本実施形態では、アバターの部位に対するピンチイン／アウト操作に対応付けてコンプレッサによる加工内容を規定するパラメータの減少／増加を表すデータが上記音声加工テーブルに格納されている。
【００６３】
コンプレッサによる加工とは、加工対象の音声信号の表す音の音量が予め設定した閾値（スレッショルド値）を超えた場合、超過した音量を設定した比率（レシオ）で圧縮し、設定されたリリース時間で解放することで、カラオケ曲の進行とともに変動する音量の最大値を低下させることを言う。コンプレッサによる加工内容を規定するパラメータとしては、上記閾値、レシオおよびリリース時間の他に、ゲイン、アタック時間、およびニーの３つのパラメータが挙げられる。ゲインとは、音の音量の増減を示す値であり、アタック時間とは、加工対象の音声信号の表す音の音量がスレッショルド値を超えてから（すなわち、音量の圧縮が始まってから）上記レシオに到達するまでの時間のことである。ニーとは、スレッショルド値近傍においてレシオに到達するまでの圧縮の具合を示す値のことである。
【００６４】
本実施形態のコンプレッサ加工テーブルには、アバターの部位に対応付けて、コンプレッサのどの項目を調整するのかを表すデータが格納されている。例えば、図１４に示すコンプレッサ加工テーブルでは、アバターの顔に対してゲインが対応付けられており、アバターのボディに対してニーが対応付けられており、アバターの右手に対してアタック時間が対応付けられている。さらに、図１４に示すコンプレッサ加工テーブルでは、アバターの左手に対してリリース時間が対応付けられており、アバターの右足に対してスレッショルド値が対応付けられており、アバターの左足に対してレシオが対応付けられている。
【００６５】
また、本実施形態の音声加工テーブルには、アバターの部位に対するタッチ操作を示すデータに対応付けて、コンプレッサ以外の加工を当該アバターに対する音声に施すことを示すデータが格納されている。例えば、アバターの右手に対するタッチ操作を表すデータには、当該アバターの低音域を持ち上げることを表すデータが対応付けられており、アバターの左手に対するタッチ操作を表すデータには、当該アバターの高音域を持ち上げることを表すデータが対応付けられており、アバターのボディに対するタッチ操作を表すデータには、当該タッチ操作により更新後の衣装に応じて音響効果を変更することを表すデータが対応付けられている、といった具合である。例えば、変更後の衣装が和服であれば、演歌調の音響効果に変更することを表すといった具合である。
【００６６】
音声加工パラメータ生成部１０５は、ステップＳＡ２０２の判定結果が“Ｙｅｓ”であった場合、音声加工テーブルおよび当該アバターに対応する音声信号にその操作内容に応じたコンプレッサ効果を付与することを指示する音声加工パラメータを生成する（ステップＳＡ２０３）。例えば、アバターの顔に対するピンチイン／アウト操作であった場合、音声加工パラメータ生成部１０５は、音声信号のゲインの減少／増大を指示する音声加工パラメータを生成する。また、アバターのボディに対するピンチイン／アウト操作であった場合、音声加工パラメータ生成部１０５は、ニーの減少／増大を指示する音声加工パラメータを生成する。アバターの右手に対するピンチイン／アウト操作であった場合、音声加工パラメータ生成部１０５は、アタック時間の短縮／延長を指示する音声加工パラメータを生成する。アバターの左手に対するピンチイン／アウト操作であった場合、音声加工パラメータ生成部１０５は、リリース時間の短縮／延長を指示する音声加工パラメータを生成する。アバターの右足に対するピンチイン／アウト操作であった場合、音声加工パラメータ生成部１０５は、スレッショルド値の減少／増大を指示する音声加工パラメータを生成する。アバターの左足に対するピンチイン／アウト操作であった場合、音声加工パラメータ生成部１０５は、レシオの減少／増大を指示する音声加工パラメータを生成する。これに対して、ステップＳＡ２０２の判定結果が“Ｎｏ”であった場合、音声加工パラメータ生成部１０５は、音声加工テーブルの格納内容を参照し当該部位に対応する音響効果の調整を指示する音声加工パラメータを生成する（ステップＳＡ２０４）。例えば、アバターのボディに対するタッチ操作であり、そのタッチ操作による更新後の衣装が和服であった場合には、音声加工パラメータ生成部１０５は、演歌調の音響効果を付与することを指示する音声加工パラメータを生成するといった具合である。
【００６７】
なお、アバターの部位に対するピンチイン／アウト操作に対するアバターの部位の大きさや長さの縮小／拡大と、コンプレッサのパラメータの減少／増大や短縮／延長は逆でもよい。さらに、ピンチイン／アウト操作を行ったアバターの部位と、映像操作入力部１０４で縮小／拡大されるアバターの部位は一致しなくてもよい。例えば、アバターのボディに対してピンチイン操作を行うと、アバターの右手の長さが拡大し、音声信号のゲインが増大してもよい。しかし、このような操作内容と加工内容の対応付けはユーザの直感と合わないため、必ずしも望ましいものではない。また、アバターの部位に対する操作とコンプレッサのパラメータの関係性は、必ずしも上記で説明した関係性である必要はない。例えば、アバターのボディにピンチイン／アウト操作を行うと、アバターのボディが縮小／拡大し、アタック時間が短縮／延長してもよい。これらは、図１３のアバターの部位加工テーブルと図１４のコンプレッサ加工テーブルのアバター操作部位に対応する箇所を書き換えることで実現される。
以上が、本実施形態のカラオケ装置１００の構成である。
【００６８】
このような構成としたため、本実施形態のカラオケ装置においても、映像（アバター）に対して何らかの加工を施したとしても、当該映像と音声の同期が崩れることはない。以上本発明の第２実施形態について説明したが、この実施形態を以下のように変形してもよい。
【００６９】
（１）本実施形態の変形例として、第１実施形態の変形例の（１）〜（８）の態様をとってもよい。なお、本実施形態の変形例として、第１実施形態のようなアバター全体に対する操作によって音声と映像に加工が施される態様をとってもよい。
【００７０】
（２）音声信号識別子として波形データや特徴量データを用いる場合には、音声信号の波形や特徴に関連付けたアバターの部位データを用意しておき、カラオケ装置１００が、入力された音声信号に応じてアバターの部位データの中から各部位を選択して１つのアバターに合成しても良い。
【００７１】
（３）アバターの顔にタッチ操作を施すと、アバターの顔の形が変化して、音声信号に強くコンプレッサの効果が施される態様をとってもよい。この態様では、アバターの顔は、人間の顔の形を模した形である丸から四角や六角形に変化してもよい。また、アバターの顔にタッチ操作を施すことで、アバター全体が変化してもよい。アバター全体の変化とは、アバターの表情や髪型や体格が変化することで、アバター全体が人間以外の例えば昆布に変化してもよい。
【００７２】
＜第３実施形態＞
図１５は、この発明の第３実施形態であるカラオケ装置２００の構成を示すブロック図である。図１５では、図１におけるものと同一の構成要素には図１におけるものと同一の符号が付されている。図１と図１５を見比べれば明らかなように、カラオケ装置２００の構成は、映像操作入力部１０４、音声加工パラメータ生成部１０５および映像加工パラメータ生成部１０６に代えて特徴量解析部２０４を設けた点がカラオケ装置１００の構成と異なる。特徴量解析部２０４も、カラオケ装置２００のＣＰＵが当該カラオケ装置２００に記憶されている制御プログラム（図１５では図示略）にしたがって実現するソフトウェアモジュールである。以下では、本実施形態の特徴を顕著に示す特徴量解析部２０４を中心に説明する。
【００７３】
図１６は、特徴量解析部２０４が映像加工パラメータを生成する処理の流れを示すフローチャートである。特徴量解析部２０４は、音声入力部１０１から受け取った音声信号を予め設定された一定時間分ずつ区切り（ステップＳＡ３０１）、このようにして得られた一定時間分の音声信号の各々について音声解析を行い（ステップＳＡ３０２）、その音声解析の結果を反映した映像加工パラメータを生成する（ステップＳＡ３０３）。特徴量解析部２０４が実行する音声解析には、音声信号の音量のみを解析する態様と、音声信号の音量とダイナミクスレンジを解析する態様と、スペクトル包絡のみを解析する態様の３つの態様がある。ダイナミクスレンジとは、音声信号音量の最大値と最小値の比率であり、スペクトル包絡とは、例えば、一定時間の音声信号に対してフーリエ変換を施し、底が１０の対数を取り、２０倍したものである。
【００７４】
特徴量解析部２０４が音声信号の音量のみを解析する態様の場合、特徴量解析部２０４は、前述した一定時間ごとの平均音量を計測する。特徴量解析部２０４は、平均音量とアバター全体の大きさを対応させる平均音量テーブル（図示略）を予め記憶している。本実施形態の平均音量テーブルには、平均音量が大きいほどアバターを大きくすることを表すデータが格納されているが、逆に平均音量が大きいほどアバターを小さくすることを表すデータが格納されている態様であってもよい。特徴量解析部２０４は、上記一定時間が経過する毎に平均音量テーブルの格納内容と計測した平均音量とからアバター全体の大きさを決定する映像加工パラメータを生成し、その映像加工パラメータを映像加工部１０８に与える。
【００７５】
映像加工部１０８は、背景映像取得部１０９から与えられた背景映像と、映像生成部１０７から与えられたアバターと、特徴量解析部２０４から与えられた映像加工パラメータから映像出力データを生成して映像出力部１１０に与える。映像出力部１１０は当該映像出力データの表す映像を表示する。映像加工部１０８には、背景映像取得部１０９から複数の背景映像データが与えられるが、カラオケ装置１００の製作者またはユーザが任意に選択した背景映像データ（或いは映像加工部１０８がランダムに選択した背景映像データ）が加工後のアバターデータとの合成に用いられる。さらに、映像加工部１０８は、背景映像データの中央にアバターデータが位置するように合成を行う。なお、音声入力部１０１は歌唱者が歌っていない時にも周囲雑音を音声として収音してしまう可能性がある。このため本態様においては、音声入力部１０１から与えられた音声信号の音量が予め設定した閾値以下の場合には、アバターを非表示とする映像加工パラメータを生成し映像加工部１０８に与える処理を特徴量解析部２０４に実行させてもよい。また、音声入力部１０１から与えられた音声信号の音量が予め設定した閾値以下の場合には当該音声信号に対応したアバターデータを映像生成部１０７に出力させないようにしても同一の効果が得られる。
【００７６】
次に、特徴量解析部２０４が音声信号の音量とダイナミクスレンジを解析する態様の場合、特徴量解析部２０４は、音声入力部１０１から与えられた音声信号について予め設定した一定時間ごとの平均音量とダイナミクスレンジを計測し、アバターの顔色を暖色に変化させる映像加工パラメータを生成する。詳述すると、特徴量解析部２０４は、音声信号の平均音量が閾値を超え、かつ音声信号の平均ダイナミクスレンジが閾値よりも小さいと、歌唱者の熱唱度は高いと判断する。そこで、アバターも熱唱しているようにするために、特徴量解析部２０４は、アバターの顔色を暖色に変化させる映像加工パラメータを生成し、その映像加工パラメータを映像加工部１０８に与える。その後は、上記の特徴量解析部２０４が平均音量のみを解析する態様と同様である。なお、特徴量解析部２０４に上記平均音量テーブルを記憶させておき、アバターの顔色を暖色に変化させるとともに音声信号の平均音量に応じてアバターの大きさを変化させる映像加工パラメータを特徴量解析部２０４に生成させるようにしてもよい。
【００７７】
最後に、特徴量解析部２０４がスペクトル包絡のみを解析する態様の場合、特徴量解析部２０４は、音声入力部１０１から与えられた音声信号について予め設定した一定時間ごとのスペクトル包絡を計測する。そして、特徴量解析部２０４は、図示しない記憶装置に格納されている、歌唱者が歌っている歌のオリジナルのアーティストの音声のスペクトル包絡とアバターを読み出し、計測した歌唱者の音声のスペクトル包絡と例えば相関関数を用いて比較照合する。特徴量解析部２０４は、計測したスペクトル包絡とオリジナルのスペクトル包絡の比較照合の結果（すなわち、相関関数の値）に応じて、入力された音声信号に対応したアバターとオリジナルのアーティストのアバターがモーフィングするような映像加工パラメータを生成し、映像加工部１０８に与える。その後は、上記の特徴量解析部２０４が平均音量のみを解析する態様と同様である。特徴量解析部２０４がスペクトル包絡のみを解析する態様においては、計測したスペクトル包絡とオリジナルのスペクトル包絡が完全に一致すると、映像出力部１１０に表示されるアバターはオリジナルのアーティストのアバターとなる。
【００７８】
この態様においても、上記平均音量テーブルを特徴量解析部２０４に記憶させておき、オリジナルのスペクトル包絡との類否に応じたモーフィングに加えて平均音量に応じてアバターの大きさを変化させる映像加工パラメータを特徴量解析部２０４に生成させてもよく、さらに、熱唱度に応じてアバターの顔色を暖色に変化させる映像加工パラメータを生成させてもよい。また、特徴量解析部２０４がネットワークを介してホストコンピュータに接続されており、歌唱者が歌っている歌のオリジナルのアーティストの音声のスペクトル包絡とアバターが、図示しない記憶装置ではなく、ホストコンピュータから特徴量解析部２０４に直接配信される態様をとってもよい。
【００７９】
音声加工部１０２は、音声入力部１０１から与えられた音声信号を音声出力部１０３に振り分けて出力する。この点は第１実施形態と同じであるが、本実施形態の音声加工部１０２は、音声加工パラメータが与えられておらず、音声信号に加工が施されていない点が第１実施形態とは異なる。
以上が、本実施形態のカラオケ装置２００の構成である。
【００８０】
このような構成としたため、本実施形態のカラオケ装置２００においては入力された音声信号に対応した映像加工パラメータが生成されるので、映像と音声の同期が崩れることはない。さらに、カラオケ装置２００のユーザは、音声信号に応じてアバターが変化するので、映像出力部１１０に表示された映像から、音声の変化を視覚的に理解することができる。以上本発明の第３実施形態のカラオケ装置２００について説明したが、この実施形態を以下のように変形してもよい。
【００８１】
（１）本実施形態の変形例として、第１実施形態の変形例の（２）、（３）、（６）、（７）および（８）の態様をとってもよい。
【００８２】
（２）アバターの顔色を暖色に変化させる映像加工パラメータを生成する場合、音量とダイナミクスレンジにより熱唱度の判断を行わず、サーモグラフィを用いて予め設定した一定時間ごとの歌唱者の平均体温を計測し、その平均体温を熱唱度の判断に用いてもよい。歌唱者は熱唱していると体温は上がるはずである。そのため、サーモグラフィが計測した歌唱者の平均体温が予め設定した閾値を超えていると、特徴量生成部２０４は、アバターの顔色を暖色に変化させる映像加工パラメータを生成し、映像加工部１０８に与える。なお、上記の音声信号の平均音量と平均ダイナミクスレンジを計測する態様に平均体温を計測する態様を組み合わせた態様をとってもよい。この態様では、音声信号の平均音量が閾値を超え、なおかつ音声信号の平均ダイナミクスレンジが閾値よりも小さく、さらになおかつ歌唱者の平均体温が閾値を超えると、特徴量解析部２０４は、アバターの顔色を暖色に変化させる映像加工パラメータを生成する。もちろん、特徴解析部２０４が、平均音量テーブルを記憶し、音声信号の平均音量に応じて、上記のようにアバターの大きさを変化させる映像加工パラメータを生成してもよい。
【００８３】
（３）本実施形態と第１実施形態を組み合わせた態様をとってもよい。この場合、映像加工パラメータ生成部１０６と特徴量解析部２０４の両者が併存している態様でもよいし、両者が併存しない態様でもよい。両者が併存しない態様では、特徴量解析部２０４が存在せず、映像加工パラメータ生成部１０６が音声入力部１０１から音声信号を与えられ、映像加工パラメータを生成する。さらに、映像加工パラメータ生成部１０６は、特徴量解析部２０４の機能を担うことになる。
【００８４】
＜その他の実施形態＞
上記第１〜第３実施形態ではカラオケ装置への本発明の適用例を説明した。しかし、本発明をカラオケ装置以外の信号加工装置に適用してもよく、具体的には以下の通りである。
【００８５】
（１）音声入力部１０１が収音する音は、人間の音声に限られず、楽器の音であってもよいし、音声や楽器などの色々な音が混合した伴奏の音であってもよい。これら人間の音声以外の音であっても、映像生成部１０７は各音に対応したアバターを生成し、各音の特徴を視覚的に理解し、各音の加工を視覚的に施すことができる。
【００８６】
（２）上記第１〜第３実施形態では、音声入力部１０１により収音された音を表す音声信号がリアルタイム入力される場合について説明した。しかし、予め録音された音声と録画された背景映像であって、互いに同期再生される音声と背景映像について、後者に対する映像加工に応じた音声加工を前者に施す態様でもよく、前者に応じた映像加工を後者に施す態様でもよい。この態様では、音声入力部１０１や背景映像取得部１０９を省略することができる。さらに、音声出力部１０３と映像出力部１１０については例えばパソコンの出力デバイスで代用できるため、この態様はソフトウェアのみで実現可能である。つまり、本態様はパソコン上で行う動画編集等に好適である。
【００８７】
（３）携帯電話機などの携帯装置に本発明を適用してもよい。例えば携帯電話機に本発明を適用する場合、音声入力部１０１は携帯電話機のマイクに相当し、音声出力部１０３は携帯電話機のスピーカに相当する。背景映像取得部１０９により取得される背景映像データは例えば携帯電話機に保存された映像データに相当し、映像出力部１１０や映像操作入力部１０４は携帯電話機の画面に相当する。マイクで収音した音を保存された映像に応じて加工することができたり、マイクで収音した音に応じて保存された映像を加工することができる。また、据え置き型や携帯型のゲーム機に本発明を適用してもよい。この場合、ゲーム機のコントローラやタッチパネルが映像装置入力部１０４に相当する。タッチパネルに対してはタッチペンやスタイラスで操作を行う。さらに、ゲーム機がモーションキャプチャデバイスに対応している場合には、モーションセンサが映像操作入力部１０４に相当する。
【００８８】
（４）この発明をアプリケーションサービスプロバイダ（ＡＳＰ）用のサーバ装置に適用してもよい。詳述すると、第１実施形態や第２実施形態の音声加工部１０２、音声加工パラメータ生成部１０５、映像加工パラメータ生成部１０６、映像生成部１０７および映像加工部１０８を有するサーバ装置、もしくは、第３実施形態の音声加工部１０２、映像生成部１０７、映像加工部１０８および特徴量解析部２０４を有するサーバ装置をインターネットなどの電気通信回線に接続しておく。前者のサーバ装置は、電気通信回線経由で音声信号と背景映像データと操作内容データとを受信し、音声加工や映像加工を施して、加工後の音声信号や出力映像データを電気通信回線経由で送信する。後者のサーバ装置は電気通信回線経由で音声信号と背景映像データとを受信し、音声加工や映像加工を施して、加工後の音声信号や出力映像データを電気通信回線経由で送信する。この態様では、ユーザは自身のパソコンから互いに同期再生される音声と映像を表す各信号（前者のサーバ装置であれば、さらに操作内容データ）を上記電気通信回線経由で上記サーバ装置に送信し、サーバ装置により加工された音声信号と映像データとをネットワーク経由で受信して再生することで、上記各実施形態と同様の映像加工および音声加工を行うことができる。
【００８９】
また、この態様では、ユーザは、自らが送信した映像データおよび音声信号と他のユーザがサーバ装置に送信した映像データおよび音声信号とをサーバ装置に加工させ、加工後の映像データと音声信号を受け取ってもよい。例えば、自分のアバターと他のユーザのアバターとを合成して両アバターがデュエットしているかのような映像データを生成させ、自分の歌声を表す音声信号と上記他のユーザの歌声を表す音声信号とを合成しデュエットしているかのような音声を表す音声信号を生成させる、といった具合である。
【００９０】
（５）上記第１〜第３実施形態では、音声出力部１０３は、音声加工部１０２から与えられた音声信号の表す音を放音する放音装置であったが、例えばアンプやミキサなどの放音装置以外の外部装置であってもよい。カラオケ装置１００を録音用途に用いる場合は、当該外部装置が録音装置であってもよい。さらに、当該外部装置と放音装置を併用する態様であってもよい。
【符号の説明】
【００９１】
１００，２００…カラオケ装置、１０１…音声入力部、１０２…音声加工部、１０３…音声出力部、１０４…映像操作入力部、１０５…音声加工パラメータ生成部、１０６…映像加工パラメータ生成部、１０７…映像生成部、１０８…映像加工部、１０９…背景映像取得部、１１０…映像出力部、２０４…特徴量解析部。
【図１】
2016080908.tif 000003
【図２】
2016080908.tif 000004
【図３】
2016080908.tif 000005
【図４】
2016080908.tif 000006
【図５】
2016080908.tif 000007
【図６】
2016080908.tif 000008
【図７】
2016080908.tif 000009
【図８】
2016080908.tif 000010
【図９】
2016080908.tif 000011
【図１０】
2016080908.tif 000012
【図１１】
2016080908.tif 000013
【図１２】
2016080908.tif 000014
【図１３】
2016080908.tif 000015
【図１４】
2016080908.tif 000016
【図１５】
2016080908.tif 000017
【図１６】
2016080908.tif 000018