(57)【要約】【課題】多様な歌唱表現の歌唱音声を生成する。【解決手段】記憶装置１２は、歌唱表現を示す歌唱表現データＤSと当該歌唱表現に関連する属性データＤAとを相異なる複数の歌唱表現について記憶する。区間指定部３４は、利用者からの指示に応じて選択音声信号Ｘの各対象区間を指定する。表現選択部３６は、各属性データＤAを参照することで利用者からの指示（検索条件）に応じた歌唱表現データＤSを対象区間毎に選択する。表現付与部３８は、選択音声信号Ｘの各対象区間に対し、当該対象区間について表現選択部３６が選択した歌唱表現データＤSが示す歌唱表現を付与する。【選択図】図１
2014178620.tif 000002
【特許請求の範囲】
【請求項１】
相異なる歌唱表現を示す複数の歌唱表現データから適用対象の歌唱表現データを選択する表現選択部と、
前記表現選択部が選択した歌唱表現データが示す歌唱表現を歌唱音声の特定区間に付与する表現付与部と
を具備する音声処理装置。
【請求項２】
前記表現選択部は、相異なる歌唱表現を示す２以上の歌唱表現データを選択し、
前記表現付与部は、前記表現選択部が選択した前記２以上の歌唱表現データの各々が示す歌唱表現を、前記歌唱音声の特定区間に重複して付与する
請求項１の音声処理装置。
【請求項３】
歌唱表現に関連する属性データを当該歌唱表現の歌唱表現データに対応付けて記憶する記憶部を具備し、
前記表現選択部は、前記各歌唱表現データの属性データを参照して前記記憶部から歌唱表現データを選択する
請求項１または請求項２の音声処理装置。
【請求項４】
前記表現選択部は、利用者からの指示に応じて前記歌唱表現データを選択し、
前記表現付与部は、歌唱音声のうち利用者からの指示に応じた特定区間に、前記表現選択部が選択した歌唱表現データが示す歌唱表現を付与する
請求項１から請求項３の何れかの音声処理装置。
【請求項５】
歌唱表現を示す歌唱表現データと当該歌唱表現の評価を示す評価値とを相異なる複数の歌唱表現について記憶する記憶部と、
前記複数の歌唱表現データのうち歌唱音声に類似する歌唱表現の歌唱表現データに対応した評価値に応じて前記歌唱音声を評価する歌唱評価部と
を具備する請求項１の音声処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱音声の歌唱表現を制御する技術に関する。
【背景技術】
【０００２】
歌唱音声を処理する各種の技術が従来から提案されている。例えば特許文献１には、素片接続型の歌唱合成に利用される素片データを収集する技術が開示されている。特許文献１の技術で収集された素片データを適宜に選択して相互に接続することで任意の歌詞の歌唱音声を合成することが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１０８１７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
実際の歌唱音声には歌唱者に固有の歌唱表現（歌い廻し）が付与される。しかし、特許文献１の技術では歌唱音声の各種の歌唱表現が加味されていないから、素片データを利用して合成された歌唱音声が聴感的に単調な印象になり易いという問題がある。以上の事情を考慮して、本発明は、多様な歌唱表現の歌唱音声を生成することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の第１態様に係る音声処理装置は、相異なる歌唱表現を示す複数の歌唱表現データから適用対象の歌唱表現データを選択する表現選択部と、表現選択部が選択した歌唱表現データが示す歌唱表現を歌唱音声の特定区間に付与する表現付与部とを具備する。以上の構成では、歌唱表現データが示す歌唱表現が歌唱音声に付与されるから、特許文献１の技術と比較して、多様な歌唱表現の歌唱音声を生成することが可能である。特に、歌唱表現データが示す複数の歌唱表現が歌唱音声の特定区間に選択的に付与されるから、多様な歌唱表現の歌唱音声を生成できるという効果は格別に顕著である。
【０００６】
第１態様に係る音声処理装置の好適例において、表現選択部は、相異なる歌唱表現を示す第１歌唱表現データと第２歌唱表現データとを選択し、表現付与部は、第１歌唱表現データが示す歌唱表現を歌唱音声の第１区間に付与するとともに、第２歌唱表現データが示す歌唱表現を、歌唱音声のうち第１区間とは相違する第２区間に付与する。以上の態様では、歌唱音声の区間毎に別個の歌唱表現が付与されるから、多様な歌唱表現の歌唱音声を生成できるという効果は格別に顕著である。
【０００７】
第１態様に係る音声処理装置の好適例において、表現選択部は、相異なる歌唱表現を示す２以上の歌唱表現データを選択し、表現付与部は、表現選択部が選択した２以上の歌唱表現データの各々が示す歌唱表現を、歌唱音声の特定区間に重複して付与する。以上の態様では、複数の歌唱表現（典型的には相異なる種類の歌唱表現）が歌唱音声に重複して付与されるから、多様な歌唱表現の歌唱音声を生成できるという効果は格別に顕著である。
【０００８】
第１態様の好適例に係る音声処理装置は、歌唱表現に関連する属性データを当該歌唱表現の歌唱表現データに対応付けて記憶する記憶部を具備し、表現選択部は、各歌唱表現データの属性データを参照して記憶部から歌唱表現データを選択する。以上の態様では、各歌唱表現データに属性データが対応付けられるから、歌唱音声に付与される歌唱表現の歌唱表現データを属性データの参照により選択（検索）することが可能である。
【０００９】
第１態様に係る音声処理装置の好適例において、表現選択部は、利用者からの指示に応じて歌唱表現データを選択する。以上の態様では、利用者からの指示に応じた歌唱表現データが選択されるから、利用者の意図や嗜好を反映した多様な歌唱音声を生成できるという利点がある。また、第１態様に係る音声処理装置の好適例において、表現付与部は、歌唱音声のうち利用者からの指示に応じた特定区間に、表現選択部が選択した歌唱表現データが示す歌唱表現を付与する。以上の態様では、歌唱音声のうち利用者からの指示に応じた区間に歌唱表現が付与されるから、利用者の意図や嗜好を反映した多様な歌唱音声を生成できるという利点がある。
【００１０】
ところで、歌唱の巧拙を評価する各種の技術が従来から提案されている。例えば、歌唱音声の音高や音量の遷移と事前に用意された基準的（模範的）な歌唱音声の音高や音量の遷移とを対比することで歌唱音声が評価される。しかし、実際の歌唱の評価は、音高や音量の正確性だけでなく歌唱表現の巧拙にも依存する。以上の事情を考慮して、本発明の第２態様に係る音声処理装置は、歌唱表現を示す歌唱表現データと当該歌唱表現の評価を示す評価値とを相異なる複数の歌唱表現について記憶する記憶部と、複数の歌唱表現データのうち歌唱音声に類似する歌唱表現の歌唱表現データに対応した評価値に応じて歌唱音声を評価する歌唱評価部とを具備する。本発明の第２態様では、歌唱音声に類似する歌唱表現の歌唱表現データに対応した評価値に応じて歌唱音声が評価されるから、歌唱表現の巧拙（記憶部に登録された歌唱表現との類否）という観点から歌唱音声を適切に評価できるという利点がある。
【００１１】
第２態様に係る音声処理装置の好適例において、歌唱評価部は、歌唱音声の複数の対象区間の各々について当該対象区間の歌唱表現に類似する歌唱表現の歌唱表現データを選択し、当該各歌唱表現データに対応する評価値に応じて歌唱音声を評価する。以上の態様では、歌唱音声の複数の対象区間の各々について選択された歌唱表現データに対応した評価値に応じて歌唱音声が評価されるから、歌唱音声の特定の対象区間を重点的に評価できるという利点がある。ただし、対象区間を音声信号の全区間（楽曲の全体）とすることも可能である。
【００１２】
以上の各態様に係る音声処理装置は、歌唱音声の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。具体的には、本発明の第１態様に係るプログラムは、相異なる歌唱表現を示す複数の歌唱表現データから適用対象の歌唱表現データを選択する表現選択処理と、表現選択処理で選択した歌唱表現データが示す歌唱表現を歌唱音声の特定区間に付与する表現付与処理とを実行する。また、本発明の第２態様に係るプログラムは、歌唱表現を示す歌唱表現データと当該歌唱表現の評価を示す評価値とを相異なる複数の歌唱表現について記憶する記憶部を具備するコンピュータに、複数の歌唱表現データのうち歌唱音声に類似する歌唱表現の歌唱表現データに対応する評価値に応じて歌唱音声を評価する歌唱評価処理を実行させる。
【００１３】
以上の各態様に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態に係る音声処理装置のブロック図である。
【図２】表現登録処理に関連する要素の機能的な構成図である。
【図３】歌唱区分部のブロック図である。
【図４】表現登録処理のフローチャートである。
【図５】表現付与処理に関連する要素の機能的な構成図である。
【図６】表現付与処理のフローチャートである。
【図７】表現付与処理の具体例（ビブラートの付与）の説明図である。
【図８】表現付与処理の説明図である。
【図９】表現付与処理の説明図である。
【図１０】第２実施形態の歌唱評価処理に関連する要素の機能的な構成図である。
【図１１】歌唱評価処理のフローチャートである。
【図１２】変形例に係る音声処理装置のブロック図である。
【発明を実施するための形態】
【００１５】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る音声処理装置１００のブロック図である。図１に示すように、音声処理装置１００は、演算処理装置１０と記憶装置１２と収音装置１４と入力装置１６と放音装置１８とを具備するコンピュータシステムで実現される。
【００１６】
演算処理装置１０は、記憶装置１２が記憶するプログラムを実行することで音声処理装置１００の各要素を統括的に制御する。記憶装置１２は、演算処理装置１０が実行するプログラムや演算処理装置１０が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１２として任意に採用される。なお、音声処理装置１００とは別体の外部装置（例えば外部サーバ装置）に記憶装置１２を設置し、音声処理装置１００がインターネット等の通信網を介して記憶装置１２に対する情報の書込や読出を実行する構成も採用され得る。すなわち、記憶装置１２は音声処理装置１００の必須の要素ではない。
【００１７】
第１実施形態の記憶装置１２は、相異なる歌唱音声（例えば別個の歌唱者の歌唱音声）の時間波形を示す複数の音声信号Ｘを記憶する。複数の音声信号Ｘの各々は、楽曲（歌唱曲）を歌唱した歌唱音声を収録することで事前に用意される。また、記憶装置１２は、相異なる歌唱表現を示す複数の歌唱表現データＤSと、各歌唱表現データＤSが示す歌唱表現に関連する複数の属性データＤAとを記憶する。歌唱表現は、歌唱の特徴（歌唱者に特有の歌い廻しや歌唱法等）である。相異なる歌唱者が発音した歌唱音声から抽出される複数種の歌唱表現について記憶装置１２に歌唱表現データＤSが記憶され、複数の歌唱表現データＤSの各々に属性データＤAが対応付けられる。
【００１８】
歌唱表現データＤSは、例えば、音高または音量（分布範囲）、周波数スペクトル（例えば特定帯域内のスペクトル）の特徴量、特定の次数のフォルマントの周波数や強度、声質に関連する特徴量（例えば倍音成分と基音成分との強度比や調波成分と非調波成分との強度比）、または、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）等、歌唱音声の音楽的な表情に関する各種の特徴量を指定する。また、以上に例示した歌唱表現は比較的に短時間の歌唱音声の傾向であるが、音高または音量の時間的な変化の傾向や、各種の歌唱技法（例えばビブラート，フォール，ロングトーン）の傾向等の長時間にわたる歌唱音声の傾向を歌唱表現データＤSが指定する構成も好適である。
【００１９】
各歌唱表現の属性データＤAは、歌唱音声の歌唱者や楽曲に関連する情報（メタデータ）であり、歌唱表現データＤSの検索に利用される。具体的には、各歌唱表現で歌唱した歌唱者の情報（例えば氏名，年齢，出身地，年齢，性別，人種，母国語，音域）や、各歌唱表現で歌唱された楽曲の情報（例えば楽曲名，作曲者，作詞者，ジャンル，テンポ，キー，コード，音域，言語）を属性データＤAは指定する。歌唱音声の印象や雰囲気を表現する言葉（例えば「リズミカル」や「甘い」といった言葉）を属性データＤAが指定することも可能である。また、第１実施形態の属性データＤAは、各歌唱表現で歌唱された歌唱音声の評価結果に応じた評価値（当該歌唱表現データＤSの歌唱表現の巧拙の評価指標）Ｑを包含する。例えば、公知の歌唱評価処理で算定された評価値Ｑや歌唱者以外の各利用者による評価を反映した評価値Ｑが属性データＤAに包含される。なお、属性データＤAが指定する事項は以上の例示に限定されない。例えば、楽曲を区分した音楽構造上の各区間（例えばＡメロ，サビ，Ｂメロ等の各フレーズ）の何れで歌唱表現が歌唱されたのかを属性データＤAが指定することも可能である。
【００２０】
図１の収音装置１４は、周囲の音響を収音する装置（マイクロホン）である。第１実施形態の収音装置１４は、歌唱者が楽曲（歌唱曲）を歌唱した歌唱音声を収音することで音声信号Ｒを生成する。音声信号Ｒをアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略した。なお、音声信号Ｒを記憶装置１２に記憶した構成（したがって収音装置１４は省略され得る）も好適である。
【００２１】
入力装置１６は、音声処理装置１００に対する利用者からの指示を受付ける操作機器であり、例えば利用者が操作可能な複数の操作子を含んで構成される。例えば音声処理装置１００の筐体に設置された操作パネルや音声処理装置１００とは別体のリモコン装置が入力装置１６として採用される。
【００２２】
演算処理装置１０は、記憶装置１２に記憶されたプログラムの実行で各種の制御処理および演算処理を実行する。具体的には、演算処理装置１０は、収音装置１４から供給される音声信号Ｒの解析で歌唱表現データＤSを抽出して記憶装置１２に格納する処理（以下「表現登録処理」という）と、表現登録処理で記憶装置１２に記憶された各歌唱表現データＤSが示す歌唱表現を記憶装置１２内の音声信号Ｘに付与することで音声信号Ｙを生成する処理（以下「表現付与処理」という）とを実行する。すなわち、音声信号Ｙは、音声信号Ｘの発音内容（歌詞）を維持したまま、音声信号Ｘの歌唱表現を歌唱表現データＤSの歌唱表現に合致または類似させた音響信号である。例えば入力装置１６に対する利用者からの指示に応じて表現登録処理および表現付与処理の一方が選択的に実行される。図１の放音装置１８（例えばスピーカやヘッドホン）は、演算処理装置１０が表現付与処理で生成した音声信号Ｙに応じた音響を再生する。なお、音声信号Ｙをデジタルからアナログに変換するＤ/Ａ変換器や音声信号Ｙを増幅する増幅器の図示は便宜的に省略した。
【００２３】
＜表現登録処理＞
図２は、音声処理装置１００のうち表現登録処理に関連する要素の機能的な構成図である。演算処理装置１０は、記憶装置１２に記憶されたプログラム（表現登録プログラム）を実行することで、図２に示すように、表現登録処理を実現するための複数の要素（解析処理部２０，歌唱区分部２２，歌唱評価部２４，歌唱解析部２６，属性取得部２８）として機能する。なお、図２の各機能を複数の集積回路に分散した構成や、図２に例示された機能の一部を専用の電子回路（例えばＤＳＰ）が実現する構成も採用され得る。
【００２４】
図２の解析処理部２０は、収音装置１４から供給される音声信号Ｒを解析する。図３に例示される通り、第１実施形態の解析処理部２０は、楽曲構造解析部２０Aと歌唱技法解析部２０Bと声質解析部２０Cとを含んで構成される。楽曲構造解析部２０Aは、音声信号Ｒに対応する楽曲の音楽構造上の区間（例えばＡメロ，サビ，Ｂメロ等の各フレーズ）を解析する。歌唱技法解析部２０Bは、ビブラート（音高を微細に変動させる歌唱技法）やしゃくり（目標の音高を下回る音高から目標の音高に変化させる歌唱技法）やフォール（目標の音高を上回る音高から目標の音高に変化させる歌唱技法）等の各種の歌唱技法を音声信号Ｒから検出する。声質解析部２０Cは、歌唱音声の声質（例えば倍音成分と基音成分との強度比や調波成分と非調波成分との強度比）を解析する。
【００２５】
図２の歌唱区分部２２は、収音装置１４から供給される音声信号Ｒについて歌唱表現データＤSの生成に適用される各区間（以下「単位区間」という）を画定する。第１実施形態の歌唱区分部２２は、楽曲構造と歌唱技法と声質とに応じて音声信号Ｒの各単位区間を画定する。具体的には、歌唱区分部２２は、楽曲構造解析部２０Aが解析した楽曲の音楽構造上の各区間の端点と、歌唱技法解析部２０Bが各種の歌唱技法を検出した各区間の端点と、声質解析部２０Cが解析した声質が変動する時点とを境界として音声信号Ｒを各単位区間に区分する。なお、音声信号Ｒを複数の単位区間に区分する方法は以上の例示に限定されない。例えば、入力装置１６に対する操作で利用者が指定した区間を単位区間として音声信号Ｒを区分することも可能である。また、時間軸上にランダムに設定された時点で音声信号Ｒを複数の単位区間に区分する構成や、歌唱評価部２４が算定した評価値Ｑに応じて音声信号Ｒを複数の単位区間に区分する構成（例えば評価値Ｑが変動する時点を境界として各単位区間を画定する構成）も採用され得る。また、音声信号Ｒの全区間（楽曲の全体）を単位区間とすることも可能である。
【００２６】
歌唱評価部２４は、収音装置１４から供給される音声信号Ｒが示す歌唱の巧拙を評価する。具体的には、歌唱評価部２４は、音声信号Ｒの歌唱の巧拙を評価した評価値Ｑを、歌唱区分部２２が画定した単位区間毎に順次に算定する。歌唱評価部２４による評価値Ｑの算定には、公知の歌唱評価処理が任意に採用される。なお、前述の歌唱技法解析部２０Bが解析した歌唱技法や声質解析部２０Cが解析した声質を歌唱評価部２４による歌唱の評価に適用することも可能である。
【００２７】
図２の歌唱解析部２６は、音声信号Ｒを解析することで単位区間毎に歌唱表現データＤSを生成する。具体的には、歌唱解析部２６は、音高や音量等の音響的な特徴量（歌唱表現に影響する特徴量）を音声信号Ｒから抽出し、各特徴量の短期的または長期的な傾向（すなわち歌唱表現）を示す歌唱表現データＤSを生成する。歌唱表現の抽出には公知の音響解析技術（例えば特開２０１１−０１３４５４号公報や特開２０１１−０２８２３０号公報に開示された技術）が任意に採用される。相異なる種類の歌唱表現に対応する複数の歌唱表現データＤSを１個の単位区間から生成することも可能である。なお、以上の例示では単位区間毎に１個の歌唱表現データＤSを生成したが、相異なる単位区間の複数の特徴量から１個の歌唱表現データＤSを生成することも可能である。例えば、属性データＤAが近似または合致する複数の単位区間の特徴量を平均することで歌唱表現データＤSを生成する構成や、歌唱評価部２４による各単位区間の評価値Ｑに応じた加重値を適用して複数の単位区間にわたる特徴量を加重加算することで歌唱表現データＤSを生成する構成が採用される。
【００２８】
属性取得部２８は、歌唱区分部２２が画定した各単位区間について属性データＤAを生成する。具体的には、属性取得部２８は、利用者が入力装置１６の操作で指示した各種の情報を属性データＤAに登録する。また、属性取得部２８は、歌唱評価部２４が各単位区間について算定した評価値Ｑ（例えば単位区間内の評価値の平均）を当該単位区間の属性データＤAに包含させる。
【００２９】
歌唱解析部２６が単位区間毎に生成した歌唱表現データＤSと属性取得部２８が単位区間毎に生成した属性データＤAとが、単位区間が共通するもの同士で相互に対応付けられたうえで記憶装置１２に格納される。以上に例示した表現登録処理が、相異なる複数の歌唱音声の音声信号Ｒについて反復されることで、複数の歌唱者の各々が発声した歌唱音声から抽出された複数種の歌唱表現の各々について、歌唱表現データＤSと属性データＤAとが記憶装置１２に蓄積される。すなわち、多種多様な歌唱表現（歌唱者が相違する歌唱表現や種類が相違する歌唱表現）のデータベースが記憶装置１２に構築される。なお、複数の歌唱表現データＤSを統合して１個の歌唱表現データＤSを生成することも可能である。例えば、属性データＤAが近似または合致する複数の歌唱表現データＤSを平均することで新規な歌唱表現データＤSを生成する構成や、歌唱評価部２４による評価値Ｑに応じた加重値を適用して複数の歌唱表現データＤSを加重加算することで新規な歌唱表現データＤSを生成する構成が採用される。
【００３０】
図４は、表現登録処理のフローチャートである。図４に示すように、入力装置１６の操作で利用者が表現登録処理の実行を指示すると（ＳA1）、解析処理部２０は、収音装置１４から供給される音声信号Ｒを解析する（ＳA2）。歌唱区分部２２は、解析処理部２０による解析結果に応じて音声信号Ｒを各単位区間に区分し（ＳA3）、歌唱解析部２６は、音声信号Ｒを解析することで単位区間毎に歌唱表現データＤSを生成する（ＳA4）。また、歌唱評価部２４は、音声信号Ｒが示す歌唱の巧拙に応じた評価値Ｑを単位区間毎に算定し（ＳA5）、属性取得部２８は、歌唱評価部２４が単位区間毎に算定した評価値Ｑを含む属性データＤAを単位区間毎に生成する（ＳA6）。歌唱解析部２６が生成した歌唱表現データＤSと属性取得部２８が生成した属性データＤAとが単位区間毎に記憶装置１２に格納される（ＳA7）。以上に説明した表現登録処理で記憶装置１２に蓄積された歌唱表現データＤSで指定される歌唱表現が、以下に説明する表現付与処理にて音声信号Ｘに付与される。
【００３１】
＜表現付与処理＞
図５は、音声処理装置１００のうち表現付与処理に関連する要素の機能的な構成図である。演算処理装置１０は、記憶装置１２に記憶されたプログラム（表現付与プログラム）を実行することで、図５に示すように、表現付与処理を実現するための複数の機能（歌唱選択部３２，区間指定部３４，表現選択部３６，表現付与部３８）として機能する。なお、図５の各機能を複数の集積回路に分散した構成や、図５に例示された機能の一部を専用の電子回路（例えばＤＳＰ）が実行する構成も採用され得る。
【００３２】
歌唱選択部３２は、記憶装置１２に記憶された複数の音声信号Ｘの何れか（以下「選択音声信号Ｘ」という）を選択する。例えば歌唱選択部３２は、入力装置１６に対する利用者からの指示（音声信号Ｘの選択指示）に応じて記憶装置１２の複数の音声信号Ｘから選択音声信号Ｘを選択する。
【００３３】
区間指定部３４は、歌唱選択部３２が選択した選択音声信号Ｘのうち歌唱表現データＤSの歌唱表現を付与すべき１個以上の区間（以下「対象区間」という）を指定する。具体的には、区間指定部３４は、入力装置１６に対する利用者からの指示に応じて各対象区間を指定する。例えば、入力装置１６の操作で利用者が時間軸上（例えば選択音声信号Ｘの波形上）に指定した２点間の区間を区間指定部３４は対象区間として画定する。区間指定部３４が指定する複数の対象区間は時間軸上で相互に重複し得る。なお、選択音声信号Ｘの全区間（楽曲の全体）を対象区間として指定することも可能である。
【００３４】
図５の表現選択部３６は、記憶装置１２に記憶された複数の歌唱表現データＤSのうち表現付与処理に実際に適用される歌唱表現データＤS（以下「対象表現データＤS」という）を、区間指定部３４が指定した対象区間毎に順次に選択する。第１実施形態の表現選択部３６は、各歌唱表現データＤSに対応付けて記憶装置１２に記憶された属性データＤAを利用した検索処理で複数の歌唱表現データＤSから対象表現データＤSを選択する。
【００３５】
例えば利用者は、入力装置１６を適宜に操作することで対象表現データＤSの検索条件（例えば検索語）を対象区間毎に指定することが可能である。表現選択部３６は、記憶装置１２の複数の歌唱表現データＤSのうち利用者が指定した検索条件に合致する属性データＤAに対応した歌唱表現データＤSを対象表現データＤSとして対象区間毎に選択する。例えば、利用者が歌唱者の検索条件（例えば年齢や性別）を指定すると、検索条件に合致する歌唱者の属性データＤAに対応した対象表現データＤS（すなわち検索条件に合致する歌唱者の歌唱表現）が検索される。また、利用者が楽曲の検索条件（例えば楽曲のジャンルや音域）を指定すると、検索条件に合致する楽曲の属性データＤAに対応した対象表現データＤS（すなわち検索条件に合致する楽曲の歌唱表現）が検索される。また、利用者が歌唱音声の評価値Ｑの検索条件（例えば数値範囲）を指定すると、検索条件に合致する評価値Ｑの属性データＤAに対応した対象表現データＤS（すなわち利用者が意図した水準の歌唱者の歌唱表現）が検索される。以上の説明から理解される通り、第１実施形態の表現選択部３６は、利用者からの指示に応じて歌唱表現データＤS（対象表現データＤS）を選択する要素として表現される。
【００３６】
図５の表現付与部３８は、歌唱選択部３２が選択した選択音声信号Ｘに対して対象表現データＤSの歌唱表現を付与することで音声信号Ｙを生成する。具体的には、表現付与部３８は、選択音声信号Ｘのうち区間指定部３４が指定した複数の対象区間の各々に対し、表現選択部３６が当該対象区間について選択した対象表現データＤSの歌唱表現を付与する。すなわち、選択音声信号Ｘのうち利用者からの指示に応じた各対象区間に対して利用者からの指示（検索条件の指定）に応じた歌唱表現が付与される。選択音声信号Ｘに対する歌唱表現の付与には公知の技術が任意に採用される。なお、選択音声信号Ｘの歌唱表現を対象表現データＤSの歌唱表現に置換する構成（選択音声信号Ｘの歌唱表現が音声信号Ｙには残留しない構成）のほか、選択音声信号Ｘの歌唱表現に対象表現データＤSの歌唱表現を累積的に付与する構成（例えば選択音声信号Ｘの歌唱表現と対象表現データＤSの歌唱表現との双方が音声信号Ｙに反映される構成）も採用され得る。
【００３７】
図６は、表現付与処理のフローチャートである。図６に示すように、入力装置１６の操作で利用者が表現付与処理の実行を指示すると（ＳB1）、歌唱選択部３２は、記憶装置１２に記憶された複数の音声信号Ｘから選択音声信号Ｘを選択し（ＳB2）、区間指定部３４は、選択音声信号Ｘについて１個以上の対象区間を指定する（ＳB3）。また、表現選択部３６は、記憶装置１２に記憶された複数の歌唱表現データＤSから対象表現データＤSを選択し（ＳB4）、表現付与部３８は、歌唱選択部３２が選択した選択音声信号Ｘの各対象区間に対して対象表現データＤSの歌唱表現を付与することで音声信号Ｙを生成する（ＳB5）。表現付与部３８が生成した音声信号Ｙが放音装置１８から再生される（ＳB6）。
【００３８】
図７は、ビブラートを示す歌唱表現データＤSを適用した表現付与処理の具体例の説明図である。選択音声信号Ｘの音高（ピッチ）の時間変化と、複数の歌唱表現データＤS（ＤS[1]〜ＤS[4]）とが図７では例示されている。各歌唱表現データＤSは、相異なる歌唱者の歌唱音声を収録した各音声信号Ｒに対する表現登録処理で生成される。したがって、各歌唱表現データＤS（ＤS[1]〜ＤS[4]）が示すビブラートは、音高の変動周期（速度）や変動幅（深度）等の特性が相違する。図７に示すように、例えば利用者からの指示に応じて選択音声信号Ｘの対象区間が指定され（ＳB3）、複数の歌唱表現データＤSから例えば利用者からの指示に応じて対象表現データＤS[3]が選択されると（ＳB4）、対象表現データＤS[3]が示すビブラートを選択音声信号Ｘの対象区間に付与した音声信号Ｙが表現付与処理により生成される（ＳB5）。以上の説明から理解される通り、ビブラートを付与せずに歌唱された歌唱音声（例えばビブラートを付与した歌唱が苦手な歌唱者の歌唱音声）の音声信号Ｘにおける所望の対象区間に所望の歌唱表現データＤSのビブラートが付与される。なお、利用者が複数の歌唱表現データＤSから対象表現データＤSを選択するための構成は任意である。例えば、各歌唱表現データＤSの歌唱表現が付与された所定の歌唱音声を放音装置１８から再生して利用者に受聴（すなわち試聴）させ、利用者が受聴の結果を踏まえて入力装置１６（例えばボタンやタッチパネル）を操作することで対象表現データＤSを選択する構成が好適である。
【００３９】
図８では、選択音声信号Ｘの対象区間Ｓ1について表現選択部３６が対象表現データＤS1を選択し、対象区間Ｓ1とは相違する対象区間Ｓ2について表現選択部３６が対象表現データＤS2を選択した場合が想定されている。表現付与部３８は、対象表現データＤS1が示す歌唱表現Ｅ1を対象区間Ｓ1に付与するとともに、対象表現データＤS2が示す歌唱表現Ｅ2を対象区間Ｓ2に付与する。
【００４０】
また、図９に示すように、対象区間Ｓ1と対象区間Ｓ2とが重複する場合（対象区間Ｓ2が対象区間Ｓ1に内包される場合）、選択音声信号Ｘのうち対象区間Ｓ1と対象区間Ｓ2との重複区間（すなわち対象区間Ｓ2）には、対象表現データＤS1の歌唱表現Ｅ1と対象表現データＤS2の歌唱表現Ｅ2とが重複して付与される。すなわち、選択音声信号Ｘの特定区間に複数（典型的には複数種）の歌唱表現が重複して付与される。例えば、音高の変動に関する歌唱表現Ｅ1と音量の変動に関する歌唱表現Ｅ2との双方が選択音声信号Ｘ（対象区間Ｓ2）に付与される。以上の処理で生成された音声信号Ｙが放音装置１８に供給されることで音響として再生される。
【００４１】
以上に説明した通り、第１実施形態では、相異なる歌唱表現を示す複数の歌唱表現データＤSの各々の歌唱表現が選択音声信号Ｘの対象区間に選択的に付与される。したがって、特許文献１の技術と比較して多様な歌唱表現の歌唱音声（音声信号Ｙ）を生成することが可能である。
【００４２】
第１実施形態では特に、選択音声信号Ｘに指定された複数の対象区間の各々について別個の歌唱表現が付与されるから（図８，図９）、歌唱表現が付与される対象区間が選択音声信号Ｘの１個の区間に制限される構成と比較すると、多様な歌唱表現の歌唱音声を生成できるという前述の効果は格別に顕著である。また、第１実施形態では、複数（複数種）の歌唱表現が選択音声信号Ｘの対象区間に重複して付与され得るから（図９）、対象区間に付与される歌唱表現が１種類に制限される構成と比較して、多様な歌唱表現の歌唱音声を生成できるという効果は格別に顕著である。ただし、歌唱表現が付与される対象区間が選択音声信号Ｘの１個の区間に制限される構成や、対象区間に付与される歌唱表現が１種類に制限される構成も、本発明の範囲には包含される。
【００４３】
また、第１実施形態では、選択音声信号Ｘの対象区間が利用者からの指示に応じて指定され、かつ、属性データＤAの検索条件が利用者からの指示に応じて設定されるから、利用者の意図や嗜好を充分に反映した多様な歌唱音声を生成できるという利点もある。
【００４４】
＜第２実施形態＞
本発明の第２実施形態を説明する。第１実施形態の音声処理装置１００では、記憶装置１２に記憶された複数の歌唱表現データＤSを音声信号Ｘの歌唱表現の調整に利用した。第２実施形態の音声処理装置１００では、記憶装置１２に記憶された複数の歌唱表現データＤSを音声信号Ｘの評価に利用する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００４５】
図１０は、第２実施形態の音声処理装置１００のうち音声信号Ｘを評価する処理（以下「歌唱評価処理」という）に関連する要素の機能的な構成図である。第２実施形態の記憶装置１２は、第１実施形態と同様の表現登録処理で生成された歌唱表現データＤSおよび属性データＤAの複数組を記憶する。各歌唱表現データＤSに対応する属性データＤAは、第１実施形態について前述した通り、図２の歌唱評価部２４が算定した評価値（当該歌唱表現データＤSの歌唱表現の巧拙の評価指標）Ｑを含んで構成される。
【００４６】
演算処理装置１０は、記憶装置１２に記憶されたプログラム（歌唱評価プログラム）を実行することで、図１０に示すように、歌唱評価処理を実現するための複数の要素（歌唱選択部４２，区間指定部４４，歌唱評価部４６）として機能する。例えば入力装置１６に対する利用者からの指示に応じて第１実施形態の表現付与処理と以下に詳述する歌唱評価処理とが選択的に実行される。ただし、第２実施形態では表現付与処理を省略することも可能である。なお、図１０の各機能を複数の集積回路に分散した構成や、図１０に例示された機能の一部を専用の電子回路（例えばＤＳＰ）が実現する構成を採用することも可能である。
【００４７】
図１０の歌唱選択部４２は、記憶装置１２に記憶された複数の音声信号Ｘのうち評価対象となる選択音声信号Ｘを選択する。具体的には、歌唱選択部４２は、第１実施形態の歌唱選択部３２と同様に、入力装置１６に対する利用者からの指示に応じて記憶装置１２から選択音声信号Ｘを選択する。また、区間指定部４４は、歌唱選択部４２が選択した選択音声信号Ｘのうち評価対象となる１個以上の対象区間を指定する。具体的には、区間指定部４４は、第１実施形態の区間指定部３４と同様に、入力装置１６に対する利用者からの指示に応じて各対象区間を指定する。なお、選択音声信号Ｘの全区間を対象区間として指定することも可能である。
【００４８】
図１０の歌唱評価部４６は、記憶装置１２に記憶された各歌唱表現データＤSおよび各属性データＤA（評価値Ｑ）を利用して、歌唱選択部４２が選択した選択音声信号Ｘの歌唱の巧拙を評価する。すなわち、歌唱評価部４６は、記憶装置１２の複数の歌唱表現データＤSのうち選択音声信号Ｘの各対象区間に類似する歌唱表現の歌唱表現データＤSに対応した属性データＤA内の評価値Ｑに応じて選択音声信号Ｘの評価値Ｚを算定する。歌唱評価部４６の具体的な動作を以下に説明する。
【００４９】
歌唱評価部４６は、まず、歌唱表現データＤSが示す歌唱表現と選択音声信号Ｘの対象区間の歌唱表現との類似度（相関または距離）を記憶装置１２内の複数の歌唱表現データＤSの各々について対象区間毎に算定し、複数の歌唱表現データＤSのうち対象区間の歌唱表現との類似度が最大となる歌唱表現データＤSを選択音声信号Ｘの複数の対象区間の各々について順次に選択する。歌唱表現の類似度の算定には、特徴量を比較するための公知の技術が任意に採用される。
【００５０】
そして、歌唱評価部４６は、選択音声信号Ｘの各対象区間について選択された歌唱表現データＤSに対応する属性データＤAの評価値Ｑを、選択音声信号Ｘの複数の対象区間について加重加算（または平均）することで選択音声信号Ｘの評価値Ｚを算定する。以上の説明から理解される通り、評価値Ｑが高い歌唱表現に類似する歌唱表現で歌唱された対象区間が選択音声信号Ｘ内に多く包含されるほど、選択音声信号Ｘの評価値Ｚは大きい数値に設定される。歌唱評価部４６が算定した評価値Ｚは、例えば表示装置（図示略）による画像表示や放音装置１８による音声再生で利用者に報知される。
【００５１】
図１１は、歌唱評価処理のフローチャートである。図１１に示すように、入力装置１６の操作で利用者が歌唱評価処理の実行を指示すると（ＳC1）、歌唱選択部４２は、記憶装置１２に記憶された複数の音声信号Ｘから選択音声信号Ｘを選択し（ＳC2）、区間指定部４４は、選択音声信号Ｘについて１個以上の対象区間を指定する（ＳC3）。歌唱評価部４６は、記憶装置１２に記憶された各歌唱表現データＤSと各属性データＤAとを利用して選択音声信号Ｘの評価値Ｚを算定する（ＳC4）。歌唱評価部４６が算定した評価値Ｚが利用者に報知される（ＳC5）。
【００５２】
以上に説明した通り、第２実施形態では、歌唱表現が選択音声信号Ｘに類似する歌唱表現データＤSの評価値Ｑに応じて選択音声信号Ｘの評価値Ｚが算定される。したがって、歌唱表現の巧拙（表現登録処理で登録された歌唱表現との類否）という観点から選択音声信号Ｘを適切に評価することが可能である。なお、以上の説明からも理解される通り、第２実施形態では、属性データＤAのうち評価値Ｑ以外の情報は省略され得る。すなわち、第２実施形態の記憶装置１２は、歌唱表現を示す歌唱表現データＤSと当該歌唱表現の評価を示す評価値Ｑとを相異なる複数の歌唱表現について記憶する要素として表現される。
【００５３】
＜変形例＞
前述の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。
【００５４】
（１）第１実施形態の表現付与処理の対象や第２実施形態の歌唱評価処理の対象は、事前に収録されて記憶装置１２に格納された音声信号Ｘに限定されない。例えば、収音装置１４が生成した音声信号Ｘや、可搬型または内蔵型の記録媒体（例えばＣＤ）から再生された音声信号Ｘや、他の通信端末から通信網を介して受信した音声信号（例えばストリーミング形式の音声信号）Ｘを、表現付与処理や歌唱評価処理の対象とすることも可能である。また、公知の音声合成処理（例えば素片接続型の歌唱合成処理）で生成された音声信号Ｘについて表現付与処理や歌唱評価処理を実行する構成も採用される。なお、前述の各形態では、収録済の音声信号Ｘに対して表現付与処理や歌唱評価処理を実行したが、例えば時間軸上の各対象区間を事前に指定すれば、音声信号Ｘの供給に並行して実時間的に表現付与処理や歌唱評価処理を実行することも可能である。
【００５５】
また、前述の各形態では、複数の音声信号Ｘの何れかを選択音声信号Ｘとして選択したが、音声信号Ｘの選択（歌唱選択部３２または歌唱選択部４２）は省略され得る。なお、音声信号Ｘの全区間（楽曲の全体）を対象区間として指定する構成では、区間指定部３４を省略することも可能である。したがって、表現付与処理を実行する音声処理装置は、図１２に例示される通り、複数の歌唱表現データＤSから適用対象の歌唱表現データＤSを選択する表現選択部３６と、表現選択部３６が選択した歌唱表現データＤSが示す歌唱表現を歌唱音声（音声信号Ｘ）の特定区間に付与する表現付与部３８とを具備する装置として包括的に表現される。
【００５６】
表現登録処理の対象も同様に、収音装置１４が生成した音声信号Ｒには限定されない。例えば、可搬型または内蔵型の記録媒体から再生された音声信号Ｒや、他の通信端末から通信網を介して受信した音声信号Ｒを表現登録処理の対象とすることも可能である。また、音声信号Ｒの供給に並行して実時間的に表現登録処理を実行することも可能である。
【００５７】
（２）前述の各形態では、歌唱音声の時間波形を示す音声信号Ｘを対象として第１実施形態の表現付与処理や第２実施形態の歌唱評価処理を実行したが、表現付与処理や歌唱評価処理の対象となる歌唱音声の表現形式は任意である。具体的には、楽曲の音符毎に音高と発音文字（歌詞）とを時系列に指定する合成情報（例えばＶＳＱ形式のファイル）で歌唱音声を表現することも可能である。例えば第１実施形態の表現付与部３８は、合成情報で指定される歌唱音声を例えば素片接続型の音声合成処理で順次に合成しながら第１実施形態と同様の表現付与処理により歌唱表現を付与する。同様に、第２実施形態の歌唱評価部４６は、合成情報で指定される歌唱音声を音声合成処理で順次に合成しながら第２実施形態と同様の歌唱評価処理を実行する。
【００５８】
（３）第１実施形態では対象区間毎に１個の対象表現データＤSを選択したが、１個の対象区間について表現選択部３６が複数（典型的には複数種）の対象表現データＤSを選択することも可能である。表現選択部３６が選択した複数の対象表現データＤSの各々の歌唱表現が選択音声信号Ｘの１個の対象区間に対して重複して付与される。また、１個の対象区間について選択された複数の対象表現データＤSを統合した１個の歌唱表現データＤS（例えば複数の対象表現データＤSを加重加算した歌唱表現データＤS）の歌唱表現を当該対象区間に付与することも可能である。
【００５９】
（４）第１実施形態では検索条件を指定することで利用者からの指示に応じた歌唱表現データＤSを選択したが、表現選択部３６が歌唱表現データＤSを選択する方法は任意である。例えば、各歌唱表現データＤSが示す歌唱表現の歌唱音声を放音装置１８から再生することで利用者に試聴させ、利用者が試聴の結果を考慮して指定した歌唱表現データＤSを表現選択部３６が選択することも可能である。また、記憶装置１２に記憶された各歌唱表現データＤSをランダムに選択する構成や、事前に選択された所定の規則で各歌唱表現データＤSを選択する構成も採用される。
【００６０】
（５）第１実施形態では、表現付与部３８が生成した音声信号Ｙを放音装置１８に供給して再生したが、音声信号Ｙの出力方法は任意である。例えば、表現付与部３８が生成した音声信号Ｙを特定の記録媒体（例えば記憶装置１２や可搬型の記録媒体）に格納する構成や、音声信号Ｙを通信装置から他の通信端末に送信する構成も採用される。
【００６１】
（６）第１実施形態では表現登録処理および表現付与処理の双方を実行する音声処理装置１００を例示したが、表現登録処理を実行する音声処理装置と表現付与処理を実行する音声処理装置とを別体に構成することも可能である。登録用の音声処理装置の表現登録処理で生成された複数の歌唱表現データＤSが表現付与用の音声処理装置に転送されて表現付与処理に適用される。同様に、第２実施形態では、表現登録処理を実行する音声処理装置と歌唱評価処理を実行する音声処理装置とを別体に構成することも可能である。
【００６２】
（７）携帯電話機等の端末装置と通信するサーバ装置で音声処理装置１００を実現することも可能である。例えば、音声処理装置１００は、端末装置から受信した音声信号Ｒの解析で歌唱表現データＤSを抽出して記憶装置１２に格納する表現登録処理や、歌唱表現データＤSが示す歌唱表現を音声信号Ｘに付与した音声信号Ｙを端末装置に送信する表現付与処理を実行する。すなわち、相互に通信する音声処理装置（サーバ装置）と端末装置とを具備する音声処理システムとしても本発明は実現され得る。また、前述の各形態の音声処理装置１００は、各機能を複数の装置に分散したシステム（音声処理システム）としても実現され得る。
【符号の説明】
【００６３】
１００……音声処理装置、１０……演算処理装置、１２……記憶装置、１４……収音装置、１６……入力装置、１８……放音装置、２０……解析処理部、２０A……楽曲構造解析部、２０B……歌唱技法解析部、２０C……声質解析部、２２……歌唱区分部、２４，４６……歌唱評価部、２６……歌唱解析部、２８……属性取得部、３２，４２……歌唱選択部、３４，４４……区間指定部、３６……表現選択部、３８……表現付与部。
【図１】
2014178620.tif 000003
【図２】
2014178620.tif 000004
【図３】
2014178620.tif 000005
【図４】
2014178620.tif 000006
【図５】
2014178620.tif 000007
【図６】
2014178620.tif 000008
【図７】
2014178620.tif 000009
【図８】
2014178620.tif 000010
【図９】
2014178620.tif 000011
【図１０】
2014178620.tif 000012
【図１１】
2014178620.tif 000013
【図１２】
2014178620.tif 000014