(57)【要約】【課題】終助詞の前側につく要素が細かく変わっても、それに対応する多様な韻律制御が可能である。【解決手段】  韻律制御装置Ｄは、句を含む表現の入力を受け付けて、当該句を単語に分割する言語分析部１と、単語のいずれかである変化要因部に対応する尺度値を決定する尺度化部２と、尺度値を韻律制御量へ変換する尺度値制御量変換部３と、制御量に基づいて表現の韻律を制御する韻律生成部４とを有する。【選択図】図１
2020012867.tif 000002
【特許請求の範囲】
【請求項１】
句を含む表現の入力を受け付けて、当該句を単語に分割する言語分析部と、
前記単語のいずれかである変化要因部に対応する尺度値を決定する尺度化部と、
前記尺度値を韻律制御量へ変換する尺度値制御量変換部と、
前記韻律制御量に基づいて前記表現の韻律を制御する韻律生成部と、
を有する韻律制御装置。
【請求項２】
請求項１に記載の韻律制御装置において、
前記言語分析部は、前記句に変化要因部が存在するか否かを判定し、
前記句に前記変化要因部が存在しないと判定されたとき、前記尺度値制御量変換部は前記韻律制御量として所定の定数を設定する、韻律制御装置。
【請求項３】
言語分析部により、句を含む表現の入力を受け付けて、当該句を単語に分割するステップと、
尺度化部により、前記単語のいずれかである変化要因部に対応する尺度値を決定するステップと、
尺度値制御量変換部により、前記尺度値を韻律制御量へ変換するステップと、
韻律生成部により、前記韻律制御量に基づいて前記表現の韻律を制御するステップと、
を有する韻律制御方法。
【請求項４】
コンピュータを、請求項１又は２に記載の韻律制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は対話音声の音声合成において、韻律制御、特に基本周波数（声の高さ）の制御を行う韻律制御装置、韻律制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、音声合成対象の意図又は意味に対応する基本周波数変化形状の関係分析（例えば非特許文献１）と、形状分類に基づく制御（例えば非特許文献２）とが行われていた。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】大島デイヴィド義和、「日本語におけるイントネーション型と終助詞機能の相関について」、国際開発フォーラム４３、2013年3月、pp.47‐63
【非特許文献２】岩田和彦、小林哲則、「対話音声合成の表現力向上に向けた文末詞と音調の組合せによる発話意図の表現に関する実験的検討」、2017年、電子情報通信学会論文誌D、Vol.J100-D、No.11、pp.938-948
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１及び２記載の方法は、音声合成対象の句の単語、特に、発話末尾の終助詞に着目して、その終助詞の基本周波数の変化形状を分類して利用している。当該方法は、終助詞を含む句を終助詞とその前部の要素とに分け、それらの組合せと句全体で伝える意味又は意図との対応から基本周波数の変化形状を選択することで、尤もらしい基本周波数の変化形状を与える。
【０００５】
上記の方法は、例えば、終助詞が「ね」で、その前部要素が「食べて」で、全体の句が「食べてね」の場合、その句が依頼を意味する場合と命令を意味する場合との間で基本周波数の変化形状を選択しわける。
【０００６】
しかし、終助詞の前には、上記の非特許文献１又は２で調べられた以外の要素が付く場合も有るが、上記非特許文献では調べられていない要素が句全体に与える影響についての知見が無い。このため基本周波数の制御が困難であるという課題が有る。例えば、「する＋らしい＋よ」と「する＋みたいだ＋よ」では、どちらも基本周波数は上昇する。しかし、非特許文献１記載の方法は変化の方向を示すのみであり、その程度を選択することができない。また、「する＋にちがいない＋よ」と「する＋みたいだ＋よ」では、「よ」の基本周波数は前者で大きく下がり、後者で大きく上がる。しかし、非特許文献２では細かな意図又は意味の分類との対応が無いため、基本周波数を適切に選択することは難しい。以下、終助詞の前側につく「らしい」、「みたいだ」、「にちがいない」等の要素を変化要因部と称して本発明を説明する。
【０００７】
かかる点に鑑みてなされた本開示の目的は、終助詞の前側につく要素が細かく変わっても、それに対応する多様な韻律制御が可能である韻律制御装置、韻律制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る韻律制御装置は、
句を含む表現の入力を受け付けて、当該句を単語に分割する言語分析部と、
前記単語のいずれかである変化要因部に対応する尺度値を決定する尺度化部と、
前記尺度値を韻律制御量へ変換する尺度値制御量変換部と、
前記韻律制御量に基づいて前記表現の韻律を制御する韻律生成部と、
を有する。
【０００９】
上記課題を解決するため、本発明に係る韻律制御方法は、
言語分析部により、句を含む表現の入力を受け付けて、当該句を単語に分割するステップと、
尺度化部により、前記単語のいずれかである変化要因部に対応する尺度値を決定するステップと、
尺度値制御量変換部により、前記尺度値を韻律制御量へ変換するステップと、
韻律生成部により、前記韻律制御量に基づいて前記表現の韻律を制御するステップと、
を有する。
【発明の効果】
【００１０】
本開示に係る韻律制御装置、韻律制御方法及びプログラムによれば、終助詞の前側につく要素が細かく変わっても、それに対応する多様な韻律制御が可能である。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の韻律制御装置の機能ブロック図である。
【図２】本実施形態の韻律制御装置が実行する処理のフローチャートである。
【図３】本実施形態における印象対の評点付け方法を示す図である。
【図４】本実施形態の対応表を示す図である。
【図５】本実施形態における基本周波数の上昇量等を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明がより具体的に説明される。
【００１３】
図１は、本実施形態の韻律制御装置Ｄの機能ブロック図である。韻律制御装置Ｄは言語分析部１、尺度化部２、尺度値制御量変換部３及び韻律生成部４を含む。図１内の矢印は情報が流れる方向を示す。以下、韻律制御装置Ｄの各機能を説明するが、韻律制御装置Ｄが有する他の機能を排除することを意図したものではない。
【００１４】
言語分析部１、尺度化部２、尺度値制御量変換部３及び韻律生成部４が実行する処理は、１又は複数のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサ（図示せず）によって実行される。プロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１又は複数のメモリを含んでよい。メモリは揮発性メモリ及び不揮発性メモリを含む。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリを含む。プロセッサは特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサを含む。
【００１５】
各種情報、及び／又は韻律制御装置Ｄを動作させるためのプログラム等は、韻律制御装置Ｄ内部又は外部の記憶部に記憶されてよい。記憶部は半導体メモリ又は磁気メモリ等で構成される。記憶部はワークメモリとして機能してもよい。
【００１６】
図２のフローチャートを参照しながら、韻律制御装置Ｄが実行する韻律制御方法を説明する。
【００１７】
ステップＳ１にて、言語分析部１は句を含む表現の入力を受け付ける。言語分析部１は、既存の形態素解析技術を用いて、句を単語に分割する。言語分析部１は形態素解析の結果に基づいて各単語に品詞を付与し、終助詞を特定する。言語分析部１は、各単語に付与された品詞に基づいて、終助詞の前（文頭側）の述部の主要素である動詞語幹と活用変化部分とをまとめて動詞部分として設定する。言語分析部１は、動詞部分と終助詞とに挟まれて残された部分があれば、当該部分を変化要因部としてまとめる。すなわち単語のいずれかは変化要因部である。言語分析部１は、このようなまとめる処理の代わりに、各単語に対して、終助詞のラベル、動詞部分のラベル、及び変化要因部のラベルを付与してよい。
【００１８】
例えば句が「するみたいだよ」のとき、言語分析部１は、形態素解析の結果として、「する、動詞、基本形」、「みたいだ、助動詞、基本形」及び「よ、助詞、終助詞」の３つの要素を得る。このとき１つの要素は３つの情報を含む。３つの情報は、具体的には左から、字面である表層形、品詞大分類、及び、品詞小分類である。この句の場合、左から１つ目の単語である「する」が動詞部分であり、左から三つ目の単語である「よ」が終助詞であり、それらの間の単語「みたいだ」が変化要因部である。なお他の実施形態では、言語分析部１は、用いる形態素解析器によっては上記の句を更に細かい単位に分割してよい。
【００１９】
別の機能として、言語分析部１は、「する」に動詞部分のラベルを、「みたいだ」に変化要因部のラベルを、「よ」に終助詞のラベルを与えることで、分割処理を行ってよい。
【００２０】
本実施形態では変化要因部が存在しないことをφで表す。したがって言語分析部１は、句が「するよ」の場合、当該句を「する」と「φ」と「よ」とへ分割する。
【００２１】
ステップＳ２にて言語分析部１は、句に変化要因部が存在する否かを判定する。変化要因部が存在しないとき、言語分析部１は終助詞と動詞部分とを尺度値制御量変換部３へ送信する。変化要因部が存在するとき、言語分析部１は、終助詞、動詞部分及び変化要因部を尺度化部２へ送信する。
【００２２】
ステップＳ２にて言語分析部１が、単語内に変化要因部が存在すると判定したとき、ステップＳ３にて尺度化部２は変化要因部に対応する尺度値を決定する。具体的には尺度化部２は様々な句の尺度値を、確信度（確信の度合い）、指摘度（指摘行為である度合い）、主張度（主張の強さの度合い）、などの観点から評点付けすることで得ることができる。当該評点付けは例えば、１人以上の人が例えば手作業等にて、各句の印象が図３に示すような印象対のどこに位置するかを判断して行う。尺度化部２は、尺度値として、それらの評点の平均値等を設定可能である。
【００２３】
別の機能として、尺度化部２は、この尺度値と表現との対応付けに、例えば図４に示すような表を用いることが可能である。当該表は例えば１以上の人によって手作業等にて作成される。
【００２４】
別の機能として尺度化部２は、言語表現の違いを吸収する目的で、例えば、変化要因部をカテゴリカルな説明変数とし尺度値を連続値の従属変数とする、数量化I類のモデルを用いてよい。これにより尺度化部２は、変化要因部に対応する尺度値を決定することが可能である。
【００２５】
尺度化部２は数量化I類にて、カテゴリカル変数とその重み係数の線形和で連続値の従属変数の値を決定する。この重み係数は、事前に集めておいた従属変数の値とそれに対応するカテゴリカル変数の多数の組から計算される。尺度化部２は、上記のさまざまな句に現れる変化要因部を構成する単語に対してカテゴリカル変数を１つずつ割り当てておく。尺度化部２は、ある変化要因部に対応する尺度値を決定する場合には、その変化要因部に含まれる単語に対応するカテゴリカル変数を１とし、その重みとの積和演算で尺度値を決定する。データから重みを決めるなどの、一般的な数量化理論での処理は下記の参考文献１等に開示される。その記述はここでは割愛する。
参考文献１：駒沢勉、「数量化理論とデータ処理」、朝倉書店、1982年
【００２６】
別の機能として尺度化部２は、変化要因部を構成する各単語を、その各単語を表わす実数値ベクトルに変換し、変化要因部を構成する各単語を文頭から文末までの順に受け付ける数値変換器（例えば巡回型ニューラルネットなど）を用いて、変化要因部に対応する尺度値を決定してよい。離散的な単語を実数値ベクトルに変換するこのような処理はWord Embeddingと呼ばれる。この処理は次の参考文献２等に開示されるのでここでの説明を割愛する。
参考文献２：Mikolov Tomas、Sutskever Ilya、Chen Kai、Corrado Greg、Dean Jeffrey、「Distributed Representations of Words and Phrases and their Compositionality」、[Online]、2013年、[平成30年6月1日検索]、arXiv:1310.4546、インターネット〈URL：https://arxiv.org/abs/1310.4546〉
【００２７】
また尺度化部２は、上記のように変化要因部の言語表現の確信度、指摘度及び主張度を直接求める代わりに、確信度、指摘度、主張度などの尺度値を、変化要因部に対する一般的な印象評価から求めることも可能である。例えば尺度化部２は、変化要因部に対して、一般的な印象評価で用いられる単語対（例えば、鈍い-鋭い、澄んだ-濁った、暗い-明るい、汚い-きれい、尖った-丸まった、重い-軽い、固い-柔らかい、派手な-地味な、太い-細い、ざらざらした-さらさらした、等）のどちらに近いかを定量的に評価した結果に対して複数人に渡る平均化を行なって尺度化してよい。当該結果は例えば人の手作業により与えられてよい。尺度化部２はそれぞれの尺度値を求める場合には上記と同様の数量化I類又は巡回型ニューラルネットワークを用いてよい。
【００２８】
図２のステップＳ４にて尺度値制御量変換部３は、変化要因部に対応する尺度値を、任意の変換式を用いて韻律制御量に変換する。本実施形態の韻律制御量は、一例として基本周波数の変化量である。当該変化量は、変化要因部の末尾の基本周波数から、当該変化要因部の影響を受ける終助詞の基本周波数への変化量である。なおステップＳ２にて変化要因部が存在しないと判定された場合、尺度値制御量変換部３は、韻律制御量を所定の定数に設定してよい。
【００２９】
図５は、表現（図の「判断のモダリティ」）ごとの基本周波数の上昇量（図の「Ｆ０上昇量（log）」）の例を示す。図５において、横軸の左から右に向かう順に、変化要因部の表現が、尺度値の１つである確信度（折れ線グラフ参照）が高い順に並ぶ。各表現には、対話時の基本周波数の上昇量と、読み上げ時の基本周波数の上昇量とが柱状グラフで対応付けられる。
【００３０】
例えば図５の最も左に記載される「にちがいない」との表現の基本周波数の上昇量は、対話時に約-0.18で、読み上げ時に約-0.08である。すなわち、当該表現の末尾の「い」から、当該表現直後の終助詞（例えば「よ」）への基本周波数は下降する。よって声が低く変化することが読み取れる。
【００３１】
図２のステップＳ４にて尺度値制御量変換部３は、例えば図５に示す値を用いて、対話時又は読み上げ時のうち対応する柱状グラフの高さに応じた基本周波数上昇量へと尺度値を変換して韻律を制御する。別の機能として、尺度値制御量変換部３は、変化要因部の基本周波数の変動量、又は、動詞部分の変動量を韻律制御量に設定してもよい。
【００３２】
尺度値制御量変換部３は、韻律の制御を次の参考文献３の指令応答モデルを用いて行なうことができる。
参考文献３：H. Fujisaki and S. Nagashima、「A model for the synthesis of pitch contours of connected speech」、1969年、Annual Report of the Engineering Research Institute」、Faculty of Engineering、University of Tokyo、pp.53-60
【００３３】
この場合には尺度値制御量変換部３は、指令応答モデルが用いるフレーズ成分又はアクセント成分の大きさ、並びに、生起及び効力を失う時刻等の複数の制御量を用いてよい。
【００３４】
上記いずれの場合も、尺度値制御量変換部３は尺度化部２で得られた１つ以上の尺度値を韻律制御量へ変換する。尺度値制御量変換部３は当該変換の際、上記の１つ以上の尺度値を説明変数として、韻律制御量を従属変数として、制御量毎個別に変換する線形若しくは非線形の重回帰モデル、又は、同時に変換するニューラルネットワークを用いることが可能である。
【００３５】
図２のステップＳ５にて韻律生成部４は尺度値制御量変換部３で得られた制御量に基づいて韻律生成を行なう。例えば制御量として基本周波数の上昇量を用いる場合、韻律生成部４は、基本周波数の上昇量が正であれば基本周波数が上昇する（声が高くなる）ように、あるいは、当該上昇量が負の値であれば基本周波数が下降する（声が低くなる）ように、句内の基本周波数を制御することが可能である。
【００３６】
韻律生成部４は、制御量として上記の参考文献３の指令応答モデルの制御量を用いる場合、フレーズ成分とアクセント成分との大きさにより声の高さの変化を制御し、それらの成分の生起時刻により基本周波数の立ち上がりの緩急を制御可能である。
【００３７】
以上のように本実施形態によれば、韻律制御装置Ｄは、終助詞の前側につく要素が細かく変わっても、それに対応する多様な韻律制御が可能である。具体的には韻律制御装置Ｄは、動詞部分、終助詞、それらの間の変化要因部といった、句を構成する表現の各部の影響を加味し、それらを一旦１以上の尺度値に変換して、更に尺度値から韻律制御量に変換する。これにより細かな意図又は意味に応じて、柔軟に韻律の程度を制御することが可能である。
【００３８】
また本実施形態によれば、言語分析部１は句に変化要因部が存在するか否かを判定し、句に変化要因部が存在しないと判定されたとき、尺度値制御量変換部３は制御量として所定の定数を設定する。このため、変化要因部の有無にかかわらず、句に対し、柔軟で多様な韻律制御が可能である。
【００３９】
上記した実施形態は一例である。発明の趣旨及び範囲内で、当該実施形態に対して多くの変更及び置換ができることは当業者に明らかである。したがって、本開示は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施例の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【００４０】
本発明の装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。例えば韻律制御装置Ｄをコンピュータで構成する場合、各機能を実現する処理内容を記述したプログラムを、当該コンピュータの内部又は外部の記憶手段に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることでコンピュータを機能させることができる。また、このようなプログラムは、例えばＤＶＤ又はＣＤ−ＲＯＭ等の可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶手段に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶手段に格納することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【符号の説明】
【００４１】
Ｄ      韻律制御装置
１      言語分析部
２      尺度化部
３      尺度値制御量変換部
４      韻律生成部
【図１】
2020012867.tif 000003
【図２】
2020012867.tif 000004
【図３】
2020012867.tif 000005
【図４】
2020012867.tif 000006
【図５】
2020012867.tif 000007