(57)【特許請求の範囲】
【請求項１】
音声信号の出力と可動部位の動作を同期させる同期制御装置において、
言語情報を用いて複数の音韻からなる音韻情報を生成する音韻情報生成手段と、
前記音韻情報生成手段が生成した前記音韻情報に対応して、音韻継続時間を算出する算出手段と、
前記音韻情報生成手段が生成した前記音韻情報に対応して、前記可動部位の動作時間を演算する演算手段と、
前記算出手段が算出した前記音韻継続時間と、前記演算手段が演算した前記動作時間を調整する調整手段と、
前記調整手段が調整した音韻継続時間に基づいて、合成音声情報を生成する合成音声情報生成手段と、
前記合成音声情報生成手段が生成した前記合成音声情報に基づいて、前記音声信号を合成する合成手段と、
前記調整手段が調整した動作時間に基づいて、前記可動部位の動作を制御する
動作制御手段とを含み、
前記調整手段は、
前記音韻毎に対応する前記音韻継続時間と前記動作時間を比較して、長い方を用いて短い方を置換して調整する処理、
任意の前記音韻に対応する前記音韻継続時間と前記動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃えて調整する処理、
全ての前記音韻に対応する前記音韻継続時間と前記動作時間のうちの一方を、他方で置換して調整する処理、
前記音韻毎に対応する前記音韻継続時間と前記動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃え、不足する時間を無処理時間で補充して調整する処理、
または、全ての前記音韻に対応する前記音韻継続時間と前記動作時間を比較して、短い方を比例的に伸張して調整する処理
のうちの少なくとも１つの処理を行う
ことを特徴とする同期制御装置。
【請求項２】
前記同期制御装置は、ロボットである
ことを特徴とする請求項１に記載の同期制御装置。
【請求項３】
前記ロボットの口の内部に物体が挿入されたことを検知する検知手段をさらに含み、
前記合成手段と前記動作制御手段のうち、少なくとも一方は、前記検知手段の検知結果に対応して実行中の処理を変更する
ことを特徴とする請求項２に記載の同期制御装置。
【請求項４】
音声信号の出力と可動部位の動作を同期させる同期制御装置の同期制御方法において、
言語情報を用いて複数の音韻からなる音韻情報を生成する音韻情報生成ステップと、
前記音韻情報生成ステップの処理で生成された前記音韻情報に対応して、音韻継続時間を算出する算出ステップと、
前記音韻情報生成ステップの処理で生成された前記音韻情報に対応して、前記可動部位の動作時間を演算する演算ステップと、
前記算出ステップの処理で算出された前記音韻継続時間と、前記演算ステップの処理で演算された前記動作時間を調整する調整ステップと、
前記調整ステップの処理で調整された音韻継続時間に基づいて、合成音声情報を生成する合成音声情報生成ステップと、
前記合成音声情報生成ステップの処理で生成された前記合成音声情報に基づいて、前記音声信号を合成する合成ステップと、
前記調整ステップの処理で調整された動作時間に基づいて、前記可動部位の動作を制御する動作制御ステップとを含み、
前記調整ステップは、
前記音韻毎に対応する前記音韻継続時間と前記動作時間を比較して、長い方を用いて短い方を置換して調整する処理、
任意の前記音韻に対応する前記音韻継続時間と前記動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃えて調整する処理、
全ての前記音韻に対応する前記音韻継続時間と前記動作時間のうちの一方を、他方で置換して調整する処理、
前記音韻毎に対応する前記音韻継続時間と前記動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃え、不足する時間を無処理時間で補充して調整する処理、
または、全ての前記音韻に対応する前記音韻継続時間と前記動作時間を比較して、短い方を比例的に伸張して調整する処理
のうちの少なくとも１つの処理を行う
ことを特徴とする同期制御方法。
【請求項５】
音声信号の出力と可動部位の動作を同期させる同期制御装置の制御用のプログラムであって、
言語情報を用いて複数の音韻からなる音韻情報を生成する音韻情報生成ステップと、
前記音韻情報生成ステップの処理で生成された前記音韻情報に対応して、音韻継続時間を算出する算出ステップと、
前記音韻情報生成ステップの処理で生成された前記音韻情報に対応して、前記可動部位の動作時間を演算する演算ステップと、
前記算出ステップの処理で算出された前記音韻継続時間と、前記演算ステップの処理で演算された前記動作時間を調整する調整ステップと、
前記調整ステップの処理で調整された音韻継続時間に基づいて、合成音声情報を生成する合成音声情報生成ステップと、
前記合成音声情報生成ステップの処理で生成された前記合成音声情報に基づいて、前記音声信号を合成する合成ステップと、
前記調整ステップの処理で調整された動作時間に基づいて、前記可動部位の動作を制御する動作制御ステップとを含み、
前記調整ステップは、
前記音韻毎に対応する前記音韻継続時間と前記動作時間を比較して、長い方を用いて短い方を置換して調整する処理、
任意の前記音韻に対応する前記音韻継続時間と前記動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃えて調整する処理、
全ての前記音韻に対応する前記音韻継続時間と前記動作時間のうちの一方を、他方で置換して調整する処理、
前記音韻毎に対応する前記音韻継続時間と前記動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃え、不足する時間を無処理時間で補充して調整する処理、
または、全ての前記音韻に対応する前記音韻継続時間と前記動作時間を比較して、短い方を比例的に伸張して調整する処理
のうちの少なくとも１つの処理を行う
ことを特徴とする処理を同期制御装置のコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項６】
音声信号の出力と可動部位の動作を同期させる同期制御装置において、
言語情報を用いて複数の音韻からなる音韻情報を生成する音韻情報生成手段と、
前記音韻情報生成手段が生成した前記音韻情報に対応して、音韻継続時間を算出する算出手段と、
前記音韻情報生成手段が生成した前記音韻情報に対応して、前記可動部位の動作時間を演算する演算手段と、
前記算出手段が算出した前記音韻継続時間と、前記演算手段が演算した前記動作時間を調整する調整手段と、
前記調整手段が調整した音韻継続時間に基づいて、合成音声情報を生成する合成音声情報生成手段と、
前記合成音声情報生成手段が生成した前記合成音声情報に基づいて、前記音声信号を合成する合成手段と、
前記調整手段が調整した動作時間に基づいて、前記可動部位の動作を制御する
動作制御手段とを含み、
前記動作制御手段は、動物の調音器官の動きを模擬した前記可動部位の動作を制御する
ことを特徴とする同期制御装置。
【請求項７】
前記同期制御装置は、ロボットである
ことを特徴とする請求項６に記載の同期制御装置。
【請求項８】
前記ロボットの口の内部に物体が挿入されたことを検知する検知手段をさらに含み、
前記合成手段と前記動作制御手段のうち、少なくとも一方は、前記検知手段の検知結果に対応して実行中の処理を変更する
ことを特徴とする請求項７に記載の同期制御装置。
【請求項９】
音声信号の出力と可動部位の動作を同期させる同期制御装置の同期制御方法において、
言語情報を用いて複数の音韻からなる音韻情報を生成する音韻情報生成ステップと、
前記音韻情報生成ステップの処理で生成された前記音韻情報に対応して、音韻継続時間を算出する算出ステップと、
前記音韻情報生成ステップの処理で生成された前記音韻情報に対応して、前記可動部位の動作時間を演算する演算ステップと、
前記算出ステップの処理で算出された前記音韻継続時間と、前記演算ステップの処理で演算された前記動作時間を調整する調整ステップと、
前記調整ステップの処理で調整された音韻継続時間に基づいて、合成音声情報を生成する合成音声情報生成ステップと、
前記合成音声情報生成ステップの処理で生成された前記合成音声情報に基づいて、前記音声信号を合成する合成ステップと、
前記調整ステップの処理で調整された動作時間に基づいて、前記可動部位の動作を制御する動作制御ステップとを含み、
前記動作制御ステップは、動物の調音器官の動きを模擬した前記可動部位の動作を制御する
ことを特徴とする同期制御方法。
【請求項１０】
音声信号の出力と可動部位の動作を同期させる同期制御装置の制御用のプログラムであって、
言語情報を用いて複数の音韻からなる音韻情報を生成する音韻情報生成ステップと、
前記音韻情報生成ステップの処理で生成された前記音韻情報に対応して、音韻継続時間を算出する算出ステップと、
前記音韻情報生成ステップの処理で生成された前記音韻情報に対応して、前記可動部位の動作時間を演算する演算ステップと、
前記算出ステップの処理で算出された前記音韻継続時間と、前記演算ステップの処理で演算された前記動作時間を調整する調整ステップと、
前記調整ステップの処理で調整された音韻継続時間に基づいて、合成音声情報を生成する合成音声情報生成ステップと、
前記合成音声情報生成ステップの処理で生成された前記合成音声情報に基づいて、前記音声信号を合成する合成ステップと、
前記調整ステップの処理で調整された動作時間に基づいて、前記可動部位の動作を制御する動作制御ステップとを含み、
前記動作制御ステップは、動物の調音器官の動きを模擬した前記可動部位の動作を制御する
ことを特徴とする処理を同期制御装置のコンピュータに実行させるプログラムが記録されている記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、同期制御装置および方法、並びに記録媒体に関し、例えば、ロボットの頭部に設けられる調音器官の動きを模擬した部位の動作と、合成した音声の出力を同期させる場合に用いて好適な同期制御装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
人や動物を模擬したロボットには、口や顎等を模擬した部位が可動するようなもの（例えば、顎を上下することにより口を開閉するようなもの）が存在し、口や顎等の動きとともに音声を出力するものも存在する。
【０００３】
【発明が解決しようとする課題】
そのようなロボットにおいて、例えば、「あ」の音の出力タイミングのときには、口等が「あ」の音を発声する形をし、「い」の音の出力タイミングのときには、口等が「い」の音を発声する形をするように、発声する言葉に対応して口等を動作するようにすれば、よりリアルに人間等を模擬することになる。しかしながら、そのようなロボットは存在していない。
【０００４】
本発明はこのような状況に鑑みてなされたものであり、音声合成による発声する言葉と発声タイミングに、調音器官を模擬した部位の動作を対応させることにより、よりリアルに人間等を模擬したロボットを実現することを目的とする。
【０００５】
【課題を解決するための手段】
本発明の第１の同期制御装置は、言語情報を用いて複数の音韻からなる音韻情報を生成する音韻情報生成手段と、音韻情報生成手段が生成した音韻情報に対応して、音韻継続時間を算出する算出手段と、音韻情報生成手段が生成した音韻情報に対応して、可動部位の動作時間を演算する演算手段と、算出手段が算出した音韻継続時間と、演算手段が演算した動作時間を調整する調整手段と、調整手段が調整した音韻継続時間に基づいて、合成音声情報を生成する合成音声情報生成手段と、合成音声情報生成手段が生成した合成音声情報に基づいて、音声信号を合成する合成手段と、調整手段が調整した動作時間に基づいて、可動部位の動作を制御する動作制御手段とを含み、調整手段は、音韻毎に対応する音韻継続時間と動作時間を比較して、長い方を用いて短い方を置換して調整する処理、任意の音韻に対応する音韻継続時間と動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃えて調整する処理、全ての音韻に対応する音韻継続時間と動作時間のうちの一方を、他方で置換して調整する処理、音韻毎に対応する音韻継続時間と動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃え、不足する時間を無処理時間で補充して調整する処理、または、全ての音韻に対応する音韻継続時間と動作時間を比較して、短い方を比例的に伸張して調整する処理のうちの少なくとも１つの処理を行うことを特徴とする。
前記同期制御装置は、ロボットであるようにすることができる。
本発明の第１の同期制御装置は、ロボットの口の内部に物体が挿入されたことを検知する検知手段をさらに含むことができ、前記合成手段と前記動作制御手段のうち、少なくとも一方は、検知手段の検知結果に対応して実行中の処理を変更するようにすることができる。
【０００６】
本発明の第１の同期制御方法は、言語情報を用いて複数の音韻からなる音韻情報を生成する音韻情報生成ステップと、音韻情報生成ステップの処理で生成された音韻情報に対応して、音韻継続時間を算出する算出ステップと、音韻情報生成ステップの処理で生成された音韻情報に対応して、可動部位の動作時間を演算する演算ステップと、算出ステップの処理で算出された音韻継続時間と、演算ステップの処理で演算された動作時間を調整する調整ステップと、調整ステップの処理で調整された音韻継続時間に基づいて、合成音声情報を生成する合成音声情報生成ステップと、合成音声情報生成ステップの処理で生成された合成音声情報に基づいて、音声信号を合成する合成ステップと、調整ステップの処理で調整された動作時間に基づいて、可動部位の動作を制御する動作制御ステップとを含み、調整ステップは、音韻毎に対応する音韻継続時間と動作時間を比較して、長い方を用いて短い方を置換して調整する処理、任意の音韻に対応する音韻継続時間と動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃えて調整する処理、全ての音韻に対応する音韻継続時間と動作時間のうちの一方を、他方で置換して調整する処理、音韻毎に対応する音韻継続時間と動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃え、不足する時間を無処理時間で補充して調整する処理、または、全ての音韻に対応する音韻継続時間と動作時間を比較して、短い方を比例的に伸張して調整する処理のうちの少なくとも１つの処理を行うことを特徴とする。
【０００７】
本発明の第１の記録媒体は、言語情報を用いて複数の音韻からなる音韻情報を生成する音韻情報生成ステップと、音韻情報生成ステップの処理で生成された音韻情報に対応して、音韻継続時間を算出する算出ステップと、音韻情報生成ステップの処理で生成された音韻情報に対応して、可動部位の動作時間を演算する演算ステップと、算出ステップの処理で算出された音韻継続時間と、演算ステップの処理で演算された動作時間を調整する調整ステップと、調整ステップの処理で調整された音韻継続時間に基づいて、合成音声情報を生成する合成音声情報生成ステップと、合成音声情報生成ステップの処理で生成された合成音声情報に基づいて、音声信号を合成する合成ステップと、調整ステップの処理で調整された動作時間に基づいて、可動部位の動作を制御する動作制御ステップとを含み、調整ステップは、音韻毎に対応する音韻継続時間と動作時間を比較して、長い方を用いて短い方を置換して調整する処理、任意の音韻に対応する音韻継続時間と動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃えて調整する処理、全ての音韻に対応する音韻継続時間と動作時間のうちの一方を、他方で置換して調整する処理、音韻毎に対応する音韻継続時間と動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃え、不足する時間を無処理時間で補充して調整する処理、または、全ての音韻に対応する音韻継続時間と動作時間を比較して、短い方を比例的に伸張して調整する処理のうちの少なくとも１つの処理を行うことを特徴とする処理を同期制御装置のコンピュータに実行させるプログラムが記録されている。
【０００８】
本発明の第１の同期制御装置、同期制御方法、および記録媒体のプログラムにおいては、言語情報を用いて複数の音韻からなる音韻情報が生成され、生成された音韻情報に対応して音韻継続時間が算出される。また、生成された音韻情報に対応して可動部位の動作時間が演算される。また、算出された音韻継続時間と演算された動作時間が調整され、調整された音韻継続時間に基づいて合成音声情報が生成され、生成された合成音声情報に基づいて音声信号が合成される。さらに、調整された動作時間に基づいて可動部位の動作が制御される。そして、前記調整では、音韻毎に対応する音韻継続時間と動作時間を比較して、長い方を用いて短い方を置換して調整する処理、任意の音韻に対応する音韻継続時間と動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃えて調整する処理、全ての音韻に対応する音韻継続時間と動作時間のうちの一方を、他方で置換して調整する処理、音韻毎に対応する音韻継続時間と動作時間の開始タイミングまたは終了タイミングのうち、少なくとも一方を揃え、不足する時間を無処理時間で補充して調整する処理、または、全ての音韻に対応する音韻継続時間と動作時間を比較して、短い方を比例的に伸張して調整する処理のうちの少なくとも１つの処理が行われる。
【０００９】
本発明の第２の同期制御装置は、言語情報を用いて複数の音韻からなる音韻情報を生成する音韻情報生成手段と、音韻情報生成手段が生成した音韻情報に対応して、音韻継続時間を算出する算出手段と、音韻情報生成手段が生成した音韻情報に対応して、可動部位の動作時間を演算する演算手段と、算出手段が算出した音韻継続時間と、演算手段が演算した動作時間を調整する調整手段と、調整手段が調整した音韻継続時間に基づいて、合成音声情報を生成する合成音声情報生成手段と、合成音声情報生成手段が生成した合成音声情報に基づいて、音声信号を合成する合成手段と、調整手段が調整した動作時間に基づいて、可動部位の動作を制御する動作制御手段とを含み、動作制御手段は、動物の調音器官の動きを模擬した可動部位の動作を制御することを特徴とする。
同期制御装置は、ロボットであるようにすることができる。
本発明の第２の同期制御装置は、ロボットの口の内部に物体が挿入されたことを検知する検知手段をさらに含むことができ、前記合成手段と前記動作制御手段のうち、少なくとも一方は、検知手段の検知結果に対応して実行中の処理を変更するようにすることができる。
【００１０】
本発明の第２の同期制御方法は、言語情報を用いて複数の音韻からなる音韻情報を生成する音韻情報生成ステップと、音韻情報生成ステップの処理で生成された音韻情報に対応して、音韻継続時間を算出する算出ステップと、音韻情報生成ステップの処理で生成された音韻情報に対応して、可動部位の動作時間を演算する演算ステップと、算出ステップの処理で算出された音韻継続時間と、演算ステップの処理で演算された動作時間を調整する調整ステップと、調整ステップの処理で調整された音韻継続時間に基づいて、合成音声情報を生成する合成音声情報生成ステップと、合成音声情報生成ステップの処理で生成された合成音声情報に基づいて、音声信号を合成する合成ステップと、調整ステップの処理で調整された動作時間に基づいて、可動部位の動作を制御する動作制御ステップとを含み、動作制御ステップは、動物の調音器官の動きを模擬した可動部位の動作を制御することを特徴とする。
【００１１】
本発明の第２の記録媒体は、言語情報を用いて複数の音韻からなる音韻情報を生成する音韻情報生成ステップと、音韻情報生成ステップの処理で生成された音韻情報に対応して、音韻継続時間を算出する算出ステップと、音韻情報生成ステップの処理で生成された音韻情報に対応して、可動部位の動作時間を演算する演算ステップと、算出ステップの処理で算出された音韻継続時間と、演算ステップの処理で演算された動作時間を調整する調整ステップと、調整ステップの処理で調整された音韻継続時間に基づいて、合成音声情報を生成する合成音声情報生成ステップと、合成音声情報生成ステップの処理で生成された合成音声情報に基づいて、音声信号を合成する合成ステップと、調整ステップの処理で調整された動作時間に基づいて、可動部位の動作を制御する動作制御ステップとを含み、動作制御ステップは、動物の調音器官の動きを模擬した可動部位の動作を制御することを特徴とする処理を同期制御装置のコンピュータに実行させるプログラムが記録されている。
【００１２】
本発明の第２の同期制御装置、同期制御方法、および記録媒体のプログラムにおいては、言語情報を用いて複数の音韻からなる音韻情報が生成され、生成された音韻情報に対応して音韻継続時間が算出される。また、生成された音韻情報に対応して可動部位の動作時間が演算される。また、算出された音韻継続時間と演算された動作時間が調整され、調整された音韻継続時間に基づいて合成音声情報が生成され、生成された合成音声情報に基づいて音声信号が合成される。さらに、調整された動作時間に基づいて可動部位の動作が制御される。そして、前記動作制御では、動物の調音器官の動きを模擬した可動部位の動作が制御される。
【００１７】
【発明の実施の形態】
図１は、本発明を適用したロボットの音声出力、および、顎、唇、喉、舌、鼻孔などの調音器官を模擬した部位の動作を制御する部分の構成例を示している。この構成例は、例えばロボットの頭部に設けられる。
【００１８】
入力部１は、マイクロフォンと音声認識機能（いずれも不図示）を有し、マイクロフォンに入力される音声信号（例えば、「こんにちは」など、ロボットに復唱させる言葉、または、ロボットに対して問い掛ける言葉）を音声認識機能によりテキストデータに変換して、音声言語情報生成部２に供給する。なお、外部から音声言語情報生成部２に、テキストデータを入力するようにしてもよい。
【００１９】
音声言語情報生成部２は、ロボットに対話させるときにおいて、入力部１から入力されるテキストデータに対して返事となる言葉の音声言語情報（発声する単語を表すもの）を生成して制御部３に出力する。音声言語情報生成部２はまた、ロボットに復唱させるときにおいて、入力部１から入力されるテキストデータをそのまま制御部３に出力する。音声言語情報は仮名文字、英文字、発音記号などのテキストデータを用いて表される。
【００２０】
制御部３は、ドライブ１１を制御して、磁気ディスク１２、光ディスク１３、光磁気ディスク１４、または半導体メモリ１５に記憶されている制御用プログラムを読み出し、読み出した制御用プログラムに基づいて各部を制御する。
【００２１】
具体的には、制御部３は、音声言語情報生成部２から入力される音声言語情報としてのテキストデータを音声合成部４に供給し、音声合成部４からの音韻情報を調音動作生成部５に供給し、調音動作生成部５からの調音動作時間と、音声合成部４からの音韻情報および音韻継続時間を音声動作調整部６に供給する。制御部３はまた、音声動作調整部６からの調整済みの音韻継続時間を音声合成部４に供給し、音声動作調整部６からの調整済みの調音動作時間を調音動作実行部７に供給する。制御部３はさらに、音声合成部４からの合成音声データを音声出力部９に供給する。制御部３はさらに、外部センサ８からの検出情報に対応して、調音動作実行部７および音声出力部９の処理を停止、再開、または中断する。
【００２２】
音声合成部４は、制御部３から入力される、音声言語情報生成部２からの音声言語情報としてのテキストデータ（例えば、「こんにちは」）から、図２に示すように、音韻情報（いまの場合、「K O X N I CH I W A」）を生成し、各音韻の音韻継続時間を算出して制御部３に出力する。音声合成部４はまた、制御部３から入力される、音声動作調整部６からの調整済みの音韻継続時間に基づき、合成音声データを生成する。生成される合成音声データは、一般的に知られる規則合成音声によるものや録音再生音によるものなどが挙げられる。
【００２３】
調音動作生成部５は、制御部３から入力される、音声合成部４からの音韻情報に基づき、図３に示すように、各音韻に対応する調音動作命令（各調音器官を模擬した部位の動作を指示する命令）と、当該動作の動作時間である調音動作時間を算出して制御部３に出力する。図３の例においては、調音器官１６として、顎、唇、喉、舌、鼻孔が記述され、調音動作命令として、顎の上下移動、唇の形状変化および開閉、舌の前後上下左右の移動、喉の振幅および上下移動、鼻の形状変化が記述されている。調音動作命令は、調音器官１６のうちの１つに対して単独に指示するようにしてもよいし、調音器官１６の複数を組み合わせて指示するようにしてもよい。
【００２４】
音声動作調整部６は、制御部３から入力される、音声合成部４からの音韻継続時間と調音動作生成部５からの調音動作時間を、所定の方法（詳細は後述する）に従って調整し、制御部３に出力する。例えば、音韻継続時間と調音動作時間を、音韻毎に時間が長い方を用いて短い方を置換するという方法に従って、図２に示した音韻継続時間と、図３に示した調音動作時間を調整する場合、音韻継続時間については、図４に示すように音韻「Ｘ」、「Ｉ」、および「Ｗ」の各音韻継続時間が調音動作時間と等しくなるように延長される。
【００２５】
調音動作実行部７は、制御部３から入力される、調音動作生成部５からの調音動作命令と、音声動作調整部６からの調整済みの調音動作時間に基づき、調音器官１６を動作させる。
【００２６】
外部センサ８は、例えば、調音器官１６に含まれる口の内部に設けられ、口内に挿入された物体を検知して検知情報を制御部３に出力する。
【００２７】
音声出力部９は、制御部３から入力される、音声合成部４からの合成音声データに対応する音声をスピーカ１０に放音させる。
【００２８】
調音器官１６は、ロボットの頭部に設けられる顎、唇、喉、舌、鼻孔などを模擬した可動部位である。
【００２９】
次に、ロボットの動作について、図５のフローチャートを参照して説明する。ステップＳ１において、入力部１のマイクロフォンに入力された音声信号は、テキストデータに変換されて音声言語情報生成部２に供給される。ステップＳ２において、音声言語情報生成部２は、入力部１から入力されたテキストデータに対応する音声言語情報を制御部３に出力する。制御部３は、音声言語情報生成部２から入力された音声言語情報としてのテキストデータ（例えば、「こんにちは」）を音声合成部４に供給する。
【００３０】
ステップＳ３において、音声合成部４は、制御部３から供給された音声言語情報生成部２からの音声言語情報としてのテキストデータから、音韻情報（いまの場合、「K O X N I CH I W A」）を生成し、各音韻の音韻継続時間を算出して制御部３に出力する。制御部３は、音声合成部４からの音韻情報を調音動作生成部５に供給する。
【００３１】
ステップＳ４において、調音動作生成部５は、制御部３から供給された音声合成部４からの音韻情報に基づき、各音韻に対応する調音動作命令と、調音動作時間を算出して制御部３に出力する。制御部３は、調音動作生成部５からの調音動作時間と、音声合成部４からの音韻情報および音韻継続時間を音声動作調整部６に供給する。
【００３２】
ステップＳ５において、音声動作調整部６は、制御部３から供給された音声合成部４からの音韻継続時間と調音動作生成部５からの調音動作時間を、所定の規則に従って調整し、制御部３に出力する。
【００３３】
ここで、音韻継続時間と調音動作時間を調整する第１乃至第５の方法について、図６乃至図１１を参照して説明する。なお、以下の説明においては、ステップＳ３で生成された音韻継続時間を図６(A)に示すものとし、ステップＳ４で生成された調音動作時間を図６(B)に示すものとする。
【００３４】
第１の方法は、各音韻の音韻継続時間と調音動作時間を比較して、長い方の時間を用いて短い方の時間を置き換えて調整する方法である。図７は、第１の方法による調整結果を示している。例えば、図６の例において、音韻「Ｋ」、「ＣＨ」、「Ｗ」については、音韻継続時間の方が調音動作時間よりも長いので、図７(B)に示すように、韻継続時間が調音動作時間で置き換えられる。反対に、図６の例において、音韻「Ｏ」、「Ｘ」、「Ｎ」、「Ｉ」、「Ｉ」、および「Ａ」については、調音動作時間の方が音韻継続時間よりも長いので、図７(A)に示すように、調音動作時間が韻継続時間で置き換えられる。
【００３５】
第２の方法は、任意の音韻の開始タイミングまたは終了タイミングを同期させて調整する方法である。図８は、第２の方法による調整結果を示している。例えば、図８に示すように、音韻「Ｘ」の開始タイミングを同期させた場合、音韻「Ｋ」の音韻継続時間の開始タイミング以前と、音韻「Ａ」の音韻継続時間の終了タイミング以降に不足部分が生じるが、それらの間は音声を発声せず、調音動作のみ実行するように調整する。なお、開始タイミングを同期させる音韻の指定は、ユーザが指定するようにしてもよいし、例えば、制御部３が所定の規則に基づいて決定するようにしてもよい。
【００３６】
第３の方法は、全ての音韻に対して音韻継続時間または調音動作時間のうち、一方を他方で置き換えて調整する方法である。図９は、第３の方法により、調音動作時間を優先し、全ての音韻に対して音韻継続時間を調音動作時間で置き換えることによって調整した結果を示している。音韻継続時間または調音動作時間のうち、いずれを優先させるかについては、ユーザが選択するようにしてもよいし、例えば、制御部３が所定の規則に基づいて選択するようにしてもよい。
【００３７】
第４の方法は、各音韻の開始タイミングまたは終了タイミングを音韻継続時間と調音動作時間で同期させ、不足する時間を空白（発声や調音動作を実行しない時間を指す）で埋めることにより調整する方法である。図１０は、第４の方法による調整結果を示している。例えば、図１０(B)に示すように、音韻「Ｋ」については、調音動作時間の開始タイミング以前に生じる不足する時間を空白で埋め、図１０(A)に示すように、音韻「Ｏ」、「Ｘ」、「Ｎ」、および「Ｉ」については、音韻継続時間の開始タイミング以前に生じる不足する時間を空白で埋めるようにする。
【００３８】
第５の方法は、音韻情報の中心に位置する音韻の開始タイミングまたは終了タイミングを揃えて、かつ、全音韻継続時間と全調音動作時間を比較して短い方の時間を長い方の時間に等しくなるように比例的に伸張する方法である。具体的には、例えば、音韻情報「K O X N I CH I W A」の中心に位置する音韻「Ｉ」の開始タイミングを揃え、いまの場合、全音韻継続時間（３００ミリ秒）の方が調音動作時間（５５０ミリ秒）よりも短いので、音韻継続時間を５５０ミリ秒まで伸張する。より具体的には、音韻「Ｉ」以前の音韻「Ｋ」、「Ｏ」、「Ｘ」、および「Ｎ」の音韻継続時間を２（＝３００／１５０）倍に伸張し、音韻「Ｉ」以降の音韻「Ｉ」、「ＣＨ」、「Ｉ」、「Ｗ」、および「Ａ」の音韻継続時間を１．２５（＝２５０／２００）倍に伸張する。
【００３９】
以上のように、第１乃至第４の方法のうちのいずれかの方法、あるいは第１乃至第４の方法を適宜組み合わせた方法によって、音韻継続時間と調音動作時間は調整されて制御部３に供給される。
【００４０】
図５に戻り、ステップＳ６において、制御部３は、音声動作調整部６からの調整済みの音韻継続時間を音声合成部４に供給し、音声動作調整部６からの調整済みの調音動作時間と調音動作生成部５からの調音動作命令を調音動作実行部７に供給する。音声合成部４は、制御部３から入力された音声動作調整部６からの調整済みの音韻継続時間に基づき、合成音声データを生成して制御部３に出力する。制御部３はまた、音声合成部４からの合成音声データを音声出力部９に供給する。音声出力部９は、制御部３から入力された、音声合成部４からの合成音声データに対応する音声をスピーカ１０に放音させる。それと同期して、調音動作実行部７は、制御部３から入力された、調音動作生成部５からの調音動作命令と、音声動作調整部６からの調整済みの調音動作時間に基づき、調音器官１６を動作する。
【００４１】
以上のように、ロボットが動作することにより、より自然に人や動物の発声動作を模擬することが可能となる。
【００４２】
なお、ステップＳ６の処理を実行中、外部センサ８が調音器官１６である口の内部に物体が挿入されたことを検知した場合、検知情報が制御部３に供給され、それに対応して、制御部３は、調音動作実行部７および音声出力部９の処理を停止、再開、または中断する。このようにすることで、物体が挿入されて口が動かせないときには、声が出せない状態となるので、よりリアリティを増すことができる。また、外部センサ８からの検出情報だけでなく、何らかの外力により、調音器官１６の動作が妨げられた場合にも、音声出力部９の処理を停止、再開、または中断するようにしてもよい。
【００４３】
このような制御は、いわば、調音動作の変更に対応して、発声処理を変更する制御であるが、反対に、例えば、発声する言葉が急に変更された場合、調音動作も直ちに変更されるような、いわば、発声処理の変更に対応して調音動作を変更するような制御を行うようにしてもよい。
【００４４】
なお、本実施の形態においては、音声言語情報生成部２の出力を、例えば「こんにちは」のようなテキストデータとしたが、「K O X N I CH I W A」のような音韻情報を出力するようにしてもかまわない。
【００４５】
また、本発明は、発声する音声の音韻と、調音器官以外の部位の動作を同期させる場合にも適用することが可能である。すなわち、例えば、図１２に示すように、音声の音韻と首の動作、あるいは手の動作を同期させる場合にも適用することが可能である。
【００４６】
さらに、本発明は、ロボットに限らず、例えば、コンピュータグラフィクスにより表現されるキャラクタの発声する音声の音韻と、当該キャラクタの動作を同期させる場合にも適用することが可能である。
【００４７】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００４８】
この記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２（フロッピディスクを含む）、光ディスク１３（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク１４（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ１５などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【００４９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００５０】
【発明の効果】
以上のように、本発明によれば、音声合成による発声する言葉と発声タイミングに、調音器官を模擬した部位の動作を同期させることが可能となり、よりリアルなロボットを実現することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したロボットの音声出力、および調音器官を模擬した部位の動作を制御する部分の構成例を示すブロック図である。
【図２】音韻情報および音韻継続時間の例を示す図である。
【図３】調音動作命令と調音動作時間の例を示す図である。
【図４】調整された音韻継続時間の例を示す図である。
【図５】本発明を適用してロボットの動作を説明するフローチャートである。
【図６】対応する音韻継続時間と調音動作時間の例を示す図である。
【図７】第１の方法によって調整された音韻継続時間と調音動作時間を示す図である。
【図８】第２の方法によって調整された音韻継続時間と調音動作時間を示す図である。
【図９】第３の方法によって調整された音韻継続時間と調音動作時間を示す図である。
【図１０】第４の方法によって調整された音韻継続時間と調音動作時間を示す図である。
【図１１】第５の方法によって調整された音韻継続時間と調音動作時間を示す図である。
【図１２】音韻情報と調音器官以外の動作を同期させる例を示す図である。
【符号の説明】
１  入力部，  ２  音声言語情報生成部，  ３  制御部，  ４  音声合成部，５  調音動作生成部，  ６  音声動作調整部，  ７  調音動作実行部，  ８  外部センサ，  ９  音声出力部，  １０  スピーカ，  １６  調音器官
【図１】
0004032273.tif 000002
【図２】
0004032273.tif 000003
【図３】
0004032273.tif 000004
【図４】
0004032273.tif 000005
【図５】
0004032273.tif 000006
【図６】
0004032273.tif 000007
【図７】
0004032273.tif 000008
【図８】
0004032273.tif 000009
【図９】
0004032273.tif 000010
【図１０】
0004032273.tif 000011
【図１１】
0004032273.tif 000012
【図１２】
0004032273.tif 000013