(57)【特許請求の範囲】
【請求項１】
同時に複数の使用者を対象にすることのできる発話装置であって、
前記複数の使用者の各々の属性情報を推定する使用者特徴推定手段と、
各々の前記使用者ごとに、当該使用者に対する前記属性情報に基づいて、当該使用者に対して発話する際に使用すべき言葉遣いおよび声の調子の少なくとも一方を調節するための発話パラメータを決定する発話パラメータ決定手段と、
前記使用者の属性情報に基づく制御規則に従って、前記複数の使用者のうちから、所定の内容を発話する対象とする使用者を決定する発話対象決定手段と、
前記発話する対象として決定された使用者に対し前記所定の内容を発話するに際して、当該使用者について決定された前記発話パラメータに従って言葉遣いおよび声の調子の少なくとも一方を変更しつつ発話する発話手段とを具備したことを特徴とする発話装置。
【請求項２】
同時に複数の使用者を対象にすることのできる発話装置であって、
前記複数の使用者の各々の属性情報を推定する使用者特徴推定手段と、
前記複数の使用者の属性情報に基づいて、発話する内容を決定する発話内容決定手段と、
各々の前記使用者ごとに、当該使用者に対する前記属性情報に基づいて、当該使用者に対して発話する際に使用すべき言葉遣いおよび声の調子の少なくとも一方を調節するための発話パラメータを決定する発話パラメータ決定手段と、
前記使用者の属性情報に基づく制御規則に従って、前記複数の使用者のうちから、前記決定された内容を発話する対象とする使用者を決定する発話対象決定手段と、
前記発話する対象として決定された使用者に対し前記決定された内容を発話するに際して、当該使用者について決定された前記発話パラメータに従って言葉遣いおよび声の調子の少なくとも一方を変更しつつ発話する発話手段とを具備したことを特徴とする発話装置。
【請求項３】
前記発話対象決定手段は、前記複数の使用者の各々が巡回的に発話の対象にされるように、前記複数の使用者のうちから前記発話する対象とする使用者を決定していくことを特徴とする請求項１または請求項２のいずれか１項に記載の記載の発話装置。
【請求項４】
前記属性情報は、使用者の性別、年齢および心理的距離のうちの少なくとも１つの情報を含むものであることを特徴とする請求項１乃至請求項３のいずれか１項に記載の発話装置。
【請求項５】
前記発話パラメータは、言葉遣いのフランク度、声の調子の優しさおよび発話の速度のうちの少なくとも１つの量からなるものであることを特徴とする請求項１乃至請求項４のいずれか１項に記載の発話装置。
【請求項６】
言葉遣いおよび声の調子の少なくとも一方の傾向を任意に変更するために、前記発話パラメータ決定手段が前記属性情報から前記発話パラメータを決定する際に用いる変更可能な内部規則を保持することを特徴とする請求項１乃至請求項５のいずれか１項に記載の発話装置。
【請求項７】
同時に複数の使用者を対象にすることのできる発話装置における発話方法であって、
前記複数の使用者の各々の属性情報を推定し、
各々の前記使用者ごとに、当該使用者に対する前記属性情報に基づいて、当該使用者に対して発話する際に使用すべき言葉遣いおよび声の調子の少なくとも一方を調節するための発話パラメータを決定し、
前記使用者の属性情報に基づく制御規則に従って、前記複数の使用者のうちから、所定の内容を発話する対象とする使用者を決定し、
前記発話する対象として決定された使用者に対し前記所定の内容を発話するに際して、当該使用者について決定された前記発話パラメータに従って言葉遣いおよび声の調子の少なくとも一方を変更しつつ発話することを特徴とする発話方法。
【請求項８】
同時に複数の使用者を対象にすることのできる発話装置における発話方法であって、
前記複数の使用者の各々の属性情報を推定し、
前記複数の使用者の属性情報に基づいて、発話する内容を決定し、
各々の前記使用者ごとに、当該使用者に対する前記属性情報に基づいて、当該使用者に対して発話する際に使用すべき言葉遣いおよび声の調子の少なくとも一方を調節するための発話パラメータを決定し、
前記使用者の属性情報に基づく制御規則に従って、前記複数の使用者のうちから、前記決定された内容を発話する対象とする使用者を決定し、
前記発話する対象として決定された使用者に対し前記決定された内容を発話するに際して、当該使用者について決定された前記発話パラメータに従って言葉遣いおよび声の調子の少なくとも一方を変更しつつ発話することを特徴とする発話方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声を主体として人間と対話するユーザインタフェースに関し、特に自然言語で人間と会話する機械の言葉遣いや声の調子を変化させるための発話装置及び発話方法に関する。
【０００２】
【従来の技術】
一般に、機械に命令したり機械から応答を受け取ったりといった機械と人間とのインタラクションを扱う仕掛けをユーザインタフェースと呼ぶ。ユーザインタフェースは特にコンピュータの分野で重要であり、従来からキーボードによるコマンドラインや、マウスによるグラフィカルユーザインタフェース（ＧＵＩ）が実用に供されている。
【０００３】
ＧＵＩの次に来るインタフェースとしては、人間の話し言葉で命令できる音声インタフェースが研究され、種々提案されている。音声インタフェースでは機械が人間の話す言葉を聞き分けるための音声認識機能と、機械が人間に対して話しかけるための音声合成機能が不可欠である。これに加えて所定の目的に向けて会話の流れを制御したり、発話のタイミングなどを制御するための対話制御機能も必要である。自然言語による対話では言い回しや単語の種類、対話の進行に関して非常に大きな幅があるため、これらを正確に認識したる使い分けたりすることは難しく、話題を限定して幅を抑えることで現在実用化されつつある。
【０００４】
一方、人間の会話には音声の他にも表情や身振り／手振りなどの視覚的表現が存在し、かつこれが会話において重要な働きを狙っていることが知られている。電話よりも直接会って話した方がしっくりくると人が感じるのもこれに起因する。このような音声や表情などの異なる複数の表現（モダリティ）を統合的に扱えるようにするのがマルチモーダルインタフェースである。このマルチモーダルインタフェースは音声や表情／ジェスチャなどを総合的に認識／解釈し、個々の表現に曖昧性があっても全体で正確な解釈が行えるという特徴をもっている。
【０００５】
さらに、これに人間のような顔や声を与え、使用者のパートナーとしてあたかも秘書やヘルパーのように働くものを擬人化インタフェースと呼ぶ。このインタフェースは見掛けが人間のようなだけでなく、使用者の命令を解釈して必要な手順を自分で組み立てながら処理してくれる賢いコンピュータの姿そのものである。この機械の賢さ（自律性など）を扱う技術をエージェント技術と呼ぶ。
【０００６】
【発明が解決しようとする課題】
以上で述べた音声インタフェース／マルチモーダルインタフェース／擬人化インタフェースは全て音声を主体にして会話を行うインタフェースである。しかし、これらは現在研究中のものであり、基本的な認識／合成機能の性能向上や対話モデルの検討、使用者の認証や表情／ジェスチャの認識の性能向上が中心課題となっており、実際の人間どうしの会話に迫る品質はなかなか実現できていないのが現状である。これは個々の要素を取り扱うところが難しいにもかかわらず、人間の会話というものが実に様々な要素を含んでおり、技術的にまだ扱えていない要素が多く残っているからである。
【０００７】
特に使用者を個人として扱うインタフェースに関しては、特定の使用者を認証して使用者専用のインタフェースエージェントを登場させるシステムと、入れ替わり訪れる複数の使用者を個々に認証しつつも単一のインタフェースエージェントに相手をさせるシステムが提案されている。前者は個人に応じた言葉遣いや声の調子を各エージェント毎に変えることは可能であるが、同一のエージェントに関しては相手に応じて言葉遣いや声の調子を適宜変えることはできない。これは後者でも同様である。これらのエージェントが使用者に応じて変えることができるのは、例えば、知っている人には「おはようございます、○○さん」とか、知らない人に「はじめまして」というような喋る内容の方である。すなわち、従来のエージェントは、喋る内容が同じならば大人に対しても子供に対しても同じ言葉遣いと声の調子で喋ることしかできない。この結果、従来のエージェントは複数の使用者を同時に相手にするときに、名前を呼んでから喋ったり、そちらを向いて喋ったりすることで誰に話しかけようとしているのかを使用者に知らせることはできるが、使用者に応じた言葉遣いや声の調子を使い分けることで今話しけかけている相手が誰であるのかを使用者に知らせることはできないのである。
【０００８】
また、言葉遣いと声の調子を変えることに加えて、喋る内容も使用者毎に変更することができれば、使用者はより親身に該内容を聞いてくれるものと思われるが、このような相乗効果も従来のインタフェースエージェントには期待できなかった。
【０００９】
本発明は、上記事情を考慮してなされたもので、同時に複数の使用者と相対した場合にも、機械が誰に話しかけているのかを各使用者に知らしめ、あるいは、機械に対する親近感を該使用者に抱かしめ、あるいは、使用者に適切性を感じせしめ、もって使用感を向上せしめたユーザインタフェースを実現可能な発話装置及び発話方法を提供することを目的とする。
【００１０】
また、本発明は、ユーザインタフェース毎に異なる性格付けを容易に行わしめることの可能な発話装置及び発話方法を提供することを目的とする。
さらに、本発明は、使用者によって発話する内容をも変えることを可能とした発話装置及び発話方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、同時に複数の使用者を対象にすることのできる発話装置であって、前記複数の使用者の各々の属性情報を推定する使用者特徴推定手段と、各々の前記使用者ごとに、当該使用者に対する前記属性情報に基づいて、当該使用者に対して発話する際に使用すべき言葉遣いおよび声の調子の少なくとも一方を調節するための発話パラメータを決定する発話パラメータ決定手段と、前記複数の使用者のうちから、所定の内容を発話する対象とする使用者を決定する発話対象決定手段と、前記発話する対象として決定された使用者に対し前記所定の内容を発話するに際して、当該使用者について決定された前記発話パラメータに従って言葉遣いおよび声の調子の少なくとも一方を変更しつつ発話する発話手段とを具備したことを特徴とする。
また、本発明は、同時に複数の使用者を対象にすることのできる発話装置であって、前記複数の使用者の各々の属性情報を推定する使用者特徴推定手段と、前記複数の使用者の属性情報に基づいて、発話する内容を決定する発話内容決定手段と、各々の前記使用者ごとに、当該使用者に対する前記属性情報に基づいて、当該使用者に対して発話する際に使用すべき言葉遣いおよび声の調子の少なくとも一方を調節するための発話パラメータを決定する発話パラメータ決定手段と、前記複数の使用者のうちから、前記決定された内容を発話する対象とする使用者を決定する発話対象決定手段と、前記発話する対象として決定された使用者に対し前記決定された内容を発話するに際して、当該使用者について決定された前記発話パラメータに従って言葉遣いおよび声の調子の少なくとも一方を変更しつつ発話する発話手段とを具備したことを特徴とする。
好ましくは、前記発話対象決定手段は、前記複数の使用者の各々が巡回的に発話の対象にされるように、前記複数の使用者のうちから前記発話する対象とする使用者を決定していくようにしてもよい。
好ましくは、前記発話対象決定手段は、少なくとも前記使用者の属性情報に基づく所定の制御規則に従って、前記複数の使用者のうちから前記発話する対象とする使用者を決定するようにしてもよい。
好ましくは、前記属性情報は、使用者の性別、年齢および心理的距離のうちの少なくとも１つの情報を含むものであるようにしてもよい。
好ましくは、前記発話パラメータは、言葉遣いのフランク度、声の調子の優しさおよび発話の速度のうちの少なくとも１つの量からなるものであるようにしてもよい。
好ましくは、言葉遣いおよび声の調子の少なくとも一方の傾向を任意に変更するために、前記発話パラメータ決定手段が前記属性情報から前記発話パラメータを決定する際に用いる変更可能な内部規則を保持するようにしてもよい。
また、本発明は、同時に複数の使用者を対象にすることのできる発話装置における発話方法であって、前記複数の使用者の各々の属性情報を推定し、各々の前記使用者ごとに、当該使用者に対する前記属性情報に基づいて、当該使用者に対して発話する際に使用すべき言葉遣いおよび声の調子の少なくとも一方を調節するための発話パラメータを決定し、前記複数の使用者のうちから、所定の内容を発話する対象とする使用者を決定し、前記発話する対象として決定された使用者に対し前記所定の内容を発話するに際して、当該使用者について決定された前記発話パラメータに従って言葉遣いおよび声の調子の少なくとも一方を変更しつつ発話することを特徴とする。
また、本発明は、同時に複数の使用者を対象にすることのできる発話装置における発話方法であって、前記複数の使用者の各々の属性情報を推定し、前記複数の使用者の属性情報に基づいて、発話する内容を決定し、各々の前記使用者ごとに、当該使用者に対する前記属性情報に基づいて、当該使用者に対して発話する際に使用すべき言葉遣いおよび声の調子の少なくとも一方を調節するための発話パラメータを決定し、前記複数の使用者のうちから、前記決定された内容を発話する対象とする使用者を決定し、前記発話する対象として決定された使用者に対し前記決定された内容を発話するに際して、当該使用者について決定された前記発話パラメータに従って言葉遣いおよび声の調子の少なくとも一方を変更しつつ発話することを特徴とする。
【００１７】
本発明によれば、使用者との自然言語による対話に際して、使用者の年齢／性別／心理的距離などを推定し、この推定結果に従って機械が言葉遣いや声の調子を変えることで、装置が１人の使用者とのみ相対した場合は勿論のこと、同時に複数の使用者と相対した場合にも、各使用者は装置の言葉遣いや声の調子の差により機械が誰に話しかけているのかを各使用者に知らしめ、あるいは、特定の使用者に向けた言葉遣いや声の調子により機械に対する親近感を該使用者に抱かしめ、あるいは、特定の使用者の心理的距離に適った言葉遣いや声の調子により該使用者に適切性を感じせしめることができる。
【００１８】
また、使用者の年齢／性別／心理的距離などを推定し、この推定結果に従って機械が発話する内容をも変えることも可能となる。
よって、各使用者は装置の言葉遣いや声の調子の差により機械が誰に話しかけているのかを知ることができ、自分だけに向いた言葉遣いや声の調子で自分向けの内容を話しかけられることにより機械に対して親近感を抱き、あるいは自己との心理的距離に適った言葉遣いや声の調子に適切性を感じ、もって良好な使用感を得ることができる。
【００１９】
また。本発明では、上記の言葉遣いや声の調子の変わり方の傾向を様々に変えることによって、ユーザインタフェース毎に異なる性格付けを容易に行わしめることを可能とする。
【００２０】
よって、装置運営者にとっては、上記の言葉遣いや声の調子の変わり方の傾向を様々に変更することにより、装置毎の性格付けを統一的に行うことが可能になる。
【００２１】
なお、以上の各装置に係る発明は方法に係る発明としても成立し、方法に係る発明は装置に係る発明としても成立する。
また、上記の発明は、相当する手順あるいは手段をコンピュータに実行させるためのプログラムを記録した機械読取り可能な媒体としても成立する。
【００２２】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
以下では、本発明を適用した発話装置もしくは発話機能として、例えば音声を主体とした人間との対話あるいは人間を対象とした能動的な発話を行うようなユーザインタフェースやマルチモーダルインタフェースなどを備える装置、例えば情報提供装置、エージェント装置、能動的な広告装置等に実装する（もしくは本発明を適用した発話装置を情報提供装置、エージェント装置、能動的な広告装置等とする）ことを想定したものを例にとって本実施形態を説明する。
【００２３】
本発話装置もしくは発話機能はソフトウェアを用いて実現可能であり、本発話装置もしくは発話機能を実現したプログラムを計算機あるいは各種装置に実装することで、本発明に係る発話機能を搭載した各種装置あるいはサービスを実現することができる。
【００２４】
まず、本発明の一実施形態に係る発話装置の基本構成について説明する。
図１に、本実施形態に係る発話装置の基本構成を示す。
本発話装置は、使用者特徴推定部１、発話内容決定部２、発話パラメータ決定部３、発話部４を備えている。
【００２５】
使用者特徴推定部１は、使用者を個々に検出して、各使用者毎に性別／年齢／心理的距離などの「人物属性情報」を推定するとともに、必要なら各使用者の位置を表す「人物位置情報」や各使用者の名前などを表す「人物識別情報（未知人物を示す識別情報を含む）」を判別する。
【００２６】
発話内容決定部２は、使用者特徴推定部１により判別された各使用者の人物識別情報と人物属性情報と人物位置情報の全てあるいはその一部をもとにして、どの使用者に何を話すかを表す「発話対象者情報」と「発話内容情報」を生成する。
【００２７】
発話パラメータ決定部３は、使用者特徴推定部１により推定された発話対象者の人物属性情報に応じた「言葉遣い」および／または「声の調子」を制御する発話パラメータ情報を算出する。
【００２８】
発話部４は、発話内容決定部２で決定された発話対象者情報に従って必要ならエージェント映像の顔向きや視線（装置に付随する人形やこれに相当するものなどあるいは装置本体や表示画面などに関する可動部分が電子的に制御可能な場合には人形等の顔向きや視線あるいは装置本体や表示画面等の対面方向など）を制御するとともに、発話内容決定部２で決定された内容を発話パラメータ決定部３で決定された発話パラメータ情報に従って発話出力する。
【００２９】
次に、本実施形態に係る発話装置における基本的な処理について説明する。
図２に、本実施形態に係る発話装置における処理の流れの一例を示す。
ステップＳ１の使用者特徴推定処理では、各使用者毎に性別／年齢／心理的距離などの人物属性情報を推定するとともに、必要なら各使用者の位置を表す人物位置情報や各使用者の名前などを表す人物識別情報（未知人物を示す識別情報を含む）を判別する。
【００３０】
ステップＳ２の発話内容決定処理では、ステップＳ１にて判別された各使用者の人物識別情報と人物属性情報と人物位置情報の全てあるいはその一部をもとにして、どの使用者に何を話すかを表す発話対象者情報と発話内容情報を生成する。
【００３１】
ステップＳ３の発話パラメータ決定処理では、ステップＳ１にて推定された発話対象者の人物属性情報に応じた言葉遣いおよび／または声の調子を制御する発話パラメータ情報を算出する。
【００３２】
ステップＳ４の発話処理では、ステップＳ２にて決定された発話対象者情報に従って必要ならエージェント映像の顔向きや視線（装置に付随する人形やこれに相当するものなどあるいは装置本体や表示画面などに関する可動部分が電子的に制御可能な場合には人形等の顔向きや視線あるいは装置本体や表示画面等の対面方向など）を制御するとともに、ステップＳ２にて決定された内容をステップＳ３にて決定された発話パラメータ情報に従って発話出力する。
【００３３】
以下では、使用者特徴推定部１、発話内容決定部２、発話パラメータ決定部３、発話部４の順に、より詳しい構成例を用いて説明していく。
まず、使用者特徴推定部１についてより詳しく説明する。
【００３４】
図３に、使用者特徴推定部１の構成例を示す。
図３に示されるように、この使用者特徴推定部１は、人物検出辞書１１、人物検出部１２、人物照合辞書１３、人物照合部１４、心理的距離推定部１５、性別照合辞書１６、性別推定部１７、年齢照合辞書１８、年齢推定部１９を備えている。
【００３５】
人物検出辞書１１は、人物検出用テンプレートを格納する。
人物検出部１２は、装置前面の使用者と相対する空間の画像を入力し、該画像中から上記の人物検出用テンプレートと十分に類似する部分を検出して人物位置情報として出力するとともに、検出された人物の画像部分を人物領域画像として出力する。
【００３６】
人物照合辞書１３は、個人を照合するための既知人物毎の人物照合用テンプレートを格納する。
人物照合部１４は、人物検出部１２により得られた人物領域画像を上記の人物照合用テンプレートと照合して最高かつ十分に類似するテンプレートを選択し、該テンプレートに対応付けられた人物識別情報を出力する。なお、人物照合部１４は、人物領域画像を人物照合用テンプレートと照合した結果、十分に類似するテンプレートを発見できなかった場合には未知人物であることを示す人物識別情報を生成する。
【００３７】
心理的距離推定部１５は、上記の人物識別情報に基づいて、既知人物毎の当該装置の装置使用回数を更新するとともに、該更新された装置使用回数に応じた心理的距離を算出して出力する。この心理的距離はこの場合どれぐらい装置に親しんだかを示す値であり、装置使用回数に対して単調減少する量、例えば、装置使用回数に反比例する量である。
【００３８】
性別照合辞書１６は、性別照合用テンプレートを格納する。
性別推定部１７は、人物検出部１２により得られた人物領域画像を上記の性別照合用テンプレートと照合して最高に類似するテンプレートを選択し、該テンプレートに対応付けられた性別を出力する。
【００３９】
年齢照合辞書１８は、年齢照合用テンプレートを格納する。
年齢推定部１９は、人物検出部１２により得られた人物領域画像を上記の年齢照合用テンプレートと照合して最高に類似するテンプレートを選択し、該テンプレートに対応付けられた年齢を出力する。
【００４０】
なお、性別推定部１７は、人物照合部１４と同様に、最高かつ十分に類似するテンプレートが発見できた場合のみ該テンプレートに対応付けられた性別を出力し、十分に類似するテンプレートが発見できなかった場合は、性別不定であることを示す情報を出力するようにしてもよい。同様に、年齢推定部１９は、最高かつ十分に類似するテンプレートが発見できた場合のみ該テンプレートに対応付けられた年齢を出力し、十分に類似するテンプレートが発見できなかった場合は、年齢不定であることを示す情報を出力するようにしてもよい。
【００４１】
なお、心理的距離推定部１５の出力する心理的距離と性別推定部１７の出力する性別と年齢推定部１９の出力する年齢とがすなわち人物属性情報である。また、人物検出辞書１１／人物照合辞書１３／性別照合辞書１６／年齢照合辞書１８に格納されるテンプレートは各々対応するカテゴリ（人間／個人別／男女／年齢別）毎に十分数取得された元画像から統計的に求められる各カテゴリの特徴を表現した情報である。
【００４２】
次に、発話内容決定部２についてより詳しく説明する。
図４に発話内容決定部２の構成例を示す。
図４に示されるように、この発話内容決定部２は、制御規則データベース２１、発話制御部２２、選択規則データベース２３、話題データベース２４、発話内容選択部２５から構成される。
【００４３】
制御規則データベース（制御規則ＤＢ）２１は、発話の状態を制御するための制御規則を格納する。
発話制御部２２は、上記の制御規則に従って発話の状態を制御する内容選択指令を生成する。内容選択指令は、例えば、「○○さんに挨拶をせよ」とか「本題を述べよ」などの発話すべき内容の比較的大まかな指示を表す。
【００４４】
選択規則データベース（選択規則ＤＢ）２３は、発話すべき内容を決定するための選択規則を格納する。
話題データベース（話題ＤＢ）２４は、発話すべき話題を格納する。
【００４５】
発話内容選択部２５は、話題ＤＢ２４から、発話制御部２２の出力する内容選択指令に合致する内容を、選択規則ＤＢ２３に格納される選択規則に基づいて読み出すとともに、どの使用者をターゲットとして話すのかを示す発話対象者情報を生成する。
【００４６】
ここで、制御規則ＤＢ２１に格納する制御規則について説明する。
制御規則は大別すると発話構成規則と発話対象規則の２種類からなる。前者は発話の進行を司る規則であり、後者は発話対象者の決定を司る規則である。
【００４７】
最初に、発話構成規則について詳しく説明する。
発話構成規則は、当該装置が最初に使用者を検出してから所定の話題を喋り終わるまでの発話の状態を遷移させる規則であり、挨拶や本題の発話順序を定めるものである。
【００４８】
図５に、発話構成規則の一例を示す。
図５に例示する発話構成規則では、待ち受け状態から使用者を検出するとまず開始挨拶（「こんにちわ」など）が発話され、次に該使用者（あるいは使用者の集団）に対して所定の本題（何かの売り込みや自己紹介など）が順次発話される。本題の発話は喋るべき本題ががなくなるまで繰り返し行われる。全ての本題を話し終えると、終了挨拶（「どうもありがとうございました」など）が発話されて発話が終了する。もし、途中で使用者がいなくなれば、その時点で本題などの発話は中止され、中断挨拶（「お忙しいのですか？」など）が発話されて待ち受け状態に遷移する。
【００４９】
続いて、発話対象規則について詳しく説明する。
発話対象規則は、発話構成規則が指示する発話の最中にどのように話しかける相手（発話対象者）を変えていくかを決定する規則であり、文節単位あるいは文単位で、対象者の位置と属性情報に応じて、エージェント映像等の視線／顔向きや、発話の際の言葉遣い／声の調子などを変えるために用いられる。
【００５０】
発話対象規則には、発話開始時に適用される開始時巡回規則と、その後に続く発話中盤に適用される中盤巡回規則の２つを用意している。例えば、次に例示する開始時巡回規則のように、最も近くに位置する人物から順に挨拶してゆき、最後はランダムに巡回する。もし、子供がいる場合には優先的に子供から発話対象を巡回させる。
【００５１】
図６に、発話対象規則のうちの開始巡回規則の一例を示す。
図６に例示した開始時巡回規則では、親子２人連れの利用者がいる場合、まず子供に対して「こんにちわ、ボク。」と挨拶し、次いで親に対して「私は、××です。」と自己紹介する。なお、この例では巡回を文単位としている。挨拶文の文数は自由であるが、挨拶文を言い終えてもさらに未巡回の利用者がいる場合には、開始時巡回規則の適用を終了して本題に入る。
【００５２】
さて、本題に入ると中盤巡回規則が適用される。
図７に、発話対象規則のうち中盤巡回規則の一例を示す。
図７に例示した中盤巡回規則では、話題に適合する人物および話題に熱心な人物に対して優先的に話しかける。話題には各々最も適した人物のカテゴリ（性別、年齢）があるので、ある人物の属性情報のうちいくつが話題に適合するかで該人物の適合度（適合する属性数）を計算する。また、ある人物が当該装置への積極的な接近を試みたり、当該装置に対して顔をずっと向けている場合には該人物を熱心な人物であると判定して熱心度（０／１）を計算する。次に適合度と熱心度の加重和を巡回優先度とし、この巡回優先度にしたがって対象者を巡回する。１人の人物を対象とする時間は数秒から数十秒程度であり巡回優先度に比例する。
【００５３】
次に、選択規則ＤＢ２３に格納する選択規則について説明する。
選択規則は、内容選択指令に従って発話内容を選択するための規則である。
図８に選択規則の一例を示す。
【００５４】
図８に例示した選択規則では、開始挨拶、終了挨拶、中断挨拶は大人／子供共通の内容が選択されるが、本題については大人と子供で異なる内容が選択される。この他にも、本題の選択規則としては性別や心理的距離による区別も考えられる。
【００５５】
次に、話題ＤＢ２４に格納される情報について説明する。
話題ＤＢ２４の内容は標準的な言葉遣いで記述された文章である。
本実施形態に係る発話装置を能動的な広告装置として適用した場合の話題ＤＢ２４の内容を以下に例示する。
【００５６】
［話題の例］
対象＝既知人物：種別＝開始挨拶：文＝「こんにちわ○○さん。」
対象＝未知人物：種別＝開始挨拶：文＝「はじめまして。私は××です。」
対象＝全カテゴリ：種別＝終了挨拶：文＝「どうもありがとうございました。」
対象＝全カテゴリ：種別＝中断挨拶：文＝「お忙しいのですか？  では、またお会いしましょう。」
対象＝大人：種別＝本題：文＝「さて、最近…」  （海外旅行の案内）
対象＝大人：種別＝本題：文＝「今、一番…」    （新作映画の案内）
対象＝子供：種別＝本題：文＝「今度、…」      （新作ゲームの案内）
対象＝大人：種別＝本題：文＝「今、一番…」    （新作映画の案内）
対象＝全カテゴリ：種別＝本題：文＝「新しいアトラクション…」  （テーマパークの案内）
対象＝大人かつ女性：種別＝本題：文＝「この秋の新色は…」  （化粧品の案内）
各話題は、対象者のカテゴリを規定する対象者リストと、挨拶や本題などの話題の種別を規定する識別情報と、実際の文とからなっている。発話内容選択部２５は、選択規則の適用に従って定められる話題の対象者を対象者リストに含む話題を検索し、発話の完了していない話題を順次選び出すように働く。選び出された話題に記載される文が発話内容決定部２の出力する発話内容情報である。
【００５７】
ただし、未知人物の場合には、対象＝既知人物とする文、例えば
対象＝既知人物：種別＝開始挨拶：文＝「こんにちわ○○さん。」
は選択不可とする。
【００５８】
なお、話題ＤＢ２４の文には、補足資料（カタログ写真など）を適所にリンクし、リンク箇所を発話するときには該当する補足資料が同時に提示されるようにしてもよい。また、各文にはそのときのエージェントの身体動作を規定する情報も付加し、例えば、挨拶時には会釈動作、補足資料提示時には該資料の指し示し動作などをエージェントが行えるようにしてもよい。
【００５９】
次に、発話パラメータ決定部３についてより詳しく説明する。
図９に、発話パラメータ決定部３の構成例を示す。
図９に示されるように、この発話パラメータ決定部３は、標準特性データベース３１、標準パラメータ設定部３２、個別特性データベース３３、個別パラメータ設定部３４から構成される。
【００６０】
標準特性データベース（標準特性ＤＢ）３１は、対象者のカテゴリに応じて標準的な発話パラメータを決定するための標準調整セットを格納する。
標準パラメータ設定部３２は、使用者特徴推定部１の出力する人物属性情報と上記の標準調整セットに基づいて、標準的な発話パラメータ情報を決定する。
【００６１】
個別特性データベース（個別特性ＤＢ）３３は、装置個々の性格を表出するための個別特性を格納する。
個別パラメータ設定部３４は、標準パラメータ設定部３２の出力する標準パラメータ情報を受け、これに個別ＤＢ３３に格納される個別特性による偏向を加えた発話パラメータ情報を生成する。
【００６２】
標準特性ＤＢ３１には１つの基本パラメータセットがあり、これに対する調整量を規定した対象者のカテゴリ毎の標準調整セットが格納される。具体的には、子供向けの標準調整セットや女性向けの標準調整セットなどが格納されている。標準パラメータ設定部３２は与えられた対象者のカテゴリから該当する標準調整セットを読み出し、これに基づいて基本パラメータセットを調整してカテゴリに応じた標準パラメータを生成する。
【００６３】
基本パラメータセットと標準調整セットの具体例を以下に示す。
［基本パラメータセット］
言葉遣いのフランク度＝５０  （標準値）
声の調子の優しさ度＝５０  （標準値）
話す速さ＝５０  （標準値）
［子供向け標準調整セット］
言葉遣いのフランク度  ＋５０  （極めてくだけた感じに調整）
声の調子の優しさ度  ＋５０  （極めて優しい感じに調整）
話す速さ  −３０  （ゆっくりした感じに調整）
［大人向け標準調整セット］
言葉遣いのフランク度  ±０  （標準値維持）
声の調子の優しさ度  ±０  （標準値維持）
話す速さ  ±０  （標準値維持）
［老人向け標準調整セット］
言葉遣いのフランク度  ±０  （標準値維持）
声の調子の優しさ度  ＋２０  （やや優しい感じに調整）
話す速さ  −３０  （ゆっくりした感じに調整）
［心理的距離の近い人物向け標準調整セット］
言葉遣いのフランク度  ＋５０  （極めてくだけた感じに調整）
声の調子の優しさ度  ±０  （標準値維持）
話す速さ  ±０  （標準値維持）
［心理的距離の遠い人物向け標準調整セット］
言葉遣いのフランク度  −５０  （極めてあらたまった感じに調整）
声の調子の優しさ度  ±０  （標準値維持）
話す速さ  ±０  （標準値維持）
これらはどの装置にも共通する対象者のカテゴリ毎に決まる標準的な言葉遣いと声の調子を設定する規則である。これを次段の個別パラメータ設定部３４により、装置毎の個性を与えられた言葉遣いと声の調子を生成可能なパラメータに変換する。個別特性ＤＢ３３にはこの個性を付けるための個別特性が格納されている。
【００６４】
個別特性の具体例を以下に示す。
［カテゴリに共通の個別特性］
言葉遣いのフランク度  ＋１０  （誰に対してもくだけた感じで喋る傾向）
声の調子の優しさ度  ＋１０  （誰に対しても優しく喋る傾向）
話す速さ  −２０  （誰に対してもゆっくり話す傾向）
［カテゴリに固有の個別特性］
ｉｆ  （対象者が子供）  ｔｈｅｎ  声の調子の優しさ  ＋１０  （子供には特に優しい傾向）
カテゴリに共通の個別特性とは対象者のカテゴリに依存しない装置の個性であり、誰に対しても同じ傾向で喋ることを意味する。カテゴリに固有の個別特性は、例えば子供には優しい装置というように対象者の特定カテゴリに対して効力を発揮する。このように個別特性を設けることで、共通の枠組みで装置の個性を演出することが可能になる。
【００６５】
次に、発話部４についてより詳しく説明する。
図１０に、発話部４の構成例を示す。
図１０に示されるように、この発話部４は、文変換規則データベース４１、発話文変換部４２、聴覚情報生成部４３、視覚情報生成部４４から構成される。
【００６６】
文変換規則データベース（文変換規則ＤＢ）４１は、発話内容決定部２の出力する発話内容情報（標準的な言葉遣いで記述された読み上げ文）を所定の言葉遣いの文に変換するための規則を格納する。
【００６７】
発話文変換部４２は、上記の発話内容情報を発話内容決定部２の出力する発話パラメータに従って上記の文変換規則ＤＢ４１を参照しつつ所定の言葉遣いの文に変換する。
【００６８】
聴覚情報生成部４３は、発話文変換部４２の出力する発話文情報を上記の発話パラメータに従って実際の音声に変換出力する。
視覚情報生成部４４は、発話対象者情報に応じた顔向き／視線、および発話内容情報の付加情報に応じた動作を与えられたエージェント映像を生成し（あるいは電子的に制御可能な人形等を制御し）、必要ならば発話内容情報にリンクされた補足資料を同時に映像化する。
【００６９】
聴覚情報生成部４３は、音声を生成出力するとともに、該音声に対応した同期情報を視覚情報生成部４４に受け渡す。同期情報を受け渡された視覚情報生成部４４は該同期情報に応じてエージェントの口の開閉を行う。
【００７０】
なお、このとき発話対象者情報、発話パラメータ情報、発話内容情報とそれらに基づいて変換される発話文情報の関係は例えば次のようなものである。
［発話対象者情報の例］
氏名＝鈴木薫
性別＝男性
年齢＝８才
心理的距離＝６０
位置＝××
［発話パラメータ情報の例］
言葉遣いのフランク度＝１００
声の調子の優しさ＝１００
話す速さ＝４０
［発話文情報（変換前）の例］
「こんにちわ○○さん。  新しいアトラクションが充実した…をご紹介します。」
［発話文情報（変換後）の例］
「こんにちわ薫くん。  新しいアトラクションがいっぱいの…を紹介するね。」
これを行うために、文変換規則ＤＢ４１には以下のような変換規則が記述されている。
変換規則には以下に例示するように呼称代入規則、文末変換規則、言い換え規則がある。
図１１に呼称代入規則の一例を示す。
図１２に文末変換規則の一例を示す。
図１３に言い換え規則の一例を示す。
【００７１】
上記の呼称代入規則は発話内容情報に対象者などの名前を入れなければならないときに、該箇所に適切に呼称を代入するための規則である。また、文末変換規則はフランク度に応じて文末を適切に偏向するための規則である。言い換え規則は特に子供にとって難しい単語を平易な単語に置き換えるための規則である。
【００７２】
文末変換規則と言い換え規則はその適用に際して、原文（発話内容情報）で用いられる各単語のフランク度や難易度を検査しなければならない。この検査のためには許容値リストが用いられる。許容値リストは各単語のフランク度や難易度の適用範囲を規定する情報である。この範囲を逸脱している単語は逸脱しない別の単語に置き換えられなければならない。この置き換えのために同義語リストが用いられる。同義語リストは各単語の同義語をまとめた情報である。許容値を逸脱した原文の単語は逸脱しない別の単語をこの同義語リストから検索されて置き換えられる。置き換え可能な同義語が複数存在する場合には、ランダムに１つを決めて置き換える。このようにすることで、同じ単語が文中に繰り返し現れることを回避する。
【００７３】
許容値リストと同義語リストの例を以下に示す。なお、許容値リストと同義語リストは文変換規則とともに文変換規則ＤＢ４１に格納される。
［許容値リストの例］
「するよ」「するね」「させてね」「しないよ」など：フランク度＞８０
「します」「しません」など：８０≧フランク度≧２０
「させて頂きます」「致します」「致しません」「ご（接頭語）」など：２０＞フランク度
「充実」など：難易度＞５０
「いっぱい」「たっぷり」など：５０≧難易度
「はじめまして」など：難易度＞５０
「こんにちは、ボク」など：５０≧難易度
［同義語リストの例］
「するよ」「するね」「させてね」「します」「させて頂きます」「致します」など
「しないよ」「しません」「致しません」など
音声生成部４３は以上のようにして生成された発話文情報を発話パラメータの指定する声の調子と速さで音声に変換する。各々の文末語には語尾の上げ下げの情報が付属している。例えば、「するね」の語尾は上がり、「します」の語尾は下がる。これに加えて、声の調子が優しい場合には、音声パワーのダイナミックレンジを狭くしてきつく聞こえないようにし、さらに文末語の語尾を延ばす処理を加えて優しさを表現する。
【００７４】
なお、本発明に係る発話装置や発話方法は以上の実施形態に限定されるものではない。
例えば、発話内容を利用者のカテゴリに応じて変更せず、所定の内容を利用者に応じた言葉遣いや声の調子で発話するようにしてもよい。
【００７５】
また、人物検出辞書１１、人物照合辞書１３、性別照合辞書１６、年齢照合辞書１８、制御規則ＤＢ２１、選択規則ＤＢ２３、話題ＤＢ２４、標準特性ＤＢ３１、個別特性ＤＢ３３、文変換規則ＤＢ４１に格納される各種情報を装置外部から入れ替え可能として、外部からの操作により様々に調整可能としてもよい。
【００７６】
また、利用者特徴推定部１が、画像のみならず音声などの他の情報を単独あるいは同時に用いて人物識別情報、人物位置情報、人物属性情報を推定することも可能である。
【００７７】
また、音声でなく文字により言葉遣いを変更した出力を可能としてもよい。
ところで、本発明に係る発話装置や発話方法を実現する情報（例えばプログラム）を図１４に示すように記録媒体５１に記録し、該記録した情報を該記録媒体５１を経由して装置５２に適用したり、通信回線を経由して装置５３に適用することも可能である。
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【００７８】
【発明の効果】
本発明によれば、装置が複数の使用者と同時に相対した場合に、各使用者は装置の言葉遣いや声の調子の差により機械が誰に話しかけているのかを知ることができ、自分だけに向いた言葉遣いや声の調子で自分向けの内容を話しかけられることにより機械に対して親近感を抱き、あるいは自己との心理的距離に適った言葉遣いや声の調子に適切性を感じ、もって良好な使用感を得ることができる。
【００７９】
また、装置運営者にとっては、上記の言葉遣いや声の調子の変わり方の傾向を様々に変更することにより、装置毎の性格付けを統一的に行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る発話装置の基本構成を示す図
【図２】同実施形態に係る発話装置における処理手順の一例を示すフローチャート
【図３】使用者特徴推定部の構成の一例を示す図
【図４】発話内容決定部の構成の一例を示す図
【図５】発話構成規則の一例を示す図
【図６】開始巡回規則の一例を示す図
【図７】中盤巡回規則の一例を示す図
【図８】選択規則の一例を示す図
【図９】発話パラメータ決定部の構成の一例を示す図
【図１０】発話部の構成の一例を示す図
【図１１】呼称代入規則の一例を示す図
【図１２】文末変換規則の一例を示す図
【図１３】言い換え規則の一例を示す図
【図１４】記録媒体等による実施形態を説明するための図
【符号の説明】
１…使用者特徴推定部
２…発話内容決定部
３…発話パラメータ決定部
４…発話部
１１…人物検出辞書
１２…人物検出部
１３…人物照合辞書
１４…人物照合部
１５…心理的距離推定部
１６…性別照合辞書
１７…性別推定部
１８…年齢照合辞書
１９…年齢推定部
２１…制御規則データベース
２２…発話制御部
２３…選択規則データベース
２４…話題データベース
２５…発話内容選択部
３１…標準特性データベース
３２…標準パラメータ設定部
３３…個別特性データベース
３４…個別パラメータ設定部
４１…文変換規則データベース
４２…発話文変換部
４３…聴覚情報生成部
４４…視覚情報生成部
５１…記録録媒
５２，５３…装置
【図１】
0003681145.tif 000002
【図２】
0003681145.tif 000003
【図３】
0003681145.tif 000004
【図４】
0003681145.tif 000005
【図５】
0003681145.tif 000006
【図６】
0003681145.tif 000007
【図７】
0003681145.tif 000008
【図８】
0003681145.tif 000009
【図９】
0003681145.tif 000010
【図１０】
0003681145.tif 000011
【図１１】
0003681145.tif 000012
【図１２】
0003681145.tif 000013
【図１３】
0003681145.tif 000014
【図１４】
0003681145.tif 000015