(57)【要約】【課題】被介護者に合わせた会話を可能とするロボットを提供する。【解決手段】ロボット１は、被介護者を特定する話者特定部１５と、被介護者毎のパラメータを記憶するパラメータ記憶部１６と、特定した被介護者のパラメータを取得するパラメータ取得部１７と、被介護者に対する会話を選択する会話選択部２０と、スピーカＳを介して、会話を音声で出力する音声合成部２１と、予め設定された提示動作を駆動機構Ｄに指令する動作指令部２３と、を備える。【選択図】図２
2019184813.tif 000002
【特許請求の範囲】
【請求項１】
人物の発話が入力されるマイクと、前記人物を撮影するカメラと、前記人物に音声を出力するスピーカとを備えるロボットであって、
前記人物に対する質問を選択する質問選択部と、
前記スピーカを介して、前記質問選択部が選択した質問を音声で出力する音声出力部と、
前記マイクから入力された、前記質問に対する前記人物の返答を音声認識する音声認識部と、
前記カメラが撮影した人物の顔画像を画像認識する顔画像認識部と、
前記返答の音声認識結果、又は、前記顔画像の画像認識結果に基づいて、前記人物を特定する人物特定部と、
前記人物毎のパラメータとして、強調する前記音声の高域側周波数成分を表す高域強調情報、前記質問の内容を置き換える質問置換規則、及び、話速を記憶するパラメータ記憶部と、
前記人物特定部が特定した人物について、前記パラメータ記憶部からパラメータを取得するパラメータ取得部と、を備え、
前記音声出力部は、前記パラメータ取得部が取得したパラメータに応じて前記質問の内容を置き換えて、当該パラメータに応じた周波数及び話速で当該質問を出力することを特徴とするロボット。
【請求項２】
前記人物特定部は、前記人物を特定できない場合、前記顔画像の画像認識結果から前記人物の推定年齢及び推定性別を求め、
前記パラメータ記憶部は、前記推定年齢及び前記推定性別に対応するパラメータをさらに記憶し、
前記パラメータ取得部は、前記人物特定部が前記人物を特定できない場合、前記推定年齢及び前記推定性別に対応するパラメータを取得することを特徴とする請求項１に記載のロボット。
【請求項３】
前記パラメータ取得部は、前記推定年齢及び前記推定性別のパラメータで出力した質問に対する返答が入力された場合、前記人物の識別情報と、前記質問を出力したときのパラメータを前記パラメータ記憶部に書き込むことを特徴とする請求項２に記載のロボット。
【請求項４】
前記ロボットの可動部を駆動する駆動機構と、
予め設定された提示動作を前記駆動機構に指令する動作指令部と、をさらに備え、
前記パラメータ記憶部は、前記パラメータとして、動作部分、動作量、動作開始時間及び動作継続時間をさらに記憶し、
前記動作指令部は、前記パラメータ取得部が取得したパラメータに応じた動作部分、動作量、動作開始時間及び動作継続時間で前記提示動作を指令することを特徴とする請求項１から請求項３の何れか一項に記載のロボット。
【請求項５】
前記パラメータ記憶部は、前記パラメータとして、音域及び歌唱速度をさらに記憶し、
前記音声出力部は、前記パラメータ取得部が取得したパラメータに応じた音域及び歌唱速度で歌唱することを特徴とする請求項１から請求項４の何れか一項に記載のロボット。
【請求項６】
コンピュータを、請求項１から請求項５の何れか一項に記載のロボットとして機能させるためのロボット制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高齢者、被介護者等の人物と会話を行うロボット及びロボット制御プログラムに関する。
【背景技術】
【０００２】
介護分野では、介護者の負担を軽減するためのロボットの導入が進んでいる。従来より、人物に関する検出データに基づき、パーソナルアシスタンスを自動的、能動的に提供するロボットが提案されている（特許文献１参照）。この特許文献１に記載のロボットは、人物の健康、運動又はダイエット活動に関するパーソナルアシスタンスを行うものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１７６９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載のロボットは、高齢者、被介護者等の人物に合わせた会話を行うことができない。その結果、このロボットとの会話は、その人物にとって必ずしも聞き取り易いものではなく、会話が途絶えてしまい、パーソナルアシスタンスを十分に提供できないことがある。
【０００５】
そこで、本発明は、人物に合わせた会話を可能とするロボット及びロボット制御プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記した課題に鑑みて、本発明に係るロボットは、人物の発話が入力されるマイクと、前記人物を撮影するカメラと、前記人物に音声を出力するスピーカとを備えるロボットであって、前記人物に対する質問を選択する質問選択部と、前記スピーカを介して、前記質問選択部が選択した質問を音声で出力する音声出力部と、前記マイクから入力された、前記質問に対する前記人物の返答を音声認識する音声認識部と、前記カメラが撮影した人物の顔画像を画像認識する顔画像認識部と、前記返答の音声認識結果、又は、前記顔画像の画像認識結果に基づいて、前記人物を特定する人物特定部と、前記人物毎のパラメータとして、強調する前記音声の高域側周波数成分を表す高域強調情報、前記質問の内容を置き換える質問置換規則、及び、話速を記憶するパラメータ記憶部と、前記人物特定部が特定した人物について、前記パラメータ記憶部からパラメータを取得するパラメータ取得部と、を備え、前記音声出力部は、前記パラメータ取得部が取得したパラメータに応じて前記質問の内容を置き換えて、当該パラメータに応じた周波数及び話速で当該質問を出力する構成とした。
【０００７】
また、前記した課題に鑑みて、本発明に係るロボット制御プログラムは、コンピュータを、本発明に係るロボットとして機能させる構成とした。
【発明の効果】
【０００８】
本発明に係るロボット及びロボット制御プログラムによれば、高齢者、被介護者等の人物が聞き取りにくい単語や文章を置き換えると共に、その人物に合わせた周波数及び話速を用いることで、その人物に合わせて会話を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るロボットの外観図である。
【図２】図１のロボットの構成を示すブロック図である。
【図３】実施形態において、（ａ）〜（ｆ）は、上腕の可動範囲の定義を説明する説明図である。
【図４】図２のロボットの動作を示すフローチャートである。
【図５】図４の話者認識処理を示すフローチャートである。
【図６】図４の動作解析処理を示すフローチャートである。
【図７】図４の動作解析処理を示すフローチャートである。
【図８】図４の歌唱処理を示すフローチャートである。
【図９】実施形態において、音声解析処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（実施形態）
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、実施形態において、同一の手段には同一の符号を付し、説明を省略した。
【００１１】
［ロボットの概略］
図１を参照し、本発明の実施形態に係るロボット１の概略について説明する。
図１に示すように、ロボット１は、介護現場で用いるものであり、高齢の被介護者を相手する人型の介護ロボットである。具体的には、ロボット１は、介護者に代わって、被介護者と会話し、被介護者と共に歌唱や体操を行う。
【００１２】
ここで、高齢の被介護者は、特定周波数の音声や早口の音声を聞き取りにくいことがある。介護施設やリハビリテーション病院では、リハビリテーションの一環として、童謡等の歌唱や体操が行われるが、被介護者は、介護者に合わせた歌唱や体操が困難なことが多い。このような場合、介護者は、被介護者に合わせて歌唱や体操を行う。そこで、ロボット１は、人間の介護者と同様、被介護者に合わせて会話、歌唱、体操を行う。
【００１３】
ロボット１は、被介護者を撮影するカメラＣと、被介護者の音声を取得するマイクＭと、被介護者に音声や歌を出力するスピーカＳと、ロボット１の各種制御を行う制御部１０（図２）とを備える。カメラＣは、ロボット１の頭部正面に２個、取り付けられている。マイクＭは、ロボット１の頭頂前後に２個、取り付けられている。スピーカＳは、ロボット１の頭部左右に２個、取り付けられている。また、ロボット１は、首、肩、肘、股関節、膝、足首等の可動部を有し、サーボモータ等の駆動機構Ｄにより可動部を駆動する。
なお、図１では、マイクＭ及びスピーカＳを１個のみ図示した。
【００１４】
［ロボットの構成］
図２を参照し、ロボット１の構成について説明する。
カメラＣは、被介護者の顔画像及び全身の撮影画像を撮影する一般的なカメラである。本実施形態では、カメラＣは、被介護者の顔領域が含まれる顔画像を撮影し、撮影した顔画像を顔画像認識部１１に出力する。また、カメラＣは、被介護者の全身が含まれる撮影画像を撮影し、撮影した撮影画像を動作解析部１２に出力する。
マイクＭは、被介護者の音声を取得する一般的なマイクロホンである。また、マイクＭは、取得した音声を発話認識部１３及び音声解析部１４に出力する。
スピーカＳは、音声合成部２１からの合成音声を被介護者に出力する一般的なスピーカである。
駆動機構Ｄは、動作指令部２３からの指令に従って、ロボット１の各可動部を駆動するものである。例えば、駆動機構Ｄとしては、一般的なサーボモータをあげることができる。
【００１５】
制御部１０は、顔画像認識部１１と、動作解析部１２と、発話認識部（音声認識部）１３と、音声解析部１４と、話者特定部（人物特定部）１５と、パラメータ記憶部１６と、パラメータ取得部１７と、会話解析部１８と、会話記憶部１９と、会話選択部（質問選択部）２０と、音声合成部（音声出力部）２１と、提示動作記憶部２２と、動作指令部２３と、を備える。
【００１６】
顔画像認識部１１は、カメラＣから入力された顔画像を画像認識するものである。本実施形態では、顔画像認識部１１は、既知の手法により、顔画像の特徴点を抽出し、抽出した特徴点を画像認識結果として話者特定部１５に出力する。
【００１７】
ここで、顔画像を画像認識する手法としては、参考文献１に記載の顔認証技術を用いることができる。この顔認証技術は、大きく顔検出処理と顔照合処理の２つの処理に分かれている。顔検出処理では、顔画像の中から顔領域を決定し、次に顔特徴点の検出を行って、目、鼻、口端等の顔特徴点の位置を求める。さらに、顔特徴点の位置を用いて、顔領域の位置や大きさを正規化した後、顔照合処理を行う。
参考文献１：“顔認証のしくみ”、［online］、［平成３０年３月３０日検索］、インターネット〈URL：https://jpn.nec.com/biometrics/face/technology/structure.html>
【００１８】
動作解析部１２は、カメラＣから入力された撮影画像を用いて、被介護者の追従動作を解析するものである。例えば、動作解析部１２は、動きベクトル等の既知の手法により、被介護者の動作部分、動作量、動作開始時間、動作持続時間等を解析する。そして、動作解析部１２は、その動作解析結果を話者特定部１５、会話選択部２０及び動作指令部２３に出力する。
なお、追従動作とは、ロボット１の動作に追従して被介護者が行う動作のことである。
【００１９】
発話認識部１３は、マイクＭから入力された被介護者の音声（例えば、質問に対する被介護者の返答）を音声認識するものである。本実施形態では、発話認識部１３は、既知の手法により、マイクＭからの音声に含まれる単語を音声認識し、単語認識結果を話者特定部１５及び会話解析部１８に出力する。
【００２０】
音声解析部１４は、マイクＭから入力された被介護者の音声や歌唱を解析するものである。本実施形態では、音声解析部１４は、既知の手法により、マイクＭからの音声について、音韻、音素、発話速度等の音響特性を解析する（参考文献２）。そして、音声解析部１４は、音響特性解析結果を話者特定部１５、パラメータ取得部１７及び音声合成部２１に出力する。
【００２１】
参考文献２：藤崎博也、“韻律の分析，定式化とモデル化”、［online］、［平成３０年３月３０日検索］、インターネット〈URL：http://www.gavo.t.u-tokyo.ac.jp/tokutei_pub/houkoku/model/model.pdf#search=%27%E9%9F%B3%E9%9F%BB%E3%80%81%E9%9F%B3%E7%B4%A0%E3%80%81%E7%99%BA%E8%A9%B1%E9%80%9F%E5%BA%A6+%E8%A7%A3%E6%9E%90%27>
【００２２】
話者特定部１５は、顔画像認識部１１、動作解析部１２、発話認識部１３及び音声解析部１４の解析結果に基づいて、被介護者を特定するものである。ここで、話者特定部１５では、ロボット１の演算装置の能力、被介護者の人数等を考慮して、適切な話者特定手法を採用できる。例えば、話者特定手法としては、ディープラーニング、パターンマッチング、特徴点間の位置関係等の手法があげられる。そして、話者特定部１５は、特定した被介護者を表す話者特定結果をパラメータ取得部１７に出力する。
【００２３】
また、話者特定部１５は、被介護者を特定できない場合、顔画像の画像認識結果や音響特性解析結果に基づいて、被介護者の推定年齢及び推定性別を求める。本実施形態では、話者特定部１５は、既知の手法により、被介護者の年齢及び性別を推定できる。
例えば、年齢及び性別を推定する手法としては、ＩＭＤＢ−ＷＩＫＩデータセットを用いるものがあげられる（参考文献３）。このＩＭＤＢ−ＷＩＫＩデータセットは、顔画像から年齢及び性別を推定するタスクに利用できる。
また、性別を推定する手法としては、フォルマント分布を認識するものがあげられる（参考文献４）。この手法は、男女で音声のフォルマント分布が異なるので、そのフォルマント分布を認識することで男女を判定する。例えば、男声の場合、ピッチ周波数が１００Ｈｚ〜１５０Ｈｚとなり、女声の場合、ピッチ周波数が２５０Ｈｚ〜３００Ｈｚとなる。
また、年齢を推定する手法としては、分節的特徴（声道の音響特性）や韻律的特徴（音源の音響特性）を用いるものがあげられる。前者の分節的特徴は、加齢に伴う声道長の伸びに起因するフォルマントシフトや、加齢に伴うスペクトル高域のゲイン低下を利用するものである。後者の韻律的特徴は、加齢に伴う平均基本周波数の低下や、加齢に伴う音源波形（有声音であれば周期波形となる）の乱れ（シマー及びジッター）を測定するものである(参考文献５)。
【００２４】
参考文献３：“ＩＭＤＢ−ＷＩＫＩ”、［online］、［平成３０年２月１４日検索］、インターネット〈URL：https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/>
参考文献４：“フォルマント分布”、［online］、［平成３０年２月１４日検索］、インターネット〈URL：http://media.sys.wakayama-u.ac.jp/kawahara-lab/LOCAL/diss/diss7/S3_6.htm>
参考文献５：峯松信明、“音声の音響的特徴を用いた知覚的年齢の推定とその高精度化(人を観る)”
【００２５】
この他、話者特定部１５は、撮影画像の動作解析結果から、被介護者の推定年齢及び推定性別を求めてもよい。例えば、話者特定部１５は、歩容認証により、被介護者の年齢及び性別を推定できる。この歩容認証は、歩き方の個性を歩幅や腕の振り方から分析し、その分析結果と加齢に伴う一般的な歩き方の変化とを比較することで、年齢性別を推定するものである。
その後、話者特定部１５は、推定した年齢及び性別を表す年齢性別推定結果をパラメータ取得部１７に出力する。
【００２６】
パラメータ記憶部１６は、被介護者との会話に必要な各種パラメータを記憶するメモリ等の記憶手段である。例えば、ロボット１の管理者や介護者が、被介護者毎に、各種パラメータをパラメータ記憶部１６に手動で設定する。このパラメータには、被介護者に出力する音声に関する音声パラメータ、被介護者に提示する提示動作に関する提示動作パラメータ、被介護者との歌唱に関する歌唱パラメータが含まれる。
さらに、パラメータ記憶部１６は、被介護者を特定できない場合に備え、推定年齢及び推定性別に対応したパラメータを記憶する。
【００２７】
＜音声パラメータ＞
以下、パラメータ記憶部１６に記憶する各種パラメータについて説明する。
ここで、人間は、２０歳を超えると徐々に聴力が低下すると言われている。内耳には、音を伝える役割を担う数万本の毛が生えた細胞（有毛細胞）が並んでいる。この数万本の毛は、耳の穴から鼓膜と伝わってきた音に反応して揺れることで、音を電気信号に変換する。この有毛細胞の毛が加齢と共に減少することが、加齢性難聴の原因と考えられる。
【００２８】
また、人間は、加齢と共に高い周波数が聞えにくくなり、全体にくぐもり、はっきりしない感じに聞こえると言われている。そこで、音声合成部２１は、被介護者に聞こえやすい音声を出力するため、低下した周波数成分を上げるとよい。
また、高齢者は、小さな音は聞こえにくいが、聞こえる音の大きさがある音量で急に増加すると言われている。単純に、高齢者の耳元で大きな声で話せばよいというわけではない。つまり、音声合成部２１は、小さな音は大きく、大きな音は抑え気味にするとよい。
また、高齢者は、有毛細胞が減り、内耳から脳に伝達できる情報が欠落するため、時間分解能が減退し、言葉の内容を理解するのに時間がかかると言われている。そこで、音声合成部２１は、ゆっくり、はっきりと音声を出力するとよい。
また、高齢者は、音に含まれる微妙な周波数の違いが分からなくなり、聞き取り能力が落ちると言われている。例えば、高齢者は、パ行、タ行、カ行、そしてサ行の音を聞き取りにくい。また、例えば、高齢者は、「しゅ」「つ」「て」「す」「か」「ひ」「さ」「し」等、高い周波数成分の音を聞き取りにくい。
【００２９】
そこで、パラメータ記憶部１６には、以下の（１）〜（３）に留意し、各被介護者に適切な高域エンハンス情報及び話速を音声パラメータとして設定する。なお、高域エンハンス情報とは、ロボット１が出力する音声の周波数成分のうち、強調する音声の高域側周波数成分を表す高域強調情報のことである。
【００３０】
（１）大声ではなく、少し大きめの声でゆっくり、ハッキリと話す
（２）パ行、タ行、カ行、サ行を明確にハッキリと発声する
（３）母音部分は、過度に大きい声にならないように注意して、言葉の始まり（立ち上がり）に、しっかりと力を入れて長めに話す
【００３１】
さらに、パラメータ記憶部１６には、各被介護者に適切な会話置換規則（質問置換規則）を音声パラメータとして設定する。この会話置換規則としては、以下の（Ａ）〜（Ｃ）を例示できる。
【００３２】
（Ａ）単語の置き換え
「明日の夜７時に会いましょう」という文章に含まれる単語“７（しち）”を“なな”に置き換える。
「履き違える」という単語を「間違える」に置き換える。
【００３３】
（Ｂ）文章の置き換え
話そうとしていることが、事前にわかるように文章を置き換える。例えば、「明日の７時に駅前広場で待ち合わせの予定です」という文書を「待合せは、時間が明日の7時、場所は駅前広場の予定です」に置き換える。
【００３４】
（Ｃ）空白の付与
単語が長いときは、一呼吸あけるように空白を付与する。例えば、「からし酢味噌」という単語を「からし□□□酢味噌」に置き換える。なお、“□”が単語に付与した空白を表し、合成音声に変換すると無音区間となる。
【００３５】
＜提示動作パラメータ＞
人間は、加齢と共に関節の可動範囲が狭く、動作を開始するまでの時間が遅く、ある動作を継続できる時間が短くなると言われている。そこで、パラメータ記憶部１６には、各被介護者に適切な動作部分、動作量、動作開始時間及び動作継続時間を提示動作パラメータとして設定する。
なお、提示動作とは、ロボット１が被介護者に対して提示する動作のことである。
【００３６】
図３を参照し、動作部分及び動作量の定義の一例を説明する。例えば、動作部分が上腕の場合、その動作部分の動作量は、運動方向毎の角度で表すことができる。このとき、運動方向が屈曲又は伸展の場合、動作部分及び動作量は、両肩の峰を結ぶ線を基本軸とし、頭頂と肩峰を結ぶ線を移動軸とする。また、運動方向が拳上又は引き下げの場合、動作部分及び動作量は、基本軸が同様であるが、肩峰と胸骨上縁を結ぶ線を移動軸とする。
【００３７】
なお、動作部分及び動作量の定義は、例えば、参考文献６に記載されているため、これ以上の説明を省略する。
参考文献６：“上腕の関節可動域の定義”、［online］、［平成３０年２月１４日検索］、インターネット〈URL：http://www.study-channel.com/2015/06/ROM-upper-limbs.html/>
【００３８】
＜歌唱パラメータ＞
人間は、加齢と共に高い音域が聞えにくくなり、歌唱速度が低下すると言われている（参考文献７，８）。そこで、パラメータ記憶部１６には、各被介護者に適切な音域及び歌唱速度を歌唱パラメータとして設定する。
参考文献７：“声の老化について”［online］、［平成３０年３月３０日検索］、インターネット〈URL：http://hozawa.jp/news/2011/11/post-48.html/>
参考文献８：西尾正輝、新美成二、“加齢に伴う話声位の変化”、音声言語医学46:136-144,2005
【００３９】
図２に戻り、ロボット１の構成について、説明を続ける。
パラメータ取得部１７は、話者特定部１５が被介護者を特定できた場合、話者特定部１５からの話者特定結果に基づいて、パラメータ記憶部１６からパラメータを取得するものである。
また、パラメータ取得部１７は、話者特定部１５が被介護者を特定できかった場合、話者特定部１５からの年齢性別推定結果に基づいて、パラメータ記憶部１６からパラメータを取得する。
その後、パラメータ取得部１７は、取得したパラメータのうち、提示動作パラメータを動作指令部２３に出力し、音声パラメータ及び歌唱パラメータを音声合成部２１に出力する。
【００４０】
会話解析部１８は、発話認識部１３からの単語認識結果に基づいて、被介護者の会話を解析するものである。本実施形態では、会話解析部１８は、既知の手法により、具体的な会話内容を解析し、会話解析結果を会話選択部２０に出力する。
また、会話解析部１８は、会話解析結果が予め設定された歌唱希望の場合、会話選択部２０に歌唱を指令する（歌唱指令）。この歌唱希望は、例えば、「○○○を歌おうよ」のような、被介護者が歌唱を希望することを示す音声である。なお、“○○○”が歌の名称を表す。
また、会話解析部１８は、会話解析結果が予め設定された提示動作希望の場合、動作指令部２３に提示動作を指令する（提示動作指令）。この提示動作希望は、例えば、「△△△しようよ」のような、被介護者が提示動作を希望することを示す音声である。なお、“△△△”が体操や太極拳といった提示動作の種類を表す。
【００４１】
会話記憶部１９は、被介護者との会話（会話プログラム）を記憶するメモリ等の記憶手段である。この会話には、被介護者に対する質問が含まれる。また、会話記憶部１９は、被介護者との歌唱に必要な歌詞・楽譜（曲）も記憶する。
【００４２】
会話選択部２０は、会話解析部１８からの会話解析結果に基づいて、会話記憶部１９に記憶されている会話を選択するものである。本実施形態では、会話選択部２０は、既知の手法により、被介護者の発話に対して適切な内容の会話を選択する。
また、会話選択部２０は、会話解析部１８から歌唱指令が入力された場合、その指令に応じた歌詞・楽譜を会話記憶部１９から選択する。
その後、会話選択部２０は、選択した会話、又は、歌詞・楽譜を音声合成部２１に出力する。
【００４３】
音声合成部２１は、スピーカＳを介して、会話選択部２０からの会話を音声で出力するものである。本実施形態では、音声合成部２１は、パラメータ記憶部１６からの音声パラメータ（会話置換規則）に基づいて会話を置き換える。そして、音声合成部２１は、音声パラメータ（高域エンハンス情報、話速）に基づいて、その会話を表す合成音声を生成し、生成した合成音声をスピーカＳに出力する。このように、ロボット１は、被介護者が聞き取りやすい周波数、話速で合成音声を出力するので、被介護者が会話を継続しやすくなる。
【００４４】
また、音声合成部２１は、スピーカＳを介して、会話選択部２０からの歌詞・楽譜を出力する。本実施形態では、音声合成部２１は、会話選択部２０からの歌詞の合成音声を生成する。そして、音声合成部２１は、楽譜による伴奏と共に、パラメータ記憶部１６からの歌唱パラメータ（音域、歌唱速度）に基づいて、生成した合成音声で歌唱を行う。このように、ロボット１は、被介護者が共に歌いやすい音域、歌唱速度で歌唱・伴奏を行うので、被介護者が歌唱を継続しやすくなる。
【００４５】
提示動作記憶部２２は、体操や太極拳等の提示動作を記憶するメモリ等の記憶手段である。この提示動作は、例えば、体操や太極拳等、ロボット１が被介護者に提示する動作である。
【００４６】
動作指令部２３は、提示動作記憶部２２から提示動作を取得し、取得した提示動作を駆動機構Ｄに指令するものである。本実施形態では、動作指令部２３は、会話解析部１８から提示動作指令が入力された場合、その指令に応じた提示動作を提示動作記憶部２２から取得する。そして、動作指令部２３は、パラメータ記憶部１６からの提示動作パラメータや動作解析部１２から動作解析結果に基づいて、提示動作を調整する。このように、ロボット１は、被介護者の動きに合わせて提示動作を調整するので、被介護者が運動を継続しやすくなる。
【００４７】
［ロボットの動作］
図４を参照し、ロボット１の動作について説明する。
図４に示すように、ロボット１は、提示動作を行うか否かを判定する。例えば、ロボット１は、会話解析部１８によって、会話解析結果が提示動作希望であるか否かにより、提示動作を行うか否かを判定する（ステップＳ１）。
提示動作を行わない場合（ステップＳ１でＮｏ）、ロボット１は、歌唱を行うか否かを判定する。例えば、ロボット１は、会話解析部１８によって、会話解析結果が歌唱希望であるか否かを判定する（ステップＳ２）。
歌唱を行わない場合（ステップＳ２でＮｏ）、ロボット１は、図５の話者認識処理を行って、パラメータを取得する（ステップＳ３）。
【００４８】
＜話者認識処理＞
図５を参照し、話者認識処理について説明する。
図５に示すように、カメラＣは、被介護者の顔画像を撮影する（ステップＳ１００）。
顔画像認識部１１は、ステップＳ１００で撮影した顔画像を画像認識する。
話者特定部１５は、顔画像認識部１１の画像認識結果に基づいて、被介護者を特定する（ステップＳ１０１）。
【００４９】
被介護者を特定できた場合（ステップＳ１０１でＹｅｓ）、パラメータ取得部１７は、ステップＳ１０１で特定した被介護者について、パラメータ記憶部１６からパラメータを取得し、話者認識処理を終了する（ステップＳ１０２）。
【００５０】
被介護者を特定できない場合（ステップＳ１０１でＮｏ）、話者特定部１５は、顔画像の画像認識結果に基づいて、被介護者の年齢及び性別を推定する（ステップＳ１０３）。
パラメータ取得部１７は、ステップＳ１０３で推定した年齢及び性別に対応するパラメータをパラメータ記憶部１６から取得し、話者認識処理を終了する（ステップＳ１０４）。
【００５１】
図４に戻り、ロボット１の動作について説明を続ける。
会話選択部２０は、被介護者が提示動作や歌唱の何れも希望していないので、被介護者に対する質問を選択する。例えば、会話選択部２０は、被介護者に会話を促す「体調はいかがですか？」といった質問を選択する。
音声合成部２１は、ステップＳ３で取得した音声パラメータ（会話置換規則）に基づいて、選択した質問を置き換える。そして、音声合成部２１は、その音声パラメータ（高域エンハンス情報、話速）に基づいて、選択した質問の合成音声を生成し、生成した合成音声をスピーカＳに出力する（ステップＳ４）。
【００５２】
発話認識部１３は、マイクＭから入力された被介護者の音声に含まれる単語を認識し、ステップＳ４の質問に対して、被介護者が返答したか否かを判定する（ステップＳ５）。
【００５３】
被介護者が返答した場合（ステップＳ５でＹｅｓ）、会話解析部１８は、ステップＳ５の単語認識結果に基づいて、被介護者の返答を解析する。
会話選択部２０は、会話解析部１８が解析した被介護者の返答に基づいて、会話記憶部１９から会話を選択する。
音声合成部２１は、ステップＳ３で取得した音声パラメータ（会話置換規則）に基づいて、選択した会話を置き換える。そして、音声合成部２１は、その音声パラメータ（高域エンハンス情報、話速）に基づいて、選択した会話の合成音声を生成し、生成した合成音声をスピーカＳに出力する（ステップＳ６）。
【００５４】
その後、ロボット１は、被介護者が会話を終了するまでステップＳ６の処理を継続し、被介護者が会話を終了したら、ステップＳ１の処理に戻る。
なお、被介護者が返答したにも関わらず、図５の話者認識処理により被介護者を特定できない場合がある。この場合、ロボット１は、後記する音声解析処理（図９）を行って、被介護者を特定する。
【００５５】
被介護者が返答しない場合（ステップＳ５でＮｏ）、話者特定部１５は、顔画像の画像認識結果に基づいて、被介護者の年齢及び性別を推定する（ステップＳ７）。
【００５６】
会話選択部２０は、被介護者に対する質問を選択する。
音声合成部２１は、取得した音声パラメータ（会話置換規則）に基づいて、選択した質問を置き換える。そして、音声合成部２１は、ステップＳ７で推定した年齢及び性別に基づいて、さらに話速を遅くし、高域周波数成分を強調した合成音声を生成する。ここで、音声合成部２１は、話速を２割遅くすると聞き取り易くなるので（参考文献９）、話速を２割だけ低下させる（ステップＳ８）。
参考文献９：“人にやさしい話速変換”、［online］、［平成３０年３月３０日検索］、インターネット〈URL：https://www.nhk.or.jp/strl/onepoint/data/wasoku.pdf#search=%27%E9%AB%98%E9%BD%A2%E8%80%85+%E8%A9%B1%E9%80%9F%27>
【００５７】
音声合成部２１は、ステップＳ８で生成した質問の合成音声をスピーカＳに出力する（ステップＳ９）。
発話認識部１３は、マイクＭから入力された被介護者の音声に含まれる単語を認識し、ステップＳ９の質問に対して、被介護者が返答したか否かを判定する（ステップＳ１０）。
被介護者が返答した場合（ステップＳ１０でＹｅｓ）、ロボット１は、図５の話者認識処理を行って、パラメータを取得する（ステップＳ１１）。
【００５８】
ロボット１は、ステップＳ６と同様、ステップＳ１１で取得したパラメータを用いて、会話を行う（ステップＳ１２）。
その後、ロボット１は、被介護者が会話を終了するまでステップＳ１２の処理を継続し、被介護者が会話を終了したら、ステップＳ１３の処理に進む。
【００５９】
パラメータ取得部１７は、被介護者の識別情報（例えば、顔画像の特徴量）と、ステップＳ１１で取得したパラメータとを対応付けてパラメータ記憶部１６に書き込み、ステップＳ１の処理に戻る（ステップＳ１３）。
【００６０】
被介護者が返答しない場合（ステップＳ１０でＮｏ）、話者特定部１５は、質問回数に‘１’を加算する。この質問回数は、ロボット１が被介護者に質問を行った回数を表し、初期値を‘０’とする（ステップＳ１４）。
話者特定部１５は、ステップＳ１４で加算した質問回数が予め設定した指定回数未満であるか否かを判定する。この指定回数は、ロボット１が被介護者に質問を行う回数を表す（ステップＳ１５）。
質問回数が指定回数未満の場合（ステップＳ１５でＹｅｓ）、ロボット１は、ステップＳ８の処理に戻る。
【００６１】
質問回数が指定回数以上の場合（ステップＳ１５でＮｏ）、会話選択部２０は、会話記憶部１９から会話終了を選択する。この会話終了は、例えば、「残念ですが、私は聞き取りやすい発声ができません」というように、被介護者との会話を終了する内容である。
音声合成部２１は、会話終了の合成音声を生成し、生成した合成音声をスピーカＳに出力し（ステップＳ１６）、ステップＳ１の処理に戻る。
【００６２】
提示動作を行う場合（ステップＳ１でＹｅｓ）、ロボット１は、図６の動作解析処理を行い、ステップＳ１の処理に戻る（ステップＳ１７）。
歌唱を行う場合（ステップＳ２でＹｅｓ）、ロボット１は、図８の歌唱処理を行い、ステップＳ１の処理に戻る（ステップＳ１８）。
【００６３】
＜動作解析処理＞
図６，図７を参照し、動作解析処理について説明する。
図６に示すように、ロボット１は、図５の話者認識処理を行って、パラメータを取得する（ステップＳ２００）。
動作指令部２３は、被介護者が希望した提示動作を提示動作記憶部２２から取得し、ステップＳ２００の提示動作パラメータで提示動作を駆動機構Ｄに指令する（ステップＳ２０１）。
カメラＣは、被介護者の撮影画像を撮影する（ステップＳ２０２）。
【００６４】
動作解析部１２は、ステップＳ２０２で撮影した撮影画像を用いて、被介護者の追従動作を解析する。例えば、動作解析部１２は、その撮影画像から、被介護者の動作部分、動作量、動作開始時間、動作持続時間等の動作解析結果を求める（ステップＳ２０３）。
【００６５】
動作解析部１２は、ロボット１が行っている提示動作と被介護者が行っている追従動作とを比較し、動作部分が一致するか否かを判定する。例えば、動作解析部１２は、ロボット１が駆動している可動部と、被介護者が動かしている関節が一致するか否かを判定する（ステップＳ２０４）。
動作部分が一致しない場合（ステップＳ２０４でＮｏ）、動作解析部１２は、被介護者が座位であるか否かを判定する（ステップＳ２０５）。
【００６６】
被介護者が座位の場合（ステップＳ２０５でＹｅｓ）、動作解析部１２は、会話選択部２０や動作指令部２３に座位モードを指令する。この座位モードは、被介護者が座位の状態で可能な動作の中で、動作が一致していない部分を、ロボット１が小刻みに動かしたり音声で案内するモードである。
動作指令部２３は、座位モードで提示動作を駆動機構Ｄに指令する（ステップＳ２０６）。
【００６７】
被介護者が座位でない場合（ステップＳ２０５でＮｏ）、動作解析部１２は、会話選択部２０や動作指令部２３に立位モードを指令する。この立位モードは、被介護者が立位の状態で可能な動作の中で、動作が一致していない部分を、ロボット１が小刻みに動かしたり音声で案内するモードである。
動作指令部２３は、立位モードで提示動作を駆動機構Ｄに指令する（ステップＳ２０７）。
【００６８】
例えば、リハビリテーションでは、ロボット１の提示動作に合わせ、被介護者が追従動作を行うのが基本である一方、ロボット１が被介護者に合わせて動作する必要もある。
そこで、動作解析部１２は、ロボット１が行っている提示動作と被介護者が行っている追従動作との動作量を比較する。例えば、動作解析部１２は、提示動作毎に動作量閾値を予め設定し、この動作量閾値と追従動作の動作量とを比較する（ステップＳ２０８）。
【００６９】
動作量閾値よりも追従動作の動作量が小さい場合（ステップＳ２０８で小）、動作解析部１２は、会話選択部２０や動作指令部２３に追従動作の動作量増加を指令する。この場合、ロボット１は、追従動作の動作量が小さい部分を、小刻みに動かしたり音声で案内する（ステップＳ２０９）。
【００７０】
動作量閾値よりも追従動作の動作量が大きい場合（ステップＳ２０８で大）、動作解析部１２は、会話選択部２０や動作指令部２３に追従動作の動作量減少を指令する。この場合、ロボット１は、追従動作の動作量が大きい部分を、小刻みに動かしたり音声で案内する（ステップＳ２１０）。
【００７１】
動作解析部１２は、ロボット１が行っている提示動作と被介護者が行っている追従動作との動作速度を比較する。例えば、動作解析部１２は、提示動作毎に動作速度閾値を予め設定し、この動作速度閾値と追従動作の動作速度とを比較する（ステップＳ２１１）。
【００７２】
動作速度閾値よりも追従動作の動作速度が遅い場合（ステップＳ２１１で遅）、動作解析部１２は、会話選択部２０や動作指令部２３に追従動作の速度増加を指令する。この場合、ロボット１は、追従動作の動作速度が遅い部分を、小刻みに動かしたり音声で案内する（ステップＳ２１２）。
【００７３】
動作速度閾値よりも追従動作の動作速度が速い場合（ステップＳ２１１で速）、動作解析部１２は、会話選択部２０や動作指令部２３に追従動作の速度減少を指令する。この場合、ロボット１は、追従動作の動作速度が速い部分を、小刻みに動かしたり音声で案内する（ステップＳ２１３）。
【００７４】
動作解析部１２は、動作開始時間の調整が初回であるか否かを判定する（ステップＳ２１４）。
動作開始時間の調整が初回の場合（ステップＳ２１４でＹｅｓ）、動作解析部１２は、ロボット１が行っている提示動作と被介護者が行っている追従動作との動作開始時間とを比較する。
動作解析部１２は、追従動作の動作開始時間を調整する。つまり、動作解析部１２は、追従動作の動作開始時間が提示動作より早い場合、追従動作の動作開始時間を遅く、追従動作の動作開始時間が提示動作より遅い場合、追従動作の開始時間を早くするように動作指令部２３に指令する。この場合、ロボット１は、追従動作の動作開始時間の調整が必要な部分を、小刻みに動かしたり音声で案内する（ステップＳ２１５）。
なお、動作解析部１２は、追従動作及び提示動作の動作開始時間が一致する場合、調整を行わない。
【００７５】
動作開始時間の調整が初回でない場合（ステップＳ２１４でＮｏ）、被介護者がこれ以上早く動作を開始できないと考えられる。従って、動作解析部１２は、提示動作の動作開始時間を遅くするように動作指令部２３に指令する（ステップＳ２１６）。
【００７６】
動作解析部１２は、動作継続時間の調整が初回であるか否かを判定する（ステップＳ２１７）。
動作継続時間の調整が初回の場合（ステップＳ２１７でＹｅｓ）、動作解析部１２は、ロボット１が行っている提示動作と、被介護者が行っている追従動作との動作継続時間を比較する。
動作解析部１２は、追従動作の動作継続時間を調整する。つまり、動作解析部１２は、追従動作の動作継続時間が提示動作より短い場合、追従動作の動作継続時間を長くし、追従動作の動作継続時間が提示動作より長い場合、追従動作の動作継続時間を短くするように動作指令部２３に指令する。この場合、ロボット１は、追従動作の動作継続時間の調整が必要な部分を、小刻みに動かしたり音声で案内する（ステップＳ２１８）。
なお、動作解析部１２は、追従動作及び提示動作の動作継続時間が一致する場合、調整を行わない。
【００７７】
動作継続時間の調整が初回でない場合（ステップＳ２１７でＮｏ）、被介護者がこれ以上早く動作できないと考えられる。従って、動作解析部１２は、追従動作の動作継続時間を長くするように動作指令部２３に指令する（ステップＳ２１９）。
【００７８】
動作解析部１２は、被介護者の追従動作が安定したか否かを判定する。例えば、動作解析部１２は、動作量の偏位や動作開始時間が動作安定範囲になったとき、動作が安定したと判定する。この動作安定範囲は、被介護者の年齢や性別、提示動作の種類や難易度に応じて、予め設定する（ステップＳ２２０）。
【００７９】
追従動作が安定した場合（ステップＳ２２０でＹｅｓ）、パラメータ取得部１７は、被介護者の識別情報と、調整後の提示動作パラメータとを対応付けてパラメータ記憶部１６に書き込む（ステップＳ２２１）。
【００８０】
動作指令部２３は、提示動作が終了したか否かを判定する（ステップＳ２２２）。
提示動作が終了していない場合（ステップＳ２２２でＮｏ）、動作指令部２３は、ステップＳ２０２の処理に戻る。
提示動作が終了した場合（ステップＳ２２２でＹｅｓ）、動作指令部２３は、動作解析処理を終了する。
【００８１】
＜歌唱処理＞
図８を参照し、歌唱処理について説明する。
図８に示すように、ロボット１は、図５の話者認識処理を行って、パラメータを取得する（ステップＳ３００）。
【００８２】
会話選択部２０は、被介護者が希望した歌について、歌詞・楽譜を会話記憶部１９から選択する。
音声合成部２１は、ステップＳ３００で取得した歌唱パラメータ（音域、歌唱速度）で歌唱・伴奏を行う（ステップＳ３０１）。
【００８３】
音声解析部１４は、マイクＭから入力された被介護者の歌唱の音響特性を解析し、被介護者の音域及び歌唱速度を抽出する（ステップＳ３０２）。
音声合成部２１は、ステップＳ３０２に抽出した被介護者の音響特性に合わせて、音域及び歌唱速度を変更する（ステップＳ３０３）。
【００８４】
音声解析部１４は、被介護者の歌唱が安定したか否かを判定する。例えば、音声解析部１４は、被介護者の音域や歌唱速度が歌唱安定範囲になったとき、歌唱が安定したと判定する。この歌唱安定範囲は、被介護者の年齢や性別、歌の種類や難易度に応じて、予め設定する（ステップＳ３０４）。
【００８５】
歌唱が安定した場合（ステップＳ３０４でＹｅｓ）、パラメータ取得部１７は、被介護者の識別情報と、調整後の歌唱パラメータとを対応付けてパラメータ記憶部１６に書き込む（ステップＳ３０５）。
【００８６】
会話選択部２０は、歌唱が終了したか否かを判定する（ステップＳ３０６）。
歌唱が終了していない場合（ステップＳ３０６でＮｏ）、会話選択部２０は、ステップＳ３０２の処理に戻る。
歌唱が終了した場合（ステップＳ３０６でＹｅｓ）、会話選択部２０は、歌唱処理を終了する。
【００８７】
＜音声解析処理＞
図９を参照し、音声解析処理について説明する。
図９に示すように、マイクＭは、被介護者の音声を取得する（ステップＳ４００）。
音声解析部１４は、ステップＳ４００で取得した被介護者の音響特性を解析する（ステップＳ４０１）。
話者特定部１５は、ステップＳ４０１の音響特性解析結果に基づいて、被介護者（話者）を特定する（ステップＳ４０２）。
【００８８】
被介護者を特定できた場合（ステップＳ４０２でＹｅｓ）、パラメータ取得部１７は、ステップＳ４０２で特定した被介護者について、パラメータ記憶部１６からパラメータを取得し、音声解析処理を終了する（ステップＳ４０３）。
【００８９】
被介護者を特定できない場合（ステップＳ４０２でＮｏ）、パラメータ取得部１７は、新たな被介護者のパラメータを取得する。例えば、パラメータ取得部１７は、予め設定されているパラメータ初期値を、新たな被介護者のパラメータとすればよい。この他、パラメータ取得部１７は、新たな被介護者が歌唱を行った場合、ステップＳ３０４で歌唱が安定したときのパラメータを用いてもよい。そして、パラメータ取得部１７は、被介護者の識別情報（例えば、顔画像の特徴量）に対応付けて、新たな被介護者のパラメータをパラメータ記憶部１６に書き込み、音声解析処理を終了する（ステップＳ４０４）。
【００９０】
［作用・効果］
以上のように、本実施形態に係るロボット１は、被介護者が聞き取りにくい単語や文章を置き換えると共に、被介護者に合わせて会話を行うので、被介護者が会話を中断せずに継続しやすくなる。
さらに、ロボット１は、被介護者に合わせて動作を行うので、被介護者が運動を中断せずに継続しやすくなる。
さらに、ロボット１は、被介護者に合わせて歌唱や伴奏を行うので、被介護者が歌を中断せずに継続しやすくなる。
さらに、ロボット１は、被介護者に適したパラメータを学習するので、被介護者が会話、動作、歌唱をより継続しやすくなる。
このように、ロボット１は、介護者に代わって、被介護者を相手することができる。
【００９１】
（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、ロボットとの会話相手となる人物が被介護者であることとして説明したが、被介護者に限定されない。
前記した実施形態では、ロボットがスタンドアローンであることとして説明したが、クラウドにより、より高速なコンピュータを利用することもできる。
【００９２】
前記した実施形態では、被介護者が１人であることとして説明したが、複数の被介護者からなるグループにも対応できる。この場合、ロボットは、半数以上の被介護者にふさわしい発話、提示動作、歌唱をおこなってもよい。
前記した実施形態では、ロボットが歌唱及び伴奏を行うこととして説明したが、歌唱又は伴奏の何れか一方のみをおこなってもよい。例えば、ロボットは、ディスプレイを備え、伴奏を行うと共に、その伴奏に合わせて歌詞をディスプレイに表示してもよい。
前記した実施形態では、ロボットが会話、提示動作、歌唱の何れか一つのみを行うこととして説明したが、これらを組み合わせておこなってもよい。例えば、ロボットは、会話及び提示動作の組み合わせ、提示動作及び歌唱の組み合わせを行うことができる。
【００９３】
前記した実施形態では、ロボットを独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記したロボットの制御部として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【００９４】
１  ロボット
１０  制御部
１１  顔画像認識部
１２  動作解析部
１３  発話認識部（音声認識部）
１４  音声解析部
１５  話者特定部（人物特定部）
１６  パラメータ記憶部
１７  パラメータ取得部
１８  会話解析部
１９  会話記憶部
２０  質問選択部（会話選択部）
２１  音声合成部（音声出力部）
２２  提示動作記憶部
２３  動作指令部
Ｃ  カメラ
Ｍ  マイク
Ｓ  スピーカ
Ｄ  駆動機構
【図１】
2019184813.tif 000003
【図２】
2019184813.tif 000004
【図３】
2019184813.tif 000005
【図４】
2019184813.tif 000006
【図５】
2019184813.tif 000007
【図６】
2019184813.tif 000008
【図７】
2019184813.tif 000009
【図８】
2019184813.tif 000010
【図９】
2019184813.tif 000011