(57)【要約】【課題】コンテンツの状況を正確に把握し、把握結果に対応したコミュニケーション行動を自然な形で行うことができるコミュニケーションロボット及びプログラムを提供する。【解決手段】時間経過と共に変化する複数の画像データを判別し、判別結果に基づいたコミュニケーションを行うコミュニケーションロボットは、複数の画像データにおける共通部分である共通領域のテンプレート画像データを記憶するテンプレート記憶部２２と、画像データを取得する画像取得部１２と、取得した画像データから共通領域を抽出し、抽出した共通領域の画像データとテンプレート記憶部２２に記憶されたテンプレート画像データとを比較する第１認識処理を行う第１認識処理部１３と、第１認識処理部１３による第１認識処理とは異なる第２認識処理を行う第２認識処理部１４と、第１認識処理部１３又は第２認識処理部１４の比較結果に対応する処理を提示する結果提示部１５とを備える。【選択図】図１
2017086288.tif 000002
【特許請求の範囲】
【請求項１】
時間経過と共に変化する複数の画像データを判別し、判別結果に基づいたコミュニケーションを行うコミュニケーションロボットであって、
複数の画像データにおける共通部分である共通領域の比較対象画像データを記憶する記憶手段と、
画像データを取得する画像取得手段と、
前記画像取得手段により取得した画像データから前記共通領域を抽出し、抽出した前記共通領域の画像データと前記記憶手段に記憶された前記比較対象画像データとを比較する第１認識処理を行う第１認識手段と、
前記画像取得手段による前記第１認識処理とは異なる第２認識処理を行う第２認識手段と、
前記第１認識手段又は前記第２認識手段の比較結果に対応する処理を提示する結果提示手段と、
を備えること、
を特徴とするコミュニケーションロボット。
【請求項２】
請求項１に記載のコミュニケーションロボットにおいて、
前記記憶手段に記憶された前記比較対象画像データは、前記共通領域を透過させたマスク画像データを含み、
前記第１認識手段は、前記マスク画像データを用いて、抽出した前記共通領域の画像データと、前記比較対象画像データとの類似度合いを算出すること、
を特徴とするコミュニケーションロボット。
【請求項３】
請求項１又は請求項２に記載のコミュニケーションロボットにおいて、
前記記憶手段は、前記画像取得手段によって取得した所定の画像データを記憶し、
前記第２認識手段は、前記画像取得手段により取得した画像データから前記共通領域とは異なる領域を抽出して、抽出した前記異なる領域のデータと、前記記憶手段に記憶された所定の画像データの前記異なる領域に対応する部分とを比較する前記第２認識処理を行うこと、
を特徴とするコミュニケーションロボット。
【請求項４】
請求項１から請求項３までのいずれかに記載のコミュニケーションロボットにおいて、
前記画像取得手段は、
映像コンテンツが表示された表示装置の画面を、カメラ部を介して撮影することで画像データを取得する画像撮影部と、
取得した画像データを補正する画像補正部と、
を備えること、
を特徴とするコミュニケーションロボット。
【請求項５】
請求項１から請求項４までのいずれかに記載のコミュニケーションロボットにおいて、
前記画像取得手段と、前記第１認識手段と、前記第２認識手段による処理を繰り返し行う画像処理手段を備え、
前記結果提示手段は、前記比較結果として、前記記憶手段に記憶された画像データとの類似度合いが一定値以上である場合に、その画像データに対応する処理を提示すること、
を特徴とするコミュニケーションロボット。
【請求項６】
請求項１から請求項５までのいずれかに記載のコミュニケーションロボットにおいて、
前記第２認識手段は、前記第１認識手段による比較結果が照合できないものである場合に、前記第２認識処理を行うこと、
を特徴とするコミュニケーションロボット。
【請求項７】
請求項１から請求項６までのいずれかに記載のコミュニケーションロボットとして、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コミュニケーションロボット及びプログラムに関する。
【背景技術】
【０００２】
従来、人間との間でコミュニケーション行動を実行するコミュニケーションロボットが開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５０３３９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載のコミュニケーションロボットは、効率よくロボットを遠隔操作することで、コミュニケーション行動をするものであった。このようなロボットを遠隔操作するものでは、必要に応じてロボットを操作するオペレータが必要であった。
他方、ロボットが、コンテンツ状況を取得及び把握し、その把握結果に応じたコミュニケーション行動をすれば、オペレータは不要である。しかし、自然なコミュニケーションを実現するには、ロボットが、人間の方を見つつ、コンテンツ状況を把握する必要があり、処理に工夫が必要であった。
【０００５】
そこで、本発明は、コンテンツの状況を正確に把握し、把握結果に対応したコミュニケーション行動を自然な形で行うことができるコミュニケーションロボット及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、時間経過と共に変化する複数の画像データを判別し、判別結果に基づいたコミュニケーションを行うコミュニケーションロボットであって、複数の画像データにおける共通部分である共通領域の比較対象画像データを記憶する記憶手段と、画像データを取得する画像取得手段と、前記画像取得手段により取得した画像データから前記共通領域を抽出し、抽出した前記共通領域の画像データと前記記憶手段に記憶された前記比較対象画像データとを比較する第１認識処理を行う第１認識手段と、前記画像取得手段による前記第１認識処理とは異なる第２認識処理を行う第２認識手段と、前記第１認識手段又は前記第２認識手段の比較結果に対応する処理を提示する結果提示手段と、を備えること、を特徴とするコミュニケーションロボットである。
第２の発明は、第１の発明のコミュニケーションロボットにおいて、前記記憶手段に記憶された前記比較対象画像データは、前記共通領域を透過させたマスク画像データを含み、前記第１認識手段は、前記マスク画像データを用いて、抽出した前記共通領域の画像データと、前記比較対象画像データとの類似度合いを算出すること、を特徴とするコミュニケーションロボットである。
第３の発明は、第１の発明又は第２の発明のコミュニケーションロボットにおいて、前記記憶手段は、前記画像取得手段によって取得した所定の画像データを記憶し、前記第２認識手段は、前記画像取得手段により取得した画像データから前記共通領域とは異なる領域を抽出して、抽出した前記異なる領域のデータと、前記記憶手段に記憶された所定の画像データの前記異なる領域に対応する部分とを比較する前記第２認識処理を行うこと、を特徴とするコミュニケーションロボットである。
第４の発明は、第１の発明から第３の発明までのいずれかのコミュニケーションロボットにおいて、前記画像取得手段は、映像コンテンツが表示された表示装置の画面を、カメラ部を介して撮影することで画像データを取得する画像撮影部と、取得した画像データを補正する画像補正部と、を備えること、を特徴とするコミュニケーションロボットである。
第５の発明は、第１の発明から第４の発明までのいずれかのコミュニケーションロボットにおいて、前記画像取得手段と、前記第１認識手段と、前記第２認識手段による処理を繰り返し行う画像処理手段を備え、前記結果提示手段は、前記比較結果として、前記記憶手段に記憶された画像データとの類似度合いが一定値以上である場合に、その画像データに対応する処理を提示すること、を特徴とするコミュニケーションロボットである。
第６の発明は、第１の発明から第５の発明までのいずれかのコミュニケーションロボットにおいて、前記第２認識手段は、前記第１認識手段による比較結果が照合できないものである場合に、前記第２認識処理を行うこと、を特徴とするコミュニケーションロボットである。
第７の発明は、第１の発明から第６の発明までのいずれかのコミュニケーションロボットとして、コンピュータを機能させるためのプログラムである。
【発明の効果】
【０００７】
本発明によれば、コンテンツの状況を正確に把握し、把握結果に対応したコミュニケーション行動を自然な形で行うことができるコミュニケーションロボット及びプログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係るコミュニケーションシステムの全体概要図である。
【図２】本実施形態に係るコミュニケーションロボットの機能ブロック図である。
【図３】本実施形態に係るモニタに表示されるコンテンツの例を示す図である。
【図４】本実施形態に係るコミュニケーションロボットでの画像認識処理を示すフローチャートである。
【図５】本実施形態に係るコミュニケーションロボットでの画像補正処理の具体例を示す図である。
【図６】本実施形態に係るコミュニケーションロボットでの第１認識処理を示すフローチャートである。
【図７】本実施形態に係るコミュニケーションロボットの記憶部の例を示す図である。
【図８】本実施形態に係るコミュニケーションロボットでの第２認識処理を示すフローチャートである。
【図９】本実施形態に係るコミュニケーションロボットの第２識別処理を説明するための図である。
【図１０】本実施形態に係るコミュニケーションロボットが行う画像認識処理での他の具体例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
＜コミュニケーションシステム１００＞
図１は、本実施形態に係るコミュニケーションシステム１００の全体概要図である。
図２は、本実施形態に係るコミュニケーションロボット１の機能ブロック図である。
コミュニケーションシステム１００は、コミュニケーションロボット１と、コンテンツ再生装置６と、モニタ７（表示装置）と、入力装置８とを備える。
コミュニケーションシステム１００は、コンテンツ再生装置６がクイズ等のコンテンツ（映像コンテンツ）を再生し、モニタ７に表示されたコンテンツの画像に基づいて、コミュニケーションロボット１が、クイズ等を行う人（ユーザ）とコミュニケーションを行うものである。コミュニケーションシステム１００は、例えば、病院の待合室や、店舗内のスペース等に設置され、コミュニケーションロボット１が子供の相手をする。例えば、子供が入力装置８を用いてモニタ７に表示されたクイズに答えると、コミュニケーションロボット１は、解答結果が表示されたモニタ７の画像を認識し、認識結果をコミュニケーションとして提示する。ここで、コミュニケーションは、認識結果に応じた処理の提示であり、コミュニケーションロボット１が、例えば、音声を出力し、ジェスチャをすることをいう。
【００１０】
＜コミュニケーションロボット１＞
コミュニケーションロボット１は、例えば、高さが１ｍ程度の人型のロボットである。コミュニケーションロボット１は、モニタ７と、入力装置８付近とを自然なタイミングで交互に見るような動作をする。そして、コミュニケーションロボット１は、モニタ７を撮影して取得した画像データを認識して、認識結果に応じたコミュニケーションを行う。
図２に示すように、コミュニケーションロボット１は、制御部１０と、記憶部２０（記憶手段）と、カメラ３１（カメラ部）と、スピーカ３２と、モータ部３３とを備える。
制御部１０は、コミュニケーションロボット１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
【００１１】
制御部１０は、画像処理部１１（画像処理手段）と、結果提示部１５（結果提示手段）とを備える。
画像処理部１１は、コミュニケーションロボット１がモニタ７の方向を向いたことに応じて、カメラ３１を介して取得した画像データに関する処理を行う。
画像処理部１１は、画像取得部１２（画像取得手段）と、第１認識処理部１３（第１認識手段）と、第２認識処理部１４（第２認識手段）とを備える。
画像取得部１２は、画像データを取得する。画像取得部１２は、画像撮影部１２ａ（画像撮影手段）と、画像補正部１２ｂ（画像補正手段）とを備える。
画像撮影部１２ａは、カメラ３１を介して画像データを取得する。
画像補正部１２ｂは、取得した画像データに対して補正処理をする。
【００１２】
第１認識処理部１３は、画像取得部１２が取得した画像データに対して第１認識処理を行う。第１認識処理とは、取得した画像データと、予め記憶部２０のテンプレート記憶部２２に記憶されたテンプレート画像データ（比較対象画像データ）とを比較する処理をいう。
第２認識処理部１４は、画像取得部１２が取得した画像データに対して第２認識処理を行う。第２認識処理とは、第１認識処理とは異なる処理であり、取得した画像データと、比較画像記憶部２３に記憶された所定の画像データとを比較する処理をいう。
【００１３】
結果提示部１５は、比較結果に対応する処理を行う。結果提示部１５は、音声制御部１５ａと、身体動作制御部１５ｂとを備える。
音声制御部１５ａは、スピーカ３２を介して音声を出力する処理を行う。
身体動作制御部１５ｂは、モータ部３３を制御して、コミュニケーションロボット１を動作させる処理を行う。
なお、各処理の詳細については、後述する。
【００１４】
記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
記憶部２０は、プログラム記憶部２１と、テンプレート記憶部２２と、比較画像記憶部２３と、提示データ記憶部２４と、比較マスク画像記憶部２５とを備える。
プログラム記憶部２１は、プログラムを記憶する記憶領域である。プログラム記憶部２１には、上述した制御部１０の各種機能を実行するためのプログラムが記憶されている。
テンプレート記憶部２２は、第１認識処理で用いるテンプレート画像データを記憶する記憶領域である。テンプレート記憶部２２には、モニタ７に表示される画像データに対する１以上のテンプレート画像データが予め記憶されている。
比較画像記憶部２３は、第２認識処理で用いる比較画像データを記憶する記憶領域である。比較画像記憶部２３には、コミュニケーションロボット１がモニタ７の方向を向いた際にモニタ７に表示されている画像データを、比較画像データとして記憶する。
提示データ記憶部２４は、コミュニケーションロボット１が行うコミュニケーションの内容に関するデータを記憶する記憶領域である。
比較マスク画像記憶部２５は、第２認識処理で用いる比較マスク画像データを記憶する記憶領域である。比較マスク画像記憶部２５には、モニタ７に表示される画像データに対する比較マスク画像データが予め記憶されている。
【００１５】
カメラ３１は、撮影装置である。カメラ３１は、例えば、コミュニケーションロボット１の目の部分に対応する位置に設けられている。そして、カメラ３１は、コミュニケーションロボット１が向いた方向を撮影する。例えば、コミュニケーションロボット１がモニタ７の方向を向いた場合には、カメラ３１は、モニタ７に表示された画像を撮影する。
スピーカ３２は、音声出力装置である。スピーカ３２は、例えば、コミュニケーションロボット１の口の部分に対応する位置に設けられている。そして、スピーカ３２は、制御部１０の指示に基づいて音声を出力する。
【００１６】
モータ部３３は、コミュニケーションロボット１に動作をさせるためのモータである。モータ部３３は、頭部モータ３３ａと、右腕モータ３３ｂと、左腕モータ３３ｃとを備える。
頭部モータ３３ａは、コミュニケーションロボット１の頭部を動かすモータであり、コミュニケーションロボット１をモニタ７の方向に向けたり、入力装置８付近の方向に向けたりする際に、制御部１０によって制御される。また、頭部モータ３３ａは、頭部を上下に動かす処理においても、制御部１０によって制御される。
右腕モータ３３ｂは、コミュニケーションロボット１の右腕を動かし、左腕モータ３３ｃは、コミュニケーションロボット１の左腕を動かすモータである。
【００１７】
＜コンテンツ再生装置６＞
図１に示すコンテンツ再生装置６は、様々なコンテンツを再生するための装置であって、例えば、パーソナルコンピュータ（ＰＣ）等である。コンテンツ再生装置６は、複数の異なるコンテンツを再生するものであってよい。
＜モニタ７＞
モニタ７は、コンテンツ再生装置６に対して接続され、コンテンツ再生装置６が再生するコンテンツを表示する表示装置である。モニタ７は、例えば、液晶パネル等で構成される。
＜入力装置８＞
入力装置８は、コンテンツ再生装置６に対して接続され、コンテンツの再生を指示したり、コンテンツが示すクイズの問題に解答したりするための入力装置である。図１では、入力装置８を、クイズの問題に解答するための専用の装置として示しているが、キーボード、マウス、タッチパネル等であってもよい。
【００１８】
＜コンテンツの説明＞
次に、コンテンツ再生装置６によってモニタ７に表示されるコンテンツの例を説明する。
図３は、本実施形態に係るモニタ７に表示されるコンテンツの例を示す図である。
この例で示すコンテンツは、子供向けのクイズコンテンツである。
まず、図３（Ａ）に示すように、コンテンツ再生装置６は、複数の動物が入力装置８の各ボタンに対応した位置に配置されたクイズの問題に対する画像データを、モニタ７に出力する。そして、コンテンツ再生装置６は、クイズの問題を、コンテンツ再生装置６に接続されたスピーカ（図示せず）に、音声出力する。
そして、ユーザ（例えば、子供）が、入力装置８を用いて、クイズに解答する（＃１）、（＃３）。
図３（Ｂ）は、ユーザが間違った解答をした場合に、コンテンツ再生装置６がモニタ７に出力する画像データである。そして、この画像データを、例えば、５秒程度表示した後、コンテンツ再生装置６は、図３（Ａ）に示す画像データを再度表示する（＃２）。
図３（Ｃ）は、ユーザが正しい解答をした場合に、コンテンツ再生装置６がモニタ７に出力する画像データである。そして、この画像データを、例えば、５秒程度表示した後、コンテンツ再生装置６は、図３（Ｄ）に示すような次のクイズの問題に対する画像データを表示する（＃４）。
【００１９】
このように、コンテンツ再生装置６がモニタ７に出力する画像データは、以下のような条件を有するものである。
（１）クイズの問題に対応する画像データは、問題ごとに異なるものである。つまり、クイズの問題に対する解答が不正解である場合には、再度同じクイズの問題に対応する画像データを出力するため、元の画像データ（解答前の画像データ）と同じである。他方、クイズの問題に対する解答が正解である場合には、元の画像データに対して変化があるものである（図３（Ａ）と図３（Ｄ））。
（２）ユーザがクイズに解答した場合、正解であるか不正解であるかを、画面上の演出によって表している。つまり、正解「○」であるか、不正解「×」であるかが分かるような画像データである（図３（Ｂ）と図３（Ｃ））。
【００２０】
＜コミュニケーションロボット１の処理＞
次に、コミュニケーションロボット１の処理について説明する。
図４は、本実施形態に係るコミュニケーションロボット１での画像認識処理を示すフローチャートである。
図５は、本実施形態に係るコミュニケーションロボット１での画像補正処理の具体例を示す図である。
図６は、本実施形態に係るコミュニケーションロボット１での第１認識処理を示すフローチャートである。
図７は、本実施形態に係るコミュニケーションロボット１の記憶部２０の例を示す図である。
図８は、本実施形態に係るコミュニケーションロボット１での第２認識処理を示すフローチャートである。
図９は、本実施形態に係るコミュニケーションロボット１の第２識別処理を説明するための図である。
【００２１】
以下では、コミュニケーションロボット１が、モニタ７を観察できる位置に配置されているものとする。また、コミュニケーションロボット１は、モニタ７に表示されるコンテンツの画像に関して、特徴部分を比較するために用いるマスク画像データを、予め比較マスク画像記憶部２５に記憶しているものとする。さらに、コミュニケーションロボット１は、テンプレート画像データを、テンプレート記憶部２２に記憶しているものとする。なお、マスク画像データ及びテンプレート画像データについては、後述する。
また、具体例として、モニタ７には、図３に示すクイズに関するコンテンツが表示されるものとして説明する。
【００２２】
コミュニケーションロボット１は、モニタ７の方向を向いたことに応じて、画像認識処理を開始する。コミュニケーションロボット１は、モニタ７の方向を向いたことを、制御部１０が頭部モータ３３ａを制御したことによって検出してもよいし、カメラ３１が撮影した画像データにモニタ７を含むことによって検出してもよい。
【００２３】
図４のステップＳ（以下、「Ｓ」という。）１０において、コミュニケーションロボット１の制御部１０（画像撮影部１２ａ）は、カメラ３１を介してモニタ７に表示された画像データを取得する。
Ｓ１１において、制御部１０（画像補正部１２ｂ）は、取得した画像データに対して画像補正処理を行う。
【００２４】
ここで、画像補正処理について、図５に基づき説明する。
制御部１０（画像撮影部１２ａ）は、取得した画像データとして、図５（Ａ）に示すようなキャプチャ画像４０を得る。キャプチャ画像４０は、コミュニケーションロボット１のカメラ３１が撮影した画像データであるので、コミュニケーションロボット１と、モニタ７との位置関係によって、歪みが生じる。図５（Ａ）の場合は、モニタ７に対応する画像を示したモニタ部７０が、コミュニケーションロボット１の位置から近い左側は大きく表示され、コミュニケーションロボット１の位置から遠い右側は小さく表示される。
【００２５】
そこで、制御部１０（画像補正部１２ｂ）は、モニタ部７０が正方形になるように、公知の手法である台形補正を行う。図５（Ｂ）は、台形補正後画像４１を示す。しかし、台形補正後画像４１は、その画像データが粗い。
次に、制御部１０（画像補正部１２ｂ）は、台形補正後画像４１に対して、シャープ処理を行って、くっきりとした印象に補正するために、例えば、公知のアンシャープマスクを適用して、画像を鮮鋭化する。図５（Ｃ）は、鮮鋭化後画像４２を示す。鮮鋭化後画像４２は、台形補正後画像４１と比較して、画像データの明暗がはっきりした画像になる。
【００２６】
図４に戻り、Ｓ１２において、制御部１０は、比較画像記憶部２３が空であるか否かを判断する。この画像認識処理を最初に行う際には、比較画像記憶部２３は、空である。比較画像記憶部２３が空である場合（Ｓ１２：ＹＥＳ）には、制御部１０は、処理をＳ１３に移す。他方、比較画像記憶部２３が空ではない場合（Ｓ１２：ＮＯ）には、制御部１０は、処理をＳ１４に移す。
Ｓ１３において、制御部１０は、画像補正処理をした後の画像データである補正後の画像データ（所定の画像データ）を、比較画像記憶部２３に記憶させる。比較画像記憶部２３に記憶する画像データは、図５（Ｃ）の鮮鋭化後画像４２の画像データである。
Ｓ１４において、制御部１０（第１認識処理部１３）は、第１認識処理を行う。
【００２７】
ここで、第１認識処理について、図６に基づき説明する。
図６のＳ３０において、コミュニケーションロボット１の制御部１０は、テンプレート記憶部２２から１つのテンプレート画像データを抽出する。
図７（Ａ）は、テンプレート記憶部２２に記憶されているテンプレート画像データを示す。テンプレート画像データは、演出画像データ４５ａと、マスク画像データ４５ｂとを含む。演出画像データ４５ａは、マスク画像データ４５ｂの元になる画像データであり、共通領域を含む。ここで、共通領域とは、各問題の解答結果として出力される「○」や「×」の部分をいう。また、マスク画像データ４５ｂは、複数の画像データの共通領域を透過させた画像データである。
【００２８】
図６に戻り、Ｓ３１において、制御部１０は、補正後の画像データと、テンプレート画像データとを照合する。具体的には、制御部１０は、テンプレートマッチングをベースとした手法によって、補正後の画像データに、テンプレート画像データの「○」（又は「×」）の演出画像データが存在するか否かを判定する。補正後の画像データと、テンプレート画像データとの照合として、制御部１０は、例えば、正規化相互相関を用いて類似度を算出する。そして、制御部１０は、例えば、類似度合いが閾値以上である場合に、照合できたと判断する。
このような手法を用いて照合することで、制御部１０は、画像データの明るさや面積等が多少違っていても、照合することができる。
【００２９】
Ｓ３２において、制御部１０は、照合できたか否かを判断する。照合できた場合（Ｓ３２：ＹＥＳ）には、制御部１０は、処理をＳ３３に移す。他方、照合できなかった場合（Ｓ３２：ＮＯ）には、制御部１０は、処理をＳ３４に移す。
Ｓ３３において、制御部１０（結果提示部１５）は、テンプレート記憶部２２及び提示データ記憶部２４を参照し、処理対象のテンプレート画像データに対応するコミュニケーションを提示する。
図７（Ｂ）は、提示データ記憶部２４の例を示す。提示データ記憶部２４は、コミュニケーションＮｏをキーとして、音声データと、ジェスチャの内容とを記憶する。コミュニケーションＮｏは、テンプレート画像データや、後述する比較マスク画像記憶部２５に記憶されているマスク画像データを一意に特定するための識別情報である。
例えば、処理対象のテンプレート画像データが「○」である場合には、制御部１０は、スピーカ３２を介して「やったね」という音声を出力し、モータ部３３を制御して両腕を上げる動作を行わせる。その場合、コミュニケーションロボット１は、入力装置８付近を見るように、頭部を動かしてから音声出力及び動作をさせることで、入力装置８を操作するユーザに対して、自然なコミュニケーションを行うことができる。その後、制御部１０は、処理を図４に移す。
【００３０】
Ｓ３４において、制御部１０は、テンプレート記憶部２２に記憶されている全てのテンプレート画像データに対して処理を行ったか否かを判断する。全てのテンプレート画像データに対して処理を行った場合（Ｓ３４：ＹＥＳ）には、制御部１０は、本処理を終了し、処理を図４に移す。つまり、どのテンプレート画像データとも照合できなかった場合には、コミュニケーションを提示しない。他方、全てのテンプレートに対して処理を行っていない場合（Ｓ３４：ＮＯ）には、制御部１０は、処理をＳ３５に移す。
【００３１】
Ｓ３５において、制御部１０は、テンプレート記憶部２２から未処理のテンプレート画像データを１つ抽出する。その後、制御部１０は、処理をＳ３１に移す。つまり、制御部１０は、未処理のテンプレート画像データに対して照合処理を行う。制御部１０は、例えば、「○」のテンプレート画像データを使用したが照合できなかった場合には、次に「×」のテンプレート画像データを使用して照合を行う。このようにして、テンプレート記憶部２２に記憶されている全てのテンプレート画像データと照合したか、又は、テンプレート記憶部２２に記憶されているテンプレート画像データと照合できるまで、この第１認識処理を繰り返す。
【００３２】
図４に戻り、Ｓ１５において、制御部１０は、比較結果に基づく処理を提示したか否かを判断する。比較結果に基づく処理を提示した場合（Ｓ１５：ＹＥＳ）、つまり、コミュニケーションを提示した場合には、制御部１０は、処理をＳ１６に移す。他方、比較結果に基づく処理を提示していない場合（Ｓ１５：ＮＯ）、つまり、コミュニケーションを提示しなかった場合には、制御部１０は、処理をＳ１７に移す。
Ｓ１６において、制御部１０は、比較画像記憶部２３のクリア処理を行う。この処理によって、再度、比較画像記憶部２３が空になる。その後、制御部１０は、本処理を終了する。
Ｓ１７において、制御部１０（第２認識処理部１４）は、第２認識処理を行う。
【００３３】
ここで、第２認識処理について、図８に基づき説明する。
図８のＳ４０において、制御部１０は、比較画像記憶部２３から画像データを抽出する。
Ｓ４１において、制御部１０は、補正後の画像データと、比較画像記憶部２３から抽出した画像データとを照合する。その際、制御部１０は、全ての画像データを照合するのではなく、比較マスク画像記憶部２５に記憶されている比較マスク画像データを用いて、マスク領域部分を比較をする。
図９（Ａ）は、比較画像記憶部２３に記憶されている画像データ２３ａを示す。
図９（Ｂ）は、比較マスク画像記憶部２５に記憶されているマスク画像データ２５ａを示す。このマスク画像データ２５ａは、各クイズの問題に対応する画像データのうち、変化する領域を各マスク領域５５にしたものである。
図９（Ｃ）は、補正後の画像データ５０ａを示す。
【００３４】
なお、図９に示す画像データ２３ａ及び画像データ５０（５０ａ，５０ｂ）は、説明のためにモニタ部７０内の画像が切り出されたものになっているが、実際には、図５（Ｃ）に示すように、モニタ部７０を含む画像データである。
制御部１０は、画像データ２３ａにマスク画像データ２５ａを適用する。また、制御部１０は、画像データ５０ａにマスク画像データ２５ａを適用する。そして、制御部１０は、各マスク領域５５に対して、各画素の画素数の変化量を算出し、変化量の大小によって、照合できたか否かを判断する。
例えば、図９（Ａ）と、図９（Ｃ）とを比較した場合、各画素の画素数の変化量は小さい（ない）ため、照合できたと判断できる。
【００３５】
図８に戻り、Ｓ４２において、制御部１０は、照合できたか否かを判断する。照合できた場合（Ｓ４２：ＹＥＳ）、つまり、比較画像記憶部２３の画像データ２３ａと、補正後の画像データ５０との間で各画素の画素数の変化量が小さい場合には、制御部１０は、本処理を終了し、処理を図４に移す。比較画像記憶部２３の画像データ２３ａと、補正後の画像データ５０との間で各画素の画素数の変化量が小さい場合には、制御部１０は、画面が切り替わっておらず、同じクイズの問題をリプレイしていると判断する。
他方、照合できなかった場合（Ｓ４３：ＮＯ）、つまり、比較画像記憶部２３の画像データ２３ａと、補正後の画像データ５０との間で各画素の画素数の変化量が大きい場合には、制御部１０は、処理をＳ４３に移す。
【００３６】
Ｓ４３において、制御部１０（結果提示部１５）は、比較マスク画像記憶部２５（図９（Ｂ）参照）と、提示データ記憶部２４（図７（Ｂ）参照）とを参照し、比較マスク画像データに対応する画面切替用のコミュニケーションを提示する。その後、制御部１０は、本処理を終了し、処理を図４に移す。
例えば、補正後の画像データ５０が、図９（Ｄ）に示す補正後の画像データ５０ｂである場合、図９（Ｄ）に示す補正後の画像データ５０ｂは、画像データ５０ａと比較して、違う動物の絵があり、並び順も異なっている。これは、画像データ５０ｂが、次のクイズ問題に移った際の画像データであることを示す。そのため、比較画像記憶部２３の画像データ２３ａと、補正後の画像データ５０との間では、各画素の画素数の変化量が大きくなる。そういう場合には、制御部１０（第２認識処理部）は、画面が切り替わったと判断し、制御部１０（結果提示部１５）は、コミュニケーションロボット１に対して「次の問題をやろう」と音声出力させ、右腕を少し上げる動作をさせる。この場合にも、コミュニケーションロボット１は、入力装置８付近を見るように、頭部を動かしてから音声出力及び動作をさせることで、入力装置８を操作するユーザに対して自然なコミュニケーションを行うことができる。
【００３７】
図４に戻り、Ｓ１８において、制御部１０は、比較結果に基づく処理を提示したか否かを判断する。比較結果に基づく処理を提示した場合（Ｓ１８：ＹＥＳ）には、制御部１０は、処理をＳ１６に移す。他方、比較結果に基づく処理を提示していない場合（Ｓ１８：ＮＯ）には、制御部１０は、処理をＳ１９に移す。
Ｓ１９において、制御部１０は、コミュニケーションロボット１がモニタ７の方向を向いているか否かを判断する。モニタ７の方向を向いている場合（Ｓ１９：ＹＥＳ）には、制御部１０（画像処理部１１）は、処理をＳ１０に移し、再度画像データの取得をし、一連の処理を繰り返す。この場合、比較画像記憶部２３には画像データが記憶されているので、Ｓ１２の処理結果は、ＮＯになる。
他方、モニタ７の方向を向いていない場合（Ｓ１９：ＮＯ）、つまり、入力装置８付近の方向を向いているか、頭部を動かしている途中である場合には、制御部１０は、本処理を終了する。
【００３８】
次に、モニタ７が、別のコンテンツの画像を表示している場合の処理について説明する。
図１０は、本実施形態に係るコミュニケーションロボット１が行う画像認識処理での他の具体例を示す図である。
図１０（Ａ）に示す画像データ６０ａは、モニタ７が表示したデジタル絵本（電子書籍）のあるページに対応する画像データである。このデジタル絵本のコンテンツは、紙芝居風にページごとに静止画像データを出力するものであり、静止画像データに対応する話を出力し終えると、図１０（Ｂ）に示す画像データ６０ｂのように、次への遷移を示すボタン６１が表示される。そして、ユーザがボタン６１に対応するボタンを入力装置８で選択することで、次のページの画像データを出力する。
【００３９】
このようなコンテンツをモニタ７が表示する場合、制御部１０は、第１認識処理（図６参照）では、比較結果に基づく処理を提示しない（図４のＳ１５がＮＯ）。しかし、第２認識処理（図８）において、制御部１０（第２認識処理部１４）は、比較画像記憶部２３に記憶される画像データ（この例では、画像データ６０ａ）と、取得した補正後の画像データ（この例では、画像データ６０ｂ）とを、図１０（Ｃ）に示すマスク画像データ２５ｂを用いて比較する。その結果、画素数の変化量が大きいために（図８のＳ４２がＮＯ）、制御部１０（結果提示部１５）は、図１０（Ｄ）に示す提示データ記憶部２４を参照して、コミュニケーションロボット１に対してうなずく動作をさせる。なお、この場合においても、コミュニケーションロボット１は、入力装置８付近を見るように、頭部を動かしてから音声出力及び動作をさせることで、入力装置８を操作するユーザに対して自然なコミュニケーションを行うことができる。
【００４０】
なお、上述では説明していなかったが、比較画像記憶部２３に記憶させる補正後の画像データと、比較マスク画像記憶部２５に記憶されているマスク画像データとの対応付けは、予め行っておいてもよい。また、例えば、画像データに、比較マスク画像記憶部２５に記憶されているマスク画像データを特定するための識別番号を出力させ、画像取得部１２が画像データを取得した際に、識別番号を読み取るような仕組みを設ければ、制御部１０は、使用するマスク画像データを自動的に選択することができる。
【００４１】
このように、本実施形態のコミュニケーションロボット１によれば、以下のような効果がある。
（１）異なる２つの認識処理によって、モニタ７に表示されている画像データを判別する。よって、１つの認識手段による処理と比較して、取得した画像データをより正確に判別できる。これにより、比較結果に対応する処理を提示するタイミングが、時間経過と共に変化する画像データに、より対応したものにでき、コミュニケーションロボット１の振る舞いが自然になり、円滑なコミュニケーションを行っているかのようにできる。
（２）第１認識処理は、テンプレート画像データと、補正後の画像データとを比較するので、全ての画像データを用いて比較するのに比べて、処理が簡単である。また、テンプレート画像データを記憶しておけばよく、記憶部２０の記憶容量が少なくて済む。さらに、マスク画像データを用いた比較により、処理がより簡易になると共に、照合精度を向上させることができる。
【００４２】
（３）モニタ７に表示されている画像データを取得し、その後補正処理を行うことで、取得した画像データの歪みを補正し、かつ、鮮鋭化する。よって、その後の認識処理での比較を、より容易に行うことができる。
（４）第１認識処理で照合できなかった場合に、第２認識処理を行う。よって、第１認識処理で照合できた場合には、正解や不正解の状況により早いタイミングで、コミュニケーションを提示できる。また、第１認識処理で照合ができなくても、第２認識処理によって照合できた場合に、それに対応したコミュニケーションをすることができるので、種々のパターンのコミュニケーションを、ユーザに提示できる。
（５）モニタ７に表示されている画像データを、カメラ３１を介して取得するものであり、コンテンツ再生装置６、モニタ７、入力装置８等とは、接続されていない状態で、コミュニケーションを行うことができる。よって、設置等が簡易である。
また、モニタ７に表示されるコンテンツは、認識処理を行うために、上述した条件を満たすものであれば、どのようなコンテンツであればよい。よって、モニタ７に表示されるコンテンツが特定されないので、汎用的に使用できる。
【００４３】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
【００４４】
（変形形態）
（１）本実施形態では、モニタ７に表示するコンテンツを、クイズに関するコンテンツとデジタル絵本に関するコンテンツとを例に示したが、これに限定されない。画像データに演出があり、画面の切り替わりが分かるようなコンテンツであれば、どのようなものであってもよく、例えば、種々のゲームコンテンツであってもよい。また、本実施形態では、ユーザとして子供を例に説明したが、これに限定されない。
（２）本実施形態では、問題に正解した場合と、不正解であった場合とのコミュニケーションを１つずつ例示したが、これに限定されない。複数のコミュニケーションを提示データ記憶部に記憶させておき、ランダムに選択するようにしてもよい。
（３）本実施形態では、コミュニケーションロボットが、他の装置（モニタ等）とは独立した装置であるものとして説明したが、これに限定されない。例えば、入力装置に対して通信可能に接続されていてもよい。そうすることで、ユーザが入力装置を操作した情報に基づいて、コミュニケーションロボットを、モニタの方向に向かせることができ、より自然な動作をコミュニケーションロボットにさせることができる。
【符号の説明】
【００４５】
１    コミュニケーションロボット
６    コンテンツ再生装置
７    モニタ
８    入力装置
１０  制御部
１１  画像処理部
１２  画像取得部
１２ａ  画像撮影部
１２ｂ  画像補正部
１３  第１認識処理部
１４  第２認識処理部
１５  結果提示部
２０  記憶部
２２  テンプレート記憶部
２３  比較画像記憶部
２４  提示データ記憶部
２５  比較マスク画像記憶部
３１  カメラ
３２  スピーカ
３３  モータ部
１００  コミュニケーションシステム
【図１】
2017086288.tif 000003
【図２】
2017086288.tif 000004
【図３】
2017086288.tif 000005
【図４】
2017086288.tif 000006
【図５】
2017086288.tif 000007
【図６】
2017086288.tif 000008
【図７】
2017086288.tif 000009
【図８】
2017086288.tif 000010
【図９】
2017086288.tif 000011
【図１０】
2017086288.tif 000012