(57)【要約】【課題】ユーザをコンテンツに集中して視聴し続けさせることができるようにする関心維持システムを提供する。【解決手段】子育て支援サービス提供システム１は、端末２とサーバ３とを含む。端末２は、カメラ１４と、動作制御及びカメラ１４により撮像して得られた画像データを含む端末利用状況データをサーバ３へ送信する処理を行う。サーバ３は、受信した画像データに対して画像解析を行い、端末２を観ているユーザを認識し、認識されたユーザの視線を判定し、視線に基づいて、端末２に対する関心度を判定する。サーバ３は、判定された関心度が所定の閾値以下になると、端末２における動作を別の動作に変更するためのさせるための変更指示を端末２へ送信する。【選択図】図７
2018055428.tif 000002
【特許請求の範囲】
【請求項１】
端末とサーバとを含み、前記端末に対するユーザの関心を維持する関心維持システムであって、
前記端末は、
第１の通信部と、
カメラと、
前記第１の通信部を介して受信した前記サーバからのデータあるいは指示に応じて、前記端末における第１の動作の制御を行う動作制御部と、
前記カメラにより撮像して得られた画像データを含む端末利用状況データを、前記第１の通信部により前記サーバへ送信する処理を行う送信処理部と、
を有し、
前記サーバは、
第２の通信部と、
前記第２の通信部を介して受信した前記画像データに対して、画像解析を行い、前記端末を観ている前記ユーザを認識する画像解析部と、
前記画像解析部において認識された前記ユーザの視線を判定し、前記視線に基づいて、前記端末に対する関心度を判定する関心度判定部と、
前記関心度判定部において判定された前記関心度が所定の閾値以下になると、前記端末における前記第１の動作を第２の動作に変更するためのさせるための変更指示を、前記第２の通信部により前記端末へ送信する動作変更指示送信部と、
を有する関心維持システム。
【請求項２】
前記関心度は、所定時間当たり、前記視線が前記端末に向いている時間の長さあるいは割合により規定される請求項１に記載の関心維持システム。
【請求項３】
前記サーバは、
前記画像データに基づき所定のイベントの発生の有無を判定するイベント判定部と、
前記イベント判定部により前記所定のイベントの発生があったと判定されたとき、前記所定の通知を送信する通知部と、
を有する請求項１又は２に記載の関心維持システム。
【請求項４】
前記端末は、マイクを有し、
前記利用状況データは、前記マイクにより取得された音声データを含み、
前記イベント判定部は、前記画像データに加えて、前記第２の通信部を介して受信した前記音声データに基づき前記所定のイベントの発生の有無を判定する請求項３に記載の関心維持システム。
【請求項５】
前記所定の通知は、前記端末における前記第１若しくは前記第２の動作を、第３の動作に変更する処理を、所定の装置にさせるための前記所定の装置への通知である請求項３又は４に記載の関心維持システム。
【請求項６】
前記端末は、映像を表示する表示部を有し、
前記第１の動作は、第１の映像コンテンツを前記表示部に表示する動作であり、
前記第２の動作は、第２の映像コンテンツを前記表示部に表示する動作である請求項１から５のいずれか１つに記載の関心維持システム。
【請求項７】
前記第１の映像コンテンツ及び前記第２の映像コンテンツは、前記サーバから送信される請求項６に記載の関心維持システム。
【請求項８】
前記端末は、ロボットであり、
前記第１及び前記第２の動作は、前記ロボットの動き若しくは音声出力である請求項１から５のいずれか１つに記載の関心維持システム。
【請求項９】
前記端末は、床上を自走する掃除機であり、
前記第１及び前記第２の動作は、前記掃除機の動き若しくは音声出力である請求項１から５のいずれか１つに記載の関心維持システム。
【請求項１０】
端末に対するユーザの関心を維持する関心維持システムのためのサーバであって、
通信部と、
前記通信部を介して受信した前記端末からの画像データに対して、画像解析を行い、前記端末を観ている前記ユーザを認識する画像解析部と、
前記画像解析部において認識された前記ユーザの視線を判定し、前記視線に基づいて、前記端末に対する関心度を判定する関心度判定部と、
前記関心度判定部において判定された前記関心度が所定の閾値以下になると、前記端末における第１の動作を第２の動作に変更するためのさせるための変更指示を、前記通信部により前記端末へ送信する動作変更指示送信部と、
を有するサーバ。
【請求項１１】
前記関心度は、所定時間当たり、前記視線が前記端末に向いている時間の長さあるいは割合により規定される請求項１０に記載のサーバ。
【請求項１２】
前記サーバは、
前記画像データに基づき所定のイベントの発生の有無を判定するイベント判定部と、
前記イベント判定部により前記所定のイベントの発生があったと判定されたとき、前記所定の通知を送信する通知部と、
を有する請求項１０又は１１に記載のサーバ。
【請求項１３】
前記イベント判定部は、前記画像データに加えて、前記通信部を介して受信した音声データに基づき前記所定のイベントの発生の有無を判定する請求項１２に記載のサーバ。
【請求項１４】
前記所定の通知は、前記端末における前記第１若しくは前記第２の動作を、第３の動作に変更する処理を、所定の装置にさせるための前記所定の装置への通知である請求項１２又は１３に記載のサーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、関心維持システム及びサーバに関する。
【背景技術】
【０００２】
従来から、例えば、教育分野では、インターネット等を利用して、遠隔にいる講師の授業の映像を端末あるいは巨大なスクリーンで見ることができるようにした遠隔教育システムが存在する。このようなシステムにより、講師の負担を軽減するだけでなく、より多くの生徒が同じ授業を受講することができる。
【０００３】
また、近年、例えば、介護分野では、施設などでロボットを利用して、入居者のリハビリなどのためのサービス提供、等々を行うことも行われている。会話したり体操をしたりするロボットは、入居者のリハビリの役に立つだけでなく、介護従事者の業務負担の軽減にも繋がっている。  
このような通信システムあるいはロボットを使用したサービスの提供は、介護、教育などの分野だけでなく、様々な分野で行われている。
【０００４】
このような通信システムあるいはロボットを利用したサービスの場合、サービスを受ける側の者が、例えば、提供されているコンテンツを視聴者が関心を持って視聴をしていなければ、サービスが有効に提供されていない、あるいは提供されているコンテンツの価値が低い、ことになる。
【０００５】
そこで、サービスの有効性あるいは価値を判定するために、サービスを受ける者を監視する監視者を配置することも考えられるが、監視者を配置することは、コスト面で問題であり、さらに物理的に不可能な場合があるという問題もある。
【０００６】
従来のサービス提供では、サービスを受けている者が関心を持って提供サービスに集中しているかどうかに関わらず、サービスの提供が行われているため、サービス提供の所期の目的が達成されていない、あるいはサービスがユーザに有効に提供されていない場合があった。
【０００７】
また、ユーザが、例えば、提供されているコンテンツに飽きて関心がなくなったり、他に興味が移ってしまい、提供されているコンテンツを視聴しなくなったりしてしまう場合もある。
【０００８】
そのような場合であっても、提供サービスは、サービス提供者によって予め決められており、その決められたサービスが提供され続けるため、ユーザの関心がない状態でサービスの提供がされる続けることになる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１６−１２９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
そこで、本実施形態は、ユーザをコンテンツに集中して視聴し続けさせることができるようにする関心維持システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
実施形態は、端末とサーバとを含み、前記端末に対するユーザの関心を維持する関心維持システムであって、前記端末は、第１の通信部と、カメラと、前記第１の通信部を介して受信した前記サーバからのデータあるいは指示に応じて、前記端末における第１の動作の制御を行う動作制御部と、前記カメラにより撮像して得られた画像データを含む端末利用状況データを、前記第１の通信部により前記サーバへ送信する処理を行う送信処理部と、を有し、前記サーバは、第２の通信部と、前記第２の通信部を介して受信した前記画像データに対して、画像解析を行い、前記端末を観ている前記ユーザを認識する画像解析部と、前記画像解析部において認識された前記ユーザの視線を判定し、前記視線に基づいて、前記端末に対する関心度を判定する関心度判定部と、前記関心度判定部において判定された前記関心度が所定の閾値以下になると、前記端末における前記第１の動作を第２の動作に変更するためのさせるための変更指示を、前記第２の通信部により前記端末へ送信する動作変更指示送信部と、を有する。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係わる子育て支援サービス提供システム１の構成図である。
【図２】実施形態に係わるサーバ３の構成を示すブロック図である。
【図３】実施形態に係わる、サービスを受ける端末２と、その設置環境を示す図である。
【図４】実施形態に係わる端末２の構成を示すブロック図である。
【図５】実施形態に係わる端末２の画面の表示例を示す図である。
【図６】実施形態に係わる、端末２の端末用プログラムの処理の流れの例を示すフローチャートである。
【図７】実施形態に係わる、サーバにおけるサービス情報提供処理の流れの例を示すフローチャートである。
【図８】実施形態に係わる関心度判定処理の流れの例を示すフローチャートである。
【図９】実施形態に係わる関心度の変化を示すグラフである。
【図１０】実施形態に係わる行動判定処理の流れの例を示すフローチャートである。
【図１１】実施形態に係わるロボットの外観図である。
【図１２】実施形態に係わる家電機器である掃除機の外観図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して実施形態を説明する。
（構成）
本実施の形態は、サービス提供システム、特に、サーバから端末へコンテンツを提供する子育て支援サービス提供のための関心維持システムに関する。
【００１４】
図１は、本実施形態に係わる子育て支援サービス提供システム１の構成図である。図２は、サーバ３の構成を示すブロック図である。図３は、サービスを受ける端末２と、その設置環境を示す図である。図４は、端末２の構成を示すブロック図である。
【００１５】
図１に示すように、子育て支援サービス提供システム（以下、単にシステムという）１は、端末２と、サーバ３と、端末２とサーバ３間の通信のためのネットワーク４とを含んで構成されている。  
端末２は、通信機能を有し、ネットワーク４を介して受信したコンテンツを、ユーザが視聴できるように出力可能な端末装置である。システム１は、端末２とサーバ３とを含み、後述するように、端末２に対するユーザである子供Ｃの関心を維持する関心維持システムを構成する。
【００１６】
図２に示すように、サーバ３は、制御部３ａと、通信部３ｂと、メモリ３ｃとを有するコンピュータであり、子育て支援サービスを提供するサービス提供者により管理されている。制御部３ａは、中央処理装置（以下、ＣＰＵという）、ＲＯＭ、ＲＡＭ等を有し、通信部３ｂの動作の制御を行うと共に、メモリ３ｃからのプログラム及びデータの読み出し及び書き込みを行う。
【００１７】
サーバ３のメモリ３ｃには、メディア知識処理プログラムＭＰ及びアプリケーションプログラムＡＰが記憶されている。さらに、メモリ３ｃは、データベースＤＢを含み、データベースＤＢには、各種プログラムの実行に必要な各種データ、及び各種コンテンツデータが記憶されている。
【００１８】
メディア知識処理プログラムＭＰは、メディア知識処理を行う各種ソフトウエアプログラムを含んで構成されている。メディア知識処理プログラムＭＰは、音声データ、画像データ及びテキストデータを含むメディアデータに対して、画像解析による画像認識、音声解析による音声認識などの処理をして、音声合成、対話、翻訳、意図理解などを行うためのプログラムである。
【００１９】
アプリケーションプログラムＡＰは、サーバ３が提供する複数のサービスのための複数のサービス提供プログラムを含む。サービス提供プログラムには、子育て支援サービスのためのプログラムＡＰｃが含まれる。ユーザからのサービス要求に応じて、複数のサービス提供プログラムの中から、実行すべきプログラムが選択される。メディア知識処理プログラムＭＰは、アプリケーションプログラムＡＰの実行中に、要求に応じて実行される。
【００２０】
上述したように、データベースＤＢには、各種サービスのための多くのコンテンツデータが蓄積されており、ここでは、子育て支援サービス用に、子供向けの映画などの複数のコンテンツが記憶されている。
【００２１】
また、データベースＤＢは、各コンテンツについての属性情報を有しており、属性情報は、サービス要求に関わるユーザの年齢、性別、好み等に応じたコンテンツを選択するときに利用される。  
さらに、データベースＤＢには、後述するルールベースシステムにおいて用いられる各種ルール情報ｒＤＢも記憶されている。
【００２２】
サービス提供者は、提供するサービス毎にユーザと契約を結び、各契約者からのサービス要求に応じて、契約したサービスの提供を行う。
すなわち、サービス提供者は、子育て支援サービスの提供を受けることについての契約をユーザと締結する。サーバ３は、契約者であるユーザからのサービス要求を受信すると、認証処理後、受信したサービス要求に応じて、子育て支援サービス提供のためのプログラムＡＰｃを実行し、データベースＤＢから所定のコンテンツを読み出して、通信部３ｂから、ネットワーク４を介して端末２へコンテンツデータの送信を行う。  
【００２３】
ネットワーク４は、例えばインターネットであり、ユーザの端末２は、ネットワーク４を介してサーバ３にアクセス可能であり、サーバ３は、ネットワーク４を介してコンテンツデータを端末２へ送信するとともに、端末２からの画像データなどの各種情報を受信可能である。
【００２４】
ユーザの端末２には、サーバ３から子育て支援サービスを受けるための端末用プログラムが記憶されている。ユーザは、その端末用プログラムを起動して、所定の操作を行うと、子育て支援サービスを受けることができる。
【００２５】
本実施形態の子育て支援サービスは、例えば、親が緊急の用事を済ませるために、子供Ｃに所望の時間例えば１５分間だけ端末２でコンテンツを観ていて、安全のためにじっとして居て貰いたいときに利用される。このような場合に、ユーザである親は、子育て支援サービスを受けるべくサーバ３のシステムにログインし、サービス要求を行う。
【００２６】
また、後述するように、サーバ３は、サービス提供中に、所定の状態あるいは状況が発生すると、他のシステムのサーバ５、及び親のスマートフォン６への通知を行うこともできる。  
サーバ５は、子育て支援サービスのための複数の専任スタッフを管理するシステムのサーバである。サーバ５は、サーバ３からの所定のコマンドを受信すると、複数の専任スタッフの中から一人を選定して、選定された専任スタッフに、コマンドにおいて指示された対応を取るように指示するプログラムを有している。各専任スタッフへの指示は、受信したコマンドに応じた対応指示の電子メールの送信あるいは音声指示情報の送信により行われる。
【００２７】
図３に示すように、端末２は、ユーザの子供Ｃが居る室内空間１１内に、子供Ｃが観ることができる位置に親によって設置される。  
端末２は、薄い板状の形状を有するタブレット端末であり、タッチパネル付きで映像を表示可能な表示部１２、スピーカ１３、カメラ１４及びマイク１５を有している。また、端末２は、無線ＬＡＮ、ＷＩＦＩ等の無線通信機能を有している。ここでは、端末２は、タブレット端末であるが、ノートパソコン、専用装置でもよい。
【００２８】
ユーザは、端末２を介して子育て支援サービスを受ける。以下の実施形態で説明する子育て支援サービスは、子供Ｃにコンテンツを視聴させるサービスである。  
子育て支援サービスの契約時に親から提供された、子供Ｃの年齢、性別、興味のあるもの等の情報がサーバ３に登録される。よって、サーバ３では、ユーザの子供Ｃに適したコンテンツの候補が抽出可能となる。
【００２９】
端末２は、上述したように、表示部１２、スピーカ１３、カメラ１４及びマイク１５を有する。さらに、図４に示すように、端末２は、制御部１６と、無線通信機能を有する通信部１７とを有する。制御部２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有し、表示部１２、スピーカ１３等の各機器の動作の制御を行う。
【００３０】
表示部１２、スピーカ１３、カメラ１４、マイク１５及び通信部１７は、制御部１６と接続されている。制御部１６は、ＲＯＭに記憶されたプログラムを実行することにより、各種処理を実行し、表示部１２等の周辺機器へ駆動信号等を出力し、及び各周辺機器からの入力信号等を受信する。
【００３１】
制御部１６のＲＯＭには、サーバ３の各種サービスを受けるための端末用プログラムが記憶されている。制御部１６は、ユーザからの指示入力、例えばタッチパネル付きの表示部１２への指示入力に応じて、サーバ３の子育て支援サービスなどの各種サービスのための端末用プログラムを実行する。  
なお、端末用プログラムは、サーバ３からダウンロードされてもよい。
【００３２】
本実施形態の子育て支援サービスは、端末２により子供Ｃの面倒をみてもらうサービスである。具体的には、センタ装置であるサーバ３が、子供Ｃが興味のあるコンテンツデータを端末２に送信する。子供Ｃは、興味のあるコンテンツが端末２に表示されるので、子供Ｃは、じっとして視聴する。親は、子供Ｃが端末２でコンテンツを視聴している間に、家事や用事を済ませることができる。さらに、子供Ｃは、端末２に表示されるコンテンツに飽きて、子供Ｃのコンテンツへの関心度が低下してくると、サーバ３は、子供Ｃに視聴させるコンテンツを変更する。
【００３３】
さらに、子供Ｃがコンテンツを視聴しなくなるなどの状態になると、所定の担当者が端末２のコンテンツを観ていた子供Ｃに話かけるようにしたり、親へ電子メールを送信したりして、端末２に代わって、子供Ｃの対応をする。
【００３４】
よって、ユーザは、端末２に子供Ｃの面倒をしてもらいたいとき、子育て支援サービス提供要求をサーバ３に対して行う。  
図５は、端末２の画面の表示例を示す図である。
【００３５】
ユーザである子供Ｃの親は、子育て支援サービスの提供を受けたいとき、子育て支援サービスを受けるための端末用プログラムを起動する。端末用プログラムが実行されると、表示部１２の画面１２ａ上に「子育て支援サービス開始」と表示された所定のボタン１２ｂが表示され、そのボタン１２ｂをタッチする。すなわち、ユーザは、端末用プログラムを実行させ、所定のボタン１２ｂをタッチすることにより、子育て支援サービス提供の要求をサーバ３に対して行うことができる。
【００３６】
ボタン１２ｂがタッチされると、端末２からサーバ３へサービス提供要求、ここでは子育て支援サービスの提供要求が送信される。端末２からのサービス提供要求には、ユーザを特定するための識別情報、例えばユーザＩＤが含まれる。
【００３７】
図６は、端末２の端末用プログラムの処理の流れの例を示すフローチャートである。端末２は、サーバ３へ子育て支援サービスの提供要求を送信した後に、図６の処理を実行する。
【００３８】
サーバ３は、ユーザの端末２からのサービス提供要求に応じて、端末２へのコンテンツデータの送信を行うので、端末２は、サービス情報受信処理を実行する（ステップ（以下、Ｓと略す）１）。サービス情報は、映像コンテンツのデータである。
【００３９】
サービス情報受信処理により、端末２は、コンテンツデータをデコードして、コンテンツの映像を表示部１２の画面１２ａに表示すると共に、コンテンツの音声をスピーカ１３から出力する動作を行う。
すなわち、制御部１６は、通信部１７を介して受信したサーバ３からのデータに応じて、端末２におけるコンテンツの出力動作の制御を行う動作制御部を構成する。
その結果、子供Ｃは、端末２を用いてコンテンツを視聴することができる。
【００４０】
端末２は、サービス情報受信処理と共に、カメラ画像データと音声データの送信処理を行う（Ｓ２）。カメラ画像データは、カメラ１４により撮像して得られた撮像信号から生成され、音声データは、マイク１５において得られた音声信号から生成される。カメラ１４は、画面１２ａを観る子供Ｃの画像を得、マイク１５は、画面１２ａを観る子供Ｃの発する声や周囲の音を収集することができる。カメラ画像データと音声データは、端末２の利用状況を示すデータである。よって、制御部１６は、カメラ１４により撮像して得られた画像データおよびマイク１５により取得された音声データを含む端末利用状況データを、通信部１７によりサーバ３へ送信する処理を行う送信処理部を構成する。
カメラ画像データと音声データの送信処理により、コンテンツを視聴する子供Ｃの顔の画像データと、子供Ｃの発する声などの音声データが、サーバ３へ送信される。
【００４１】
ユーザは、サービス情報受信中にユーザがサービスを終了させることもできる。端末２では、ユーザにサービス終了指示の有無、あるいはサーバ３からのサービス提供の終了の有無によるサービスの終了が判定される。サービス情報受信中におけるサービスの終了は、ユーザである子供Ｃあるいはその親は、画面上の所定のボタンをタッチすることにより行うことができる。サーバ３からのサービス提供の終了は、コンテンツデータの受信状況などに基づいて、端末２において自動的に判定される。
【００４２】
よって、サービス情報受信処理（Ｓ１）とカメラ画像データ及び音声データの送信処理（Ｓ２）の処理と共に、サービス終了の判定処理が行われている（Ｓ３）。  
サービスの終了と判定されたときは（Ｓ３：ＹＥＳ）、処理は終了する。
【００４３】
サービスの終了と判定されないときは（Ｓ３：ＮＯ）、処理はＳ１に戻り、Ｓ１とＳ２の処理が継続して行われる。  
サービスの終了と判定されるまで、端末２は、サーバ３からのコンテンツデータを受信する処理と、カメラ画像データ及び音声データを送信する処理が継続して行われる。
【００４４】
図７は、サーバにおけるサービス情報提供処理の流れの例を示すフローチャートである。図７の処理は、端末２からのサービス提供要求を受信すると実行される。図７の処理は、ＣＰＵ３ａにより、メモリ３ｃから読み出され実行される子育て支援サービスのためのプログラムＡＰｃの処理である。
【００４５】
サーバ３は、端末２からのサービス提供要求を受信すると、ユーザの識別情報からユーザを識別し、ユーザの子供Ｃについて予め登録された好み等の情報に基づいて、コンテンツをデータベースから選択する（Ｓ１１）。
【００４６】
具体的には、サーバ３は、端末２からのサービス提供要求を受信すると、ユーザの識別情報からユーザを識別する。そして、サーバ３は、識別した子供Ｃの好み等の情報に基づいて、データベースＤＢに含まれる大量のコンテンツの中から、子供Ｃの関心度が高いと思われる複数のコンテンツを抽出する。そして、抽出した複数のコンテンツには順番が付される。サーバ３から端末２へ提供される複数のコンテンツと、各コンテンツの提供の順番が、コンテンツの提供のシナリオとして設定される。よって、後述するように、コンテンツが変更されるときは、そのシナリオの順番でコンテンツが選択され、選択されたコンテンツが端末２へ提供される。
【００４７】
上述したように、データベースＤＢには、各コンテンツについての属性情報も予め記憶されているので、属性情報に基づいて、子供Ｃの関心が最も高いと推定されるコンテンツが、最初に選択される。
【００４８】
サーバ３は、読み出したコンテンツデータを端末２へ送信するコンテンツ送信処理を実行する（Ｓ１２）。  
さらに、サーバ３は、送信したコンテンツを視聴しているユーザの子供Ｃの関心度を判定する関心度判定処理を実行する（Ｓ１３）。
【００４９】
図８を用いて、関心度判定処理について説明する。  
図８は、関心度判定処理の流れの例を示すフローチャートである。  
ユーザの端末２からは、画像データと音声データがリアルタイムでサーバ３へ送信されている。よって、サーバ３は、メディア知識処理プログラムＭＰを用いて、画像解析、音声解析などを実行する。
【００５０】
まず、サーバ３は、画像解析処理を実行する（Ｓ２１）。画像解析処理では、人物の認識、人物の顔認識などが行われる。Ｓ２１の処理は、メディア知識処理プログラムＭＰにより実行される。すなわち、Ｓ２１の処理は、通信部３ｂを介して受信した画像データに対して、画像解析を行い、端末２を観ているユーザである子供Ｃを認識する画像解析部を構成する。  
次に、サーバ３は、画像認識処理で認識された人物の顔から眼球の位置を特定する眼球位置特定処理を実行する（Ｓ２２）。眼球の位置は、顔認識処理により認識された顔の画像情報から得ることができ、顔の中の２つの眼の位置が特定される。
【００５１】
続いて、サーバ３は、画像認識処理で認識された人物の視線方向を判定する視線方向判定処理を実行する（Ｓ２３）。視線方向の判定は、顔認識処理で認識された人物の顔の画像と、眼球位置特定処理で特定された２つの眼の位置の情報に基づいて行われる。
【００５２】
さらに、サーバ３は、画像認識処理で認識された人物の眼の瞬きを判定する瞬き判定処理を実行する（Ｓ２４）。  
そして、サーバ３は、Ｓ２１からＳ２４において認識あるいは判定された眼球位置、視線方向及び瞬きの情報とから、端末２のコンテンツを視聴しているユーザの子供Ｃの関心度を判定する関心度判定処理を実行する（Ｓ２５）。
【００５３】
関心度の判定は、本実施形態では、子供Ｃが後を向いて端末２を観なくなって眼球位置が認識できなくなったり、視線方向が端末２の表示部１２の方向ではなくなったり、眼をつぶる時間が長くなったりしたか否かに基づいて行われる。
すなわち、関心度は、所定時間当たり、視線が端末２に向いている時間の長さあるいは割合により規定される。
よって、Ｓ２５の処理は、ユーザの視線、すなわち視線方向を判定し、その視線に基づいて、端末２に対する関心度を判定する関心度判定部を構成する。
【００５４】
例えば、数秒毎に、上述した状態、すなわち、眼球位置が認識できない状態、視線方向が端末２の方向でない状態、あるいは眼をつぶる時間が長くなった状態の少なくとも１つの状態の発生の有無を判定する。これらの状態の継続する時間が長くなればなるほど、子供Ｃは端末２を観ていない時間が長くなる。端末２を観ていない時間が長くなるということは、子供Ｃのコンテンツに対する関心度が低いことを意味する。
【００５５】
本実施形態では、関心度は、所定時間当たりのユーザ、ここでは子供Ｃがコンテンツを観ている時間と定義される。ここでは、関心度は、所定時間当たりの子供Ｃがコンテンツを観ている時間の割合で示される。
【００５６】
なお、ここでは、関心度を、所定時間当たりのユーザ、ここでは子供Ｃがコンテンツを観ている時間割合で定義して数値化しているが、他の関数を用いて数値化してもいい。  
図７に戻り、サーバ３は、Ｓ１３で判定した関心度が所定の閾値ＴＨ以下であるか否かを判定する（Ｓ１４）。以下の説明では、関心度の移動平均値が、関心度ＩＮＴで示される。
【００５７】
図９は、関心度の変化を示すグラフである。  
図９は、縦軸は、関心度ＩＮＴに対応し、横軸は、時間ｔに対応する。図９に示すように、コンテンツの送信した直後は、関心度ＩＮＴは高いが、時間ｔの経過に伴い、関心度ＩＮＴが下がってきて、時刻ｔ１において閾値ＴＨ以下になっている。
【００５８】
関心度ＩＮＴが閾値ＴＨ以下でなければ（Ｓ１４：ＮＯ）、処理は、Ｓ１２に戻る。  
関心度ＩＮＴが閾値ＴＨ以下であるとき（Ｓ１４：ＮＯ）、サーバ３は、コンテンツ変更処理を実行する（Ｓ１５）。Ｓ１５は、送信するコンテンツを、現在選択して送信しているコンテンツとは、異なる他のコンテンツに変更する処理である。これは、現在送信しているコンテンツに対する子供Ｃの関心度が低くなったので、コンテンツを変更することによって、子供Ｃの関心度を高めるためである。Ｓ１５では、現在送信しているコンテンツの次の順番のコンテンツが選択される。
【００５９】
続いて、サーバ３は、ユーザである子供Ｃの親からの終了指示あるいはコンテンツの送信終了による、サービス終了か否かを判定する（Ｓ１６）。  
サービス終了でなければ（Ｓ１６：ＮＯ）、処理は、Ｓ１２に戻り、Ｓ１５で変更されたコンテンツの送信処理が行われる。Ｓ１５の処理によりコンテンツが変更されると、子供Ｃが新たなコンテンツに興味を覚える可能性がある。
【００６０】
変更されたコンテンツに子供Ｃが興味を示せば、図８において二点鎖線で示すように、関心度ＩＮＴが上昇する。  
よって、関心度ＩＮＴが所定の閾値ＴＨ以下になると、シナリオで設定された、現在送信しているコンテンツの次の順位のコンテンツが選択されて送信されるので、子供Ｃの関心度ＩＮＴが、所定の閾値ＴＨ以上に維持される。
サービス終了であれば（Ｓ１６：ＹＥＳ）、処理は終了する。
なお、サーバ３は、Ｓ１５のコンテンツ変更処理において、送信するコンテンツを予め設定したシナリオの順で変更するのではなく、専任スタッフを管理するサーバ５に対して、担当する専任スタッフのライブ映像を送信させるようにしてもよい。
【００６１】
以上のように、Ｓ１５の処理は、Ｓ１３において判定された関心度ＩＮＴが所定の閾値ＴＨ以下になると、端末２におけるコンテンツの出力動作を、別のコンテンツの出力あるいはライブ映像のコンテンツの出力の動作に変更するためのさせるための変更指示を、通信部３ｂにより端末２へ送信する動作変更指示送信部を構成する。
また、Ｓ１２の後、Ｓ１３からＳ１５の処理による関心度判定に基づくコンテンツ変更処理と並行して、Ｓ１７からＳ１９の処理による行動判定に基づく対応処理が実行される。対応処理は、ここでは、ルールベースシステムを利用して行われる。
【００６２】
まず、サーバ３は、行動判定処理を実行する（Ｓ１７）。  
図１０は、行動判定処理の流れの例を示すフローチャートである。  
図１０の処理は、メディア知識処理プログラムＭＰを用いて行われる。
【００６３】
まず、サーバ３は、画像解析処理を実行する（Ｓ３１）。Ｓ３１の画像解析処理では、人物の認識、人物の動き認識などのための解析処理が実行される。  
さらに、サーバ３は、音声解析処理を実行する（Ｓ３２）。Ｓ３２の音声解析処理では、人物の音声認識、音を発した物の推定などのための解析処理が実行される。
【００６４】
そして、サーバ３は、Ｓ３１とＳ３２の解析処理の結果を用いて、行動判定を行う（Ｓ３３）。  
Ｓ３３の行動判定では、Ｓ３１の画像解析結果から、例えば、ユーザである子供Ｃの動作、Ｓ２３で説明したような視線方向、Ｓ２４で説明したような瞬き、などの推定処理と、Ｓ３２の音声解析結果から、例えば、子供Ｃの発している声、その大きさ、などの推定処理が実行されて、子供Ｃの行動が判定される。
【００６５】
なお、音声解析処理では、音声データを解析して得られた音解析情報が生成される。音解析情報は、人物の発した言葉、言葉からその人物の意図などの情報、さらに音を発した物などの情報を含む。
【００６６】
図７に戻り、サーバ３は、Ｓ１７の行動判定処理の結果に基づいて、所定のアクションをとる必要があるか否か、すなわち対応要であるか否かを判定する（Ｓ１８）。  
そして、対応要である場合（Ｓ１８：ＹＥＳ）、サーバ３は、所定のアクションを実行する対応処理を実行する（Ｓ１９）。
【００６７】
Ｓ１８とＳ１９の処理は、ここでは、ルールベースシステムを用いた処理である。ルールベースシステムは、メモリ３ｃに記憶されているルール情報ｒＤＢを参照して、実行する処理のアクションを決定する。
【００６８】
Ｓ３３の行動判定により判定された子供Ｃの行動あるいは状態から、所定のイベントの有無が判定され、１又は２以上の所定のイベントの発生の有無により、各ルールが真あるいは偽であると判定される。  
ルールベースシステムでは、１又は２以上のルールと、各ルールが真となったときに対応したアクションとが予め定められる。各ルールは、１又は２以上のイベントの発生の有無により規定される。すなわち、各アクションは、所定の１又は２以上のイベントの発生があったとき（すなわち真のとき）のときに実行される処理である。すなわち、所定のルールが真と判定されたときに所定のアクションが実行される。
【００６９】
イベントが発生すると、ログデータとしてメモリ３ｃに記憶される。所定のルールが真と判定されるとき、所定のイベントが発生したと判定される。  
サーバ３は、所定の複数のルール中に、ルールが真となったものがあるか否かを判定することにより、対応要か否かを判定する（Ｓ１８）。対応要と判定されたときは（Ｓ１８：ＹＥＳ）、サーバ３は、対応処理を実行する（Ｓ１９）。対応処理は、真となったルールについて予め設定されたアクションを実行する処理である。
なお、対応要と判定されないときは（Ｓ１８：ＮＯ）、処理は、Ｓ１６へ移行する。  
【００７０】
子供Ｃの視線がちょっとの間だけ端末２から外れていても直ぐに、端末２へ戻れば問題はない。しかし、例えば、関心度ＩＮＴが所定の閾値ＴＨ以下になってコンテンツの変更をした後においても、図９において一点鎖線で示すように関心度ＩＮＴが下がり続けていると判定されたときには、サーバ３は、サーバ５の所定の専任スタッフへの電子メールを送信して直接対応をするように指示する。すなわち、１つのルールとして、関心度ＩＮＴが所定の閾値ＴＨ以下になってコンテンツの変更をしたというイベントの後に、関心度ＩＮＴが下がり続けているというイベントが発生したというルールが規定され、そのルールが真であるとき（Ｓ１８：ＹＥＳ）、サーバ３は、専任スタッフによる直接対応の指示のための電子メールをサーバ５へ送信すると共に、専任スタッフのパーソナルコンピュータに設けられたカメラから、専任スタッフのライブ映像を専任スタッフのパーソナルコンピュータから、端末２に送信させるコマンドをサーバ５へ送信する。その結果、端末２の画面上には、専任スタッフのライブ映像のコンテンツが表示される。
【００７１】
また、関心度ＩＮＴが所定の閾値ＴＨ以下であって、かつ画像解析により子供Ｃの姿が画像中から消えたと判定されたときには、サーバ３は、親のスマートフォン６へ緊急の電子メールを送信し、子供Ｃが端末２のコンテンツを視聴していないことを知らせる。すなわち、１つのルールとして、関心度ＩＮＴが所定の閾値ＴＨ以下であるというイベントと、子供Ｃの姿がカメラ１４の画像中にないというイベントが同時に発生したときというルールが規定され、そのルールが真であるとき（Ｓ１８：ＹＥＳ）、サーバ３は、所定のメッセージ、例えば「お子様が端末を観ていません」というメッセージの電子メールを親のスマートフォン６へ送信するというアクションが規定される。
【００７２】
また、画像解析により子供Ｃの視線が端末２に向いておらず、かつ子供Ｃが大きな声を所定時間以上出し続けていると判定されたときには、サーバ３は、サーバ５の所定の専任スタッフへの電子メールを送信して直接対応をするように指示する。すなわち、１つのルールとして、子供Ｃの視線が端末２に向いていないというイベントと、子供Ｃが大きな声を所定時間以上出し続けているというイベントが同時に発生したときというルールが規定され、そのルールが真であるとき（Ｓ１８：ＹＥＳ）、サーバ３は、サーバ５へ専任スタッフによる直接対応の指示のための電子メールを送信するというアクションが規定される。
【００７３】
さらに、画像解析により子供Ｃの瞬きの回数が減少しつつあり、かつ子供Ｃの動きが少なくなってきたときには、子供Ｃが眠くなってきていると思われるので、サーバ３は、送信しているコンテンツの音量レベルを低下させるコマンドを端末２へ送信する。すなわち、１つのルールとして、画像解析により子供Ｃの瞬きの回数が減少しつつあるイベントと、子供Ｃの動きが少なくなってきたというイベントが同時に発生したときというルールが規定され、そのルールが真であるとき（Ｓ１８：ＹＥＳ）、サーバ３は、送信しているコンテンツの音量レベルを低下させるコマンドを端末２へ送信するというアクションが規定される。
【００７４】
以上のように、Ｓ１７の処理が、画像データ及び音声データに基づき所定のイベントの発生の有無を判定するイベント判定部を構成する。なお、所定のイベントの発生の有無は、画像データのみによって行うようにしてもよい。Ｓ１８とＳ１９の処理が、Ｓ１７により所定のイベントの発生があったと判定されたとき、所定の通知を送信する通知部を構成する。
そして、所定の通知には、端末２に表示されるコンテンツを、専任スタッフのライブ映像に切り換えさせるようにサーバ５へ指示するための通知も含まれる。すなわち、所定の通知は、端末２における動作を、別の動作に変更する処理を、所定の装置であるサーバ５にさせるためのサーバ５への通知である。その結果、例えば、映像コンテンツを端末２に表示しているときに子供Ｃの姿が画像データから見えなくなったりした場合、あるいは映像コンテンツを変更しても関心度ＩＮＴが所定の閾値ＴＨ以上にならない場合等に、表示部１２の表示をコンテンツから専任スタッフのライブ映像に変更させる処理をサーバ５及び端末２にさせることができる。
以上説明したルールとアクションは、例示である。  
他にも、サーバ３に、１又は２以上のイベントの発生パターンのルールと、各ルールに応じたアクションを複数定義しておくことにより、ユーザの関心度に応じたアクション、あるいはサービスの提供に即したアクションを、ユーザに対して行うことができる。
【００７５】
以上のようなルールベースシステムを、サーバ３のメディア知識処理プログラムＭＰあるいはアプリケーションプログラムＡＰ中に予め組み込んでおくことにより、サーバ３は、端末２において得られた画像データと音声データから、ユーザの端末２に対する関心度ＩＮＴを判定し、かつ、各種イベントの発生を検知し、すなわち行動を判定し（Ｓ１７）、所定のルールが真となったときには（Ｓ１８：ＹＥＳ）、そのルールに対応する予め決められたアクションを実行する（Ｓ１９）。
【００７６】
Ｓ１９の処理の後、処理は、Ｓ１６へ移行する。  
コンテンツの変更をした結果、関心度ＩＮＴが所定の閾値ＴＨ以下にならず（Ｓ１４：ＮＯ）、いずれのルールも真とならなければ（Ｓ１８：ＮＯ）、子供Ｃは興味を持ってコンテンツを視聴し続けていることになる。
【００７７】
なお、子育て支援サービスにおけるコンテンツの提供には、コンテンツの連続提供時間に予め時間制限、すなわち上限時間を設けておき、子供Ｃが映像コンテンツに夢中になりすぎないようにしてする。
【００７８】
さらに、映画などのコンテンツの終了時、あるいはコンテンツの視聴を中断するときにも、急にコンテンツを視聴できなくなることによって、子供Ｃが泣いたりしないように、「次はママと遊ぼうね」等の終了メッセージあるいは終了予告メッセージを音声出力するようにしてもよい。  
以上のように、ユーザが子育て支援サービスを要求すると、サーバ３は、その要求に応じて、その子供Ｃの興味のあるコンテンツを端末２へ送信する。
【００７９】
サーバ３は、端末２のカメラ１４の画像データに基づいて、コンテンツ提供中に、コンテンツを観る子供Ｃの視線を監視し、視線に基づいて子供Ｃのコンテンツへの関心度ＩＮＴを判定する。  
関心度ＩＮＴが低下して所定の閾値ＴＨ以下になると、子供Ｃの関心度ＩＮＴを高めるために別のコンテンツを送信する。
【００８０】
サーバ３は、コンテンツの変更をしても子供Ｃの関心度ＩＮＴが高まらない場合、突然に端末２から離れてしまったりした場合、子供Ｃが騒ぎ出したりした場合、等の状況を判定する。
【００８１】
さらに、サーバ３は、状況に応じて、子育て支援のための専任スタッフへの連絡をとるために、専任スタッフへの連絡を管理する他のシステムのサーバ５への通知あるいは指示を行ったり、あるいは子供Ｃの親へ連絡をとるために、親のスマートフォン６への通知を行う。
【００８２】
なお、上述した実施形態では、子供Ｃの親のスマートフォン６への通知をしているが、サーバ３に連絡先として、例えばマンションの管理人などの親以外の者を予め登録しておき、親以外の者へ連絡がされるようにしてもよい。         
よって、子供Ｃの視線に基づいて関心度ＩＮＴを監視して、関心度ＩＮＴが低下すると、コンテンツの変更を行うことにより、子供Ｃが端末２に集中してコンテンツを観るように仕向けることができる。
【００８３】
さらに、関心度ＩＮＴが下がり続けたり、子供Ｃが端末から離れてしまうなどの状況が発生すると、専任スタッフあるいは親への連絡がされるので、安全性を向上させながら子育て支援サービスを受けることができる。
【００８４】
さらにまた、上述した実施形態では、子供Ｃの画像は、端末２のカメラ１４によってのみ得られ、その画像データがサーバ３へ送信されているが、図３に示すように、室内空間１１に子供Ｃを撮像する別のカメラ１４ａを設け、２つのカメラ１４と１４ａにより得られた２つの映像から子供Ｃの行動を判定するようにしてもよい。
【００８５】
上述した実施形態の応用例について説明する。  
上述した実施形態の提供サービスは、タブレット端末などの端末２を利用して、子供Ｃに映像コンテンツなどを観せることにより子供Ｃの関心を集める子育て支援サービスであるが、端末２は、映像コンテンツなどを観せる以外の手段で子供Ｃの関心を集められれば構わないので、ロボットでもよい。
【００８６】
図１１は、ロボットの外観図である。ロボット３１は、図４に示すような構成要素を含み、制御部１６、スピーカ１３、カメラ１４、マイク１５なども有している。  
端末２がロボット３１の場合、サーバ３は、会話データをロボットに送信する。子供Ｃは、話をするロボット３１に興味を持って観ることになる。そのとき、サーバ３は、ロボットに設けたカメラ１４により子供Ｃの画像から視線を判定する。
【００８７】
また、ロボット３１は、子供Ｃの関心をより集めるため、腕なども動かすことができるロボットでもよい。すなわち、ロボット３１は、その動作として、ロボット３１の手などの動き若しくは音声出力が可能でもよい。
そして、上述したように、視線から関心度ＩＮＴを判定し、所定の閾値ＴＨ以下になると、別の話題の会話データを送信することにより、子供Ｃを端末２であるロボットに集中させることができる。腕などを動かすことができるロボットの場合、関心度ＩＮＴが所定の閾値ＴＨ以下になると、サーバ３は、別の動きデータをロボット３１へ送信する。
すなわち、ロボット３１の制御部１６は、通信部１７を介して受信したサーバ３からの動きデータあるいは動作の指示に応じて、ロボット３１における動作の制御を行う動作制御部を構成する。
【００８８】
そして、関心度ＩＮＴが下がり続けたり、子供Ｃが端末であるロボット３１から離れてしまうなどの状況が発生すると、専任スタッフあるいは親への連絡がされるので、安全に子育て支援サービスを受けることができる。  
なお、このようなロボットを用いたサービスは、介護施設などでのリハビリにロボットを用いる場合にも適用することができる。
【００８９】
上述した実施形態の端末は、表示部を有する端末２であったり、上述した例ではロボットであるが、子供Ｃの関心を集められれば構わないので、床上を自走する掃除機のような家電機器でもよい。  
図１２は、家電機器の一例である掃除機の外観図である。
【００９０】
掃除機４１は、室内を自動走行し、床面上のゴミを吸引する所謂ロボット掃除機である。本体４２に、図４に示すような構成要素を含み、制御部１６、スピーカ１３、カメラ１４、マイク１５等が搭載されている。掃除機４１は、掃除機自体の動きと、音声出力が可能である。  
端末２が掃除機４１の場合、サーバ３は、会話データ及び動きデータをロボットに送信する。子供Ｃは、話をしたり動いたりする掃除機４１に興味を持って観ることになる。そのとき、サーバ３は、掃除機４１に設けたカメラにより子供Ｃの画像から視線を判定する。
【００９１】
そして、上述したように、視線から関心度ＩＮＴを判定し、所定の閾値ＴＨ以下になると、別の話題の会話データや別の動きデータを送信することにより、端末２である掃除機４１に子供Ｃを集中させることができる。
すなわち、掃除機４１の制御部１６は、通信部１７を介して受信したサーバ３からの動きデータあるいは動作の指示に応じて、掃除機４１における動作の制御を行う動作制御部を構成する。
【００９２】
そして、関心度ＩＮＴが下がり続けたり、子供Ｃが端末であるロボット３１から離れてしまうなどの状況が発生すると、専任スタッフあるいは親への連絡がされるので、安全に子育て支援サービスを受けることができる。
【００９３】
さらに、別な応用例として、端末２は、子供Ｃの関心を集められれば構わないので、遠隔教育システムのコンピュータでもよい。例えば、ネットワークを利用して、サーバ３が、端末２であるパーソナルコンピュータへ講義のコンテンツデータを送信し、端末２の表示部に講義の映像を表示し、スピーカから音声を出力させると共に、端末２のカメラ１４により、生徒であるユーザの画像を取得する。
【００９４】
その場合、ユーザの視線からユーザの関心度ＩＮＴを判定し、所定の閾値ＴＨ以下になると、別の講義コンテンツデータを送信することにより、ユーザを端末２に集中させることができる。  
そして、関心度ＩＮＴが下がり続けたり、ユーザが端末から離れてしまうなどの状況が発生すると、専任スタッフあるいは親への連絡がされる。
【００９５】
以上のように、上述した実施形態及び応用例によれば、ユーザをコンテンツに集中して視聴し続けさせることができるようにする関心維持システムを提供することができる。
【００９６】
本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウエアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、以下、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明する。また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウエアにより実現してもよい。
【００９７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９８】
１  子育て支援サービス提供システム、２  端末、３  サーバ、３ａ  制御部、３ｂ  通信部、３ｃ  メモリ、４  ネットワーク、５  サーバ、６  スマートフォン、１１  室内空間、１２  表示部、１２ａ  画面、１２ｂ  ボタン、１３  スピーカ、１４、１４ａ  カメラ、１５  マイク、１６  制御部、１７  通信部、２１  制御部、３１  ロボット、４１  掃除機、４２  本体。
【図１】
2018055428.tif 000003
【図２】
2018055428.tif 000004
【図３】
2018055428.tif 000005
【図４】
2018055428.tif 000006
【図５】
2018055428.tif 000007
【図６】
2018055428.tif 000008
【図７】
2018055428.tif 000009
【図８】
2018055428.tif 000010
【図９】
2018055428.tif 000011
【図１０】
2018055428.tif 000012
【図１１】
2018055428.tif 000013
【図１２】
2018055428.tif 000014